JP2010102042A - Device, method and program for output of voice signal - Google Patents
Device, method and program for output of voice signal Download PDFInfo
- Publication number
- JP2010102042A JP2010102042A JP2008272371A JP2008272371A JP2010102042A JP 2010102042 A JP2010102042 A JP 2010102042A JP 2008272371 A JP2008272371 A JP 2008272371A JP 2008272371 A JP2008272371 A JP 2008272371A JP 2010102042 A JP2010102042 A JP 2010102042A
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- channel audio
- compensation
- channel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、音声信号を出力する装置、音声信号を出力する方法、および音声信号出力プログラムに関する。 The present invention relates to an apparatus for outputting an audio signal, a method for outputting an audio signal, and an audio signal output program.
現在、IPネットワーク上で音声通信を行うVoIP(Voice over Internet Protocol)技術を用いたIP電話やインターネット電話の利用が増大している。VoIPでは、音声データをパケット化し、IPネットワークを介して送受信することで、音声通信を可能にしている。 Currently, the use of IP telephones and Internet telephones using VoIP (Voice over Internet Protocol) technology for voice communication over IP networks is increasing. VoIP enables voice communication by packetizing voice data and sending / receiving it via an IP network.
特許文献1では、複数チャネルの信号において、劣化したチャネルの信号とは別のチャネルの信号が健全である(劣化していない)という前提のもと、当該健全なチャネルの信号と劣化したチャネルの信号との相関を利用して、劣化したチャネルの信号を補償する方法が開示されている。 In Patent Document 1, in a signal of a plurality of channels, a signal of a channel other than the signal of the deteriorated channel is sound (not deteriorated), and the signal of the sound channel and the channel of the deteriorated channel are assumed. A method for compensating a signal of a deteriorated channel using a correlation with a signal is disclosed.
非特許文献1では、単一のチャネルの信号において、ある時点でパケットが損失した(即ち、品質が劣化した)際に、当該時点(品質劣化時点)よりも前の時点の健全な信号からピッチ周期を検出してピッチ波形を抽出し、そのピッチ波形を繰り返して品質劣化時点の補償信号とする方法が開示されている。
しかし、特許文献1の方法および非特許文献1の方法には、以下の課題があった。 However, the method of Patent Document 1 and the method of Non-Patent Document 1 have the following problems.
特許文献1の方法は、複数チャネルの信号において、劣化したチャネルの信号とは別のチャネルの信号が健全であるという前提となっている。そのため、例えば同時刻の複数チャネルの信号が同一パケットに格納されており、そのパケットが損失する等により、同時刻の複数チャネルの信号の品質が同時に劣化した場合には対応できない。 The method of Patent Literature 1 is based on the premise that a signal of a channel other than a deteriorated channel signal is sound in a plurality of channel signals. For this reason, for example, signals of a plurality of channels at the same time are stored in the same packet, and when the quality of the signals of the plurality of channels at the same time deteriorates simultaneously due to loss of the packet or the like, it cannot be handled.
また、非特許文献1の方法を複数チャネル信号に適用すると、品質が劣化するたびに、各チャネル信号に対してピッチ検出およびピッチ波形抽出を行って補償信号(即ち、複数チャネルの信号の品質を補償する信号)を生成することが必要になる。そのため、チャネル数が増えれば演算量も増大してしまう。 Further, when the method of Non-Patent Document 1 is applied to a plurality of channel signals, every time the quality deteriorates, pitch detection and pitch waveform extraction are performed on each channel signal, and the quality of the compensation signal (that is, the signal quality of the plurality of channels) is determined. It is necessary to generate a signal to compensate. For this reason, the amount of calculation increases as the number of channels increases.
本発明は、上記課題を解決するために成されたものであり、チャネル数の増加に伴う演算量の増大を抑制しつつ補償信号を安定的に生成することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to stably generate a compensation signal while suppressing an increase in the amount of computation accompanying an increase in the number of channels.
本発明に係る音声信号出力装置は、2つ以上のチャネルの音声信号である複数チャネル音声信号を、所定の期間保持する複数チャネル音声信号保持手段と、所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断する品質管理手段と、前記品質管理手段により前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出する相関検出手段と、前記相関検出手段による検出結果に基づいて、補償信号の生成方法を決定する補償信号生成方法決定手段と、前記補償信号生成方法決定手段により決定された生成方法に基づいて、補償信号を生成する補償信号生成手段と、前記補償信号生成手段により生成された前記補償信号を出力するとともに、前記品質管理手段により前記複数チャネル音声信号が劣化していないと判断された場合に前記複数チャネル音声信号を出力する信号出力手段と、を具備することを特徴とする。 The audio signal output device according to the present invention is based on a plurality of channel audio signal holding means for holding a plurality of channel audio signals that are audio signals of two or more channels for a predetermined period, and predetermined quality control information. Quality control means for determining whether or not a multi-channel audio signal is degraded; and when the quality management means determines that the multi-channel audio signal is degraded, Correlation detection means for detecting a correlation between channels of a channel audio signal, compensation signal generation method determination means for determining a compensation signal generation method based on a detection result by the correlation detection means, and determination of the compensation signal generation method Compensation signal generation means for generating a compensation signal based on the generation method determined by the means, and the compensation generated by the compensation signal generation means It outputs the item, characterized by comprising: a signal output means for outputting the plurality of channels audio signals when the plurality channel audio signal is determined not to be degraded by the quality control means.
上記の補償信号生成方法決定手段は、検出されたチャネル間の相関が所定の基準よりも高い2つ以上のチャネル音声信号については、前記補償信号の生成方法として、共通の補償信号を生成する生成方法を決定する、ことが望ましい。 The compensation signal generation method determining means generates a common compensation signal as the compensation signal generation method for two or more channel audio signals whose correlation between detected channels is higher than a predetermined reference. It is desirable to determine the method.
また、上記音声信号出力装置は、前記複数チャネル音声信号に関連する情報である複数チャネル音声信号関連情報を、所定の期間保持する複数チャネル音声信号関連情報保持手段、をさらに具備し、前記相関検出手段は、前記複数チャネル音声信号関連情報から、前記複数チャネル音声信号の各チャネル間の相関を検出することが望ましい。 The audio signal output device further includes a multi-channel audio signal related information holding means for holding a multi-channel audio signal related information, which is information related to the multi-channel audio signal, for a predetermined period, and the correlation detection Preferably, the means detects a correlation between the channels of the multi-channel audio signal from the multi-channel audio signal-related information.
なお、上記音声信号出力装置では、前記補償信号生成手段は、前記複数チャネル音声信号および前記複数チャネル音声信号関連情報の少なくとも一方から、前記補償信号を生成することが望ましい。 In the audio signal output device, it is preferable that the compensation signal generating means generates the compensation signal from at least one of the multi-channel audio signal and the multi-channel audio signal related information.
また、上記音声信号出力装置では、前記相関検出手段は、前記複数チャネル音声信号および前記複数チャネル音声信号関連情報の少なくとも一方から、前記複数チャネル音声信号の各チャネル間の相関を検出することが望ましい。 In the audio signal output device, it is preferable that the correlation detecting unit detects a correlation between the channels of the multi-channel audio signal from at least one of the multi-channel audio signal and the multi-channel audio signal related information. .
また、上記音声信号出力装置は、前記複数チャネル音声信号関連情報から、前記複数チャネル音声信号を生成する複数チャネル音声信号生成手段、をさらに具備することが望ましい。 The audio signal output device preferably further comprises a multi-channel audio signal generating means for generating the multi-channel audio signal from the multi-channel audio signal related information.
また、前記複数チャネル音声信号関連情報は、前記複数チャネル音声信号を所定の方法で混合した少なくとも1チャネルの混合音声信号を含むことが望ましい。また、前記複数チャネル音声信号関連情報は、前記複数チャネル音声信号のチャネル間の強度差、チャネル間の位相差、およびチャネル間のコヒーレンス、のうち少なくとも一つを含むことが望ましい。また、前記複数チャネル音声信号関連情報は、前記複数チャネル音声信号の各チャネル間の相関の検出結果を含むことが望ましい。 The multi-channel audio signal-related information may include at least one mixed audio signal obtained by mixing the multi-channel audio signal by a predetermined method. The multi-channel audio signal related information may include at least one of an intensity difference between channels of the multi-channel audio signal, a phase difference between channels, and a coherence between channels. The multi-channel audio signal related information may include a correlation detection result between the channels of the multi-channel audio signal.
上記の音声信号出力装置に係る発明は、音声信号出力方法に係る発明として捉えることもでき、以下のように記述することができる。 The invention relating to the above-described audio signal output apparatus can also be regarded as an invention relating to an audio signal output method, and can be described as follows.
本発明に係る音声信号出力方法は、音声信号出力装置により実行される音声信号出力方法であって、2つ以上のチャネルの音声信号である複数チャネル音声信号を、所定の期間保持するステップと、所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断するステップと、前記複数チャネル音声信号が劣化していないと判断された場合に、前記複数チャネル音声信号を出力するステップと、前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出するステップと、前記各チャネル間の相関の検出結果に基づいて、補償信号の生成方法を決定するステップと、決定された前記生成方法に基づいて、補償信号を生成するステップと、生成された前記補償信号を出力するステップと、を具備することを特徴とする。 An audio signal output method according to the present invention is an audio signal output method executed by an audio signal output device, and holds a plurality of channel audio signals that are audio signals of two or more channels for a predetermined period; A step of determining whether or not the multi-channel audio signal is degraded based on predetermined quality control information; and when it is determined that the multi-channel audio signal is not degraded, the multi-channel audio signal Outputting a correlation between each channel of the multi-channel audio signal from the multi-channel audio signal when it is determined that the multi-channel audio signal is deteriorated, and each channel Determining a compensation signal generation method based on a correlation detection result, and generating the compensation signal based on the determined generation method. Characterized by comprising the steps of, and outputting the generated the compensated signal.
また、本発明は、以下のように、音声信号出力プログラムに係る発明として捉えることができる。 Further, the present invention can be understood as an invention relating to an audio signal output program as follows.
即ち、本発明に係る音声信号出力プログラムは、音声信号出力装置に設けられたコンピュータを、2つ以上のチャネルの音声信号である複数チャネル音声信号を、所定の期間保持する複数チャネル音声信号保持手段と、所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断する品質管理手段と、前記品質管理手段により前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出する相関検出手段と、前記相関検出手段による検出結果に基づいて、補償信号の生成方法を決定する補償信号生成方法決定手段と、前記補償信号生成方法決定手段により決定された生成方法に基づいて、補償信号を生成する補償信号生成手段と、前記補償信号生成手段により生成された前記補償信号を出力するとともに、前記品質管理手段により前記複数チャネル音声信号が劣化していないと判断された場合に前記複数チャネル音声信号を出力する信号出力手段、として機能させることを特徴とする。即ち、図15(a)に示すように、音声信号出力プログラム20Aは、音声信号出力装置に設けられたコンピュータを複数チャネル音声信号保持手段として機能させる複数チャネル音声信号保持モジュール21と、上記コンピュータを品質管理手段として機能させる品質管理モジュール22と、上記コンピュータを相関検出手段として機能させる相関検出モジュール23と、上記コンピュータを補償信号生成方法決定手段として機能させる補償信号生成方法決定モジュール24と、上記コンピュータを補償信号生成手段として機能させる補償信号生成モジュール25と、上記コンピュータを信号出力手段として機能させる信号出力モジュール26と、を備える。
In other words, the audio signal output program according to the present invention is a multi-channel audio signal holding means for holding a computer provided in an audio signal output device for holding a plurality of channel audio signals that are audio signals of two or more channels for a predetermined period. And quality management means for determining whether or not the multi-channel audio signal is degraded based on predetermined quality management information, and the quality management means determines that the multi-channel audio signal is degraded. Compensation means for detecting a correlation between the channels of the multi-channel audio signal from the multi-channel audio signal and a method for generating a compensation signal based on a detection result by the correlation detection means. Compensation signal for generating a compensation signal based on the signal generation method determination means and the generation method determined by the compensation signal generation method determination means Generating means and the compensation signal generated by the compensation signal generating means, and outputting the multi-channel audio signal when the quality control means determines that the multi-channel audio signal is not degraded. It functions as a signal output means. That is, as shown in FIG. 15A, the audio
なお、音声信号出力プログラムの他の態様としては、図15(b)に示すように、上記コンピュータを複数チャネル音声信号関連情報保持手段として機能させる複数チャネル音声信号関連情報保持モジュール、をさらに備えてもよい。また、図15(c)に示すように、上記複数チャネル音声信号関連情報保持モジュールに加え、上記コンピュータを複数チャネル音声信号生成手段として機能させる複数チャネル音声信号生成モジュール、をさらに備えてもよい。 As another aspect of the audio signal output program, as shown in FIG. 15B, a multi-channel audio signal related information holding module that causes the computer to function as a multi-channel audio signal related information holding unit is further provided. Also good. Further, as shown in FIG. 15C, in addition to the multi-channel audio signal related information holding module, a multi-channel audio signal generation module that causes the computer to function as a multi-channel audio signal generation unit may be further provided.
本発明によれば、チャネル数の増加に伴う演算量の増大を抑制しつつ補償信号を安定的に生成することができる。 According to the present invention, it is possible to stably generate a compensation signal while suppressing an increase in calculation amount accompanying an increase in the number of channels.
以下、本発明の各種の実施形態について図面により説明する。なお、図面の説明においては、同一要素には同一の符号を付し、重複する説明は省略する。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant descriptions are omitted.
[第1の実施形態]
図1は、本発明の第1の実施形態に係る音声信号出力装置1Aの構成を示している。
[First Embodiment]
FIG. 1 shows the configuration of an audio
図1に示すように音声信号出力装置1Aは、複数チャネル音声信号保持部101(複数チャネル音声信号保持手段)、品質管理部102(品質管理手段)、相関検出部103(相関検出手段)、補償信号生成方法決定部104(補償信号生成方法決定手段)、補償信号生成部105(補償信号生成手段)、および信号出力部106(信号出力手段)を有する。音声信号出力装置1Aは、ハードウェア構成としては、例えば、図16に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するCPU11と、ROM及びRAMで構成される主記憶部12と、不揮発性メモリなどで構成される補助記憶部13と、外部との通信を制御する通信制御部14と、液晶モニタなどで構成される表示部15と、文字・数字入力及び実行指示を行うキーで構成される操作部16と、さまざまな情報や信号を外部から入力する入力部17と、さまざまな情報や信号を外部へ出力する出力部18と、を備えた構成とすることができる。ただし、図16の構成は一例であり、この構成に限定されるものではない。なお、後述する第2〜第7実施形態の音声信号出力装置のハードウェア構成も同様である。
As shown in FIG. 1, the audio
複数チャネル音声信号保持部101は、複数チャネル音声信号を所定の期間保持している。
The multi-channel audio
品質管理部102は、後述する品質管理用情報よりNチャネル(Nは1より大きい整数)の複数チャネル音声信号が劣化しているか否かを判断し、当該複数チャネル音声信号が劣化している際に、劣化している旨を相関検出部103に通知する。
The
相関検出部103は、複数チャネル音声信号が劣化している旨の通知を受けた場合、複数チャネル音声信号保持部101より複数チャネル音声信号を受け取り、複数チャネル音声信号の各チャネル間の相関が強いか否かを検出し、検出結果を補償信号生成方法決定部104へ通知する。
When the
補償信号生成方法決定部104は、上記検出結果に基づいて補償信号の生成方法を決定し、決定した補償信号の生成方法を補償信号生成部105へ通知する。
The compensation signal generation
補償信号生成部105は、複数チャネル音声信号保持部101より複数チャネル音声信号を受け取り、上記補償信号の生成方法に基づいて複数チャネル音声信号から補償信号を生成し、生成した補償信号を信号出力部106へ送る。
The compensation
信号出力部106は、補償信号生成部105より補償信号を受信した場合(即ち、複数チャネル音声信号が劣化している場合)は当該補償信号を出力し、補償信号生成部105より補償信号を受信しない場合(即ち、複数チャネル音声信号が劣化していない場合)は複数チャネル音声信号を出力する。
The
図2は、本発明の第1の実施形態に係る音声信号出力装置1Aの動作を説明するフローチャートを示している。図2に沿って、音声信号出力装置1Aの動作を説明する。
FIG. 2 shows a flowchart for explaining the operation of the audio
音声信号出力装置1Aにおいて、複数チャネル音声信号保持部101が、複数チャネル音声信号を保持する(S101)。ただし、新たに保持すべき複数チャネル音声信号が入力されない場合は、ステップS101を省略してステップS102へ進む。
In the audio
次に、品質管理部102が、後述する品質管理用情報に基づいて、複数チャネル音声信号が劣化しているか否かを判断し、複数チャネル音声信号が劣化している場合はステップS103へ進み、複数チャネル音声信号が劣化していない場合はステップS107へ進む(S102)。なお、品質管理用情報は、複数チャネル音声信号の品質に関する情報であり、例えば、複数チャネル音声信号が格納されたパケットが損失した旨の情報、再生時刻までにパケットの到着が間に合わない旨の情報、複数チャネル音声信号の情報の一部が誤っている旨の情報などが挙げられる。ただし、品質管理用情報の内容は、上記の例に限定されない。
Next, the
ステップS103では、相関検出部103が、保持している複数チャネル音声信号の各チャネル間の相関を検出する。ここでの相関の検出方法としては、例えば以下の方法がある。複数チャネル音声信号の第iチャネルの音声信号をxi(t)、第jチャネルの音声信号をxj(t)とし、相関検出の対象期間をt=tl,…,tl+T-1とすると、相互相関値Rijを式(1)で算出する。
Rijを予め決められた値Rthと比較し、RijがRthよりも大きければ相関が強いとする方法である。別の方法としては、xi(t)とxj(t)の和信号mij(t)と差信号sij(t)を式(2)、式(3)で算出する。
さらにt=tl,…,tl+T-1の期間のmij(t)とsij(t)のそれぞれの電力Mij、Sijを(式4)、(式5)で算出する。
上記の方法は、MijとSijの差Mij-Sijを予め決められた値Dthと比較し、Mij-SijがDthよりも大きければ、相関が強いとする方法である。さらに、MijとSijの比Mij/Sijを予め決められた値Fthと比較し、Mij/SijがFthよりも大きければ、相関が強いとする方法でもよい。なお、相関検出の方法は、上記の方法と等価な方法でもよく、また別の方法でもよく、相関検出の方法は上記の方法に限定されない。
In step S103,
In this method, Rij is compared with a predetermined value Rth, and if Rij is larger than Rth, the correlation is strong. As another method, the sum signal mij (t) and the difference signal sij (t) of xi (t) and xj (t) are calculated by Equations (2) and (3).
Further, the powers Mij and Sij of mij (t) and sij (t) during the period of t = tl,..., Tl + T−1 are calculated by (Expression 4) and (Expression 5).
In the above method, the difference Mij-Sij between Mij and Sij is compared with a predetermined value Dth, and if Mij-Sij is larger than Dth, the correlation is strong. Further, the ratio Mij / Sij between Mij and Sij is compared with a predetermined value Fth, and if Mij / Sij is larger than Fth, the correlation may be strong. The correlation detection method may be a method equivalent to the above method or may be another method, and the correlation detection method is not limited to the above method.
次に、補償信号生成方法決定部104が、相関検出結果に基づいて補償信号生成方法を決定する(S104)。ここでの補償信号生成方法としては、例えば以下3つの方法がある。
Next, the compensation signal generation
補償信号生成方法の第1の例として、複数チャネル音声信号の各チャネル音声信号に対してそれぞれ補償信号を生成する方法がある。この方法に従えば、複数チャネル音声信号の各チャネル音声信号に対して補償信号を生成できる。 As a first example of the compensation signal generation method, there is a method of generating a compensation signal for each channel audio signal of a multi-channel audio signal. According to this method, a compensation signal can be generated for each channel audio signal of the multi-channel audio signal.
また、補償信号生成方法の第2の例として、複数チャネル音声信号のうちの2つ以上のチャネル音声信号に対して共通の補償信号を生成する方法がある。この方法に従えば、複数チャネル音声信号のうち、互いに相関の強い2つ以上のチャネル音声信号に対しては、別々に補償信号を生成せずに、共通の補償信号を生成することができる。そのため、前述した第1の例に比べて、より効率的に補償信号を生成できる。対象となるチャネルの音声信号はチャネル間の相関が強いため、共通の補償信号を用いても品質は劣化しない。 Further, as a second example of the compensation signal generation method, there is a method of generating a common compensation signal for two or more channel audio signals of a plurality of channel audio signals. According to this method, a common compensation signal can be generated without separately generating a compensation signal for two or more channel sound signals having a strong correlation with each other among a plurality of channel sound signals. Therefore, the compensation signal can be generated more efficiently than the first example described above. Since the audio signal of the target channel has a strong correlation between channels, the quality does not deteriorate even if a common compensation signal is used.
また、補償信号生成方法の第3の例として、上記第2の例に従って補償信号を生成した後に振幅および位相のうち1つ以上を調整する方法がある。この方法に従えば、上記第2の例と同様に、複数チャネル音声信号のうち互いに相関の強い2つ以上のチャネル音声信号に対して効率的に補償信号を生成できる。さらに、振幅および位相のうち1つ以上を調整することで、各チャネルの補償信号の品質を向上できる。このように、演算量の増加を抑制した上で、各チャネルの補償信号の品質を向上できる。 As a third example of the compensation signal generation method, there is a method of adjusting one or more of amplitude and phase after generating a compensation signal according to the second example. According to this method, as in the second example, a compensation signal can be efficiently generated for two or more channel sound signals having a strong correlation with each other among the plurality of channel sound signals. Furthermore, the quality of the compensation signal of each channel can be improved by adjusting one or more of the amplitude and phase. In this way, it is possible to improve the quality of the compensation signal for each channel while suppressing an increase in the amount of computation.
さらに、補償信号生成方法の第4の例として、上記第2の例に従って1チャネルの補償信号を生成した後に当該1チャネルの補償信号を無相関化した無相関信号を生成し、当該補償信号と当該無相関信号を行列演算によるアップミキシングにより2つ以上のチャネル音声信号の補償信号を生成してもよい。上記、1チャネルの音声信号の無相関化および行列演算によるアップミキシングについては、非特許文献3及び非特許文献5に記載されている。 Further, as a fourth example of the compensation signal generation method, after generating a one-channel compensation signal according to the second example, a non-correlated signal obtained by decorrelating the one-channel compensation signal is generated, and the compensation signal and Compensation signals for two or more channel audio signals may be generated by up-mixing the uncorrelated signals by matrix calculation. Non-patent document 3 and non-patent document 5 describe the above-mentioned decorrelation of a one-channel audio signal and up-mixing by matrix calculation.
なお、補償信号生成方法は、上記のいずれの方法でもよく、複数チャネル音声信号のチャネルごとに上記方法のうち別々の方法を採用してもよい。また、補償信号生成方法として上記以外の方法を採用してもよく、採用する補償信号生成方法は限定されない。 Note that the compensation signal generation method may be any of the above methods, and may employ a different method among the above methods for each channel of the multi-channel audio signal. Further, methods other than those described above may be employed as the compensation signal generation method, and the compensation signal generation method employed is not limited.
次に、補償信号生成部105が、補償信号生成方法決定部104にて決定された補償信号生成方法に従い、保持している複数チャネル音声信号から補償信号を生成する(S105)。ここで、1チャネルの補償信号生成アルゴリズムとしては、例えば非特許文献1または非特許文献2に記載されたものがある。
Next, the compensation
前述した補償信号生成方法の第1の例での補償信号は、各チャネルの音声信号に当該アルゴリズムを適用して生成できる。 The compensation signal in the first example of the compensation signal generation method described above can be generated by applying the algorithm to the audio signal of each channel.
前述した補償信号生成方法の第2の例での補償信号は、共通の補償信号を生成する対象のチャネル音声信号から1チャネルの代表信号を生成し、当該代表信号を用いて前記1チャネルの補償信号生成アルゴリズムにより生成できる。 The compensation signal in the second example of the compensation signal generation method described above generates a one-channel representative signal from the target channel audio signal for generating a common compensation signal, and uses the representative signal to compensate the one-channel compensation signal. It can be generated by a signal generation algorithm.
ここでの代表信号の生成法としては、例えば、対象のチャネル音声信号の和信号を生成してもよい。対象となるチャネル数が2の場合は、上記の式2で和信号を算出でき、対象となるチャネル数が2より大きい場合も、同様に算出できる。さらには、対象となるチャネルの音声信号をチャネルごとに重みを付加した上で加算した信号、いわゆるダウンミキシング信号でもよい。さらには、対象となるチャネルの音声信号のうち、1チャネルの音声信号を選択し、当該チャネルの音声信号を代表信号としてもよい。1チャネルの音声信号の選択方法としては、例えば信号電力が最も大きいものを選択してもよい。さらには、対象となるチャネルが3以上の場合には、他のチャネルとの相関が最も強いチャネルを選択してもよい。例えば、対象となるチャネルが3で、第iチャネル音声信号、第jチャネル音声信号、第kチャネル音声信号が対象であった場合を考える。第jチャネル音声信号は、第iチャネル音声信号、及び第kチャネル音声信号と相関が強く、第iチャネル音声信号と第kチャネル音声信号との相関は相対的に弱いとする。この場合、第jチャネル音声信号が代表信号として選択される。対象となるチャネルが3よりも大きい場合も、同様に選択できる。別の1チャネルの音声信号の選択方法としては、対象となるチャネルの音声信号が再生されるスピーカの配置位置と関連づいていた場合に、スピーカ配置位置より選択してもよい。例えば、対象となるチャネルが3で、第iチャネル音声信号、第jチャネル音声信号、第kチャネル音声信号が対象であった場合を考える。第iチャネル音声信号が左チャネルスピーカL、第jチャネル音声信号が中央スピーカC、第kチャネル音声信号が右チャネルスピーカRに関連付けられていた場合、右チャネルスピーカLと左チャネルスピーカRの中間に配置される、中央スピーカCに関連付けられた第jチャネル音声信号を代表信号として選択される。対象となるチャネルが3よりも大きい場合も、同様に選択できる。代表信号の選択方法は、前記の方法でもよく、別の方法でもよく、代表信号の選択方法は限定されない。 As a representative signal generation method here, for example, a sum signal of a target channel audio signal may be generated. When the number of channels to be processed is 2, the sum signal can be calculated by the above equation 2, and when the number of channels to be processed is larger than 2, it can be calculated similarly. Furthermore, a so-called downmixing signal may be used, which is a signal obtained by adding the weights of the audio signals of the target channels to each channel after adding weights. Furthermore, it is possible to select an audio signal of one channel from the audio signals of the target channel and use the audio signal of the channel as a representative signal. As a method for selecting a one-channel audio signal, for example, the one having the largest signal power may be selected. Furthermore, when the target channel is 3 or more, the channel having the strongest correlation with other channels may be selected. For example, consider a case where the target channel is 3, and the i-th channel audio signal, the j-th channel audio signal, and the k-th channel audio signal are targets. The j-th channel audio signal has a strong correlation with the i-th channel audio signal and the k-th channel audio signal, and the correlation between the i-th channel audio signal and the k-th channel audio signal is relatively weak. In this case, the j-th channel audio signal is selected as the representative signal. When the target channel is larger than 3, the same selection can be made. As another method of selecting the audio signal of one channel, when the audio signal of the target channel is related to the arrangement position of the speaker to be reproduced, the selection may be made from the speaker arrangement position. For example, consider a case where the target channel is 3, and the i-th channel audio signal, the j-th channel audio signal, and the k-th channel audio signal are targets. When the i-th channel audio signal is associated with the left channel speaker L, the j-th channel audio signal is associated with the center speaker C, and the k-th channel audio signal is associated with the right channel speaker R, the i-channel audio signal is placed between the right channel speaker L and the left channel speaker R. The arranged j-th channel audio signal associated with the central speaker C is selected as the representative signal. When the target channel is larger than 3, the same selection can be made. The method for selecting the representative signal may be the above method or another method, and the method for selecting the representative signal is not limited.
前述した補償信号生成方法の第3の例での補償信号は、補償信号生成方法の第2の例と同様に生成した補償信号について、該補償信号の振幅および位相のうち1つ以上を調整することで生成できる。振幅や位相の調整量は、保持している複数チャネル音声信号から算出してもよい。さらに、振幅や位相の調整量は、周波数帯域および短時間区間のうち1つ以上に応じて変化させてもよい。なお、補償信号生成アルゴリズムは、上記のアルゴリズムでもよく、別のアルゴリズムでもよく、補償信号生成アルゴリズムは限定されない。 The compensation signal in the third example of the compensation signal generation method described above adjusts one or more of the amplitude and phase of the compensation signal for the compensation signal generated in the same manner as in the second example of the compensation signal generation method. Can be generated. Amplitude and phase adjustment amounts may be calculated from the held multi-channel audio signals. Furthermore, the adjustment amount of the amplitude or phase may be changed according to one or more of the frequency band and the short time section. The compensation signal generation algorithm may be the above algorithm or another algorithm, and the compensation signal generation algorithm is not limited.
前述した補償信号生成方法の第4の例での補償信号は、補償信号生成方法の第2の例と同様に生成した1チャネルの補償信号について、無相関信号を生成しアップミキシングすることで生成できる。生成に必要な対象チャネル間の情報(例えば、振幅差や位相差、コヒーレンス)は、保持している複数チャネル音声信号から算出してもよい。さらに、対象チャネル間の情報は、周波数帯域および短時間区間のうち1つ以上に応じて変化させてもよい。なお、補償信号生成アルゴリズムは、上記のアルゴリズムでも別のアルゴリズムでもよく、補償信号生成アルゴリズムは限定されない。 The compensation signal in the fourth example of the compensation signal generation method described above is generated by generating an uncorrelated signal and upmixing the one-channel compensation signal generated in the same manner as in the second example of the compensation signal generation method. it can. Information (for example, amplitude difference, phase difference, coherence) necessary for generation between target channels may be calculated from the held multi-channel audio signal. Further, the information between the target channels may be changed according to one or more of the frequency band and the short time interval. The compensation signal generation algorithm may be the above algorithm or another algorithm, and the compensation signal generation algorithm is not limited.
次に、ステップS106では、信号出力部106が、補償信号生成部105にて生成された補償信号を出力する。
Next, in step S106, the
一方、ステップS102で複数チャネル音声信号が劣化していない場合に進むステップS107では、信号出力部106が、当該数チャネル音声信号を出力する。
On the other hand, in step S107, which proceeds when the multi-channel audio signal is not degraded in step S102, the
そして、S108では、出力すべき複数チャネル信号の有無が確認され、出力すべき複数チャネル音声信号がある場合はステップS101へ戻り、一方、出力すべき複数チャネル音声信号がない場合は図2の処理を終了する。ただし、ここでの終了を命令する処理は限定されない。 In S108, the presence / absence of a multi-channel signal to be output is confirmed. If there is a multi-channel audio signal to be output, the process returns to step S101. If there is no multi-channel audio signal to be output, the process of FIG. Exit. However, the processing for instructing the end here is not limited.
以上の第1の実施形態によれば、複数チャネル音声信号が劣化していると判断された場合、当該複数チャネル音声信号の各チャネル間の相関を検出し、該検出結果に基づいて補償信号の生成方法を決定し、該生成方法に基づいて補償信号を生成し出力する。このように各チャネル間の相関に応じて決定された適切な生成方法に基づいて補償信号を生成するため、補償信号を安定的に生成することができ、その上、例えば、互いに相関の強い2つ以上のチャネル音声信号については共通の補償信号を生成する等により、演算量の増大を抑制できる。 According to the first embodiment described above, when it is determined that the multi-channel audio signal is deteriorated, the correlation between the channels of the multi-channel audio signal is detected, and the compensation signal is detected based on the detection result. A generation method is determined, and a compensation signal is generated and output based on the generation method. Since the compensation signal is generated based on an appropriate generation method determined according to the correlation between the channels as described above, the compensation signal can be stably generated. For two or more channel audio signals, an increase in the amount of computation can be suppressed by, for example, generating a common compensation signal.
[第2の実施形態]
図3は、本発明の第2の実施形態に係る音声信号出力装置1Bの構成を示している。
[Second Embodiment]
FIG. 3 shows the configuration of an audio
図3に示すように音声信号出力装置1Bは、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201(複数チャネル音声信号関連情報保持手段)、品質管理部102、相関検出部202、補償信号生成方法決定部104、補償信号生成部105、および信号出力部106を有する。なお、音声信号出力装置1Bの構成には、前述した第1の実施形態に係る音声信号出力装置1Aの構成と共通する部分が多いため、以下では、音声信号出力装置1Aの構成と相違するブロックについて説明する。
As shown in FIG. 3, the audio
複数チャネル音声信号関連情報保持部201は、後述する複数チャネル音声信号関連情報を所定の期間、保持している。複数チャネル音声信号関連情報は、複数チャネル音声信号そのものではないが、複数チャネル音声信号に関連する情報であり、その形式は限定されない。複数チャネル音声信号関連情報は、複数チャネル音声信号を生成できる情報、例えば、(a)複数チャネル音声信号に演算を施して別の信号として表した信号、(b)複数チャネル音声信号をそれよりも少ないチャネル数の信号とチャネル間の特性を表すパラメータで表現した情報であってもよい。上記の(a)複数チャネル音声信号に演算を施して別の信号として表した信号としては、例えば、非特許文献8のMSステレオがある。また、上記の(b)複数チャネル音声信号をそれよりも少ないチャネル数の信号とチャネル間の特性を表すパラメータで表現した情報としては、例えば、非特許文献3〜7に記載のパラメトリックステレオ、MPEGサラウンド、BCCの形式がある。さらに、複数チャネル音声信号関連情報は、例えば複数チャネル音声信号の特性を表すパラメータであってもよい。また、複数チャネル音声信号関連情報は、複数チャネル音声信号を所定の方法で混合した少なくとも1チャネルの混合音声信号を含んでいてもよい。また、複数チャネル音声信号関連情報は、複数チャネル音声信号のチャネル間の強度差、チャネル間の位相差、およびチャネル間のコヒーレンス、のうち少なくとも一つを含んでいてもよい。また、複数チャネル音声信号関連情報は、複数チャネル音声信号の各チャネル間の相関の検出結果を含んでいてもよい。
The multi-channel audio signal related
相関検出部202は、保持している複数チャネル音声信号関連情報より、それに対応する区間の複数チャネル音声信号の各チャネル間の相関を検出する。
The
図4は、本発明の第2の実施形態に係る音声信号出力装置1Bの動作を説明するフローチャートを示している。図4に沿って、音声信号出力装置1Bの動作を説明する。ただし、音声信号出力装置1Bの動作には、前述した第1の実施形態に係る音声信号出力装置1Aの動作と共通する部分が多いため、以下では、音声信号出力装置1Aの動作と相違するステップS201とステップS202について説明する。
FIG. 4 shows a flowchart for explaining the operation of the audio
複数チャネル音声信号保持部101が複数チャネル音声信号を保持した(S101)後、ステップS201では、複数チャネル音声信号関連情報保持部201が、複数チャネル音声信号関連情報を保持する。ただし、新たに保持すべき複数チャネル音声信号関連情報が無い場合は、省略してステップS102へ進んでも良い。
After the multi-channel audio
ステップS102で複数チャネル音声信号が劣化していると判断された場合、ステップS202では、相関検出部202が、保持している複数チャネル音声信号関連情報より、それに対応する区間の複数チャネル音声信号の各チャネル間の相関を検出する。ここでの複数チャネル音声信号関連情報による相関検出方法の例としては、下記の方法がある。
If it is determined in step S102 that the multi-channel audio signal has deteriorated, in step S202, the
複数チャネル音声信号関連情報による相関検出方法の第1の例として、複数チャネル音声信号関連情報が、前述した(式1)で表される複数チャネル音声信号の各チャネル間の相関値を含む場合がある。この場合は、前記の方法により相関が検出できる。 As a first example of the correlation detection method based on the multi-channel audio signal related information, the multi-channel audio signal related information may include a correlation value between the channels of the multi-channel audio signal represented by (Equation 1) described above. is there. In this case, the correlation can be detected by the above method.
複数チャネル音声信号関連情報による相関検出方法の第2の例として、複数チャネル音声信号関連情報が、前記複数チャネル音声信号に演算を施した別の信号を含む場合がある。ここで、例えば、前述した(式2)、(式3)により和信号、差信号が得られて、これらの信号より相関を検出する場合については、前記の方法で相関を検出できる。 As a second example of the correlation detection method using the multi-channel audio signal related information, the multi-channel audio signal related information may include another signal obtained by calculating the multi-channel audio signal. Here, for example, when the sum signal and the difference signal are obtained by the above-described (Expression 2) and (Expression 3), and the correlation is detected from these signals, the correlation can be detected by the above method.
複数チャネル音声信号関連情報による相関検出方法の第3の例として、複数チャネル音声信号関連情報が、前記複数チャネル音声信号の各チャネル間の特性を表すパラメータを含む場合がある。当該パラメータの一例としては、非特許文献3に記載されているInter-Channel Coherence(ICC)がある。非特許文献3のICCは、2チャネルの音声信号の、ある周波数帯域における相似性を示すパラメータである。ICCの算出方法は非特許文献3に記載されている。ICCを用いる相関検出方法としては、ICCを所定値と比較して、ICCが所定値よりも大きければ相関があると判定し、ICCが所定値よりも小さければ相関がないと判定する方法がある。また、前記のとおりICCは周波数帯域ごとに算出された値であるため、各周波数帯域について前記の比較を行った後に、各周波数帯域についての比較結果から判定してもよい。また、一部の周波数帯域についてのみ、前記の比較を行った後に、当該一部の周波数帯域についての比較結果から判定してもよい。さらには、各周波数帯域のICCを、全周波数帯域または一部の周波数帯域について平均値を算出し、得られた平均値を所定値と比較してもよい。さらには、前記の平均値算出の際に、周波数帯域ごとに重みを付加した加重平均としてもよい。ただし、ICCを用いた相関検出方法は限定されない。また、非特許文献4〜7には、前記ICCと等価または同様の特性を表すパラメータが用いられており、これらのパラメータも、ICCと同様に相関検出に利用できる。 As a third example of the correlation detection method based on the multi-channel audio signal related information, the multi-channel audio signal related information may include a parameter representing characteristics between the channels of the multi-channel audio signal. As an example of the parameter, there is Inter-Channel Coherence (ICC) described in Non-Patent Document 3. The ICC of Non-Patent Document 3 is a parameter indicating the similarity of a two-channel audio signal in a certain frequency band. The calculation method of ICC is described in Non-Patent Document 3. As a correlation detection method using ICC, there is a method of comparing ICC with a predetermined value and determining that there is a correlation if ICC is larger than the predetermined value, and determining that there is no correlation if ICC is smaller than the predetermined value. . Further, as described above, since the ICC is a value calculated for each frequency band, it may be determined from the comparison result for each frequency band after performing the above comparison for each frequency band. Moreover, after performing the comparison only for a part of the frequency bands, the determination may be made from the comparison result for the part of the frequency bands. Furthermore, the average value of the ICC of each frequency band may be calculated for the entire frequency band or a part of the frequency band, and the obtained average value may be compared with a predetermined value. Furthermore, it is good also as a weighted average which added the weight for every frequency band in the case of the said average value calculation. However, the correlation detection method using ICC is not limited. Non-Patent Documents 4 to 7 use parameters that are equivalent to or similar to the characteristics of the ICC, and these parameters can also be used for correlation detection as with the ICC.
複数チャネル音声信号関連情報による相関検出方法の第4の例として、複数チャネル音声信号関連情報が、各チャネル間の相関検出結果を含む場合がある。当該相関検出結果は、本実施形態に係る音声出力装置の外部において複数チャネル音声信号の各チャネル間の相関検出が行われた結果である。この場合、相関検出部202は、当該検出結果を複数チャネル音声信号の各チャネル間の相関検出結果として、補償信号生成方法決定部104に通知してもよい。さらには、当該検出結果を用いて、さらなる相関検出の判定を行ってもよい。例えば、当該検出結果が周波数帯域ごとの検出結果であった場合は、全周波数帯域の検出結果を多数決判定して相関の有無を判定してもよく、さらに多数決判定の際に、一部の周波数帯域に対する投票の重みを変化させてもよい。ただし、外部の相関検出結果を用いた相関検出方法は、上記のものに限定されない。
As a fourth example of the correlation detection method using the multi-channel audio signal related information, the multi-channel audio signal related information may include a correlation detection result between the channels. The correlation detection result is a result of performing correlation detection between the channels of the multi-channel audio signal outside the audio output device according to the present embodiment. In this case, the
さらに、上述した複数チャネル音声信号関連情報による相関検出方法の第1〜第4の例では、相関検出対象区間の相関検出の判定に、当該区間の前の区間の相関検出結果と当該区間の後の区間の相関検出結果のうち、両方または一方を用いてもよい。ただし、複数チャネル音声信号関連情報による相関検出方法は、前記の方法に限定されない。 Furthermore, in the first to fourth examples of the correlation detection method using the multi-channel audio signal related information described above, the correlation detection result of the section before the section and the section after the section are used for the correlation detection determination of the correlation detection target section. Both or one of the correlation detection results in the interval may be used. However, the correlation detection method using multi-channel audio signal related information is not limited to the above method.
以上のように相関検出部202は、さまざまな手法により、複数チャネル音声信号関連情報から、複数チャネル音声信号の各チャネル間の相関を検出することができる。
As described above, the
[第3の実施形態]
図5は、本発明の第3の実施形態に係る音声信号出力装置1Cの構成を示している。
[Third Embodiment]
FIG. 5 shows the configuration of an audio
図5に示すように音声信号出力装置1Cは、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201、品質管理部102、相関検出部103、補償信号生成方法決定部104、補償信号生成部301、および信号出力部106を有する。なお、音声信号出力装置1Cの構成には、前述した第1、第2の実施形態に係る音声信号出力装置の構成と共通する部分が多いため、以下では、第1、第2の実施形態に係る音声信号出力装置の構成と相違するブロック(補償信号生成部301)について説明する。
As shown in FIG. 5, the audio
補償信号生成部301は、保持している複数チャネル音声信号および保持している複数チャネル音声信号関連情報のうち、少なくとも一方を用いて補償信号を生成する。
The compensation
図6は、本発明の第3の実施形態に係る音声信号出力装置1Cの動作を説明するフローチャートを示している。図6に沿って、音声信号出力装置1Cの動作を説明する。ただし、音声信号出力装置1Cの動作には、前述した第1、第2の実施形態に係る音声信号出力装置の動作と共通する部分が多いため、以下では、第1、第2の実施形態に係る音声信号出力装置の動作と相違するステップS301について説明する。
FIG. 6 shows a flowchart for explaining the operation of the audio
ステップS301では、補償信号生成部301は、保持している複数チャネル音声信号および保持している複数チャネル音声信号関連情報のうち、少なくとも一方を用いて補償信号を生成する。ここで、複数チャネル音声信号関連情報を用いて補償信号を生成する例としては、下記がある。
In step S301, the compensation
複数チャネル音声信号関連情報による補償信号生成の第1の例としては、複数チャネル音声信号関連情報が前記複数チャネル音声信号に演算を施して別の信号として表した信号を含んでおり、当該信号を前記補償信号生成方法の第2の例における補償信号生成の過程の代表信号として用いてもよい。 As a first example of the compensation signal generation by the multi-channel audio signal related information, the multi-channel audio signal-related information includes a signal expressed as another signal by performing an operation on the multi-channel audio signal. You may use as a representative signal of the process of the compensation signal generation in the 2nd example of the said compensation signal generation method.
複数チャネル音声信号関連情報による補償信号生成の第2の例としては、複数チャネル音声信号関連情報が、前記複数チャネル音声信号を、該複数チャネル音声信号よりも少ないチャネル数の信号とチャネル間の特性を表すパラメータとで表現した情報、を含んでおり、複数チャネル音声信号より少ないチャネル数の信号を前記補償信号生成方法の第2の例における補償信号生成の過程の代表信号として用いてもよい。例えば、非特許文献3に記載のパラメトリックステレオでは、2チャネルの音声信号を1チャネルの音声信号とチャネル間の特性を表すパラメータで表現する。当該1チャネル音声信号は、2チャネルの音声信号をダウンミキシングした信号であり、前記補償信号生成方法の第2の例における補償信号生成の過程の代表信号として用いることができる。また、非特許文献4〜7には、前記パラメトリックステレオと同様に、複数チャネル音声信号を複数チャネル音声信号より少ないチャネル数の信号とチャネル間の特性を表すパラメータで表現する方法が記載されている。これらの方法では、当該複数チャネル音声信号より少ないチャネル数の信号として、複数チャネル音声信号をダウンミキシングした信号が用いられており、前記パラメトリックステレオと同様に当該ダウンミキシング信号を前記補償信号生成方法の第2の例における補償信号生成の過程の代表信号として用いることができる。 As a second example of the compensation signal generation by the multi-channel audio signal related information, the multi-channel audio signal-related information is obtained by converting the multi-channel audio signal into a characteristic between a signal having a smaller number of channels than the multi-channel audio signal and the channel. And a signal having a smaller number of channels than the multi-channel audio signal may be used as a representative signal in the process of generating a compensation signal in the second example of the compensation signal generating method. For example, in the parametric stereo described in Non-Patent Document 3, a two-channel audio signal is represented by a parameter representing the characteristics between the one-channel audio signal and the channel. The 1-channel audio signal is a signal obtained by down-mixing a 2-channel audio signal, and can be used as a representative signal in the process of generating a compensation signal in the second example of the compensation signal generating method. Also, Non-Patent Documents 4 to 7 describe a method of expressing a multi-channel audio signal with a signal having a smaller number of channels than the multi-channel audio signal and a parameter indicating characteristics between channels, as in the parametric stereo. . In these methods, a signal obtained by down-mixing a multi-channel audio signal is used as a signal having a smaller number of channels than the multi-channel audio signal, and the down-mixed signal is used as the signal of the compensation signal generation method as in the parametric stereo. It can be used as a representative signal in the process of generating a compensation signal in the second example.
複数チャネル音声信号関連情報による補償信号生成の第3の例としては、複数チャネル音声信号関連情報が、前記複数チャネル音声信号を、該複数チャネル音声信号よりも少ないチャネル数の信号とチャネル間の特性を表すパラメータとで表現した情報、を含んでおり、複数チャネル音声信号より少ないチャネル数の信号を前記補償信号生成方法の第3の例における補償信号生成の過程の代表信号として用い、代表信号から生成した補償信号の振幅および位相のうち1つ以上の調整において前記チャネル間の特性を表すパラメータを用いてもよい。例えば、非特許文献3に記載のパラメトリックステレオでは、Inter-channel Intensity Difference (IID)という左右チャネル間の音声信号の強度差を表すパラメータがあり、これにより左右チャネルの音声信号の強度(即ち、振幅)を調整できる。また、複数チャネル音声信号関連情報保持部201が保持しているIID(即ち、補償信号生成対象期間(複数チャネル音声信号が劣化している区間の前の区間、後ろの区間、前後両方の区間、のうちいずれかの区間)のIID)より、予測または補間を行うことで補償信号生成対象期間のIIDを算出し、算出した補償信号生成対象期間のIIDを利用できる。なお、補償信号生成対象区間のIIDの算出方法は限定されない。さらに、例えば、複数チャネル音声信号関連情報が、複数チャネル音声信号の各チャネルの音声信号の電力や利得のように各チャネル音声信号の強度を表すパラメータを含む場合も、前記IIDのように当該チャネル間の強度差を算出することができ、共通の補償信号の振幅調整に用いることができる。さらに、非特許文献3に記載のパラメトリックステレオでは、Overall Phase Difference (OPD)とInter-channel Phase Difference (IPD)というダウンミキシング音声信号と左チャネル音声信号との位相差、左右チャネル間の音声信号の位相差を表すパラメータがあり、これにより、左右チャネルの音声信号の位相を調整できる。補償信号生成対象区間のOPD、IPDは、IIDと同様に、補償信号生成対象区間の前、後ろ、前後両方、のうちいずれかの区間のOPD、IPDより算出する。なお、補償信号生成対象区間のOPD、IPDの算出方法は限定されない。また、非特許文献4〜7には、前記パラメトリックステレオのIID、OPD、IPDと同様に、チャネル間の特性を表すパラメータで表現する方法が記載されている。これらの方法では、前記パラメトリックステレオと同様に、当該パラメータを前記補償信号生成方法の第3の例における補償信号生成の過程の代表信号の調整に用いることができる。 As a third example of compensation signal generation based on multi-channel audio signal-related information, the multi-channel audio signal-related information is obtained by converting the multi-channel audio signal into a characteristic between a signal having a smaller number of channels than the multi-channel audio signal and the channel. And a signal having a smaller number of channels than a multi-channel audio signal is used as a representative signal in the process of generating a compensation signal in the third example of the compensation signal generating method. A parameter representing the characteristic between the channels may be used in one or more adjustments of the amplitude and phase of the generated compensation signal. For example, in the parametric stereo described in Non-Patent Document 3, there is a parameter representing the intensity difference between the left and right channels called Inter-channel Intensity Difference (IID), and thereby the intensity (that is, amplitude) of the left and right channels. ) Can be adjusted. In addition, the IID held by the multi-channel audio signal related information holding unit 201 (that is, the compensation signal generation target period (the section before the section where the multi-channel audio signal is degraded, the back section, both the front and back sections, The IID of the compensation signal generation target period is calculated by performing prediction or interpolation from the IID) of any one of the sections), and the calculated IID of the compensation signal generation target period can be used. The method for calculating the IID of the compensation signal generation target section is not limited. Further, for example, when the information related to the multi-channel audio signal includes a parameter indicating the strength of each channel audio signal such as the power or gain of the audio signal of each channel of the multi-channel audio signal, The intensity difference between them can be calculated and used for adjusting the amplitude of the common compensation signal. Furthermore, in the parametric stereo described in Non-Patent Document 3, the phase difference between the down-mixing audio signal called the Overall Phase Difference (OPD) and the Inter-channel Phase Difference (IPD) and the left channel audio signal, and the audio signal between the left and right channels. There is a parameter indicating a phase difference, and thereby the phase of the audio signal of the left and right channels can be adjusted. The OPD and IPD of the compensation signal generation target section are calculated from the OPD and IPD of one of the sections before, behind, and both before and after the compensation signal generation target section, similarly to IID. Note that the calculation method of OPD and IPD in the compensation signal generation target section is not limited. Further, Non-Patent Documents 4 to 7 describe a method of expressing with parameters indicating characteristics between channels, like the parametric stereo IID, OPD, and IPD. In these methods, similar to the parametric stereo, the parameter can be used to adjust the representative signal in the process of generating the compensation signal in the third example of the compensation signal generating method.
以上のように補償信号生成部301は、保持している複数チャネル音声信号関連情報を用いて補償信号を生成できる。もちろん、補償信号生成部301は、前述した第1、第2の実施形態における補償信号生成部105と同様に、保持している複数チャネル音声信号を用いて補償信号を生成してもよい。また、補償信号生成部301は、複数チャネル音声信号関連情報を用いた補償信号生成方法と、複数チャネル音声信号を用いた補償信号生成方法とを組み合わせて、補償信号を生成してもよいし、また、どちらかの補償信号生成方法を選択的に用いてもよい。
As described above, the compensation
[第4の実施形態]
図7は、本発明の第4の実施形態に係る音声信号出力装置1Dの構成を示している。
[Fourth Embodiment]
FIG. 7 shows the configuration of an audio
図7に示すように音声信号出力装置1Dは、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201、品質管理部102、相関検出部401、補償信号生成方法決定部104、補償信号生成部301、および信号出力部106を有する。なお、音声信号出力装置1Dの構成には、前述した第1〜第3の実施形態に係る音声信号出力装置の構成と共通する部分が多いため、以下では、第1〜第3の実施形態に係る音声信号出力装置の構成と相違するブロック(相関検出部401)について説明する。
As shown in FIG. 7, the audio
相関検出部401は、保持している複数チャネル音声信号、および保持している複数チャネル音声信号関連情報のうち少なくとも一方を用いて、それに対応する区間の複数チャネル音声信号の各チャネル間の相関を検出する。
The
図8は、本発明の第4の実施形態に係る音声信号出力装置1Dの動作を説明するフローチャートを示している。図8に沿って、音声信号出力装置1Dの動作を説明する。ただし、音声信号出力装置1Dの動作には、前述した第1〜第3の実施形態に係る音声信号出力装置の動作と共通する部分が多いため、以下では、第1〜第3の実施形態に係る音声信号出力装置の動作と相違するステップS401について説明する。
FIG. 8 shows a flowchart for explaining the operation of the audio
ステップS401では、相関検出部401は、保持している複数チャネル音声信号および保持している複数チャネル音声信号関連情報のうち、少なくとも一方を用いて、それに対応する区間の複数チャネル音声信号の各チャネル間の相関を検出する。ここでの複数チャネル音声信号を用いた相関の検出方法の例は、第1の実施形態にて説明し、複数チャネル音声信号関連情報を用いた相関の検出方法の例は、第2の実施形態にて説明した。なお、相関検出部401は、上記複数チャネル音声信号を用いた相関の検出方法と、上記複数チャネル音声信号関連情報を用いた相関の検出方法とを組み合わせて、相関の検出を行ってもよいし、また、どちらかの相関の検出方法を選択的に用いてもよい。
In step S401,
[第5の実施形態]
図9は、本発明の第5の実施形態に係る音声信号出力装置1Eの構成を示している。
[Fifth Embodiment]
FIG. 9 shows the configuration of an audio
図9に示すように音声信号出力装置1Eは、複数チャネル音声信号生成部501(複数チャネル音声信号生成手段)、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201、品質管理部102、相関検出部202、補償信号生成方法決定部104、補償信号生成部301、および信号出力部106を有する。なお、音声信号出力装置1Eの構成には、前述した第1〜第4の実施形態に係る音声信号出力装置の構成と共通する部分が多いため、以下では、第1〜第4の実施形態に係る音声信号出力装置の構成と相違するブロック(即ち、複数チャネル音声信号生成部501)について説明する。
As shown in FIG. 9, the audio
複数チャネル音声信号生成部501は、複数チャネル音声信号関連情報から、複数チャネル音声信号を生成する。
The multi-channel audio
図10は、本発明の第5の実施形態に係る音声信号出力装置1Eの動作を説明するフローチャートを示している。図10に沿って、音声信号出力装置1Eの動作を説明する。ただし、音声信号出力装置1Eの動作には、前述した第1〜第4の実施形態に係る音声信号出力装置の動作と共通する部分が多いため、以下では、第1〜第4の実施形態に係る音声信号出力装置の動作と相違するステップS501について説明する。
FIG. 10 shows a flowchart for explaining the operation of the audio
ステップS501では、複数チャネル音声信号生成部501は、複数チャネル音声信号関連情報から、複数チャネル音声信号を生成する。ここでの複数チャネル音声信号関連情報としては、複数チャネル音声信号生成部501にて複数チャネル音声信号を生成でき、相関検出部202にて複数チャネル音声信号の各チャネル間の相関を検出できればよく、さらに補償信号生成部301にて複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方を用いて補償信号を生成できればよい。
In step S501, the multi-channel audio
複数チャネル音声信号関連情報は、例えば、非特許文献3のパラメトリックステレオの1チャネルの音声信号とチャネル間の特性を表すパラメータとを含むことができる。このうち、チャネル間の特性を表すパラメータの1つである前述したICCを用いて、チャネル間の相関を検出できる。また、当該複数チャネル音声信号関連情報から、複数チャネル音声信号である2チャネルの音声信号を生成できる。当該生成方法については、非特許文献3に記載されている。 The multi-channel audio signal related information can include, for example, a parametric stereo 1-channel audio signal of Non-Patent Document 3 and a parameter representing characteristics between channels. Among these, the correlation between channels can be detected using the above-described ICC, which is one of the parameters representing the characteristics between channels. Further, a 2-channel audio signal that is a multi-channel audio signal can be generated from the multi-channel audio signal-related information. This generation method is described in Non-Patent Document 3.
また、非特許文献4〜7には、複数チャネル音声信号よりも少ないチャネル数の音声信号と、前記ICCと等価または同様の特性を表すパラメータとが用いられており、非特許文献3のパラメトリックステレオと同様に、複数チャネル音声信号関連情報として含むことができる。 Further, Non-Patent Documents 4 to 7 use an audio signal having a smaller number of channels than a multi-channel audio signal, and parameters representing characteristics equivalent to or similar to the ICC. Similarly, it can be included as multi-channel audio signal related information.
さらには、例えば、複数チャネル音声信号関連情報として、非特許文献8のMSステレオを含むことができる。MSステレオは、前述した(式2)、(式3)の和信号、差信号を含んでおり、第1の実施形態と同様の手法で相関を検出でき、(式2)、(式3)の逆演算により複数チャネル音声信号を生成できる。生成方法の詳細は非特許文献8に記載されている。なお、複数チャネル音声信号関連情報は、上記の例の情報でも、別の情報でもよく、その形式は限定されない。 Furthermore, for example, the MS stereo of Non-Patent Document 8 can be included as the multi-channel audio signal related information. MS stereo includes the sum signal and difference signal of (Expression 2) and (Expression 3) described above, and correlation can be detected by the same method as in the first embodiment. (Expression 2), (Expression 3) A multi-channel audio signal can be generated by the inverse operation. Details of the generation method are described in Non-Patent Document 8. The multi-channel audio signal related information may be the information in the above example or other information, and the format is not limited.
[第6の実施形態]
図11は、本発明の第6の実施形態に係る音声信号出力装置1Fの構成を示している。
[Sixth Embodiment]
FIG. 11 shows the configuration of an audio
図11に示すように音声信号出力装置1Fは、複数チャネル音声信号生成部501、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201、品質管理部102、相関検出部103、補償信号生成方法決定部104、補償信号生成部301、および信号出力部106を有する。
As shown in FIG. 11, the audio
音声信号出力装置1Fは、第5の実施形態の音声信号出力装置1Eに似ているが、相関検出部の動作が異なる。音声信号出力装置1Fに含まれる相関検出部103は、第1、第3の実施形態における相関検出部103と同様のものであり、相関検出部103は、複数チャネル音声信号から、複数チャネル音声信号の各チャネル間の相関を検出する。
The audio
なお、図12は、第6の実施形態に係る音声信号出力装置1Fの動作を説明するフローチャートを示しており、第5の実施形態の音声信号出力装置1Eの動作(図10)とは、相関検出部による処理ステップが異なる。音声信号出力装置1Fでは、ステップS103にて相関検出部103が、複数チャネル音声信号から、複数チャネル音声信号の各チャネル間の相関を検出する。
FIG. 12 shows a flow chart for explaining the operation of the audio
このとき、複数チャネル音声信号関連情報としては、複数チャネル音声信号生成部501にて複数チャネル音声信号を生成できればよく、また、相関検出部103にて複数チャネル音声信号を用いて複数チャネル音声信号の各チャネル間の相関を検出できればよく、また、補償信号生成部301にて複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方を用いて補償信号を生成できればよい。
At this time, as the multi-channel audio signal related information, it is sufficient that the multi-channel audio
[第7の実施形態]
図13は、本発明の第7の実施形態に係る音声信号出力装置1Gの構成を示している。
[Seventh Embodiment]
FIG. 13 shows the configuration of an audio
図13に示すように音声信号出力装置1Gは、複数チャネル音声信号生成部501、複数チャネル音声信号保持部101、複数チャネル音声信号関連情報保持部201、品質管理部102、相関検出部401、補償信号生成方法決定部104、補償信号生成部301、および信号出力部106を有する。
As shown in FIG. 13, the audio
音声信号出力装置1Gは、第5の実施形態の音声信号出力装置1Eに似ているが、相関検出部の動作が異なる。音声信号出力装置1Gに含まれる相関検出部401は、第4の実施形態における相関検出部401と同様のものであり、相関検出部401は、複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方から、複数チャネル音声信号の各チャネル間の相関を検出する。
The audio
なお、図14は、第7の実施形態に係る音声信号出力装置1Gの動作を説明するフローチャートを示しており、第5の実施形態の音声信号出力装置1Eの動作(図10)とは、相関検出部による処理ステップが異なる。音声信号出力装置1Gでは、ステップS401にて相関検出部401が、複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方から、複数チャネル音声信号の各チャネル間の相関を検出する。
FIG. 14 is a flowchart for explaining the operation of the audio
このとき、複数チャネル音声信号関連情報としては、複数チャネル音声信号生成部501にて複数チャネル音声信号を生成できればよく、また、相関検出部401にて複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方を用いて複数チャネル音声信号の各チャネル間の相関を検出できればよく、また、補償信号生成部301にて複数チャネル音声信号および複数チャネル音声信号関連情報のうち少なくとも一方を用いて補償信号を生成できればよい。
At this time, as the multi-channel audio signal related information, the multi-channel audio
1A、1B、1C、1D、1E、1F、1G…音声信号出力装置、11…CPU、12…主記憶部、13…補助記憶部、14…通信制御部、15…表示部、16…操作部、17…入力部、18…出力部、20A、20B、20C…音声信号出力プログラム、21…複数チャネル音声信号保持モジュール、22…品質管理モジュール、23…相関検出モジュール、24…補償信号生成方法決定モジュール、25…補償信号生成モジュール、26…信号出力モジュール、27…複数チャネル音声信号関連情報保持モジュール、28…複数チャネル音声信号生成モジュール、101…複数チャネル音声信号保持部、102…品質管理部、103…相関検出部、104…補償信号生成方法決定部、105…補償信号生成部、106…信号出力部、201…複数チャネル音声信号関連情報保持部、202…相関検出部、301…補償信号生成部、401…相関検出部、501…複数チャネル音声信号生成部。
1A, 1B, 1C, 1D, 1E, 1F, 1G ... audio signal output device, 11 ... CPU, 12 ... main storage unit, 13 ... auxiliary storage unit, 14 ... communication control unit, 15 ... display unit, 16 ... operation unit , 17 ... input unit, 18 ... output unit, 20A, 20B, 20C ... audio signal output program, 21 ... multi-channel audio signal holding module, 22 ... quality control module, 23 ... correlation detection module, 24 ... determination of compensation signal generation method Module, 25 ... Compensation signal generation module, 26 ... Signal output module, 27 ... Multi-channel audio signal related information holding module, 28 ... Multi-channel audio signal generation module, 101 ... Multi-channel audio signal holding unit, 102 ... Quality management unit, DESCRIPTION OF
Claims (11)
所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断する品質管理手段と、
前記品質管理手段により前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出する相関検出手段と、
前記相関検出手段による検出結果に基づいて、補償信号の生成方法を決定する補償信号生成方法決定手段と、
前記補償信号生成方法決定手段により決定された生成方法に基づいて、補償信号を生成する補償信号生成手段と、
前記補償信号生成手段により生成された前記補償信号を出力するとともに、前記品質管理手段により前記複数チャネル音声信号が劣化していないと判断された場合に前記複数チャネル音声信号を出力する信号出力手段と、
を具備する音声信号出力装置。 Multi-channel audio signal holding means for holding a multi-channel audio signal that is an audio signal of two or more channels for a predetermined period;
Quality management means for determining whether or not the multi-channel audio signal is deteriorated based on predetermined quality control information;
Correlation detection means for detecting a correlation between the channels of the multi-channel audio signal from the multi-channel audio signal when the quality management means determines that the multi-channel audio signal is deteriorated;
Compensation signal generation method determination means for determining a compensation signal generation method based on the detection result by the correlation detection means;
Compensation signal generation means for generating a compensation signal based on the generation method determined by the compensation signal generation method determination means;
A signal output unit that outputs the compensation signal generated by the compensation signal generation unit and outputs the multi-channel audio signal when the quality control unit determines that the multi-channel audio signal is not degraded; ,
An audio signal output device comprising:
検出されたチャネル間の相関が所定の基準よりも高い2つ以上のチャネル音声信号については、前記補償信号の生成方法として、共通の補償信号を生成する生成方法を決定する、
ことを特徴とする請求項1に記載の音声信号出力装置。 The compensation signal generation method determining means includes:
For two or more channel audio signals whose correlation between detected channels is higher than a predetermined reference, a generation method for generating a common compensation signal is determined as the generation method of the compensation signal.
The audio signal output device according to claim 1.
前記複数チャネル音声信号に関連する情報である複数チャネル音声信号関連情報を、所定の期間保持する複数チャネル音声信号関連情報保持手段、をさらに具備し、
前記相関検出手段は、前記複数チャネル音声信号関連情報から、前記複数チャネル音声信号の各チャネル間の相関を検出する、
ことを特徴とする請求項1又は2に記載の音声信号出力装置。 The audio signal output device is
A plurality of channel audio signal related information holding means for holding a plurality of channel audio signal related information, which is information related to the plurality of channel audio signals, for a predetermined period;
The correlation detecting means detects a correlation between the channels of the multi-channel audio signal from the multi-channel audio signal-related information.
The audio signal output device according to claim 1 or 2,
ことを特徴とする請求項3に記載の音声信号出力装置。 The compensation signal generating means generates the compensation signal from at least one of the multi-channel audio signal and the multi-channel audio signal-related information.
The audio signal output device according to claim 3.
ことを特徴とする請求項3又は4に記載の音声信号出力装置。 The correlation detection means detects a correlation between the channels of the multi-channel audio signal from at least one of the multi-channel audio signal and the multi-channel audio signal-related information.
The audio signal output device according to claim 3 or 4, wherein
前記複数チャネル音声信号関連情報から、前記複数チャネル音声信号を生成する複数チャネル音声信号生成手段、をさらに具備する、
ことを特徴とする請求項3〜5の何れか1項に記載の音声信号出力装置。 The audio signal output device is
A multi-channel audio signal generating means for generating the multi-channel audio signal from the multi-channel audio signal related information;
The audio signal output device according to any one of claims 3 to 5, wherein:
ことを特徴とする請求項3〜6の何れか1項に記載の音声信号出力装置。 The multi-channel audio signal related information includes a mixed audio signal of at least one channel obtained by mixing the multi-channel audio signal by a predetermined method.
The audio signal output device according to any one of claims 3 to 6, wherein
ことを特徴とする請求項3〜7の何れか1項に記載の音声信号出力装置。 The multi-channel audio signal related information includes at least one of an intensity difference between channels of the multi-channel audio signal, a phase difference between channels, and a coherence between channels.
The audio signal output device according to claim 3, wherein the audio signal output device is an audio signal output device.
ことを特徴とする請求項3〜8の何れか1項に記載の音声信号出力装置。 The multi-channel audio signal related information includes a correlation detection result between the channels of the multi-channel audio signal.
The audio signal output device according to claim 3, wherein the audio signal output device is an audio signal output device.
2つ以上のチャネルの音声信号である複数チャネル音声信号を、所定の期間保持するステップと、
所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断するステップと、
前記複数チャネル音声信号が劣化していないと判断された場合に、前記複数チャネル音声信号を出力するステップと、
前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出するステップと、
前記各チャネル間の相関の検出結果に基づいて、補償信号の生成方法を決定するステップと、
決定された前記生成方法に基づいて、補償信号を生成するステップと、
生成された前記補償信号を出力するステップと、
を具備する音声信号出力方法。 An audio signal output method executed by an audio signal output device,
Holding a multi-channel audio signal that is an audio signal of two or more channels for a predetermined period;
Determining whether the multi-channel audio signal is degraded based on predetermined quality control information; and
Outputting the multi-channel audio signal when it is determined that the multi-channel audio signal is not degraded;
Detecting the correlation between the channels of the multi-channel audio signal from the multi-channel audio signal when it is determined that the multi-channel audio signal is degraded;
Determining a compensation signal generation method based on a detection result of correlation between the channels;
Generating a compensation signal based on the determined generation method;
Outputting the generated compensation signal;
An audio signal output method comprising:
2つ以上のチャネルの音声信号である複数チャネル音声信号を、所定の期間保持する複数チャネル音声信号保持手段と、
所定の品質管理用情報に基づいて、前記複数チャネル音声信号が劣化しているか否かを判断する品質管理手段と、
前記品質管理手段により前記複数チャネル音声信号が劣化していると判断された場合に、前記複数チャネル音声信号から、当該複数チャネル音声信号の各チャネル間の相関を検出する相関検出手段と、
前記相関検出手段による検出結果に基づいて、補償信号の生成方法を決定する補償信号生成方法決定手段と、
前記補償信号生成方法決定手段により決定された生成方法に基づいて、補償信号を生成する補償信号生成手段と、
前記補償信号生成手段により生成された前記補償信号を出力するとともに、前記品質管理手段により前記複数チャネル音声信号が劣化していないと判断された場合に前記複数チャネル音声信号を出力する信号出力手段、
として機能させるための音声信号出力プログラム。 A computer provided in the audio signal output device,
Multi-channel audio signal holding means for holding a multi-channel audio signal that is an audio signal of two or more channels for a predetermined period;
Quality management means for determining whether or not the multi-channel audio signal is deteriorated based on predetermined quality control information;
Correlation detection means for detecting a correlation between the channels of the multi-channel audio signal from the multi-channel audio signal when the quality management means determines that the multi-channel audio signal is deteriorated;
Compensation signal generation method determination means for determining a compensation signal generation method based on the detection result by the correlation detection means;
Compensation signal generation means for generating a compensation signal based on the generation method determined by the compensation signal generation method determination means;
A signal output unit that outputs the compensation signal generated by the compensation signal generation unit and outputs the multi-channel audio signal when the quality control unit determines that the multi-channel audio signal is not degraded;
Audio signal output program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008272371A JP2010102042A (en) | 2008-10-22 | 2008-10-22 | Device, method and program for output of voice signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008272371A JP2010102042A (en) | 2008-10-22 | 2008-10-22 | Device, method and program for output of voice signal |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013191936A Division JP5744992B2 (en) | 2013-09-17 | 2013-09-17 | Audio signal output device, audio signal output method, and audio signal output program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010102042A true JP2010102042A (en) | 2010-05-06 |
Family
ID=42292756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008272371A Pending JP2010102042A (en) | 2008-10-22 | 2008-10-22 | Device, method and program for output of voice signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010102042A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016528535A (en) * | 2013-07-05 | 2016-09-15 | ドルビー インターナショナル アクチボラグ | Packet loss compensation device, packet loss compensation method, and speech processing system |
DE202022101069U1 (en) | 2022-02-24 | 2022-03-23 | Pankaj Agarwal | Intelligent sound detection system based on artificial intelligence processing of multiple sounds |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001296894A (en) * | 2000-04-12 | 2001-10-26 | Matsushita Electric Ind Co Ltd | Voice processor and voice processing method |
JP2004184975A (en) * | 2002-11-29 | 2004-07-02 | Samsung Electronics Co Ltd | Audio decoding method and apparatus for reconstructing high-frequency component with less computation |
WO2005119950A1 (en) * | 2004-06-02 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Audio data transmitting/receiving apparatus and audio data transmitting/receiving method |
WO2009084226A1 (en) * | 2007-12-28 | 2009-07-09 | Panasonic Corporation | Stereo sound decoding apparatus, stereo sound encoding apparatus and lost-frame compensating method |
-
2008
- 2008-10-22 JP JP2008272371A patent/JP2010102042A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001296894A (en) * | 2000-04-12 | 2001-10-26 | Matsushita Electric Ind Co Ltd | Voice processor and voice processing method |
JP2004184975A (en) * | 2002-11-29 | 2004-07-02 | Samsung Electronics Co Ltd | Audio decoding method and apparatus for reconstructing high-frequency component with less computation |
WO2005119950A1 (en) * | 2004-06-02 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Audio data transmitting/receiving apparatus and audio data transmitting/receiving method |
WO2009084226A1 (en) * | 2007-12-28 | 2009-07-09 | Panasonic Corporation | Stereo sound decoding apparatus, stereo sound encoding apparatus and lost-frame compensating method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016528535A (en) * | 2013-07-05 | 2016-09-15 | ドルビー インターナショナル アクチボラグ | Packet loss compensation device, packet loss compensation method, and speech processing system |
JP2018116283A (en) * | 2013-07-05 | 2018-07-26 | ドルビー インターナショナル アクチボラグ | Packet loss concealment apparatus and method, and audio processing system |
US10224040B2 (en) | 2013-07-05 | 2019-03-05 | Dolby Laboratories Licensing Corporation | Packet loss concealment apparatus and method, and audio processing system |
DE202022101069U1 (en) | 2022-02-24 | 2022-03-23 | Pankaj Agarwal | Intelligent sound detection system based on artificial intelligence processing of multiple sounds |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5174973B2 (en) | Apparatus, method and computer program for upmixing a downmix audio signal | |
RU2639952C2 (en) | Hybrid speech amplification with signal form coding and parametric coding | |
JP4456601B2 (en) | Audio data receiving apparatus and audio data receiving method | |
JP4498677B2 (en) | Multi-channel signal encoding and decoding | |
JP5773124B2 (en) | Signal analysis control and signal control system, apparatus, method and program | |
WO2010077542A1 (en) | Method and apprataus for generating an enhancement layer within a multiple-channel audio coding system | |
WO2010005050A1 (en) | Signal analyzing device, signal control device, and method and program therefor | |
WO2006059567A1 (en) | Stereo encoding apparatus, stereo decoding apparatus, and their methods | |
US11937075B2 (en) | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using low-order, mid-order and high-order components generators | |
KR20070090217A (en) | Scalable encoding apparatus and scalable encoding method | |
JP5468020B2 (en) | Acoustic signal decoding apparatus and balance adjustment method | |
US8644526B2 (en) | Audio signal decoding device and balance adjustment method for audio signal decoding device | |
EP3301672A1 (en) | Audio encoding device and audio decoding device | |
EP2863658A1 (en) | Method and device for processing audio signal | |
US20130066639A1 (en) | Signal processing method, encoding apparatus thereof, and decoding apparatus thereof | |
JP2010102042A (en) | Device, method and program for output of voice signal | |
JP5744992B2 (en) | Audio signal output device, audio signal output method, and audio signal output program | |
JP2010139671A (en) | Audio decoding apparatus, method, and program | |
KR102654181B1 (en) | Method and apparatus for low-cost error recovery in predictive coding | |
KR101904420B1 (en) | Decoding method of audio signal and decoding apparatus thereof | |
JP5032921B2 (en) | SOUND IMAGE CONTROL DEVICE AND SOUND IMAGE CONTROL METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130618 |