JP2006330144A - Interpolation method and interpolation system of audio data - Google Patents

Interpolation method and interpolation system of audio data Download PDF

Info

Publication number
JP2006330144A
JP2006330144A JP2005150597A JP2005150597A JP2006330144A JP 2006330144 A JP2006330144 A JP 2006330144A JP 2005150597 A JP2005150597 A JP 2005150597A JP 2005150597 A JP2005150597 A JP 2005150597A JP 2006330144 A JP2006330144 A JP 2006330144A
Authority
JP
Japan
Prior art keywords
audio data
sampling rate
interpolation
frequency
khz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005150597A
Other languages
Japanese (ja)
Other versions
JP4593364B2 (en
Inventor
Noriyuki Takashima
紀之 高島
Masaichi Akiyasu
政一 秋保
Yoshinori Haseyama
美紀 長谷山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2005150597A priority Critical patent/JP4593364B2/en
Publication of JP2006330144A publication Critical patent/JP2006330144A/en
Application granted granted Critical
Publication of JP4593364B2 publication Critical patent/JP4593364B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an "interpolation method and interpolation system of audio data" capable of converting compressed audio data of a low sampling rate to audio data of a high sampling rate that can be outputted as a tone approximate to an original music tone signal. <P>SOLUTION: An FIF processing section 11 converts the audio data of the low sampling rate (22.05 kHz) to the audio data of the high sampling rate (44.1 kHz) by using a fractal interpolation function and a correction filter 12 having transmission characteristics of a linearly reducing gain reduces the transmission characteristics of the audio data obtained by the conversion in a high-frequency region. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明はオーディオデータの補間方法および補間装置に係わり、特に低サンプリングレートの圧縮オーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するオーディオデータの補間方法および補間装置に関する。   The present invention relates to an audio data interpolation method and interpolation apparatus, and more particularly to an audio data interpolation method and interpolation apparatus for converting low sampling rate compressed audio data into high sampling rate audio data using a fractal interpolation function.

オーディオ分野やグラフィック分野ではサンプリング信号間を補間する技術が種々研究されて提案されており、補間技術としてFIF (Fractal Interpolation Functions)が注目されている。図１２は従来の補間装置の構成図であり、圧縮オーディオデコーダ１は低サンプリングレートの圧縮オーディオデータをデコードし、FIF処理部２は得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換して出力する。FIFは補間区間に該補間区間のM倍の長さの信号波形を写像して補間する技術であり(非特許文献1を参照)、概略は以下の通りである。   In the audio field and the graphic field, various techniques for interpolating between sampling signals have been studied and proposed, and FIF (Fractal Interpolation Functions) has attracted attention as an interpolation technique. FIG. 12 is a block diagram of a conventional interpolating apparatus, in which a compressed audio decoder 1 decodes compressed audio data having a low sampling rate, and an FIF processing unit 2 converts the obtained audio data into a high sampling rate using a fractal interpolation function. Convert to audio data and output. FIF is a technique for mapping and interpolating a signal waveform having a length M times the interpolation interval to the interpolation interval (see Non-Patent Document 1), and the outline is as follows.

（ａ）FIF処理
図１３に示す一次元離散信号S＝｛（un,vn）:n=0,1,…,N｝が与えられた際のFIF処理手順を説明する。ただし、信号Sは次式を満足する1価関数で表される信号である。
ｕ0＜ｕ1＜．．．．．＜ｕn (1)
まず、信号Sから、（M+1）個の代表点P＝｛（ｘi,ｙi）:i=0,1,…,M｝を選択する（図１３中の黒丸点）。ただし、信号Sの両端点は次式に示すように、代表点として無条件に選択するものとする。

Figure 2006330144
上記（M+1）個の代表点を選択することにより、信号SはM個の区間(第1区間〜第M区間)に分割される。尚、以下では、連続する２つの代表点により定義される区間〔xi-1,xi〕を補間区間ｉと呼ぶ。 (A) FIF processing The FIF processing procedure when the one-dimensional discrete signal S = {(u n , v n ): n = 0, 1,..., N} shown in FIG. However, the signal S is a signal represented by a monovalent function that satisfies the following equation.
u 0 <u 1 <. . . . . <U n (1)
First, (M + 1) representative points P = {(x i , y i ): i = 0, 1,..., M} are selected from the signal S (black dots in FIG. 13). However, both end points of the signal S are unconditionally selected as representative points as shown in the following equation.
Figure 2006330144
 By selecting the (M + 1) representative points, the signal S is divided into M sections (first to Mth sections). In the following, an interval [x i−1 , x i ] defined by two consecutive representative points is referred to as an interpolation interval i.

次に、式（3）に示すアフィン写像ｗiを適用することで、信号ＳをＭ個の補間区間ｉ（ｉ＝０〜Ｍ）にそれぞれ写像する。図１４は信号Ｓを補間区間ｉに写像した例を示している。

Figure 2006330144
上式において、ｗiは信号Ｓを補間区間iに写す縮小写像である。したがって、FIFを適用することで与えられた信号Sは、次式に示すように縮小写像ｗi（ｉ＝１〜Ｍ）による自身の縮小像ｗi（S）の和集合として表現されることがわかる。 Next, the signal S is mapped to M interpolation sections i (i = 0 to M) by applying the affine mapping w i shown in Expression (3). FIG. 14 shows an example in which the signal S is mapped to the interpolation section i.
Figure 2006330144
 In the above equation, w i is a reduced map that maps the signal S to the interpolation interval i. Therefore, the signal S given by applying FIF is expressed as a union of its own reduced image w i (S) by the reduced map w i (i = 1 to M) as shown in the following equation. I understand.

Figure 2006330144
上式において、GはIterated Function Systems (IFS)のアトラクタであり、自己アフィン特性を有することが知られている。
ところで、式（3）において、５つの未知パラメータai, ci, di, ei, fi（以降、写像パラメータと呼ぶ）が存在する。式（3）を実際の信号に適用するには、これら５つの未知パラメータai, ci, di, ei, fIを求めなければならない。そこで次式に示す制約条件を設ける。
Figure 2006330144
 In the above equation, G is an attractor of Iterated Function Systems (IFS) and is known to have self-affine characteristics.
By the way, in equation (3), there are five unknown parameters a i , c i , d i , e i , and f i (hereinafter referred to as mapping parameters). In order to apply Equation (3) to an actual signal, these five unknown parameters a i , c i , d i , e i , and f I must be obtained. Therefore, the constraint condition shown in the following equation is provided.

Figure 2006330144
上記制約により、図１４の矢印Ａ，Ｂに示すように、信号Sの端点Ts,Teは補間区間iの端点tis,tieに写される。このような制約を設け、さらに５つ存在する写像パラメータの内、縮小因子と呼ばれるパラメータｄiを変数と考えると、他の４つの写像パラメータはそれぞれ、以下に示すように表すことができる。
Figure 2006330144
 Due to the above restrictions, the end points Ts and Te of the signal S are copied to the end points tis and tie of the interpolation section i as indicated by arrows A and B in FIG. When such a restriction is provided and the parameter d i called a reduction factor among the five existing mapping parameters is considered as a variable, the other four mapping parameters can be expressed as shown below.

Figure 2006330144
FIFを用いて与えられた信号を高精度に表現するためには、代表点及び縮小因子をいかに決定するかという問題が生じる。この問題はFIFにおけるinverse problemと呼ばれており、これまでにその解法が幾つか提案されているが、本文ではMazelらにより提案された手法(たとえば非特許文献2参照)を用いてinverse problemを解決する。以下において、その方法を説明する。
Figure 2006330144
 In order to accurately express a given signal using FIF, there arises a problem of how to determine a representative point and a reduction factor. This problem is called the inverse problem in FIF, and several solutions have been proposed so far, but in the text, the inverse problem is solved using the method proposed by Mazel et al. (See Non-Patent Document 2, for example). Resolve. The method will be described below.

（ｂ）写像パラメータの決定
先に述べたように、FIFを適用することで、与えられた信号Sは各補間区間に写される。このとき、縮小写像ｗiによる信号Ｓの像ｗi(s)=[(pn,qn):n=0,1,…,N]は(図１５参照)、次式に示すように表すことができる。図１５において大きな白丸は信号S上ののデータポイント、小さな黒丸は縮小写像ｗi(s)上のN個のポイントである。

Figure 2006330144
前節で述べたように、FIFを適用する際には、与えられた信号Sを高精度に近似したアトラクタGをいかに生成するかが問題となるが、この問題は、信号Sの部分集合S[xi-1,xi]と縮小像ｗi(S)との誤差を最小化することにより解決できる。ここで、信号S[xi-1,xi]と縮小像ｗi(S)との誤差をＥiとすると、Ｅiは図１５に示すように、信号S[xi-1,xi]及び縮小像ｗi(S)を構成するデータ点の垂直方向の距離を足し合わせることにより、次式に示すように定式化できる。 (B) Determination of mapping parameter As described above, by applying FIF, a given signal S is copied to each interpolation section. At this time, an image w i (s) = [(p n , q n ): n = 0, 1,..., N] of the signal S by the reduced map w i (see FIG. 15) is as shown in the following equation. Can be represented. In FIG. 15, large white circles are data points on the signal S, and small black circles are N points on the reduced map w i (s).
Figure 2006330144
 As described in the previous section, when applying FIF, the problem is how to generate an attractor G that approximates a given signal S with high accuracy. This problem is related to the subset S [ This can be solved by minimizing the error between x i−1 , x i ] and the reduced image w i (S). Here, when the error between the signal S [x i-1, x i] with reduced image w i (S) and E i, E i, as shown in FIG. 15, the signal S [x i-1, x By adding the distances in the vertical direction of the data points constituting i ] and the reduced image w i (S), it can be formulated as shown in the following equation.

Figure 2006330144
尚、上式（12）において[・]はガウス記号を表す。式（11）に式（8）、（9）をそれぞれ代入し、整理すると次式を得る。
Figure 2006330144
 次に、式（13）を縮小因子ｄiに関して最小2乗規範に基づき最小化すると、縮小因子ｄiは次式により与えられる。
Figure 2006330144
 In the above equation (12), [·] represents a Gaussian symbol. Substituting Equations (8) and (9) into Equation (11) and rearranging them gives the following equation.
Figure 2006330144
 Next, when Equation (13) is minimized with respect to the reduction factor d i based on the least square criterion, the reduction factor d i is given by the following equation.

Figure 2006330144
先に述べたように、縮小因子ｄiの価が決定されれば、残り４つの写像パラメータは一意に定めることができる。したがって、対象となる信号が全て既知のデータ点により構成されている場合、そのinverse problemは比較的容易に解くことができる。
図１２のオーディオデータの補間装置において、入力信号である圧縮オーディオデータは、たとえば22.05KHzでサンプリングしたデータにMP3圧縮処理したものであり、圧縮オーディオデコーダ１から出力するオーディオデータの周波数特性（スペクトル）は図１６の（B）に示すように、高域特性が失われた特性になる。なお、（A）は原楽音信号の周波数特性である。この圧縮オーディオデコーダ１から出力するオーディオデータを、フラクタル補間機能を用いてFIF処理部２で44.1ｋHzのオーディオデータに変換すると、その周波数特性は（C）に示すようになり、原楽音信号の周波数特性に類似した周波数特性となる。
M.F.Barbsley, "Fractal functions and interpolation" Constructive Approximation, vol.2, pp.303-329, 1986 D.S.Mazel and M.H. Hayes, "Using Iterated function systems to model discrete sequences" IEEE Trans. Signal Processing, vol.40, No.7, pp.1243-1249, Oct 1982.
Figure 2006330144
 As described above, if the value of the reduction factor d i is determined, the remaining four mapping parameters can be uniquely determined. Therefore, when all signals of interest are composed of known data points, the inverse problem can be solved relatively easily.
In the audio data interpolating apparatus shown in FIG. 12, the compressed audio data as the input signal is obtained by MP3 compression of data sampled at, eg, 22.05 KHz, and the frequency characteristics (spectrum) of the audio data output from the compressed audio decoder 1 As shown in FIG. 16B, the high frequency characteristics are lost. (A) is the frequency characteristic of the original musical sound signal. When the audio data output from the compressed audio decoder 1 is converted into 44.1 kHz audio data by the FIF processing unit 2 using the fractal interpolation function, the frequency characteristic is as shown in (C), and the frequency of the original musical sound signal is obtained. The frequency characteristic is similar to the characteristic.
MFBarbsley, "Fractal functions and interpolation" Constructive Approximation, vol.2, pp.303-329, 1986 DSMazel and MH Hayes, "Using Iterated function systems to model discrete sequences" IEEE Trans. Signal Processing, vol.40, No.7, pp.1243-1249, Oct 1982.

FIF処理後の信号を楽音信号として考察すると、図１６の（A）の原楽音信号と（C）のFIF処理後の楽音信号の周波数特性から明らかなようにFIF処理後の楽音信号の周波数特性は高域がフラットな特性になっており、聴取者は高域が強い印象を受ける。
人間の聴覚は倍音ベース(オクターブベース)に感覚ができており、周波数特性が一定のホワイトノイズを聞くとノイズが高域にシフトしたように聞こえる。これを避けるために周波数が高くなるにつれてスペクトルが低くなる（3dB/octに従って低くなる）ピンクノイズが作られた。傾き3dB/octつまり１オクターブに対して3dBの減衰をかけることで、人間の耳ですべての可聴領域で同じ音圧のノイズを聞くことができるからであり、ピンクノイズはスピーカや部屋の音響特性の測定などに用いられている。なお、図１７にピンクノイズの周波数特性を示す。
ホワイトノイズとピンクノイズの関係と同様に人間の聴覚を考慮すると、楽音信号のスペクトラムは広域に従ってなだらかに低下するのが望ましい。しかし、図１６の（C）のFIF処理後の楽音信号の周波数特性は16kHz付近から20ｋHz手前までフラットとなり、20kHz付近で多少上昇し、その後低下する特性になっている。このため、従来の補間方法は、人間の聴覚にとって望ましい特性になっておらず、聴感上高域が不自然になる。
以上から本発明の目的は、人間の聴覚にとって望ましい特性を有するように、低サンプリング圧縮されたオーディオデータを補間する補間方法及び補間装置を提供することである。 When the signal after FIF processing is considered as a musical sound signal, the frequency characteristic of the musical sound signal after FIF processing is clear from the frequency characteristic of the original musical sound signal in FIG. 16A and the musical sound signal after FIF processing in FIG. Has a flat characteristic in the high range, and the listener gets a strong impression of the high range.
Human auditory perception is based on harmonic overtone (octave base), and when white noise with a constant frequency characteristic is heard, it sounds as if the noise has shifted to a high frequency range. To avoid this, pink noise was created with the spectrum becoming lower (lowering with 3 dB / oct) as the frequency increased. This is because the noise of the same sound pressure can be heard in the human ear in all audible areas by applying an attenuation of 3 dB to a tilt of 3 dB / oct, that is, one octave. Pink noise is the acoustic characteristics of speakers and rooms. It is used for measurement. FIG. 17 shows the frequency characteristics of pink noise.
Considering human hearing as well as the relationship between white noise and pink noise, it is desirable that the spectrum of the musical sound signal gradually decreases in accordance with a wide area. However, the frequency characteristic of the musical tone signal after the FIF processing in FIG. 16C is flat from about 16 kHz to 20 kHz, and rises slightly around 20 kHz, and then decreases. For this reason, the conventional interpolation method does not have desirable characteristics for human hearing, and the high frequency becomes unnatural in terms of hearing.
Accordingly, an object of the present invention is to provide an interpolation method and an interpolation apparatus for interpolating low sampling compressed audio data so as to have desirable characteristics for human hearing.

上記課題は本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードするステップ、得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するステップ、該変換により得られたオーディオデータの高域における伝達特性を低減するステップを有するオーディオデータの補間方法により達成される。上記前記低減ステップは、低サンプリングレートの1/2の周波数（ナイキスト周波数）から高サンプリングレートの1/2の周波数（ナイキスト周波数）までの伝達特性を低減する。
また、上記課題は本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードするデコーダ、デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するアップサンプリング処理部、前記変換により得られたオーディオデータの高域における伝達特性を低減する補正フィルタを備えたオーディオデータの補間装置により達成される。補正フィルタは、直線的にゲインが低減する伝達特性を有し、前記低サンプリングレートの1/2の周波数（ナイキスト周波数）から前記高サンプリングレートの1/2の周波数（ナイキスト周波数）までの伝達特性を低減する。 According to the present invention, the above-described problem is obtained by decoding low-sampling-rate compressed audio data, converting the obtained audio data to high-sampling-rate audio data using a fractal interpolation function, and the conversion. This is achieved by an audio data interpolation method having a step of reducing transfer characteristics of audio data in a high frequency range. The reduction step reduces a transfer characteristic from a frequency half the low sampling rate (Nyquist frequency) to a frequency half the high sampling rate (Nyquist frequency).
According to the present invention, there is provided a decoder for decoding compressed audio data at a low sampling rate, and upsampling for converting audio data obtained by decoding into audio data at a high sampling rate using a fractal interpolation function. This is achieved by an audio data interpolating device provided with a processing unit and a correction filter for reducing transfer characteristics in the high frequency range of the audio data obtained by the conversion. The correction filter has a transfer characteristic in which the gain decreases linearly, and a transfer characteristic from a half frequency (Nyquist frequency) of the low sampling rate to a half frequency (Nyquist frequency) of the high sampling rate. Reduce.

本発明によれば、低サンプリングレートの圧縮オーディオデータをデコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換し、得られたオーディオデータの高域における周波数特性をなだらかに低減するようにしたから、人間の聴覚に望ましい周波数特性を有する楽音信号を復元して出力することができる。すなわち、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。   According to the present invention, audio data obtained by decoding low-sampling-rate compressed audio data is converted into high-sampling-rate audio data using a fractal interpolation function, and the obtained audio data has a frequency in the high frequency range. Since the characteristic is gently reduced, it is possible to restore and output a musical sound signal having a frequency characteristic desirable for human hearing. That is, compressed audio data with a low sampling rate can be restored and output as a tone signal for audio reproduction.

図１は本発明のオーディオデータの補間装置の説明図、図2は補正フィルタの周波数特性である。
FIF処理部１１は低サンプリングレート（22.05kHz）のオーディオデータを、フラクタル補間機能を用いて高サンプリングレート(44.1kHz)のオーディオデータに変換し、補正フィルタ１２は該変換により得られたオーディオデータの高域における伝達特性を低減する。たとえば、補正フィルタ１２は図2に示すように直線的にゲインが低減する伝達特性−6dB/octあるいは−12dB/octを有し、低サンプリングレートの1/2の周波数（11.025ｋHz）から前記高サンプリングレートの1/2の周波数（22.05kHz）までの高域の伝達特性を補正する。すなわち、11.025kHz〜22.05kHzの生成された信号部分に補正フィルタ１２で−6dB/oct、−12dB/octなどの楽音情報処理を加えて補正する。これにより、人間の聴覚に望ましい周波数特性を有する楽音信号を復元して出力することができる。すなわち、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。 FIG. 1 is an explanatory diagram of an audio data interpolating apparatus according to the present invention, and FIG. 2 is a frequency characteristic of a correction filter.
The FIF processing unit 11 converts audio data with a low sampling rate (22.05 kHz) into audio data with a high sampling rate (44.1 kHz) using a fractal interpolation function, and the correction filter 12 converts the audio data obtained by the conversion. Reduce the transmission characteristics at high frequencies. For example, the correction filter 12 has a transfer characteristic of −6 dB / oct or −12 dB / oct in which the gain decreases linearly as shown in FIG. Correct high-frequency transfer characteristics up to half the sampling rate (22.05kHz). That is, correction is performed by adding musical tone information processing such as −6 dB / oct and −12 dB / oct to the generated signal portion of 11.025 kHz to 22.05 kHz by the correction filter 12. As a result, a musical sound signal having frequency characteristics desirable for human hearing can be restored and output. That is, compressed audio data with a low sampling rate can be restored and output as a tone signal for audio reproduction.

図３は本発明のオーディオデータの補間装置の構成図であり、低サンプリングレートの圧縮オーディオデータをデコードする圧縮オーディオデコーダ１０、デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレート(44.1kHz)のオーディオデータに変換するFIF処理部(アップサンプリング処理部)１１、変換により得られたオーディオデータの高域特性を低減する補正フィルタ１２で構成されている。
圧縮オーディオデータは、たとえば、原曲を低サンプリングレート（22.05kHz）でサンプリングしてMP3により圧縮したものである。補正フィルタ１２は128タップのFIRフィルタで構成されており、そのインパルス応答及び周波数特性はそれぞれ図4、図５に示すようになっている。周波数特性は、低サンプリングレート（22.05kHz）の1/2の11.025kHzまで0dB一定を示し、11.025kHzから高サンプリングレート(44.1kHz)の1/2の22.05kHzまで直線的にゲインが低減する伝達特性−6dB/octを示す。
圧縮オーディオデコーダ１０から出力するオーディオデータの周波数特性はシャノンの標本化定理より明らかなように、サンプリングレート（22.05kHz）の1/2以上の成分を復元できず、図６の（A）に示すように11.025kHz以上の楽音情報が欠けている。 FIG. 3 is a block diagram of an audio data interpolating apparatus according to the present invention. The compressed audio decoder 10 decodes compressed audio data at a low sampling rate, and the audio data obtained by decoding is sampled at a high sampling rate using a fractal interpolation function. It comprises an FIF processing unit (upsampling processing unit) 11 that converts audio data at a rate (44.1 kHz), and a correction filter 12 that reduces the high frequency characteristics of the audio data obtained by the conversion.
The compressed audio data is, for example, an original music sampled at a low sampling rate (22.05 kHz) and compressed by MP3. The correction filter 12 is composed of a 128-tap FIR filter, and its impulse response and frequency characteristics are as shown in FIGS. 4 and 5, respectively. The frequency characteristic shows a constant 0 dB from 11.025 kHz, which is 1/2 the low sampling rate (22.05 kHz), and the gain decreases linearly from 11.025 kHz to 22.05 kHz, which is 1/2 the high sampling rate (44.1 kHz). The characteristic is -6dB / oct.
As is clear from Shannon's sampling theorem, the frequency characteristic of the audio data output from the compressed audio decoder 10 cannot restore a component of 1/2 or more of the sampling rate (22.05 kHz), and is shown in FIG. Music information above 11.025kHz is missing.

FIF処理部１１は圧縮オーディオデコーダ１０から出力するオーディオデータを、フラクタル補間機能を用いて44.1ｋHzのオーディオデータに変換する。FIFアップサンプリング処理の情報源はMP3デコード処理後の音楽情報のみであるため、FIF処理部１１はこのMP3デコード波形から11.025kHz以上の波形を生成しなければならない。FIF処理部１１でアップサンプリングされたオーディオデータの周波数特性は図６（B）に示すように、高域がフラットな特性になっている。
そこで、直線的にゲインが低減する直線伝達特性−6dB/octを有する補正フィルタ１２を用いて11.025kHz〜22.05kHzの高域特性に楽音処理を加えて補正する。これにより、図６（C）に示すように楽音信号のスペクトラムが広域になるに従ってなだらかに低下し、人間の聴覚に望ましい特性になり、聴感上高域の不自然さが改善され、原曲の周波数特性(図１６(A)参照)に近くなる。なお、図６(C)の点線部における振幅は、図６(B)の振幅に比べて−4.8dB程度低減している。 The FIF processing unit 11 converts the audio data output from the compressed audio decoder 10 into 44.1 kHz audio data using a fractal interpolation function. Since the information source of the FIF upsampling process is only the music information after the MP3 decoding process, the FIF processing unit 11 must generate a waveform of 11.025 kHz or more from this MP3 decoded waveform. As shown in FIG. 6B, the frequency characteristics of the audio data upsampled by the FIF processing unit 11 have a flat high frequency characteristic.
Therefore, the correction filter 12 having a linear transfer characteristic of −6 dB / oct in which the gain is linearly reduced is corrected by adding musical tone processing to the high frequency characteristic of 11.025 kHz to 22.05 kHz. As a result, as shown in FIG. 6 (C), the spectrum of the musical sound signal gradually decreases as the spectrum becomes wider, which is desirable for human hearing. It becomes close to the frequency characteristic (see FIG. 16A). Note that the amplitude at the dotted line in FIG. 6C is reduced by about −4.8 dB compared to the amplitude in FIG.

・変形例１
以上では補正フィルタの周波数特性を−6dB/octの直線特性にしたが、必ずしも−6dB/octにする必要はなく、楽音ジャンル等により適宜傾斜を緩くしたり、強くしたりすることができる。図７、図８はインパルス応答及び周波数特性の別の実施例であり、周波数特性は11.025kHzまで0dB一定、11.025kHzから22.05kHzまで−12dB/octで直線的にゲインが低減する特性を示している。この補正フィルタを用いると図９に示すように高域特性の低減割合が大きい特性を有するオーディオデータが出力する。図９の点線部における振幅は、図６(B)の振幅に比べて−8.6ｄB程度低減しており、−6dB/octに比べて高域がおとなしくなる。
・変形例２
図３の補正フィルタ１２に複数の直線特性を持たせ、ユーザ設定により、あるいは、楽音ジャンルを識別して自動的に所望の特性で補正するように構成することもできる。
・変形例３
基本的には、補正フィルタ１２に図５、図８に示す特性を持たせれば十分であるが、さらに発展させたい場合には種々の特性、たとえば図１０に示すような特性を持たせることができる。たとえば、楽音のジャンル(クラシック、ジャズ、ポップス)毎に異なる補正フィルタ(FIRフィルタ)係数を用意し、MP3復号時に判別されるジャンル情報によって対応するフィルタ係数を補正フィルタに自動設定するように構成する。 ・ Modification 1
In the above, the frequency characteristic of the correction filter is a linear characteristic of −6 dB / oct. However, it is not necessarily required to be −6 dB / oct, and the inclination can be appropriately reduced or increased depending on the musical tone genre or the like. FIGS. 7 and 8 show another embodiment of the impulse response and frequency characteristic. The frequency characteristic is a constant 0 dB from 11.025 kHz, and shows a characteristic in which the gain decreases linearly at −12 dB / oct from 11.025 kHz to 22.05 kHz. Yes. When this correction filter is used, audio data having characteristics with a large reduction ratio of the high frequency characteristics is output as shown in FIG. The amplitude in the dotted line portion of FIG. 9 is reduced by about −8.6 dB compared to the amplitude of FIG. 6B, and the high frequency is reduced compared to −6 dB / oct.
・ Modification 2
The correction filter 12 shown in FIG. 3 can have a plurality of linear characteristics, and can be configured to automatically correct with desired characteristics by user settings or by identifying a musical sound genre.
・ Modification 3
Basically, it is sufficient to provide the correction filter 12 with the characteristics shown in FIGS. 5 and 8. However, when further development is desired, various characteristics such as those shown in FIG. 10 may be provided. it can. For example, a different correction filter (FIR filter) coefficient is prepared for each musical sound genre (classic, jazz, pop), and the corresponding filter coefficient is automatically set in the correction filter according to the genre information determined during MP3 decoding. .

図１１は本発明の補間装置の別の構成図であり、図３と同一部分には同一符号を付している。異なる点は、
(１)FIF処理部１１がLチャンネル、Rチャンネル用のFIFアップサンプリング部１１a、１１bを備えている点、
(２)補正フィルタ１２がLチャンネル、Rチャンネル用のFIRフィルタ１２a、１２bを備えている点、
(３)種々の特性に応じたLチャンネル及びRチャンネル用の補正フィルタ係数を格納し、圧縮オーディオデコーダ１０からの指示(ジャンル識別による切り換え指示)により、あるいは操作部１４からのユーザ指示により所望の係数をFIRフィルタ１２a、１２bに設定するフィルタバンク１３を設けた点、
である。
以上では、サンプリング周波数を22.05kHzから44.1kHzにアップした場合であるが、11.025kHzから44.1kHzにアップする場合にも本発明を適用することができる。
以上本発明によれば、楽音信号のスペクトラムを広域に従ってなだらかに低下するため、楽音信号を人間の聴覚に望ましい特性にでき、従来の補間技術において聴感上問題となっている高域の不自然さを改善できる。すなわち、本発明によれば、低サンプリングレートの圧縮オーディオデータをオーディオ再生向けの楽音信号として復元、出力することができる。 FIG. 11 is another block diagram of the interpolation apparatus of the present invention, and the same parts as those in FIG. The difference is
(1) The FIF processing unit 11 includes L-channel and R-channel FIF upsampling units 11a and 11b.
(2) The correction filter 12 includes F channel filters 12a and 12b for the L channel and the R channel,
(3) The correction filter coefficients for the L channel and the R channel corresponding to various characteristics are stored, and a desired filter coefficient is selected by an instruction from the compressed audio decoder 10 (switching instruction by genre identification) or by a user instruction from the operation unit The provision of a filter bank 13 for setting coefficients in the FIR filters 12a and 12b;
It is.
The above is the case where the sampling frequency is increased from 22.05 kHz to 44.1 kHz, but the present invention can also be applied to the case where the sampling frequency is increased from 11.025 kHz to 44.1 kHz.
As described above, according to the present invention, since the spectrum of the musical sound signal is gently lowered in accordance with a wide area, the musical sound signal can be made to have desirable characteristics for human hearing, and the unnaturalness of the high frequency that is a problem in hearing in the conventional interpolation technique. Can be improved. That is, according to the present invention, compressed audio data with a low sampling rate can be restored and output as a tone signal for audio reproduction.

本発明のオーディオデータの補間装置の説明図である。It is explanatory drawing of the interpolation apparatus of the audio data of this invention. 補正フィルタの周波数特性である。It is a frequency characteristic of a correction filter. 本発明の圧縮オーディオデータの補間装置の構成図である。It is a block diagram of the interpolation apparatus of the compressed audio data of this invention. 補正フィルタのインパルス応答特性である。It is an impulse response characteristic of a correction filter. 補正フィルタの周波数特性である。It is a frequency characteristic of a correction filter. 補間装置の各部における周波数特性(スペクトル特性)である。It is a frequency characteristic (spectrum characteristic) in each part of an interpolation apparatus. 補正フィルタの別のインパルス応答特性である。It is another impulse response characteristic of a correction filter. 補正フィルタの別の周波数特性である。It is another frequency characteristic of a correction filter. 図７、図８に示す特性を有する補正フィルタを用いたときの本発明の圧縮オーディオデータ補間装置の周波数特性である。FIG. 9 is a frequency characteristic of the compressed audio data interpolating apparatus of the present invention when a correction filter having the characteristics shown in FIGS. 7 and 8 is used. FIG. 補正フィルタの別の周波数特性である。It is another frequency characteristic of a correction filter. 本発明の圧縮オーディオデータ補間装置の別の構成図である。It is another block diagram of the compression audio data interpolation apparatus of this invention. 従来の圧縮オーディオデータ補間装置の構成図である。It is a block diagram of the conventional compression audio data interpolation apparatus. FIF補間処理の第１の原理説明図である。It is a 1st principle explanatory drawing of FIF interpolation processing. FIF補間処理の第２の原理説明図である。It is a 2nd principle explanatory drawing of FIF interpolation processing. FIF補間処理の第３の原理説明図である。It is a 3rd principle explanatory drawing of FIF interpolation processing. 原曲およびFIF補間処理前後のオーディオデータの周波数特性である。This is the frequency characteristics of the original music and audio data before and after the FIF interpolation process. ピンクノイズの周波数特性である。This is the frequency characteristic of pink noise.

符号の説明Explanation of symbols

１０ 圧縮オーディオデコーダ
１１ FIF処理部
１２ 補正フィルタ 10 Compressed Audio Decoder 11 FIF Processing Unit 12 Correction Filter

Claims (5)

圧縮されたオーディオデータの補間方法において、
低サンプリングレートの圧縮オーディオデータをデコードするステップ、
得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するステップ、
該変換により得られたオーディオデータの高域における伝達特性を低減するステップ、
を備えたことを特徴とするオーディオデータの補間方法。 In the method of interpolation of compressed audio data,
Decoding low-sampling-rate compressed audio data;
Converting the obtained audio data into high sampling rate audio data using a fractal interpolation function;
Reducing the high frequency transfer characteristics of the audio data obtained by the conversion;
A method for interpolating audio data, comprising: 前記低減ステップにおいて、前記低サンプリングレートの1/2の周波数から前記高サンプリングレートの1/2の周波数までの伝達特性を低減する、
ことを特徴とする請求項１記載のオーディオデータの補間方法。 In the reduction step, the transfer characteristic is reduced from a half frequency of the low sampling rate to a half frequency of the high sampling rate.
The audio data interpolation method according to claim 1, wherein: 圧縮されたオーディオデータの補間装置において、
低サンプリングレートの圧縮オーディオデータをデコードするデコーダ、
デコードして得られたオーディオデータを、フラクタル補間機能を用いて高サンプリングレートのオーディオデータに変換するアップサンプリング処理部、
前記変換により得られたオーディオデータの高域における伝達特性を低減する補正フィルタ、
を備えたことを特徴とするオーディオデータの補間装置。 In an interpolator for compressed audio data,
A decoder that decodes compressed audio data at a low sampling rate,
An upsampling processing unit that converts audio data obtained by decoding into high sampling rate audio data using a fractal interpolation function;
A correction filter that reduces transfer characteristics in the high frequency range of the audio data obtained by the conversion,
An audio data interpolating apparatus comprising: 前記補正フィルタは、前記低サンプリングレートの1/2の周波数から前記高サンプリングレートの1/2の周波数までの伝達特性を低減する、
ことを特徴とする請求項３記載のオーディオデータの補間装置。 The correction filter reduces a transfer characteristic from a half frequency of the low sampling rate to a half frequency of the high sampling rate;
4. The audio data interpolating apparatus according to claim 3, wherein 前記補正フィルタは、直線的にゲインが低減する伝達特性を有することを特徴とする請求項４記載のオーディオデータの補間装置。 5. The audio data interpolating apparatus according to claim 4, wherein the correction filter has a transfer characteristic in which a gain decreases linearly.
JP2005150597A 2005-05-24 2005-05-24 Audio data interpolation method and interpolation apparatus Expired - Fee Related JP4593364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005150597A JP4593364B2 (en) 2005-05-24 2005-05-24 Audio data interpolation method and interpolation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005150597A JP4593364B2 (en) 2005-05-24 2005-05-24 Audio data interpolation method and interpolation apparatus

Publications (2)

Publication Number Publication Date
JP2006330144A true JP2006330144A (en) 2006-12-07
JP4593364B2 JP4593364B2 (en) 2010-12-08

Family

ID=37551918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005150597A Expired - Fee Related JP4593364B2 (en) 2005-05-24 2005-05-24 Audio data interpolation method and interpolation apparatus

Country Status (1)

Country Link
JP (1) JP4593364B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229492A (en) * 2008-03-19 2009-10-08 Alpine Electronics Inc Sampling rate conversion device and its conversion method
EP3249649A1 (en) 2016-05-26 2017-11-29 Alpine Electronics, Inc. Audio processing apparatus and audio processing method
CN112652317A (en) * 2019-10-09 2021-04-13 深圳云程科技有限公司 High-sampling-rate audio playing method and system based on Android system
CN112863539A (en) * 2019-11-28 2021-05-28 科大讯飞股份有限公司 High-sampling-rate voice waveform generation method, device, equipment and storage medium
EP4243445A1 (en) 2022-03-08 2023-09-13 Alps Alpine Co., Ltd. Audio signal processing apparatus, audio system, and method for enhancing low-frequency sound sensation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216199A (en) * 2001-11-15 2003-07-30 Matsushita Electric Ind Co Ltd Decoder, decoding method and program distribution medium therefor
JP2005084370A (en) * 2003-09-09 2005-03-31 Alpine Electronics Inc Sampling rate conversion method using fif
JP2005128387A (en) * 2003-10-27 2005-05-19 Yamaha Corp Device for expanding and reproducing audio frequency band

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216199A (en) * 2001-11-15 2003-07-30 Matsushita Electric Ind Co Ltd Decoder, decoding method and program distribution medium therefor
JP2005084370A (en) * 2003-09-09 2005-03-31 Alpine Electronics Inc Sampling rate conversion method using fif
JP2005128387A (en) * 2003-10-27 2005-05-19 Yamaha Corp Device for expanding and reproducing audio frequency band

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229492A (en) * 2008-03-19 2009-10-08 Alpine Electronics Inc Sampling rate conversion device and its conversion method
US8024197B2 (en) * 2008-03-19 2011-09-20 Alpine Electronics, Inc. Sampling rate conversion apparatus and method thereof
EP3249649A1 (en) 2016-05-26 2017-11-29 Alpine Electronics, Inc. Audio processing apparatus and audio processing method
US10109295B2 (en) 2016-05-26 2018-10-23 Alpine Electronics, Inc. Audio processing apparatus and audio processing method
CN112652317A (en) * 2019-10-09 2021-04-13 深圳云程科技有限公司 High-sampling-rate audio playing method and system based on Android system
CN112863539A (en) * 2019-11-28 2021-05-28 科大讯飞股份有限公司 High-sampling-rate voice waveform generation method, device, equipment and storage medium
CN112863539B (en) * 2019-11-28 2024-04-16 科大讯飞股份有限公司 High-sampling-rate voice waveform generation method, device, equipment and storage medium
EP4243445A1 (en) 2022-03-08 2023-09-13 Alps Alpine Co., Ltd. Audio signal processing apparatus, audio system, and method for enhancing low-frequency sound sensation

Also Published As

Publication number Publication date
JP4593364B2 (en) 2010-12-08

Similar Documents

Publication Publication Date Title
JP6934979B2 (en) Methods and devices for rendering audio field representations for audio playback
JP7544324B2 (en) Efficient DRC Profile Transmission
JP4817658B2 (en) Acoustic virtual reality engine and new technology to improve delivered speech
JP4981123B2 (en) Calculation and adjustment of perceived volume and / or perceived spectral balance of audio signals
US7676043B1 (en) Audio bandwidth expansion
US6577739B1 (en) Apparatus and methods for proportional audio compression and frequency shifting
CN100555848C (en) Audio signal processing
JP5917518B2 (en) Speech signal dynamic correction for perceptual spectral imbalance improvement
US8873763B2 (en) Perception enhancement for low-frequency sound components
JP2007143157A (en) Superdirectional speaker system and signal processing method
JP2000165483A (en) Method for adjusting audio output of digital telephone and digital telephone for adjusting audio output in accordance with individual auditory spectrum of user
JP5267573B2 (en) Voice control device and voice output device
JPH08237132A (en) Signal coding method and device, signal decoding method and device, and information recording medium and information transmission method
JP2007178675A (en) Effect adding method of audio reproduction, and its apparatus
JP2003068013A (en) Processing of digital audio signal
JP4593364B2 (en) Audio data interpolation method and interpolation apparatus
CN110506425A (en) Bass boost
JP6608380B2 (en) Communication system, method and apparatus with improved noise resistance
EP1538602B1 (en) Wideband synthesis from a narrowband signal
JP2004198485A (en) Device and program for decoding sound encoded signal
US5864813A (en) Method, system and product for harmonic enhancement of encoded audio signals
JP4556866B2 (en) High efficiency encoding program and high efficiency encoding apparatus
KR101882140B1 (en) Complex speaker system capable of ultra directional and non directional simultaneous signal output
JP4815986B2 (en) Interpolation device, audio playback device, interpolation method, and interpolation program
JP2000293199A (en) Voice coding method and recording and reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140924

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees