JP2007221445A - Surround-sound system - Google Patents

Surround-sound system Download PDF

Info

Publication number
JP2007221445A
JP2007221445A JP2006039498A JP2006039498A JP2007221445A JP 2007221445 A JP2007221445 A JP 2007221445A JP 2006039498 A JP2006039498 A JP 2006039498A JP 2006039498 A JP2006039498 A JP 2006039498A JP 2007221445 A JP2007221445 A JP 2007221445A
Authority
JP
Japan
Prior art keywords
audio signal
frequency
sound signal
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006039498A
Other languages
Japanese (ja)
Inventor
Yasuaki Ohashi
靖明 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2006039498A priority Critical patent/JP2007221445A/en
Publication of JP2007221445A publication Critical patent/JP2007221445A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a surround-sound system for obtaining a sound signal having a suitable sound effect by dividing the sound signal into a plurality of frequency bands and applying sound signal processing that directly uses a human auditory characteristic to the sound signal of each divided frequency band. <P>SOLUTION: The surround-sound system is provided with: a spatial transfer function database 8 for storing a spatial transfer function obtained by recording impulse response outputted from various directions; a frame dividing part 3 for dividing a sound signal in each time frame; a frequency converting part 4 for frequency-converting the divided sound signal of the time frame on the basis of a mel-frequency; a filter band analyzing part 5 for performing a filter band analysis of the frequency-converted sound signal of the time frame on a mel-frequency axis; and an information convolving part 6. In an input mixed signal including the sound signal and direction information, the direction information is supplied to the spatial transfer function database 8 and the sound signal is supplied to a sound signal processing system 11. The information convolving part 6 convolves the sound signal processed by the sound signal processing system 11 with a spatial transfer function designated by the direction information and emits the convolved sound signal from a speaker. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、サラウンドシステムに係わり、特に、音声信号に音声信号の到来方向を表す方位情報を付加した混合信号の入力時に音声信号に方位情報により指定された空間伝達関数を畳み込んだ出力信号を発生させる、または、サラウンド音声信号の入力時にセンタースピーカに供給する音声信号振幅とそれ以外のスピーカに供給する音声信号振幅とを異ならせて出力させるサラウンドシステムに関する。   The present invention relates to a surround system, in particular, an output signal obtained by convolving a speech signal with a spatial transfer function specified by the direction information when a mixed signal in which the direction information indicating the arrival direction of the audio signal is added to the audio signal is input. The present invention relates to a surround system that generates or outputs a sound signal amplitude that is supplied to a center speaker and a sound signal amplitude that is supplied to other speakers when a surround sound signal is input.

従来、サラウンドシステムにおいては、サラウンド装置とサラウンド装置の出力音声信号を放声する複数のスピーカとをそれぞれ結合する接続リード線を配置することの煩わしさを解消するため、スピーカを視聴者の前方だけに配置し、そのスピーカから放声される音声信号がサラウンド効果を発揮するように、サラウンド装置にサラウンド効果を発揮させる構成手段を組み込んだものが使用されたり、サラウンド装置に２台程度のスピーカを接続し、サラウンド装置の中に３台以上のスピーカを用いることによるサラウンド効果を得ることができる音声信号と同等の効果が得られる構成手段を組み込み、２台程度のスピーカを用いて３台以上のスピーカを用いることによるサラウンド効果を得ることができるものが使用されたり、サラウンド装置に２台以上のスピーカを接続し、それらのスピーカから放声される音声信号に対して、聴取者の聴取箇所における音声信号間の時間差を補正する構成手段をを組み込んだものが使用されたりしていた。   Conventionally, in a surround system, the speaker is placed only in front of the viewer in order to eliminate the hassle of arranging connection lead wires that respectively connect the surround device and a plurality of speakers that output the output audio signal of the surround device. In order for the audio signal emitted from the speaker to exhibit the surround effect, the surround device incorporating a means for exhibiting the surround effect is used, or about two speakers are connected to the surround device. Incorporating a configuration means that can obtain an effect equivalent to an audio signal that can obtain a surround effect by using three or more speakers in the surround device, and using three or more speakers, What can be used to obtain a surround effect is used, Two or more speakers may be connected to the device, and a device incorporating a configuration means for correcting the time difference between the audio signals at the listener's listening location may be used for the audio signals emitted from the speakers. It was.

前記既知のサラウンドシステムは、サラウンド装置内に、使用される音声信号を複数の周波数帯域の音声信号に分割し、分割したそれぞれの周波数帯域の音声信号に対して異なる信号処理を行う構成手段が配置され、それにより使用されるスピーカから所望のサラウンド効果を持った音声信号を放声するようにしている。
引用する特許文献なし In the known surround system, a configuration unit that divides an audio signal to be used into audio signals of a plurality of frequency bands and performs different signal processing on the divided audio signals of the frequency bands is arranged in the surround device. Thus, an audio signal having a desired surround effect is emitted from the speaker used.
No patent literature cited

前記既知のサラウンドシステムは、一応のところ、サラウンド効果を持った音声信号を放声させることができるものの、いずれのサラウンドシステムも、理論的に好適な周波数特性を用いてサラウンド効果を発揮させることを意図しているものである。しかしながら、人間が音声信号を現実に聴取したときに得られる聴覚特性と、理論的に好適な周波数特性の音声信号を聴取したときに得られる聴覚特性とは、必ずしも一致するものではないことから、サラウンド装置内に理論的に好適な周波数特性の音声信号が得られる構成手段を配置しても、現実に聴取したときの音声信号では未だ不十分であるということができる。この場合、人間が音声信号を現実に聴取したときに得られる聴覚特性とは、メル周波数を用いた音声信号の高低に対する人間の聴覚特性であって、既知のサラウンドシステムにおいては、かかるメル周波数に基づく周波数帯域分割やフィルタバンク分析等を行っているものは提案されていない。   Although the known surround system can utter an audio signal having a surround effect for the time being, any surround system is intended to exert a surround effect using a theoretically suitable frequency characteristic. It is what you are doing. However, the auditory characteristics obtained when a human actually listens to an audio signal and the auditory characteristics obtained when an audio signal having a theoretically suitable frequency characteristic are not necessarily matched, Even if the configuration means for obtaining a sound signal having a theoretically suitable frequency characteristic is arranged in the surround device, it can be said that the sound signal when actually heard is still insufficient. In this case, the auditory characteristic obtained when a human actually listens to the audio signal is the human auditory characteristic with respect to the level of the audio signal using the mel frequency. In a known surround system, the audible characteristic is There are no proposals for performing frequency band division or filter bank analysis based on this.

本発明は、このような技術的背景に鑑みてなされたもので、その目的は、音声信号を複数の周波数帯域の音声信号に分割し、分割した各周波数帯域の音声信号に対して人間の聴覚特性を直接利用した音声信号処理を行うことによって好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを提供することにある。   The present invention has been made in view of such a technical background, and an object of the present invention is to divide an audio signal into audio signals of a plurality of frequency bands, and to perform human hearing on the divided audio signals of each frequency band. An object of the present invention is to provide a surround system in which an audio signal having a suitable surround effect can be obtained by performing audio signal processing using characteristics directly.

前記目的を達成するために、本発明によるサラウンドシステムは、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力するようにした第１の構成手段を備える。   In order to achieve the above object, the surround system according to the present invention records an impulse response emitted from various directions with a dummy head in a specific environmental condition determined in advance, and obtains a spatial transfer function obtained at the time of the recording. A spatial transfer function database in which the audio signal is stored, a frame dividing unit that divides the audio signal for each predetermined time frame, a frequency conversion unit that converts the audio signal of the divided time frame based on the Mel frequency, and a frequency conversion An audio signal processing system including a filter bank analysis unit that performs a filter bank analysis on the Mel frequency axis with respect to an audio signal of a time frame, and an information convolution unit, and a mixed signal including the audio signal and direction information is When input, the azimuth information is input to the spatial transfer function database, and the audio signal is input to the audio signal processing system. The information convolution unit is supplied to each of the audio signals processed by the audio signal processing system and convolves the spatial transfer function specified by the azimuth information with the audio signal processed by the audio signal processing system. First configuration means adapted to output from is provided.

また、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力するようにした第２の構成手段を備える。   In order to achieve the above object, the surround system according to the present invention includes a frame dividing unit that divides an audio signal into predetermined time frames, and a frequency that converts the audio signal of the divided time frames based on the Mel frequency. A conversion unit, a filter bank analysis unit for performing a filter bank analysis on the Mel frequency axis for the audio signal of the time frame subjected to frequency conversion, and an audio signal processing system including a weighting addition unit, and a surround audio signal is input, When the surround sound signal is processed by the sound signal processing system, the weight addition unit compares the sound signal of each filter bank with the sum of amplitudes of the filter bank supplied to the center speaker, and is larger than the center speaker. If the audio signal has a sum of amplitudes, the audio signal is multiplied by a weighting factor of 1 or more, A second construction means for outputting a voice signal in which the voice signal is multiplied by a weighting coefficient smaller than 1 when the voice signal has a smaller amplitude sum than the voice signal and the amplitude difference for each frequency band is emphasized; Prepare.

さらに、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力するようにした第３の構成手段を備える。   In order to achieve the above object, the surround system according to the present invention includes a frame dividing unit that divides an audio signal into predetermined time frames, and a frequency that converts the audio signal of the divided time frames based on the Mel frequency. A conversion unit, a filter bank analysis unit for performing a filter bank analysis on the Mel frequency axis for the audio signal of the time frame subjected to frequency conversion, and an audio signal processing system including a weighting addition unit, and a surround audio signal is input, When the surround sound signal is processed by the sound signal processing system, the weight addition unit compares the sound signal of each filter bank with the sum of amplitudes of the filter bank supplied to the center speaker, and is larger than the center speaker. If the audio signal has a sum of amplitudes, the audio signal is multiplied by a smaller weighting factor to When the audio signal has a smaller sum of amplitude than that of the speaker, the audio signal is multiplied by a weighting factor of 1 or more, and third configuration means is provided for outputting an audio signal in which the amplitude difference for each frequency band is equalized. .

以上のように、本発明に係るサラウンドシステムによれば、音声信号処理系統に入力される音声信号に対して、メル周波数に基づいた周波数帯域の分割を行っているので、聴取者が感じる音声信号の高さと実際に放声される音声信号の高さとが確実に比例するようになり、好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを得ることができる。   As described above, according to the surround system according to the present invention, the audio signal input to the audio signal processing system is divided into frequency bands based on the Mel frequency, so that the audio signal felt by the listener is heard. And the height of the voice signal actually uttered are surely proportional to each other, and a surround system can be obtained in which a voice signal having a suitable surround effect can be obtained.

この場合、前記第１の構成手段によれば、音声信号に方位情報により指定された空間伝達関数を畳み込むようにしているので、少ない台数のスピーカを用いた場合であっても、異なる周波数の音声信号を種々の方位から到来させることができ、迫力のあるサラウンド効果を持った音声信号を放声させることができ、しかも、入力される音声信号がモノラル信号であっても、サラウンド効果を持った音声信号として放声させることが可能である。   In this case, according to the first configuration means, since the spatial transfer function specified by the azimuth information is convoluted with the audio signal, even when a small number of speakers are used, audio with different frequencies is used. Signals can come from various directions, sound signals with powerful surround effects can be emitted, and even if the input audio signal is a monaural signal, sound with surround effects It is possible to utter as a signal.

また、前記第２及び第３の構成手段によれば、従来の５．１チャネルサラウンド放送の受信信号に対応させることが可能であり、特に、第３の構成手段によれば、フィルタバンクの音声信号の振幅和を比較する際に、フィルタバンクの音声信号の振幅和同士の比較をするだけであるので、比較時の演算処理量を少なくすることができる。   Further, according to the second and third configuration means, it is possible to correspond to the reception signal of the conventional 5.1 channel surround broadcasting. In particular, according to the third configuration means, the sound of the filter bank When comparing the amplitude sums of the signals, only the amplitude sums of the audio signals in the filter bank are compared with each other, so that the amount of calculation processing during the comparison can be reduced.

以下、本発明の実施の形態を図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。   FIG. 1 shows a first embodiment of a surround device in a surround system according to the present invention, and is a block diagram showing a main part configuration thereof.

図１に示すように、第１の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、情報畳み込み部６と、増幅・分配部７と、空間伝達関数データベース８と、出力端子９とを備え、この他に空間伝達関数作成部１０を設けている。この場合、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。   As shown in FIG. 1, the surround apparatus according to the first embodiment includes an input terminal 1, a signal branching unit 2, a frame dividing unit 3, a frequency converting unit 4, a filter bank analyzing unit 5, and information. A convolution unit 6, an amplification / distribution unit 7, a spatial transfer function database 8, and an output terminal 9 are provided, and in addition, a spatial transfer function creation unit 10 is provided. In this case, a portion including the frame dividing unit 3, the frequency converting unit 4, and the filter bank analyzing unit 5 constitutes an audio signal processing system 11.

そして、信号分岐部２は、入力端が入力端子１に接続され、一方の出力端がフレーム分割部３の入力端に接続され、他方の出力端が空間伝達関数データベース８に結合されている。フレーム分割部３は、出力端が周波数変換部４の入力端に接続され、周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続される。情報畳み込み部６は、一方の入力端がフィルタバンク分析部５の出力端に接続され、他方の入力端が空間伝達関数データベース８に結合され、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。さらに、空間伝達関数作成部１０は、選択的に空間伝達関数データベース８の入力端に接続される。   The signal branching unit 2 has an input terminal connected to the input terminal 1, one output terminal connected to the input terminal of the frame dividing unit 3, and the other output terminal coupled to the spatial transfer function database 8. The output end of the frame dividing unit 3 is connected to the input end of the frequency converting unit 4, and the output end of the frequency converting unit 4 is connected to the input end of the filter bank analyzing unit 5. The information convolution unit 6 has one input end connected to the output end of the filter bank analysis unit 5, the other input end coupled to the spatial transfer function database 8, and the output end connected to the input end of the amplification / distribution unit 7. Is done. The amplification / distribution unit 7 has an output terminal connected to the output terminal 9. Furthermore, the spatial transfer function creation unit 10 is selectively connected to the input terminal of the spatial transfer function database 8.

この場合、入力端子１には、音声信号中に方位情報を含んだ混合信号が入力され、信号分岐部２は、入力端子１を通して入力された混合信号を音声信号と方位情報とに分岐し、音声信号をフレーム分割部３に供給し、方位情報空間伝達関数データベース８に供給する。フレーム分割部３は、入力された音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。   In this case, a mixed signal including azimuth information in the audio signal is input to the input terminal 1, and the signal branching unit 2 branches the mixed signal input through the input terminal 1 into the audio signal and the azimuth information. The audio signal is supplied to the frame dividing unit 3 and supplied to the azimuth information space transfer function database 8. The frame dividing unit 3 divides the input audio signal into predetermined time frames and supplies the frame-divided audio signal to the frequency converting unit 4. The frequency conversion unit 4 performs frequency conversion on the input voice signal divided into frames based on the Mel frequency, and supplies the obtained frequency conversion signal to the filter bank analysis unit 5. The filter bank analysis unit 5 divides the input frequency conversion signal into frequency bands on the mel frequency axis.

一方、空間伝達関数データベース８は、空間伝達関数作成部１０によって、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドを用いて録音し、その録音時に得られた空間伝達関数をデータベース化して作成したものを空間伝達関数データベースとして格納しているもので、方位情報が入力されたとき、その方位情報に対応した空間伝達関数が抽出される。また、情報畳み込み部６は、フィルタバンク分析部５から周波数帯域分割信号が供給されると、空間伝達関数データベース８から抽出された当該周波数帯域分割信号に対応した空間伝達関数が供給され、同時供給された周波数帯域分割信号に空間伝達関数が畳み込まれ、この畳み込み信号が増幅・分配部７に供給される。増幅・分配部７は、入力された畳み込み音声信号を所定レベルになるように増幅し、増幅した畳み込み音声信号を対応する出力端子９に出力されるように分配する。この後、それぞれの出力端子９に出力された畳み込み音声信号は、図示されない対応するスピーカに供給され、２台またはそれ以上のスピーカによってサラウンド効果を持った音声信号が放声される。   On the other hand, the spatial transfer function database 8 is recorded by the spatial transfer function creation unit 10 by using a dummy head to record impulse responses generated from various directions in a predetermined specific environmental state. The spatial transfer function created as a database is stored as a spatial transfer function database, and when azimuth information is input, the spatial transfer function corresponding to the azimuth information is extracted. In addition, when the frequency band division signal is supplied from the filter bank analysis unit 5, the information convolution unit 6 is supplied with a spatial transfer function corresponding to the frequency band division signal extracted from the spatial transfer function database 8 and supplied simultaneously. A spatial transfer function is convoluted with the frequency band division signal thus obtained, and this convolution signal is supplied to the amplification / distribution unit 7. The amplification / distribution unit 7 amplifies the input convolutional audio signal to a predetermined level, and distributes the amplified convolutional audio signal so as to be output to the corresponding output terminal 9. Thereafter, the convolutional audio signal output to each output terminal 9 is supplied to a corresponding speaker (not shown), and an audio signal having a surround effect is emitted by two or more speakers.

ここで、図２は、空間伝達関数データベース８にデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。   Here, FIG. 2 is a schematic diagram showing an example of a state when the process of storing the spatial transfer function stored in the spatial transfer function database 8 is performed.

図２の図示の例では、ダミーヘッド１２の両耳の位置にそれぞれマイクロフォン１３L 、１３R が設けられており、ダミーヘッド１２の周辺に複数のスピーカが配置されているものである。この場合、複数のスピーカは、図２の垂直方向の設置数をｍとし、水平方向の設置数をｎとし、離散スペクトルの周波数番号をｋとしたとき、左側の耳の位置にあるマイクロフォン１３L においては、空間伝達関数ＡL （ｋ、ｎ、ｍ）が得られ、右側の耳の位置にあるマイクロフォン１３R においては、空間伝達関数ＡR （ｋ、ｎ、ｍ）が得られる。このような手法を用いることにより、空間伝達関数データベース８には、種々の方位から得られた空間伝達関数をデータベースとして格納される。 In the illustrated example of FIG. 2, microphones 13 L and 13 R are provided at positions of both ears of the dummy head 12, and a plurality of speakers are arranged around the dummy head 12. In this case, the microphones 13 L at the position of the left ear when the number of installations in the vertical direction in FIG. 2 is m, the number of installations in the horizontal direction is n, and the frequency number of the discrete spectrum is k are shown in FIG. , The spatial transfer function A L (k, n, m) is obtained, and the spatial transfer function A R (k, n, m) is obtained in the microphone 13 R at the right ear position. By using such a method, the spatial transfer function database 8 stores spatial transfer functions obtained from various directions as a database.

ところで、入力端子１に供給される混合信号が、音声信号の予め決められた期間毎にその音声信号に方位情報が付加されている混合信号である場合、フィルタバンク分析部５で実行される処理を、三角窓を周波数軸上に配置した図３を用いて説明する。   By the way, when the mixed signal supplied to the input terminal 1 is a mixed signal in which azimuth information is added to the audio signal every predetermined period of the audio signal, processing executed by the filter bank analyzing unit 5 Will be described with reference to FIG. 3 in which triangular windows are arranged on the frequency axis.

図３において、横軸はｋで表した周波数番号であり、縦軸はＷ（ｋ、ｂ）で表した加重である。   In FIG. 3, the horizontal axis is the frequency number represented by k, and the vertical axis is the weight represented by W (k, b).

図３に示すように、三角窓Ｗ（ｋ、ｂ）（ｂ＝１、・・・、Ｂ）が周波数軸上に配置され、Ｗ（ｋ、ｂ）は下記の式（１）によって表される。

Figure 2007221445
As shown in FIG. 3, triangular windows W (k, b) (b = 1,..., B) are arranged on the frequency axis, and W (k, b) is expressed by the following equation (1). The
Figure 2007221445

式（１）において、ｋlo（ｂ）、ｋc （ｂ）、ｋm （ｂ）はそれぞれ１番目のフィルタの下限、中心、上限の周波数番号であり、隣り合うフィルタ間で以下の関係を持っている。 In the formula (1), k lo (b ), k c (b), k m (b) the first lower limit of the filter, respectively, the center, the frequency number of the upper limit, the following relationships between adjacent filter have.

ｋc （ｂ）＝ｋhi（ｂ−１）＝ｋlo（ｂ＋１）
さらに、ｋc （ｂ）はメル周波数軸上で等間隔に配置される。このとき、ｋc （ｂ）に対するメル周波数Ｍｅｌ・ｋc （ｂ）は以下の式（２）によって計算される。

Figure 2007221445
k c (b) = k hi (b−1) = k lo (b + 1)
Furthermore, k c (b) is arranged at equal intervals on the mel frequency axis. At this time, the mel frequency Mel · k c (b) with respect to k c (b) is calculated by the following equation (2).
Figure 2007221445

式（２）において、Ｋは周波数番号の中の最大数を示し、ｆｓはサンプリング周波数を表す。   In Equation (2), K represents the maximum number among frequency numbers, and fs represents the sampling frequency.

前記式（１）の三角窓Ｗ（ｋ、ｂ）を用いて、各フィルタバンクに対する加重が付与された以下の式（３）に示される信号が得られる。   Using the triangular window W (k, b) of the equation (1), a signal represented by the following equation (3) to which a weight is applied to each filter bank is obtained.

Ｙ（ｋ、ｂ）＝Ｗ（ｋ、ｂ）・Ｘ（ｋ）｛ｋlo（ｂ）≦ｋ≦ｋhi（ｂ）｝・・・（３）
最後に、情報畳み込み部６において、各フィルタバンクｂに対する方位情報に基づいて指定された空間伝達関数ＡL （ｋ、ｎ、ｍ）及びＡR （ｋ、ｎ、ｍ）を、Ｙ（ｋ、ｂ）に畳み込んだ下記の式（４）に示されるような音声信号ＺL （ｋ）、ＺR （ｋ）が形成され、その音声信号ＺL （ｋ）、ＺR （ｋ）を２台またはそれ以上のスピーカに供給することにより、サラウンドシステムを構築することができる。

Figure 2007221445
Y (k, b) = W (k, b) .X (k) {k lo (b) ≦ k ≦ k hi (b)} (3)
Finally, in the information convolution unit 6, the spatial transfer functions A L (k, n, m) and A R (k, n, m) designated based on the orientation information for each filter bank b are converted into Y (k, Audio signals Z L (k) and Z R (k) as shown in the following equation (4) convolved with b) are formed, and the audio signals Z L (k) and Z R (k) are converted into 2 A surround system can be constructed by supplying to one or more speakers.
Figure 2007221445

次いで、図４は、本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。   Next, FIG. 4 shows a second embodiment of the surround device in the surround system according to the present invention, and is a block diagram showing a main part configuration thereof.

なお、図４において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。   In FIG. 4, the same components as those illustrated in FIG. 1 are denoted by the same reference numerals.

図４に示すように、この第２の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、増幅・分配部７と、出力端子９と、振幅差比較部１４と、強調型加重付加部１５とを備えている。この場合においても、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。   As shown in FIG. 4, the surround device according to the second embodiment includes an input terminal 1, a signal branching unit 2, a frame dividing unit 3, a frequency converting unit 4, a filter bank analyzing unit 5, An amplification / distribution unit 7, an output terminal 9, an amplitude difference comparison unit 14, and an emphasis weight addition unit 15 are provided. Even in this case, the portion composed of the frame dividing unit 3, the frequency converting unit 4, and the filter bank analyzing unit 5 constitutes an audio signal processing system 11.

そして、フレーム分割部３は、入力端が入力端子１に接続され、出力端が周波数変換部４の入力端に接続される。周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続され、フィルタバンク分析部５は、出力端が振幅差比較部１４の入力端に接続される。振幅差比較部１４は、出力端が補正・強調処理部１５の入力端に接続され、強調型加重付加部１５は、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。   The frame dividing unit 3 has an input end connected to the input terminal 1 and an output end connected to the input end of the frequency conversion unit 4. The output end of the frequency converting unit 4 is connected to the input end of the filter bank analyzing unit 5, and the output end of the filter bank analyzing unit 5 is connected to the input end of the amplitude difference comparing unit 14. The output terminal of the amplitude difference comparison unit 14 is connected to the input terminal of the correction / enhancement processing unit 15, and the output terminal of the enhancement type weighting addition unit 15 is connected to the input terminal of the amplification / distribution unit 7. The amplification / distribution unit 7 has an output terminal connected to the output terminal 9.

この場合、入力端子１にサラウンド音声信号が入力されると、そのサラウンド音声信号はフレーム分割部３に供給される。フレーム分割部３は、入力されたサラウンド音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。   In this case, when a surround sound signal is input to the input terminal 1, the surround sound signal is supplied to the frame dividing unit 3. The frame dividing unit 3 divides the input surround sound signal for each determined time frame, and supplies the frame-divided sound signal to the frequency converting unit 4. The frequency conversion unit 4 performs frequency conversion on the input voice signal divided into frames based on the Mel frequency, and supplies the obtained frequency conversion signal to the filter bank analysis unit 5. The filter bank analysis unit 5 divides the input frequency conversion signal into frequency bands on the mel frequency axis.

ここで、周波数変換部４において周波数変換された各サラウンド音声信号をそれぞれＸSW（ｋ）、ＸC （ｋ）、ＸFL（ｋ）、ＸFR（ｋ）、ＸRL（ｋ）、ＸRR（ｋ）としたとき、振幅差比較部１４は、前記式（１）に示された三角窓Ｗ（ｋ、ｂ）を用いて各フィルタバンクの信号の振幅和ＹC （ｂ）を算出する。この算出は、例えばセンタースピーカＣに対する信号ＸC （ｋ）であれば、下記の式（５）で示される。

Figure 2007221445
Here, each surround sound signal frequency-converted by the frequency converting unit 4 is converted into X SW (k), X C (k), X FL (k), X FR (k), X RL (k), X RR, respectively. When (k) is set, the amplitude difference comparison unit 14 calculates the amplitude sum Y C (b) of the signals of each filter bank by using the triangular window W (k, b) shown in the equation (1). . For example, if the signal X C (k) for the center speaker C is calculated, this calculation is expressed by the following equation (5).
Figure 2007221445

この後、振幅差比較部１４は、センタースピーカＣに対するフィルタバンクの信号の振幅和ＹC （ｂ）を基準とし、センタースピーカＣを除いた各スピーカに対するフィルタバンクの振幅和とを比較する。 Thereafter, the amplitude difference comparison unit 14 compares the amplitude sum Y C (b) of the filter bank signal with respect to the center speaker C as a reference and the amplitude sum of the filter bank with respect to each speaker excluding the center speaker C.

次いで、強調型加重付加部１５は、振幅差比較部１４の比較によって、基準の振幅和ＹC （ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、基準の振幅和ＹC （ｂ）との振幅差を大きくし、一方、基準の振幅和ＹC （ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、同じように基準の振幅和ＹC （ｂ）との振幅差を大きくする。このような処理を行うことによって、例えばフロントレフトスピーカＦＬへの供給信号は、下記の式（６）に示すようになる。

Figure 2007221445
Next, the emphasis weight addition unit 15 compares the amplitude of the signal supplied to the loudspeaker with a larger amplitude sum than the reference amplitude sum Y C (b) by 1 in the amplitude difference comparison unit 14. Multiplying the above weighting factor α, the amplitude difference from the reference amplitude sum Y C (b) is increased, while the signal supplied to the speaker has a smaller amplitude sum than the reference amplitude sum Y C (b). In other words, each signal amplitude is multiplied by a weighting coefficient β smaller than 1, and the amplitude difference from the reference amplitude sum Y C (b) is similarly increased. By performing such processing, for example, the supply signal to the front left speaker FL is as shown in the following equation (6).
Figure 2007221445

また、図５は、本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。   FIG. 5 shows a third embodiment of the surround device in the surround system according to the present invention, and is a block diagram showing the main configuration thereof.

なお、図５において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。   In FIG. 5, the same components as those illustrated in FIG. 1 are denoted by the same reference numerals.

図５に示すように、第３の実施の形態に係るサラウンド装置は、第２の実施の形態に係るサラウンド装置と比べて、強調型加重付加部１５を用いる代わりに、イコライズ型加重付加部１６を用いている点を除けば、第２の実施の形態に係るサラウンド装置と同じ構成のものである。   As shown in FIG. 5, the surround device according to the third embodiment is equivalent to the equalization type weight addition unit 16 instead of using the emphasis type weight addition unit 15 as compared with the surround device according to the second embodiment. Is the same as that of the surround apparatus according to the second embodiment.

この第３の実施の形態に係るサラウンド装置において、イコライズ型加重付加部１６は、振幅差比較部１４の比較によって、基準の振幅和ＹC （ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、基準の振幅和ＹC （ｂ）との振幅差を小さくし、一方、基準の振幅和ＹC （ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、同じように基準の振幅和ＹC （ｂ）との振幅差を小さくするもので、その結果として、イコライズ型加重付加部１６はイコライザー機能を有するものである。 In the surround device according to the third embodiment, the equalization-type weighting addition unit 16 compares the amplitude difference comparison unit 14 with a signal supplied to a speaker having a larger amplitude sum than the reference amplitude sum Y C (b). against multiplies less than one weighting factor β in each of the signal amplitude, the amplitude difference between the reference amplitude sum Y C (b) to reduce, on the other hand, than the reference amplitude sum Y C (b) For a signal supplied to a speaker having a small amplitude sum, each signal amplitude is multiplied by a weighting factor α of 1 or more, and the amplitude difference from the reference amplitude sum Y C (b) is similarly reduced. As a result, the equalizing type weight adding unit 16 has an equalizer function.

本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a block diagram which shows 1st Embodiment of the surround apparatus in the surround system by this invention, and shows the principal part structure. 空間伝達関数データベースにデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。It is a schematic diagram which shows an example of the state when performing the process which stores the spatial transfer function database-ized in the spatial transfer function database. フィルタバンク分析部で実行される処理を説明するもので、三角窓を周波数軸上に配置した説明図である。It explains the processing executed by the filter bank analysis unit, and is an explanatory diagram in which triangular windows are arranged on the frequency axis. 本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。The 2nd Embodiment of the surround apparatus in the surround system by this invention is shown, It is a block diagram which shows the principal part structure. 本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。The third embodiment of the surround device in the surround system according to the present invention is shown, and is a block diagram showing the configuration of the main part thereof.

符号の説明Explanation of symbols

１ 入力端子
２ 信号分岐部
３ フレーム分割部
４ 周波数変換部
５ フィルタバンク分析部
６ 情報畳み込み部
７ 増幅・分配部
８ 空間伝達関数データベース
９ 出力端子
１０ 空間伝達関数作成部
１１ 音声信号処理系統
１４ 振幅差比較部
１５ 強調型加重付加部
１６ イコライザ型加重付加部 DESCRIPTION OF SYMBOLS 1 Input terminal 2 Signal branch part 3 Frame division part 4 Frequency conversion part 5 Filter bank analysis part 6 Information convolution part 7 Amplification / distribution part 8 Spatial transfer function database 9 Output terminal 10 Spatial transfer function creation part 11 Speech signal processing system 14 Amplitude Difference comparison unit 15 Emphasis type weighting addition unit 16 Equalizer type weighting addition unit

Claims (4)

予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力することを特徴とするサラウンドシステム。 The impulse response emitted from various directions in a specific environmental condition determined in advance is recorded with a dummy head, and the spatial transfer function database in which the spatial transfer function obtained at the time of recording is stored as a database and the audio signal are stored. A frame dividing unit that divides every predetermined time frame, a frequency converting unit that converts the audio signal of the divided time frame based on the mel frequency, and a filter on the mel frequency axis for the audio signal of the frequency converted time frame An audio signal processing system including a filter bank analysis unit for performing bank analysis and an information convolution unit, and when a mixed signal including an audio signal and direction information is input, the direction information is input to the spatial transfer function database. The audio signal is supplied to the audio signal processing system, and the information convolution unit is connected to the audio signal processing system. Surround system wherein the convolution spatial transfer function specified by the direction information, and outputs the audio signal convolved spatial transfer function from the left and right speakers relative in the processed speech signal. 前記混合信号は、音声信号における特定の時間間隔で、分割された音声信号の決められた周波数帯域に対して方位情報が含まれているものであることを特徴とする請求項１に記載のサラウンドシステム。 The surround signal according to claim 1, wherein the mixed signal includes azimuth information for a predetermined frequency band of the divided audio signal at a specific time interval in the audio signal. system. 音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力することを特徴とするサラウンドシステム。 A frame dividing unit that divides the audio signal into predetermined time frames, a frequency conversion unit that converts the audio signal of the divided time frame based on the mel frequency, and a mel frequency axis for the audio signal of the time frame after frequency conversion A filter bank analysis unit that performs filter bank analysis according to the above, a sound signal processing system including a weight addition unit, and when a surround sound signal is input and the surround sound signal is processed by the sound signal processing system, The weight addition unit compares the audio signal of each filter bank with the amplitude sum of the filter bank supplied to the center speaker, and when the audio signal has a larger amplitude sum than the center speaker, the weight addition unit adds one or more to the audio signal. When the audio signal has a smaller sum of amplitude than that of the center speaker, the audio signal is multiplied by 1 Surround sound system, characterized in that multiplying the old weighting coefficient, and outputs a sound signal emphasizing the amplitude difference for each frequency band. 音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力することを特徴とするサラウンドシステム。 A frame dividing unit that divides the audio signal into predetermined time frames, a frequency conversion unit that converts the audio signal of the divided time frame based on the mel frequency, and a mel frequency axis for the audio signal of the time frame after frequency conversion A filter bank analysis unit that performs filter bank analysis according to the above, a sound signal processing system including a weight addition unit, and when a surround sound signal is input and the surround sound signal is processed by the sound signal processing system, The weight addition unit compares the audio signal of each filter bank with the amplitude sum of the filter bank supplied to the center speaker, and when the audio signal has a larger amplitude sum than the center speaker, the audio signal has a smaller weighting coefficient. When the audio signal has a smaller amplitude sum than the center speaker, Surround sound system, characterized in that the multiplied by a weighting factor, and outputs an audio signal equalizing the amplitude difference for each frequency band.
JP2006039498A 2006-02-16 2006-02-16 Surround-sound system Pending JP2007221445A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006039498A JP2007221445A (en) 2006-02-16 2006-02-16 Surround-sound system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006039498A JP2007221445A (en) 2006-02-16 2006-02-16 Surround-sound system

Publications (1)

Publication Number Publication Date
JP2007221445A true JP2007221445A (en) 2007-08-30

Family

ID=38498213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006039498A Pending JP2007221445A (en) 2006-02-16 2006-02-16 Surround-sound system

Country Status (1)

Country Link
JP (1) JP2007221445A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009112A (en) * 2011-06-23 2013-01-10 National Institute Of Advanced Industrial & Technology Sound acquisition and reproduction device, program and sound acquisition and reproduction method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05505298A (en) * 1991-01-08 1993-08-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション Encoder/decoder for multidimensional sound field
JPH09135499A (en) * 1995-11-08 1997-05-20 Victor Co Of Japan Ltd Sound image localization control method
JPH1074099A (en) * 1996-05-06 1998-03-17 Fr Telecom Method for equalizing speech signal composed by observed sequence of continuous input speech frame and apparatus therefor
JPH11503882A (en) * 1994-05-11 1999-03-30 オーリアル・セミコンダクター・インコーポレーテッド 3D virtual audio representation using a reduced complexity imaging filter
JP2003274492A (en) * 2002-03-15 2003-09-26 Nippon Telegr & Teleph Corp <Ntt> Stereo acoustic signal processing method, stereo acoustic signal processor, and stereo acoustic signal processing program
WO2004093495A1 (en) * 2003-04-17 2004-10-28 Koninklijke Philips Electronics N.V. Audio signal synthesis
JP2005109914A (en) * 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> Method and device for reproducing high presence sound field, and method for preparing head transfer function database

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05505298A (en) * 1991-01-08 1993-08-05 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション Encoder/decoder for multidimensional sound field
JPH11503882A (en) * 1994-05-11 1999-03-30 オーリアル・セミコンダクター・インコーポレーテッド 3D virtual audio representation using a reduced complexity imaging filter
JPH09135499A (en) * 1995-11-08 1997-05-20 Victor Co Of Japan Ltd Sound image localization control method
JPH1074099A (en) * 1996-05-06 1998-03-17 Fr Telecom Method for equalizing speech signal composed by observed sequence of continuous input speech frame and apparatus therefor
JP2003274492A (en) * 2002-03-15 2003-09-26 Nippon Telegr & Teleph Corp <Ntt> Stereo acoustic signal processing method, stereo acoustic signal processor, and stereo acoustic signal processing program
WO2004093495A1 (en) * 2003-04-17 2004-10-28 Koninklijke Philips Electronics N.V. Audio signal synthesis
JP2005109914A (en) * 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> Method and device for reproducing high presence sound field, and method for preparing head transfer function database

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009112A (en) * 2011-06-23 2013-01-10 National Institute Of Advanced Industrial & Technology Sound acquisition and reproduction device, program and sound acquisition and reproduction method

Similar Documents

Publication Publication Date Title
CN104254049B (en) Headphone response measurement and equilibrium
US11043210B2 (en) Sound processing apparatus utilizing an electroencephalography (EEG) signal
US9681246B2 (en) Bionic hearing headset
US8611554B2 (en) Hearing assistance apparatus
JP6017825B2 (en) A microphone and earphone combination audio headset with means for denoising proximity audio signals, especially for &#34;hands-free&#34; telephone systems
CN103959813B (en) Earhole Wearable sound collection device, signal handling equipment and sound collection method
CN107147981B (en) Single ear intrusion speech intelligibility prediction unit, hearing aid and binaural hearing aid system
JP6102179B2 (en) Audio processing apparatus and method, and program
EP3203473B1 (en) A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system
WO2016188270A1 (en) A hearing device and a method for operating thereof
AU2015201124B2 (en) Transmission of a wind-reduced signal with reduced latency
JP6177480B1 (en) Speech enhancement device, speech enhancement method, and speech processing program
US8488807B2 (en) Audio signal compensation device and audio signal compensation method
WO2021014935A1 (en) Sound emission system
WO2020044377A1 (en) Personal communication device as a hearing aid with real-time interactive user interface
JP2007221445A (en) Surround-sound system
US20230254630A1 (en) Acoustic output device and method of controlling acoustic output device
JP2006352728A (en) Audio apparatus
JP6936860B2 (en) Audio signal processor
JP2000261894A (en) Hearing aid with noise suppressing function
JP3894875B2 (en) Hearing aid
WO2017046888A1 (en) Sound collecting apparatus, sound collecting method, and program
CN113038315A (en) Voice signal processing method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110308