JP2006500817A - 音声信号の生成 - Google Patents

音声信号の生成 Download PDF

Info

Publication number
JP2006500817A
JP2006500817A JP2004537424A JP2004537424A JP2006500817A JP 2006500817 A JP2006500817 A JP 2006500817A JP 2004537424 A JP2004537424 A JP 2004537424A JP 2004537424 A JP2004537424 A JP 2004537424A JP 2006500817 A JP2006500817 A JP 2006500817A
Authority
JP
Japan
Prior art keywords
audio signals
signal
related transfer
transfer functions
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004537424A
Other languages
English (en)
Other versions
JP4399362B2 (ja
Inventor
アールツ ロナルダス エム
イルワン ロイ
ダニエル ダブリュ イー スコッベン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006500817A publication Critical patent/JP2006500817A/ja
Application granted granted Critical
Publication of JP4399362B2 publication Critical patent/JP4399362B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明は、頭部伝達関数の関連する第2の組を持つ音声信号(M)の第2の組からの少なくとも1つの入力信号から、少なくとも1つの出力信号(HPL、HPR)を生成する方法及びメディアシステムに関する。このメディアシステムは、TV、CDプレーヤ、DVDプレーヤ、ラジオ、ディスプレイ、増幅器、ヘッドホン又はVCRとすることができる。前記方法は、前記音声信号の第2の組における各信号に対し、中間音声信号(CHI1、CHI2)の第3の組からの少なくとも1つの信号及び少なくとも1つの重み値を有する重み付け関係を決めるステップと、前記音声信号の第2の組、頭部伝達関数の第2の組及び重み付け関係に基づいて頭部伝達関数(HRTF)の第1の組を決めるステップと、前記音声信号の第1の組に属する少なくとも1つの出力信号を生成するために、前記頭部伝達関数の第1の組からの少なくとも1つのHRTFを用いて、中間音声信号の第3の組からの少なくとも1つの信号を伝達するステップとを含む。これにより、最後に、入力信号を出力信号へ後続して伝達するために、より少ないHRTFが決められる。これにより、僅かな重畳しか必要とされない。

Description

本発明は、メディアシステムにおいて、頭部伝達関数(HRTF: Head Related Transfer Function)の関連する第2の組を持つ音声信号の第2の組からの少なくとも1つの入力信号から、少なくとも1つの出力信号を生成する方法に関する。
本発明は前記方法を実行するためのコンピュータシステムにも関する。
本発明はさらに、前記方法を実行するためのコンピュータプログラムにも関する。
本発明はさらに、頭部伝達関数の関連する第2の組を持つ音声信号の第2の組からの少なくとも1つの入力信号から、音声信号の第1の組からの少なくとも1つの出力信号を生成するメディアシステムにも関する。
国際公開番号WO01/49073は、外部音源をシミュレートする音声再生システムを開示している。このシステムは多数のいわゆるHRTFを使用して、一組のヘッドホンに対し音声を生成する。
従来技術の文献において、出力、すなわち音声信号となるように合成される音源の入力チャンネルは、比較的多くのHRTFを必要とすることが通常知られている。これは通例、かなり高価であり、不要な重畳(convolution)を必要として、設計するのには複雑である前記HRTFを用いたシステム実施となる。これはさらに図1及び図2を用いて説明され、ここで対応するHRTFの公式及び番号を備える従来の応用及び本発明は計算を用いて示される。
上記問題は前記方法により解決され、この方法は、
−音声信号の第2の組における各信号に対し、中間音声信号の第3の組からの少なくとも1つの信号及び少なくとも1つの重み値を有する重み付け関係を決めるステップと、
−音声信号の第2の組、頭部伝達関数の第2の組及び重み付け関係に基づいて頭部伝達関数の第1の組を決めるステップと、
−前記音声信号の第1の組に属する少なくとも1つの出力信号を生成するために、前記頭部伝達関数の第1の組からの少なくとも1つの頭部伝達関数を用いて、中間音声信号の第3の組から少なくとも1つの信号を伝達するステップと、
を有する。
第1のステップにおいて、音声信号の第2の組における各信号、すなわち多数の入力音声信号における各信号に対し、中間音声信号及び少なくとも1つの重み値により構成される重み付け関係が決められる。ここで、前記入力音声信号は、その後に内部で使用するための中間音声信号に変換される。
第2のステップにおいて、HRTFの第1の組であるが、新しい組は次いで、前記入力音声信号に関連し、最初は前記入力音声信号の第2に組を変形又は伝達専用である音声信号の第2の組、通常は入力音声信号及び頭部伝達関数の第2の組に基づいて決められる。
本発明よる実施例において説明される前記決定において、HRTFの新しい組は、本来は入力音声信号の第2の組を伝達する専用の頭部伝達関数の前記第2の組よりも少ないHRTFを有する。
次いで、第3のステップにおいて、前記新しいHRTFであるが、少ないHRTF(すなわち頭部伝達関数の第1の組)は、中間音声信号の第3の組からの1つ以上の信号が、出力信号を得るために、前記新しい、少ない数のHRTFを用いて伝達されるので、(前記音声信号の第1の組に属している)1つ以上の出力信号を生成するのに用いられる。
前記問題はさらに、前記方法を実行することができる前記メディアシステムにより解決される。このメディアシステムは、TV,CDプレーヤ、DVDプレーヤ、ラジオ、音声付ディスプレイ、増幅器、ヘッドホン又はVCRでもよい。
好ましい実施例において、前記メディアシステムは、
−音声信号の第2の組における各信号に対し、中間音声信号の第3の組からの少なくとも1つの信号を有する重み付け関係、及び少なくとも1つの重み値を決めるための手段と、
−音声信号の第2の組、頭部伝達関数の第2の組及び重み付け関係に基づいて頭部伝達関数の第1の組を決める手段と、
−前記音声信号の第1の組に属する少なくとも1つの出力信号を生成するために、前記頭部伝達関数の第1の組からの少なくとも1つのHRTFを用いて、中間音声信号の第3の組からの少なくとも1つの信号を伝達する手段と、
を有する。
このメディアシステムは、本方法に関して先に述べたのと同じ理由に対し同じ利点を与える。
従来技術及び本発明は、好ましい実施例と組み合わせて及び図を参照して以下に十分説明される。
本発明において、一組の頭部伝達関数(HRTF)は1つ以上の音声信号を生成するのに用いられる。これらHRTFは、特定の音源から耳へ音が伝搬する方法を表す関数及び1つの組に属するHRTFの数として規定され、これは音源から2つの耳への音の伝搬を表す1つのHRTFから、音を出力する音源の数に依存する多数のHRTFへとすることができる。代わりに、数個(n個)の入力信号から、m個の中間信号が得られ、これはm個のHRTF(m>n)を2回必要とする。頭部伝達関数(HRTF)は、(音源とする)前記入力信号を展開し、(中間積とする)マルチチャンネルの音声となるのに用いられ、これは次いでダウンミックス(down-mix)され、幾つかの生じる出力音声信号、例えばヘッドホン用の左及び右の信号となる。
HRTFの記述はさらに以下の雑誌、H. Moller, “Fundamentals of binaural technology” Applied Acoustics, Special issue on auditory environment and telepresence, Vol. 36, No. 3-4, pp. 171-218, (1992) にも見られる。
以下において、HRTFはさらに詳細に規定される。(例えば、耳の間の距離及び外耳の形状のようなパラメタを考慮して)任意の音源が鼓膜において生成する音圧を知ることにより、必要とされる全てのものは、音源から鼓膜へのインパルス応答であり、これは例えば耳にマイクロホンを置くことで測定されることができる。これは、頭部インパルス応答(Head-Related Impulse Response)と呼ばれ、そのフーリエ変換が頭部伝達関数(HRTF)と呼ばれる。このHRTFは音源の位置特定に対する物理的な手がかり(cue)の全てを取り込んでいる。一度、左耳及び右耳に対するHRTFが分かってしまうと、片耳の音源から正確な両耳の信号を合成することが可能である。頭部伝達関数は、十分知られていて、多数の文献、例えばBlauert, Spatial hearing: The Psychophysics of Human Sound Localization (MIT Press, Cambridge, MA, 1983)において説明されている。一組のHRTFにより音声がフィルタリングされる場合、この音声はこの一組のHRTFが属する人間に対し最適となり、これによりこの音声の経験は、前記一組のHRTFが属する人間以外の誰に対しても決して最適にならない。この一組のHRTFは、特定の人間に固有のパラメタ又は係数を備えるフィルタ関数である。特定の人間に対し、上述された任意の音源、音源と人間との距離、及び関数パラメタが測定される部屋の特徴にも依存して、異なる組のHRTFが得られる。例えば音源がヘッドホンである場合、HRTFは音声の再生が起こるヘッドホンに依存する。この関数を用いて音声をフィルタリングする結果は、ヘッドホンにおいてサラウンドの音声の最適な空間再生が得られることである。この音源は、標準的なスピーカでもよく、この場合、例えばHRTFに基づくようなクロストークキャンセルを行う必要がある。
ステレオの音声信号は、一組のマイクロホンのようなステレオ信号源から例えばミキシング装置等のような他の電子装置を介して発生する左信号成分及び右信号成分を有する。これら信号はさらに、無線信号のように空気中を又は他の適当な手段を介して、他のステレオプレーヤからの出力として入力されてもよい。
図1は、従来技術における及び本発明による3つの入力音声信号から、2つの出力音声信号を生成する実施例を示している。一般的な使用において、前記2つの出力音声信号は、ヘッドホンにおける2つのスピーカに分配されるステレオ信号を有する。
最初に、従来技術によれば、ヘッドホンによってマルチチャンネルの音声を再生することがよく知られている。ヘッドホンによるこのマルチチャンネルの音声の再生は、バイノーラル(binaural)と呼ばれる既知の技術及び頭部伝達関数(HRFT)を使用する。“バイノーラル”という用語は、聴取者の耳(左耳及び右耳)への2つの入力があることを指している。鼓膜の位置において記録される左チャンネル信号及び右チャンネル信号の如何なる組もバイノーラル信号と呼ばれる。
本発明は、ヘッドホンを使用するとき鼓膜において、スピーカが再生するときと同じ音声となることである。これを達成するために、音源が鼓膜に伝搬することに関する多くの知識が集められなければならない。この伝搬は色合い(coloration)、並びに両耳間時間差(inter-aural time difference)及び両耳間スペクトル差(inter-aural spectral difference)のような如何なる線形フィルタリングを含んでいる頭部伝達関数(HRTF)に関して最もよく表している。この両耳間時間差は、音波が左耳及び右耳への2つの異なる距離を移動するために発生する。これらの伝達関数は入射角及び音源への距離に依存している。
図に戻ると、参照番号1、2及び3は、結合してヘッドホン用の(出力)音声信号を生じる左HPL及び右HPRとなる対応する3つのチャンネル(すなわち3つの入力音声信号)CH、CH及びCHを示している。前記チャンネルは、参照番号4から9の3つの関連する頭部伝達関数を用いて各々送信されている。言い換えると、CHは、頭部伝達関数HRTFを用いて送信され、同様に、CHは、頭部伝達関数HRTFを用いて送信される等である。これは、チャンネルと関連するHRTFとの積の和(参照番号10及び11)により、ステレオ信号が生成されることを達成するために、両方のチャンネルに対し行われる。前記ステレオ(出力)信号は左側のHPL(参照番号12)及び右側のHPR(参照番号13)により、2つの生じる音声信号として示される。
左側の生じる音声信号に対する和は、
Figure 2006500817
である。
同様に、右側の生じる音声信号に対する和は、
Figure 2006500817
である。
これにより、従来技術の場合、この送信は3つの送信を2回、すなわち6つの頭部伝達関数を必要とする。
一般的に、本出願を通じて、“・”という記号は上述した変数が周波数領域である場合は、積を示し、時間領域である場合、“・”は変数の重畳(convolution)を示す。
一般的且つ同様に、従来例を拡張する場合、結合してm個の音声出力となる、すなわちm個の生じる音声信号となるn=3の音源の(入力)チャンネル(CHからCH)は、m個の頭部伝達関数をn回必要とする。
2番目には、本発明の好ましい実施例によれば、従来例と同じ送信が異なるやり方で実施される。この例を続けるために、同じ3つのチャンネル(CH、CH及びCH)が扱われる。これらチャンネルは、線形結合でもよく、又は重みα及びβを持つ左(中間)チャンネル若しくは右(中間)チャンネルの重み付け版でもよい。前記α及びβは各チャンネル、すなわちL及びRに依存するそれらの重み値であり、これにより一般的に、
Figure 2006500817
となる。
当業者は、本発明に2チャンネル(L,R)以上を与える、例えば第3のチャンネル、第4のチャンネル等、すなわちC、D等を与える場合、その後、数式(3)を
CH=α・L+β・R+c・C+d・D
と一般化する。これは、対応するスピーカ又は最終結果の音声に対し対応する高い数の生じる(出力)音声信号(HPL,HPR,HPC,HPD等)に対する。
サウンドエンジニアリング学会誌 presented at the 19th International Conference 2001 June 21-24 Schloss Elmau, Germany by Roy Irwan and Ronald M. Aarts, Philips Research Laboratoriesにおいて、ステレオをマルチチャンネルの音声に変換する方法が開示されている。この学会誌において、3頁目に前記α及びβは、左チャンネル及び右チャンネルそれぞれに対する時間kにおける対応するW(k)及びW(k)(重み)記号を用いて規定される。
簡潔さのために、(生じる(出力)音声信号からなる)2つのチャンネルが本実施例において単に用いられる。
図1の従来の実施例を続けるが、以下による本発明の好ましい実施例においても実施される。
Figure 2006500817
Figure 2006500817
Figure 2006500817
数式(1)及び数式(2)は、(チャンネルと関連するHRTFとの積の)和に未だ適用されていることがわかり、これにより数式(4)、数式(5)及び数式(6)が数式(1)及び数式(2)に代入される場合、
Figure 2006500817
Figure 2006500817
が与えられ、また別の表示は、
Figure 2006500817
となり、それに応じて
Figure 2006500817
が与えられる。
しかしながら、本発明に関してこれまでに説明されたHRTFは、数式における中間変数として単に用いられ、前記従来技術に関する説明とは対照的に、実際の頭部伝達関数として実施されない及びされる必要がないことに注意されたい。
若しくは、i=3、すなわち一般化された形式では、
Figure 2006500817
Figure 2006500817
である。
これにより、数式(11)における係数Σ(α・HRTFi,L)、Σ(β・HRTFi,L)は、各々1つのフィルタと見なされるので、左側信号及び右側信号をそれぞれフィルタリングするために必要とされる左ヘッドホンドライバHPLに対し2つのフィルタしか存在しない。
同様に、数式(12)に関して、Σ(α・HRTFi,R)、Σ(β・HRTFi,R)は、右ヘッドホンドライバHPRのための2つのフィルタがある。
これにより、右ヘッドホンドライバ用に左信号及び右信号をフィルタリングするのに2つのフィルタしか必要とされない。
これにより、3つの入力音声チャンネルを備える本発明による実施を続ける場合、送信は単に2つの送信を2回だけ必要とする、すなわち4つの頭部伝達関数を必要とする。6つの頭部伝達関数が必要とされていた図1の従来例と比較してみると、本発明は同じ送信に対しより少ない頭部伝達関数を必要とする。
同様に、同じ送信に対し、より少ない重畳が必要とされる。
言い換えると、実施例が音声信号、例えばm=2(すなわち、ステレオであり、2つのヘッドホンドライバ用の2つの出力チャンネル又は信号)からなる簡単なカスケード状態にさらに一般化される場合、つまり従来技術から始まり、それに従う場合、n=5の入力チャンネル又は音声信号(CHからCH)は、合計5つのHRTFを2回、すなわち(従来技術において)10HRTFを必要とするが、本発明の第1の実施例によれば、同じ送信に対し、依然として4つの頭部伝達関数だけしか必要とされない。
図2は1つの入力音声信号から2つの出力音声信号の生成を示す。前記2つの音声信号は、一般的な使用において、ヘッドホンにおける2つのスピーカに分配されるステレオ信号を再び有するが、本実施例において、本発明の第2の実施例として、1つだけの音源である、入力音声信号Mが説明されている。
第1に、従来技術は、使用されるHRTFの計算を開示している。
(本図のように)1つだけの入力チャンネル、すなわち入力音源Mに対する従来技術が適用され、次いで2つの生じる(出力)音声信号HPL、HPRに分配される。図1と比較して、且つ図1によれば、原則的に、チャンネルが1つ足りない(すなわちCH)例が用いられ、同様に、従来技術における左側の生じる(出力)音声信号に対する和は、
Figure 2006500817
である。さらに、同様に右側の生じる(出力)音声信号に対する和は、
Figure 2006500817
となる。
ここで、最初の大文字表記は各スピーカのチャンネルL及びRそれぞれであり、2番目の小文字表記は、左耳に対するl、右耳に対するrである。
これにより、この従来技術において、この送信は2つの送信を2回、すなわち4つの頭部伝達関数を必要とする。
第2に、本発明による第2の実施例、すなわち図2が説明される。
スタジオ内にいる(移動している)シンガー“M”が2つの出力音声チャンネルHPL、HPRを用いてCDに記録されると仮定してみる。
PCA(Principle Component Analysis)を使用することにより、必要とされるアルファ、(以下の数式(15)に見られるような)αiが回復される。故に、スピーカ間の線上にシンガーがいるように2つのチャンネルが使用される。前記アルファが時変数である場合でもよい。
PCAの一般的な議論は、先に述べた論文”A method to convert stereo to multi-channel”に用いられる、S. Haykin著、Principal Component Analysis Neural Networks, Prentice-Hall, N.J., 1999, Second Editionに見られる。
この単一の(入力)音源Mは、2つのスピーカ間のどこかにある。例えばスタジオにおいて、両方(又はさらに多くのチャンネル)、αi・Mと表される左側中間チャンネル(CH1)とαi・Mと表される右側中間チャンネルとの間にパンポットされる(pan-potted)シンガーMがいる。これにより、
Figure 2006500817
と表される。
しかしながら、この特別の実施例に対する本発明に関する前記チャンネル(CHI、CHI)は、数式において中間チャンネル(変数)として単に用いられ、従来技術に関する説明(すなわちCH、CH)とは異なり実際のチャンネルではないことに注意されたい。
言い換えると、本発明に関し、左側及び右側(中間チャンネル)は1つのチャンネルM上にマッピングされる。
従来技術から図2による本発明の他の実施例へ切り換える数式(13)及び(14)は、
Figure 2006500817
Figure 2006500817
又は
Figure 2006500817
Figure 2006500817
若しくは
Figure 2006500817
Figure 2006500817
と表され、ここで、
Figure 2006500817
且つ
Figure 2006500817
である。
これは、数式(20)及び(21)における係数(H_1、H_2)それぞれが、1つのHRTFフィルタとして各々見なされるので、本発明は2つだけの重畳又はHRTFを必要とすることが示されている。
これにより、送信はここで2つの頭部伝達関数を必要とするだけである。4つの頭部伝達関数が必要とされる従来技術と比べると、本発明は、1つの(入力)音源Mからの同じ送信に対し、より少ない頭部伝達関数(及び同様に重畳)を必要とする。
しかしながら、2つの出力チャンネルだけしか1つのチャンネルにマッピングしない第2の実施例は非常に簡単であり、この第2の実施例は、以下に説明される、
国際公開番号WO02/07481、発明者Irwan, Roy、AARTS, Ronaldus, M、出願人Koninklijke Philips Electronics N.V.、発明の名称「Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal」、2001年7月5日出願、出願番号EP0107757、公開日2002年1月24日であり、ここで2つのチャンネル(L,R)はPCAを用いて、1つのC上、すなわち中央チャンネルにマッピングされる、及び
C. Faller及びF. Baumgarther著、Binaural cue coding applied to stereo and multi-channel audio compression、Convention paper 5574(L-6) of the 122th AES Convention Munich, Germany, Audio Eng. Soc., May 2002。
ような2つより多くのチャンネルを(対応するαを備える)1つのチャンネルへマッピングするように一般化される。
当業者は、これら2つの実施例による本発明を利用する場合、これらを組み合わせ、音声入力及び出力を備える一般用途の(HRTF)関数ブロックとみなす。言い換えると、前記実施例は、カスケード接続の音声信号に適用される。言い換えると、1つの関数ブロックからの出力音声信号であるHPL及びHPRの代わりに、これら出力音声信号がカスケード接続することにより、他の関数ブロックに対する入力となる。
一般的に、この出願を通じて前記数式は、例えばTV、CDプレーヤ、DVDプレーヤ、ラジオ、ディスプレイ、増幅器又はVCRのようなメディアシステムにおいて実施されてよい。これは、図2の参照番号20を用いて示される。しかしながら、前記数式は代わりに又は付加的に、十分な処理能力を持つヘッドホンに埋め込まれることを目的にするのに適した回路(又はソフトウェア)に統合される場合でもよい。
チャンネル間の送信、(入力音声信号)CH及びMを他の中間音声チャンネル及び生じる(出力)音声信号又はチャンネルへの送信は、矢印により図に描かれる。これら矢印は、例えば有線又は無線のデータリンクを介して音声データの通信を可能にする回路を用いて通信が行われることを示している。このような通信の実施例は、例えば、ネットワークインタフェース、ネットワークカードを含む送信器、無線送信器、IrDaポートを介して赤外線を送信するLEDのような電磁気信号に適した送信器、Bluetooth(登録商標)トランシーバを介した無線ベースの通信機等のような様々な送信器でよい。適切な送信器の他の実施例は、ケーブルモデム、電話モデム、ISDNアダプタ、DSLアダプタ、衛星トランシーバ、イーサーネット(登録商標)アダプタ等を含む。同様に、通信チャンネルは、例えばインターネット又は他のTCP/IPネットワークのようなパケットベースの通信ネットワーク、赤外線リンクのような小範囲(short-range)通信リンク、Bluetooth(登録商標)接続又は他の無線ベースのリンクからなる適切な有線又は無線データリンクのいずれかでもよい。
通信チャンネルの他の実施例は、コンピュータネットワーク及び無線通信ネットワークを含み、これらは例えばCDPD(Cellular Digital Packet Data)ネットワーク、GSM(Global System for Mobile)ネットワーク、CDMA(Code Division Multiple Access)ネットワーク、TDMA(Time Division Multiple Access)ネットワーク、GPRS(General Packet Radio service)ネットワーク、UMTSネットワークのような第3世代のネットワーク等である。
図3は頭部伝達関数の関連する第2の組を持つ入力音声信号の第2の組からの少なくとも1つの入力信号から、少なくとも1つの出力信号を生成する方法を示す。この生成は例えばTV、CDプレーヤ、DVDプレーヤ、ラジオ、ディスプレイ、増幅器、ヘッドホンのようなメディアシステム及びVCRにおいて行われる。
この方法の(又は前記メディアシステムのような装置に埋め込まれた)一般的なアプリケーションにおいて、前記出力音声信号は、出力音声信号の第1の組、例えばヘッドホン又は他のスピーカに送信されるHPL又はHPRのような1つ以上の出力に属する。逆に、前記音声信号の第2の組は、例えばCH、CH、…CH及びMのような入力でよい。しかしながら、前記(入力)音声信号は、HRTFの関数ブロックを備える音声信号のカスケードチェーンにおいて、これら信号がカスケード結合された音声信号のブロックを(入力として)入力するか、(出力として)出力するかに依存して、入力又は出力とする汎用の音声信号とみなされる。言い換えると、ある関数ブロックからの出力音声信号が他の関数ブロックへの入力(音声信号)となる、又はその逆でもよい。
(前記入力音声信号に関連する)頭部伝達関数の前記第2の組は、説明された実施例から、入力音声信号の前記第2の組を初めに変形又は伝達する専用の頭部伝達関数(例えばHRTF_L,1、HRTF_R,1、HRTF_L,l、HRTF_R,r、HRTF1,L、HRTF_2,L、HRTF3,L、…HRTF1,R、HRTF2,R、…等)を有する。
ステップ90において、本発明の好ましい実施例による方法が開始される。HTRFのトラックを維持する変数、フラグ、バッファ等、入力及び処理される音声信号に対応する中間音声チャンネル、出力音声チャンネル、重み等は、デフォルト値に設定される。この方法が2回目を始める場合、破損した変数、フラグ、バッファ等がデフォルト値に再設定されるだけである。
ステップ100において、方法の説明に続き、(入力)音声信号の第2の組における各信号に対し、重み付け関係が決められる。前記重み付け関係は、例えば(説明される2つの実施例による)対応する重み値を備えるそれぞれL及びR、CHI1及びCHI2のように中間音声信号の第3の組から少なくとも1つの信号を有する。
本発明の実施例において説明されたように、第1の実施例としてある実施例は、(すなわちi個の入力音声信号の各々である)CHi=αi・L+βi・Rであり、ここでαi及びβiは重み値であり、L及びRそれぞれは前記中間音声信号の第3の組からの信号である。
第1の実施例において、(生成される)出力音声信号よりも多くの入力音声信号は、従来技術と比較してより少ないHRTFを用いて処理される。
本発明の実施例においてさらに説明されるように、第2の実施例としての他の実施例は、CH=αi・M及びCH=βi・Mであり、ここでαi及びαi各々は重み値であり、CHI及びCHIはこの第2の実施例に関し対応する中間音声信号である。
第1の実施例に対するような第2の実施例において、(本実施例では2つの)生成される出力音声信号よりも一般的に少ない(本実施例では1つの)入力音声信号は、従来技術と比較してより少ないHRTFを用いて処理される。
ステップ200において、頭部伝達関数の第1の(新しく生成した)組が決められる。(頭部伝達関数の)前記第1の組は、音声信号、すなわち入力音声信号の第2の組、(従来技術において説明及び用いられた)頭部伝達関数の第2の組及び新しく決められた重み付け関係に基づいている。言い換えると、頭部伝達関数の前記第1の新しい組は、次のステップにおいてそれを用いて中間音声信号の後続する変形を目的に生成される。この決定は音声信号、すなわち例えばCH1、CH2…CHn及びMのような(通例入力として)音声信号である入力のような前記音声信号の第2の組、及び最初に前記入力音声信号の第2の組を変形又は伝達する専用の前記頭部伝達関数の第2の組を考慮する。さらに、この決定は、対応する中間信号(L、R等)との前記重み付け関係(CHi=αi・L+βi・R等)を考慮して、本発明の2つの実施例を説明するのに用いられる数式に対応させる。
ステップ300において、前記中間音声信号(L、R、CHI、CHI)の第3の組からの少なくとも1つの信号は、前記出力音声信号(HPL、HPR)の第1の組に属する少なくとも1つの信号を(入力信号として)生成するために、(新しく生成された頭部伝達関数の)前記第1の組から、少なくとも1つのHRTFを用いて伝達される。この点において、新しく生成されたHRTF、すなわち前記頭部伝達関数(Σ(αi・HRTFi,R)、Σ(βi・HRTFi,R)、H_1、H_2、等)の第1の組が用いられ、実際に、L、R(第1の実施例)又はCHI及びCHI(第2の実施例)のような1つ以上の中間音声信号を伝達及び変形(重畳)する。結果として、出力音声信号HPL、HPRの少なくとも1つが次いで生成される。
これにより、本発明による利点は、本実施例において先に説明されたように、前記生成は、従来技術よりもより少ないHRTF及び重畳により通例行われることである。
通常、前記方法はメディアシステムが通電されている限り繰り返し開始する。そうでなければ、この方法はステップ400で終了する。しかしながら、このメディアシステムが再び通電される等の場合、この方法はステップ100から処理される。
コンピュータ読み取り可能媒体は、磁気テープ、光学ディスク、DVD、コンパクトディスク(CDレコーダブル又はCDリライタブル)、ミニディスク、ハードディスク、フロッピーディスク、スマートカード、PCMCIAカード等でもよい。
特許請求の範囲において、括弧内にある如何なる参照符号も本請求項を制限するものとして構成されるものではない。「有する」という用語は請求項に挙げられる要素又はステップ以外の要素又はステップが存在することを排除するものではない。単数で要素を表示することがこのような要素が複数あることを排除するものではない。
本発明は、幾つかの別個の要素を有するハードウェア及び適切にプログラムされたコンピュータを用いて実施されることができる。幾つかの手段を列挙する装置の請求項において、これら手段の幾つかがハードウェアの同一のアイテムにより具体化されることができる。ある手段が互いに異なる独立請求項に列挙される単なる事実が、これら手段の組み合わせ有利に使用することができないことを示すものではない。
従来技術及び本発明による3つの入力音声信号から2つの出力音声信号を生成する実施例を示す。 1つの入力音声信号から2つの出力音声信号の生成を示す。 頭部伝達関数の関連する第2の組を持つ入力音声信号の第2の組からの少なくとも1つの入力音声信号から少なくとも1つの出力音声信号を生成する方法を示す。

Claims (7)

  1. メディアシステムにおいて、頭部伝達関数の関連する第2の組を持つ音声信号の第2の組からの少なくとも1つの入力信号から、音声信号の第1の組からの少なくも1つの出力信号を生成する方法において、
    −前記音声信号の第2の組における各信号に対し、中間音声信号の第3の組からの少なくとも1つの信号及び少なくとも1つの重み値を有する重み付け関係を決めるステップと、
    −前記音声信号の第2の組、前記頭部伝達関数の第2の組、及び前記重み付け関係に基づいて頭部伝達関数の第1の組を決めるステップと、
    −前記音声信号の第1の組に属する少なくとも1つの出力信号を生成するために、前記頭部伝達関数の第1の組からの少なくとも1つの頭部伝達関数を用いて、前記中間音声信号の第3の組からの少なくとも1つの信号を伝達するステップと、
    を有する方法。
  2. 前記音声信号の第2の組における各信号に対し前記重み付け関係を決めるステップにおいて、前記音声信号の第2の組におけるiがCHi=αi・L+βi・Rを決め、αi及びβiは各々前記重み値であり、L及びRは各々前記中間音声信号の第3の組からの信号であることを特徴とする請求項1に記載の方法。
  3. 前記音声信号の第2の組における各信号に対し前記重み付け関係を決めるステップにおいて、CHI=αi・M及びCHI=αi・Mを決め、αi及びαiは各々前記重み値であり、CHI及びCHIは各々前記中間音声信号の第3の組からの信号であることを特徴とする請求項1に記載の方法。
  4. 前記メディアシステムは、TV、CDプレーヤ、DVDプレーヤ、ラジオ、ディスプレイ、増幅器、ヘッドホン又はVCRであることを特徴とする請求項1、2又は3に記載の方法。
  5. 請求項1、2、3又は4に記載の方法を実行するためのコンピュータシステム。
  6. 前記コンピュータプログラムがコンピュータ上において実行される場合、請求項1、2、3又は4に記載の方法を実行するためのコンピュータ読み取り可能媒体に記憶されるプログラムコード手段を有するコンピュータプログラム。
  7. 頭部伝達関数の関連する第2の組を持つ音声信号の第2の組からの少なくとも1つの入力信号から、音声信号の第1の組からの少なくとも1つの出力信号を生成するメディアシステムにおいて、
    −前記音声信号の第2の組における各信号に対し、中間音声信号の第3の組からの少なくとも1つの信号及び少なくとも1つの重み値を有する重み付け関係を決める手段と、
    −前記音声信号の第2の組、前記頭部伝達関数の第2の組、及び前記重み付け関係に基づいて頭部伝達関数の第1の組を決める手段と、
    −前記音声信号の第1の組に属する少なくとも1つの出力信号を生成するために、前記頭部伝達関数の第1の組からの少なくとも1つの頭部伝達関数を用いて、前記中間音声信号の第3の組からの少なくとも1つの信号を伝達する手段と、
    を有するメディアシステム。
JP2004537424A 2002-09-23 2003-09-16 音声信号の生成 Expired - Lifetime JP4399362B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02078943 2002-09-23
PCT/IB2003/004002 WO2004028204A2 (en) 2002-09-23 2003-09-16 Generation of a sound signal

Publications (2)

Publication Number Publication Date
JP2006500817A true JP2006500817A (ja) 2006-01-05
JP4399362B2 JP4399362B2 (ja) 2010-01-13

Family

ID=32011013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004537424A Expired - Lifetime JP4399362B2 (ja) 2002-09-23 2003-09-16 音声信号の生成

Country Status (9)

Country Link
US (2) US7489792B2 (ja)
EP (1) EP1547436B1 (ja)
JP (1) JP4399362B2 (ja)
KR (1) KR101016975B1 (ja)
CN (1) CN100594744C (ja)
AU (1) AU2003260841A1 (ja)
DE (1) DE60328402D1 (ja)
ES (1) ES2328922T3 (ja)
WO (1) WO2004028204A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502200A (ja) * 2004-06-04 2008-01-24 サムスン エレクトロニクス カンパニー リミテッド ワイドステレオ再生方法及びその装置
JP2009531886A (ja) * 2006-03-24 2009-09-03 ドルビー スウェーデン アクチボラゲット 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成
JP2009539283A (ja) * 2006-06-02 2009-11-12 ドルビー スウェーデン アクチボラゲット 非エネルギー節約型アップミックス・ルールのコンテクストにおけるバイノーラル・マルチチャンネル・デコーダ
JP2014239429A (ja) * 2013-05-23 2014-12-18 ジーエヌ リザウンド エー/エスGn Resound A/S 空間的に信号を強調する補聴器

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60328402D1 (de) * 2002-09-23 2009-08-27 Koninkl Philips Electronics Nv Tonsignalerzeugung
JP4694763B2 (ja) * 2002-12-20 2011-06-08 パイオニア株式会社 ヘッドホン装置
KR100725818B1 (ko) 2004-07-14 2007-06-11 삼성전자주식회사 최적 가상음원을 제공하는 음향재생장치 및 음향재생방법
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
EP1825713B1 (en) 2004-11-22 2012-10-17 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
CN101185117B (zh) * 2005-05-26 2012-09-26 Lg电子株式会社 解码音频信号的方法和装置
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
CN101263742B (zh) * 2005-09-13 2014-12-17 皇家飞利浦电子股份有限公司 音频编码
KR100708196B1 (ko) 2005-11-30 2007-04-17 삼성전자주식회사 모노 스피커를 이용한 확장된 사운드 재생 장치 및 방법
US8411869B2 (en) * 2006-01-19 2013-04-02 Lg Electronics Inc. Method and apparatus for processing a media signal
KR100829870B1 (ko) * 2006-02-03 2008-05-19 한국전자통신연구원 멀티채널 오디오 압축 코덱의 음질 평가 장치 및 그 방법
KR100878816B1 (ko) 2006-02-07 2009-01-14 엘지전자 주식회사 부호화/복호화 장치 및 방법
DE602007004451D1 (de) 2006-02-21 2010-03-11 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
KR20080079502A (ko) * 2007-02-27 2008-09-01 삼성전자주식회사 입체음향 출력장치 및 그의 초기반사음 생성방법
DK2806661T3 (en) * 2013-05-23 2017-12-11 Gn Resound As A hearing aid with spatial signal enhancement
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
CN107996028A (zh) * 2015-03-10 2018-05-04 Ossic公司 校准听音装置
US9967693B1 (en) * 2016-05-17 2018-05-08 Randy Seamans Advanced binaural sound imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0107757A1 (de) 1982-09-28 1984-05-09 Robert Bosch Gmbh Vorrichtung zur Ausleuchtung passiver Anzeigen
DE4237710A1 (en) * 1991-11-07 1993-05-13 Koenig Florian Improving head related sound characteristics for TV audio signal playback - using controlled audio signal processing for conversion into stereo audio signals
US5572591A (en) * 1993-03-09 1996-11-05 Matsushita Electric Industrial Co., Ltd. Sound field controller
AU1527197A (en) * 1996-01-04 1997-08-01 Virtual Listening Systems, Inc. Method and device for processing a multi-channel signal for use with a headphone
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6067361A (en) * 1997-07-16 2000-05-23 Sony Corporation Method and apparatus for two channels of sound having directional cues
US6990205B1 (en) * 1998-05-20 2006-01-24 Agere Systems, Inc. Apparatus and method for producing virtual acoustic sound
KR100718829B1 (ko) * 1999-12-24 2007-05-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 다채널 오디오 신호 처리 장치
WO2001049066A2 (en) 1999-12-24 2001-07-05 Koninklijke Philips Electronics N.V. Headphones with integrated microphones
CN100429960C (zh) 2000-07-19 2008-10-29 皇家菲利浦电子有限公司 用于获得立体声环绕和/或音频中心信号的多声道立体声转换器
DE60328402D1 (de) * 2002-09-23 2009-08-27 Koninkl Philips Electronics Nv Tonsignalerzeugung

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502200A (ja) * 2004-06-04 2008-01-24 サムスン エレクトロニクス カンパニー リミテッド ワイドステレオ再生方法及びその装置
JP2009531886A (ja) * 2006-03-24 2009-09-03 ドルビー スウェーデン アクチボラゲット 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成
US10097940B2 (en) 2006-06-02 2018-10-09 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
JP4834153B2 (ja) * 2006-06-02 2011-12-14 ドルビー インターナショナル アクチボラゲット 非エネルギー節約型アップミックス・ルールのコンテクストにおけるバイノーラル・マルチチャンネル・デコーダ
US10097941B2 (en) 2006-06-02 2018-10-09 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
JP2009539283A (ja) * 2006-06-02 2009-11-12 ドルビー スウェーデン アクチボラゲット 非エネルギー節約型アップミックス・ルールのコンテクストにおけるバイノーラル・マルチチャンネル・デコーダ
US8948405B2 (en) 2006-06-02 2015-02-03 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US9992601B2 (en) 2006-06-02 2018-06-05 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving up-mix rules
US10015614B2 (en) 2006-06-02 2018-07-03 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10021502B2 (en) 2006-06-02 2018-07-10 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10123146B2 (en) 2006-06-02 2018-11-06 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10091603B2 (en) 2006-06-02 2018-10-02 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US12052558B2 (en) 2006-06-02 2024-07-30 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US10085105B2 (en) 2006-06-02 2018-09-25 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10412524B2 (en) 2006-06-02 2019-09-10 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10412525B2 (en) 2006-06-02 2019-09-10 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10412526B2 (en) 2006-06-02 2019-09-10 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US11601773B2 (en) 2006-06-02 2023-03-07 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10469972B2 (en) 2006-06-02 2019-11-05 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10863299B2 (en) 2006-06-02 2020-12-08 Dolby International Ab Binaural multi-channel decoder in the context of non-energy-conserving upmix rules
US10869142B2 (en) 2013-05-23 2020-12-15 Gn Hearing A/S Hearing aid with spatial signal enhancement
US10425747B2 (en) 2013-05-23 2019-09-24 Gn Hearing A/S Hearing aid with spatial signal enhancement
JP2014239429A (ja) * 2013-05-23 2014-12-18 ジーエヌ リザウンド エー/エスGn Resound A/S 空間的に信号を強調する補聴器

Also Published As

Publication number Publication date
DE60328402D1 (de) 2009-08-27
AU2003260841A8 (en) 2004-04-08
AU2003260841A1 (en) 2004-04-08
WO2004028204A3 (en) 2004-07-15
US20060045274A1 (en) 2006-03-02
CN100594744C (zh) 2010-03-17
EP1547436A2 (en) 2005-06-29
JP4399362B2 (ja) 2010-01-13
EP1547436B1 (en) 2009-07-15
WO2004028204A2 (en) 2004-04-01
ES2328922T3 (es) 2009-11-19
USRE43273E1 (en) 2012-03-27
KR20050043985A (ko) 2005-05-11
CN1685763A (zh) 2005-10-19
KR101016975B1 (ko) 2011-02-28
US7489792B2 (en) 2009-02-10

Similar Documents

Publication Publication Date Title
JP4399362B2 (ja) 音声信号の生成
CN101356573B (zh) 对双耳音频信号的解码的控制
JP4606507B2 (ja) 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成
US20070160219A1 (en) Decoding of binaural audio signals
WO2007080225A1 (en) Decoding of binaural audio signals
JP2006521577A (ja) マルチチャネル信号を表す主信号と副信号の符号化
Braasch A loudspeaker-based 3D sound projection using Virtual Microphone Control (ViMiC)
KR20080078907A (ko) 양 귀 오디오 신호들의 복호화 제어
KR102613033B1 (ko) 머리전달함수 기반의 이어폰, 이를 포함하는 전화디바이스 및 이를 이용하는 통화방법
WO2021140791A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2009151183A (ja) マルチチャネル音声音響信号符号化装置および方法、並びにマルチチャネル音声音響信号復号装置および方法
WO2007080224A1 (en) Decoding of binaural audio signals
JP2020039168A (ja) サウンドステージ拡張のための機器及び方法
KR100494288B1 (ko) 다채널 입체 음향 재생 장치 및 그 방법
JP2022161881A (ja) 音声処理方法及び音声処理装置
MX2008008829A (en) Decoding of binaural audio signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080813

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090309

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4399362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term