JP2014535205A - デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイス - Google Patents

デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイス Download PDF

Info

Publication number
JP2014535205A
JP2014535205A JP2014537450A JP2014537450A JP2014535205A JP 2014535205 A JP2014535205 A JP 2014535205A JP 2014537450 A JP2014537450 A JP 2014537450A JP 2014537450 A JP2014537450 A JP 2014537450A JP 2014535205 A JP2014535205 A JP 2014535205A
Authority
JP
Japan
Prior art keywords
channel
digital
signal
array
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014537450A
Other languages
English (en)
Other versions
JP6073907B2 (ja
Inventor
マー、ドンヨン
Original Assignee
スージョウ ソナヴォックス エレクトロニクス シーオー.,エルティーディー.
スージョウ ソナヴォックス エレクトロニクス シーオー.,エルティーディー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スージョウ ソナヴォックス エレクトロニクス シーオー.,エルティーディー., スージョウ ソナヴォックス エレクトロニクス シーオー.,エルティーディー. filed Critical スージョウ ソナヴォックス エレクトロニクス シーオー.,エルティーディー.
Publication of JP2014535205A publication Critical patent/JP2014535205A/ja
Application granted granted Critical
Publication of JP6073907B2 publication Critical patent/JP6073907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/005Details of transducers, loudspeakers or microphones using digitally weighted transducing elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/022Plurality of transducers corresponding to a plurality of sound channels in each earpiece of headphones or in a single enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本発明は、デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイスを開示する。この方法は、(1)デジタル形式を変換するステップと、(2)チャネル等化を遂行するステップと、(3)ビーム形成を制御するステップと、(4)マルチビットΣ−Δ変調を遂行するステップと、(5)サーモメータ符号変換を遂行するステップと、(6)動的不整合整形処理を遂行するステップと、(7)チャネル情報を抽出してデジタル出力増幅器へ送り、アレイ音を駆動するステップと、を備える。本発明のデバイスは、音源、デジタル変換器、チャネル等化器、ビーム形成器、Σ−Δ変調器、サーモメータ符号器、動的不整合整形器、抽出選択器、多チャネルデジタル出力増幅器、およびスピーカアレイを備える。ここで、各ユニットは相互に直列に接続する。本発明は、システムの全デジタルを達成し、体積、ワット損、およびコストを低減し、電気音響変換効率および干渉対抗能力を向上し、システムの可聴帯域内周波数応答平坦性を改善し、デジタルアレイのビーム指向性制御を達成し、特殊音響効果の効果的実現方法を提供する。【選択図】図1

Description

本発明は、チャネル等化およびビーム制御方法およびデバイス、特にデジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイスに関する。
大規模集積回路およびデジタル技術の急速な発展に伴って、従来のアナログ・スピーカ・システムの内在的欠陥が、ワット損、体積および重量、ならびに信号の伝送、蓄積、および処理などで、ますます明らかになりつつある。これらの欠陥を克服するため、スピーカシステムの研究および開発は、低いワット損、小さな外形、デジタル化、および集積化へ向けて徐々に進みつつある。PWM変調に基づくクラスADデジタル出力増幅器が出現したので、スピーカシステムのデジタル化路線は出力増幅器部へ進んだが、低域フィルタリングを受動的にシミュレートして高周波搬送波成分を削除し、原アナログ信号をさらに復調するためには、大きな体積および高価格の高品質インダクタおよびキャパシタが、依然としてデジタル出力増幅器の後段階の回路に要求される。
デジタル出力増幅器の体積およびコストを減少し、さらなる集積化を達成するため、米国特許(US20060049889A1、US20090161880A1)は、PWM変調およびクラスBD出力増幅技術に基づくデジタル・スピーカ・システムを開示している。しかしながら、PWM変調に基づくデジタル・スピーカ・システムには、2つの顕著な欠点が存在する。すなわち、(1)PWM変調に基づく符号化スキームは、その変調構造に起因する内在的非線形欠陥を有し、符号化信号が所望の帯域内で非線形ひずみ成分を生成し、これを改善するために、さらなる線形化手段を採用すると、変調方法の実現の困難性および複雑性が急激に生じること、(2)ハードウェアの実現の困難性を考慮すると、一般的に周波数範囲200KHz〜400KHzではPWM変調のオーバサンプリング速度が低く、オーバサンプリング速度の制限に起因して、符号化信号のSNR(信号対雑音比)をさらに増加し得ないこと、である。
信号の全伝送リンクの全デジタル要求と共に、デジタル・スピーカ・システムの実現におけるPWM変調手法の非線形ひずみおよび低オーバサンプリング速度の欠陥を考慮して、中国特許CN101803401Aは、マルチビットΣ−Δ変調に基づくデジタル・スピーカ・システムを開示している。そのようなシステムでは、マルチビットΣ−Δ変調およびサーモメータ符号化手法によって、高ビットPCM符号が、スピーカアレイのオンオフ行動を制御する制御ベクトルとしての単進符号ベクトルへ変換され、アレイ要素間の周波数応答差から生じる空間定義域合成信号の高次調波成分は、動的不整合整形手法によって削除される。この特許で開示されるシステムは、信号の全伝送リンクの全デジタル化を実現し、動的不整合整形手法によって空間定義域合成信号の全調波ひずみ比を低減するが、動的不整合整形手法はチャネルの可聴帯域内周波数応答揺らぎに対して等化効果をもたず、ゆえに、各チャネルの帯域内周波数応答揺らぎによって、システム復元信号スペクトルと音源信号実スペクトルとの間に大きい偏差が引き起こされ、ゆえに、復元音場と実音場との間に大きい差が存在し、デジタル再生システムは原音源の実音場効果を再現し得ない。加えて、各チャネルのこの帯域内周波数応答揺らぎは、さらに、さまざまな自己適応アレイビーム形成アルゴリズムのより低い安定性およびより遅い収束速度を引き起こし、これによって自己適応アレイビーム形成アルゴリズムのロバスト性を貧弱にする。
ところで、中国特許CN101803401Aで開示されるチャネル遅延調整に基づくビーム操縦方法は、アレイの各チャネルの伝送信号の位相情報を調整するだけで、各チャネルの伝送信号の振幅調整を考慮しない簡単なビーム形成方法である。この方法で提供されるビーム制御能力は弱く、この方法では、自由場の隣接環境でのみ或るビーム操縦能力が提供され、場合によって、デジタルシステムによる複数指向性ビームの生成が必要とされるとき、そのような遅延制御に基づく方法は複数ビームの操縦制御を達成し得ない。さらに、実際の応用では、一般的に多くの散乱境界が存在し、伝送された信号は直接音のほかに多くのマルチパス散乱信号を含む。そのような明瞭なマルチパス散乱の反響環境では、チャネル遅延制御操縦方法に頼るだけでは、良好なビーム指向性制御は達成され得ない。したがって、反響環境におけるデジタル・スピーカ・アレイのビーム指向性制御の問題を考慮すると、各チャネルの伝送信号の振幅および位相を同時に調整し、音場の所望の制御効果を達成するためには、反響対抗能力を有する複雑なビームの形成方法を発見することが必要である。
現在、マルチビットΣ−Δ変調に基づくほとんど全てのデジタル・アレイ・システムは、不整合整形手法に頼って複数チャネル間の周波数応答差を削除するが、チャネルの周波数応答差のそのような補正方法は、小さな周波数応答偏差の補正へのみ適応し、位相偏差を補正する能力はまったく弱い。加えて、不整合整形手法は各チャネルの帯域内周波数応答揺らぎに対して等化効果をもたず、一方では、これらのチャネルの周波数応答揺らぎが復元音場の音色成分変動をもたらし、音場の完全回復を確保することは困難である。従来のデジタル・スピーカ・アレイで採用されるビーム制御方法は、簡単なチャネル遅延制御方法であり、このような方法は、自由音場の理想的環境へのみ適応し、反射または散乱に起因して多くのマルチパス干渉が音場内に出現するとき適切とは言えない。幾つかの応用において、アレイによる複数指向性ビームの生成が必要とされるとき、遅延制御に基づく方法は複数ビームの音場制御効果を達成し得ない。
チャネル等化およびビーム制御における、マルチビットΣ−Δ変調に基づく既存のデジタル・スピーカ・アレイ・システムの欠陥を考えると、周波数帯域平坦性およびビーム指向性に関してΣ−Δ変調に基づくデジタル・スピーカ・アレイ・システムの応用要求を満足させるためには、より効果的なチャネル等化およびビーム制御方法が必要であり、デジタル・スピーカ・アレイ・システム・デバイスにチャネル等化およびビーム制御機能をさらにもたせることが必要である。
チャネル等化における、デジタル・スピーカ・システムの欠陥を克服するため、本発明は、デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法、ならびにチャネル等化およびビーム制御機能を有するデジタル・スピーカ・システム・デバイスを提供する。
上記目的のために、本発明は、デジタル・スピーカ・アレイ・システムのためのチャネル等化およびビーム制御の方法を提供し、該方法は、(1)原信号を、PCM符号化に基づくデジタル信号へ変換するために、デジタル形式を変換するステップと、(2)チャネル等化処理を行うステップと、(3)ビーム形成を制御するステップと、(4)マルチビットΣ−Δ変調を行うステップと、(5)ビット幅Mを有する低ビットPCM符号化信号を、2伝送チャネルに対応するデジタル出力増幅器およびトランスデューサ負荷の単進符号ベクトルへ変換するために、サーモメータ符号変換を行うステップと、(6)サーモメータ符号化ベクトルを再順位づけるために、動的不整合整形処理を行うステップと、(7)デジタル出力増幅器へ送って負荷音を駆動するために、チャネル情報を抽出するステップと、を備える。
さらに、ステップ(1)において、デジタル形式変換は、アナログおよびデジタル信号を対象にすることができる。アナログ信号に対しては、設計されたビット幅およびサンプリング速度のパラメータ要求に関して、該パラメータ要求を満たすPCM符号化信号へ変換される前に、該信号は、アナログ/デジタル変換によって、PCM符号化に基づくデジタル信号へ変換される。デジタル信号に対しては、該信号は、設計されたビット幅およびサンプリング速度のパラメータ要求に関して、該パラメータ要求を満たすPCM符号化信号へ変換される。
好ましくは、ステップ(2)のチャネル等化処理のために、等化器のパラメータは測定方法に従って達成され得る。要素の数をNとし、所望の場所における測定点の数量をMとし、要素が白色雑音信号s(t)を放出するとすれば、要素チャネルから所望の測定場所点へのインパルス応答hi,jは、測定点内の受信信号r(t)を取得することによって計算され得る。ここで、iは第i要素の指数を表し、jは所望の領域における第j測定点の指数を表す。
Figure 2014535205
さらに、ステップ(3)のビーム形成制御のために、ビーム形成器のチャネル加重係数が通常のビーム形成方法によって計算され得る。アレイ要素の数をNとすれば、その空間定義域の操縦ベクトルは次のようになる。
Figure 2014535205
空間定義域の所望のビーム構成は次のようになる。
Figure 2014535205
Figure 2014535205
アレイ加重ベクトルを利用して、アレイの空間定義域放出音響ビームを所望の領域へ操縦することによって、各チャネルの伝送信号が振幅および位相で調整される。
さらに、前記ステップ(4)のマルチビットΣ−Δ変調の処理において、まず、等化処理の後で、オーバサンプリングPCM符号化信号を取得するために、高ビットPCM符号は、設計されたオーバサンプリング因子に従って補間フィルタによって補間フィルタリングされ、システムが可聴帯域における充分に高いSNRを有することを確保するために、可聴帯域幅内の雑音エネルギーが、Σ−Δ変調によって、可聴帯域の外へ押し出される。元の高ビットPCM符号がΣ−Δ変調によって低ビットPCM符号へ変換される間に、PCM符号のビット数は、減少する。
好ましくは、前記ステップ(4)において、マルチビットΣ−Δ変調は、前記雑音エネルギーを可聴帯域の外へ押し出してシステムが可聴帯域における充分に高いSNRを有することを確保するために、さまざまな存在するΣ−Δ変調方法、例えば、高順位単段直列変調方法または多段並列変調方法(カスケード、MASH)を利用することによって、前記補間フィルタから出力されたオーバサンプリング信号に雑音整形処置を行う。
さらに、ステップ(5)において、サーモメータ符号変換は、幅Mを有する低ビットPCM符号化信号を、2伝送チャネルに対応するデジタル出力増幅器およびトランスデューサ負荷の単進符号ベクトルへ変換することである。単進符号ベクトルの各ディジットの符号は、対応するデジタルチャネルへ送られる。各ディジットの符号は、いつでも「0」または「1」の2レベル状態を有し、ここでは、トランスデューサ負荷は、「0」状態でオフにされ、「1」状態でオンにされる。サーモメータ符号化動作は、符号化情報を複数のトランスデューサ負荷チャネルへ割り当て、これによってトランスデューサ負荷を信号符号化フローへ入れて、トランスデューサアレイのデジタル符号化およびデジタルスイッチ制御を達成することである。
さらに、ステップ(6)の動的不整合整形処理は、サーモメータ符号化ベクトルを再順位づけ、単進符号ベクトルのデータ割り振りスキームをさらに最適化し、アレイ要素間の周波数応答差から生じた空間定義域合成信号の非線形高次調波ひずみ成分を削除することである。
さらに、前記ステップ(6)において、帯域内調波ひずみの振幅を低減し、出力を帯域外高周波部分へ押し出すために、動的不整合整形は、さまざまな存在する整形アルゴリズム、例えば、DWA(データ加重平均)、VFMS(ベクトルフィードバック不整合整形)、およびTSMS(ツリー構造不整合整形)のアルゴリズムを利用することによって、アレイ要素間の周波数応答差から生じた非線形調波ひずみ周波数スペクトルを整形し、それにより、帯域内調波ひずみの振幅を低減し、Σ−Δ符号化信号の音質を改善する。
さらに、前記ステップ(7)において、チャネル情報抽出は、各チャネルへの符号化情報分配処理を行い、信号処理において、まず、各チャネルの動的不整合整形器は、再順位づけられた整形ベクトルを取得するために、動的不整合整形の処理を行い、それから、設計されたディジット符号は、或る抽出選択基準に従って、各チャネルの整形ベクトルの2ディジットから選択される。情報の完全な復元を確保するため、1つのチャネルの選択されたディジットの数は、他のチャネルのそれとは異なるべきであり、全ての2チャネルの選択された全てのディジットの数は、ディジット1〜2を完全に含む。
前記チャネル情報抽出における選択処理の間に、通常、ディジット選択は、簡単な規則、例えば、第iチャネルにおいて、第iディジット符号化情報が整形ベクトルから選択されることによって、実行される。チャネルのビットを選択および組み合わせた後、複数アレイ要素チャネルの中で事前に設定された等化およびビーム加重処理が効果的に継続され、これによってデジタルアレイの等化および指向性制御を効果的に実現する方法が提供される。
好ましくは、前記ステップ(7)において、負荷は、複数のスピーカユニットを含むデジタル・スピーカ・アレイ、複数の音声コイル巻き線を有するスピーカユニット、または代わりに、複数の音声コイルの複数のスピーカユニットを含むデジタル・スピーカ・アレイであってもよい。
また、本発明は、チャネル等化およびビーム制御機能を有するデジタル・スピーカ・アレイ・システムを提供し、該システムは、システムによって再生される情報である音源と、入力信号を、ビット幅Nおよびサンプリング速度fを有する高ビットPCM符号化信号へ変換するために、前記音源の出力端へ電気的に結合されたデジタル変換器と、各チャネルの周波数応答上で逆フィルタリング等化を行い、チャネルの帯域内周波数応答揺らぎを削除するために、前記デジタル変換器の出力端へ電気的に結合されたチャネル等化器と、スピーカアレイのビームの空間定義域放出整形を制御し、音場分布特性、たとえば3Dステレオ音場、仮想環境音場、および指向性音場などを創出し、特殊音響効果の再生目的を達成するために、前記チャネル等化器の出力端へ電気的に結合されたビーム形成器と、オーバサンプリング補間フィルタリングおよびマルチビットΣ−Δ符号変調を達成し、低減されたビット幅を有する低ビットPCM符号化信号を取得するために、前記ビーム形成器の出力端へ電気的に結合されたΣ−Δ変調器と、低ビットPCM符号化信号を、システムのデジタルチャネルと等しい数量である単進ベクトルへ変換し、これによってチャネルスイッチの制御ベクトルをデジタル化するために、前記Σ−Δ変調器の出力端へ電気的に結合されたサーモメータ符号器と、アレイ要素間の周波数応答差から生じた空間定義域合成信号の非線形調波ひずみ成分を削除し、帯域内調波ひずみ成分の振幅を低減し、調波周波数成分の出力を帯域外高周波数部分へ押し出し、ゆえに帯域内調波ひずみの振幅を低減し、Σ−Δ符号化信号の音質を改善するために、前記サーモメータ符号器の出力端へ電気的に結合された動的不整合整形器と、各チャネルの整形ベクトルから或るデジタル符号化情報を抽出し、チャネルのオン/オフ制御情報を制御するために、前記動的不整合整形器へ電気的に結合された抽出選択器と、各チャネルの制御符号化信号の出力を増幅し、後段階のデジタル負荷のオン/オフ行動を駆動するために、前記抽出選択器の出力端へ電気的に結合された多チャネルデジタル増幅器と、電気/音響変換を達成し、スイッチのデジタル電気信号をアナログ形式の空気振動信号へ変換するために、前記多チャネルデジタル増幅器の出力端へ電気的に結合されたデジタルアレイ負荷と、を備える。
さらに、音源は、さまざまなアナログデバイスによって生成されたアナログ信号、またはさまざまなデジタルデバイスによって生成されたデジタル符号化信号であり得る。
好ましくは、既存のデジタルインタフェース形式と互換性があり得るデジタル変換器は、アナログ/デジタル変換器、たとえばUSB、LAN、COMなどのデジタルインタフェース回路、およびインタフェース・プロトコル・プログラムを含み得る。インタフェース回路およびプロトコルプログラムを介して、デジタル・スピーカ・アレイ・システムは、他のデバイスへ柔軟および都合よく相互に作用して情報を伝送し得る。その間に、原入力アナログ信号またはデジタル音源信号は、デジタル変換器の処理によって、ビット幅Nおよびサンプリング速度fを有する高ビットPCM符号化信号へ変換される。
さらに、前記チャネル等化器は、逆フィルタリングの応答パラメータに関して、時間定義域または周波数定義域において等化処理を行い、各チャネルの周波数応答差が補正されながら、各チャネルの帯域内周波数応答揺らぎを削除し、それにより、各チャネルの周波数応答差が整合性の方向に徐々に向かわされる。
さらに、前記ビーム形成器は、振幅および位相情報を調整するために、設計された加重ベクトルを利用することによって、各チャネルの伝送された信号へ加重処理を実行し、それにより、複雑な環境におけるデジタルアレイの空間定義域パターンを、所望の設計された定義域に適合させる。
好ましくは、前記Σ−Δ変調器の信号処理においては、まず、ビット幅Nおよびサンプリング速度fを有するPCM符号化信号は、ビット幅Nおよびサンプリング速度mを有するPCM符号化信号を取得するために、オーバサンプリング因子mに従ってオーバサンプリング補間フィルタリングへ供され、それから、ビット幅Nを有するオーバサンプリングPCM符号化信号は、ビット幅M(M<N)を有する低ビットPCM符号化信号へ変換され、それにより、PCM符号化信号のビット幅が減少する。
さらに、前記Σ−Δ変調器は、さまざまな存在するΣ−Δ変調器の信号処理構造、例えば、高順位単段直列変調器構造または多段並列変調器構造に関して、補間フィルタから出力されたオーバサンプリング信号上で雑音整形処理を行い、システムが帯域における充分に高いSNRを有することを確保するために、帯域外へ雑音エネルギーを押し出してもよい。
好ましくは、前記サーモメータ符号器は、ビット幅Mを有する低ビットPCM符号化信号を、2チャネルに対応するデジタル増幅器およびトランスデューサ負荷の単進符号信号ベクトルへ変換するために、使用される。単進符号ベクトルの各ディジットの符号情報は、トランスデューサ負荷を信号符号化フローの中に入れてトランスデューサ負荷に対してデジタル符号化およびデジタルスイッチ制御を達成するために、対応するデジタルチャネルへ割り当てられる。
さらに、前記動的不整合整形器(7)は、アレイ要素間の周波数応答差から生じた非線形調波ひずみスペクトルを整形するために、さまざまな存在する整形アルゴリズム、例えば、DWA(データ加重平均)、VFMS(ベクトルフィードバック不整合整形)、およびTSMS(ツリー構造不整合整形)のアルゴリズムを利用し、帯域内調波ひずみ成分の振幅を低減して、その出力を帯域外高周波部分へ押し出し、ゆえに帯域内調波ひずみの振幅を低減し、Σ−Δ符号化信号の音質を改善する。
好ましくは、前記抽出選択器は、後段階のトランスデューサ負荷のオン/オフ行動を制御するために、或る抽出規則に従って、2デジタルチャネルの各チャネルの整形ベクトルから、1つのディジットの情報を、対応するチャネルの出力符号化情報として抽出する。抽出選択器のビット抽出および併合操作の後、原複数チャネルの等化器応答およびチャネル指向性加重ベクトルの操作が、効果的に達成され、これは、デジタルアレイの周波数応答平坦性およびビーム方向の制御可能性を確保する。
さらに、前記多チャネルデジタル出力増幅器は、前記抽出選択器から出力されたスイッチ信号を、フルブリッジ出力増幅回路のMOSFET格子端へ送る。電源から負荷への回路のオン/オフ状態は、MOSFETのオン/オフ状況の制御によって制御され得る。
さらに、前記デジタルアレイ負荷は、複数のスピーカユニットまたは複数の音声コイルのスピーカユニットを備えるデジタルアレイ、または代わりに、複数の音声コイルのスピーカを備えるスピーカアレイであってもよい。デジタル負荷の各デジタルチャネルは、1つまたは複数のスピーカユニット、または、1つまたは複数の音声コイルを備えてもよく、または代わりに、複数の音声コイルおよび複数のスピーカユニットを備えてもよい。前記デジタルアレイ負荷のアレイ構成は、さまざまなアレイ構成を形成するために、トランスデューサユニットの数量および実際の応用要求に従って配列されてもよい。
本発明は、先行技術に優る次の利点を有する。
A.本発明は、全信号伝送リンクの全デジタル化を達成し、本発明のシステムの全体は、デジタルデバイスからなり、ゆえに、集積回路の設計を高度に促進し、本発明は、システムの稼働安定性を改善し、ならびにシステムのワット損、体積、および重量を減少する。さらに、本発明で提供されるデジタル・スピーカ・アレイ・システムは、他のデジタル・システム・デバイスとのデータ交換を柔軟および便利に達成し、より良好にデジタル化開発要求へ適応し得る。
B.本発明で採用されるマルチビットΣ−Δ変調は、雑音整形によって雑音出力を帯域外高周波領域へ押し出し、これによって帯域内高SNRの要求を確保する。この変調手法のハードウェア実現回路は、簡単および低価格であり、回路要素の製造プロセスで引き起こされるパラメータ偏差に対して卓越した電磁波耐性を有する。
C.本発明の全デジタルシステムは、大きな干渉対抗能力を有し、複雑な電磁干渉環境で安定に働き得る。
D.本発明で利用される動的不整合整形アルゴリズムは、アレイ要素間の周波数応答差から生じた非線形調波ひずみの振幅を効果的に削除し、システムの音質を改善し得、それゆえに、本発明のシステムは、トランスデューサユニット間の周波数応答偏差に対する卓越した電磁波耐性を有する。
E.本発明で応用されるサーモメータ符号化方法は、対応する単進符号信号を各トランスデューサユニットへ割り振り、各スピーカユニット(または各音声コイル)がオン/オフ状況で働くようにし、このようなオン/オフ交替稼働状況は、各スピーカユニット(または各音声コイル)の過負荷ひずみ現象を回避し、これによって各スピーカユニット(または各音声コイル)の寿命を延長し得る。さらに、トランスデューサは、より高い電気/音響変換効率を達成し、オン/オフ稼働方法を利用することによって、より少ない熱を生成し得る。
F.本発明で応用されるデジタル出力増幅回路は、増幅されたスイッチ信号をスピーカへ送り、さらにスピーカのオン/オフ行動を制御し、大きな体積および高価格のインダクタおよびキャパシタは、アナログ低域処理のためにデジタル出力増幅器の後段階の回路に付加されることはなく、ゆえに、システムの体積およびコストは減少される。さらに、容量特性を有する圧電トランスデューサ負荷の場合、一般的にインピーダンス整合用のインダクタを付加して圧電スピーカの出力音響電力を増加することが必要であり、デジタル信号をトランスデューサ端へ適用するインピーダンス整合効果は、アナログ信号をトランスデューサ端へ適用する整合効果よりも優れている。
G.本発明で利用されるサーモメータ符号化スキームは、アレイ要素の各集合の割り振られた単進符号信号が、原音源信号の部分情報のみを含むようにし、ゆえに、音源情報は、アレイ要素の単一の集合からの放出された情報に頼るだけでは完全に復元されず、それゆえに音源情報の完全な復元は、アレイ要素の全集合の空間定義域放出音場の合成効果を組み合わせることによってのみ達成され得る。さらに、上記の組み合わせ方法によって取得された復元情報は空間定義域指向性を有し、またアレイの対称軸で最大のSNRを有し、SNRは軸への距離が増加するにつれて減少する。
H.本発明のチャネル等化方法は、帯域内周波数応答を平坦に保ち、チャネル間の周波数応答差を補正し得、これは、システムによって復元された音源信号スペクトルおよび原音源信号の実スペクトルが徐々に整合性へ向かうようにし、これによってデジタル再生システムが原音源の音場効果を真に再現することを確保する。その一方で、この方法から生じる各チャネルの帯域内周波数応答の平坦性およびチャネル間の帯域内周波数応答の整合性は、さまざまな自己適応アルゴリズムの一層良好な安定性、一層高い収束速度、および一層良好なロバスト性に好都合なサポートを提供する。
I.本発明で提供されるデータ抽出選択に基づくチャネル等化方法は、各チャネルの周波数応答揺らぎを効率的に抑制し、デジタルシステムの音場の復元品質を改善し、ならびにチャネル間の大きな周波数応答差を削除し、それゆえに、チャネル間の周波数応答差は、多チャネル等化処理の後で大きく補償され、少数の残余偏差が残るだけであり、一方、これらの残余偏差は不整合整形アルゴリズムに頼ることによってさらに効率的に補正され、これは、少数の偏差を削除する不整合整形アルゴリズムの能力が完全に発揮され得るようにする。アレイ要素の周波数応答差は、チャネル等化処理を介して効率的に補正され、これはアレイ要素チャネルのコヒーレント累積に基づくさまざまなアレイビーム制御アルゴリズムが効率的に働き得ることを確保する。データ抽出選択に基づくそのようなデジタル・アレイ・ビーム形成方法は、複雑な環境で空間音場を制御するデジタルアレイの能力を効率的に改善し得る。
J.本発明で応用されるビーム制御方法は、抽出選択の情報組み合わせの方法を介して、デジタル・スピーカ・アレイが複雑な環境で一層良好なビーム指向性を有することを確保し、通常のビーム制御方法は、デジタルアレイのビーム制御で効率的に応用され得、これは、実際の環境、たとえば3Dステレオ音場、仮想環境音場、および指向性音場などで特殊音場効果を生成する有効な実現方法を提供する。
K.本発明で採用されるデータ抽出選択方法では、PCM符号化形式に基づく従来のチャネル等化およびビーム形成アルゴリズムが、マルチビットΣ−Δ変調に基づくデジタル・アレイ・システム内で直接適用され得、これによって、従来のチャネル等化およびビーム制御アルゴリズムと、マルチビットΣ−Δ変調に基づくデジタル・アレイ・システムとの間に、橋渡しが創出され、Σ−Δ変調に基づくアレイシステム内で従来のアルゴリズムがチャネル等化およびビーム操縦の役割を継続して効果的に果たし得ることが確保される。
図1は、本発明に係るチャネル等化およびビーム制御機能を有するデジタル・スピーカ・システム・デバイスのコンポーネントモジュールを示すブロック図である。 図2は、本発明に係るチャネル等化のパラメータ推定処理におけるチャネルパラメータ測定を示す略図である。 図3は、本発明に係るビーム制御処理におけるチャネル加重ベクトル負荷を示す略図である。 図4は、本発明に係るチャネル情報抽出で利用される抽出規則を示す略図である。 図5は、本発明の一実施形態に係るチャネル等化処理で利用される逆フィルタの振幅スペクトルを示すグラフである。 図6は、本発明の一実施形態に係るΣ−Δ変調器によって利用される第5順位CIFB変調構造の信号処理を示すフローチャートである。 図7は、本発明の一実施形態に係るサーモメータ符号化ベクトルのオンオフ制御を示す略図である。 図8は、本発明の一実施形態に係る動的不整合整形器によって利用されるVFMS不整合整形アルゴリズムを示すフローチャートである。 図9は、本発明の一実施形態に係る抽出選択器によって利用される抽出規則を示す略図である。 図10は、本発明の一実施形態に係る8要素スピーカアレイの配列を示す略図である。 図11は、本発明の一実施形態に係るスピーカアレイおよびマイクロホンユニットの位置構成を示す略図である。 図12は、本発明の一実施形態に係る、アレイ軸から1メートル離れた地点での、等化の前後のシステム周波数応答の振幅スペクトルを示す比較図である。 図13は、本発明の一実施形態に係る、−60度、0度、および+30度の3つの所定方向で生成されたビームパターンを示すグラフである。 図14は、本発明の一実施形態に係るΣ−Δ変調器によって利用されるパラメータの値を示す。
以下に、添付の図面を参照して本発明を説明する。しかしながら、図面は本発明の典型的な実施形態を示すだけで、本発明の範囲を限定すると考えてはならないことに注意すべきであり、すなわち、本発明は、他の同等に効果的な実施形態を採用し得るからである。
本発明では、まず、可聴周波数範囲の音源信号が、デジタル変換インタフェースによって、ビット幅Nを有する高ビットPCM符号化信号へ変換される。次いで、チャネル等化手法を利用し、各チャネルのデジタル音源信号を逆フィルタリングすることによって、各チャネルの帯域内周波数応答揺らぎが削除され、同時にチャネル間の周波数応答差が削除される。
続いて、ビーム形成手法により等化後の各チャネルの信号が加重処理へ供され、これによって、アレイは所望の空間方向へ指向される。次いで、マルチビットΣ−Δ変調手法によって、ビット幅Nを有する高ビットPCM符号化信号が、ビット幅M(M<N)を有する低ビットPCM符号化信号へ変換される。次に、サーモメータ符号化方法によって、ビット幅Mを有するPCM符号化信号が、ビット幅2を有するサーモメータ符号化信号へ変換され、これによって、トランスデューサアレイの2集合へ割り当てられる単進符号信号が形成される。次いで、アレイの各集合の周波数応答差から生じた高次調波成分を削除し、システムの全調波ひずみを低減し、ならびにシステムの音質を改善するため、アレイの各集合へ割り振られた単進符号信号が動的不整合整形へ供される。次いで、1つのディジットのビット情報が、各チャネルの不整合整形ベクトルから抽出され、チャネルのデジタル増幅器へ送られ、出力信号を形成してチャネルのデジタル負荷のオン/オフ行動を駆動し、全チャネルのデジタル負荷によって放出された空間音場は、所定の空間領域での重ね合わせの後に原信号を復元する。
図1で示されるように、本発明に係るチャネル等化およびビーム制御機能を有するデジタル・スピーカ・システム・デバイスが提供され、その本体は、音源1、デジタル変換器2、チャネル等化器3、ビーム形成器4、Σ−Δ変調器5、サーモメータ符号器6、動的不整合整形器7、抽出選択器8、多チャネルデジタル出力増幅器9、およびデジタルアレイ負荷10などを備える。ここで音源1は、PCのハードディスク内に蓄積されたMP3形式の音源ファイルを使用し、USBポートを介してデジタル形式で出力し、MP3プレーヤ内に蓄積された音源ファイルを使用してアナログ形式で出力し、さらに、信号源によって生成された可聴周波数範囲のテスト信号を使用し、同じくアナログ形式で出力し得る。
デジタル変換器2は、音源1の出力端へ電気的に結合され、デジタル入力形式およびアナログ入力形式の2つの入力インタフェースを含む。デジタル入力形式の場合、テキサス・インスツルメンツ社(Ti Company)のタイプPCM2706のUSBインタフェースチップを利用することによって、PC内に蓄積されたMP3形式のファイルが、ビット幅16およびサンプリング速度44.1KHzを用いて、I2SインタフェースプロトコルによりUSBポートを介してタイプCyclone III EP3C80F484C8のFPGAチップの中へリアルタイムで読み込まれ得る。アナログ入力形式の場合、アナログ・デバイセズ社(Analog Devices Company)のタイプAD1877のアナログ/デジタル変換チップを利用することによって、アナログ音源信号が、ビット幅16およびサンプリング速度44.1KHzを有するPCM符号化信号へ変換され、さらにI2SインタフェースプロトコルによりFPGAチップの中へリアルタイムで読み込まれ得る。
チャネル等化器3は、デジタル変換器2の出力端へ電気的に結合され、測定によって各チャネルの逆フィルタのパラメータを計算する。チャネル1〜8の逆フィルタの振幅スペクトルグラフは、図5で示され、逆フィルタのパラメータに関してチャネル上で等化処理を行うことによって、ビット幅16およびサンプリング速度44.1KHzを有するPCM信号が、等化後に取得される。
ビーム形成器4は、チャネル等化器3の出力端へ電気的に結合され、所望のビームパターンに従って8要素アレイの加重ベクトルを計算し、次いで乗算器ユニットによって、計算された加重ベクトルを各アレイチャネルの伝送信号、すなわち等化後のビット幅16およびサンプリング速度44.1KHzを有するPCM信号へ負荷し、これによって方位加重調整を有する多チャネルPCM信号を形成する。
Σ−Δ変調器5は、ビーム形成器4の出力端へ電気的に結合され、44.1KHzおよび16ビットのPCM符号化信号は、FPGAチップ内で3レベルのアップサンプリング補間を用いて処理され、ここでは、第1レベルの補間因子は4で、サンプリング速度は176.4KHzであり、第2レベルの補間因子は4で、サンプリング速度は705.6KHzであり、一方、第3レベルの補間因子は2で、サンプリング速度はさらに1411.2KHzへ増加する。
32回の補間の後、44.1KHzおよび16ビットの原信号は、1.4112MHzおよび16ビットのオーバサンプリングPCM符号化信号へ変換される。次いで、1.4112MHzおよび16ビットのオーバサンプリングPCM符号化信号は、3ビットΣ−Δ変調によって1.4112MHzおよび3ビットのPCMb符号化信号へ変換される。図6で示されるように、この実施形態において、Σ−Δ変調器5は、第5順位CIFB(分散フィードバックを有するカスケード積分器)トポロジ構成を提供される。Σ−Δ変調器5の係数は、表1で示される。ハードウェアリソースを節約し、実現コストを低減するため、定数乗法操作は、一般的に、FPGAチップ内のシフト加法操作によって代替され、Σ−Δ変調器のパラメータはCSD符号で表現される。
サーモメータ符号器6は、Σ−Δ変調器5の出力端へ電気的に結合され、サーモメータ符号化によって、1.4112MHzおよび3ビットのΣ−Δ変調信号を、1.4112MHzおよび8ビットの単進符号へ変換する。図7で示されるように、3ビットのPCM符号が「001」であり、変換されたサーモメータ符号が「00000001」であるとき、符号は、トランスデューサアレイの1つの要素がオン状況にあり他の7つの要素がオフ状況にあることを制御するために使用される。一方、3ビットのPCM符号が「100」であり、変換されたサーモメータ符号が「00001111」であるとき、符号は、トランスデューサアレイの4つの要素がオン状況にあり他の4つの要素がオフ状況にあることを制御するために使用される。3ビットのPCM符号が「111」であり、変換されたサーモメータ符号が「01111111」であるとき、符号は、トランスデューサアレイの7つの要素がオン状況にあり残余の1つの要素だけがオフ状況にあることを制御するために使用される。
動的不整合整形器7は、サーモメータ符号器6の出力端へ電気的に結合され、アレイ要素間の周波数差から生じた非線形調波ひずみ成分を削除するために使用される。動的不整合整形器7は、最少非線形調波ひずみ成分の最適規準に従って8ビットサーモメータ符号を再順位づけ、これによって8つのトランスデューサへの符号割り当て方法を決定する。
図7で示されるように、サーモメータ符号が「00001111」であるとき、動的不整合整形器7の再順位づけの後、トランスデューサ要素1、4、5、7が符号「1」を割り振られ、トランスデューサ要素2、3、6、8が符号「0」を割り振られることが決定され、ゆえに、この割り当て方法によって、トランスデューサ要素1、4、5、7はオンになり、トランスデューサ要素2、3、6、8はオフになる。符号割り振り方法に従ってトランスデューサアレイのオン/オフ制御を行うことは、アレイによって放出された音場の合成信号が最少の調波ひずみ成分を含むようにする。この実施形態において、動的不整合整形器はVFMS(ベクトルフィードバック不整合整形)アルゴリズムを利用し、信号処理のプロセスは図8で示され、ここでは、太い線はN次元ベクトルを表し、細い線はスカラーを表し、入力信号Vは、Σ−Δ変調器およびサーモメータ符号器によって処理されたN次元符号ベクトルであり、この符号ベクトルは、vの「1」状況およびN−vの「0」状況を含み、出力信号は、不整合整形器によって処理されたN次元ベクトルであり、出力ベクトルの「1」状況および「0」状況の順位は不整合整形処理によって調整されるが、「1」状況および「0」状況の数は依然として残留し、さらに、ベクトルの各要素は、その状況に従ってアレイ内のアレイ要素の対応するチャネルのオン/オフ行動を制御する。ユニット選択モジュールは、或る選択スキームを介して、周波数差から生じた誤差が周波数スペクトル上で確実に良好な整形効果を有するようにし、ここで−min()モジュールは、N次元ベクトルから最小数値の要素を選択して、それを負にすることを表し、−min()モジュール操作によって取得されたスカラー要素はuであり、mtfは不整合整形関数を表し、その一般形式は(1−z−1である。Mは順位であり、この実施形態で利用される不整合整形器の順位は2順位である。図8の信号処理のフローチャートに従って、不整合整形処理後の出力ベクトルの式は、次のように取得される。
Figure 2014535205

ここで、se=sv−yである。N次元ベクトルeがアレイユニット間の不整合誤差を表し、eの全要素の合計が0であるとすれば、スピーカアレイによって任意の空間位置で各アレイの出力音場の重ね合わせにより取得されるアレイの出力音響信号の式は、次のようになる。
Figure 2014535205
アレイの出力音響信号の式から、整形関数mtfはアレイ誤差eを整形し、より良好な不整合整形関数が選択されるとき、アレイ誤差e上で、より良好な整形効果が達成され得ることが分かる。FPGAチップ内で、原Σ−Δ符号化信号の中に存在する調波成分は帯域外高周波部分へ押し出され、これによって帯域内音源信号の音質が改善される。
抽出選択器8は、動的不整合整形器7の出力端へ電気的に結合され、各チャネルの整形ベクトルからディジットを抽出して出力増幅器およびデジタル負荷の後段階の回路へ送るために使用される。図9で示されるように、各チャネルは、不整合整形処理によって8要素の1つの単進符号ベクトルを生成し、抽出選択器7は、第iチャネルが整形ベクトルの第iディジットを抽出する規則に従って、各チャネルのために対応するディジットの単進符号信号を後段階のデジタル出力増幅器の入力信号として抽出する。
多チャネルデジタル出力増幅器9は、抽出選択器8の出力端へ電気的に結合される。この実施形態において、デジタル出力増幅器チップは、テキサス・インスツルメンツ社からのタイプTAS5121のデジタル出力増幅器チップであり、チップの応答時間は100nsの桁であり、1.4112MHzの単進符号フロー信号の無ひずみ応答が達成され得る。差分入力形式が出力増幅器の入力端で使用され、動的不整合整形器からの出力データの1つのパスは直接出力され、他のパスは反転して出力され、ゆえに、差分信号の2つのパスが形成され、これらのパスは、TAS5121チップの差分出力端へ送られる。差分出力形式が出力増幅器の出力端で使用されるが、差分信号の2つのパスは、単一トランスデューサのアレイ要素チャネルの正および負のリード線へ適用される。
デジタルアレイ負荷10は、多チャネルデジタル出力増幅器9の出力端へ電気的に結合される。この実施形態において、デジタル負荷ユニットは、ヒュイウェイ社(Hui Wei Company)によって製造されるタイプB2Sの全周波数帯域スピーカユニットであり、ユニットの周波数帯域範囲は270Hz〜20KHzであり、感度(2.83V/1m)は79dBであり、最大電力は2Wであり、定格インピーダンスは8オームである。図10で示されるように、デジタル負荷8は8要素のスピーカアレイであり、アレイは線形アレイ方法に従って配列された8つの前記スピーカユニットを備え、アレイ要素は4cm間隔であり、各スピーカユニットはデジタルチャネルに対応する。
自由空間において、スピーカアレイおよびマイクロホンユニットの配列は、シミュレーション実験方法に従って図11で示されるものとし、100Hz〜20KHzの掃引信号がデジタル・スピーカ・システム・デバイスへ入力されるものとすれば、スピーカアレイの軸から1メートル離れた地点で、システムの周波数応答特性が観測される。図12は、等化器の適用前後の、軸から1メートル離れた地点におけるシステム周波数応答の振幅スペクトル比較図を示し、システム周波数応答の振幅スペクトルは、等化器の適用前で、周波数範囲2KHz〜20KHzにおける明白な下降傾向を有し、システム周波数応答の振幅スペクトルは65dBから45dBへ減少し、ゆえに、ここでは20dBの振幅差が存在する。等化器の適用後、システム周波数応答の振幅スペクトルは、周波数範囲2KHz〜20KHzで約57dBを依然維持して平坦なスペクトル特性を提示し、これによってシステムの合成信号の実際の復元が確保される。等化の結果から、抽出選択の多チャネルビット情報合成方法を利用することによって、各チャネルの等化器応答情報が効果的に継続され、これによって各チャネルの周波数応答の平坦性が確保され得ることが分かる。
チャネル等化に基づくデジタル・スピーカ・アレイ・システムは、各チャネルの可聴帯域における周波数応答揺らぎを効果的に削除してチャネル間の周波数応答差を補正し、ゆえに、システムが全く平坦な時間定義域周波数特性を有することを確保し、これによって全チャネルの空間合成信号のスペクトルが原音源信号の実スペクトルを復元し、デジタル再生システムが原音源の音場効果を実際に再現し得ることを確保する。加えて、各チャネルの可聴帯域内周波数応答揺らぎを削除することは、さまざまな自己適応空間定義域アレイビーム形成アルゴリズムが、より高い収束速度およびより良好なロバスト性を有することを確保し得る。
自由空間では、図11で示されるスピーカアレイ配列方法に関して、アレイビーム制御のシミュレーション実験は、−60度、0度、および+30度の3つの所定のビーム主ローブ方向に従って実行され得、3つの場合のアレイロード幅は、全て20度に設定される。3つの所定方向におけるアレイの空間パターンは、図13で示され、これらのグラフから、アレイのビーム主ローブは所定方向を指し示し、ビーム幅は所望の要求に到達し、主ローブとサイドローブとの間の振幅差分値は15dBに達することが分かる。これらのアレイビーム制御の結果から、抽出選択の多チャネル情報合成方法を利用することは、ビーム形成器によって各チャネル上に負荷された振幅および位相調整情報を効果的に継続し、これによってアレイのビーム指向性制御を達成し得ることが知られる。この抽出選択に基づくデジタル・アレイ・ビーム形成方法は、複雑な環境におけるデジタルアレイの空間指向能力を向上し、デジタルアレイの特殊音場、たとえば、3Dステレオ音場、仮想環境音場、および指向性音場などの効果的生成のために信頼性のある実現方法を提供し得る。
上記の実施形態は、本発明の技術的スキームの例示を意図するだけで、限定を意図するものではないことを述べておかねばならない。本発明は実施形態を参照して詳細に説明されたが、本発明の技術的スキームの変形または均等置換は、本発明の趣旨および範囲から逸脱することなく本発明の範囲内に包含されることを当業者は理解しなければならない。

Claims (25)

  1. デジタル・スピーカ・アレイ・システムのためのチャネル等化およびビーム制御の方法であって、
    (1)原信号を、PCM符号化に基づくデジタル信号へ変換するために、デジタル形式を変換するステップと、
    (2)チャネル等化処理を行うステップと、
    (3)ビーム形成を制御するステップと、
    (4)マルチビットΣ−Δ変調を行うステップと、
    (5)ビット幅Mを有する低ビットPCM符号化信号を、2伝送チャネルに対応するデジタル出力増幅器およびトランスデューサ負荷の単進符号ベクトルへ変換するために、サーモメータ符号変換を行うステップと、
    (6)サーモメータ符号化ベクトルを再順位づけるために、動的不整合整形処理を行うステップと、
    (7)デジタル出力増幅器へ送って負荷音を駆動するために、チャネル情報を抽出するステップと、
    を備える方法。
  2. 前記ステップ(1)において、変換される前記原信号は、アナログ信号であり、
    前記ステップ(1)において、該アナログ信号は、まず、アナログ/デジタル変換によって、PCM符号化に基づくデジタル信号へ変換され、次いで、設計されたビット幅およびサンプリング速度のパラメータ要求に関して、該パラメータ要求を満たすPCM符号化信号へ変換される、請求項1に記載の方法。
  3. 前記ステップ(1)において、変換される前記原信号は、デジタル信号であり、
    前記ステップ(1)において、該デジタル信号は、設計されたビット幅およびサンプリング速度のパラメータ要求に関して、PCM符号化信号へ変換される、請求項1に記載の方法。
  4. 前記ステップ(2)において、チャネル等化は、測定および計算によって取得されたパラメータを用いて等化器によって処理される、請求項1に記載の方法。
  5. 前記ステップ(3)において、ビーム形成は、以下の式(1)を利用する通常のビーム形成方法によって計算されたチャネル加重係数を用いて、ビーム形成器によって制御される、請求項1に記載の方法。
    Figure 2014535205
  6. 前記ステップ(4)において、マルチビットΣ−Δ変調の処理は、オーバサンプリングPCM符号化信号を取得するために、等化処理の後で、設計されたオーバサンプリング因子に従って高ビットPCM符号を補間フィルタによって補間フィルタリングし、それから、可聴帯域幅内の雑音エネルギーを可聴帯域の外へ押し出すために、Σ−Δ変調を行い、これによって、前記高ビットPCM符号を低ビットPCM符号へ変換する、請求項1に記載の方法。
  7. 前記ステップ(4)において、マルチビットΣ−Δ変調は、前記雑音エネルギーを前記可聴帯域の外へ押し出すために、高順位単段直列変調方法または多段並列変調方法のいずれかを利用することによって、前記補間フィルタから出力されたオーバサンプリング信号に雑音整形処置を適用する、請求項6に記載の方法。
  8. 前記ステップ(5)において、単進符号ベクトルの各ディジットの符号は、対応するデジタルチャネルへ送られ、各ディジットの符号は、いつでも「0」または「1」の2レベル状態のみを有し、トランスデューサ負荷は、「0」状態のときオフにされ、「1」状態のときオンにされる、請求項1に記載の方法。
  9. 前記ステップ(6)の動的不整合整形処理において、アレイ要素間の周波数応答差から生じた非線形調波ひずみ周波数スペクトルを整形し、帯域内調波ひずみ成分の振幅を低減して出力を帯域外高周波部分へ押し出すために、DWA(データ加重平均)、VFMS(ベクトルフィードバック不整合整形)、および/またはTSMS(ツリー構造不整合整形)を含む整形アルゴリズムが利用される、請求項1に記載の方法。
  10. 前記ステップ(7)において、チャネル情報抽出は、各チャネルへの符号化情報分配を行い、信号処理において、まず、各チャネルの動的不整合整形器は、再順位づけられた整形ベクトルを取得するために、動的不整合整形を行い、それから、設計されたディジット符号は、或る抽出選択規則に従って、各チャネルの整形ベクトルの2ディジットから、チャネルの出力符号として選択され、情報が完全に復元されることを確保するため、1つのチャネルの選択されたディジットの数は、他のチャネルのそれとは異なり、全ての2チャネルの選択された全てのディジットの数は、ディジット順位1〜2を完全に含む、請求項1に記載の方法。
  11. 前記チャネル情報抽出の処理において、ディジット選択は、第iチャネルが第iディジット符号化情報を整形ベクトルから選択する簡単な規則に従って、実行される、請求項10に記載の方法。
  12. 前記ステップ(7)において、駆動される負荷は、複数のスピーカユニットを含むデジタル・スピーカ・アレイ、複数の音声コイル巻き線を有するスピーカユニット、または複数の音声コイルの複数のスピーカユニットを含むデジタル・スピーカ・アレイである、請求項1に記載の方法。
  13. チャネル等化およびビーム制御機能を有するデジタル・スピーカ・アレイ・システムであって、
    システムによって再生される情報である音源(1)と、
    入力信号を、ビット幅Nおよびサンプリング速度fを有する高ビットPCM符号化信号へ変換するために、前記音源(1)の出力端へ電気的に結合されたデジタル変換器(2)と、
    各チャネルの周波数応答上で逆フィルタリング等化を行い、チャネルの帯域内周波数応答揺らぎを削除するために、前記デジタル変換器(2)の出力端へ電気的に結合されたチャネル等化器(3)と、
    スピーカアレイのビームの空間定義域放出整形を制御し、音場分布特性、たとえば3Dステレオ音場、仮想環境音場、および指向性音場などを創出し、特殊音響効果の再生目的を達成するために、前記チャネル等化器(3)の出力端へ電気的に結合されたビーム形成器(4)と、
    オーバサンプリング補間フィルタリングおよびマルチビットΣ−Δ符号変調を達成し、低減されたビット幅を有する低ビットPCM符号化信号を取得するために、前記ビーム形成器(4)の出力端へ電気的に結合されたΣ−Δ変調器(5)と、
    低ビットPCM符号化信号を、システムのデジタルチャネルと等しい数量である単進符号ベクトルへ変換し、これによってチャネルスイッチの制御ベクトルをデジタル化するために、前記Σ−Δ変調器(5)の出力端へ電気的に結合されたサーモメータ符号器(6)と、
    アレイ要素間の周波数応答差から生じた空間定義域合成信号の非線形調波ひずみ成分を削除し、帯域内調波ひずみ成分の振幅を低減し、調波周波数成分の出力を帯域外高周波数部分へ押し出し、ゆえに帯域内調波ひずみの振幅を低減し、Σ−Δ符号化信号の音質を改善するために、前記サーモメータ符号器(6)の出力端へ電気的に結合された動的不整合整形器(7)と、
    各チャネルの整形ベクトルから或るデジタル符号化情報を抽出し、チャネルのオン/オフ行動情報を制御するために、前記動的不整合整形器(7)へ電気的に結合された抽出選択器(8)と、
    各チャネルの制御符号化信号の出力を増幅し、後段階のデジタル負荷のオン/オフ行動を駆動するために、前記抽出選択器(8)へ電気的に結合された多チャネルデジタル増幅器(9)と、
    電気/音響変換を達成し、スイッチのデジタル電気信号をアナログ形式の空気振動信号へ変換するために、前記多チャネルデジタル増幅器(9)の出力端へ電気的に結合されたデジタルアレイ負荷(10)と、
    を備えるシステム。
  14. 前記音源(1)は、アナログ信号またはデジタル符号化信号を備える、請求項13に記載のシステム。
  15. 前記デジタル変換器(2)は、アナログ/デジタル変換器、デジタルインタフェース回路、たとえばUSB、LAN、COMなど、およびインタフェース・プロトコル・プログラムを含む、請求項13に記載のシステム。
  16. 前記チャネル等化器(3)は、各チャネルの帯域内周波数応答揺らぎを削除してチャネルの周波数応答差を補正するため、逆フィルタリングの応答パラメータに関して、時間定義域または周波数定義域において等化処理を行う、請求項13に記載のシステム。
  17. 前記ビーム形成器(4)は、振幅および位相情報を調整するために、設計された加重ベクトルを利用することによって、各チャネルの伝送された信号へ加重処理を実行する、請求項13に記載のシステム。
  18. 前記Σ−Δ変調器(5)の信号処理においては、まず、ビット幅Nおよびサンプリング速度fを有するPCM符号化信号は、ビット幅Nおよびサンプリング速度mを有するPCM符号化信号を取得するために、オーバサンプリング因子mに従ってオーバサンプリング補間フィルタリングへ供され、それから、ビット幅Nを有するPCM符号化信号は、ビット幅M(M<N)を有する低ビットPCM符号化信号へ変換される、請求項13に記載のシステム。
  19. 前記Σ−Δ変調器(5)は、高順位単段直列変調器構造または多段並列変調器構造に関して、帯域外へ雑音エネルギーを押し出すために、補間フィルタから出力されたオーバサンプリング信号上で雑音整形を行う、請求項13に記載のシステム。
  20. 前記サーモメータ符号器(6)は、ビット幅Mを有する低ビットPCM符号化信号を、2チャネルに対応するデジタル増幅器およびトランスデューサ負荷の単進符号信号ベクトルへ変換するために、使用され、
    単進符号ベクトルの各ディジットの符号情報は、トランスデューサ負荷を信号符号化フローの中に入れてトランスデューサ負荷に対してデジタル符号化およびデジタルスイッチ制御を達成するために、対応するデジタルチャネルへ割り当てられる、請求項13に記載のシステム。
  21. 前記動的不整合整形器(7)は、アレイ要素間の周波数応答差から生じた非線形調波ひずみ周波数スペクトルを整形するために、DWA(データ加重平均)、VFMS(ベクトルフィードバック不整合整形)、および/またはTSMS(ツリー構造不整合整形)を含む整形アルゴリズムを利用し、帯域内調波ひずみ成分の振幅を低減して、その出力を帯域外高周波部分へ押し出し、ゆえに帯域内調波ひずみの振幅を低減する、請求項13に記載のシステム。
  22. 前記抽出選択器(8)は、後段階のトランスデューサ負荷のオン/オフ行動を制御するために、或る抽出規則に従って、2デジタルチャネルの各チャネルの整形ベクトルから、1つのディジットの情報を、対応するチャネルの出力符号化情報として抽出する、請求項13に記載のシステム。
  23. 前記多チャネルデジタル増幅器(9)は、前記抽出選択器(8)から出力されたスイッチ信号を、フルブリッジ出力増幅回路のMOSFET格子端へ送り、これにより電源から負荷への回路のオン/オフ行動は、MOSFETのオン/オフ状況によって制御される、請求項13に記載のシステム。
  24. 前記デジタルアレイ負荷(10)は、複数のスピーカユニットを備えて各デジタルチャネルが1つまたは複数のスピーカユニットからなるデジタルアレイ、各デジタルチャネルが1つまたは複数の音声コイルからなる複数の音声コイルのスピーカユニット、または各デジタルチャネルが複数の音声コイルおよび複数のスピーカユニットからなる複数の音声コイルのスピーカのアレイである、請求項13に記載のシステム。
  25. 前記デジタルアレイ負荷(10)のアレイ構成は、トランスデューサユニットの数量および実際の応用要求に従って配列される、請求項13または24に記載のシステム。
JP2014537450A 2011-10-27 2011-12-28 デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイス Active JP6073907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110331100.9 2011-10-27
CN2011103311009A CN102404672B (zh) 2011-10-27 2011-10-27 数字化扬声器阵列系统的通道均衡与波束控制方法和装置
PCT/CN2011/084794 WO2013060077A1 (zh) 2011-10-27 2011-12-28 数字化扬声器阵列系统的通道均衡与波束控制方法和装置

Publications (2)

Publication Number Publication Date
JP2014535205A true JP2014535205A (ja) 2014-12-25
JP6073907B2 JP6073907B2 (ja) 2017-02-01

Family

ID=45886366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014537450A Active JP6073907B2 (ja) 2011-10-27 2011-12-28 デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイス

Country Status (8)

Country Link
US (1) US9167345B2 (ja)
EP (1) EP2587836B1 (ja)
JP (1) JP6073907B2 (ja)
KR (1) KR101665211B1 (ja)
CN (1) CN102404672B (ja)
BR (1) BR112014009896B1 (ja)
CA (1) CA2853294C (ja)
WO (1) WO2013060077A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013087117A1 (en) * 2011-12-15 2013-06-20 Telefonaktiebolaget L M Ericsson (Publ) Radio base station with asymmetric interface between baseband unit and rf unit
CN102684701B (zh) * 2012-04-27 2014-07-09 苏州上声电子有限公司 基于编码转换的数字扬声器驱动方法和装置
CN102711010B (zh) * 2012-05-29 2014-10-15 苏州上声电子有限公司 利用二次剩余序列的扬声器阵列宽带声场控制方法和装置
CN104022782B (zh) * 2014-06-13 2017-04-12 哈尔滨工程大学 一种数字式多通道模拟信号发生方法
CN105610748B (zh) * 2014-11-20 2018-11-16 中国航空工业集团公司雷华电子技术研究所 一种频率分段的通道均衡方法
GB2534949B (en) * 2015-02-02 2017-05-10 Cirrus Logic Int Semiconductor Ltd Loudspeaker protection
CN104967948B (zh) * 2015-06-16 2019-03-26 苏州茹声电子有限公司 基于调幅和调相的数字扬声器驱动方法和装置
CN105099387B (zh) * 2015-08-12 2017-12-15 苏州茹声电子有限公司 多音圈扬声器的频响均衡方法及装置
CN105792072B (zh) * 2016-03-25 2020-10-09 腾讯科技(深圳)有限公司 一种音效处理方法、装置及终端
US10123139B2 (en) 2016-03-28 2018-11-06 Ubdevice Corp. Equalized hearing aid system
US9843874B2 (en) * 2016-03-28 2017-12-12 Ubdevice Corp. Equalized hearing aid system
CN105847960A (zh) * 2016-03-29 2016-08-10 乐视控股(北京)有限公司 减少输出音频量化失真的方法及装置
US9955260B2 (en) * 2016-05-25 2018-04-24 Harman International Industries, Incorporated Asymmetrical passive group delay beamforming
CN107124678B (zh) * 2017-04-24 2020-08-14 大连理工大学 一种音频谐波失真的测量系统
US10349199B2 (en) 2017-04-28 2019-07-09 Bose Corporation Acoustic array systems
US10469973B2 (en) * 2017-04-28 2019-11-05 Bose Corporation Speaker array systems
CN109752705B (zh) * 2017-11-03 2023-04-11 中电科海洋信息技术研究院有限公司 高频水声阵列性能参数测量方法及系统、设备及存储介质
CN109839179B (zh) * 2017-11-27 2021-02-26 深圳先进技术研究院 多通道超声波信号的相位和幅度检测系统、方法及介质
CN108419179A (zh) * 2018-03-24 2018-08-17 宁波尚金光能科技有限公司 一种全数字多时轨音频传输系统
US10797773B2 (en) 2019-02-13 2020-10-06 University Of Utah Research Foundation Apparatuses and methods for transmission beamforming
CN110109644B (zh) * 2019-04-10 2020-11-17 广州视源电子科技股份有限公司 电子设备的均衡参数确定处理方法、装置及系统
CN110536216B (zh) * 2019-09-05 2021-04-06 长沙市回音科技有限公司 一种基于插值处理的均衡参数匹配方法、装置、终端设备及存储介质
CN110769337B (zh) * 2019-10-24 2021-06-01 上海易和声学科技有限公司 一种有源阵列音柱及音响设备系统
WO2021124537A1 (ja) * 2019-12-20 2021-06-24 三菱電機株式会社 情報処理装置、算出方法、及び算出プログラム
CN112071298A (zh) * 2020-09-08 2020-12-11 珠海格力电器股份有限公司 油烟机降噪控制方法、系统及油烟机
CN112345028B (zh) * 2020-10-30 2024-05-14 中国航空工业集团公司西安航空计算技术研究所 一种多通道电容式液位传感器信号处理系统及方法
CN113219434B (zh) * 2021-04-27 2023-05-05 南京理工大学 一种基于Zynq芯片的自适应宽带数字调零系统和方法
CN117037830A (zh) * 2021-05-21 2023-11-10 中科上声(苏州)电子有限公司 一种麦克风阵列的拾音方法、电子设备及存储介质
CN116320901B (zh) * 2023-05-15 2023-08-29 之江实验室 声场调控系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130169A (ja) * 2003-10-23 2005-05-19 Sony Corp 信号変換装置、出力アンプ装置、オーディオ装置および送受信システム
US20070263889A1 (en) * 2006-05-12 2007-11-15 Melanson John L Method and apparatus for calibrating a sound beam-forming system
JP2009147928A (ja) * 2006-05-21 2009-07-02 Trigence Semiconductor Inc デジタルアナログ変換装置
JP2010028783A (ja) * 2008-06-16 2010-02-04 Trigence Semiconductor Inc デジタルスピーカー駆動装置,デジタルスピーカー装置,アクチュエータ,平面ディスプレイ装置及び携帯電子機器
JP2010213062A (ja) * 2009-03-11 2010-09-24 Mitsubishi Pencil Co Ltd スピーカユニット

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9506725D0 (en) 1995-03-31 1995-05-24 Hooley Anthony Improvements in or relating to loudspeakers
CA2286978A1 (en) * 1997-04-18 1998-10-29 Jesper Steensgaard-Madsen Oversampled digital-to-analog converter based on nonlinear separation and linear recombination
JPH11341589A (ja) * 1998-05-01 1999-12-10 Texas Instr Inc <Ti> デジタル・シグナル・プロセッシング音響スピーカシステム
JP3420531B2 (ja) * 1999-06-07 2003-06-23 日本プレシジョン・サーキッツ株式会社 デルタシグマ方式d/a変換器
US7577260B1 (en) * 1999-09-29 2009-08-18 Cambridge Mechatronics Limited Method and apparatus to direct sound
JP2001251190A (ja) * 2000-03-08 2001-09-14 Nippon Precision Circuits Inc デルタシグマd/a変換器
CN101674512A (zh) 2001-03-27 2010-03-17 1...有限公司 产生声场的方法和装置
US7518055B2 (en) * 2007-03-01 2009-04-14 Zartarian Michael G System and method for intelligent equalization
KR20070072658A (ko) * 2006-01-02 2007-07-05 엘지전자 주식회사 보급형 디지털 크로스오버 네트워크 스피커 시스템
US8085951B2 (en) * 2009-03-23 2011-12-27 Texas Instruments Incorporated Method and system for determining a gain reduction parameter level for loudspeaker equalization
US8098718B2 (en) * 2009-07-01 2012-01-17 Qualcomm Incorporated Apparatus and methods for digital-to-analog conversion with vector quantization
CN101986721B (zh) * 2010-10-22 2014-07-09 苏州上声电子有限公司 全数字式扬声器装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130169A (ja) * 2003-10-23 2005-05-19 Sony Corp 信号変換装置、出力アンプ装置、オーディオ装置および送受信システム
US20070263889A1 (en) * 2006-05-12 2007-11-15 Melanson John L Method and apparatus for calibrating a sound beam-forming system
JP2009147928A (ja) * 2006-05-21 2009-07-02 Trigence Semiconductor Inc デジタルアナログ変換装置
JP2010028783A (ja) * 2008-06-16 2010-02-04 Trigence Semiconductor Inc デジタルスピーカー駆動装置,デジタルスピーカー装置,アクチュエータ,平面ディスプレイ装置及び携帯電子機器
JP2010213062A (ja) * 2009-03-11 2010-09-24 Mitsubishi Pencil Co Ltd スピーカユニット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016004797; A.Lavzin et al.: 'A higher-order mismatch-shaping method for multi-bit Sigma-Delta Modulators' IEEE International Conference on SOC2008 , 20080917, pp.267-270, IEEE *

Also Published As

Publication number Publication date
JP6073907B2 (ja) 2017-02-01
KR20140084193A (ko) 2014-07-04
CA2853294C (en) 2017-09-12
CN102404672B (zh) 2013-12-18
BR112014009896A2 (pt) 2017-04-18
US9167345B2 (en) 2015-10-20
KR101665211B1 (ko) 2016-10-11
CA2853294A1 (en) 2013-05-02
EP2587836B1 (en) 2016-03-23
CN102404672A (zh) 2012-04-04
BR112014009896B1 (pt) 2021-06-22
US20130108078A1 (en) 2013-05-02
WO2013060077A1 (zh) 2013-05-02
EP2587836A1 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
JP6073907B2 (ja) デジタル・スピーカ・アレイ・システムのチャネル等化およびビーム制御方法およびデバイス
CA2935487C (en) Implementation method and device of multi-bit .delta.-.sigma. modulation-based digital speaker system
EP2843841B1 (en) Method and device for driving digital speaker based on code conversion
CN102404673B (zh) 数字化扬声器系统通道均衡与声场控制方法和装置
US9544691B2 (en) Acoustic playback system
CN104272687B (zh) 信号转换系统及方法
US8620005B2 (en) All-digital speaker system device
JP5721155B2 (ja) データ変換装置
CN103152673B (zh) 基于四元码动态失配整形的数字扬声器驱动方法和装置
CN103167380B (zh) 一种数字化超指向性扬声器系统
US7626519B2 (en) Pulse-width modulation of pulse-code modulated signals at selectable or dynamically varying sample rates
US20140233744A1 (en) Audio processing and enhancement system
WO2016107433A1 (zh) 基于三态编码的通道状态选取方法和装置
CN104967948A (zh) 基于调幅和调相的数字扬声器驱动方法和装置
CN205040004U (zh) 基于调幅和调相的数字扬声器驱动装置
MOURJOPOULOS Design and Performance of a Sigma–Delta Digital Loudspeaker Array Prototype

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170105

R150 Certificate of patent or registration of utility model

Ref document number: 6073907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250