JP2021189364A - 音信号処理方法、音信号処理装置および音信号処理プログラム - Google Patents

音信号処理方法、音信号処理装置および音信号処理プログラム Download PDF

Info

Publication number
JP2021189364A
JP2021189364A JP2020096757A JP2020096757A JP2021189364A JP 2021189364 A JP2021189364 A JP 2021189364A JP 2020096757 A JP2020096757 A JP 2020096757A JP 2020096757 A JP2020096757 A JP 2020096757A JP 2021189364 A JP2021189364 A JP 2021189364A
Authority
JP
Japan
Prior art keywords
sound
impulse response
reverberation
signal
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020096757A
Other languages
English (en)
Other versions
JP7524614B2 (ja
Inventor
悌 橋本
Dai Hashimoto
隆行 渡辺
Takayuki Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2020096757A priority Critical patent/JP7524614B2/ja
Priority to CN202110550548.3A priority patent/CN113766395A/zh
Priority to US17/329,291 priority patent/US11749254B2/en
Priority to EP21177095.3A priority patent/EP3920176A3/en
Publication of JP2021189364A publication Critical patent/JP2021189364A/ja
Application granted granted Critical
Publication of JP7524614B2 publication Critical patent/JP7524614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H7/00—Measuring reverberation time ; room acoustic measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281—Reverberation or echo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305—Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specified by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/115—FIR impulse, e.g. for echoes or room acoustics, the shape of the impulse response is specified in particular according to delay times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】より明瞭な音像と空間の拡がりを実現する音信号処理方法および音信号処理装置を提供する。【解決手段】音場支援システム１の音信号処理部１０において、ＦＩＲフィルタ２４Ａは、入力した音信号に音源の位置に応じた初期反射音のインパルス応答のデータを畳み込み、所定の空間の初期反射音を再現した初期反射音制御信号を生成する。また、ＦＩＲフィルタ２４Ｂは、入力した音信号に、残響音のインパルス応答のデータを畳み込み、所定の空間の残響音を再現した残響音制御信号を生成する。【選択図】図２

Description

この発明の一実施形態は、取得した音信号に対して処理を行なう音信号処理方法、音信号処理装置および音信号処理プログラムに関する。
コンサートホール等の施設では、様々なジャンルの音楽が演奏されたり、講演等のスピーチが行なわれたりする。このような施設は、多様な音響特性（例えば残響特性）が求められる。例えば、演奏では比較的長い残響が求められ、スピーチでは比較的短い残響が求められる。
しかし、ホール内の残響特性を物理的に変化させるには、例えば天井を移動させる等して音響空間の大きさを変化させる必要があり、非常に大がかりな設備が必要であった。
そこで、例えば特許文献１に示すような音場制御装置は、マイクで取得した音をＦＩＲ（Finite Impulse Response）フィルタで処理することにより残響音を生成し、ホール内に設置されたスピーカから当該残響音を出力することで、音場を支援する処理を行なっている。
特開平６−２８４４９３号公報
しかし、残響音を付与するだけでは定位感がぼやける。近時、より明瞭な音像定位と豊かな空間の拡がりを実現することが望まれている。
そこで、この発明の一実施形態は、より豊かな音響空間を制御する音信号処理方法および音信号処理装置を提供することを目的とする。
音信号処理方法は、音源の音信号を取得し、前記音信号に、前記音源の場所に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する。
音信号処理方法は、より明瞭な音像定位および豊かな空間の拡がりを実現することができる。
実施形態１の空間を模式的に示した透過斜視図である。 実施形態１の音場支援システムの構成を示すブロック図である。 音信号処理装置の動作を示すフローチャートである。 室６２、スピーカ５１Ａ〜スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。 図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。 図６（Ａ）は、ＦＩＲフィルタ２４Ｂに設定するインパルス応答を示す模式図であり、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。 空間６２０と室６２との関係を模式的に示した平面図である。 ＦＩＲフィルタ２４Ａの機能的構成を示すブロック図である。 変形例１に係る音信号処理部１０の構成を示すブロック図である。 変形例２に係る音信号処理部１０の構成を示すブロック図である。
図１は、空間を構成する室６２を模式的に示した透過斜視図である。図２は、音場支援システム１の構成を示すブロック図である。
室６２は、概ね直方体形状の空間を構成する。音源６５は、室６２のうち前方のステージ６０上に存在する。室６２の後方はリスナの座る観客席に相当する。音源６５は、例えば声、歌唱音、アコースティック楽器、エレキ楽器、または電子楽器等である。
なお、室６２の形状、および音源の配置等は、図１の例に限らない。本発明の音信号処理方法および音信号処理装置は、どの様な形状の空間であっても所望の音場を提供でき、従来よりもより明瞭な音像定位および豊かな空間の拡がりを実現することができる。
音場支援システム１は、室６２内に、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、無指向性マイク１２Ｃ、スピーカ５１Ａ〜スピーカ５１Ｊ、スピーカ６１Ａ〜スピーカ６１Ｆを備える。
スピーカ５１Ａ〜スピーカ５１Ｊは、壁面に設定されている。スピーカ５１Ａ〜スピーカ５１Ｊは、比較的指向性の高いスピーカであり、主に観客席に向けて音を出力する。スピーカ５１Ａ〜スピーカ５１Ｊは、初期反射音を再現した初期反射音制御信号を出力する。また、スピーカ５１Ａ〜スピーカ５１Ｊは、音源の直接音を再現した直接音制御信号を出力する
スピーカ６１Ａ〜スピーカ６１Ｆは、天井に設置されている。スピーカ６１Ａ〜スピーカ６１Ｆは、比較的指向性の低いスピーカであり、室６２の全体に音を出力する。スピーカ６１Ａ〜スピーカ６１Ｆは、残響音を再現した残響音制御信号を出力する。また、スピーカ６１Ａ〜スピーカ６１Ｆは、音源の直接音を再現した直接音制御信号を出力する。なお、スピーカの数は、図１に示す数に限らない。
指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃは、主に、ステージ上の音源６５の音を収音する。図１に示す様に、指向性マイク１１Ａは、観客席から見てステージ６０の左側の領域１１０Ａの音を収音する。指向性マイク１１Ｂは、観客席から見てステージ６０の中央の領域１１０Ｂの音を収音する。指向性マイク１１Ｃは、観客席から見てステージ６０の右側の領域１１０Ｃの音を収音する。
ただし、音源６５の音は、ライン入力してもよい。ライン入力とは、楽器等の音源から出力される音をマイクで収音して入力するのではなく、音源に接続されたオーディオケーブル等から音信号を入力することである。あるいは、音源６５の音は、話者または歌唱者等の演者の音声または歌唱音をハンドマイク、スタンドマイク、ピンマイク等から入力してもよい。音源の音は、高いＳＮ比で収音することが好ましい。
無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、天井に設置される。無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。図１に示す指向性マイクおよび無指向性マイクの数はそれぞれ３つである。ただし、マイクの数は、図１に示す例に限らない。また、マイクおよびスピーカの設置位置は、図１に示す例に限るものではない。
図２において、音場支援システム１は、図１に示した構成に加えて、音信号処理部１０と、メモリ３１と、を備えている。音信号処理部１０は、主にＣＰＵおよびＤＳＰ（Digital Signal Processor）から構成される。音信号処理部１０は、機能的に、音信号取得部２１、ゲイン調整部２２、ミキサ２３、パニング処理部２３Ｄ、ＦＩＲ（Finite Impulse Response）フィルタ２４Ａ、ＦＩＲフィルタ２４Ｂ、レベル設定部２５Ａ、レベル設定部２５Ｂ、出力信号生成部２６、出力部２７、遅延調整部２８、位置情報取得部２９、インパルス応答取得部１５１、およびレベルバランス調整部１５２を備える。音信号処理部１０は、本発明の音信号処理装置の一例である。
音信号処理部１０を構成するＣＰＵは、メモリ３１に記憶されている動作用プログラムを読み出して、各構成を制御する。ＣＰＵは、該動作用プログラムにより、機能的に、インパルス応答取得部１５１およびレベルバランス調整部１５２を構成する。なお、動作用プログラムは、メモリ３１に記憶されている必要はない。ＣＰＵは、例えば不図示のサーバから都度、動作用プログラムをダウンロードしてもよい。
図３は、音信号処理部１０の動作を示すフローチャートである。まず、音信号取得部２１は、音信号を取得する（Ｓ１１）。音信号取得部２１は、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから音信号を取得する。あるいは、音信号取得部２１は、エレキ楽器または電子楽器等から音信号をライン入力してもよい。また、音信号取得部２１は、ピンマイク等の楽器または演者に直接設置されたマイクから音信号を入力してもよい。音信号取得部２１は、アナログ信号を取得した場合には、デジタル信号に変換して出力する。
ゲイン調整部２２は、音信号取得部２１で取得した音信号のゲインを調整する。ゲイン調整部２２は、例えば、音源６５に近い位置の指向性マイクのゲインを高く設定する。なお、ゲイン調整部２２は、本発明において必須の構成ではない。
ミキサ２３は、ゲイン調整部２２でゲイン調整した音信号をミキシングする。また、ミキサ２３は、ミキシングした音信号を複数の信号処理系統に分配する。ミキサ２３は、分配した音信号をパニング処理部２３Ｄ、ＦＩＲフィルタ２４Ａ、およびＦＩＲフィルタ２４Ｂに出力する。
例えば、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号をスピーカ５１Ａ〜スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配する。あるいは、ミキサ２３は、ライン入力した音信号をスピーカ５１Ａ〜スピーカ５１Ｊに合わせて、１０個の信号処理系統に分配してもよい。
また、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号をスピーカ６１Ａ〜スピーカ６１Ｆに合わせて、６つの信号処理系統に分配する。
ミキサ２３は、１０個の信号処理系統にミキシングした音信号を、それぞれＦＩＲフィルタ２４Ａに出力する。また、ミキサ２３は、６つの信号処理系統にミキシングした音信号をＦＩＲフィルタ２４Ｂに出力する。
以後、ＦＩＲフィルタ２４Ｂに出力する６つの信号処理系統は、第１系統または残響音系統と称し、ＦＩＲフィルタ２４Ａに出力する１０の信号処理系統は、第２系統または初期反射音系統と称する。また、パニング処理部２３Ｄに出力する１０の信号処理系統は、第３系統または直接音系統と称する。ＦＩＲフィルタ２４Ａは、初期反射音制御信号生成部に対応し、ＦＩＲフィルタ２４Ｂは、残響音制御信号生成部に対応する。パニング処理部２３Ｄは、直接音制御信号生成部に対応する。
なお、分配の態様は、上記例に限らない。例えば、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号は、直接音系統または初期反射音系統に分配してもよい。また、ライン入力した音信号を残響音系統に分配してもよい。また、ライン入力した音信号と、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号と、をミキシングして直接音系統または初期反射音系統に分配してもよい。
なお、ミキサ２３は、ＥＭＲ（Electronic Microphone Rotator）の機能を備えていてもよい。ＥＭＲは、固定されたマイクとスピーカとの間の伝達関数を時間的に変化させることで、フィードバックループの周波数特性を平坦化する手法である。ＥＭＲは、マイクと信号処理系統の接続関係を時々刻々と切り換える機能である。ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号の出力先を切り換えるようにしてパニング処理部２３ＤおよびＦＩＲフィルタ２４Ａに出力する。あるいは、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号の出力先を切り換えるようにしてＦＩＲフィルタ２４Ｂに出力する。これにより、ミキサ２３は、室６２においてスピーカからマイクに至る音響帰還系の周波数特性を平坦化できる。また、ミキサ２３は、ハウリングに対する安定性を確保することができる。
次に、パニング処理部２３Ｄは、音源６５の位置に応じて、直接音系統のそれぞれの音信号の音量を制御する（Ｓ１２）。これにより、パニング処理部２３Ｄは、直接音制御信号を生成する。
図４は、室６２、スピーカ５１Ａ〜スピーカ５１Ｊ、および音源６５の関係を模式的に示した平面図である。図４の例では、音源６５は、観客席から向かってステージの右側の場所に位置する。パニング処理部２３Ｄは、音源６５の位置に音像が定位する様に、直接音系統のそれぞれの音信号の音量を制御する。
パニング処理部２３Ｄは、位置情報取得部２９から音源６５の位置情報を取得する。位置情報は、室６２のある位置を基準とした２次元または３次元の座標を示す情報である。音源６５の位置情報は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の電波を送受信するビーコンおよびタグで取得できる。室６２は、予め少なくとも３つのビーコンを設置している。音源６５は、タグを備える。つまり、演者または楽器は、タグを取り付ける。各ビーコンは、タグに電波を送受信する。各ビーコンは、電波を送信してから受信するまでの時間差に基づいて、タグとの距離を計測する。位置情報取得部２９は、ビーコンの位置情報を予め取得しておけば、少なくとも３つのビーコンからタグまでの距離をそれぞれ測定することで、タグの位置を一意に求めることができる。
位置情報取得部２９は、この様にして測定したタグの位置情報を取得することで、音源６５の位置情報を取得する。また、位置情報取得部２９は、スピーカ５１Ａ〜スピーカ５１Ｊ、およびスピーカ６１Ａ〜スピーカ６１Ｆのそれぞれの位置情報を予め取得する。
パニング処理部２３Ｄは、取得した位置情報およびスピーカ５１Ａ〜スピーカ５１Ｊ、およびスピーカ６１Ａ〜スピーカ６１Ｆの位置情報に基づいて、音源６５の位置に音像が定位する様にスピーカ５１Ａ〜スピーカ５１Ｊ、およびスピーカ６１Ａ〜スピーカ６１Fに出力するそれぞれの音信号の音量を制御することで、直接音制御信号を生成する。
パニング処理部２３Ｄは、音源６５と、スピーカ５１Ａ〜スピーカ５１Ｊ、およびスピーカ６１Ａ〜スピーカ６１Ｆのそれぞれのスピーカとの距離に応じて音量を制御する。例えば、パニング処理部２３Ｄは、音源６５の位置に近いスピーカに出力する音信号の音量を大きくし、音源６５の位置から遠いスピーカに出力する音信号の音量を小さくする。これにより、パニング処理部２３Ｄは、音源６５の音像を所定の位置に定位させることができる。例えば、図４の例では、パニング処理部２３Ｄは、音源６５に近い３つのスピーカ５１Ｆ、５１Ｇ、および５１Ｈに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの右側に定位する。
仮に、音源６５がステージの左側に移動すると、パニング処理部２３Ｄは、移動した音源６５の位置情報に基づいて、スピーカ５１Ａ〜スピーカ５１Ｊ、スピーカ６１Ａ〜スピーカ６１Ｆに出力するそれぞれの音信号の音量を変更する。例えば、パニング処理部２３Ｄは、スピーカ５１Ａ、５１Ｂ、および５１Ｆに出力する音信号の音量を大きく、他のスピーカの音量を小さくする。これにより、音源６５の音像は、観客席から向かってステージの左側に定位する。
以上の様にして、音信号処理部１０は、ミキサ２３およびパニング処理部２３Ｄにより、分配処理部を実現する。
次に、インパルス応答取得部１５１は、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂのフィルタ係数をそれぞれ設定する（Ｓ１３）。
ここで、フィルタ係数に設定するインパルス応答データについて説明する。図５（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図５（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。図６（Ａ）、図６（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。
図５（Ａ）に示すように、インパルス応答は、時間軸上に並ぶ、直接音、初期反射音、および残響音に区別できる。そして、ＦＩＲフィルタ２４Ａに設定するフィルタ係数は、図５（Ｂ）に示すように、インパルス応答における直接音および残響音を除いた初期反射音の部分によって設定される。ＦＩＲフィルタ２４Ｂに設定するフィルタ係数は、図６（Ａ）に示すように、インパルス応答における直接音および初期反射音を除いた残響音によって設定される。なお、ＦＩＲフィルタ２４Ｂは、図６（Ｂ）に示すように、インパルス応答における直接音を除いた初期反射音と残響音によって設定されていてもよい。
インパルス応答のデータは、メモリ３１に記憶されている。インパルス応答取得部１５１は、メモリ３１からインパルス応答のデータを取得する。ただし、インパルス応答のデータは、メモリ３１に記憶されている必要はない。インパルス応答取得部１５１は、インパルス応答のデータを、例えば、不図示のサーバ等から都度ダウンロードしてもよい。
インパルス応答取得部１５１は、予め初期反射音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ａに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、初期反射音だけを切り出してＦＩＲフィルタ２４Ａに設定してもよい。同様に、インパルス応答取得部１５１は、残響音のみを用いる場合には、予め残響音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ｂに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、残響音だけを切り出してＦＩＲフィルタ２４Ｂに設定してもよい。
ＦＩＲフィルタ２４Ａは、入力した音信号に、初期反射音のインパルス応答のデータを畳み込むことで、所定の空間の初期反射音を再現した初期反射音制御信号を生成する（Ｓ１４）。また、ＦＩＲフィルタ２４Ｂは、入力した音信号に、残響音のインパルス応答のデータを畳み込むことで、所定の空間の残響音を再現した残響音制御信号を生成する（Ｓ１４）。
図７は、空間６２０と室６２との関係を模式的に示した平面図である。図７に示す様に、インパルス応答のデータは、音場を再現する対象となるコンサートホールまたは教会等の所定の空間６２０で予め測定する。例えば、インパルス応答のデータは、ステージ上の所定の位置でテスト音（パルス音）を発し、空間６２０に設置した複数のマイクでそれぞれテスト音を収音することにより測定する。
本実施形態では、インパルス応答のデータは、ステージ６０の左側の領域１１０Ａでテスト音を発した場合のインパルス応答、ステージ６０の中央の領域１１０Ｂでテスト音を発した場合のインパルス応答、およびステージ６０の右側の領域１１０Ｃでテスト音を発した場合のインパルス応答を測定する。
初期反射音のインパルス応答のデータは、壁面の近傍に設置した複数の指向性マイク５１０Ａ〜５１０Ｊを用いて測定する。壁面の近傍に設置した指向性マイクを用いる場合、インパルス応答のデータは、信号処理系統毎に別々の指向性マイクで測定する。例えば、図７に示す様に、ステージ６０に向かって右後方に設置されたスピーカ５１Ｊに対応する信号処理系統に対して、インパルス応答のデータは、ステージ６０に向かって右後方の壁面の近傍に設置した指向性マイク５１０Ｊで測定する。
インパルス応答のデータは、領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃの３つの音源の系統に対して、それぞれ指向性マイク５１０Ａ〜５１０Ｊの１０系統で測定する。すなわち、インパルス応答のデータは、指向性マイク５１０Ａ〜５１０Ｊで測定された１０個のインパルス応答を音源の位置に応じて、３つ測定する。以下、領域１１０Ａの音源で測定された１０個のインパルス応答を第１インパルス応答、領域１１０Ｂの音源で測定された１０個のインパルス応答を第２インパルス応答、領域１１０Ｃの音源で測定された１０個のインパルス応答を第３インパルス応答と称する。領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃの３つの系統はそれぞれ室６２における指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃに対応し、指向性マイク５１０Ａ〜５１０Ｊの１０系統は、スピーカ５１Ａ〜５１Ｊに対応する。
図８は、ＦＩＲフィルタ２４Ａの機能的構成を示すブロック図である。図８に示すように、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃで取得した音信号を、それぞれ１０個の系統の音信号に分配する。ＦＩＲフィルタ２４Ａは、第１インパルス応答、第２インパルス応答、および第３インパルス応答を、ミキサ２３から分配された音信号に畳み込む。
ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ａ内に位置する場合に、第１インパルス応答に対応する１０個のＦＩＲフィルタＬＡ〜ＦＩＲフィルタＬＪでフィルタ処理を行う。同様に、ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ｂ内に位置する場合に、第２インパルス応答に対応する１０個のＦＩＲフィルタＣＡ〜ＦＩＲフィルタＣＪでフィルタ処理を行う。ＦＩＲフィルタ２４Ａは、音源６５が領域１１０Ｃ内に位置する場合に、第３インパルス応答に対応する１０個のＦＩＲフィルタＲＡ〜ＦＩＲフィルタＲＪでフィルタ処理を行う。
ＦＩＲフィルタ２４Ａは、この様にして、３×１０系統の初期反射音制御信号を生成する。ＦＩＲフィルタ２４Ｂは、３×６系統の残響音制御信号を生成する。
なお、残響音は、音の到来方向の定まらない反射音である。したがって、残響音のインパルス応答のデータは、初期反射音に比べると音源の位置の変化による変化は小さい。したがって、残響音のインパルス応答のデータは、上記指向性マイク５１０Ａ〜５１０Ｊではなく、別の無指向性マイクを用いて測定してもよい。また、ＦＩＲフィルタ２４Ｂは、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号をミキシングした音信号に、同じ１つのインパルス応答のデータを畳み込んで、残響音制御信号を生成してもよい。
レベル設定部２５Ａは、初期反射音制御信号のレベル調整を行なう。レベル設定部２５Ｂは、残響音制御信号のレベル調整を行なう。レベルバランス調整部１５２は、パニング処理部２３Ｄ、レベル設定部２５Ａおよびレベル設定部２５Ｂのレベル調整量を設定する（Ｓ１５）。レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号および残響音制御信号のそれぞれのレベルを参照し、これらの信号のレベルバランスを整える。例えば、レベルバランス調整部１５２は、直接音制御信号のうち時間的に最後のレベルと、初期反射音制御信号のうち時間的に最初の成分のレベルバランスを整える。また、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に最後の成分のレベルと、残響音制御信号のうち時間的に最初の成分のレベルとのバランスを整える。あるいは、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に後半部分となる複数成分のパワーと、残響音制御信号のうち時間的に前半部分となる成分のパワーとのバランスを整えてもよい。これにより、レベルバランス調整部１５２は、直接音制御信号、初期反射音制御信号および残響音制御信号の音を個別に制御し、適用する空間に合わせて、適切なバランスに制御することができる。
遅延調整部２８は、任意のマイクと複数のスピーカとの距離に応じて、遅延時間を調整する（Ｓ１６）。例えば、遅延調整部２８は、複数のスピーカにおいて、指向性マイク１１Ｂとスピーカとの距離が短い順に、遅延時間を小さく設定する。或いは、遅延調整部２８は、音場を再現する空間６２０でのインパルス応答を測定する音源とマイクの位置から遅延時間を調整する。例えば、ＦＩＲフィルタ２４Ａにおいて、スピーカ５１Ｊに空間６２０内に設置した指向性マイク５１０Ｊで測定したインパルス応答データを畳み込む場合、遅延調整部２８におけるスピーカ５１Ｊの遅延時間は、空間６２０の指向性マイク５１０Ｊと音源６５の距離に相当する遅延時間を設定する。これにより、初期反射音制御信号および残響音制御信号は、直接音よりも遅れてリスナに到達し、明瞭な音像定位と豊かな空間の拡がりを実現する。
なお、音信号処理部１０は、直接音制御信号に遅延調整を行わないことが好ましい。仮に、遅延調整により音像定位を制御する場合、音源６５の位置が短時間の間に大きく変化すると、複数のスピーカから出力された音同士で位相干渉を起こす。音信号処理部１０は、直接音制御信号に遅延調整を行わないことで、音源６５の位置が短時間に大きく変化した場合でも、位相干渉を起こすことなく、音源６５の音色を維持することができる。 出力信号生成部２６は、直接音制御信号、初期反射音制御信号および残響音制御信号をミキシングして出力信号を生成する（Ｓ１７）。なお、出力信号生成部２６は、ミキシングの時に各信号のゲイン調整および周波数特性の調整等を行なってもよい。
出力部２７は、出力信号生成部２６から出力される出力信号をアナログ信号に変換する。また、出力部２７は、アナログ信号を増幅する。出力部２７は、増幅したアナログ信号を対応するスピーカに出力する（Ｓ１８）。
以上の構成により、音信号処理部１０は、音信号を取得し、取得した音信号に、音源の位置に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成する。また、音信号処理部１０は、取得した音信号に、音源の場所に応じた残響音のインパルス応答を畳み込んで残響音制御信号を生成する。
例えば、図７の例では、音源６５は、ステージ６０の領域１１０Ｃに存在する。この場合、初期反射音制御信号は、図８に示すＦＩＲフィルタＲＡ〜ＲＪで初期反射音制御信号が生成される。仮に、音源６５がステージ６０の領域１１０Ｂに移動すると、初期反射音制御信号は、図８に示すＦＩＲフィルタＣＡ〜ＣＪで生成される。また、仮に、音源６５がステージ６０の領域１１０Ａに移動すると、初期反射音制御信号は、図８に示すＦＩＲフィルタＬＡ〜ＬＪで生成される。この様に、音信号処理部１０は、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することで、従来よりも、より自然な音像の定位感と空間の拡がりを実現することができる。
ただし、指向性マイク１１Ａ〜Ｃ、無指向性マイク１２Ａ〜Ｃから取得した音信号から初期反射音制御信号および残響音制御信号を生成してもよい。例えば、図７の例では、音源６５は、ステージ６０の右側に存在する。この場合、指向性マイク１１Ｃで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＲＡ〜ＲＪで生成される初期反射音制御信号のレベルが優位になる。仮に、音源６５がステージ６０の中央に移動すると、指向性マイク１１Ｂで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＣＡ〜ＣＪで生成される初期反射音制御信号のレベルが優位になる。また、仮に、音源６５がステージ６０の左側に移動すると、指向性マイク１１Ｃで取得した音信号のレベルが高くなる。したがって、初期反射音制御信号は、図８に示すＦＩＲフィルタＬＡ〜ＬＪで生成される初期反射音制御信号のレベルが優位になる。すなわち、音信号処理部１０は、音源の位置を検出することなく、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することができる。この様に、音信号処理部１０は、音源の位置に応じてＦＩＲフィルタのフィルタ係数を変更することで、従来よりも、より自然な初期反射音の定位感と響きを再現することができる。
図９は、変形例１に係る音信号処理部１０の構成を示すブロック図である。図９のインパルス応答取得部１５１は、位置情報取得部２９から音源６５の位置情報を取得する。 インパルス応答取得部１５１は、取得した位置情報に基づいて、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに設定するフィルタ係数をインパルス応答のデータから取得する。図７に示した様に、インパルス応答のデータは、音源の位置に応じて複数取得する。図７の例では、インパルス応答のデータは、第１インパルス応答、第２インパルス応答、および第３インパルス応答を有する。それぞれのインパルス応答は、それぞれの音源の位置情報に対応付けられている。
インパルス応答取得部１５１は、取得した音源の位置情報に対応するインパルス応答のデータを取得する。例えば、インパルス応答取得部１５１は、音源６５の位置がステージ６０の左側である場合、第１インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。インパルス応答取得部１５１は、音源６５の位置がステージ６０の中央である場合、第２インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。インパルス応答取得部１５１は、音源６５の位置がステージ６０の右側である場合、第３インパルス応答のデータをメモリ３１から読み出し、ＦＩＲフィルタ２４Ａに設定する。
この様に、図９の例では、音信号処理部１０は、音源の位置情報に基づいて、ＦＩＲフィルタ２４Ａに設定するフィルタ係数を変更する。
なお、インパルス応答のデータは、図７の例の様に、３つに限らない。例えば、インパルス応答取得部１５１は、さらに多数の位置毎にインパルス応答のデータを取得することで、より自然な音像の定位感と空間の拡がりを実現することができる。
図１０は、変形例２に係る音信号処理部１０の構成を示すブロック図である。図１０の音信号処理部１０は、ゲイン調整部２２およびミキサ２３に変えて、マトリクスミキサ２３Ｍを備えている。
マトリクスミキサ２３Ｍは、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号をそれぞれ所定のレベルでミキシングしてＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに分配する。
マトリクスミキサ２３Ｍは、位置情報取得部２９で取得した音源の位置情報に基づいて、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂに分配する音信号のレベルを制御する。
例えば、音源６５の位置がステージ６０の領域１１０Ｂ内にある場合、マトリクスミキサ２３Ｍは、ＦＩＲフィルタＣＡ〜ＦＩＲフィルタＣＪに出力する音信号のレベルを高くする。仮に、音源６５の位置がステージ６０の領域１１０Ａ内に移動した場合、マトリクスミキサ２３Ｍは、ＦＩＲフィルタＬＡ〜ＦＩＲフィルタＬＪに出力する音信号のレベルを高くする。この様にして、マトリクスミキサ２３Ｍは、音源の位置に応じて、各マイクから各系統に出力する音信号のレベルを調整することで、ＦＩＲフィルタのフィルタ係数を変更することができる。
なお、音源６５が、図７で示した領域１１０Ａ、領域１１０Ｂ、および領域１１０Ｃをまたがって移動する場合、マトリクスミキサ２３Ｍは、音信号をクロスフェードしてＦＩＲフィルタを変更することが好ましい。例えば、音源６５が、領域１１０Ａから領域１１０Ｂに移動する場合、マトリクスミキサ２３Ｍは、指向性マイク１１ＡからＦＩＲフィルタＬＡ〜ＦＩＲフィルタＬＪに出力する音信号のレベルを徐々に低くして、指向性マイク１１ＢからＦＩＲフィルタＣＡ〜ＦＩＲフィルタＣＪに出力する音信号のレベルを徐々に高くする。この場合、マトリクスミキサ２３Ｍは、クロスフェード処理部に対応する。
すなわち、音信号処理部１０は、第１インパルス応答から第２インパルス応答に切り替える際に、第１インパルス応答を畳み込む音信号と、第２インパルス応答を畳み込む音信号と、をクロスフェードする。
これにより、音信号処理部１０は、さらに滑らかで自然な音源の移動感を演出することができる。
なお、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６５の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。したがって、音信号処理部１０が、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃで取得した音信号を用いて残響音制御信号を生成すれば、ステージの音も観客席の音も同じ残響が再現される。よって、例えば演者の音でも観客の拍手の音でも同じ残響が再現され、演者と観客は一体感を得ることができる。
また、初期反射音は、空間内を多重反射した残響音に比べて、反射回数が少ない。このため、初期反射音のエネルギーは、残響音のエネルギーよりも高い。したがって、初期反射音制御信号を出力するスピーカは、１個あたりのレベルを高くすることで、初期反射音が持つ主観的な印象付けの効果を向上させることができ、初期反射音の制御性を高めることができる。
また、初期反射音制御信号を出力するスピーカは、個数を少なくすることで、過剰な拡散音エネルギーの上昇を抑えることができる。すなわち、初期反射音制御信号による室内の残響延長を抑制でき、初期反射音の制御性を高めることができる。
初期反射音制御信号を出力するスピーカは、観客に近い位置である室内の側方に設置することで、初期反射音を観客に届けるのに制御し易く、初期反射音の制御性を高めることができる。また、残響音制御信号を出力するスピーカは、室内の天井に設置することで、観客の位置による残響音の差を抑制できる。
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１…音場支援システム
１０…音信号処理部
１１Ａ，１１Ｂ，１１Ｃ…指向性マイク
１２Ａ，１２Ｂ，１２Ｃ…無指向性マイク
２１…音信号取得部
２２…ゲイン調整部
２３…ミキサ
２３Ｍ…マトリクスミキサ
２４Ａ，２４Ｂ…ＦＩＲフィルタ
２５Ａ，２５Ｂ…レベル設定部
２６…出力信号生成部
２７…出力部
２８…遅延調整部
２９…位置情報取得部
３１…メモリ
５１Ａ〜５１Ｊ…スピーカ
６０…ステージ
６１Ａ〜６１Ｆ…スピーカ
６２…室
６５…音源
１５１…インパルス応答取得部
１５２…レベルバランス調整部
５１０Ａ〜５１０Ｊ…指向性マイク
６２０…空間

Claims (15)

  1. 音源の音信号を取得し、
    前記音信号に、前記音源の場所に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、
    前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する、
    音信号処理方法。
  2. 前記残響音制御信号は、前記音源の場所に応じた前記残響音のインパルス応答を畳み込んで生成する、
    請求項１に記載の音信号処理方法。
  3. 前記初期反射音および前記残響音のインパルス応答は、それぞれ予め所定の空間で、前記音源の場所毎に測定したインパルス応答である、
    請求項１または請求項２に記載の音信号処理方法。
  4. 前記初期反射音および前記残響音のインパルス応答は、それぞれ予め所定の空間で、前記初期反射音制御信号および前記残響音制御信号を出力するスピーカ毎および前記音源の場所毎に、それぞれ測定する、
    請求項３に記載の音信号処理方法。
  5. 前記初期反射音および前記残響音のインパルス応答は、それぞれ第１インパルス応答および第２インパルス応答を含み、
    前記第１インパルス応答から前記第２インパルス応答に切り替える際に、前記第１インパルス応答を畳み込む音信号と、前記第２インパルス応答を畳み込む音信号と、をクロスフェードする、
    請求項１乃至請求項４のいずれか１項に記載の音信号処理方法。
  6. 前記音源の位置情報を取得し、
    取得した音源の位置情報に基づいて前記初期反射音制御信号および前記残響音制御信号を生成する、
    請求項１乃至請求項５のいずれか１項に記載の音信号処理方法。
  7. 前記残響音のインパルス応答を畳み込む音信号は、無指向性マイクから取得する、
    請求項１乃至請求項６のいずれか１項に記載の音信号処理方法。
  8. 音源の音信号を取得する音信号取得部と、
    前記音信号に、前記音源の場所に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成する初期反射音制御信号生成部と、
    前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する残響音制御信号生成部と、
    を備えた音信号処理装置。
  9. 前記残響音制御信号生成部は、前記音源の場所に応じた前記残響音のインパルス応答を畳み込んで前記残響音制御信号を生成する、
    請求項８に記載の音信号処理装置。
  10. 前記初期反射音および前記残響音のインパルス応答は、それぞれ予め所定の空間で、前記音源の場所毎に測定したインパルス応答である、
    請求項８または請求項９に記載の音信号処理装置。
  11. 前記インパルス応答は、前記初期反射音制御信号および前記残響音制御信号を出力するスピーカ毎および前記音源の場所毎に、それぞれ測定する、
    請求項１０に記載の音信号処理装置。
  12. 前記初期反射音および前記残響音のインパルス応答は、それぞれ第１インパルス応答および第２インパルス応答を含み、
    前記第１インパルス応答から前記第２インパルス応答に切り替える際に、前記第１インパルス応答を畳み込む音信号と、前記第２インパルス応答を畳み込む音信号と、をクロスフェードするクロスフェード処理部を備えた
    請求項８乃至請求項１１のいずれか１項に記載の音信号処理装置。
  13. 前記音源の位置情報を取得する位置情報取得部を備え、
    前記初期反射音制御信号生成部および前記残響音制御信号生成部は、取得した音源の位置情報に基づいて前記初期反射音制御信号および前記残響音制御信号を生成する、
    請求項８乃至請求項１２のいずれか１項に記載の音信号処理装置。
  14. 前記音信号取得部は、前記残響音のインパルス応答を畳み込む音信号を、無指向性マイクから入力する、
    請求項８乃至請求項１３のいずれか１項に記載の音信号処理装置。
  15. 音源の音信号を取得し、
    前記音信号に、前記音源の場所に応じた初期反射音のインパルス応答を畳み込んで初期反射音制御信号を生成し、
    前記音信号に、残響音のインパルス応答を畳み込んで残響音制御信号を生成する、
    処理を音信号処理装置に実行させる音信号処理プログラム。
JP2020096757A 2020-06-03 2020-06-03 音信号処理方法、音信号処理装置および音信号処理プログラム Active JP7524614B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020096757A JP7524614B2 (ja) 2020-06-03 2020-06-03 音信号処理方法、音信号処理装置および音信号処理プログラム
CN202110550548.3A CN113766395A (zh) 2020-06-03 2021-05-20 音信号处理方法、音信号处理装置及音信号处理程序
US17/329,291 US11749254B2 (en) 2020-06-03 2021-05-25 Sound signal processing method, sound signal processing device, and storage medium that stores sound signal processing program
EP21177095.3A EP3920176A3 (en) 2020-06-03 2021-06-01 Sound signal processing method, sound signal processing device, and sound signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020096757A JP7524614B2 (ja) 2020-06-03 2020-06-03 音信号処理方法、音信号処理装置および音信号処理プログラム

Publications (2)

Publication Number Publication Date
JP2021189364A true JP2021189364A (ja) 2021-12-13
JP7524614B2 JP7524614B2 (ja) 2024-07-30

Family

ID=76217763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020096757A Active JP7524614B2 (ja) 2020-06-03 2020-06-03 音信号処理方法、音信号処理装置および音信号処理プログラム

Country Status (4)

Country Link
US (1) US11749254B2 (ja)
EP (1) EP3920176A3 (ja)
JP (1) JP7524614B2 (ja)
CN (1) CN113766395A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7179079B2 (ja) * 2018-10-09 2022-11-28 ローランド株式会社 効果音発生方法、及び情報処理装置
US11924623B2 (en) * 2021-10-28 2024-03-05 Nintendo Co., Ltd. Object-based audio spatializer

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2737595B2 (ja) 1993-03-26 1998-04-08 ヤマハ株式会社 音場制御装置
WO1995034883A1 (fr) * 1994-06-15 1995-12-21 Sony Corporation Processeur de signaux et dispositif de reproduction sonore
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
JP6088747B2 (ja) 2012-05-11 2017-03-01 日本放送協会 インパルス応答生成装置、インパルス応答生成システム及びインパルス応答生成プログラム
JP6227295B2 (ja) 2013-06-25 2017-11-08 日本放送協会 空間音響生成装置およびそのプログラム
CN104407328B (zh) * 2014-11-20 2017-03-01 西北工业大学 基于空间脉冲响应匹配的封闭空间声源定位方法及系统
CN106772245A (zh) * 2015-11-19 2017-05-31 华为技术有限公司 声源定位方法和装置
CN108605193B (zh) * 2016-02-01 2021-03-16 索尼公司 声音输出设备、声音输出方法、计算机可读存储介质和声音系统
US10388268B2 (en) * 2017-12-08 2019-08-20 Nokia Technologies Oy Apparatus and method for processing volumetric audio
US20200402496A1 (en) * 2018-03-15 2020-12-24 Sony Corporation Reverberation adding apparatus, reverberation adding method, and reverberation adding program
US10764703B2 (en) * 2018-03-28 2020-09-01 Sony Corporation Acoustic metamaterial device, method and computer program
US10777214B1 (en) * 2019-06-28 2020-09-15 Amazon Technologies, Inc. Method for efficient autonomous loudspeaker room adaptation
US10757528B1 (en) * 2019-10-11 2020-08-25 Verizon Patent And Licensing Inc. Methods and systems for simulating spatially-varying acoustics of an extended reality world

Also Published As

Publication number Publication date
CN113766395A (zh) 2021-12-07
EP3920176A2 (en) 2021-12-08
EP3920176A3 (en) 2022-02-23
US20210383788A1 (en) 2021-12-09
US11749254B2 (en) 2023-09-05
JP7524614B2 (ja) 2024-07-30

Similar Documents

Publication Publication Date Title
JP4819823B2 (ja) 音響システム駆動装置、駆動方法および音響システム
JP2569872B2 (ja) 音場制御装置
EP3920176A2 (en) Sound signal processing method, sound signal processing device, and sound signal processing program
US11895485B2 (en) Sound signal processing method and sound signal processing device
JP7524613B2 (ja) 音信号処理方法、音信号処理装置および音信号処理プログラム
US11900913B2 (en) Sound signal processing method and sound signal processing device
US11615776B2 (en) Sound signal processing method and sound signal processing device
JP3369200B2 (ja) 多チャンネルステレオ再生方式
Ellison et al. Optimizing acoustics for spoken word using active acoustics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240701

R150 Certificate of patent or registration of utility model

Ref document number: 7524614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150