JP2007300403A - 音場制御装置 - Google Patents

音場制御装置 Download PDF

Info

Publication number
JP2007300403A
JP2007300403A JP2006126870A JP2006126870A JP2007300403A JP 2007300403 A JP2007300403 A JP 2007300403A JP 2006126870 A JP2006126870 A JP 2006126870A JP 2006126870 A JP2006126870 A JP 2006126870A JP 2007300403 A JP2007300403 A JP 2007300403A
Authority
JP
Japan
Prior art keywords
sound
sound field
signal
reverberation
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006126870A
Other languages
English (en)
Other versions
JP4668118B2 (ja
Inventor
Maki Katayama
真樹 片山
Kenichiro Takeshita
健一朗 竹下
Katsuhiko Masuda
克彦 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006126870A priority Critical patent/JP4668118B2/ja
Priority to US11/790,674 priority patent/US8199921B2/en
Priority to EP07008518.8A priority patent/EP1850638A3/en
Priority to CN200710097211.1A priority patent/CN101064974B/zh
Priority to CN201110276417.7A priority patent/CN102387460B/zh
Publication of JP2007300403A publication Critical patent/JP2007300403A/ja
Application granted granted Critical
Publication of JP4668118B2 publication Critical patent/JP4668118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】マルチチャンネル音声を再生する音響システムが設置される音場環境に応じて、間接音成分の出力バランス、間接音成分の周波数特性を調整できる音場制御装置を提供する。
【解決手段】音響装置を設置するリスニングルームの音場を測定する機能と、マルチチャンネル音声信号のいずれかの信号を基に出力レベルを調整して出力するフロント入力信号合成部、サラウンド入力信号合成部と、これに所定のホールの音響データから形成した反射音のディレイ、ゲインの情報を基にこのホールの音響効果を作り出すフロント音場形成部、サラウンド音場形成部とを備える。音場を測定する機能は、音響装置が置かれる音場にマイクを設置した状態でスピーカ各々から1つずつ時間を置いてテスト音声を発生させ、取得したデータのうちから数10ミリ秒後以降の音声データのレベルを取得し、これらを基に出力バランス、周波数特性を調整する。
【選択図】図3

Description

本発明は、マルチチャンネル音声の再生時に音場を調整する音場制御装置に関する。
近時、マルチチャンネル音声を再生できる音響システムをリビングルームやリスニングルームなどに設けて、家の中で映画や音楽などのコンテンツを楽しむユーザが増加している。ユーザが、例えば映画のDVDをこのAVシステムで再生すると、複数のスピーカからマルチチャンネルの音声が再生されるので、ユーザは周囲から音に包まれる感覚を体感しながら映画を楽しむことができる。
このような音響システムでは、音像定位を正確に行ために、各チャンネルのバランスを調整することが重要である。このバランス調整をするために、テスト音声を各チャンネルのスピーカからそれぞれ1つずつ出力し、マイクでリスニングルームの音場を測定して、音量や周波数特性の調整をするシステムが実用化されている。このように実用化されている音響システムとして、例えば、YPAO(Yamaha Parametric Room Acoustic Optimizer、商標)などがある。
特許文献1等には、音響再生装置及び立体音響再生装置に関し、直接音と特定の集会施設の残響をシミュレートした効果音との比率を調整する旨の記載がある。
特開2002−374599号公報
ところで、音場とは仮想空間における音の響きを模擬的に再現したものであるため、音場を良好に形成するためには、リスニングルームの残響のバランスが重要である。特に、ホール等の集会施設の音響をシミュレーションして、これを模擬した響きを付加してリスニングルームから出力するような場合にはこのバランスが重要となる。
しかしながら、リスニングルームは、響きのバランスが悪い場合がほとんどである。例えば、一面が壁であるか、カーテンであるか、家具であるかなどにより、音声の吸音、反射の状態や、定在波の生じ方の状態が異なり、リスニングルーム内部の響きがアンバランスになりやすい。
このため、たとえスピーカからの音量レベルのバランスを調整しても残響のアンバランスはそのまま残ってしまい、全体としてバランスの良い音場が形成できない問題があった。
また、上述したように、リスニングルームは、その形状や家具やカーテン等の存在によって、周波数特性がフラットでないことが一般的である。即ち、部屋の形状により特定周波数が定常波として強調されたり、カーテンや家具等により特定の周波数が吸音されて弱められたりする。
しかし、この周波数特性を調整しようとして、オーディオ信号の周波数特性を直接操作すると、非常に音楽的に失われるものが大きい問題があった。例えば、リスニングルームの周波数特性に大きなディップが生じている場合に、周波数特性に大きなピークが存在するフィルタをオーディオ信号に直接かけることにより調整した場合、フィルタをかけた後の音場の周波数特性としてはフラットであるにもかかわらず、直接音成分が不自然となり非常に聞きづらいという問題が生じていた。
そこで、本発明は、マルチチャンネル音声を再生する音響システムが置かれる音場環境に応じて、残響効果音の出力バランス、残響効果音の周波数特性を調整できる音場制御装置を提供することを目的とする。
この発明は、上記の課題を解決するための手段として、以下の構成を備えている。
(1)本発明は、
同一の空間に設置された複数のスピーカに対してオーディオ信号を供給して、前記空間に音場を形成する音場制御装置であって、
スピーカから出力されたのち前記空間の壁面で反射して聴取位置へ到達する間接音のレベルを、前記複数のスピーカの各々について測定する測定手段と、
前記オーディオ信号に基づき、前記間接音を補強する残響模擬信号を生成する残響付与部と、
前記複数のスピーカの各々に対応して設けられ、各スピーカの間接音のレベルに基づき、間接音と残響模擬信号との合成レベルが各スピーカ間でバランスするように、前記残響模擬信号のレベルを制御して、対応するスピーカに供給する残響バランス調整部と、
を備えた。
本発明では、測定手段が間接音のレベルを、前記複数のスピーカの各々について測定し、これらの間接音のレベルに基づいて、残響バランス調整部が間接音と残響模擬信号との合成レベルが各スピーカ間でバランスするように、前記残響模擬信号のレベルを制御している。これにより、音響システムが設置される室内の周波数特性の間接音のアンバランス、不足感をより自然に補うことができる。例えば、残響が少ない方向に設置されたスピーカの残響効果音の出力については、この残響模擬信号の出力を大きくして残響の少なさを補うことができる。したがって、本発明では、音響装置が置かれる音場環境に応じて、前記間接音を補強する残響模擬信号の出力バランスを制御できる。
(2)本発明は、
前記複数のスピーカに供給されるオーディオ信号は、マルチチャンネルのオーディオ信号であり、前記残響付与部は、前記マルチチャンネルのオーディオ信号の一部または全部を合成した信号に基づいて残響模擬信号を生成する。
特に、マルチチャンネルのオーディオ信号を周囲に配置したスピーカから音声を聴取した場合には、周囲の間接音のアンバランスがあったときは、例えば、響きがよくない方向に配置されたスピーカがあったときは、その方向が目立ってしまい、マルチチャンネルのオーディオのサラウンド効果を十分奏しない恐れがある。本発明では、この残響模擬信号の出力バランスを調整できるので、このサラウンド効果本来の効果を発揮させることができる。
(3)本発明は、
入力したオーディオ信号をスピーカに供給する直接供給部と、
前記スピーカから出力された音声が聴取位置へ到達したときの周波数特性を測定する測定手段と、
前記オーディオ信号の残響音を生成する残響付与部と、
前記測定された周波数特性の一部または全部を補償するフィルタ特性で前記残響音を濾波して前記スピーカに供給するフィルタと、
を備えた。
本発明では、残響付与部がオーディオ信号の残響音を生成し、フィルタが、スピーカから聴取位置までの測定された周波数特性の一部または全部を補償するフィルタ特性で前記残響音を濾波して前記スピーカに供給する。これにより、スピーカから聴取位置までの周波数特性がフラットでない場合に、残響音の周波数特性を調整しているので、音響システムが設置される音場の周波数特性の不足感をより自然に補うと共に、直接音成分の周波数特性のピークによる聞きづらさ、音の硬さをより自然に抑えることができる。
(4)本発明は、
前記直接供給部は、複数チャンネルのオーディオ信号を入力して、各々別々のスピーカに供給するものであり、
前記測定手段及び前記フィルタを前記複数チャンネル分備えた。
本発明では、各チャンネルのオーディオ信号が聴取位置に到達したときの周波数特性をフラットにすることができる。
(5)本発明は、
前記残響付与部は、前記複数チャンネルのオーディオ信号の一部または全部を合成した信号に基づき残響模擬信号を生成する。
本発明では、音場を各スピーカことに分けるのではなく、複数スピーカ毎(例えば前と後ろ)に分けるので制御が容易になる。
(6)本発明は、
前記フィルタは、前記測定された周波数特性の一部を補償するフィルタ特性に設定され、
前記直接供給部に、前記測定された周波数特性の一部を補償するフィルタ特性で前記オーディオ信号の周波数特性を調整する直接音フィルタを備えた。
本発明では、さらに直接供給部が周波数特性を調整しているので、直接音、間接音共に周波数特性を調整できる。
本発明によれば、スピーカが設置される空間の残響のアンバランスや周波数特性の凹凸を補正することができるため、方向によって響きが異なる部屋や特定の周波数成分が吸音されてしまう部屋においても、良好な音場を形成することができる。
<本発明の実施形態の音響システム、音場制御装置の概略説明>
図1を用いて、本発明の実施形態の音響システムとこれに含まれる音場制御装置の概略について説明する。図1は、音響システム(1の符号で図示。)の構成を示すブロック図であり、音場制御装置10を含んでいる。図2は、音場制御装置10の処理部の詳細図である。音場制御装置1は、1例として7チャンネル(以下「チャンネル」を適宜「ch」と略す。)のマルチチャンネル音声を出力する。
図1では、聴取者Uの前方の位置(図中三角形の鼻がある方向)にLch、Rchのスピーカ21、23を配置し、Lch(前左)、Rch(前右)の上方に主として残響効果を与える残響効果音を出力するFLch、FRchのスピーカ24、25を配置し、Lch(前左)、Rch(前右)の中央にCch(前方)、後方にRLch(後左)、RRch(後右)のスピーカ26、27を配置する。
本実施形態の装置は、入力信号をそのまま増幅して出力する直接音の他に、所定のホール等で測定した残響を模擬した残響効果音をこれらのスピーカから出力し、フロント音場及びサラウンド音場の2つの音場を形成する。フロント音場はユーザUの前方に奥行き感及び立体感を与え、ユーザUを前方から包み込む音場である。サラウンド音場は聴取位置のユーザUの後方(RLch、RRchのスピーカがある方)から包み込む音場である。これらの音場の形成は、残響効果音を出力するための残響模擬信号を合成することにより行う。残響模擬信号は、マルチチャンネル音声信号を合成した信号を所定のホール等で測定した残響特性を模擬したフィルタの処理をすることにより合成される。
また、本実施形態の装置は、聴取位置にマイクMを設置して各スピーカから順次テスト音声を出力し、マイクMが収音したテスト音声の応答信号から直接音成分、間接音成分のレベルを求める。この間接音成分のレベルの比から、残響模擬信号の出力比を調整する。これにより、例えば吸音性が高く、この残響が少ない方向に設置されたスピーカについては、残響効果音の出力を大きくして、残響の少なさを補うことができるし、残響が大きい方向に設置されたスピーカについては、残響効果音の出力を小さく調整することができる。このように、本実施形態の音場制御装置は、単に所定のホールの残響効果をユーザに与えるのでなく、音場の残響の不足分を補うなどにより、残響のアンバランスを調整する。
<本発明の実施形態の音場制御装置の構成の説明>
図1、図2を用いて、本実施形態の音場制御装置の構成について説明する。音場制御装置10は、DSPデコーダ11、信号処理部12、D/Aコンバータ13、ローパスフィルタ14、電子ボリューム15、パワーアンプ16、コントローラ17、メモリ18、操作部19、及び表示部20を備えている。また、音場制御装置1のパワーアンプ16には、スピーカ21〜27が接続されている。コントローラ17は、音場測定部171を備えている。また、音響システム1は音場測定部171を動作させるため、音場制御装置10の他にマイクMとA/D変換器172を備えている。
図1に示すように、リスニングルーム101内には、ユーザUの聴取位置の前方左、前方中央、前方右にフロントスピーカとしてL、C、R各チャンネルのスピーカ21、22、23が配置されている。また、ユーザUの聴取位置の前方左右及び後方左右に音場制御用スピーカとしてFL、FR、RL、RR各チャンネルのスピーカ24、25、26、27が配置されている。
なお、信号処理部12から出力されるFLch、FRchの信号は、前述したフロント音場を形成するための残響模擬信号である。また、RLch、RRchは、前述したサラウンド音場を形成するための残響模擬信号とマルチチャンネル音声信号のLSch、RSchを合成した信号である。
DSPデコーダ11には、DIR(Digitalaudio Interface Receiver)32、A/Dコンバータ34、及びHDMI(High Definition Multimedia Interface)(登録商標)レシーバ36が接続されている。DSPデコーダ11は、HDMI(登録商標)レシーバ36、A/Dコンバータ34を介してディジタルビットストリームを取り込んでLch(チャンネル)、Rch、Cch、LSch、及びRSchの5チャンネルのディジタル音声信号(PCM信号)に変換して、信号処理部12へ出力する。また、DSPデコーダ11は、AAC(登録商標)、Dolby Digital(登録商標)、DTS(登録商標)、MPEG−1/2、MPEG−2マルチチャンネル、MP3など多様なデータフォーマットをサポートしており、外部入力信号を図外のデコーダにより5チャンネルのディジタル音声信号(PCM信号)にデコードする。また、DSPデコーダ11は、例えばDVDプレーヤから5チャンネルのディジタル音声信号(PCM信号)が直接入力された場合には、これらの信号をそのまま信号処理部12へ出力する。
信号処理部12はDSPで構成され、DSPデコーダ11の出力に対し、残響模擬信号の付加等の各種信号処理を行う。信号処理部12で処理されたディジタル音声信号は、D/Aコンバータ13に出力される。
D/Aコンバータ13は、信号処理部12から入力されたLch、Rch、Cch、RLch、RRch、FLch、FRchの合計7チャンネルのディジタル音声信号をそれぞれアナログ音信号に変換する。
ローパスフィルタ14は、D/Aコンバータ13で生成された各アナログ音信号からナイキスト周波数以上の帯域における折り返しノイズを除去する。
電子ボリューム15は、操作部19の操作に応じてコントローラ17から出力された制御信号に応じて、ローパスフィルタ14から出力された各チャンネルの信号の音量を調整する。
パワーアンプ16は、電子ボリューム15で調整されたアナログ音信号を増幅して各スピーカ21〜27へ出力する。
スピーカ21〜27は、パワーアンプ16から出力されたアナログ音信号に応じた音を放音する。すなわち、スピーカ21はLch、スピーカ22はCch、スピーカ23はRch、スピーカ24はFLch、スピーカ25はFRch、スピーカ26はRLchとLSch、スピーカ27はRRchとRSchの音をそれぞれ放音する。
コントローラ17は、操作部19で行われた操作に応じて各部を制御する。例えば、操作部19で音量の調整操作が行われると、コントローラ17はこの操作に応じた制御信号を電子ボリューム15に出力して、各スピーカ21〜27から放音する音の音量を変更する。コントローラ17としては、CPUやMPUが好適である。この場合、音場測定部17は、ソフトウェア的に実現される。
マイクMはユーザUの位置に設置され、マイクMとAD変換器と音場測定部171がこの順に接続されている。
マイクMは1chの無指向性マイクであり、音声をアナログ信号に変換する。A/D変換器172は、このアナログ信号をディジタル信号に変換する。入出力部は入出力インターフェースとメモリで構成し、このディジタル信号を一時的に格納する。
音場測定部171はインパルス音等のテスト音声を各スピーカ21〜27から順次出力し、マイクMで収音した音声信号をA/D変換器172を介して取り込む。この取り込んだ信号は、各スピーカからマイクMに至る系としてのリスニングルームの応答信号である。音場測定部171は、この応答信号を解析して、スピーカから直接マイクMに到来する音声成分である直接音成分、壁に反射してマイクMに到来する音声成分である間接音成分それぞれの音声信号の大きさ、周波数特性を計算する。
音場測定部171は、直接音成分、間接音成分のレベルの計算をスピーカ21〜27の応答信号それぞれについて行う。これらを比較することにより、スピーカ21〜27から音声が出力された場合の直接音、残響音のアンバランスを把握することができる。
メモリ18は、コントローラ17で行うプログラムや各種制御用データを記憶している。操作部19は、音場制御装置1に対してユーザが各種の操作・設定などの入力を行うためのものである。表示部20は、音場制御装置1からユーザに対する伝達事項を表示するためのものである。
図2を用いて、信号処理部12の構成について説明する。信号処理部12は、主として直接音を処理する主信号線40と、前述したフロント音場、サラウンド音場を生成するための残響効果音を生成する音場生成部121を備えている。
主信号線40は、マルチチャンネル音声信号の周波数特性を調整するフィルタ401〜404を備えている。
音場生成部121は、聴取者前方のフロント音場を形成するフロント音場形成部52、サラウンド音場を形成するサラウンド音場形成部56を備えている。また、音場生成部121は、LSch、RSchの差信号を生成する引算器42と、この差信号とLch、Rch、Cchの信号を合成するフロント入力信号合成部44とを備え、この合成信号がフロント音場形成部52に入力される。また、音場生成部121には、LchとRchの入力の差信号を生成する引算器46と、この差信号とLch、Rchの信号を合成するサラウンド入力信号合成部48とを備え、この合成信号がサラウンド音場形成部56に入力される。
さらに、音場生成部121は、フロント音場形成部52の出力信号のレベルのバランスを制御するフロント音場信号レベル制御部80、サラウンド音場形成部56の出力信号のレベルを調整するサラウンド音場信号レベル制御部81を備えている。
また、信号処理部12は、フロント音場信号レベル制御部80の出力とサラウンド音場信号レベル制御部81の出力を加算する加算器62〜65、フロント音場とサラウンド音場を形成する残響効果音の周波数特性を調整するフィルタ91〜94を備えている。さらに、及び後方の音声信号チャンネルLSch、RSchに加算器62〜65のRLch、RRchの出力を加算する加算器95、96を備えている。
5チャンネルのディジタル音声信号は、DSPデコーダ11により生成され、主信号線40を介してD/Aコンバータ13へ送出される。この5チャンネルの信号は、途中に設けたフィルタ401〜404によって周波数特性が調整される。フィルタ401〜404は、コントローラ17により指示されたイコライザゲインに基づき、マルチチャンネル音声信号のL、R、LS、RSの各チャンネルの周波数特性を調整する。このイコライザゲインは、前述のコントローラ17が、音場測定部171の測定結果に基づいて設定する。また、加算器95、96により、フィルタ401〜404の出力のうちフィルタ403、404の出力に対して、残響模擬信号であるRLch、RRchが加算される。
フロント入力信号合成部44は、入力信号のうちLch、Cch、Rchの信号、及び引算器42から出力された差信号(LS−RS)をそのまま合成するか、または重みづけて合成する。この合成した信号を合成フロント信号Fと呼ぶ。ここで、フロント入力信号合成部44にサラウンドチャンネル間の差信号(LS−RS)を入力する理由は、差信号(LS−RS)は残響成分が主であり、これを適当な量でフロント信号に取り込むことによって、フロント音場形成部52で生成するフロント音場の奥行きをより深くすることができるからである。
サラウンド入力信号合成部48は、入力信号のうちサラウンド信号LS、RS、及び引算器46から出力された差信号(L−R)をそのまま合成するか、または重みづけて合成する。この合成した信号を合成サラウンド信号Sと呼ぶ。そして、サラウンド入力信号合成部48は、この合成した信号をサラウンド音場形成部56へ出力する。
ここで、サラウンド入力信号合成部48に、フロント信号の差信号(L−R)を入力する理由は、差信号(L−R)は残響成分が主であり、これを適当な量でサラウンド信号に取り込むことによって、サラウンド音場形成部48で生成するサラウンド音場の奥行きをより深くすることができるからである。
フロント音場形成部52は、反射音パラメータメモリ72、及び畳み込み演算部74を備えている。残響は、複数の反射音が合成されたものであるため、フロント音場形成部52は、合成フロント信号Fの複数の反射音の模擬信号を合成することにより、ユーザUの聴取位置の前方にフロント音場を形成するための残響模擬信号を生成する。この複数の反射音の設定の情報は、反射音パラメータメモリ72に反射音パラメータとして格納されている。畳み込み演算部74はFIRフィルタで構成され、フィルタ係数として反射音パラメータが設定され、合成フロント信号Fに対して、フィルタの畳み込み演算を行なって、フロント音場信号レベル制御部80へ出力する。
サラウンド音場形成部56は、反射音パラメータメモリ76、及び畳み込み演算部78を備えており、残響は、複数の反射音が合成されたものであるため、サラウンド音場形成部56は、合成サラウンド信号Sの複数の反射音の模擬信号を合成することにより、ユーザUの聴取位置の前方にサラウンド音場形成するための残響模擬信号を生成する。この複数の反射音の設定の情報は、反射音パラメータメモリ76に反射音パラメータとして格納されている。畳み込み演算部78はFIRフィルタで構成され、フィルタ係数として反射音パラメータが設定され、合成サラウンド信号Sに対して、フィルタの畳み込み演算を行なって、フロント音場信号レベル制御部81へ出力する。
フロント音場形成部52、サラウンド音場形成部56の畳み込み演算部74、78は、1段のFIRフィルタで構成しても、複数のFIRフィルタをシリーズに接続して構成してもよい。
フロント音場信号レベル制御部80は、フロント音場形成部52が生成した残響模擬信号FL1、FR1、RL1、RR1のレベルを、音場測定部171で求めた直接音成分、間接音成分のレベルに基づいて調整する。すなわち、残響模擬信号は間接音成分を補強するものであるため、リスニングルームにおける各スピーカ方向間の間接音成分がバランスするように(且つ、各スピーカ方向において直接音成分の比率が適切になるように)、残響模擬信号のレベルを調整する。このように調整された各残響模擬信号FL3、FR3、RL3、RR3を加算器62〜65へ出力する。
サラウンド音場信号レベル制御部81は、サラウンド音場形成部56が生成した残響模擬信号FL2、FR2、RL2、RR2のレベルを、音場測定部171で求めた直接音成分、間接音成分のレベルに基づいて調整する。すなわち、残響模擬信号は間接音成分を補強するものであるため、リスニングルームにおける各スピーカ方向間の間接音成分がバランスするように(且つ、各スピーカ方向において直接音成分の比率が適切になるように)、残響模擬信号のレベルを調整する。このように調整された各残響模擬信号FL4、FR4、RL4、RR4を加算器62〜65へ出力する。
加算器62〜65は、フロント音場信号レベル制御部80から出力された残響模擬信号FL3、FR3、RL3、RR3及びサラウンド音場信号レベル制御部81から出力された残響模擬信号FL4、FR4、RL4、RR4を合成して、それぞれフィルタ91〜94へ出力する。
フィルタ91〜94は、IIRフィルタ(InfiniteImpulse Response)であり、音場測定部171の測定結果に基づいて加算器62〜65が出力した、合成された残響模擬信号の周波数特性を調整する。
加算器95は、フィルタ93から出力されたRLchの残響模擬信号と、マルチチャンネル音声信号の1つである左サラウンド信号LSとを合成してD/Aコンバータ13へ出力する。
加算器96は、フィルタ94から出力されたRRchの残響模擬信号とマルチチャンネル音声信号の1つである右サラウンド信号RSとを合成してD/Aコンバータ13へ出力する。
次に図3のフローチャートを用いて、本実施形態の音場制御装置の音場測定部171の動作手順について説明する。
ST1では、マイクMを設置するように誘導する表示を表示部20に出力する。例えば、表示部20に「リスニングポジションにマイクをセットしてください。」と表示する。
ST2では、マイクMをセットしたことを確認する確認操作が操作部19から行われたか判断する。この操作がない限りST2の判断はNとなり待機する。Yとなれば、次に進む。
ST3では、スピーカ21、23、26、27に対応するLch、Rch、LSch、RSchの中から順次1チャンネルを選択し、選択したチャンネルにテスト音声を入力してL、R、RL、RRの各チャンネルのスピーカからテスト音声を発生させる。このテスト音声としては、インパルス音や、タイムストレッチドパルスを用いる。
ST4では、マイクMで収音したテスト音声の応答信号を記憶する。
以上のST3〜ST4をスピーカごとに繰り返して各スピーカ方向の応答信号を採取する。
図3の例では、以下のST5、ST6とST7、ST8を並列に実行する。
ST5では、記憶した応答信号のうち直接音成分のレベルを測定する。具体的には、直接音成分に関係する最初の10〜30ミリ秒の区間のデータのみ取り出してレベルの積分値を計算し、時間平均値を計算する。この計算は各スピーカについて行う。
ST6では、記憶した応答信号のうち直接音成分の周波数特性を測定する。具体的には、ST5と同様、直接音成分に関係する最初の10〜30ミリ秒の区間のデータのみ取り出してこのデータについてフーリエ変換して周波数特性を計算する。この計算は各スピーカについて行う。
ST7では、記憶した応答信号のうち間接音成分のレベルを測定する。具体的には、直接音成分に関係する最初の10〜30ミリ秒の区間のデータは無視して、それ以後の100ミリ秒間のデータについてレベルの積分値を計算し、時間平均値を計算する。この平均値の計算は各スピーカについて行う。
ST8では、記憶した応答信号のうち間接音成分の周波数特性を測定する。ST7と同様、直接音成分に関係する最初の10〜30ミリ秒の区間のデータは無視して、それ以後の100ミリ秒間のデータについてフーリエ変換して周波数特性を計算する。この計算は各スピーカについて行う。
ST9では、ST5〜ST8で計算した値をそれぞれ1セットにしてパラメータとして格納する。さらに、直接音成分と間接音成分のレベルの比を求めて、この比率をL、R、RL、RRごとに格納する(この値を用いたレベル調整方法は、図4の説明で後述する)。
なお、以上のST5〜ST8は、いずれを先に行なってもよく、スピーカごとに計算を行なってもよい。また、ST3、ST4だけでなく、ST3〜ST8までのステップ全体をスピーカごとに計算を繰り返して行なってもよい。
<コントローラによる周波数特性の補正方法の説明>
フィルタ401〜405、フィルタ91〜94は、周波数特性を調整するイコライザフィルタである。以下、図2に戻りこれらフィルタのイコライザゲインの調整方法について説明する。原理的には、この調整は音場測定部171を用いて測定したリスニングルーム101の各スピーカごとの周波数特性の逆フィルタをイコライザゲインとしてそれぞれ設定すればよい。しかし、マルチチャンネル音声信号のL、R、C、LS、RSの各チャンネルの音声信号(以下、これを「直接信号」という。)の周波数特性を操作すれば、周波数特性がフラットになるにもかかわらず、音楽的に失われるものが大きい。例えば、リスニングルーム101の周波数特性にディップがある場合に、フィルタ401〜404の特性に、ディップを補償するピークを持たせた場合、周波数特性がフラットになるにもかかわらず、聞きづらい、または音が硬い印象をユーザUに与える。
そこで、本実施形態の音場制御装置10は、この直接信号の周波数特性を補償するためのフィルタ特性(イコライザゲイン)の調整量の少なくとも半分以上を残響模擬信号の周波数特性を調整するフィルタ91〜94に割り当てるのが望ましい。
図4を用いて、フィルタ401〜404、フィルタ91〜94のイコライザゲインの設定方法について具体的に説明する。図4はLchに関係するフィルタの設定方法をフローで表した図である。このフローではLchの直接出力の周波数特性を調整するフィルタ401と、Lchの上方に配置するFLchスピーカ24から出力される残響模擬信号の周波数特性を調整するフィルタ91にイコライザゲインを設定する。
(ST11)音場測定部171を用いて、Lchからの伝搬される音場のうちの直接音成分の周波数特性を測定する。この処理は、図3のST6の動作に対応している。
(ST12)ST11で求めた周波数特性の逆フィルタを求め、最小のゲインの値を0dBになるようゲインを調整する。
(ST13、ST14)ST12で求めたゲインをそれぞれフィルタ401、91に割り当てる。ST12で求めたゲインの一部を直接信号用に割り引いたdB値をフィルタ401のイコライザの値として割り当てる(ST13)。図4では、ST12で求めたゲインの1/3[dB値]を割り当てている。ST14では、フィルタ401、91に割り当てて音場制御装置10の出力を合わせたとき、直接音成分の周波数ごとの聴取位置でのパワーレベルがフラットになるようにフィルタ91のイコライザゲインを割り当てる。
(ST15)ST13で求めたイコライザゲインの値をピークが0dBになるように変換した後、この変換した値をフィルタ401のイコライザゲインの値として設定する。
このように、フィルタ401を設定すると、直接信号に対する周波数特性の調整量を減らした分を残響模擬信号に対する周波数特性の調整で補うことにより、直接信号の音質の変化を低減でき、聴取者が聞き取る音声のうち直接音成分がより自然になる。
(ST16)音場測定部171を用いて、Lchからの伝搬される音場のうちの間接音成分の周波数特性を測定する。この処理は、図3のST8の動作に対応している。
(ST17)ST11で求めた周波数特性の逆フィルタを求め、最小のゲインの値を0dBになるようゲインを調整する。
(ST18)ST17で求めたゲインとST14でフィルタ91に割り当てられたゲインを乗じて、イコライザゲインを求める。
(ST19)ST18で求めたイコライザゲインのピークを0dBになるよう変換して、フィルタ91に設定する。
<コントローラによる周波数特性の補正方法の補足説明>
なお、以上の図4の説明では、Lchについて設定したが、Rchとその上方にあるFRchの周波数特性をそれぞれ調整するフィルタ402、フィルタ92についても同様に調整量を設定する。
また、RLchスピーカについては、LSchのフィルタ403の出力と、RLch(加算器65の出力)のフィルタ93の出力を加算器95により合成するが、フィルタ403、93についても図4で説明した方法と同様に設定する。
また、RRchスピーカについては、RSchのフィルタ404の出力とRRch(加算器65の出力)のフィルタ94の出力について加算器96により合成するが、このフィルタ94、404についても図4で説明した方法と同様に設定する。
<本実施形態の音場制御装置の補足説明>
また、フロント入力信号合成部44、サラウンド入力信号合成部48は、マルチチャンネル音声信号をそのまま入力しているが、ゲイン、周波数特性、位相特性を調整した後の信号を入力しても良い。
また、本実施形態の音場制御装置では、音場をサラウンドとフロントの2つに分けて、それぞれサラウンド音場形成部52とフロント音場形成部56を設けているが、音場の分割方法及びその制御方法はこれに限らない。音場ごとに音場形成部(サラウンド音場形成部52と同等のもの)を備えるようにする。例えば、スピーカごとに音場を測定し、サラウンド音場形成部52に相当するものを備えても良い。
また、フロント入力信号合成部44の合成、サラウンド入力信号合成部48の合成率、重み付けは、ソースを監視して動的に行なってもよい。
本実施形態の音場制御装置の構成を示すブロック図 本実施形態の信号処理部の構成を示すブロック図 本実施形態の音場制御装置の音場測定部の動作フロー図 本実施形態の音場制御装置のフィルタのイコライザゲインを調整する方法のフロー図
符号の説明
1−音場制御装置、 11−DSPデコーダ、
12−信号処理部、 121−音場生成部、 13−D/Aコンバータ
14−ローパスフィルタ、 15−電子ボリューム
16−パワーアンプ、 17−コントローラ、 171−音場測定部、
18−メモリ、 19−操作部、 20−表示部、 21〜27−スピーカ
40−主信号線、 401〜404−フィルタ
42−引算器、 44−フロント入力信号合成部
46−引算器、 48−サラウンド入力信号合成部、 52−フロント音場形成部
56−サラウンド音場形成部、 62〜65−加算器
72−反射音パラメータ、 74−畳み込み演算部
76−反射音パラメータ、 78−畳み込み演算部
80−フロント音場信号レベル制御部
81−サラウンド音場信号レベル制御部、 95〜96−加算器
101−リスニングルーム、 M−マイク、 U−ユーザ、 121−音場生成部

Claims (6)

  1. 同一の空間に設置された複数のスピーカに対してオーディオ信号を供給して、前記空間に音場を形成する音場制御装置であって、
    スピーカから出力されたのち前記空間の壁面で反射して聴取位置へ到達する間接音のレベルを、前記複数のスピーカの各々について測定する測定手段と、
    前記オーディオ信号に基づき、前記間接音を補強する残響模擬信号を生成する残響付与部と、
    前記複数のスピーカの各々に対応して設けられ、各スピーカの間接音のレベルに基づき、間接音と残響模擬信号との合成レベルが各スピーカ間でバランスするように、前記残響模擬信号のレベルを制御して、対応するスピーカに供給する残響バランス調整部と、
    を備えた音場制御装置。
  2. 前記複数のスピーカに供給されるオーディオ信号は、マルチチャンネルのオーディオ信号であり、前記残響付与部は、前記マルチチャンネルのオーディオ信号の一部または全部を合成した信号に基づいて残響模擬信号を生成する請求項1に記載の音場制御装置。
  3. 入力したオーディオ信号をスピーカに供給する直接供給部と、
    前記スピーカから出力された音声が聴取位置へ到達したときの周波数特性を測定する測定手段と、
    前記オーディオ信号の残響音を生成する残響付与部と、
    前記測定された周波数特性の一部または全部を補償するフィルタ特性で前記残響音を濾波して前記スピーカに供給するフィルタと、
    を備えた音場制御装置。
  4. 前記直接供給部は、複数チャンネルのオーディオ信号を入力して、各々別々のスピーカに供給するものであり、
    前記測定手段及び前記フィルタを前記複数チャンネル分備えた請求項3に記載の音場制御装置。
  5. 前記残響付与部は、前記複数チャンネルのオーディオ信号の一部または全部を合成した信号に基づき残響模擬信号を生成する請求項4に記載の音場制御装置。
  6. 前記フィルタは、前記測定された周波数特性の一部を補償するフィルタ特性に設定され、
    前記直接供給部に、前記測定された周波数特性の一部を補償するフィルタ特性で前記オーディオ信号の周波数特性を調整する直接音フィルタを備えた請求項3に記載の音場制御装置。
JP2006126870A 2006-04-28 2006-04-28 音場制御装置 Active JP4668118B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006126870A JP4668118B2 (ja) 2006-04-28 2006-04-28 音場制御装置
US11/790,674 US8199921B2 (en) 2006-04-28 2007-04-26 Sound field controlling device
EP07008518.8A EP1850638A3 (en) 2006-04-28 2007-04-26 Sound field controlling device
CN200710097211.1A CN101064974B (zh) 2006-04-28 2007-04-27 声场控制装置
CN201110276417.7A CN102387460B (zh) 2006-04-28 2007-04-27 声场控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006126870A JP4668118B2 (ja) 2006-04-28 2006-04-28 音場制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009185539A Division JP4893789B2 (ja) 2009-08-10 2009-08-10 音場制御装置

Publications (2)

Publication Number Publication Date
JP2007300403A true JP2007300403A (ja) 2007-11-15
JP4668118B2 JP4668118B2 (ja) 2011-04-13

Family

ID=38324008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006126870A Active JP4668118B2 (ja) 2006-04-28 2006-04-28 音場制御装置

Country Status (4)

Country Link
US (1) US8199921B2 (ja)
EP (1) EP1850638A3 (ja)
JP (1) JP4668118B2 (ja)
CN (2) CN101064974B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072104A (ja) * 2008-09-16 2010-04-02 Yamaha Corp 音場支援装置、音場支援方法およびプログラム
JP2011217068A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 音場制御装置
JP2012502557A (ja) * 2008-09-03 2012-01-26 ドルビー ラボラトリーズ ライセンシング コーポレイション 多重オーディオチャンネル群の再現の向上
JP4981995B1 (ja) * 2011-04-28 2012-07-25 パイオニア株式会社 音声信号処理装置及び音声信号処理プログラム
JP2012235456A (ja) * 2012-04-20 2012-11-29 Pioneer Electronic Corp 音声信号処理装置及び音声信号処理プログラム
JP2014143740A (ja) * 2009-05-19 2014-08-07 Yamaha Corp 音場制御装置
JP2015084584A (ja) * 2014-12-26 2015-04-30 ヤマハ株式会社 音場制御装置
US10028015B2 (en) 2012-12-28 2018-07-17 Yamaha Corporation Signal processing apparatus and signal processing method

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150051B2 (en) * 2007-12-12 2012-04-03 Bose Corporation System and method for sound system simulation
CN101661746B (zh) * 2008-08-29 2013-08-21 三星电子株式会社 数字音频混响器和数字音频混响方法
RU2570217C2 (ru) * 2009-08-03 2015-12-10 Аймакс Корпорейшн Системы и способы для контроля громкоговорителей кинотеатра и компенсации проблем качества
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
CN102064772A (zh) * 2010-11-18 2011-05-18 瑞声声学科技(深圳)有限公司 功放装置及其声场校准方法
EP2541542A1 (en) * 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
US9076424B2 (en) * 2011-04-06 2015-07-07 Panasonic Intellectual Property Management Co., Ltd. Active noise control device
JP6051505B2 (ja) * 2011-10-07 2016-12-27 ソニー株式会社 音声処理装置および音声処理方法、記録媒体、並びにプログラム
JP6019969B2 (ja) * 2011-11-22 2016-11-02 ヤマハ株式会社 音響処理装置
CN102611962B (zh) * 2012-02-09 2014-07-09 苏州上声电子有限公司 基于无线通信网络的扬声器阵列空域响应均衡与声场控制方法和装置
US9467792B2 (en) * 2013-07-19 2016-10-11 Morrow Labs Llc Method for processing of sound signals
CN103559876B (zh) * 2013-11-07 2016-04-20 科大讯飞股份有限公司 音效处理方法及系统
CN104703111B (zh) * 2013-12-09 2016-09-28 中国科学院声学研究所 一种房间混响合成方法
US10932078B2 (en) 2015-07-29 2021-02-23 Dolby Laboratories Licensing Corporation System and method for spatial processing of soundfield signals
JP6493245B2 (ja) * 2016-02-24 2019-04-03 オンキヨー株式会社 音場制御システム、解析装置、音響装置、音場制御システムの制御方法、解析装置の制御方法、音響装置の制御方法、プログラム、記録媒体
WO2018102976A1 (en) * 2016-12-06 2018-06-14 Harman International Industries, Incorporated Method and device for equalizing audio signals
US10299039B2 (en) * 2017-06-02 2019-05-21 Apple Inc. Audio adaptation to room
WO2020075225A1 (ja) * 2018-10-09 2020-04-16 ローランド株式会社 効果音発生方法、及び情報処理装置
CN111050264A (zh) * 2019-11-13 2020-04-21 歌尔股份有限公司 一种用于模拟单端麦克风的噪声测试系统及测试方法
US20230011357A1 (en) * 2019-12-13 2023-01-12 Sony Group Corporation Signal processing device, signal processing method, and program
JP7447533B2 (ja) * 2020-02-19 2024-03-12 ヤマハ株式会社 音信号処理方法および音信号処理装置
CN116907636B (zh) * 2023-09-12 2023-12-19 杭州爱华智能科技有限公司 一种噪声监测方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5850595A (ja) * 1981-09-22 1983-03-25 ヤマハ株式会社 効果付加装置
JPH04250800A (ja) 1991-01-28 1992-09-07 Matsushita Electric Ind Co Ltd サラウンドステレオ再生装置
JPH04256300A (ja) 1991-02-08 1992-09-10 Fujitsu Ten Ltd 音場制御装置
JPH04341000A (ja) 1991-05-17 1992-11-27 Fujitsu Ten Ltd 音響装置
CN1080759A (zh) * 1992-07-02 1994-01-12 联华电子股份有限公司 语音混响及音色变化方法
JP3147618B2 (ja) 1993-09-21 2001-03-19 ヤマハ株式会社 音響特性補正装置
JP2755208B2 (ja) 1995-03-30 1998-05-20 ヤマハ株式会社 音場制御装置
JP3175622B2 (ja) * 1997-03-03 2001-06-11 ヤマハ株式会社 演奏音場制御装置
JP2002330499A (ja) 2001-04-27 2002-11-15 Pioneer Electronic Corp 自動音場補正装置及びそのためのコンピュータプログラム
JP2002374599A (ja) 2001-06-13 2002-12-26 Nippon Hoso Kyokai <Nhk> 音響再生装置及び立体音響再生装置
CN1233200C (zh) * 2003-03-04 2005-12-21 Tcl王牌电子(深圳)有限公司 一种基于fpga的5.1声道虚拟声重放方法以及装置
JP4130779B2 (ja) * 2003-03-13 2008-08-06 パイオニア株式会社 音場制御システム及び音場制御方法
JP2005072676A (ja) 2003-08-27 2005-03-17 Pioneer Electronic Corp 自動音場補正装置及びそのためのコンピュータプログラム
US7474753B2 (en) * 2003-08-28 2009-01-06 Yamaha Corporation Sound field control apparatus, signal processing apparatus, sound field control program, and signal processing program
JP2005223646A (ja) * 2004-02-05 2005-08-18 Nippon Hoso Kyokai <Nhk> 音声調整卓
JP2005252467A (ja) * 2004-03-02 2005-09-15 Sony Corp 音響再生方法、音響再生装置および記録メディア
US6994568B2 (en) * 2004-03-04 2006-02-07 C-One Technology Corporation Portable storage device
WO2006009004A1 (ja) 2004-07-15 2006-01-26 Pioneer Corporation 音響再生システム
JP4222276B2 (ja) * 2004-08-27 2009-02-12 ソニー株式会社 再生システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014378B2 (en) 2008-09-03 2015-04-21 Dolby Laboratories Licensing Corporation Enhancing the reproduction of multiple audio channels
JP2012502557A (ja) * 2008-09-03 2012-01-26 ドルビー ラボラトリーズ ライセンシング コーポレイション 多重オーディオチャンネル群の再現の向上
JP2012147461A (ja) * 2008-09-03 2012-08-02 Dolby Lab Licensing Corp 多重オーディオチャンネル群の再現の向上
US10356528B2 (en) 2008-09-03 2019-07-16 Dolby Laboratories Licensing Corporation Enhancing the reproduction of multiple audio channels
KR101533347B1 (ko) * 2008-09-03 2015-07-03 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 오디오 채널의 재생을 강화하는 방법
JP2010072104A (ja) * 2008-09-16 2010-04-02 Yamaha Corp 音場支援装置、音場支援方法およびプログラム
JP2014143740A (ja) * 2009-05-19 2014-08-07 Yamaha Corp 音場制御装置
JP2011217068A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 音場制御装置
US8724821B2 (en) 2010-03-31 2014-05-13 Yamaha Corporation Sound field controller
JP4981995B1 (ja) * 2011-04-28 2012-07-25 パイオニア株式会社 音声信号処理装置及び音声信号処理プログラム
WO2012147196A1 (ja) * 2011-04-28 2012-11-01 パイオニア株式会社 音声信号処理装置及び音声信号処理プログラム
JP2012235456A (ja) * 2012-04-20 2012-11-29 Pioneer Electronic Corp 音声信号処理装置及び音声信号処理プログラム
US10028015B2 (en) 2012-12-28 2018-07-17 Yamaha Corporation Signal processing apparatus and signal processing method
JP2015084584A (ja) * 2014-12-26 2015-04-30 ヤマハ株式会社 音場制御装置

Also Published As

Publication number Publication date
JP4668118B2 (ja) 2011-04-13
CN102387460B (zh) 2014-08-06
US20070253564A1 (en) 2007-11-01
EP1850638A3 (en) 2013-09-25
CN101064974B (zh) 2012-05-23
EP1850638A2 (en) 2007-10-31
CN102387460A (zh) 2012-03-21
US8199921B2 (en) 2012-06-12
CN101064974A (zh) 2007-10-31

Similar Documents

Publication Publication Date Title
JP4668118B2 (ja) 音場制御装置
JP4893789B2 (ja) 音場制御装置
US10771914B2 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US20220182779A1 (en) Generating Binaural Audio in Response to Multi-Channel Audio Using at Least One Feedback Delay Network
US9264834B2 (en) System for modifying an acoustic space with audio source content
EP3048818B1 (en) Audio signal processing apparatus
EP3090573B1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
JP4234103B2 (ja) インパルス応答を決定する装置及び方法ならびに音声を提供する装置及び方法
JP2006101461A (ja) 立体音響再生装置
JP2016134769A (ja) オーディオ信号処理装置
JP4906293B2 (ja) 音場制御装置
JP6503752B2 (ja) オーディオ信号処理装置、オーディオ信号処理方法、プログラム、およびオーディオシステム
JP5194614B2 (ja) 音場形成装置
JP2009212944A (ja) 音響装置
Steven reproduction of simulated acoustic scenes with limited number of loudspeakers in a reverberant room

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090810

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090901

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4668118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150