JP2007124203A - マルチスピーカシステムおよびマルチマイクシステム - Google Patents

マルチスピーカシステムおよびマルチマイクシステム Download PDF

Info

Publication number
JP2007124203A
JP2007124203A JP2005312599A JP2005312599A JP2007124203A JP 2007124203 A JP2007124203 A JP 2007124203A JP 2005312599 A JP2005312599 A JP 2005312599A JP 2005312599 A JP2005312599 A JP 2005312599A JP 2007124203 A JP2007124203 A JP 2007124203A
Authority
JP
Japan
Prior art keywords
calibration
speaker
microphone
parameter
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005312599A
Other languages
English (en)
Other versions
JP4882338B2 (ja
Inventor
Yasuhito Tanase
廉人 棚瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005312599A priority Critical patent/JP4882338B2/ja
Publication of JP2007124203A publication Critical patent/JP2007124203A/ja
Application granted granted Critical
Publication of JP4882338B2 publication Critical patent/JP4882338B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】スピーカごと/マイクごとに故障の予測をすること。
【解決手段】本発明は、複数のスピーカと、前記複数のスピーカのうち、処理対象スピーカを特定する特定手段と、前記特定手段により特定された処理対象スピーカに対し校正信号を出力する校正信号出力手段と、前記処理対象スピーカから前記校正信号に従って出力された校正楽音を取得し、校正楽音信号を生成するマイクと、前記マイクから出力された校正楽音信号から、前記処理対象スピーカの特性を示す特性パラメータを抽出するパラメータ抽出手段と、前記パラメータ抽出手段により抽出された特性パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された特性パラメータに基づいて、前記複数のスピーカの各々における故障の発生を予測する故障予測手段とを有するマルチスピーカシステムを提供する。
【選択図】図1

Description

本発明は、マルチスピーカシステムおよびマルチマイクシステムにおいて、故障の予測および校正を容易にする技術に関する。
ホール、一般放送設備、あるいは非常用放送設備などに使用されるスピーカやマイクの故障診断や調整の際には、スピーカから実際に音を再生するということが行われる。調整者は、スピーカから再生された音を収音、分析して夫々のアンプまたは信号処理部のパラメータを適切に設定する。このような技術を用いたスピーカのメンテナンスは、特定の技能を有する調整者が休日などの非日常時に行う必要があり不便であった。このような問題を解決するため、例えば、特許文献1には、入力電力と出力音圧の線形的な関係を用いて自己診断を行う非常用放送設備が開示されている。
特開平6−233393号公報
特許文献1に記載の技術はスピーカの故障診断を行うものであるため、故障ありと判断されたスピーカのパラメータ調整は、結局調整者が行わなければならないという問題があった。また、特許文献1に記載の技術は出力音圧に基づいて故障診断を行うものであるため、出力音圧以外の特性については判断できないという問題もあった。また、故障が起きたことは判断されるものの、故障の予測をすることができないという問題があった。さらに、スピーカの故障診断を行うには、放送設備が設置されたホールや建物に赴いて検査を行う必要があり、煩雑であるという問題もあった。加えて、スピーカを複数並べたスピーカアレイにおいては、各スピーカの特性をほぼ同一とする必要があるが、特許文献1に記載の技術では複数のスピーカの特性を同一にすることは困難であるという問題もあった。
本発明は上述の事情に鑑みてなされたものであり、スピーカごと/マイクごとに故障の予測をすることが可能なスピーカ/マイクアレイシステムを提供する。また、本発明は、予測された故障に応じて予防措置(制御パラメータの調整)を遠隔地から行うことが可能なスピーカ/マイクアレイシステムを提供する。さらに、本発明は、スピーカ/マイクの特性を一定範囲内に調整することが可能なスピーカ/マイクアレイシステムを提供する。
上述の課題を解決するため、本発明は、複数のスピーカと、前記複数のスピーカのうち、処理対象スピーカを特定する特定手段と、前記特定手段により特定された処理対象スピーカに対し校正信号を出力する校正信号出力手段と、前記処理対象スピーカから前記校正信号に従って出力された校正楽音を取得し、校正楽音信号を生成するマイクと、前記マイクから出力された校正楽音信号から、前記処理対象スピーカの特性を示す特性パラメータを抽出するパラメータ抽出手段と、前記パラメータ抽出手段により抽出された特性パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された特性パラメータに基づいて、前記複数のスピーカの各々における故障の発生を予測する故障予測手段とを有するマルチスピーカシステムを提供する。
このマルチスピーカシステムによれば、スピーカごとに故障の発生を予測することができる。
好ましい態様において、このマルチスピーカシステムは、入力楽音信号に対し、前記複数のスピーカから音響ビームを形成するための信号処理を制御パラメータに従って行う信号処理手段と、前記故障予測手段により予測された故障の内容に応じて、前記制御パラメータを調整する調整指示を生成する生成手段とをさらに有してもよい。
このスピーカアレイシステムによれば、予測された故障の内容に応じて制御パラメータが調整される。このスピーカアレイシステムによれば、パラメータの調整、校正は自動的に行われるため、スピーカアレイシステムの設置場所から離れた遠隔地において校正の指示、管理を行うことができる。
別の好ましい態様において、このマルチスピーカシステムは、特性パラメータの上限値、下限値、基準値のうち少なくと1つを記憶したデータベースをさらに有し、前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記データベースの内容との比較結果に基づいて、前記処理対象スピーカに対する調整指示を生成してもよい。
このマルチスピーカシステムによれば、複数のスピーカの特性を、データベースにより規定される範囲に収めることができる。
さらに別の好ましい態様において、このマルチスピーカシステムは、前記複数のスピーカのうち、前記処理対象スピーカ以外のスピーカからから出力された校正楽音信号から抽出された特性パラメータを記憶する記憶手段をさらに有し、前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記記憶手段に記憶された特性パラメータとの比較結果に基づいて、前記処理対象スピーカに対する調整指示を生成してもよい。
このスピーカアレイシステムによれば、複数のスピーカの特性を、複数のスピーカのうちどれか一つのスピーカの特性と同一になるように構成、調整することができる。また、このスピーカアレイシステムは、特性パラメータの基準値などを記憶したデータベースを必要としないため、構成を簡略化することができる。
さらに別の好ましい態様において、このマルチスピーカシステムは、前記処理対象スピーカから出力された校正楽音信号から抽出された特性パラメータの経時変化を記憶する記憶手段をさらに有し、前記故障予測手段が、前記記憶手段に記憶された特性パラメータの経時変化に基づいて故障を予測してもよい。
このマルチスピーカシステムによれば、特性パラメータの経時変化に基づいて故障予測をすることができる。
また、上記各態様のスピーカアレイシステムにおいて、前記特性パラメータが、前記校正楽音信号の周波数特性、位相特性、再生音圧レベル、インパルス応答、あるいは前記処理対象スピーカの能率のいずれかを含んでもよい。
また、本発明は、校正信号を出力する校正信号出力手段と、前記校正信号出力手段により出力された校正信号に従って校正楽音を出力するスピーカと、前記スピーカから出力された校正楽音を取得し、校正楽音信号を生成する複数のマイクと、前記複数のマイクの各々を制御パラメータに従って駆動する複数の増幅器と、前記複数のマイクのうち、処理対象マイクを特定する特定手段と、前記処理対象マイクに対応する増幅器から出力された校正楽音信号から、前記処理対象マイクの特性を示す特性パラメータを抽出するパラメータ抽出手段と、前記パラメータ抽出手段により抽出された特性パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された特性パラメータに基づいて、前記複数のマイクの各々における故障の発生を予測する故障予測手段とを有するマルチマイクシステムを提供する。
このマルチマイクシステムによれば、マイクごとに故障の発生を予測することができる。
好ましい態様において、このマルチマイクシステムは、前記故障予測手段により予測された故障の内容に応じて、前記制御パラメータを調整する調整指示を生成する生成手段をさらに有していてもよい。
このマルチマイクによれば、予測された故障の内容に応じて制御パラメータが調整される。このマルチマイクシステムによれば、パラメータの調整、校正は自動的に行われるため、マルチマイクシステムの設置場所から離れた遠隔地において校正の指示、管理を行うことができる。
別の好ましい態様において、このマルチマイクシステムは、特性パラメータの上限値、下限値、基準値のうち少なくと1つを記憶したデータベースをさらに有し、前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記データベースの内容との比較結果に基づいて、前記処理対象マイクに対する調整指示を生成してもよい。
このマルチマイクシステムによれば、複数のマイクの特性を、データベースにより規定される範囲に収めることができる。
さらに別の好ましい態様において、このマルチマイクシステムは、前記複数のマイクのうち、前記処理対象マイク以外のマイクからから出力された校正楽音信号から抽出された特性パラメータを記憶する記憶手段をさらに有し、前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記記憶手段に記憶された特性パラメータとの比較結果に基づいて、前記処理対象マイクに対する調整指示を生成してもよい。
このマルチマイクシステムによれば、複数のマイクの特性を、複数のマイクのうちどれか一つのマイクの特性と同一になるように構成、調整することができる。また、このマルチマイクシステムは、特性パラメータの基準値などを記憶したデータベースを必要としないため、構成を簡略化することができる。
さらに別の好ましい態様において、このマルチマイクシステムは、前記処理対象マイクから出力された校正楽音信号から抽出された特性パラメータの経時変化を記憶する記憶手段をさらに有し、前記故障予測手段が、前記記憶手段に記憶された特性パラメータの経時変化に基づいて故障を予測してもよい。
このマルチマイクシステムによれば、特性パラメータの経時変化に基づいて故障予測をすることができる。
また、上記各態様のマルチマイクシステムにおいて、前記特性パラメータが、前記校正楽音信号から抽出された周波数特性、位相特性、あるいは前記処理対象マイクの感度のいずれかを含んでもよい。
以下、図面を参照して本発明の実施形態について説明する。
<1.第1実施形態>
図1は、本発明の第1実施形態に係るスピーカ校正システム1の構成を示すブロック図である。スピーカ校正システム1は、制御信号に従って特定の位置に音響ビームを収束することができるスピーカアレイシステム10と、ネットワーク20を介してスピーカアレイシステム10と校正信号およびパラメータ変更指示の送受信を行う校正装置40と、スピーカアレイシステム10から出力される楽音を取得し、校正装置40に楽音信号を出力するマイクシステム30とを有する。
ネットワーク20は、例えば有線LAN(Local Area Network)、無線LAN、WAN(Wide Area Network)、あるいはインターネット等のネットワークである。ネットワーク20に接続された通信機器は、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)などのプロトコルに従ってデータの送受信を行う。
スピーカアレイシステム10は、n個のスピーカ14を有する。なお図1では図面が煩雑になるのを避けるため、n=3の場合を図示したが、スピーカアレイシステム10は4つ以上のスピーカ14を有してもよい。以下の説明において、複数のスピーカ14の各々を区別する必要のあるときは「スピーカ14−1」、「スピーカ14−2」というように添字をつけて区別する。スピーカ14の各々を区別する必要の無いときは単に「スピーカ14」と記載する。スピーカ14以外の要素についても同様である。
スピーカ14の各々には、入力された楽音信号を増幅し、スピーカを駆動するためのスピーカアンプ13が接続されている。スピーカアンプ13はD/A変換器および増幅器(いずれも図示略)を有し、スピーカ14に楽音信号を供給する。また、スピーカアンプ13は、ネットワークインターフェース(図示略)を有しており、ネットワーク20を介した通信を行うことができる。スピーカアレイシステム10において、スピーカ14とスピーカアンプ13とは1対1に対応している。すなわち、スピーカ14には、それぞれ専用のスピーカアンプ13が接続されている。
スピーカアレイシステム10において、外部からの楽音信号および制御信号は、入出力部11に入力される。以下の説明で「楽音信号」とは、広く音声、音楽等を含む音を表す信号である。また、「制御信号」とは、スピーカアレイにより形成される音響ビームを収束させる位置を示す情報を含む信号である。入出力部11は、A/D変換器およびバッファメモリ等(いずれも図示略)で構成される。入出力部11は、入力された楽音信号および制御信号をデジタル化し、信号処理部12に出力する。
信号処理部12は、DSP(Digital Signal Processor)およびメモリ等(いずれも図示略)で構成される。信号処理部12は、制御信号で示される位置に音響ビームを収束させるように、楽音信号に対し必要な処理(例えば、ゲイン調整、ディレイ処理、イコライジング処理等)を施す。具体的には次のとおりである。信号処理部12は、制御信号により示される位置およびスピーカアンプ13を特定する識別子から、信号処理の処理量(例えばディレイ処理についていえば、ディレイ量)を出力するテーブルあるいは関数をあらかじめ記憶している。信号処理部12は、このテーブルあるいは関数を参照して、制御信号で示される位置からスピーカアンプ13ごとに処理量を算出する。
また、信号処理部12は、スピーカアンプ13を特定する識別子と、そのスピーカアンプ13に対応する信号処理の際に使用する制御パラメータである校正係数とを対応付けた校正テーブルを記憶している。信号処理部12は、前述のテーブルあるいは関数を用いて算出された処理量に校正係数を乗じた値など、校正係数を用いて算出された値を信号処理の際の処理量として使用する。校正テーブルの詳細については後述する。
信号処理部12は、算出した処理量に従って信号処理を施す。以下、信号処理部12において信号処理された楽音信号を、「出力楽音信号」という。信号処理部12は、n個のスピーカアンプ13の各々に対応する出力楽音信号を生成する。信号処理部12は、生成した出力楽音信号および制御信号を、対応するスピーカアンプ13に出力する。すなわち、n個のスピーカアンプ13に対してそれぞれ異なる出力楽音信号が出力される。また、信号処理部12はネットワークインターフェース(図示略)を有しており、ネットワーク20を介した通信を行うことができる。
出力楽音信号および制御信号が入力されると、スピーカアンプ13は、出力楽音信号をアナログ化し、制御信号で指定されるゲインに従って出力楽音信号を増幅する。スピーカアンプ13は、増幅した出力楽音信号を、対応するスピーカ14に出力する。スピーカ14は、出力楽音信号に従って楽音を出力する。
校正装置40は、スピーカアレイシステム10に校正信号を送信する機能、マイクシステム30から送信された楽音信号に基づいてパラメータ更新指示を生成する機能、および生成した更新指示をスピーカアレイシステム10に送信する機能を有する。受信機43は、マイクシステム30から送信された楽音信号を受信するインターフェースである。マイクシステム30と校正装置40との間の通信は、有線でも無線(例えば、電波、赤外線、可視光)でもどのような態様のものでもよい。例えば、マイクシステム30と校正装置40とは、例えば、インターネット、LAN、移動体通信網を用いて通信を行うことができる。あるいは、マイクシステム30と校正装置40とは専用線で直接接続されていてもよい。
校正部42は、HDD(Hard Disk Drive)、RAM(Random Access Memory)、あるいはROM(Read Only Memory)等の記憶部およびCPU(Central Processing Unit)等の制御部(いずれも図示略)を有する。校正部42は校正信号を記憶しており、記憶している校正信号をスピーカアレイシステム10に送信する。DB(Database)41は、スピーカ14ごとに、残存寿命などの故障予測パラメータを算出するための情報を記憶したデータベースである(詳細は後述)。校正部42は、マイクシステム30から送信された楽音信号とDB41とに基づいてパラメータ変更指示を生成する。校正部42は、生成したパラメータ変更指示をスピーカアレイシステム10に送信する。
また、校正装置40は、ユーザが指示入力を行うためのユーザインターフェース(図示略)を有している。
マイクシステム30は、スピーカアレイシステム10から出力される楽音を収音し、校正装置40に出力する。マイク33は、収音した楽音を楽音信号に変換する。マイクアンプ32は、マイク33から出力された楽音信号を増幅する。送信機31は、増幅された楽音信号を校正装置40に送信する。マイクシステム30は、機動的に移動できるように、ネットワーク20とは別の通信システムにより校正装置40と通信を行う(図示略)。なお、マイクシステム30は、ネットワーク20を介して校正装置40と通信してもよい。
続いて、スピーカ校正システム1の動作について説明する。
図2は、スピーカ校正システム1の動作を示すフローチャートである。校正装置40のユーザインターフェースからスピーカアレイシステム10の故障予測を行う旨の指示が入力されると、校正装置40は、処理対象スピーカを特定する(ステップS101)。具体的には次のとおりである。校正装置40の校正部42は、スピーカアレイシステム10に属するスピーカアンプ13の各々を特定する識別子(すなわち、スピーカ14を特定する識別子)をあらかじめ記憶している。校正部42は、所定の規則に従って優先順位が付けられた識別子のうち、最上位の優先順位が付けられた識別子を有するスピーカアンプ(例えば、スピーカアンプ13−1)に対応するスピーカ(すなわち、スピーカ14−1)を校正対象のスピーカ(以下、「対象スピーカ」という)として特定する。ここで、所定の規則とは、例えば、平面状に複数のスピーカが配置されたスピーカアレイシステムの場合では、隅のスピーカから順に、1列毎または1行毎に識別子を付与することをいう。あるいは、スピーカアレイシステムのうち劣化が多いことが予測される一部分、例えば中央部のスピーカに限って識別子を与えることとしてもよい。なお、図2の処理を開始するトリガは、ユーザからの指示入力に限られない。例えば、校正装置40は、あらかじめ決められた時間間隔で定期的に故障予測処理を行う構成としてもよい。
次に、校正部42は、対象スピーカに対し校正信号を出力する(ステップS102)。具体的には次のとおりである。校正部42は、スピーカアレイシステムの校正を行うための校正信号をあらかじめ記憶している。校正信号は、例えば、いわゆるインパルス信号、TSP(Time Stretched Pulse)、ホワイトノイズ、周波数を段階的に変化させた信号、通常の楽曲など、基準として用いるものであればどのようなものでもよい。校正部42は、記憶されている校正信号を読み出し、対象スピーカの識別子を付加してスピーカアレイシステム10に送信する。
ネットワーク20を介して校正信号を受信すると、スピーカアレイシステム10の信号処理部12は、識別子により指定されるスピーカアンプ13に校正信号を出力する。校正信号が入力されると、スピーカアンプ13は、校正信号に対しデジタル/アナログ変換、増幅などの必要な処理を行ってスピーカ14に出力する。スピーカアンプ13から校正信号が入力されると、スピーカ14は校正信号に従って楽音(以下、「校正楽音」という)を出力する(ステップS103)。
スピーカ14から校正楽音が出力されると、マイクシステム30のマイク33は校正楽音を取得し、楽音信号(以下、「校正楽音信号」という)に変換する(ステップS104)。マイクアンプ32は、マイク33から出力された校正楽音信号に増幅、アナログ/デジタル変換などの必要な処理を行い送信機31に出力する。送信機31は、校正楽音信号を校正装置40に送信する(ステップS105)。
校正楽音信号を受信すると、校正装置40の受信機43は、受信した校正楽音信号を校正部42に出力する。受信機43は、校正楽音に基づいて、処理対象スピーカの故障予測パラメータを算出する(ステップS106)。故障予測パラメータは、例えば、処理対象スピーカの識別子、故障の内容、残存寿命などの情報を含んでいる。具体的には次のとおりである。校正部42は、受信した校正楽音信号から算出したインパルス応答を解析して、周波数特性、能率、位相特性、再生音圧レベルなどのパラメータ(以下「特性パラメータ」という)を抽出する。なお、特性パラメータはインパルス応答そのものを含んでもよい。ここで、「再生音圧レベル」とは、スピーカアンプや信号処理部の設定レベルを含むレベルを意味し、「スピーカの能率」とはスピーカ単体の変換効率を意味する。校正部42は、抽出した特性パラメータを記憶部に記憶する。
DB41は、故障予測パラメータを算出するための情報を記憶したデータベースである。DB41は、例えば、特性パラメータの劣化曲線を示す関数あるいはテーブルを記憶している。特性パラメータの劣化曲線とは、特性パラメータの経時変化を示すのもである。特性パラメータの劣化曲線は、理論的な劣化モデルに従って得られたものでもよいし、実験的に得られたものでもよい。DB41は、劣化曲線に加えてその特性パラメータのしきい値を記憶している。しきい値とは、特性パラメータの値がこのしきい値を超えたら処理対象スピーカが故障していることを示す上限値、下限値、あるいはその両方である。校正部42は、DB41に記憶された劣化曲線およびしきい値と、受信した校正楽音信号から抽出された特性パラメータとから、処理対象スピーカの残存寿命を算出する。
図6は、劣化曲線の例を模式的に示す図である。劣化曲線は、能率・音圧レベルなどの特性パラメータの経時変化を示す曲線である。図6において実線は動電型スピーカの劣化曲線の例を、点線は静電型スピーカの劣化曲線の例を示している。動電型スピーカにおいては、ボイスコイルの破損やダンパの破損により比較的急激に能率が低下する。静電型スピーカにおいては、構成素子が徐々に劣化するので、能率が徐々に低下する。
DB41は、さらに、残存寿命のしきい値を記憶している。残存寿命のしきい値は、スピーカアレイシステムの使用状況から、故障へ対処するのに必要な時間にマージンを加えたものである。校正部42は、算出した残存寿命とDB41に記憶されているしきい値を比較し、予防措置が必要であるか判断する(ステップS107)。
予防措置が必要であると判断された場合(ステップS107:YES)、校正部42は、予防措置を実行する。予防措置としては、例えば以下の処理が考えられる。
予防措置の第1の例は、校正係数の変更である。校正部42は、予測される故障の種類(特性パラメータ)に応じて、信号制御部12が用いる校正係数の変更を行う。校正部42は、まず、校正係数の変更指示を生成する(ステップS108)。具体的には次のとおりである。例えば、特性パラメータとして周波数特性(一または複数の周波数における信号強度)を抽出した場合、校正部42は、信号強度と基準値との差に基づいてイコライジング処理の際の校正係数を算出する。また、特性パラメータとしてスピーカの能率を抽出した場合は、抽出した能率と基準値との差に基づいて、ゲイン調整の際の校正係数を算出する。また、特性パラメータとして位相を抽出した場合、位相が基準値と一致するようにディレイ処理の際の校正係数を算出する。このように、校正部42は、特性パラメータの値と基準値との差に基づいて、信号処理の際の校正係数を算出する。校正部42は、特性パラメータおよび基準値から、校正係数を出力する関数またはテーブルをあらかじめ記憶している。このようにして、校正部42は、算出した校正係数と、その校正係数に対応する処理を特定する識別子とを含むパラメータ変更指示を生成する。
続いて、校正部42は、生成したパラメータ変更指示を、スピーカアレイシステム10に送信する(ステップS109)。スピーカアレイシステム10の信号処理部12は、受信した校正係数の値で、校正テーブルに記憶されている校正係数の値を更新する(ステップS110)。信号処理部12はパラメータの更新処理が完了した旨を示すメッセージ(以下、「完了メッセージ」という)を校正装置40に送信する。
完了メッセージを受信すると、校正部42は、対象スピーカの識別子に基づいて、すべてのスピーカ14について校正が完了したか判断する(ステップS111)。なお、ステップS107において予防措置が不要であると判断された場合(ステップS107:NO)も、処理はステップS111に進む。すべてのスピーカ14について校正処理が完了した場合(ステップS111:YES)、スピーカ校正システム1は、校正の動作を終了する。すべてのスピーカ14について校正処理が完了していない場合、校正部42は、優先順位に従って対象スピーカを更新する(ステップS112)。校正部42は、更新された対象スピーカについて、ステップS101〜S111の処理を繰り返し実行する。
なお、ステップS104において、校正信号を出力してから一定時間以内にマイク33から校正楽音信号が出力されない場合、校正部42は、対象スピーカが故障しているものと判断して、ユーザインターフェースを介してその旨を調整者に通知する。
予防措置の第2の例は、ユーザへの通知である。具体的には、校正部42は、表示部(図示略)に、処理対象スピーカの交換を促すメッセージを表示する。処理対象スピーカの交換を促すメッセージは、処理対象スピーカの識別子、あるいは、残存寿命を含んでいてもよい。ユーザは、表示されたメッセージを見て、スピーカの交換が必要だということを知ることができる。
以上で説明したように本実施形態によれば、スピーカごとに種々のパラメータに基づいて故障の発生を予測することができる。また、故障の発生が予測された場合、校正装置40は、発生が予測される故障の種類に応じて、信号処理部12における制御パラメータである校正係数の変更を行う。校正装置40とスピーカアレイシステム10とはネットワーク20を介して通信を行うので、上述の校正、調整を遠隔地から行うことができる。また、n個のスピーカ14の特性をDB41に記憶された許容範囲内で同一のものとすることができる。
なお、上述の実施形態においては、処理対象スピーカがスピーカアレイを構成するスピーカである態様について説明したが、処理対象スピーカはスピーカアレイに限定されない。アレイ状に配置されているものでなくても、複数のスピーカを有するマルチスピーカシステムであればどのようなものでもよい。あるいは、処理対象スピーカは、ひとつでもよい。
また、DB41に記憶される特性パラメータの基準値およびしきい値は、ネットワーク20を介して校正装置に接続された他の機器からの指示により変更可能な構成としてもよい。これによりスピーカ校正システム1のユーザは、しきい値などを計画的に管理することができる。例えば、しきい値を厳し目に設定することにより、システムの持つ性能を十分に発揮させる性能重視型の制御を行うことができる。あるいは、しきい値を緩めに設定することにより機器の負担を減らして機器の長寿命化、低コスト化を図る寿命重視型の制御を行うこともできる。
また、予防措置を行うか否かの判断は、残存寿命がしきい値を超えたスピーカの数に基づいて判断してもよい。この場合、DB41は、スピーカの数に関するしきい値を記憶している。校正部42は、残存寿命がしきい値を超えたスピーカの数がしきい値を超えた場合、校正部42は、予防措置を実行する。
<2.第2実施形態>
続いて、本発明の第2実施形態について説明する。以下の説明では、第1実施形態と共通する要素については同一の参照符号を付与し、その説明を省略する。また、以下の説明では第1実施形態と共通する事項についてはその説明を省略し、第1実施形態との差異点を中心に説明をする。
本実施形態において、校正部42は、特性パラメータの経時変化を記憶する。すなわち、校正部42は、校正楽音信号から抽出した最新の特性パラメータだけでなく、過去の特性パラメータも記憶している。校正部42は、校正楽音信号から特性パラメータを抽出すると、抽出した特性パラメータと、その特性パラメータを抽出した日時とを対応付けて記憶する。
本実施形態では、図2のステップS106において、校正部42は、特性パラメータの経時変化に基づいて処理対象スピーカの故障予測パラメータを算出する。「特性パラメータの経過時間変化」とは、例えば、単位時間あたりの特性パラメータの変化量、過去t時間の変化量の移動平均、最新の特性パラメータとその直近の特性パラメータの差などである。DB41は、経時変化と残存寿命の関係を規定する劣化曲線を示す関数あるいはテーブルを記憶している。校正部42は、特性パラメータの経時変化から、処理対象スピーカの残存寿命を算出する。校正部42は、算出した残存寿命に基づいて予防措置の要否を判断する。予防措置の要否判断以降の処理は、第1実施形態で説明したとおりである。
本実施形態によれば、校正装置40は、特性パラメータの経時変化に応じて、スピーカの予防に必要な措置をとることができる。
<3.第3実施形態>
図3は、本発明の第3実施形態に係るスピーカ校正システム2の構成を示すブロック図である。なお、以下の説明において、スピーカ校正システム1と共通する要素に対しては同一の参照符号を付与し、その説明を省略する。また、以下の説明では第1実施形態と共通する事項についてはその説明を省略し、第1実施形態との差異点を中心に説明をする。
スピーカ校正システム2がスピーカ校正システム1と相違する点は、校正装置40が、DB41に代わり記憶部44を有する点である。記憶部44は、n個のスピーカ14のうち、特定の1つのスピーカ14の特性パラメータを記憶するためのメモリである。
図4は、スピーカ校正システム2の動作を示すフローチャートである。校正装置40のユーザインターフェースからスピーカアレイシステム10の校正を行う旨の指示が入力されると、校正装置40は、校正処理において基準となるスピーカ(以下、「基準スピーカ」という)を特定する(ステップS201)。校正装置40の校正部42は、例えば識別子の優先順位が最も高いものを基準スピーカとして特定する。校正部42は、基準スピーカの識別子をメモリに記憶する。なお、基準スピーカの特定方法はこれに限定されず、例えば、n個のスピーカ14から基準スピーカとなるものをランダムに抽出してもよい。
校正部42は、基準スピーカに対し、校正信号を出力する(ステップS202)。基準スピーカは、校正楽音を出力する(ステップS203)。マイク33は、校正楽音を取得し、校正楽音信号を出力する。送信機31は、校正楽音信号を校正装置40に送信する。校正部42は、校正楽音信号から特性パラメータを抽出する(ステップS206)。
ここで、校正部42は、基準スピーカから抽出した特性パラメータを、校正処理の際の基準値として記憶部44に記憶する。校正部42は、特性パラメータの基準値から特性パラメータの許容範囲を規定する条件(例えば、基準値±10%、基準値−3dBなど)を、特性パラメータごとにあらかじめ記憶している。
次に、校正部42は、基準スピーカ以外の他のスピーカについて校正処理を行う(ステップS207)。校正処理は、DB41の内容ではなく記憶部44に記憶された基準値および基準値から求められた許容範囲に基づいて校正の要否の判断および校正を行う点以外は、図2のフローチャートにより示される手順と同様に行われる。
本実施形態によれば、n個のスピーカ14の特性を、特定の基準スピーカの特性と同一になるように構成、調整することができる。また、スピーカ校正システム2は、特性パラメータの基準値などを記憶したデータベースを必要としないため、構成を簡略化することができる。
<4.他の実施形態>
なお、本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。
上述の実施形態においては、スピーカアレイシステム10、マイクシステム30、および校正装置40がそれぞれ別の筐体に収められる態様について説明したが、これらのうち一部または全部が単一の筐体に収められる構成としてもよい。例えば、マイクシステム30は、スピーカアレイシステム10のエンクロージャ(キャビネット)の内側に設置されてもよいし、外側に設置されてもよい。
また、上述の実施形態においては、校正装置40が、信号処理部12が記憶している校正係数の更新を指示する更新指示をスピーカアレイシステム10に送信する態様について説明したが、校正装置40が、位置情報およびスピーカアンプ13の識別子から処理量を算出するためのテーブルあるいは関数を変更する指示を生成し、これをスピーカアレイシステム10に送信することとしてもよい。
また、上述の実施形態においては、校正装置40が、信号処理部12が記憶している校正係数の更新を指示する更新指示をスピーカアレイシステム10に送信する態様について説明したがスピーカアンプ13に対しパラメータの更新を指示する指示を送信することとしてもよい。
また、上述の実施形態においては本発明をスピーカアレイシステムに適用した例について説明したが、本発明をマイクアレイシステムの故障予測に適用してもよい。
図5は、本発明の別の実施形態に係るマイク校正システム3の構成を示すブロック図である。マイク校正システム3は、制御信号に従って特定の位置から発せられた楽音を収束することができるマイクアレイシステム50と、ネットワーク20を介してマイクアレイシステム50と校正信号およびパラメータ変更指示の送受信を行う校正装置40と、校正装置40から送信される校正信号に従って校正楽音を出力するスピーカシステム60とを有する。
マイク校正システム3において、校正信号は、校正装置40の送信機45からスピーカシステム60に送信される。校正信号を受信すると、スピーカシステム60の受信機61は、校正信号をスピーカアンプ62に出力する。スピーカアンプ62は、校正信号に増幅などの必要な処理を行い、スピーカ63に出力する。
校正装置40の校正部42は、マイクアレイシステム50の信号処理部52に対し、校正処理の対象となる対象マイクからの楽音信号を送信を要求するメッセージを送信する。信号処理部52は、対象マイクからの楽音信号を校正装置40に送信する。校正装置40は、対象マイクから送信された楽音信号に基づいて残存寿命を算出する。残存寿命の算出方法はスピーカアレイの場合と同様である。すなわち、基準値やしきい値を記憶したデータベースを参照して校正を行ってもよいし、特定のマイク54を基準マイクとして、基準マイクの特性と一致させるように校正を行ってもよい。この場合、特性パラメータとしては、例えば、校正楽音信号の周波数特性、位相特性、出力音圧レベル、インパルス応答、あるいはマイク54の感度などを用いることができる。ここで、「出力音圧レベル」とは、マイクアンプや信号処理部の設定レベルを含むレベルを意味する。また、「マイク54の感度」とはマイク54単体の変換効率を意味する。
スピーカ校正システム1の構成を示すブロック図である。 スピーカ校正システム1の動作を示すフローチャートである。 スピーカ校正システム2の構成を示すブロック図である。 スピーカ校正システム2の動作を示すフローチャートである。 マイク校正システム3の構成を示すブロック図である。 劣化曲線の例を模式的に示す図である。
符号の説明
1・2…スピーカ校正システム、3…マイク校正システム、10…スピーカアレイシステム、11…入出力部、12…信号処理部、13…スピーカアンプ、14…スピーカ、20…ネットワーク、30…マイクシステム、31…送信機、32…マイクアンプ、33…マイク、40…校正装置、41…DB、42…校正部、43…受信機、44…記憶部、45…送信機、50…マイクアレイシステム、51…入出力部、52…信号処理部、53…マイクアンプ、54…マイク、60…スピーカシステム、61…受信機、62…スピーカアンプ、63…スピーカ

Claims (12)

  1. 複数のスピーカと、
    前記複数のスピーカのうち、処理対象スピーカを特定する特定手段と、
    前記特定手段により特定された処理対象スピーカに対し校正信号を出力する校正信号出力手段と、
    前記処理対象スピーカから前記校正信号に従って出力された校正楽音を取得し、校正楽音信号を生成するマイクと、
    前記マイクから出力された校正楽音信号から、前記処理対象スピーカの特性を示す特性パラメータを抽出するパラメータ抽出手段と、
    前記パラメータ抽出手段により抽出された特性パラメータを記憶するパラメータ記憶手段と、
    前記パラメータ記憶手段に記憶された特性パラメータに基づいて、前記複数のスピーカの各々における故障の発生を予測する故障予測手段と
    を有するマルチスピーカシステム。
  2. 入力楽音信号に対し、前記複数のスピーカから音響ビームを形成するための信号処理を制御パラメータに従って行う信号処理手段と、
    前記故障予測手段により予測された故障の内容に応じて、前記制御パラメータを調整する調整指示を生成する生成手段と
    をさらに有する請求項1に記載のマルチスピーカシステム。
  3. 特性パラメータの上限値、下限値、基準値のうち少なくと1つを記憶したデータベースをさらに有し、
    前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記データベースの内容との比較結果に基づいて、前記処理対象スピーカに対する調整指示を生成する
    ことを特徴とする請求項2に記載のマルチスピーカシステム。
  4. 前記複数のスピーカのうち、前記処理対象スピーカ以外のスピーカからから出力された校正楽音信号から抽出された特性パラメータを記憶する記憶手段をさらに有し、
    前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記記憶手段に記憶された特性パラメータとの比較結果に基づいて、前記処理対象スピーカに対する調整指示を生成する
    ことを特徴とする請求項2に記載のマルチスピーカシステム。
  5. 前記処理対象スピーカから出力された校正楽音信号から抽出された特性パラメータの経時変化を記憶する記憶手段をさらに有し、
    前記故障予測手段が、前記記憶手段に記憶された特性パラメータの経時変化に基づいて故障を予測する
    ことを特徴とする請求項1に記載のマルチスピーカシステム。
  6. 前記特性パラメータが、前記校正楽音信号から抽出された周波数特性、位相特性、再生音圧レベル、インパルス応答、あるいは前記処理対象スピーカの能率のいずれかを含むことを特徴とする請求項1〜5のいずれかの項に記載のマルチスピーカシステム。
  7. 校正信号を出力する校正信号出力手段と、
    前記校正信号出力手段により出力された校正信号に従って校正楽音を出力するスピーカと、
    前記スピーカから出力された校正楽音を取得し、校正楽音信号を生成する複数のマイクと、
    前記複数のマイクの各々を制御パラメータに従って駆動する複数の増幅器と、
    前記複数のマイクのうち、処理対象マイクを特定する特定手段と、
    前記処理対象マイクに対応する増幅器から出力された校正楽音信号から、前記処理対象マイクの特性を示す特性パラメータを抽出するパラメータ抽出手段と、
    前記パラメータ抽出手段により抽出された特性パラメータを記憶するパラメータ記憶手段と、
    前記パラメータ記憶手段に記憶された特性パラメータに基づいて、前記複数のマイクの各々における故障の発生を予測する故障予測手段と
    を有するマルチマイクシステム。
  8. 前記故障予測手段により予測された故障の内容に応じて、前記制御パラメータを調整する調整指示を生成する生成手段をさらに有する請求項7に記載のマルチマイクシステム。
  9. 特性パラメータの上限値、下限値、基準値のうち少なくと1つを記憶したデータベースをさらに有し、
    前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記データベースの内容との比較結果に基づいて、前記処理対象マイクに対する調整指示を生成する
    ことを特徴とする請求項8に記載のマルチマイクシステム。
  10. 前記複数のマイクのうち、前記処理対象マイク以外のマイクからから出力された校正楽音信号から抽出された特性パラメータを記憶する記憶手段をさらに有し、
    前記生成手段が、前記パラメータ抽出手段により抽出された特性パラメータと、前記記憶手段に記憶された特性パラメータとの比較結果に基づいて、前記処理対象マイクに対する調整指示を生成する
    ことを特徴とする請求項7に記載のマルチマイクシステム。
  11. 前記処理対象マイクから出力された校正楽音信号から抽出された特性パラメータの経時変化を記憶する記憶手段をさらに有し、
    前記故障予測手段が、前記記憶手段に記憶された特性パラメータの経時変化に基づいて故障を予測する
    ことを特徴とする請求項7に記載のマルチマイクシステム。
  12. 前記特性パラメータが、前記校正楽音信号から抽出された周波数特性、位相特性、出力音圧レベル、インパルス応答、あるいは前記処理対象マイクの感度のいずれかを含むことを特徴とする請求項7〜11のいずれかの項に記載のマルチマイクシステム。
JP2005312599A 2005-10-27 2005-10-27 マルチスピーカシステム Expired - Fee Related JP4882338B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005312599A JP4882338B2 (ja) 2005-10-27 2005-10-27 マルチスピーカシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005312599A JP4882338B2 (ja) 2005-10-27 2005-10-27 マルチスピーカシステム

Publications (2)

Publication Number Publication Date
JP2007124203A true JP2007124203A (ja) 2007-05-17
JP4882338B2 JP4882338B2 (ja) 2012-02-22

Family

ID=38147571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005312599A Expired - Fee Related JP4882338B2 (ja) 2005-10-27 2005-10-27 マルチスピーカシステム

Country Status (1)

Country Link
JP (1) JP4882338B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101015102B1 (ko) * 2009-02-23 2011-02-16 한국과학기술연구원 마이크로폰 배열에 대한 자가고장 검출 시스템, 자가고장 검출 방법 및 오디오 기반 장치
WO2011079875A1 (en) * 2009-12-31 2011-07-07 Nokia Corporation Monitoring and correcting apparatus for mounted transducers and method thereof
JP2011215378A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 信号処理装置
KR101086030B1 (ko) * 2009-12-23 2011-11-22 주식회사 에스원 마이크 오작동을 검출하는 방법 및 이를 구현하는 어레이 마이크 시스템
KR101110223B1 (ko) * 2009-07-22 2012-02-16 (주)에스엠인스트루먼트 스피커 작동 검사장치 및 스피커 작동 검사방법
JP2012508368A (ja) * 2008-11-07 2012-04-05 キューアーエスエス ゲーエムベーハー 振動解析方法、振動解析装置、振動解析のためのサンプルデータベース、及びその使用
CN102780942A (zh) * 2012-08-09 2012-11-14 广州励丰文化科技股份有限公司 一种内置dsp有源音箱的控制方法
CN102780944A (zh) * 2012-08-09 2012-11-14 广州励丰文化科技股份有限公司 有源音箱控制方法
JP2012227857A (ja) * 2011-04-22 2012-11-15 Yamaha Corp スピーカの自己診断装置
JP2017011649A (ja) * 2015-06-26 2017-01-12 京セラ株式会社 電子機器
EP4072162A1 (fr) * 2021-04-09 2022-10-12 Sagemcom Broadband Sas Procede d'auto-diagnostic d'un equipement de restitution audio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6324800A (ja) * 1986-07-17 1988-02-02 Mitsubishi Electric Corp 音響装置
JPH01305800A (ja) * 1988-06-03 1989-12-11 Mitsubishi Electric Corp 音響装置
JP2003296851A (ja) * 2002-02-01 2003-10-17 Shimadzu System Solutions Co Ltd 遠隔異常監視システム
JP2004312524A (ja) * 2003-04-09 2004-11-04 Matsushita Electric Ind Co Ltd 電気音響設備の監視装置
JP2004343700A (ja) * 2003-02-25 2004-12-02 Akg Acoustics Gmbh アレイマイクロホンのセルフキャリブレーション

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6324800A (ja) * 1986-07-17 1988-02-02 Mitsubishi Electric Corp 音響装置
JPH01305800A (ja) * 1988-06-03 1989-12-11 Mitsubishi Electric Corp 音響装置
JP2003296851A (ja) * 2002-02-01 2003-10-17 Shimadzu System Solutions Co Ltd 遠隔異常監視システム
JP2004343700A (ja) * 2003-02-25 2004-12-02 Akg Acoustics Gmbh アレイマイクロホンのセルフキャリブレーション
JP2004312524A (ja) * 2003-04-09 2004-11-04 Matsushita Electric Ind Co Ltd 電気音響設備の監視装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012508368A (ja) * 2008-11-07 2012-04-05 キューアーエスエス ゲーエムベーハー 振動解析方法、振動解析装置、振動解析のためのサンプルデータベース、及びその使用
KR101015102B1 (ko) * 2009-02-23 2011-02-16 한국과학기술연구원 마이크로폰 배열에 대한 자가고장 검출 시스템, 자가고장 검출 방법 및 오디오 기반 장치
KR101110223B1 (ko) * 2009-07-22 2012-02-16 (주)에스엠인스트루먼트 스피커 작동 검사장치 및 스피커 작동 검사방법
KR101086030B1 (ko) * 2009-12-23 2011-11-22 주식회사 에스원 마이크 오작동을 검출하는 방법 및 이를 구현하는 어레이 마이크 시스템
US9980047B2 (en) 2009-12-31 2018-05-22 Nokia Technologies Oy Monitoring and correcting apparatus for mounted transducers and method thereof
US9253584B2 (en) 2009-12-31 2016-02-02 Nokia Technologies Oy Monitoring and correcting apparatus for mounted transducers and method thereof
WO2011079875A1 (en) * 2009-12-31 2011-07-07 Nokia Corporation Monitoring and correcting apparatus for mounted transducers and method thereof
US20190141448A1 (en) * 2009-12-31 2019-05-09 Nokia Technologies Oy Monitoring and Correcting Apparatus for Mounted Transducers and Method Thereof
US10687143B2 (en) 2009-12-31 2020-06-16 Nokia Technologies Oy Monitoring and correcting apparatus for mounted transducers and method thereof
JP2011215378A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 信号処理装置
JP2012227857A (ja) * 2011-04-22 2012-11-15 Yamaha Corp スピーカの自己診断装置
CN102780942A (zh) * 2012-08-09 2012-11-14 广州励丰文化科技股份有限公司 一种内置dsp有源音箱的控制方法
CN102780944A (zh) * 2012-08-09 2012-11-14 广州励丰文化科技股份有限公司 有源音箱控制方法
CN102780942B (zh) * 2012-08-09 2017-05-17 广州励丰文化科技股份有限公司 一种内置dsp有源音箱的控制方法
JP2017011649A (ja) * 2015-06-26 2017-01-12 京セラ株式会社 電子機器
EP4072162A1 (fr) * 2021-04-09 2022-10-12 Sagemcom Broadband Sas Procede d'auto-diagnostic d'un equipement de restitution audio
FR3121810A1 (fr) * 2021-04-09 2022-10-14 Sagemcom Broadband Sas Procédé d’auto-diagnostic d’un équipement de restitution audio

Also Published As

Publication number Publication date
JP4882338B2 (ja) 2012-02-22

Similar Documents

Publication Publication Date Title
JP4882338B2 (ja) マルチスピーカシステム
US8442245B2 (en) Hearing device with automatic algorithm switching
AU2010212304B2 (en) Method for fine-tuning a hearing aid and hearing aid
EP3289782B1 (en) Process and hearing aid adjustment system architecture for remotely adjusting a hearing aid
CN108365827B (zh) 具有动态阈值的频带压缩
JP5488128B2 (ja) 信号処理装置
US7801318B2 (en) Hearing aid device with means for feedback compensation
US20130243209A1 (en) Method for Fitting a Hearing Aid Device With Active Occlusion Control to a User
JP2007271802A (ja) コンテンツ再生システム及びコンピュータプログラム
JP2014116932A (ja) 収音システム
CN1447624A (zh) 自动音频系统均衡
CN103517192A (zh) 包括反馈报警的助听器
US20100098262A1 (en) Method and hearing device for parameter adaptation by determining a speech intelligibility threshold
US10932079B2 (en) Acoustical listening area mapping and frequency correction
US11825269B2 (en) Feedback elimination in a hearing aid
JP6388630B2 (ja) 音響ゾーン内の音像を制御する方法、装置、及びシステム
JP6999187B2 (ja) ヘッドホンのためのアクティブノイズ消去システム
KR20200007793A (ko) 음성 출력 제어 장치, 음성 출력 제어 방법, 그리고 프로그램
JP2001147693A (ja) 音再生装置における再生出力の補正方法
US11051115B2 (en) Customizable audio signal spectrum shifting system and method for telephones and other audio-capable devices
US8634566B2 (en) Method for loudness-based adjustment of the amplification of a hearing aid and associated hearing aid
CN114341974A (zh) 降噪装置和方法
JP2006185225A (ja) 警報装置識別装置、システムおよび方法
US20240107245A1 (en) Operating public address systems with ip-based amplifiers
KR20210015619A (ko) 소음 제거 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees