JP2008136080A - 音響装置 - Google Patents

音響装置 Download PDF

Info

Publication number
JP2008136080A
JP2008136080A JP2006321751A JP2006321751A JP2008136080A JP 2008136080 A JP2008136080 A JP 2008136080A JP 2006321751 A JP2006321751 A JP 2006321751A JP 2006321751 A JP2006321751 A JP 2006321751A JP 2008136080 A JP2008136080 A JP 2008136080A
Authority
JP
Japan
Prior art keywords
sound
input
signal
output
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006321751A
Other languages
English (en)
Other versions
JP4930015B2 (ja
Inventor
Seiichiro Hosoe
誠一郎 細江
Naohiro Emoto
直博 江本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006321751A priority Critical patent/JP4930015B2/ja
Publication of JP2008136080A publication Critical patent/JP2008136080A/ja
Application granted granted Critical
Publication of JP4930015B2 publication Critical patent/JP4930015B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】スピーカから出力したいソースと、録音したいソースと、を自由に選択することができる音響装置を提供する。
【解決手段】エコーキャンセラ18の後段にスイッチ19Mを設ける。また、入力端子1(CH.1)と入力端子2(CH.2)の後段(アンプ、A/Dコンバータの後段)にもスイッチ191、スイッチ192を設ける。スイッチ19M、スイッチ191、およびスイッチ192から出力される音声は、ミキサ202でミキシングされて録音出力端子(REC OUT)から出力される。また、スイッチ19M、およびエコーキャンセラ18(CH.1とCH.2)から出力される音声はミキサ201でミキシングされてスピーカ23から放音される。各スイッチの出力先を変更することにより、スピーカから放音される音声、録音出力端子から出力される音声のソースを自由に選択することができる。
【選択図】図1

Description

この発明は、スピーカ、マイク、および録音出力用の端子を備えた音響装置であって、スピーカから出力したいソースと、録音したいソースと、を自由に選択することができる音響装置に関する。
近年、遠隔地において通信会議を行う通信会議装置が普及している。通信会議装置は、マイクで収音した音声を相手側に送信し、相手側から音声を受信する。通信会議では、会話の内容を録音することが多い。そこで、特許文献1のように、録音出力端子(REC OUT)を備えたテレビ会議システムが提案されている。特許文献1の装置は、音声入力端子(LINE IN)から入力された音声、およびマイクで収音した音声を録音出力端子から出力し、この録音出力端子に記録媒体を接続することで録音を行うことができる。
特開2005−184386号公報
しかし、特許文献1の装置では、音声入力端子から入力される音声とマイクで収音した音声の両方が常に録音出力端子から出力されるため、汎用性に乏しいものであった。すなわち、マイクで収音した音声だけ(例えば自装置側の発話音声だけ)を録音したい場合や、音声入力端子から入力される音声だけ(通話相手側の発話音声だけ)を録音したい場合に対応できるものではなかった。
この発明は、スピーカから出力したいソースと、録音したいソースと、を自由に選択することができる音響装置を提供することを目的とする。
この発明の音響装置は、音声信号を入力して放音する放音手段と、音声信号を外部に出力する音声出力手段と、音声を収音し、収音信号を出力する収音手段と、音声信号を外部から入力する音声入力手段と、前記音声入力手段が入力した入力信号を適応型フィルタで処理した擬似エコー信号を、前記収音部が出力した収音信号から減算し、当該減算した後の収音信号を補正信号として出力する適応型エコーキャンセラと、前記補正信号を、前記放音手段および前記出力手段に選択的に出力する補正信号スイッチ手段と、前記入力信号を、前記放音手段および前記出力手段に選択的に出力する入力信号スイッチ手段と、前記補正信号スイッチ手段、および前記入力信号スイッチ手段の出力した信号をミキシングして音声信号として放音手段に出力する放音用ミキサと、前記補正信号スイッチ手段、および前記入力信号スイッチ手段の出力した信号をミキシングして音声信号として音声出力手段に出力する音声出力用ミキサと、前記補正信号スイッチ手段、および前記入力信号スイッチ手段の信号出力先を設定する制御部と、を備えたことを特徴とする。
この構成では、エコーキャンセラの後段、および音声入力手段(音声信号入力端子)の後段にスイッチを設ける。エコーキャンセラの後段に設けた補正信号用スイッチ手段は、エコーキャンセラでエコー成分を低減された補正信号を放音手段(スピーカ)および音声出力手段(録音出力端子)に選択的に出力する。また、音声信号入力端子の後段に設けた入力信号スイッチ手段は、入力信号をスピーカおよび録音出力端子に選択的に出力する。なお、選択的に出力するとは、両方に出力しない場合も含む。すなわち、スピーカと録音出力端子の両方に出力することもできるし、両方に出力しないようにすることもできる。制御部は、各スイッチの出力先を変更することにより、スピーカから放音される音声、録音出力端子から出力される音声のソースを選択する。
この発明は、さらに、前記音声入力手段は、複数チャンネルの入力信号を入力し、前記適応型エコーキャンセラは、前記複数チャンネルの入力信号をそれぞれ適応型フィルタで処理して擬似エコー信号を前記収音信号から減算し、前記入力信号スイッチ手段は、前記複数チャンネルの入力信号をそれぞれ個別に前記放音手段および前記出力手段に選択的に出力することを特徴とする。
この構成では、入力手段は複数チャンネル(例えば入力端子1、入力端子2)の入力信号を入力する。例えば、音響装置を音声会議装置として用いる場合に、一方の入力端子にBGMを入力し、他方の入力端子に相手側の音声を入力する。議事録(音声ログ)として会話内容とBGMを録音し、スピーカからは相手側の音声とBGMを聴きたい場合に好適である。
この発明によれば、スピーカから出力したいソースと、録音したいソースと、を自由に選択することができる。
図面を参照して、本発明の実施形態に係る音響装置について説明する。
図1は、この実施形態に係る音響装置の構成を示すブロック図である。図1に示すように、音響装置11は、マイク15、アンプ16M、A/Dコンバータ17M、エコーキャンセラ18、スイッチ19M、ミキサ202、D/Aコンバータ211、D/Aコンバータ212、アンプ221、アンプ222、ライン出力端子(LINEOUT)、録音出力端子(RECOUT)、入力端子1(CH.1)、入力端子2(CH.2)、アンプ161、アンプ162、A/Dコンバータ171、A/Dコンバータ172、スイッチ191、スイッチ192、ミキサ201、D/Aコンバータ21S、アンプ22S、スピーカ23、制御部31、およびユーザI/F32を備えている。
マイク15は、音響装置周囲の音声を収音し、アナログ音声信号を出力する。マイク15の出力したアナログ音声信号は、フロントエンドのアンプ16Mで増幅され、A/Dコンバータ17Mでデジタル音声信号に変換される。A/Dコンバータ17Mで変換されたデジタル音声信号は、エコーキャンセラ18に入力される。
一方、入力端子1(CH.1)、入力端子2(CH.2)は、例えば他の音響機器等が接続され、それぞれ外部から音声信号を入力する。また、ネットワーク通信機能を有した装置(例えばパーソナルコンピュータ)と接続し、遠隔地と音声会議を行うこともできる。入力端子1、入力端子2から入力された音声信号は、それぞれアンプ161、アンプ162で増幅された後、A/Dコンバータ171、A/Dコンバータ172でデジタル音声信号に変換される。A/Dコンバータ171、A/Dコンバータ172で変換されたデジタル音声信号は、スイッチ191、スイッチ192を介してエコーキャンセラ18に入力される。スイッチ191、スイッチ192は、詳細は後述するが、制御部31の指示に基づいて入力された音声信号をエコーキャンセラ18およびミキサ202の一方、または両方に出力する。
エコーキャンセラ18は、図2に示すように、適応型フィルタ181、適応型フィルタ182、ポストプロセッサ183、およびポストプロセッサ184を備えており、スピーカ23から出力され、音響伝達系を経てマイク15に帰還した音声信号(所謂エコー成分)を減衰する。
適応型フィルタ181は、スイッチ191から音声信号を入力し、これを所定のフィルタ係数でフィルタリングし、擬似エコー成分を生成する。ポストプロセッサ183は、A/Dコンバータ17Mの出力音声信号から適応型フィルタ181の生成した擬似エコー成分を減算する。また、適応型フィルタ181は、エコー成分を低減された出力信号を入力してフィルタ係数を更新する。同様に、適応型フィルタ182は、スイッチ192から音声信号を入力し、これを所定のフィルタ係数でフィルタリングし、擬似エコー成分を生成する。ポストプロセッサ184は、適応型フィルタ181でエコー成分を低減された出力音声信号からさらに適応型フィルタ182の生成した擬似エコー成分を減算する。
このようにしてエコー成分が低減された出力音声信号は、スイッチ19Mに入力される。スイッチ19Mは、詳細は後述するが、制御部31の指示に基づいてエコー成分が低減された出力音声信号をミキサ201、ミキサ202、およびD/Aコンバータ212に選択的に出力する。D/Aコンバータ212に入力される出力音声信号は、アナログ音声信号に変換され、アンプ222で増幅された後、ライン出力端子に出力される。
また、スイッチ191、スイッチ192を介して外部から入力された音声信号は、エコーキャンセラ18を経てミキサ201に入力される。ミキサ201は、エコーキャンセラ18から入力される2系統の音声信号、およびスイッチ19Mから入力される音声信号をミキシングし、D/Aコンバータ21Sに出力する。このミキシングされた音声信号は、D/Aコンバータ21Sでアナログ音声信号に変換され、アンプ22Sで増幅された後スピーカ23から放音される。
音響装置11は、入力端子1(入力端子2)、およびライン出力端子を介して通信機能を有した装置と接続し、音声会議を行うことができる。図3は、通信機能を有した装置としてパーソナルコンピュータ(以下、PCと言う)と音響装置とを接続した場合の例を示す図である。同図に示すように、音響装置11のライン出力端子とPC12のライン入力端子(LINE IN)が接続されている。また、音響装置11の入力端子1(または入力端子2)とPC12のライン出力端子が接続されている。PC12は、ネットワークインタフェースを有し、ネットワーク51を介して他の装置と情報を送受信する。
同図の例では、ネットワーク51を介してPC12と音声会議装置52が接続されている。PC12は、音声会議装置52と音声情報(例えばSIPに準じた情報)を送受信する。PC12は、音声会議装置52から受信した音声情報をアナログ音声信号に変換して音響装置11に出力する。また、音響装置11から入力されたアナログ音声信号を音声情報に変換して音声会議装置52に送信する。
音響装置11は、PC12から入力された音声信号を放音し、マイク15で収音した音声信号をPC12に出力する。これにより、音響装置11を音声会議装置として用いることができる。
次に、図1において、ミキサ202は、スイッチ191、スイッチ192から入力される2系統の音声信号、およびスイッチ19Mから入力される音声信号をミキシングし、D/Aコンバータ211に出力する。このミキシングされた音声信号は、D/Aコンバータ211でアナログ音声信号に変換され、アンプ221で増幅された後録音出力端子から出力される。
スイッチ19M、スイッチ191、およびスイッチ192は、接続されている制御部31の指示に基づいて、それぞれ入力された音声信号を1系統出力する、2系統出力する、または全く出力しないようにする。また、スイッチ19Mについてはミキサ201,ミキサ202、およびD/Aコンバータ212の3系統に出力する場合も有る。すなわち、スイッチ19Mは、エコーキャンセラ18から入力された音声信号を、ミキサ201だけに出力、ミキサ202だけに出力、D/Aコンバータ212だけに出力、ミキサ201とミキサ202の両方に出力、ミキサ201とD/Aコンバータ212の両方に出力、ミキサ202とD/Aコンバータ212の両方に出力、ミキサ201とミキサ202とD/Aコンバータ212の3系統に出力、またはいずれにも出力しない、という8つの状態のいずれかに設定される。また、スイッチ191は、入力端子1(A/Dコンバータ171)から入力された音声信号を、エコーキャンセラ18だけに出力、ミキサ202だけに出力、エコーキャンセラ18とミキサ202の両方に出力、またはいずれにも出力しない、という4つの状態のいずれかに設定される。また、スイッチ192は、入力端子2(A/Dコンバータ172)から入力された音声信号を、エコーキャンセラ18だけに出力、ミキサ202だけに出力、エコーキャンセラ18とミキサ202の両方に出力、またはいずれにも出力しない、という4つの状態のいずれかに設定される。
ユーザI/F32は、ボタンなどの操作部により構成され、ユーザの操作に応じた操作信号を制御部31に出力する。制御部31は、マイコンなどにより構成され、ユーザI/F32から入力される操作信号に基づいて、スイッチ19M、スイッチ191、およびスイッチ192を、それぞれ上記のいずれかの状態に設定する。ユーザは、ユーザI/F32を操作して、各スイッチ19M、スイッチ191、およびスイッチ192が上記のいずれかの状態になるように指示する。
すなわち、ユーザは、マイク15で収音した音声信号を、スピーカ23から放音する、録音出力端子から出力する、ライン出力端子から出力する、スピーカ23から放音しかつ録音出力端子から出力する、スピーカ23から放音しかつライン出力端子から出力する、録音出力端子から出力しかつライン出力端子から出力する、スピーカ23から放音しかつ録音出力端子およびライン出力端子から出力する、放音もせずかつ録音出力端子から出力もしない、という8つの状態を選択指示する。また、ユーザは、入力端子1から入力した音声信号を、スピーカ23から放音する、録音出力端子から出力する、スピーカ23から放音しかつ録音出力端子から出力する、放音もせずかつ録音出力端子から出力もしない、という4つの状態を選択指示する。同様に、ユーザは、入力端子2から入力した音声信号を、スピーカ23から放音する、録音出力端子から出力する、スピーカ23から放音しかつ録音出力端子から出力する、放音もせずかつ録音出力端子から出力もしない、という4つの状態を選択指示する。なお、音響装置11にユーザ操作の補助用の表示部(LCDなど)を備えていてもよい。
これにより、音響装置11は、音声会議を行いながら、BGMを再生したり、ユーザが所望のソース音声を録音したりすることができる。図4は、音響装置にPC、録音装置、および楽音再生装置を接続した場合の例を示す図である。同図において、音響装置11には、PC12、録音装置53、および楽音再生装置54が接続されている。
PC12、ネットワーク51、および音声会議装置52は、図3に示したものと同一であり、同様に接続されているが、同図においては音響装置11の入力端子1とPC12のライン出力端子が接続されている。
楽音再生装置54は、CDやDVD等のメディアに記録されているBGM等(楽音)を再生し、この再生楽音に基づいたアナログ音声信号を音響装置11の入力端子2に出力する。なお、再生する楽音が記録されている媒体はどのようなものであってもよい。
録音装置53は、音響装置11の録音出力端子と接続され、この録音出力端子から出力された音声信号を入力し、内蔵するHDD等に録音する。なお、録音する媒体はどのようなものであってもよい。また、録音装置53と楽音再生装置54は1つの筐体(すなわち録音再生装置)であってもよい。また、PC12を用いて録音を行ってもよい。
図4に示す接続例の場合、音声会議を行いながら議事録を作成する場合に好適である。例えば、議事録(音声ログ)として会話内容とBGMを録音し、スピーカからは相手側の音声とBGMを聴きたい場合、ユーザは、音響装置11のマイク15で収音した音声信号を録音出力端子、およびライン出力端子から出力する設定とする。また、入力端子1から入力した音声信号を、スピーカ23から放音しかつ録音出力端子から出力する設定とする。また、入力端子2から入力した音声信号も、スピーカ23から放音しかつ録音出力端子から出力する設定とする。
このような設定とすることにより、マイク15の収音音声(すなわち自身の発話音声)、入力端子1の入力音声(相手側の発話音声)、入力端子2の入力音声(BGM)が録音装置53に入力され、録音される。また、相手側の発話音声とBGMがスピーカ23から放音され、自身の発話音声はスピーカ23から放音されない。
また、会話内容のみ録音し、BGMはその場で聴くだけにしたい場合、ユーザは、入力端子2から入力した音声信号を、スピーカ23から放音するだけとし、録音出力端子から出力しないように設定する。これにより、マイク15の収音音声(自身の発話音声)と入力端子1の入力音声(相手側の発話音声)が録音装置53に入力され、録音される。
また、本実施形態の音響装置は、通信教育システムに用いる場合にも好適である。通信教育システムでは、楽音再生装置54でレッスンに用いるメディア教材(英会話の手本音声など)を再生し、音声会議装置52を講師が使用する。このような通信教育システムでは、講師の音声のみを録音したい場合が有る。ユーザは、音響装置11のマイク15で収音した音声信号を録音出力端子、およびライン出力端子から出力する設定とする。また、入力端子1から入力した音声信号を、スピーカ23から放音しかつ録音出力端子から出力する設定とする。また、入力端子2から入力した音声信号は、スピーカ23から放音する設定とする。
このような設定とすることにより、入力端子1の入力音声(講師の発話音声)だけが録音装置53に入力され、録音される。また、相手側の発話音声とレッスン用のメディア教材の音声がスピーカ23から放音され、自身の発話音声はスピーカ23から放音されない。
以上のように、本実施形態の音響装置は、音声会議や通信教育を行いながら、ユーザが所望のソース音声を録音することができる。なお、エコーキャンセラ18の後段にスイッチ19Mを設けたため、自身の音声を録音する場合には、エコーキャンセラによりエコー成分が低減されている。
なお、入力端子1、入力端子2、録音出力端子、およびライン出力端子は、デジタル音声信号を入出力する端子であってもよい。この場合、A/Dコンバータ171、A/Dコンバータ172、D/Aコンバータ211、およびD/Aコンバータ222は無くてもよい。また、アンプ161、アンプ162、アンプ221、およびアンプ222はデジタル音声信号を増幅するものとする。
音響装置の構成を示すブロック図である。 エコーキャンセラ18の詳細な構成を示すブロック図である。 音響装置を音声会議装置として用いる場合の例を示す図である。 音響装置にPC、録音装置、および楽音再生装置を接続した場合の例を示す図である。
符号の説明
11−音響装置

Claims (2)

  1. 音声信号を入力して放音する放音手段と、
    音声信号を外部に出力する音声出力手段と、
    音声を収音し、収音信号を出力する収音手段と、
    音声信号を外部から入力する音声入力手段と、
    前記音声入力手段が入力した入力信号を適応型フィルタで処理した擬似エコー信号を、前記収音部が出力した収音信号から減算し、当該減算した後の収音信号を補正信号として出力する適応型エコーキャンセラと、
    前記補正信号を、前記放音手段および前記出力手段に選択的に出力する補正信号スイッチ手段と、
    前記入力信号を、前記放音手段および前記出力手段に選択的に出力する入力信号スイッチ手段と、
    前記補正信号スイッチ手段、および前記入力信号スイッチ手段の出力した信号をミキシングして音声信号として放音手段に出力する放音用ミキサと、
    前記補正信号スイッチ手段、および前記入力信号スイッチ手段の出力した信号をミキシングして音声信号として音声出力手段に出力する音声出力用ミキサと、
    前記補正信号スイッチ手段、および前記入力信号スイッチ手段の信号出力先を設定する制御部と、
    を備えた音響装置。
  2. 前記音声入力手段は、複数チャンネルの入力信号を入力し、
    前記適応型エコーキャンセラは、前記複数チャンネルの入力信号をそれぞれ適応型フィルタで処理して擬似エコー信号を前記収音信号から減算し、
    前記入力信号スイッチ手段は、前記複数チャンネルの入力信号をそれぞれ個別に前記放音手段および前記出力手段に選択的に出力する請求項1に記載の音響装置。
JP2006321751A 2006-11-29 2006-11-29 音響装置 Expired - Fee Related JP4930015B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006321751A JP4930015B2 (ja) 2006-11-29 2006-11-29 音響装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006321751A JP4930015B2 (ja) 2006-11-29 2006-11-29 音響装置

Publications (2)

Publication Number Publication Date
JP2008136080A true JP2008136080A (ja) 2008-06-12
JP4930015B2 JP4930015B2 (ja) 2012-05-09

Family

ID=39560586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006321751A Expired - Fee Related JP4930015B2 (ja) 2006-11-29 2006-11-29 音響装置

Country Status (1)

Country Link
JP (1) JP4930015B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071188A1 (ja) * 2020-10-02 2022-04-07 ヤマハ株式会社 音響処理方法および音響処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319095A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 音声制御装置
JP2005184386A (ja) * 2003-12-18 2005-07-07 Sony Corp 音声集音・映像撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319095A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 音声制御装置
JP2005184386A (ja) * 2003-12-18 2005-07-07 Sony Corp 音声集音・映像撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071188A1 (ja) * 2020-10-02 2022-04-07 ヤマハ株式会社 音響処理方法および音響処理システム

Also Published As

Publication number Publication date
JP4930015B2 (ja) 2012-05-09

Similar Documents

Publication Publication Date Title
US20080165988A1 (en) Audio blending
US11650790B2 (en) Centrally controlling communication at a venue
US11521636B1 (en) Method and apparatus for using a test audio pattern to generate an audio signal transform for use in performing acoustic echo cancellation
JPH09326731A (ja) エコーキャンセル装置
JP4930015B2 (ja) 音響装置
CN111866664A (zh) 一种音频处理方法、装置、设备及计算机可读存储介质
JP6155633B2 (ja) マルチトラック録音装置
KR100393852B1 (ko) 동작완구를 이용한 시청각 학습 시스템
Abel et al. Recording in a virtual acoustic environment
KR100667814B1 (ko) 전기 기타의 톤 및 이펙터 기능을 갖는 휴대용 오디오 재생장치
JP2005086618A (ja) 音声再生装置
JP6922551B2 (ja) 音声処理装置、音声処理プログラム、及び音声処理方法
RU161757U1 (ru) Устройство обмена мгновенными аудиосообщениями
JP2005196074A (ja) 演奏システム及び楽音映像再生装置
JP2001094479A (ja) 反響消去装置
KR20070010762A (ko) 재생음의 화음 이미지 출력장치와 그 방법 및 그 기능을가지는 이동통신 단말기
JPH11231878A (ja) 音場処理の制御方法
WO2001029798A1 (fr) Systeme de traitement audio/video et support enregistre exploitable par ordinateur sur lequel est enregistre le programme de mise en oeuvre dudit systeme
JP2020112720A (ja) 音声再生装置、及び、音声再生方法
JP2012089000A (ja) 遠隔会議方法、遠隔会議システム及び遠隔会議プログラム
KR20080094227A (ko) 어학용 재생기
JPH03296972A (ja) 音楽情報処理装置
Fish Audio Gain Structure for Pro AV Systems
JP2001125590A (ja) 音声による楽曲入力装置およびこれを用いた機器
JPH0282287A (ja) 音声学習装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111019

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees