JP2008236198A - 超指向性スピーカ用変調器 - Google Patents

超指向性スピーカ用変調器 Download PDF

Info

Publication number
JP2008236198A
JP2008236198A JP2007070996A JP2007070996A JP2008236198A JP 2008236198 A JP2008236198 A JP 2008236198A JP 2007070996 A JP2007070996 A JP 2007070996A JP 2007070996 A JP2007070996 A JP 2007070996A JP 2008236198 A JP2008236198 A JP 2008236198A
Authority
JP
Japan
Prior art keywords
audio signal
signal
sound
modulator
low frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007070996A
Other languages
English (en)
Inventor
Hiroaki Kato
宏明 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2007070996A priority Critical patent/JP2008236198A/ja
Publication of JP2008236198A publication Critical patent/JP2008236198A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transducers For Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】可聴音の低域再生を良好に行うことができる超指向性スピーカ用変調器を得る。
【解決手段】音源1から入力した音声信号s(t)の低音域をミッシングファンダメンタル現象によるバーチャルピッチとして聴取者が感じるように低域補償部10が該低音域の倍音を表す音声信号sa(t)を生成し、加算器12aが音声信号s(t)と音声信号sa(t)とを加算して係数器13へ出力する。係数器13が加算器12aの出力信号を係数倍し、加算器12bが係数器13と直流源14との出力信号を加算する。平方根変換器15が加算器12bの出力信号の平方根処理を行い、掛算器17が超音波帯域発振器16からの超音波帯域の搬送波を示す信号と平方根変換器15の出力信号とを掛算処理して、パワーアンプ3で増幅して放射器4から空気中へ放射したとき、超音波から可聴音へ自己復調する変調信号を生成する。
【選択図】図1

Description

この発明は、可聴音を指向性放射する超指向性スピーカ用変調器に関するものである。
従来の変調器として次のように信号処理を行うものがある。音源から出力される音声信号s(t)を係数器によってm倍し、m・s(t)の信号を得る。このm・s(t)の信号に加算器を用いて直流源のバイアスを加算して包絡処理を行い、1+m・s(t)とする。平方根変換器を用いて加算器の出力信号1+m・s(t)に平方根処理を施し、得られた信号√(1+m・s(t))を掛算器に入力し、超音波帯域発振器が発生している超音波帯域の搬送波と掛算処理する。この掛算処理によって振幅変調が行われ、変調信号を生成している。即ち、変調度mの音声信号m・s(t)の平方根処理を行い、平方根処理を施した信号に掛算処理を行って超音波を搬送波とする振幅変調を行っている。掛算器の出力即ち変調信号は、パワーアンプによって増幅され、超音波振動子アレー(以下、放射器と記載する)に供給される。放射器は、パワーアンプから入力した変調信号に基いて超音波を発生する。放射器から空気中に放射された超音波は、空気の非線形作用によって可聴音に自己復調し、前述の音源から出力された音声信号が可聴音に再生される。このように超音波の伝搬範囲のみで可聴音が聴こえる指向性放射を行っている(例えば、特許文献1参照)。
また、入力信号を帯域分割手段によって複数の周波数帯域に分割し、分割された周波数に対して倍音再生が行われるように音響信号処理を施す装置がある。倍音再生法については全波整流法、べき乗算、ゼロクロス法等のいずれでもよい。このとき帯域分割手段による帯域分割幅を工夫することにより、倍音生成に伴う歪の発生を防ぐことができる。生成された倍音は、遅延器によって遅延された元の入力信号と加算される。このように倍音を生成し、歪を抑えながら低音感の向上を図っている(例えば、特許文献2参照)。なお、この装置は、分割した帯域毎に倍音を生成し、変調を行うことなく可聴音を表す信号を処理するもので、超音波から自己復調して可聴音になる当該超音波の変調信号を生成するように構成されたものではない。
特開平4−58758号公報(第3頁、第1,2図) 特開2004−101797号公報(第7,8頁、図1〜図3)
従来の変調器は以上のように構成されているので、超音波を発生する放射器等の周波数特性が影響して空気中に放射した超音波から自己復調する可聴音は低域音圧が小さなものになる。可聴音を指向性放射したとき、上記のように低域再生能力が低いことからフラットな周波数特性を得ることが難しく、音楽再生などに適さないという課題があった。
この発明は上記のような課題を解決するためになされたもので、可聴音の低域再生を良好に行うことができる超指向性スピーカ用変調器を得ることを目的とする。
この発明に係る超指向性スピーカ用変調器は、音源から入力した音声信号の低音域をミッシングファンダメンタル現象によるバーチャルピッチとして聴取者が感じるように該低音域の倍音を表す音声信号を生成する低域補償手段、及び、音源から入力した音声信号と低域補償手段が生成した倍音を表す音声信号とを加算して係数手段へ出力する加算手段を備えるものである。
この発明によれば、音声信号の低音域をミッシングファンダメンタル現象によるバーチャルピッチとして聴取者が感じるように該低音域の倍音を低域補償手段が生成し、音声信号と低域補償手段が生成した倍音とを加算して変調信号を生成するようにしたので、ミッシングファンダメンタル現象のバーチャルピッチとして低域の可聴音を聴取者に知覚させることによって低域再生能力を高め、音楽再生用としても使用することが可能になるという効果がある。
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1は、この発明の実施の形態1による超指向性スピーカ用変調器を用いた超指向性スピーカの構成を示すブロック図である。図示した超指向性スピーカは、可聴音を表す音声信号s(t)を出力する音源1、音源1から入力した音声信号s(t)を変調する変調器2、変調器2の出力信号を増幅するパワーアンプ3、及び、パワーアンプ3の出力信号に基いて超音波を発生する放射器4を備えている。
変調器2は、音源1から音声信号s(t)を入力する低域補償部10、同じく音声信号s(t)を音源1から入力する遅延部11、低域補償部10と遅延部11の出力信号とを入力する加算器12a、加算器12aの出力信号を入力する係数器13、係数器13の出力信号と直流源14の出力信号とを入力する加算器12b、加算器12bの出力信号を入力する平方根変換器15、平方根変換器15の出力信号と超音波帯域発振器16の出力信号とを入力して生成した変調信号をパワーアンプ3へ出力する掛算器17によって構成されている。
図2は、実施の形態1による超指向性スピーカ用変調器の構成を示すブロック図である。この図は、図1に示した変調器2に備えられる低域補償部10の構成を示したもので、図1に示したものと同一部分に同じ符号を使用し、その説明を省略する。図2に示した低域補償部10は、音源1から音声信号s(t)を入力してフーリエ変換処理を施すFast Fourier Transform(以下、FFTと記載する)部20、FFT部20の出力信号にサンプリング処理を施すサンプリング部21、サンプリング部21の出力信号が表す各周波数の倍音を各々生成する複数の倍音生成部22、及び、全ての倍音生成部22の出力信号に逆フーリエ変換処理を施す逆FFT部23を備えている。
次に動作について説明する。
音源1からの音声信号s(t)は変調器2へ入力される。変調器2の低域補償部10は、入力した音声信号s(t)から倍音を表す音声信号sa(t)を生成する。また、遅延部11は、入力した音声信号s(t)を遅延させて音声信号sa(t)と同期させる。加算器12aは、低域補償部10から出力された音声信号sa(t)と遅延部11から出力された音声信号s(t)との加算処理を行い、s(t)+sa(t)で表される音声信号を生成する。係数器13は、加算器12aの出力信号に変調度を表す係数mを乗じる処理を行い、m(s(t)+sa(t))で表される信号を生成する。加算器12bは、係数器13の出力信号と直流源14から出力されるバイアス成分、即ち包絡線バイアス信号とを加算し、1+m(s(t)+sa(t))で表される信号を生成する。
平方根変換器15は、加算器12bの出力信号の平方根を求める演算処理を行い、次の(1)式で表される信号Rs(t)を生成する。
Figure 2008236198
掛算器17は、平方根変換器15の出力信号Rs(t)と超音波帯域発振器16が生成している超音波帯域の搬送波を表す信号との掛算処理を行い、超音波帯域の搬送波を平方根変換器15の出力信号Rs(t)で振幅変調した変調信号を生成する。このように生成した変調信号は、超音波帯域に含まれる搬送波成分及び側波帯成分を有する。
パワーアンプ3は、掛算器17の出力信号即ち変調器2が生成した変調信号を入力し、放射器4を駆動することができるように増幅する。放射器4は、パワーアンプ3の出力信号に基く超音波を発生して空気中に放射する。放射器4から放射された超音波は、搬送波と側波帯から成り、空気の非線形パラメトリック現象によって可聴音に自己復調する。この可聴音は、超音波の放射範囲内で聴こえることから、限られたエリア内に可聴音が指向性放射されたことになる。図1に示した超指向性スピーカは、概ねこのように動作する。
図3は、可聴音を指向性放射するときの動作を示す説明図である。この図は、パラメトリックスピーカから出力される可聴音ならびに超音波の音圧を示したもので、図中縦軸が音圧レベル、横軸が周波数を表している。
パラメトリックスピーカは、強力な超音波が空気を伝搬する過程で発生する歪成分を用いて可聴帯域の音を得るもので、例えば図3に示した二つの周波数成分f1,f2、その差成分f2−f1、和成分f2+f1の関係を利用している。周波数成分f1,f2は人間に聴こえない超音波帯域に含まれるものであるが、差成分f2−f1が可聴帯域に含まれるように当該周波数f1,f2を定めることが可能である。即ち、このように周波数成分f1,f2を設定することにより、超音波が空気中を伝搬するときに生じる歪みのうち、差成分f2−f1を可聴音とすることができる。図1に示した超指向性スピーカは、ここで説明したパラメトリックスピーカのように、超音波に歪成分が発生する空気の非線形性を用いて可聴音の指向性放射を行っている。
パラメトリックスピーカの原理を応用して、空気中を伝わるとき直線性が高い超音波を放射器4から所望の方向へ放射し、当該超音波を自己復調させて可聴音の指向性放射を行うと、放射器4等の周波数特性が影響して超音波から自己復調した可聴音の低域音圧が不足する、もしくは低音域の再生が困難になる。図1の変調器2は、上記のように再生困難な低音について、低域補償部10を用いて当該低音の整数次の倍音を生成し、いわゆるミッシングファンダメンタル現象によるバーチャルピッチを応用して、聴取者に音声信号s(t)の低音域を知覚させるようにしている。
ここで、ミッシングファンダメンタル現象によるバーチャルピッチの基本的な原理を説明する。ミッシングファンダメンタル現象とは、基本周波数が欠けた倍音(調波構造)をもつ音に関して、実際には存在しない基本波成分の周波数に対応するピッチ(バーチャルピッチ)が知覚される現象である。換言すると、人間の脳は二つの音を同時に聞くと音程の差を感知する能力を有している。
図4は、ミッシングファンダメンタル現象によって知覚されるバーチャルピッチの一例を示す説明図である。例えば、同じ音圧レベルの120[Hz]と180[Hz]の可聴音が聞こえたとき、脳は二つの可聴音の差音60[Hz]を感じ取る。なお、上記の二つの可聴音120[Hz]と180[Hz]との和の周波数300[Hz]は、図示したように小さな音圧レベルで知覚され、もしくは感じることができず、主に音圧レベルが大きくなる60[Hz]の低音が知覚される。このように、人間の脳は実際には存在しない周波数の音を感じることから、放射器4から放射された超音波が可聴音へ自己復調するとき、実際には発生していない、もしくは音圧レベルが低い低音域の可聴音を聴取者に知覚させることが可能である。
図2に示したように構成された低域補償部10は、入力した音声信号s(t)に対してFFT部20がフーリエ変換を行って当該音声信号s(t)の周波数成分を抽出する。サンプリング部21は、FFT部20が抽出した周波数成分の中から適当な複数の周波数成分を選択し、ミッシングファンダメンタル現象の基音として設定する。
図5は、実施の形態1による超指向性スピーカ用変調器のサンプリング部の動作を示す説明図である。この図は、例えば時間tにおいてFFT部20が音声信号s(t)をフーリエ変換したときの周波数成分と音圧レベルとの関係を示すもので、図中横軸が周波数、縦軸が音圧レベルを表している。前述のようにFFT部20の出力信号を入力したサンプリング部21は、例えば、周波数50[Hz]から250[Hz]の範囲内において、予め設定されているしきい値以上の音圧レベルを有する周波数を複数選択し、この周波数をサンプリングポイントとして設定する。これらのサンプリングポイントの間隔は任意に設定され、例えばパラメータとして外部から設定するようにしてもよい。また、音声信号s(t)の低音域範囲は、上記の周波数50[Hz]〜250[Hz]に限定されない。前述のように、一定の大きさ以上の音圧を有する低域周波数をサンプリングポイントとして設定し、音圧レベルが低いノイズ等をサンプリングポイントとして設定しないようにする。
図2に示したように並列に複数備えられた倍音生成部22は、サンプリング部21が設定した複数のサンプリングポイントの周波数(以下、サンプリングされた周波数と記載する)即ち基音を表す信号を入力する。このとき、各倍音生成部22は各々異なるサンプリング周波数を一つずつ入力し、それぞれのサンプリングポイントについて倍音成分を生成する。各倍音生成部22は、「サンプリングされた周波数をn倍にした周波数」、及び、「サンプリングされた周波数をn倍にした周波数+サンプリングされた周波数」を求める。なお、上記の倍率nは100以上の整数である。
例えば、サンプリングされた周波数を80[Hz]とし、また上記の倍率nを200としたとき、倍音生成部22はサンプリングされた周波数80[Hz]の倍音として、80×200=16000[Hz]と、80×200+80=16080[Hz]を求める。このように倍率nを充分大きく設定して、倍音生成部22の求める倍音が、放射器4から超音波を放射して空気中で可聴音に自己復調したとき充分な音圧が得られる周波数となるようにする。また、人には聞こえ難い超音波に近い周波数の倍音を生成することにより、音声信号s(t)が表す原音に大きな影響を与えることなく当該倍音の差音80[Hz]を聴取者に感じさせることができる。
各倍音生成部22の生成した倍音成分を示す信号は、前述のように逆FFT部23へ入力される。逆FFT部23は、各倍音生成部22が生成した倍音成分の逆フーリエ変換を行って音声信号sa(t)を生成する。このように音声信号s(t)の低音域からサンプリングされた周波数の倍音成分を求め、さらに当該倍音成分の音声信号sa(t)を生成し、加算器12aによって元来の音声信号s(t)と音声信号sa(t)とを加算して、バーチャルピッチの応用によって低音域を補う音声信号s(t)+sa(t)を生成している。なお、加算器12aに入力される音声信号s(t)は、遅延部11によって遅延され、音声信号sa(t)と同期させたものである。このように動作する低域補償部10及び遅延部11は、デジタル回路として構成することにより実現することができる。
加算器12aの出力信号は前述のように係数器13へ入力され、当該係数器13、直流源14、加算器12b、平方根変換器15、超音波帯域発振器16、及び、掛算器17の各動作処理によって変調信号が生成される。この変調信号はパワーアンプ3によって増幅され、放射器4を駆動して超音波となって空気中に放射される。この超音波が空気の自己復調作用によって可聴音となったときには、元の音声信号s(t)を復調させた音声に加えて低域補償部10が生成した音声信号sa(t)も復調されて前述のような倍音が生じ、音声信号s(t)の低域成分として上記倍音の差音を知覚させ、聴取者に充分な低音を有する音声信号s(t)の再生音を聴取させることができる。
以上のように実施の形態1によれば、音源1から入力した音声信号s(t)の周波数成分を抽出するFFT部20、音声信号s(t)の周波数成分からサンプリングポイントを設定するサンプリング部21、サンプリングポイントの周波数がバーチャルピッチとして感じられるように倍音を生成する倍音生成部22、生成した倍音を逆フーリエ変換して音声信号sa(t)を生成する逆FFT部23、及び、音声信号s(t)と音声信号sa(t)とを換算する加算器12aを備え、加算器12aから出力される音声信号s(t)+sa(t)に平方根処理を施して超音波帯域の搬送波を振幅変調するようにしたので、超音波を放射して可聴音へ自己復調させたときに音圧が不足する、もしくは発生させることが難しい音声信号s(t)の低音域を聴取者に感じさせることができ、音楽再生の用途に充分使用することができる周波数特性を備えて可聴音を指向性放射することができるという効果がある。
この発明の実施の形態1による超指向性スピーカ用変調器を用いた超指向性スピーカの構成を示すブロック図である。 実施の形態1による超指向性スピーカ用変調器の構成を示すブロック図である。 可聴音を指向性放射するときの動作を示す説明図である。 ミッシングファンダメンタル現象によって知覚されるバーチャルピッチの一例を示す説明図である。 実施の形態1による超指向性スピーカ用変調器のサンプリング部の動作を示す説明図である。
符号の説明
1 音源、2 変調器、3 パワーアンプ、4 放射器、10 低域補償部、11 遅延部、12a,12b 加算器、13 係数器、14直流源、15 平方根変換器、16 超音波帯域発振器、17 掛算器、20 FFT部、21 サンプリング部、22 倍音生成部、23 逆FFT部。

Claims (3)

  1. 音声信号を係数倍する係数手段、前記音声信号の包絡信号を生成し前記係数手段の出力信号と加算する包絡手段、前記包絡手段の出力信号の平方根処理を行う平方根変換手段、及び、超音波帯域発振手段からの超音波帯域の搬送波を表す信号と前記平方根変換手段の出力信号とを掛算処理して放射器を用いて空気中へ放射したとき超音波から可聴音へ自己復調する変調信号を生成する掛算手段を備える超指向性スピーカ用変調器において、
    音源から入力した音声信号の低音域をミッシングファンダメンタル現象によるバーチャルピッチとして聴取者が感じるように該低音域の倍音を表す音声信号を生成する低域補償手段、
    及び、前記音源から入力した音声信号と前記低域補償手段が生成した倍音を表す音声信号とを加算して前記係数手段へ出力する加算手段、
    を備えることを特徴とする超指向性スピーカ用変調器。
  2. 低域補償手段は、音源から入力した音声信号のフーリエ変換を行うフーリエ変換手段と、前記フーリエ変換によって抽出された前記音声信号の低音域の周波数成分からサンプリングポイントを設定するサンプリング手段と、前記サンプリング手段が設定したサンプリングポイントの周波数がバーチャルピッチとなるように該サンプリングポイントの倍音を生成する倍音生成手段と、前記倍音生成手段の生成した倍音の逆フーリエ変換を行って該倍音を表す音声信号を生成する逆フーリエ変換手段とを備えることを特徴とする請求項1記載の超指向性スピーカ用変調器。
  3. 低域補償手段から出力される倍音を表す音声信号と同期するように、音源から入力した音声信号を遅延させる遅延手段を備えることを特徴とする請求項1または請求項2記載の超指向性スピーカ用変調器。
JP2007070996A 2007-03-19 2007-03-19 超指向性スピーカ用変調器 Pending JP2008236198A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007070996A JP2008236198A (ja) 2007-03-19 2007-03-19 超指向性スピーカ用変調器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007070996A JP2008236198A (ja) 2007-03-19 2007-03-19 超指向性スピーカ用変調器

Publications (1)

Publication Number Publication Date
JP2008236198A true JP2008236198A (ja) 2008-10-02

Family

ID=39908475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007070996A Pending JP2008236198A (ja) 2007-03-19 2007-03-19 超指向性スピーカ用変調器

Country Status (1)

Country Link
JP (1) JP2008236198A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524440A (ja) * 2009-04-17 2012-10-11 ソンティア ロジック リミテッド オーディオ信号の処理
KR101439315B1 (ko) 2012-12-31 2014-09-11 김지웅 개인적 위치 방향 스피커 시스템 및 제공방법
JP2017085562A (ja) * 2015-10-30 2017-05-18 グォグァン エレクトリック カンパニー リミテッドGuoguang Electric Company Limited 仮想低音(bass)のオーディオ信号への付加

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0458758B2 (ja) * 1983-09-30 1992-09-18 Ricoh Kk
JP2004101797A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd 音響信号処理装置及びその方法
JP2006311101A (ja) * 2005-04-27 2006-11-09 Mitsubishi Electric Engineering Co Ltd 超指向性音響装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0458758B2 (ja) * 1983-09-30 1992-09-18 Ricoh Kk
JP2004101797A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd 音響信号処理装置及びその方法
JP2006311101A (ja) * 2005-04-27 2006-11-09 Mitsubishi Electric Engineering Co Ltd 超指向性音響装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524440A (ja) * 2009-04-17 2012-10-11 ソンティア ロジック リミテッド オーディオ信号の処理
KR101439315B1 (ko) 2012-12-31 2014-09-11 김지웅 개인적 위치 방향 스피커 시스템 및 제공방법
JP2017085562A (ja) * 2015-10-30 2017-05-18 グォグァン エレクトリック カンパニー リミテッドGuoguang Electric Company Limited 仮想低音(bass)のオーディオ信号への付加

Similar Documents

Publication Publication Date Title
KR100619066B1 (ko) 오디오 신호의 저음역 강화 방법 및 장치
KR100622078B1 (ko) 초지향성 스피커 시스템 및 신호처리 방법
US20130003989A1 (en) Perception enhancement for low-frequency sound components
JP6274497B2 (ja) パラメトリックスピーカ
JP5074115B2 (ja) 音響信号処理装置及び音響信号処理方法
CN103004234A (zh) 参量扬声器的驱动
KR101329308B1 (ko) 오디오 신호의 저주파 성분 보강 방법 및 그 장치, 오디오신호의 기본 주파수 계산 방법 및 그 장치
Bai et al. Synthesis and implementation of virtual bass system with a phase-vocoder approach
JP2008236198A (ja) 超指向性スピーカ用変調器
JP4799303B2 (ja) 変調器及び超指向性音響装置
JP5046786B2 (ja) 擬似重低音生成装置
JP2007201624A (ja) 超指向性スピーカ用変調器
Matsui et al. A design of audio spot based on separating emission of the carrier and sideband waves
JP4535758B2 (ja) 超指向性スピーカ用変調器
JPS6075199A (ja) 電気音響変換装置
JP2019080172A (ja) スピーカ装置およびスピーカ装置の制御方法
JP2007228402A (ja) 超指向性音響装置
CN103688555A (zh) 减少失真
US8022289B2 (en) Harmonic sound generator and a method for producing harmonic sound
JP7265253B2 (ja) パラメトリックスピーカ、及び、パラメトリックスピーカの信号出力方法
JP4494902B2 (ja) 音響再生装置
JP3947649B2 (ja) 超音波合成による可聴帯音波発生方法及び装置
TWI538526B (zh) 指向性揚聲裝置與產生指向性聲波的方法
Tan et al. Preprocessing techniques for parametric loudspeakers
KR101882140B1 (ko) 초지향성 및 무지향성 동시 신호출력이 가능한 복합스피커시스템

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Effective date: 20080909

Free format text: JAPANESE INTERMEDIATE CODE: A7424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Effective date: 20120221

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120412

A02 Decision of refusal

Effective date: 20121127

Free format text: JAPANESE INTERMEDIATE CODE: A02