JP2011075440A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2011075440A
JP2011075440A JP2009228131A JP2009228131A JP2011075440A JP 2011075440 A JP2011075440 A JP 2011075440A JP 2009228131 A JP2009228131 A JP 2009228131A JP 2009228131 A JP2009228131 A JP 2009228131A JP 2011075440 A JP2011075440 A JP 2011075440A
Authority
JP
Japan
Prior art keywords
filtering area
image
screen
radio wave
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2009228131A
Other languages
English (en)
Inventor
Tatsuya Nozawa
達哉 野沢
Hirokazu Shimomaki
裕和 下牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009228131A priority Critical patent/JP2011075440A/ja
Publication of JP2011075440A publication Critical patent/JP2011075440A/ja
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Holo Graphy (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】電波の発射源を可視化する周波数領域を変更する際に、その操作性を向上させることが可能な画像表示装置を提供する。
【解決手段】スペクトラム波形表示画面におけるフィルタリングエリアを、GUIで使用されるユーザインタフェース部により画面上で操作する。そして、この画面上の操作により、フィルタリングエリアにより選択された周波数帯域が変更された場合、変更後の合成画像を発射源表示画面に表示する。
【選択図】 図4

Description

この発明は、電波の方位角及び仰角等の到来方向を推定し、これらから電波の到来方向を二次元画像として出力することで、電波発射源を特定する電波発射源可視化装置に関する。
近年、電波発射源を容易に特定することが可能な電波発射源可視化装置が提案されている(例えば、特許文献1及び2参照)。この種の電波発射源可視化装置は、複数のアンテナ素子からなるアレーアンテナを備え、このアレーアンテナの個々の素子出力から電波の到来方向を推定する。また、電波発射源可視化装置は、カメラ等の撮像装置を備えており、この撮像装置により撮像された撮像画像と推定した到来方向とを重ね合わせることで、電波の発射源を可視化する。
ところで、この電波発射源可視化装置で用いられる表示装置では、電波の発射源を可視化する発射源表示画面に加えて、電波のスペクトラム波形を表示するスペクトラム波形表示画面が表示される。このとき、スペクトラム波形表示画面には、電波において可視化する周波数帯を指定するフィルタリングエリアが表示される。発射源表示画面では、スペクトラム波形上においてフィルタリングエリアで囲まれた周波数のキャリアの電波発射源が可視化されることとなる。電波発射源可視化装置のユーザは、発射源を特定したいキャリアの周波数を、フィルタリングエリア内に収めることにより、電波の発射源をキャリア毎に把握することが可能となる。
しかしながら、従来の表示装置では、キャリア毎の発射源を表示させるため、ユーザは、可視化したい周波数を予めスペクトラム波形表示画面で確認する。そして、ユーザは、その周波数の下限値及び上限値を手入力することで、フィルタリングエリアの設定を行っていた。
特開2007−212228号公報 特開2007−212229号公報
以上のように、従来の画像表示装置では、電波の発射源をキャリア毎に把握する際には、スペクトラム波形表示画面にて予め対象キャリアの周波数範囲を確認しておく必要があり、操作性があまりよくなかった。
この発明は上記事情によりなされたもので、その目的は、電波の発射源を可視化する周波数領域を変更する際に、その操作性を向上させることが可能な画像表示装置を提供することにある。
上記目的を達成するため、本発明に係る画像表示装置は、複数のアンテナ素子を平面上に配列してなるアレーアンテナと、前記アレーアンテナの指向方向と同一の方向を撮像する撮像装置とを具備し、前記アレーアンテナの個々の素子出力から電波の到来方向を推定し、前記到来方向推定結果と前記撮像装置による撮像画像とを重ね合わせた合成画像を作成することで前記電波の発射源を可視化する電波発射源可視化装置に用いられる画像表示装置であって、前記電波のスペクトラム波形と、前記スペクトラム波形上で可視化の対象となる周波数帯域を選択するフィルタリングエリアとを表示する第1の画面と、前記合成画像を表示する第2の画面と、GUI(Graphical User Interface)で使用されるものであり、前記第1の画面に表示されたフィルタリングエリアにより選択された周波数帯域を、外部から入力された指示に従って、前記第1の画面上で操作するユーザインタフェース部と、前記フィルタリングエリアにより選択された周波数帯域が変更された場合、変更後の周波数帯域に基づいて作成された合成画像を前記第2の画面に表示させる制御部とを具備する。
上記構成による画像表示装置では、第1の画面におけるフィルタリングエリアを、GUIで使用されるユーザインタフェース部により第1の画面上で操作することが可能である。そして、制御部は、この画面上の操作により、フィルタリングエリアにより選択された周波数帯域が変更された場合、変更後の合成画像を第2の画面に表示させる。これにより、第1の画面上で、フィルタリングエリアをユーザインタフェース部により横移動させ、対象キャリアを含むようにするだけで、対象キャリアの電波発射源を可視化することが可能となる。
この発明によれば、電波の発射源を可視化する周波数領域を変更する際に、その操作性を向上させることが可能な画像表示装置を提供することができる。
本発明の一実施形態に係る画像表示装置を備える電波発射源可視化装置の構成を示すブロック図である。 図1の画像表示装置の機能構成を示すブロック図である。 図1の画像表示装置において、到来電波をモニタする際の操作例を示すフローチャートである。 到来電波をモニタしている際の図2の表示部の表示例を示す図である。 図1の画像表示装置において、メモリに記録されたデータを再生する際の操作例を示すフローチャートである。 メモリに記録されたデータを再生する際の図2の表示部の表示例を示す図である。
以下、図面を参照しながら本発明に係る画像表示装置の実施の形態について詳細に説明する。
図1は、本発明の一実施形態に係る画像表示装置30を備える電波発射源可視化装置の構成を示すブロック図である。図1における電波発射源可視化装置は、測定部10、信号処理部20及び画像表示装置30を具備する。測定部10と信号処理部20とは、集合ケーブルにより接続されている。また、信号処理部20と画像表示装置30とは、LAN(Local Area Network)により接続されている。
測定部10は、アレーアンテナ11、受信器12及びカメラ13を備える。アレーアンテナ11は、N個のアンテナ素子A1〜ANを平面上に格子状に配置したものである。ここで、N個のアンテナ素子のうち、少なくとも一つはリファレンスアンテナとして使用される。本実施形態では、アンテナ素子A1をリファレンスアンテナとして説明する。なお、アンテナ素子の形状・種類、アンテナ素子の総数、アンテナ素子を配置するための間隔等は、測定対象、測定目的などにより任意である。
アレーアンテナ11は、アンテナ素子A2〜ANで受信した受信信号を、予め決められた順序及び間隔で切り替え、受信器12へ導出する。このとき、アンテナ素子Ai(iは2〜Nのいずれか)からの受信信号は、リファレンスアンテナであるアンテナ素子A1の受信信号と同時に受信器12へ導出される。
受信器12は、アレーアンテナ11からの受信信号を増幅するとともに、中間周波数帯の信号に周波数変換する。そして、受信器12は、このIF帯の信号をデジタル信号に変換し、信号処理部20へ出力する。
カメラ13は、カメラ撮像方向をアンテナ指向方向に合わせて設置されている。例えば、カメラ13は、アレーアンテナ11の素子配置面を持つ基台に固定され、アレーアンテナ11の指向方向がカメラ13の視野のほぼ中心にくるようにセッティングされる。カメラ13により撮像された撮像画像は、信号処理部20へ出力される。カメラ13からの撮像画像と、受信器12からのデジタル信号とは、集合ケーブルによりまとめられて信号処理部20へ出力される。
信号処理部20は、アンテナ素子A1により受信された受信信号に基づくデジタル信号と、選択されたアンテナ素子Aiにより受信された受信信号に基づくデジタル信号とを同時に受け取り、これらの受信信号間の位相差を検出する。信号処理部20は、この位相差に基づいて、到来する電波の方位角及び仰角を算出する。また、信号処理部20は、アンテナ素子A1〜ANからのデジタル信号に対して、電波ホログラフィ法を用いた到来方向の推定処理を行うことで、到来方向別の推定電波強度を得る。これにより、推定電波強度の強い方向に電波発射源があると推定される。信号処理部20は、到来方向別の推定電波強度、方位角及び仰角を到来方向推定結果として、画像表示装置30へ出力する。また、信号処理部20は、カメラ13からの撮像画像を画像表示装置30へ出力する。
図2は、本発明の一実施形態に係る画像表示装置30の機能構成を示すブロック図である。図2における画像表示装置30は、インタフェース部31、画像合成処理部32、メモリ33、表示部34、操作入力部35、ユーザインタフェース36及び制御部37を備える。各構成要素は、バスに接続されている。
インタフェース部31は、信号処理部20とのインタフェースとなるものであり、信号処理部20から撮像画像及び到来方向推定結果を受信する。インタフェース部31は、撮像画像及び到来方向推定結果を、バスを介して、画像合成処理部32及びメモリ33へ出力する。また、インタフェース部31は、到来方向推定結果を、バスを介して、表示部34へ出力する。
画像合成処理部32は、到来方向推定結果と撮像画像とを重ね合わせて合成画像を作成する。画像合成処理部32では、撮像画像のピクセル毎に対応する方位角及び仰角が予め設定されており、合成画像の作成の際には、このピクセル毎の方位角及び仰角を、到来方向推定結果の方位角及び仰角と合わせる。
また、画像合成処理部32は、推定電波強度に応じて色付けを行う。例えば、画像合成処理部32は、電波強度に応じて、赤、緑、青の3原色を一定の割合で足し合わせることで色付けを行う。このようにすることで、推定電波強度が大きい部分を赤で表示し、強度が小さくなるに従って、青に推移するように表示することが可能となる。また、画像合成処理部32は、推定電波強度及び周波数(の範囲)に応じて色付けを行うことも可能である。例えば、周波数f1のキャリアにより伝搬される電波の色を赤で表示し、電波強度をその濃淡で表す。また、周波数f2のキャリアにより伝搬される電波の色を青で表示し、電波強度をその濃淡で表すようにしても可能である。画像合成処理部32は、合成画像を表示部34へ出力する。
メモリ33は、撮像画像及び到来方向推定結果を記録する。また、メモリ33は、制御部37からの制御により、到来方向推定結果を表示部34へ出力し、撮像画像及び到来方向推定結果を画像合成処理部32へ出力する。
表示部34は、合成画像を表示する発射源表示画面と、到来方向推定結果に基づいて到来電波のスペクトラム波形を表示するスペクトラム波形表示画面とを備える。スペクトラム波形表示画面には、可視化する周波数帯域を選択するフィルタリングエリアが表示されている。また、表示部34には、GUI(Graphical User Interface)による操作ボタンが表示される。
操作入力部35は、ユーザインタフェース36からの指示を受け取る。ユーザインタフェース36は、例えば、GUIの操作器として広く試用されているマウス等である。ユーザは、ユーザインタフェース36を用いて表示部34に表示された操作ボタンを押下することで、操作入力部35を介して指示を制御部37へ与える。例えば、ユーザは、ユーザインタフェース36を用いて、メモリ33に記録された撮像画像及び到来方向推定結果に基づいた可視化画像を、表示部34に表示させるように制御部37に対して指示することが可能である。
また、ユーザは、ユーザインタフェース36を用いて、フィルタリングエリアの中心周波数の移動及び周波数帯域の変更を制御部37に対して指示することが可能である。
制御部37は、例えばマイクロプロセッサからなるCPU(Central Processing Unit)を備えたものである。制御部37は、GUIによる設定用のソフトウェアを実装し、このソフトウェアをCPUに実行させることで、表示部34に操作画面を表示させる。制御部37は、操作入力部35により受け付けられた指示を受け取り、その指示に基づいた処理を行う。
次に、上記構成における動作を説明する。
図3は、本発明の一実施形態に係る画像表示装置30において、到来電波をモニタする際の操作例を示すフローチャートである。また、図4は、到来電波をモニタしている際の表示部34の表示例を示す模式図である。
まず、ユーザは、受信電波、その受信電波の中心周波数及び受信帯域(スパン)等を設定する(S31)。続いて、ユーザは、ユーザインタフェース36により、表示部34に表示された「モニタ」ボタンを押下する(S32)。モニタボタンが押下されると、その旨が制御部37へ通知される。
制御部37は、この指示に基づいて、信号処理部20に対して電波の発射源可視化処理を開始するように開始指示を出す。なお、可視化処理の実行中には「モニタ」ボタンは、「停止」ボタンに変化する。また、「モニタ」ボタンが「停止」ボタンに変化している間(可視化処理の実行中の間)には、「保存」ボタンはグレーアウトして押下することができない。
信号処理部20は、制御部37からの開始指示を受けると、S31で設定された中心周波数及びスパン等で電波を受信する。受信された電波のスペクトラム波形は、表示部34のスペクトラム波形表示画面に表示される。
ユーザは、ユーザインタフェース36であるマウスにより、スペクトラム波形表示画面のフィルタリングエリアをドラッグし、このエリアを左右に移動させて測定を希望するキャリアの周波数上でドロップする(S33)。こうすることで、フィルタリングエリアの中心周波数が、測定を希望するキャリアの周波数上に移動することとなる。そして、ユーザは、スペクトラム波形表示画面の閾値バーをスペクトラム波形のピーク値より下に設定する(S34)。
S33において、フィルタリングエリアの中心周波数を移動させる旨の指示が入力された場合、制御部37は、画像合成処理部32に対して、移動後のフィルタリングエリア内の周波数で合成画像を作成するように指示を出す。画像合成処理部32は、フィルタリングエリアで囲まれた周波数のキャリアを可視化し、撮像画像に重ね合わせて合成画像を作成する。合成画像は、表示部34へ出力される。これにより、表示部34の発射源表示画面には、電波の可視化像が表示されることとなる。
図5は、本発明の一実施形態に係る画像表示装置30において、メモリ33に記録されたデータを再生する際の操作例を示すフローチャートである。また、図6は、メモリ33に記録されたデータを再生する際の表示部34の表示例を示す模式図である。
まず、ユーザは、ユーザインタフェース36により、表示部34の再生画面における読込ボタンを押下して、再生するデータを選択する(S51)。これにより、制御部37は、メモリ33に対して、撮像画像及び到来方向推定結果を画像合成処理部32へ出力するように指示を出し、到来方向推定結果を表示部34へ出力するように指示を出す。画像合成処理部32は、作成した合成画像を表示部34へ出力する。これより、モニタしたときの受信電波名、処理帯域、No、測定日時、キャリア種別、キャリア周波数、方位角、仰角、可視化像及びスペクトラム波形が表示部34に表示される。
ユーザは、ユーザインタフェース36であるマウスにより、スペクトラム波形表示画面のフィルタリングエリアをドラッグし、このエリアを左右に移動させて測定を希望するキャリアの周波数上でドロップする(S52)。こうすることで、フィルタリングエリアの中心周波数が、測定を希望するキャリアの周波数上に移動することとなる。また、ユーザは、マウスにより、フィルタリングエリアの境界線をドラッグし、この境界線を左右に移動させ、フィルタリングエリア内に測定を希望する周波数帯が含まれるようにドロップする(S53)。こうすることで、ファイリングエリアの帯域幅が広帯域化又は狭帯域化することとなる。
S52,53において、フィルタリングエリアの中心周波数及び帯域幅を変更させる旨の指示が入力された場合、制御部37は、画像合成処理部32に対して、変更後のフィルタリングエリア内の周波数で合成画像を作成するように指示を出す。画像合成処理部32は、フィルタリングエリアで囲まれた周波数のキャリアを可視化し、撮像画像に重ね合わせて合成画像を作成する。合成画像は、表示部34へ出力される。これにより、表示部34の発射源表示画面には、電波の可視化像が表示されることとなる。
以上のように、上記一実施形態では、ユーザは、表示部34のスペクトラム波形表示画面におけるフィルタリングエリアを、ユーザインタフェース36により画面上で操作することが可能である。そして、制御部37は、この画面上の操作により、フィルタリングエリアの中心周波数又は周波数帯が変更された場合、変更後の合成画像を作成するように画像合成処理部32へ指示を出すようにしている。
これにより、ユーザは、スペクトラム波形表示画面上で、フィルタリングエリアをマウスで横移動させ、対象キャリアを選択するだけで、対象キャリアの電波発射源の可視化画像を確認することが可能となる。また、ユーザは、フィルタリングエリアの境界線をマウスで横移動させ、対象となる周波数範囲を選択するだけで、対象となる周波数帯域の電波発射源の可視化画像を確認することが可能となる。つまり、ユーザは、電波の発射源を可視化する周波数領域を変更する際に、スペクトラム波形表示画面にて予め対象キャリアの周波数範囲を確認しておく必要が無くなる。
したがって、本発明に係る画像表示装置は、電波の発射源を可視化する周波数領域を変更する際に、その操作性を向上させることができる。
なお、この発明は上記各実施形態に限定されるものではない。例えば上記実施形態では、電波発射源が一つである場合を例に説明しているが、電波発射源が複数であっても同様に実施可能である。
さらに、この発明は実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
10…測定部
11…アレーアンテナ
12…受信器
13…カメラ
20…信号処理部
30…画像表示装置
31…IF部
32…画像合成処理部
33…メモリ
34…表示部
35…操作入力部
36…ユーザインタフェース
37…制御部

Claims (5)

  1. 複数のアンテナ素子を平面上に配列してなるアレーアンテナと、前記アレーアンテナの指向方向と同一の方向を撮像する撮像装置とを具備し、前記アレーアンテナの個々の素子出力から電波の到来方向を推定し、前記到来方向推定結果と前記撮像装置による撮像画像とを重ね合わせた合成画像を作成することで前記電波の発射源を可視化する電波発射源可視化装置に用いられる画像表示装置であって、
    前記電波のスペクトラム波形と、前記スペクトラム波形上で可視化の対象となる周波数帯域を選択するフィルタリングエリアとを表示する第1の画面と、
    前記合成画像を表示する第2の画面と、
    GUI(Graphical User Interface)で使用されるものであり、前記第1の画面に表示されたフィルタリングエリアにより選択された周波数帯域を、外部から入力された指示に従って、前記第1の画面上で操作するユーザインタフェース部と、
    前記フィルタリングエリアにより選択された周波数帯域が変更された場合、変更後の周波数帯域に基づいて作成された合成画像を前記第2の画面に表示させる制御部と
    を具備することを特徴とする画像表示装置。
  2. 前記撮像画像及び前記到来方向推定結果を記録する記録部をさらに具備し、
    前記操作部は、外部から入力された再生指示を前記制御部へ通知し、
    前記制御部は、前記再生指示に応じて前記記録部から前記撮像画像及び到来方向推定結果を読み出し、前記第1の画面に前記到来方向推定結果に基づくスペクトラム波形と所定のフィルタリングエリアとを表示させ、前記第2の画面に前記到来方向推定結果と前記撮像画像とを重ね合わせた合成画像を表示させることを特徴とする請求項1記載の画像表示装置。
  3. 前記フィルタリングエリアにより選択された周波数帯域の変更は、前記フィルタリングエリアの中心周波数の変更であることを特徴とする請求項1及び2のいずれかに記載の画像表示装置。
  4. 前記フィルタリングエリアにより選択された周波数帯域の変更は、前記フィルタリングエリアの周波数帯域の拡張又は減縮であることを特徴とする請求項1及び2のいずれかに記載の画像表示装置。
  5. 前記フィルタリングエリアにより選択された周波数帯域の変更は、前記フィルタリングエリアの中心周波数の変更、及び、前記フィルタリングエリアの周波数帯域の拡張又は減縮であることを特徴とする請求項1及び2のいずれかに記載の画像表示装置。
JP2009228131A 2009-09-30 2009-09-30 画像表示装置 Abandoned JP2011075440A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009228131A JP2011075440A (ja) 2009-09-30 2009-09-30 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009228131A JP2011075440A (ja) 2009-09-30 2009-09-30 画像表示装置

Publications (1)

Publication Number Publication Date
JP2011075440A true JP2011075440A (ja) 2011-04-14

Family

ID=44019579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009228131A Abandoned JP2011075440A (ja) 2009-09-30 2009-09-30 画像表示装置

Country Status (1)

Country Link
JP (1) JP2011075440A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016188350A1 (zh) * 2015-05-25 2016-12-01 高利通科技(深圳)有限公司 一种具有照像功能的光谱显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004132815A (ja) * 2002-10-10 2004-04-30 Ando Electric Co Ltd 測定装置及び測定結果の表示方法
JP2006337281A (ja) * 2005-06-03 2006-12-14 Toshiba Corp 電波発生源可視化装置及び電波発生源可視化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004132815A (ja) * 2002-10-10 2004-04-30 Ando Electric Co Ltd 測定装置及び測定結果の表示方法
JP2006337281A (ja) * 2005-06-03 2006-12-14 Toshiba Corp 電波発生源可視化装置及び電波発生源可視化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016188350A1 (zh) * 2015-05-25 2016-12-01 高利通科技(深圳)有限公司 一种具有照像功能的光谱显示方法及系统

Similar Documents

Publication Publication Date Title
JP4813774B2 (ja) 周波数分析装置の表示方法
CN111464800B (zh) 图像处理装置、系统、方法和计算机可读存储介质
JP2014230176A (ja) 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法
JP2018206025A5 (ja)
US9549221B2 (en) Signal switching apparatus and method for controlling operation thereof
JP2007147972A5 (ja)
JP4805610B2 (ja) 電波発生源可視化装置及び電波発生源可視化方法
JP2008072377A5 (ja)
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2012039603A5 (ja)
JP2009270896A (ja) 信号分析装置及び周波数領域データ表示方法
JP5339493B2 (ja) 電波発射源可視化装置及びその方法
JPWO2015166675A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011075440A (ja) 画像表示装置
JP2007010615A (ja) 電波発射源検知装置
US20180048789A1 (en) Image processing apparatus, image processing system, and image processing method
JP4723916B2 (ja) 電波発生源可視化装置及び電波発生源可視化方法
JP2011205380A (ja) 画像処理装置
JP2007088655A5 (ja)
JP2007212241A (ja) 電波発射源可視化装置及びその方法
WO2017122394A1 (ja) 撮像制御装置、および撮像装置
US20130016905A1 (en) Method and apparatus for correcting color distortion
JP5209713B2 (ja) クロマキープロダクションの方法及び装置
JP2008061202A (ja) ビューファインダおよび撮像装置
JP5929535B2 (ja) エフェクト制御装置、エフェクト制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20130801