JP2010220020A - デコーダ装置 - Google Patents

デコーダ装置 Download PDF

Info

Publication number
JP2010220020A
JP2010220020A JP2009066165A JP2009066165A JP2010220020A JP 2010220020 A JP2010220020 A JP 2010220020A JP 2009066165 A JP2009066165 A JP 2009066165A JP 2009066165 A JP2009066165 A JP 2009066165A JP 2010220020 A JP2010220020 A JP 2010220020A
Authority
JP
Japan
Prior art keywords
stream
video
switching
video stream
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009066165A
Other languages
English (en)
Other versions
JP5401134B2 (ja
Inventor
Kazuhiko Shibairi
和彦 芝入
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Power Tech Co Ltd
Original Assignee
Oki Power Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Power Tech Co Ltd filed Critical Oki Power Tech Co Ltd
Priority to JP2009066165A priority Critical patent/JP5401134B2/ja
Publication of JP2010220020A publication Critical patent/JP2010220020A/ja
Application granted granted Critical
Publication of JP5401134B2 publication Critical patent/JP5401134B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】表示する画像を円滑に切替えることができるデコーダ装置を提供する。
【解決手段】それぞれのカメラから受信した映像ストリームの中から選択されたひとつの映像ストリームをストリームデコード部14へ出力するとともに、受信した映像ストリーム中のフレーム内符号化画像情報を検出する複数のストリーム受信部131、132と、切替先のストリーム受信部132へ切替指示を通知し、そのストリーム受信部132からフレーム内符号化画像情報を検出したことの通知を受けてから、切替先のストリーム受信部132へ受信した映像ストリームをストリームデコード部14へ出力を開始させる指示を通知するとともに切替元のストリーム受信部131へ映像ストリームのストリームデコード部14への出力を停止させる指示を通知する切替制御部12とを設けた。
【選択図】 図1

Description

本発明は、カメラから入力した映像ストリームを復号化するデコーダ装置に関し、特に入力した複数の映像ストリームを切替えて復号化するデコーダ装置に関する。
従来の技術では、2系統の映像ストリームの切替えを行う場合、各映像ストリーム間の位相がずれることによる不安定な映像出力を防止するため、自動番組送出制御装置から事前に提供される制御情報に基づいて切替え元のエンコーダおよび切替え先のエンコーダに同期トリガをかけてそれぞれのエンコーダの出力の位相を揃えるようにしているものがある(例えば、特許文献1参照)。
特開2001−145022号公報(段落「0013」〜段落「0018」、図1)
しかしながら、上述した従来の技術では、ネットワーク上に複数のいわゆるIP(Internet Protocol)カメラが接続されたIPカメラネットワークシステムにおいて、それぞれのIPカメラが遠隔に設置されている場合、それぞれのIPカメラが出力する映像ストリームの位相を揃えて出力することができないという問題がある。
上述したIPカメラネットワークシステムは、LAN(Local Area Network)等のネットワークに、映像を撮影する複数のIPカメラ、およびIPカメラで撮影した映像を表示するデコーダ装置ならびに表示装置が接続されて構成され、IPカメラはMPEG(Moving Picture Experts Group)4やMPEG2等のエンコーダで圧縮された映像ストリームをマルチキャストまたはユニキャスト通信でネットワークに配信し、デコーダ装置は複数のIPカメラから配信された映像ストリームの中から切替指示された映像ストリームのみを受信することにより表示する映像を切替えるようにしている。
デコーダ装置は、切替指示された映像ストリームをマルチキャストアドレスやポート情報等の情報により識別し、受信する映像ストリームを選択して切替える。この場合、図4に示すように、切替え後の映像ストリーム中のフレーム内符号化画像情報としてのI(Intra picture)フレームを復号化するまでの間は、すなわちフレーム間予測符号化画像情報としてのP(Predictive picture)フレームを受信している間は、画像を形成することができないため、不安定な映像が出力される画面ショックと呼ばれる現象が発生してしまう。
また、このような画面ショックの発生を防止するため、デコーダ装置が、切替え後の映像ストリーム中のフレーム内符号化画像情報としてのIフレームを待って映像ストリームの復号化を再開するようにしても、図5に示すように、受信する映像ストリームを切替えてからIフレームを復号化するまでの間は、映像が停止してしまうという問題がある。
本発明は、このような問題を解決することを課題とし、表示する画像を円滑に切替えることができるデコーダ装置を提供することを目的とする。
そのため、本発明は、複数のカメラから受信した映像ストリームの中から選択されたひとつの映像ストリームを復号化するストリームデコード部を有するデコーダ装置において、それぞれのカメラから受信した映像ストリームの中から選択したひとつの映像ストリームをストリームデコード部へ出力するとともに、受信した映像ストリーム中のフレーム内符号化画像情報を検出する複数のストリーム受信部と、切替先の前記ストリーム受信部へ映像ストリームの受信を開始する指示を通知し、該ストリーム受信部からフレーム内符号化画像情報を検出したことの通知を受けてから、切替先の前記ストリーム受信部へ受信した映像ストリームをストリームデコード部へ出力を開始させる指示を通知するとともに切替元の前記ストリーム受信部へ映像ストリームのストリームデコード部への出力を停止させる指示を通知する切替制御部とを設けたことを特徴とする。
このようにした本発明は、表示する画像を円滑に切替えることができるという効果が得られる。
実施例におけるデコーダ装置の構成を示すブロック図 実施例におけるIPカメラネットワークシステムの構成を示すブロック図 実施例におけるデコーダ装置の動作を示す説明図 従来のデコーダ装置の動作を示す説明図 従来のデコーダ装置の動作を示す説明図
以下、図面を参照して本発明によるデコーダ装置の実施例を説明する。
図2は実施例におけるIPカメラネットワークシステムの構成を示すブロック図である。
図2において、1はデコーダ装置であり、カメラで撮影した映像を符号化した映像ストリームを入力し、その映像ストリームを復号化して映像信号を出力するものである。
2(2a、2b、2c)はIPカメラであり、撮影した映像を符号化した映像ストリームを生成し、その映像ストリームを送信する映像符号化装置である。
3はLAN等のネットワークであり、複数のIPカメラ2およびデコーダ装置1が接続された通信回線である。このネットワーク3を介してIPカメラ2およびデコーダ装置1は通信可能に接続されている。なお、本実施例では、2台以上のIPカメラ2がネットワーク3に接続されているものとし、IPカメラ2およびデコーダ装置1はTCP/IP等の通信プロトコルを使用するものとして説明する。
4は表示器であり、デコーダ装置1から出力された映像信号を入力し、その映像信号に基づいて映像を表示するディスプレイ等である。
このようにIPカメラネットワークシステムは、ネットワーク3を介して通信可能に接続されたデコーダ装置1ならびに複数のIPカメラ2、およびそのデコーダ装置1に接続された表示器4で構成されている。
デコーダ装置1は、タイマ等により所定の周期で出力される映像切替指示、オペレータの操作による映像切替指示、または他の装置から映像切替指示を受付け、その映像切替指示に基づいて複数のIPカメラ2の映像ストリームからひとつの映像ストリームを選択する。さらに、デコーダ装置1は受信した映像ストリームを復号化して映像信号を表示器4へ出力し、表示器4は入力した映像信号を表示する。
したがって、IPカメラネットワークシステムは、複数のIPカメラ2で撮影した映像の中からひとつのIPカメラ2が撮影した映像をデコーダ装置1で選択して表示器4に表示させることができる。
次に、デコーダ装置1の構成を図1の実施例におけるデコーダ装置の構成を示すブロック図に基づいて説明する。
図1において、11はネットワークインターフェイス(NIF)部であり、ネットワーク3を介してIPカメラ2との間で行う通信の送受信制御を行うものである。このNIF部11は、TCP/IP等のプロトコルを使用してIPカメラ2から送信された映像ストリームを受信する。
12は切替制御部であり、NIF部11で受信した複数の映像ストリームからひとつの映像ストリームを選択して切替える制御を行うものである。この切替制御部12は、タイマ等により所定の周期で出力される映像切替指示、オペレータの操作による映像切替指示または他の装置から映像切替指示を受付け、その映像切替指示に基づいて複数のIPカメラ2からの映像ストリームからひとつの映像ストリームを選択する制御信号を出力する。
131および132は、ストリーム受信部であり、NIF部11で受信した映像ストリームを入力し、その映像ストリームを一時的に記憶するとともに映像ストリームのデータ解析を行うものである。例えば、ストリーム受信部131およびストリーム受信部132は、図2に示すネットワーク3に接続されたIPカメラ2a、IPカメラ2b、またはIPカメラ2cから受信した映像ストリームを一時的に記憶するとともに映像ストリームのデータ解析を行う。
このストリーム受信部131およびストリーム受信部132は、切替制御部12からの映像ストリームを選択するための制御信号(本実施例では、IPカメラから受信した映像ストリームを識別するための識別情報としてのIPアドレスやポート情報)の入力を受付け、その制御信号にしたがって(識別情報で識別される)映像ストリームを選択して出力する。
なお、デコーダ装置1は少なくとも二つのストリーム受信部を有するものとする。
14は、ストリームデコード部であり、ストリーム受信部131またはストリーム受信部132から出力された映像ストリームを入力し、その映像ストリームを映像信号に変換して出力するものである。
15は、映像出力部であり、ストリームデコード部14から入力した映像信号を映像出力端子から出力し、表示器4に映像を表示させるものである。
このようにデコーダ装置1は、NIF部11、切替制御部12、ストリーム受信部131ならびにストリーム受信部132、ストリームデコード部14、および映像出力部15からなり、図示しないメモリ等の記憶部に記憶された制御プログラム(ソフトウェア)に基づいて図示しない制御手段および演算手段としての中央処理装置等の制御部が装置全体を制御する。
上述した構成の作用を図1、図2、および図3の実施例におけるデコーダ装置の動作を示す説明図に基づいて説明する。
以下に、IPカメラ2aから送信された映像ストリームをストリーム受信部131で受信し、その映像ストリームをストリームデコード部14で復号化し、復号化された映像信号を映像出力部15で出力している状態(この状態を「ストリーム受信部131が映像ストリーム受信中」と呼ぶ。)において、IPカメラ2bから送信された映像ストリームに切替える動作を説明する。
図3は、IPカメラ2aが「Iフレーム」、「Pフレーム」、「Pフレーム」、・・・(連続したPフレーム)、「Iフレーム」、「Pフレーム」、「Pフレーム」、・・・(連続したPフレーム)、「Pフレーム」、「Pフレーム」からなる映像ストリームを送信し、IPカメラ2bが「Pフレーム」、「Pフレーム」、「Pフレーム」、「Iフレーム」、「Pフレーム」、「Pフレーム」、「Pフレーム」、・・・(連続したPフレーム)、「Iフレーム」、「Pフレーム」からなる映像ストリームを送信している様子を示している。
ここで、Iフレームとは、フレーム内符号化画像情報を示し、Pフレームとは、フレーム間予測符号化画像情報を示している。
デコーダ装置1の切替制御部12は、ストリーム受信部131が映像ストリーム受信中にIPカメラ2aの映像ストリームからIPカメラ2bの映像ストリームに切替える映像切替指示としての映像切替信号を受付けると、切替先のストリーム受信部132へ映像ストリームの受信を開始する指示として受信指示信号および受信する映像ストリームを選択するための識別情報としてIPアドレスもしくはポート情報を通知する。
なお、本説明では、図3に示すようにストリーム受信部131がIPカメラ2aから「Iフレーム」、「Pフレーム」、「Pフレーム」、・・・、「Iフレーム」を受信した後に、切替制御部12が映像切替信号を受付けるものとする。
切替制御部12から受信指示信号が通知されたストリーム受信部132は、NIF部11からIPカメラ2bの映像ストリームの受信を開始するとともに受信した映像ストリーム中のIフレームを検出する。
なお、このときストリーム受信部131は、IPカメラ2aからの映像ストリームの受信を継続している。したがって、ストリームデコード部14は、その映像ストリームを復号化しているため、表示器4にはIPカメラ2aで撮影された映像が表示されている。
ストリーム受信部132がIフレームを検出すると、ストリーム受信部132はIフレーム受信検出信号とともに受信した映像ストリームに付属されたIPアドレスもしくはポート情報を切替制御部12へ通知する。
ストリーム受信部132からIフレーム受信検出信号の通知を受けた切替制御部12は、ストリーム受信部131へIPカメラ2aからの映像ストリームの受信を停止させ、ストリームデコード部14への出力を停止させるための指示として受信停止信号を通知するとともにストリーム受信部132へIPカメラ2bから受信した映像ストリームの出力を開始させ、その映像ストリームの復号化を開始させるための指示としてデコード指示信号を通知する。
切替制御部12から受信停止信号の通知を受けたストリーム受信部131は、IPカメラ2aからの映像ストリームの受信を停止するとともにストリームデコーダ部14への映像ストリームの出力を停止する。
一方、切替制御部12からデコード指示信号の通知を受けたストリーム受信部132は、IPカメラ2bから受信した映像ストリームのストリームデコード部14への出力を開始する。これにより、「ストリーム受信部132が映像ストリーム受信中」の状態に移行する。
このように切替先のストリーム受信部132が映像ストリーム中のIフレームを検出するまでの間、「ストリーム受信部131が映像ストリーム受信中」の状態を維持し、IPカメラ2aからの映像ストリームを復号化することにより、表示器4に表示される映像を不安定にすることなく、また停止させることなく、円滑な画像の切替えを行うことができる。
また、切替制御部12は、切替先のストリーム受信部132に対して受信指示信号を通知した後、そのストリーム受信部132からIフレーム受信検出信号の通知を受ける前に、さらに映像切替信号を入力した場合、既に受信指示信号を通知したストリーム受信部132に対してさらに受信指示信号を通知し、そのストリーム受信部132からのIフレーム受信検出信号の通知を待機するものとする。
この場合、切替制御部12は、映像切替信号に対応する切替先の映像ストリームのIフレーム検出信号であるか否かを判定するため、受信指示信号とともに通知したIPアドレスもしくはポート情報と、ストリーム受信部132からIフレーム検出信号とともに通知されるIPアドレスもしくはポート情報とを比較し、一致することを確認して切替処理を終了するものとする。
なお、本実施例では、ストリーム受信部を二つ備える構成で説明したが、ネットワーク3に接続されたそれぞれのIPカメラ2に対応させて三つ以上備えるように構成してもよい。例えば、IPカメラ2aの映像ストリームを受信するストリーム受信部131、IPカメラ2bの映像ストリームを受信するストリーム受信部132、IPカメラ2cの映像ストリームを受信するストリーム受信部133を備えた構成としてもよい。この場合、切替制御部12はストリーム受信部へ受信する映像ストリームを選択するための識別情報としてIPアドレスもしくはポート情報を通知する必要がなくなる。
以上説明したように、本実施例では、切替先のストリーム受信部が映像ストリーム中のIフレームを検出するまでの間、切替元のストリーム受信部が映像ストリームを受信する状態を維持し、切替先のストリーム受信部が映像ストリーム中のIフレームを検出した後、切替元のストリーム受信部の受信を停止するとともに切替先のストリーム受信部が受信した映像ストリームをストリームデコーダ部へ出力して復号化を開始するようにしたことにより、表示器4に表示される映像が不安定になることなく、また停止することなく、円滑な画像の切替えを行うことができるという効果が得られる。
また、一般にIPカメラ等の映像符号化装置における映像ストリーム中のIフレームの挿入周期が短い場合、表示される画質が低下し、挿入周期が長い場合、表示される画質が向上することが知られている。このように画質を向上させるため、挿入するIフレームの周期を長くした場合であっても、映像の一時停止を発生させることなく円滑な画像の切替えを行うことができるという効果が得られる。
なお、本実施例では、MPEG2やMPEG4の映像ストリーム中のIフレームを検出して表示する映像ストリームの切替制御するものとして説明したが、それに限られることなく、どのような動画圧縮映像ストリームにおいてもフレーム内符号化画像を検出することにより本発明を適用することができる。例えば、デジタルテレビジョン放送によるチャネルの切替時等にも本発明を適用することができる。
1 デコーダ装置
2a、2b、2c IPカメラ
3 ネットワーク
4 表示器
11 NIF部
12 切替制御部
131、132 ストリーム受信部
14 ストリームデコード部
15 映像出力部

Claims (3)

  1. 複数のカメラから受信した映像ストリームの中から選択されたひとつの映像ストリームを復号化するストリームデコード部を有するデコーダ装置において、
    それぞれのカメラから受信した映像ストリームの中から選択したひとつの映像ストリームをストリームデコード部へ出力するとともに、受信した映像ストリーム中のフレーム内符号化画像情報を検出する複数のストリーム受信部と、
    切替先の前記ストリーム受信部へ映像ストリームの受信を開始する指示を通知し、該ストリーム受信部からフレーム内符号化画像情報を検出したことの通知を受けてから、切替先の前記ストリーム受信部へ受信した映像ストリームをストリームデコード部へ出力を開始させる指示を通知するとともに切替元の前記ストリーム受信部へ映像ストリームのストリームデコード部への出力を停止させる指示を通知する切替制御部とを設けたことを特徴とするデコーダ装置。
  2. 請求項1のデコーダ装置において、
    前記複数のストリーム受信部は、前記切替制御部から通知された識別情報に基づいて映像ストリームを選択して受信する二つのストリーム受信部であることを特徴とするデコーダ装置。
  3. 請求項2のデコーダ装置において、
    前記切替制御部は、切替先の前記ストリーム受信部へ切替指示とともに通知した前記識別情報と、該ストリーム受信部からのフレーム内符号化画像情報を検出したことの通知とともに通知される映像ストリームに付属された識別情報とが一致することを確認して映像ストリームの切替を終了することを特徴とするデコーダ装置。
JP2009066165A 2009-03-18 2009-03-18 デコーダ装置 Expired - Fee Related JP5401134B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009066165A JP5401134B2 (ja) 2009-03-18 2009-03-18 デコーダ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009066165A JP5401134B2 (ja) 2009-03-18 2009-03-18 デコーダ装置

Publications (2)

Publication Number Publication Date
JP2010220020A true JP2010220020A (ja) 2010-09-30
JP5401134B2 JP5401134B2 (ja) 2014-01-29

Family

ID=42978345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009066165A Expired - Fee Related JP5401134B2 (ja) 2009-03-18 2009-03-18 デコーダ装置

Country Status (1)

Country Link
JP (1) JP5401134B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658055A (zh) * 2016-10-21 2017-05-10 安徽协创物联网技术有限公司 一种视频直播图像处理装置
JP2017535171A (ja) * 2014-10-08 2017-11-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
JP2018113628A (ja) * 2017-01-12 2018-07-19 株式会社日立ビルシステム 映像表示システム及び方法
JP2018207153A (ja) * 2017-05-30 2018-12-27 株式会社Tbsテレビ 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179953A (ja) * 2002-11-27 2004-06-24 Matsushita Electric Ind Co Ltd 画像サーバと画像サーバシステム、カメラ画像のネットワーク伝送及び表示方法
JP2004336126A (ja) * 2003-04-30 2004-11-25 Canon Inc 映像通信装置
WO2007098480A1 (en) * 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
JP2008211503A (ja) * 2007-02-26 2008-09-11 Hitachi Kokusai Electric Inc 映像伝送システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179953A (ja) * 2002-11-27 2004-06-24 Matsushita Electric Ind Co Ltd 画像サーバと画像サーバシステム、カメラ画像のネットワーク伝送及び表示方法
JP2004336126A (ja) * 2003-04-30 2004-11-25 Canon Inc 映像通信装置
WO2007098480A1 (en) * 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
JP2009528002A (ja) * 2006-02-21 2009-07-30 クゥアルコム・インコーポレイテッド マルチメディアアプリケーションにおける高速同調
JP2008211503A (ja) * 2007-02-26 2008-09-11 Hitachi Kokusai Electric Inc 映像伝送システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017535171A (ja) * 2014-10-08 2017-11-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
CN106658055A (zh) * 2016-10-21 2017-05-10 安徽协创物联网技术有限公司 一种视频直播图像处理装置
JP2018113628A (ja) * 2017-01-12 2018-07-19 株式会社日立ビルシステム 映像表示システム及び方法
JP2018207153A (ja) * 2017-05-30 2018-12-27 株式会社Tbsテレビ 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP5401134B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
EP1815684B1 (en) Method and apparatus for channel change in dsl system
KR101480969B1 (ko) 디지털 비디오에 관한 빠른 채널 변경을 위한 방법 및 장치
TWI571113B (zh) 視訊位元流中之隨機存取
KR101178811B1 (ko) 중복된 비디오 스트림을 사용하여 dsl을 통한 디지털 비디오 방송 시스템에서의 고속 채널 변경 방법 및 장치
US20080098428A1 (en) Network Managed Channel Change In Digital Networks
US20110169952A1 (en) Video data processing device and video data processing system
JP6157651B2 (ja) 圧縮されたビデオストリームを切り替えるためのスイッチング装置、当該スイッチング装置を備えた会議システムおよび圧縮されたビデオストリームを切り替える方法
JP5401134B2 (ja) デコーダ装置
US20100026810A1 (en) Monitor video accumulation system
CN115297274A (zh) 多屏视频显示方法、系统、播放端及存储介质
US20050174352A1 (en) Image processing method and system to increase perceived visual output quality in cases of lack of image data
JP2007288604A (ja) 映像伝送システム及び映像伝送方法
JP2004274619A (ja) 動画配信サーバ、動画受信端末装置、画像パケット送信方法及び画像パケット受信方法
JP4823232B2 (ja) ディジタル・ネットワークにおけるネットワーク管理チャネル変更
JP2009071365A (ja) 動画像復号装置およびその方法
JP2005333520A (ja) 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
JP2007166022A (ja) 映像表示システム及び映像表示装置
JP2008211503A (ja) 映像伝送システム
US20210203987A1 (en) Encoder and method for encoding a tile-based immersive video
JP4024794B2 (ja) 映像復号化装置及びプログラム
JP2007267420A (ja) 映像信号のミュート方法
JP2003087800A (ja) 動画像送受信システム、動画像送信装置、及び動画像受信装置
JP2010166140A (ja) 画像復号装置および画像データ出力方法
KR100994053B1 (ko) Iptv 방송 서비스 시스템, iptv 방송 서비스 시스템에 있어서의 채널 전환 방법, iptv 셋톱박스
JP2008182336A (ja) 受信端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees