JP2009055359A - 映像送信装置 - Google Patents

映像送信装置 Download PDF

Info

Publication number
JP2009055359A
JP2009055359A JP2007220283A JP2007220283A JP2009055359A JP 2009055359 A JP2009055359 A JP 2009055359A JP 2007220283 A JP2007220283 A JP 2007220283A JP 2007220283 A JP2007220283 A JP 2007220283A JP 2009055359 A JP2009055359 A JP 2009055359A
Authority
JP
Japan
Prior art keywords
video
transmission
video data
unit
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007220283A
Other languages
English (en)
Other versions
JP4888279B2 (ja
Inventor
Satoshi Hirata
聡 平田
Susumu Ito
享 伊藤
Mikio Komatsu
幹生 小松
Yoshihiro Tanigawa
嘉浩 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2007220283A priority Critical patent/JP4888279B2/ja
Publication of JP2009055359A publication Critical patent/JP2009055359A/ja
Application granted granted Critical
Publication of JP4888279B2 publication Critical patent/JP4888279B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Abstract

【課題】伝送速度が異なる複数種類の伝送路を介して映像データを伝送する場合の伝送効率を向上する。
【解決手段】インターホン親機1からインターホン副親機2A,2B,2Cに映像データを送信するに当たり、例えば、伝送速度が最も速い伝送路(インターホン副親機2Aに接続された伝送路)Lsに対しては、全てのフレームにおいて各領域RijをIピクチャで構成した映像データを送信する。また、伝送速度が最も遅い伝送路(無線アダプタ5<無線インターホン副親機2C>に接続された伝送路)Lsに対しては、フレームの各領域RijをIピクチャで構成した映像データの間に、例えばフレームの各領域RijにおけるIピクチャとPピクチャの比率を2:23とした映像データを2フレーム分だけ送信する。故に、それぞれの伝送路Lsに応じた適切なデータ量の映像データを送信することで伝送効率を向上することができる。
【選択図】 図1

Description

本発明は、複数の映像受信装置に対してディジタルの映像データを送信する映像送信装置に関するものである。
従来、複数の映像受信装置に対してアナログの映像信号を送信する映像送信装置として、インターホンシステムにおけるインターホン親機等が提供されている(例えば、特許文献1参照)。このようなインターホン親機(映像送信装置)は、宅外に設置されているドアホン子器から受け取った映像信号を自身の表示デバイス(液晶ディスプレイなど)に表示すると同時に伝送路を介して接続され、且つ宅内に設置されているインターホン副親機等に映像信号を送信する機能を有している。
特開2004−295408号公報
ところで、映像送信装置が互いに伝送速度の異なる複数種類の伝送路を介して複数の映像受信装置に接続されている場合、従来では、最も伝送速度の遅い伝送路に合わせた低フレームレートの映像しか伝送することができず、伝送速度の速い伝送路に接続されている映像受信装置においても低画質の映像しか再生できないことになって伝送効率が著しく低下するという問題があった。
本発明は上記事情に鑑みて為されたものであり、その目的は、伝送速度が異なる複数種類の伝送路を介して映像データを伝送する場合の伝送効率を向上することができる映像送信装置を提供することにある。
請求項1の発明は、上記目的を達成するために、互いに伝送速度が異なる複数種類の伝送路を介して複数の映像受信装置に接続され、各映像受信装置に対して前記伝送路を介してディジタルの映像データを送信する映像送信装置であって、動画像の映像データを圧縮する映像圧縮手段と、映像圧縮手段で圧縮された映像データを前記伝送路に送出する送信手段と、送信手段から各伝送路への映像データの送出手順を制御する制御手段とを備え、映像圧縮手段は、動画像を構成する各フレームを複数の領域に分割するとともに個々の領域毎に、単独で伸長可能な基準映像符号化方式並びに基準映像符号からの差分を補償する補償映像符号化方式で圧縮処理を行い、制御手段は、伝送路の伝送速度が相対的に速いほど1フレームに含まれる基準映像符号化方式で圧縮された映像データの割合を増やし、伝送路の伝送速度が相対的に遅いほど1フレームに含まれる補償映像符号化方式で圧縮された映像データの割合を増やして送信手段から当該伝送路へ映像データを送出させることを特徴とする。
請求項1の発明によれば、伝送速度が速い伝送路には圧縮率の低い基準映像符号化方式で圧縮された映像データの割合を増やし、伝送速度が遅い伝送路には圧縮率の高い補償映像符号化方式で圧縮された映像データの割合を増やして伝送するため、それぞれの伝送路の伝送速度に応じた映像データを送信することができ、その結果、伝送速度が異なる複数種類の伝送路を介して映像データを伝送する場合の伝送効率を向上することができる。
請求項2の発明は、請求項1の発明において、映像圧縮手段は、基準映像符号化方式で圧縮処理を行う第1の圧縮処理部と、補償映像符号化方式で圧縮処理を行う第2の圧縮処理部とを有することを特徴とする。
請求項2の発明によれば、圧縮に要する処理時間を短縮することができる。
本発明によれば、伝送速度が異なる複数種類の伝送路を介して映像データを伝送する場合の伝送効率を向上することができるという効果がある。
以下、本発明の技術思想を戸建て住戸用のインターホンシステムに用いられるインターホン親機に適用した実施形態について、図面を参照して詳細に説明する。但し、本発明の技術思想が適用可能な映像送信装置はインターホン親機に限定されるものではない。また、以下の説明ではインターホンシステムの通話(音声伝送)に関する構成については図示並びに説明を省略する。
まず、本実施形態におけるインターホンシステム(映像伝送システム)について説明する。このインターホンシステムは、図2に示すように住戸Hの外玄関に設置されたドアホン子器100と、住戸Hの屋内に設置されたインターホン親機(映像送信装置)1と、伝送路(LANケーブル)Lsを介してインターホン親機1と接続されたルータ3と、宅内に設置されるとともに伝送路Lsを介してルータ3と接続されたインターホン副親機2Aと、宅内に設置されるとともに伝送路Lsを介してルータ3と接続された中継装置4と、宅内に設置されるとともに伝送路Lsを介して中継装置4に接続されたインターホン副親機2B並びに無線アダプタ5と、宅内に設置されて無線アダプタ5と通信する無線インターホン副親機2Cと、伝送路Lsを介してルータ3と接続されルータ3を含む宅内ネットワークを広域ネットワーク(インターネット)に接続するためのインターネット接続装置6とで構成される。
ルータ3は、イーサネット(登録商標)と呼ばれるLAN規格(IEEE 802.3)に準拠した従来周知のものであって、通信速度が最大10Mbpsの10BASE-Tと通信速度が最大100Mbpsの100BASE-TXの両方式に対応している。ルータ3には複数のポート(図示せず)が設けられており、それぞれのポートにLANケーブル(伝送路Ls)が接続されている。インターネット接続装置6は、DSLモデム若しくはケーブルモデム、ONU(Optical Network Unit)からなり、ルータ3を介してインターホン親機1やインターホン副親機2A,2B,2Cをインターネットに接続する機能を有している。但し、この種のルータ3やインターネット接続装置6については従来周知であるから詳細な説明を省略する。
ドアホン子器100は、通話用のマイクロホン及びスピーカ、来訪者を撮像するCCDカメラのような撮像装置、来訪者に操作される呼出釦、呼出釦が操作された時に信号線Ldを介して呼出信号を送出する呼出信号送出回路などを具備した従来周知のものであって、撮像装置で撮像した映像(アナログの映像信号)を信号線Ldを介してインターホン親機1に送信するとともに、インターホン親機1との間で信号線Ldを介してアナログの音声信号を双方向で送受信する。
映像送信装置たるインターホン親機1は、図1に示すようにドアホン子器100から信号線Ldを介して伝送されるアナログの映像信号を取り込む映像入力部10と、映像入力部10で取り込んだアナログの映像信号をA/D変換するA/D変換部11と、A/D変換部11で変換されたディジタルの映像信号に対して後述する圧縮処理を行う映像圧縮処理部12と、マイクロコンピュータを主構成要素とする制御部13と、制御部13と伝送路Lsとの間をインタフェースしてパケットを送受信するネットワークインタフェース部14とを備えるとともに、図示は省略しているが、通話用のマイクロホン及びスピーカ、映像を表示するための表示デバイス(例えば、液晶ディスプレイ)、呼出音に応答する際に操作される応答釦、応答釦が操作された時にドアホン子器100との間に形成される通話路を介して音声信号を授受する通話回路なども備えている。なお、ネットワークインタフェース部14は10BASE-Tと100BASE-TXの両方式に対応している。
映像受信装置たるインターホン副親機2A,2Bは、映像入力部10,A/D変換部11,映像圧縮処理部12を除く基本的な構成がインターホン親機1と共通であって、インターホン親機1との間でディジタルの音声データ並びに映像データをパケットにより送受信することでドアホン子器100と通話するとともにドアホン子器100の撮像装置で撮像された映像(動画像)を表示デバイスに表示することができる。
同じく映像受信装置たる無線インターホン副親機2Cは、映像入力部10,A/D変換部11,映像圧縮処理部12を除く基本的な構成がインターホン親機1と共通であって、無線アダプタ5との間でディジタルの音声データ並びに映像データを無線信号により送受信することでドアホン子器100と通話するとともにドアホン子器100の撮像装置で撮像された映像(動画像)を表示デバイスに表示することができる。尚、無線アダプタ5は無線LANの規格(IEEE 802.11a/b/g等)に対応した従来周知のものであるから詳細な説明は省略する。
中継装置4は、ルータ3と同様に複数のポート(図示せず)を具備し何れかのポートに受信したパケットを他のポートに中継するものであって、例えば、ルータ3から受けたパケットをインターホン副親機2B及び無線アダプタ5の両方若しくは一方に送出するとともに、インターホン副親機2B及び無線アダプタ5から受け取ったパケットをルータ3へ送出している。ここで、宅内ネットワークを構成する全ての機器、すなわち、インターホン親機1、インターホン副親機2A,2B,2C、ルータ3、中継装置4、無線アダプタ5には固有のアドレス(プライベートIPアドレス)が割り当てられ、各機器同士は当該アドレスによって互いを識別してパケットを送受信することができる。
而して、来訪者がドアホン子器100の呼出釦を操作すると信号線Ldを介してドアホン子器100からインターホン親機1へ呼出信号が送信されるとともに、ドアホン子器100では撮像装置が起動して来訪者を撮像した映像信号が信号線Ldを介してインターホン親機1へ送信される。インターホン親機1では、呼出信号を受信すると制御部13がスピーカから呼出音を鳴動させるとともに映像入力部10で受け取ったアナログの映像信号によって表示デバイスに来訪者の映像を表示させる。そして、住戸Hの住人がインターホン親機1の応答釦を操作すれば、制御部13がドアホン子器100との間に通話路を形成して通話回路を起動することにより、インターホン親機1とドアホン子器100との間で通話が可能となる。また、インターホン親機1の制御部13は、呼出信号を受け取ると呼出音鳴動のコマンドを含むパケットをネットワークインタフェース部14より全ての映像受信装置(インターホン副親機2A,2B,2C)に向けて送信(マルチキャスト)するとともに、後述するように映像圧縮処理部12に映像の圧縮処理を行わせ、圧縮された映像データを含むパケットを各インターホン副親機2A,2B,2Cに個別に送信(ユニキャスト)する。インターホン副親機2A,2B,2Cでは、呼出信号のパケットを受信するとスピーカから呼出音を鳴動させ、さらに映像データのパケットを受信すると当該映像データを伸長して表示デバイスに来訪者の映像を表示させる。そして、住戸Hの住人が何れかのインターホン副親機2A,2B,2Cの応答釦を操作すれば、当該インターホン副親機2A,2B,2Cとインターホン親機1との間で音声データを含むパケットが送受信され、インターホン親機1を介して何れかのインターホン副親機2A,2B,2Cとドアホン子器100との間で通話が可能となる。
ところで、映像受信装置たるインターホン副親機2A,2B,2Cのうち、インターホン副親機2Aのみが100BASE-TXに対応し、インターホン副親機2Bは10BASE-Tにしか対応していないため、これら2つのインターホン副親機2A,2Bにパケットを伝送する伝送路Lsでは伝送速度が互いに異なっている。また、無線インターホン副親機2Cについても、無線アダプタ5との間の通信速度がIEEE 802.11b規格における最大速度(約11Mbps)以下に制限されるために他の2つのインターホン副親機2A,2Bにパケットを伝送する伝送路Lsと伝送速度が互いに異なっている。このように映像送信装置たるインターホン親機1から映像受信装置たる各インターホン副親機2A,2B,2Cへ映像データを送信する伝送路Lsの伝送速度(通信速度)が互いに異なっているため、映像データのデータ量を固定してしまうと最も通信速度の遅い伝送路Ls、例えば、無線インターホン副親機2C(無線アダプタ5)と接続された伝送路Lsがボトルネックとなって伝送効率が低下してしまうことになる。具体的には、通信速度の速い伝送路Lsに合わせて映像データのデータ量を多くすると通信速度の遅い伝送路Lsに接続された映像受信装置(例えば、無線インターホン副親機2C)では映像を再生することができず、反対に、通信速度の遅い伝送路Lsに合わせて映像データのデータ量を少なくすると通信速度の速い伝送路Lsに接続された映像受信装置(例えば、インターホン副親機2A)では本来再生可能な画質よりも低い画質で映像を再生しなければならず、その結果、映像データの伝送効率が低下してしまうことになる。
そのために本実施形態では、以下で説明するように伝送路Lsの通信速度に応じて映像データのデータ量を増減することによって伝送効率の向上を図っている。
まず、インターホン親機1の映像圧縮処理部12における圧縮処理について詳細に説明する。映像圧縮処理部12では、MPEG規格(例えば、MPEG−4)に準拠した圧縮方式で映像データを圧縮している。具体的には、同一フレーム内の周辺画素のみを用いて対象画素を予測するフレーム内予測符号化方式(基準映像符号化方式)で映像データを圧縮する第1の圧縮処理部(図示せず)と、時間的に隣接するフレームのうち過去のフレームの画素を用いて対象画素の差分を予測する片方向フレーム間予測符号化方式(補償映像符号化方式)で映像データを圧縮する第2の圧縮処理部(図示せず)とを有し、それぞれの圧縮処理部が同時且つ並行して映像データを圧縮している。ここで、第1の圧縮処理部で圧縮された映像データは単独で伸長可能なデータであって通常I(Intra coded)ピクチャと呼ばれ、第2の圧縮処理部で圧縮された映像データはIピクチャとペアでのみ伸長可能なデータであって通常P(Predictive coded)ピクチャと呼ばれる。さらに本実施形態における映像圧縮処理部12では、図3に示すように縦横に等間隔で分割した複数(図示例では5×5=25)の領域Rij(i,j=1,2,…,25)を各フレーム毎に設定し、第1及び第2の圧縮処理部がそれぞれ各領域Rij内の画素について基準映像符号化方式と補償映像符号化方式で圧縮処理を実行して図示しないメモリに格納している。すなわち、当該メモリには各フレームについてそれぞれの領域Rij毎にIピクチャの映像データとPピクチャの映像データとが両方とも格納されており、制御部13において、各領域Rij毎にIピクチャ又はPピクチャの何れか一方の映像データを選択することで一つのフレームに対応する映像データを構成することができ、IピクチャとPピクチャの比率に応じて一つのフレームを構成する映像データのデータ量を増減することが可能である。例えば、図3(a)に示すように全ての領域RijでIピクチャを選択すればデータ量が最も多くなるとともに最も高画質となり、Pピクチャの比率が増えるにつれてデータ量が減少して画質が低下することになる。
而して、映像送信装置たるインターホン親機1から映像受信装置たるインターホン副親機2A,2B,2Cに映像データを送信するに当たり、例えば、伝送速度が最も速い伝送路(インターホン副親機2Aに接続された伝送路)Lsに対しては、図3(a)に示すように全てのフレームFm,Fm+1,Fm+2,Fm+3,…において各領域RijをIピクチャで構成した映像データを送信し、伝送速度が2番目に速い伝送路(インターホン副親機2Bに接続された伝送路)Lsに対しては、図3(b)に示すようにフレームの各領域RijをIピクチャで構成した映像データの間に、例えばフレームの各領域RijにおけるIピクチャとPピクチャの比率を9:16とした映像データを2フレーム分だけ送信し、伝送速度が最も遅い伝送路(無線アダプタ5<無線インターホン副親機2C>に接続された伝送路)Lsに対しては、図3(c)に示すようにフレームの各領域RijをIピクチャで構成した映像データの間に、例えばフレームの各領域RijにおけるIピクチャとPピクチャの比率を2:23とした映像データを2フレーム分だけ送信すれば、それぞれの伝送路Lsに応じた適切なデータ量の映像データを送信することができ、映像データのデータ量を固定した場合と比較して伝送効率を向上することができる。なお、各伝送路Ls毎の伝送速度(通信速度)については、予め各インターホン副親機2A,2B,2Cからインターホン親機1にパケットで通知するか、あるいは手動で設定し、各インターホン副親機2A,2B,2Cのアドレスと対応付けてメモリに記憶しておけばよい。
ここで、一つのフレームにおいて各領域Rijの符号化方式として基準映像符号化方式(Iピクチャ)及び補償映像符号化方式(Pピクチャ)の何れを選択するかという制御部13の選択方法について説明する。
1番目の選択方法は、複数のフレームに亘って各領域Rij毎の平均輝度を算出し、平均輝度が所定値よりも高い領域RijをIピクチャ、所定値よりも低い領域RijをPピクチャとする方法である。2番目の選択方法は、複数のフレームに亘って各領域Rij毎のコントラストの平均値を算出し、当該平均値が所定値よりも高い領域RijをIピクチャ、所定値よりも低い領域RijをPピクチャとする方法である。3番目の選択方法は、フレーム内で人物が写っている領域RijをIピクチャ、人物が写っていない領域RijをPピクチャとする方法である。この3番目の選択方法においては、例えば、人の目、口、鼻などの特徴部分に対するパターンマッチングによって人物の写っている領域Rijと人物が写っていない領域Rijを区別すればよい。なお、ドアホン子器100で来訪者を撮像する場合、通常、来訪者の顔が画面中央に写ることが多いので、4番目の選択方法として、単純に中央の領域RijをIピクチャ、周辺の領域RijをPピクチャとする方法としてもよい。
ここで、本実施形態におけるインターホンシステムはルータ3並びにインターネット接続装置6を介してインターネットに接続されているから、インターホン親機1からインターネットを介して宅外の映像受信装置に映像データを送信することも可能である。そして、このように宅外の映像受信装置に映像データを送信する際にも、上述した宅内の映像受信装置(インターホン副親機2A,2B,2C)に映像データを送信する場合と同じ手順で送信することにより、映像送信装置たるインターホン親機1からインターネットを介して宅外の映像受信装置に至る伝送路の伝送速度に応じた適切なデータ量の映像データを送信することができる。
本発明に係る映像送信装置たるインターホン親機の実施形態を示すブロック図である。 同上を用いたインターホンシステムのシステム構成図である。 同上の動作説明図である。
符号の説明
1 映像送信装置(インターホン親機)
10 映像入力部
11 A/D変換部
12 映像圧縮処理部
13 制御部
14 ネットワークインタフェース部

Claims (2)

  1. 互いに伝送速度が異なる複数種類の伝送路を介して複数の映像受信装置に接続され、各映像受信装置に対して前記伝送路を介してディジタルの映像データを送信する映像送信装置であって、
    動画像の映像データを圧縮する映像圧縮手段と、映像圧縮手段で圧縮された映像データを前記伝送路に送出する送信手段と、送信手段から各伝送路への映像データの送出手順を制御する制御手段とを備え、
    映像圧縮手段は、動画像を構成する各フレームを複数の領域に分割するとともに個々の領域毎に、単独で伸長可能な基準映像符号化方式並びに基準映像符号からの差分を補償する補償映像符号化方式で圧縮処理を行い、
    制御手段は、伝送路の伝送速度が相対的に速いほど1フレームに含まれる基準映像符号化方式で圧縮された映像データの割合を増やし、伝送路の伝送速度が相対的に遅いほど1フレームに含まれる補償映像符号化方式で圧縮された映像データの割合を増やして送信手段から当該伝送路へ映像データを送出させることを特徴とする映像送信装置。
  2. 映像圧縮手段は、基準映像符号化方式で圧縮処理を行う第1の圧縮処理部と、補償映像符号化方式で圧縮処理を行う第2の圧縮処理部とを有することを特徴とする請求項1記載の映像送信装置。
JP2007220283A 2007-08-27 2007-08-27 映像送信装置 Expired - Fee Related JP4888279B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007220283A JP4888279B2 (ja) 2007-08-27 2007-08-27 映像送信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007220283A JP4888279B2 (ja) 2007-08-27 2007-08-27 映像送信装置

Publications (2)

Publication Number Publication Date
JP2009055359A true JP2009055359A (ja) 2009-03-12
JP4888279B2 JP4888279B2 (ja) 2012-02-29

Family

ID=40506014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007220283A Expired - Fee Related JP4888279B2 (ja) 2007-08-27 2007-08-27 映像送信装置

Country Status (1)

Country Link
JP (1) JP4888279B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187402A (ja) * 1997-12-19 1999-07-09 Nec Corp 画像圧縮装置及び画像圧縮方法
JP2004242218A (ja) * 2003-02-07 2004-08-26 Toshiba Corp 動画像伝送装置、動画像伝送方法、動画像伝送用プログラム及び動画像伝送監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187402A (ja) * 1997-12-19 1999-07-09 Nec Corp 画像圧縮装置及び画像圧縮方法
JP2004242218A (ja) * 2003-02-07 2004-08-26 Toshiba Corp 動画像伝送装置、動画像伝送方法、動画像伝送用プログラム及び動画像伝送監視システム

Also Published As

Publication number Publication date
JP4888279B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
CN103222262B (zh) 用于在网络环境中跳过视频编码的系统和方法
US7961653B2 (en) Relay apparatus and communication system
WO2012075951A1 (zh) 会场带宽的调整方法、装置、会议终端和媒体控制服务器
JP5285392B2 (ja) データ伝送方法並びにデータ伝送システム
JP2009055362A (ja) 映像送信装置
JP5199621B2 (ja) 映像送信装置
JP2008005349A (ja) 映像符号化装置、映像伝送装置、映像符号化方法及び映像伝送方法
JP4888279B2 (ja) 映像送信装置
JP5330661B2 (ja) インターホン親機
JP4981584B2 (ja) 映像伝送システムの中継装置
JP2009055361A (ja) 映像送信装置
JP2009055367A (ja) 映像伝送システム
JP2004289657A (ja) テレビドアホンシステム
JP4981585B2 (ja) 映像伝送システムの中継装置
JP2011055103A (ja) 集合住宅インターホンシステム
JP2009055368A (ja) 映像伝送システム
JP2009055360A (ja) 映像送信装置
KR100729628B1 (ko) 통합 홈게이트웨이 장치
JP2009055358A (ja) 映像伝送システムの中継装置
JP2009055366A (ja) 映像伝送システム
JP2003032375A (ja) インターホンシステム
JP2005294929A (ja) テレビドアホン装置
JP2001076273A (ja) ホームセキュリティシステム
JP2007043227A (ja) 通信装置および通信システム
JP2008131297A (ja) 画像転送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees