JP2004072301A - 動きベクトル検出方法 - Google Patents

動きベクトル検出方法 Download PDF

Info

Publication number
JP2004072301A
JP2004072301A JP2002227115A JP2002227115A JP2004072301A JP 2004072301 A JP2004072301 A JP 2004072301A JP 2002227115 A JP2002227115 A JP 2002227115A JP 2002227115 A JP2002227115 A JP 2002227115A JP 2004072301 A JP2004072301 A JP 2004072301A
Authority
JP
Japan
Prior art keywords
motion vector
frame
area
image information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002227115A
Other languages
English (en)
Other versions
JP4195969B2 (ja
Inventor
Tatsuro Shigesato
重里　達郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32014231&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2004072301(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002227115A priority Critical patent/JP4195969B2/ja
Publication of JP2004072301A publication Critical patent/JP2004072301A/ja
Application granted granted Critical
Publication of JP4195969B2 publication Critical patent/JP4195969B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動きベクトル検出を用いた符号化ＩＣはメモリＩＣとのアクセス量が大きく、消費電力が大きいためモバイルＡＶ商品での利用に適していなかった。
【解決手段】符号化ブロック入力部１０１から動きベクトルを求めるべき１ブロックの画素値が動き検出演算部１０２に入力される。また第１メモリ１０４に配置されている参照フレームの画像情報の内で、今回の符号化ブロックに対応する参照領域に含まれており、かつ第２メモリ１０３に配置されていない画像情報を第２メモリ１０３にコピーする。動き検出演算部１０２では、入力された符号化ブロックの画像情報と、第２メモリ１０３に配置された参照領域の画像情報を用いて動き検出演算を行い、その結果得られる動きベクトル値を動きベクトル出力部１０５に出力する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は動きベクトル検出方法に関するものである。
【０００２】
【従来の技術】
現在半導体技術等の進歩により、家庭用のビデオ記録機器にも画像圧縮技術が導入されている。特にＭＰＥＧ２，ＭＰＥＧ４等のフレーム間の動き情報を利用した符号化は、そのデータ量を大幅に低減できるため、多くの分野で利用されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ２，ＭＰＥＧ４等の符号化では、ブロック毎にフレーム間の動きベクトルを検出する必要がある。通常、画像符号化の回路は、符号化を実行する回路と、画像情報を記憶するメモリが別のＩＣとして構成される。この場合に動きベクトルの検出には、メモリＩＣ内の画像情報を高速に符号化ＩＣに読み出して演算する必要が生じるため、ＩＣ間のデータ速度が高速になり消費電力の増大を招いてしまう。
【０００４】
また符号化ＩＣの中に画像情報を記憶するメモリを配置した場合には、符号化ＩＣ内に大規模のメモリを内蔵する必要があるため非常に高価なＩＣとなる。
【０００５】
本発明はこれらの課題を解決することを目的とする。
【０００６】
【課題を解決するための手段】
第１の本発明は、画像の隣接フレーム間の動きを所定の大きさのブロック毎に求める動きベクトル検出方法であって、現在符号化すべきフレームを符号化フレームと呼び、このフレームと動きベクトルを求める対象となるフレームを参照フレームと呼び、また現在符号化すべき符号化フレームのブロックを符号化ブロックと呼び、この符号化ブロックが動きベクトルを検出するために利用する参照フレームの領域を参照領域と呼ぶとき、参照フレーム等のフレーム単位の画像情報を記憶する第１メモリ領域と、参照フレームの一部の画像情報を記憶する第２メモリ領域を備え、前記第２メモリ領域が、少なくとも現在の符号化ブロックに対する参照領域と、現在または過去の符号化ブロックの参照領域でかつ将来の符号化ブロックに対する参照領域になり得る参照フレームの画像情報を記憶し、ある符号化ブロックの動きベクトルを検出する際には、前記第２メモリ領域の中にまだ配置されていない当該符号化ブロックに対する参照領域が存在する場合に、当該参照領域を含む画像情報を前記第１メモリ領域から前記第２メモリ領域にコピーする画像情報コピー手段と、前記符号化ブロックの動きベクトルを前記第２メモリ領域に配置された画像情報を利用して検出する動きベクトル検出手段とを有することを特徴とする動きベクトル検出方法である。
【０００７】
第２の本発明は、画像の隣接フレーム間の動きを所定の大きさのブロック毎に求める動きベクトル検出方法であって、現在符号化すべきフレームを符号化フレームと呼び、このフレームと動きベクトルを求める対象となるフレームを参照フレームと呼び、また現在符号化すべき符号化フレームのブロックを符号化ブロックと呼び、この符号化ブロックが動きベクトルを検出するために利用する参照フレームの領域を参照領域と呼ぶとき、参照フレーム等のフレーム単位の画像情報を記憶する第１メモリ領域と、参照フレームの一部の画像情報を記憶する第２メモリ領域を備え、前記第２メモリ領域が、少なくとも現在の符号化ブロックに対する参照領域と、現在または過去の符号化ブロックの参照領域でかつ将来の符号化ブロックに対する参照領域になり得る参照フレームの画像情報をその画素数を削減して記憶し、ある符号化ブロックの動きベクトルを検出する際には、前記第２メモリ領域の中にまだ配置されていない当該符号化ブロックに対する参照領域が存在する場合に、当該参照領域を含む画像情報を前記第１メモリ領域から前記第２メモリ領域に画素数を削減しながらコピーする画像情報コピー手段と前記符号化ブロックの動きベクトルを前記第２メモリ領域に配置された画像情報を利用して検出する動きベクトル検出手段とを有することを特徴とする動きベクトル検出方法である。
【０００８】
【発明の実施の形態】
以下に本発明の実施の形態について説明する。
【０００９】
（実施の形態１）
図１は本発明の第１の実施の形態に係るブロック図である。図１の１０１は符号化ブロック入力部、１０２は動き検出演算部、１０３は第２メモリ、１０４は第１メモリ、１０５は動きベクトル出力部である。また動き検出演算部１０２および第２メモリ１０３は、同一ＩＣに含まれているものとする。
【００１０】
図１の動作を説明する。符号化ブロック入力部１０１から動きベクトルを求めるべき１ブロックの画素値が動き検出演算部１０２に入力される。また第１メモリ１０４に配置されている参照フレームの画像情報の内で、今回の符号化ブロックに対応する参照領域に含まれており、かつ第２メモリ１０３に配置されていない画像情報を第２メモリ１０３にコピーする。動き検出演算部１０２では、入力された符号化ブロックの画像情報と、第２メモリ１０３に配置された参照領域の画像情報を用いて動き検出演算を行い、その結果得られる動きベクトル値を動きベクトル出力部１０５に出力する。
【００１１】
次に図２に本発明の第２メモリの内容について説明する。説明を簡単にするため、ここでは参照フレームの横幅を１７６画素とし、動きベクトルを求めるべき符号化ブロックの大きさを８×８画素とする。また参照領域を３９×３９画素とする。ここで図２では、太い斜線で示される参照領域の他に、予備記憶領域として、横縞で示される矩形領域を配置している。このような配置によって、次の符号化ブロックの動き検出を行うためには、８×８画素の画像情報を第１メモリからコピーするだけで、次の参照領域を構成することが可能になる。したがって１符号化ブロック毎に参照領域全てを読み込む必要が無いため、第１メモリへのアクセス量は、８×８／（３９×３９）＝約１／２４に低減できる。また参照フレーム全てをＩＣ内に内蔵するのに比べて、第２メモリのメモリ量が小さいため、回路規模の増加量を小さくすることができる。
【００１２】
（実施の形態２）
次に本発明の第２の実施の形態について説明する。
【００１３】
図３は本発明の第２の実施の形態のブロックである。図２の１０１は符号化ブロック入力部、１０２は動き検出演算部、１０３は第２メモリ、１０４は第１メモリ、１０５は動きベクトル出力部、１０６は画素削減部である。また第１の実施の形態と同様に動き検出演算部１０２および第２メモリ１０３は、同一ＩＣに含まれているものとする。
【００１４】
図３の動作を説明する。符号化ブロック入力部１０１から動きベクトルを求めるべき１ブロックの画素値が動き検出演算部１０２に入力される。また第１メモリ１０４に配置されている参照フレームの画像情報の内で、今回の符号化ブロックに対応する参照領域に含まれており、かつ第２メモリ１０３に配置されていない画像情報を画素削減部１０６を介して、第２メモリ１０３にコピーする。画素削減部１０６ではフィルタ等を用いて参照画素の画素数を低減する。動き検出演算部１０２では、入力された符号化ブロックの画像情報と、第２メモリ１０３に配置された参照領域の画像情報を用いて動き検出演算を行い、その結果得られる動きベクトル値を動きベクトル出力部１０５に出力する。
【００１５】
第２の実施の形態では、参照画素の画素数を低減してから第２メモリに配置するため、第２メモリのメモリ量を削減できる。また符号化ブロックの画素数も同様に削減することによって、動き検出演算の演算量も低減することが可能である。またこの方法では、参照フレームが大きい場合にも画素の削減比率を調整することによって、第２メモリのメモリ量を増加させずに対応することが可能である。また通常参照フレームが大きくなると参照領域も大きくなるが、削減比率を大きくすることによって、動き検出演算で演算すべき演算量を増加させることなく動きベクトルを求めることが可能になる。同様に符号化すべきフレーム周波数が増加した場合にも、削減率を調整することで対応可能である。
【００１６】
また第１、第２の実施の形態ではマクロブロック単位で第１メモリから第２メモリにコピーを行っているが、第２メモリの容量に余裕がある場合には、メモリアクセスが容易なライン単位でコピーを行うことも可能である。
【００１７】
以上のようにいくつかの実施の形態を用いて本発明を説明したが、本発明の構成は実施の形態以外の様々な方式が可能である。更に本発明は、ハードウエアだけでなくソフトウエアで実現することも可能であり、また本システムを実現する一部または全てのソフトウエアをインターネット等のネットワークを介して配布または実行することも可能である。この場合には、第１メモリを主記憶やハードディスクに配置し、第２メモリをキャッシュメモリや主記憶に配置することで本発明の効果が得られる。
【００１８】
【発明の効果】
上記のような構成によって、本発明では符号化ＩＣとメモリＩＣの間のアクセス量を大幅に削減できるため、その消費電力を低減できる。またはフレームのサイズやフレーム周期が変動しても同じ符号化ＩＣで共有できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図
【図２】本発明の第２メモリの説明図
【図３】本発明の第２の実施の形態のブロック図
【符号の説明】
１０１　符号化ブロック入力部
１０２　動き検出演算部
１０３　第２メモリ
１０４　第１メモリ
１０５　動きベクトル出力部

Claims (6)

  1. 画像の隣接フレーム間の動きを所定の大きさのブロック毎に求める動きベクトル検出方法であって、
    現在符号化すべきフレームを符号化フレームと呼び、このフレームと動きベクトルを求める対象となるフレームを参照フレームと呼び、
    また現在符号化すべき符号化フレームのブロックを符号化ブロックと呼び、この符号化ブロックが動きベクトルを検出するために利用する参照フレームの領域を参照領域と呼ぶとき、
    参照フレーム等のフレーム単位の画像情報を記憶する第１メモリ領域と、
    参照フレームの一部の画像情報を記憶する第２メモリ領域を備え、
    前記第２メモリ領域が、少なくとも現在の符号化ブロックに対する参照領域と、現在または過去の符号化ブロックの参照領域でかつ将来の符号化ブロックに対する参照領域になり得る参照フレームの画像情報を記憶し、
    ある符号化ブロックの動きベクトルを検出する際には、前記第２メモリ領域の中にまだ配置されていない当該符号化ブロックに対する参照領域が存在する場合に、当該参照領域を含む画像情報を前記第１メモリ領域から前記第２メモリ領域にコピーする画像情報コピー手段と、
    前記符号化ブロックの動きベクトルを前記第２メモリ領域に配置された画像情報を利用して検出する動きベクトル検出手段とを有することを特徴とする動きベクトル検出方法。
  2. 画像の隣接フレーム間の動きを所定の大きさのブロック毎に求める動きベクトル検出方法であって、
    現在符号化すべきフレームを符号化フレームと呼び、このフレームと動きベクトルを求める対象となるフレームを参照フレームと呼び、
    また現在符号化すべき符号化フレームのブロックを符号化ブロックと呼び、この符号化ブロックが動きベクトルを検出するために利用する参照フレームの領域を参照領域と呼ぶとき、
    参照フレーム等のフレーム単位の画像情報を記憶する第１メモリ領域と、
    参照フレームの一部の画像情報を記憶する第２メモリ領域を備え、
    前記第２メモリ領域が、少なくとも現在の符号化ブロックに対する参照領域と、現在または過去の符号化ブロックの参照領域でかつ将来の符号化ブロックに対する参照領域になり得る参照フレームの画像情報をその画素数を削減して記憶し、
    ある符号化ブロックの動きベクトルを検出する際には、前記第２メモリ領域の中にまだ配置されていない当該符号化ブロックに対する参照領域が存在する場合に、当該参照領域を含む画像情報を前記第１メモリ領域から前記第２メモリ領域に画素数を削減しながらコピーする画像情報コピー手段と、
    前記符号化ブロックの動きベクトルを前記第２メモリ領域に配置された画像情報を利用して検出する動きベクトル検出手段とを有することを特徴とする動きベクトル検出方法。
  3. 第２メモリ領域が動きベクトル検出を実行する回路と同じＩＣ内に配置されることを特徴とする請求項１または請求項２記載の動きベクトル検出方法。
  4. 第２メモリ領域が、１つの符号化ブロックに対する参照領域の水平方向の最大画素数がＸ、垂直方向の最大画素数がＹであり、１つの符号化ブロックの水平方向の画素数がＡ、垂直方向の画素数がＢであり、１参照フレームの水平方向の画素数がＨである場合に、
    ある符号化ブロックに対する参照領域を含む水平Ｘ画素、垂直Ｙ画素の矩形で囲まれる領域と、
    参照フレームの当該参照領域の右側については、当該参照領域に隣接する垂直Ｙ−Ａ画素以上で参照フレームの右端までの矩形領域でかつその一番上の画素位置が参照領域の一番上の画素位置と同じである矩形領域と、
    参照フレームの当該参照領域の左側については、当該参照領域に隣接する垂直Ｙ−Ａ画素以上で参照フレームの左端までの矩形領域でかつその一番下の画素位置が参照領域の一番下の画素位置と同じである矩形領域の、
    ２つの矩形領域に含まれる画像情報またはこの画像情報の画素数を削減した情報を少なくとも配置することを特徴とする請求項１または請求項２記載の動きベクトル検出方法。
  5. 画像情報コピー手段が、参照フレームの大きさや、演算すべきフレーム周期等によって、画素を削減する割合を変えることを特徴とする請求項２記載の動きベクトル検出方法。
  6. 画像情報コピー手段が、参照フレームのライン単位でコピーを行うことを特徴とする請求項１または請求項２記載の動きベクトル検出方法。
JP2002227115A 2002-08-05 2002-08-05 動きベクトル検出装置 Expired - Lifetime JP4195969B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002227115A JP4195969B2 (ja) 2002-08-05 2002-08-05 動きベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002227115A JP4195969B2 (ja) 2002-08-05 2002-08-05 動きベクトル検出装置

Publications (2)

Publication Number Publication Date
JP2004072301A true JP2004072301A (ja) 2004-03-04
JP4195969B2 JP4195969B2 (ja) 2008-12-17

Family

ID=32014231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002227115A Expired - Lifetime JP4195969B2 (ja) 2002-08-05 2002-08-05 動きベクトル検出装置

Country Status (1)

Country Link
JP (1) JP4195969B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254437A (ja) * 2005-03-11 2006-09-21 Ambarella Inc 高性能ビデオプロセッサ用の低電力メモリ階層
JP2007281630A (ja) * 2006-04-03 2007-10-25 Matsushita Electric Ind Co Ltd 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
JP2007295423A (ja) * 2006-04-27 2007-11-08 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
WO2007136095A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 動画像復号装置及び動画像復号方法
JP2008141288A (ja) * 2006-11-30 2008-06-19 Fujitsu Ltd 動きベクトル検出装置および動きベクトル検出方法
WO2008136178A1 (ja) * 2007-04-26 2008-11-13 Panasonic Corporation 動き検出装置、動き検出方法、及び動き検出プログラム
JP2009505549A (ja) * 2005-08-17 2009-02-05 エヌエックスピー ビー ヴィ キャッシュ・ローカリティを保存するビデオ符号化／復号化方法
JP2009152710A (ja) * 2007-12-19 2009-07-09 Renesas Technology Corp 画像処理装置及び画像処理方法
WO2013094388A1 (ja) * 2011-12-22 2013-06-27 株式会社メガチップス 画像処理装置
WO2013094389A1 (ja) * 2011-12-22 2013-06-27 株式会社メガチップス 画像処理装置
WO2019239951A1 (ja) * 2018-06-11 2019-12-19 日本電信電話株式会社 バッファ装置
US10616588B2 (en) 2016-03-18 2020-04-07 Fujitsu Limited Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954082A (zh) * 2016-01-07 2017-07-14 中兴通讯股份有限公司 视频编解码方法、编解码装置及系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254437A (ja) * 2005-03-11 2006-09-21 Ambarella Inc 高性能ビデオプロセッサ用の低電力メモリ階層
JP2013055703A (ja) * 2005-03-11 2013-03-21 Ambarella Inc 高性能ビデオプロセッサ用の低電力メモリ階層
JP2009505549A (ja) * 2005-08-17 2009-02-05 エヌエックスピー ビー ヴィ キャッシュ・ローカリティを保存するビデオ符号化／復号化方法
US8184689B2 (en) 2005-08-17 2012-05-22 Entropic Communications Inc. Method video encoding and decoding preserving cache localities
JP2007281630A (ja) * 2006-04-03 2007-10-25 Matsushita Electric Ind Co Ltd 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
US8208541B2 (en) 2006-04-03 2012-06-26 Panasonic Corporation Motion estimation device, motion estimation method, motion estimation integrated circuit, and picture coding device
US8279942B2 (en) 2006-04-27 2012-10-02 Sony Corporation Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
JP2007295423A (ja) * 2006-04-27 2007-11-08 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
WO2007136095A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 動画像復号装置及び動画像復号方法
JP2008141288A (ja) * 2006-11-30 2008-06-19 Fujitsu Ltd 動きベクトル検出装置および動きベクトル検出方法
US8203648B2 (en) 2006-11-30 2012-06-19 Fujitsu Semiconductor Limited Motion vector detecting apparatus and motion vector detecting method
WO2008136178A1 (ja) * 2007-04-26 2008-11-13 Panasonic Corporation 動き検出装置、動き検出方法、及び動き検出プログラム
JP2009152710A (ja) * 2007-12-19 2009-07-09 Renesas Technology Corp 画像処理装置及び画像処理方法
WO2013094388A1 (ja) * 2011-12-22 2013-06-27 株式会社メガチップス 画像処理装置
WO2013094389A1 (ja) * 2011-12-22 2013-06-27 株式会社メガチップス 画像処理装置
JP2013132002A (ja) * 2011-12-22 2013-07-04 Mega Chips Corp 画像処理装置
JP2013132003A (ja) * 2011-12-22 2013-07-04 Mega Chips Corp 画像処理装置
US10616588B2 (en) 2016-03-18 2020-04-07 Fujitsu Limited Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus
WO2019239951A1 (ja) * 2018-06-11 2019-12-19 日本電信電話株式会社 バッファ装置
JP2019216324A (ja) * 2018-06-11 2019-12-19 日本電信電話株式会社 バッファ装置
JP7060802B2 (ja) 2018-06-11 2022-04-27 日本電信電話株式会社 バッファ装置

Also Published As

Publication number Publication date
JP4195969B2 (ja) 2008-12-17

Similar Documents

Publication Publication Date Title
AU2021212103B2 (en) Image prediction method and device
TW301098B (ja)
CN101115205B (zh) 视频流处理装置与方法
JP4764807B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4195969B2 (ja) 動きベクトル検出装置
US20060109904A1 (en) Decoding apparatus and program for executing decoding method on computer
JP2011097572A (ja) 動画像符号化装置
CN101783958B (zh) Avs视频标准中时域直接模式运动矢量的计算方法和装置
WO2013031071A1 (ja) 動画像復号装置、動画像復号方法、及び集積回路
JP2003259377A (ja) 動画像符号化方法、動画像復号化方法および符号列フォーマット
JP3123496B2 (ja) 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体
US10715822B2 (en) Image encoding method and encoder
KR20070018344A (ko) 인텐서티 보상을 위한 영상 디코딩 방법 및 장치
JP2006279330A (ja) 動き補償処理方法
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JPWO2008117440A1 (ja) デコード方法及びデコード装置
JPH1196138A (ja) 逆コサイン変換方法及び逆コサイン変換器
KR100708183B1 (ko) 움직임 추정을 위한 영상 데이터 저장 장치 및 그 데이터저장 방법
JP5206070B2 (ja) 復号装置および復号方法
JPH1155668A (ja) 画像符号化装置
JPH08205178A (ja) 量子化ノイズの低減方法及び画像データの復号化装置
CN102625095B (zh) 一种基于avs的帧间预测方法
JP2001045493A (ja) 動画像符号化装置、動画像出力装置、及び記憶媒体
CN102625091B (zh) 一种基于avs的帧间预测方法
JP2006333100A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050729

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080908

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4195969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term