JP2013070321A - 画像圧縮装置及び画像処理システム - Google Patents

画像圧縮装置及び画像処理システム Download PDF

Info

Publication number
JP2013070321A
JP2013070321A JP2011208845A JP2011208845A JP2013070321A JP 2013070321 A JP2013070321 A JP 2013070321A JP 2011208845 A JP2011208845 A JP 2011208845A JP 2011208845 A JP2011208845 A JP 2011208845A JP 2013070321 A JP2013070321 A JP 2013070321A
Authority
JP
Japan
Prior art keywords
sub
block line
block
compressed sub
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011208845A
Other languages
English (en)
Other versions
JP5597175B2 (ja
Inventor
Masato Uchiyama
山 真 郷 内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011208845A priority Critical patent/JP5597175B2/ja
Priority to US13/337,934 priority patent/US8873876B2/en
Publication of JP2013070321A publication Critical patent/JP2013070321A/ja
Application granted granted Critical
Publication of JP5597175B2 publication Critical patent/JP5597175B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】ブロックラインの大きさに依らず、メモリから伸張すべきデータを読み出すときのバンド幅及びレイテンシを低減する。
【解決手段】本発明の実施形態の画像圧縮装置10は、圧縮画像データをメモリ20に書き込む。画像圧縮装置10は、圧縮部12と、書込アドレス決定部14と、メモリ制御部16と、を備える。圧縮部12は、複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、サブブロックライン毎に元画像データを圧縮し、複数の圧縮サブブロックラインを生成する。書込アドレス決定部14は、サブブロックラインの数と、元画像データの元画像データサイズと、画像圧縮率と、に基づいて、圧縮サブブロックライン毎にメモリ20の書込アドレスを決定する。メモリ制御部16は、複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する書込アドレスに書き込む。
【選択図】図2

Description

本発明の実施形態は、画像圧縮装置及び画像処理システムに関する。
従来、元の画像データのデータサイズに対する圧縮された画像データのデータサイズの比率(以下「圧縮率」という)を保証するために、圧縮単位であるブロックラインを、ブロックラインより小さいブロックに分割し、ブロック毎に符号量が変わるように符号量を制御する圧縮伸長アルゴリズムが知られている。
このような圧縮伸張アルゴリズムでは、ブロックラインが大きいほど、符号量の制御の自由度が高くなり、結果として、圧縮率も高くなる。しかしながら、ブロックラインの一部のみを読み出すことができないので、伸張すべきデータがブロックラインの一部であっても、伸張すべきデータを含むブロックラインの全体を読み出す必要がある。従って、従来技術には、メモリから伸張すべきデータを読み出す場合に、ブロックラインの大きさに応じてバンド幅及びレイテンシが増加する、という問題がある。
特開2010−226532号公報
本発明が解決しようとする課題は、ブロックラインの大きさに依らず、メモリから伸張すべきデータを読み出すときのバンド幅及びレイテンシを低減することである。
本発明の実施形態の画像圧縮装置は、圧縮画像データをメモリに書き込む。画像圧縮装置は、圧縮部と、書込アドレス決定部と、メモリ制御部と、を備える。圧縮部は、複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、サブブロックライン毎に元画像データを圧縮し、複数の圧縮サブブロックラインを生成する。書込アドレス決定部は、サブブロックラインの数と、元画像データの元画像データサイズと、画像圧縮率と、に基づいて、圧縮サブブロックライン毎にメモリの書込アドレスを決定する。メモリ制御部は、複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する書込アドレスに書き込む。
本実施形態の画像処理システム1のブロック図。 本実施形態の画像圧縮装置10のブロック図。 第1実施形態の圧縮部12の動作の説明図。 第1実施形態の圧縮部12の動作の説明図。 第1実施形態の書込アドレス決定部14の動作の説明図。 第1実施形態の書込アドレス決定部14の動作の説明図。 第1実施形態のメモリ制御部16の動作の説明図。 第1実施形態の変形例の圧縮部12の動作の説明図。 第2実施形態の書込アドレス決定部14の動作の説明図。 第2実施形態の書込アドレス決定部14の動作の説明図。 第2実施形態のメモリ制御部16の動作の第1例の説明図。 第2実施形態のメモリ制御部16の動作の第2例の説明図。 第3実施形態のメモリ制御部16の動作の第1例の説明図。 第3実施形態のメモリ制御部16の動作の第2例の説明図。
本実施形態について、図面を参照して説明する。
本実施形態の画像処理システム1の構成について説明する。図1は、本実施形態の画像処理システム1のブロック図である。画像処理システム1は、画像圧縮装置10と、メモリ20と、画像伸張装置30と、を備える。画像圧縮装置10は、元画像データIMGoを圧縮し、圧縮画像データIMGcをメモリ20に書き込むように構成される。メモリ20は、圧縮画像データIMGcを記憶可能に構成される。メモリ20は、例えばDRAM(Dynamic Random Access Memory)である。画像伸張装置30は、メモリ20に記憶された圧縮画像データIMGcを伸張し、伸張画像データIMGdを生成するように構成される。伸張画像データIMGdは、例えばディスプレイ(図示せず)に出力される。これにより、元画像データIMGoに対応する画像がディスプレイに表示される。
本実施形態の画像圧縮装置10の構成について説明する。図2は、本実施形態の画像圧縮装置10のブロック図である。画像圧縮装置10は、圧縮部12と、書込アドレス決定部14と、メモリ制御部16と、を備える。
圧縮部12は、I個の画素PX(i:i=1〜I)を含む元画像データIMGoと、元画像データIMGoに適用される画像圧縮率Pと、を入力し、元画像データIMGoをN(Nは2以上の整数)個のブロックラインBL(n:n=2〜N)に分割する。さらに、各ブロックラインBL(n)をM(Mは2以上の整数)個のサブブロックラインSBL(m:m=1〜M)に分割し、各サブブロックラインSBL(m)をサブブロックライン圧縮率P(m)で圧縮し、圧縮サブブロックラインSBLc(m)をメモリ制御部16に出力する。また、圧縮部12は、元画像データIMGoから得られる圧縮パラメータ(ブロックライン番号n、サブブロックライン番号m、サブブロックラインの数M、元画像データサイズSimgo)と、画像圧縮率Pと、を書込アドレス決定部14に出力する。
このとき、圧縮部12は、式1の条件を満たすように、サブブロックライン圧縮率P(m)を決定する。即ち、M個のサブブロックラインSBL(m)を異なるサブブロックライン圧縮率P(m)で圧縮することにより得られる圧縮サブブロックラインサイズSbl(m)の総和が、元画像データIMGoを画像圧縮率Pで圧縮することにより得られるデータのデータサイズ以下となるように、サブブロックラインSBL(m)毎のサブブロックライン圧縮率P(m)が決められる。
Figure 2013070321
書込アドレス決定部14は、圧縮パラメータ(ブロックライン番号n、サブブロックライン番号m、サブブロックラインの数M、元画像データサイズSimgo)と、画像圧縮率Pと、を入力し、書込アドレスADDw(m)をメモリ制御部16に出力する。
メモリ制御部16は、圧縮サブブロックラインSBLc(m)及び書込アドレスADDw(m)を入力し、メモリ20の書込アドレスADDw(m)に圧縮サブブロックラインSBLc(m)を格納する。M個の圧縮サブブロックラインSBLc(1)〜SBLc(m)が、圧縮画像データIMGcに対応する。
(第1実施形態)
図3及び図4は、第1実施形態の圧縮部12の動作の説明図である。圧縮部12は、元画像データIMGoを、N個のブロックラインBL(n)に分割する。例えば、N=8の場合、圧縮部12は、8×8個の画素PXから構成される元画像データIMGoを、X方向に8画素且つY方向に1画素の8個のブロックラインBL(1)〜BL(8)に分割する(図3(A))。
また、圧縮部12は、各ブロックラインBL(n)を、M個のサブブロックラインSBL(m)に分割する。例えば、M=4の場合、圧縮部12は、1×8個の画素PXから構成されるブロックラインBL(n)を、X方向に2画素の4個のサブブロックラインSBL(1)〜SBL(4)に分割する(図3(B))。
また、圧縮部12は、各サブブロックラインSBL(m)を圧縮する。具体的には、圧縮部12は、各サブブロックラインSBL(m)に対して、先頭画素PX(1)を独立に(即ち、如何なる画素も参照せずに)符号化し、(i+1)番目の画素PX(i+1)を、(i)番目の画素PX(i)(即ち、直前の隣接画素)を参照して符号化し、圧縮サブブロックラインSBLc(m)を生成する。例えば、圧縮部12は、サブブロックラインSBL(m)の先頭画素PX(1)を独立に符号化する(図4(A))。次いで、圧縮部12は、サブブロックラインSBL(m)の2番目の画素PX(2)を、直前の隣接画素PX(1)を参照して符号化する(図4(B))。これにより、独立に符号化された先頭画素PX(1)と、直前の隣接画素PX(1)を参照して符号化された画素PX(2)と、から構成される圧縮サブブロックラインSBLc(m)が得られる(図4(C))。
図5及び図6は、第1実施形態の書込アドレス決定部14の動作の説明図である。書込アドレス決定部14は、ブロックライン番号を用いてメモリ20のメモリ空間内の記憶領域Aを画定する先頭アドレスADDh及び終端アドレスADDeを決定する(図5(A))。記憶領域Aは、1ブロックラインの圧縮された元画像データを記憶する。書込アドレス決定部14は、式2を用いて、元画像データIMGoのサイズSimgoと、ブロック分割数Mと、画像圧縮率Pより、サブブロックラインサイズSblを計算する。また、書込アドレス決定部14は、式3を用いて、サブブロックラインサイズSblと、サブブロックラインの数Mより、終端アドレスADDeを計算する。
Sbl = (Simgo * P) *1/M …(式2)
ADDe = ADDh + M * Sbl …(式3)
次いで、書込アドレス決定部14は、記憶領域Aの先頭アドレスADDhを、圧縮サブブロックラインSBLc(1)を書き込むべき書込アドレスADDw(1)として決定する(図5(B))。また、書込アドレス決定部14は、書込アドレスADDw(1)から1ブロックラインサイズSblだけ隔てたアドレスを、圧縮サブブロックラインSBLc(2)を書き込むべき書込アドレスADDw(2)として決定する(図5(C))。即ち、書込アドレス決定部14は、式4を用いて、書込アドレスADDw(m)を計算する。これにより、M=4の場合には、記憶領域Aが、メモリ20のアドレス空間において小さいアドレスから大きいアドレスの方向(方向SL)に向かって、4個の書込領域WA(1)〜WA(4)に分割される(図6)。その結果、m番目の圧縮サブブロックラインSBLcを書き込むべき書込アドレスADDw(m)が一意に決まる。
ADDw(m) = ADDh + (m - 1) * Sbl …(式4)
図7は、第1実施形態のメモリ制御部16の動作の説明図である。はじめに、メモリ制御部16は、圧縮サブブロックラインSBLc(1)を、書込アドレスADDw(1)を始点とする書込領域WA(1)に、メモリ空間において水平方向(H方向)及び垂直方向(V方向)の順方向に書き込む(図7(A))。
次いで、メモリ制御部16は、圧縮サブブロックラインSBLc(2)〜SBLc(4)を、それぞれ、書込アドレスADDw(2)〜ADDw(4)を始点とする書込領域WA(2)〜WA(4)に、メモリ空間においてH方向及びV方向の順方向に書き込む(図7(B)〜(D))。これにより、書込領域WA(1)〜WA(4)に、元画像データIMGoに対応する圧縮サブブロックラインSBLc(1)〜SBLc(4)が記憶される(図7(E))。
第1実施形態によれば、サブブロックラインSBLの数Mと、元画像データIMGoの元画像データサイズと、画像圧縮率Pと、に基づいて、圧縮サブブロックラインSBLc(m)毎にメモリ20の書込アドレスADDw(m)を決定し、複数の圧縮サブブロックラインSBLcを、各圧縮サブブロックラインSBLc(m)に対応する書込アドレスADDw(m)に書き込む。その結果、各書込アドレスADDw(m)に記憶された各圧縮サブブロックラインSBLc(m)を個別に読み出すことが可能となる。これにより、例えば、圧縮サブブロックラインSBLc(2)のみを伸張する場合に、画像伸張装置30は、圧縮サブブロックラインSBLc(1)を読み出すことなく、圧縮サブブロックラインSBLc(2)のみを読み出すことができる。このことは、画像伸張装置30が圧縮サブブロックラインSBLc(m)を読み出すときに使用するバスのバンド幅と、画像伸張装置40が圧縮サブブロックラインSBLc(m)を伸張するときのサイクル数と、が、1/Mに減縮することを意味する。即ち、第1実施形態によれば、ブロックラインBLの大きさに依らず、メモリ20から伸張すべきデータ(圧縮サブブロックラインSBLc(m))を読み出すときのバンド幅及びレイテンシを低減することができる。
図8は、第1実施形態の変形例の圧縮部12の動作の説明図である。1ブロックラインは、Y方向に複数画素を含む。圧縮部12は、図3(A)に代えて例えば図8(A)に示すように、X方向に8画素且つY方向に2画素の4個のブロックラインBL(1)〜BL(4)に分割しても良い。この場合には、圧縮部12は、図3(B)に代えて図8(B)に示すように、各ブロックラインBL(n)を、X方向に2画素且つY方向に2画素の4個のサブブロックラインSBL(1)〜SBL(4)に分割しても良い。
第1実施形態の変形例によれば、ブロックラインBLの形状に依らず、メモリ20から伸張すべきデータ(圧縮サブブロックラインSBLc(m))を読み出すときのバンド幅及びレイテンシを低減することができる。
(第2実施形態)
第2実施形態について説明する。第2実施形態では、2つの前提条件(第1前提条件及び第2前提条件)が成立する場合に、2つの書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する2個の圧縮サブブロックラインSBLc(1)及びSBLc(2)を書き込む例について説明する。なお、第1実施形態と同様の説明は省略する。
第1前提条件は、圧縮サブブロックラインSBLc(1)のサイズは1つの書込領域より大きく、且つ、圧縮サブブロックラインSBLc(2)のサイズは1つの書込領域より小さい、というものである。第2前提条件は、圧縮サブブロックラインSBLc(1)及びSBLc(2)が、1つの書込アドレスADDwで画定されるメモリライン上で重複しない、というものである。第1前提条件及び第2前提条件が成立するか否かは、圧縮部12が用いる圧縮アルゴリズムによって決まる。
図9及び図10は、第2実施形態の書込アドレス決定部14の動作の説明図である。書込アドレス決定部14は、第1実施形態と同様に、メモリ20のメモリ空間内の記憶領域Aを画定する先頭アドレスADDh及び終端アドレスADDeを決定する(図9(A))。次いで、書込アドレス決定部14は、第1実施形態と同様に、書込アドレスADDw(1)及びADDw(2)を決定する(図9(B)及び(C))。これにより、記憶領域Aが、2つの書込領域WA(1)及びWA(2)に分割される(図10)。
図11は、第2実施形態のメモリ制御部16の動作の第1例の説明図である。第1例では、圧縮サブブロックラインSBLc(1)が、書込領域WA(1)の全体と、書込領域WA(1)に続く書込領域WA(2)の一部と、に書き込まれる。はじめに、メモリ制御部16は、圧縮サブブロックラインSBLc(1)を、書込アドレスADDw(1)を始点とする領域(即ち、書込領域WA(1)の全体及び書込領域WA(2)の一部)に、メモリ空間においてH方向及びV方向の順方向に書き込む(図11(A))。
次いで、メモリ制御部16は、式5を用いて、終端アドレスADDeと、メモリ20の書込単位WUより、書込アドレスADDw´を計算する。書込アドレスADDw´は、終端アドレスADDeからメモリ20の書込単位WU(例えば、32ビット)の分だけ戻ったアドレスである。次に、メモリ制御部16は、圧縮サブブロックラインSBLc(2)を、書込アドレスADDw´を始点とする領域(即ち、書込領域WA(2)のうち、圧縮サブブロックラインの残留部分SBLc(1)´が記憶されていない部分)に、メモリ空間においてH方向の順方向、且つ、V方向の逆方向に書き込む(図11(B))。これにより、書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する圧縮サブブロックラインSBLc(1)及びSBLc(2)が記憶される(図11(C))。
ADDw’ = ADDe - WU …(式5)
第2実施形態の第1例によれば、第1書込アドレスADDw(1)(=ADDh)を始点とする領域に第1圧縮サブブロックラインSBLc(1)を書き込み、終端アドレスADDeからメモリ20の書込単位分だけ戻った第2書込アドレスADDw´を始点とする領域に第2圧縮サブブロックラインSBLc(2)を書き込む。これにより、第1実施形態に比べて、メモリ20の使用領域を低減することができる。
図12は、第2実施形態のメモリ制御部16の動作の第2例の説明図である。第2例では、圧縮サブブロックラインSBLc(1)の一部が、第2書込領域WA(2)の下端から書き込まれる。はじめに、メモリ制御部16は、圧縮サブブロックラインの第1部分SBLc(1−1)を、書込アドレスADDw(1)を始点とする書込領域WA(1)に、メモリ空間においてH方向及びV方向の順方向に書き込む(図12(A))。
次いで、メモリ制御部16は、式5を用いて、終端アドレスADDeと、メモリ20の書込単位WUよりアドレスADDw´を計算する。また、メモリ制御部16は、圧縮サブブロックラインの第2部分(即ち、書込領域WA(1)に書き込まれていない部分)SBLc(1−2)を、書込アドレスADDw´を始点とする領域(即ち、書込領域WA(2)の一部)に、メモリ空間においてH方向の順方向、且つ、V方向の逆方向に書き込む(図12(B))。
次いで、メモリ制御部16は、圧縮サブブロックラインSBLc(2)を、書込アドレスADDw(2)を始点とする書込領域WA(2)のうち、圧縮サブブロックラインの第2部分SBLc(1−2)が記憶されていない部分に、メモリ空間においてH方向及びV方向の順方向に書き込む(図12(C))。これにより、書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する圧縮サブブロックラインSBLc(1)、並びにSBLc(2)が記憶される(図12(D))。
第2実施形態の第2例によれば、第1書込アドレスADDw(1)(=ADDh)を始点とする第1書込領域WA(1)に、第1圧縮サブブロックラインの第1部分SBLc(1−1)を書き込み、終端アドレスADDeからメモリ20の書込単位WU分だけ戻った第3書込アドレスADDw´を始点として第2書込領域WA(2)に第1圧縮サブブロックラインの第2部分SBLc(1−2)を書き込み、第2書込アドレスADDw(2)を始点として第2書込領域WA(2)に第2圧縮サブブロックラインSBLc(2)を書き込む。これにより、第1圧縮サブブロックラインSBLc(1)のサイズが第1書込領域WA(1)の容量より大きくても、第1実施形態に比べて、メモリ20の使用領域を低減することができる。
なお、第2実施形態では、圧縮サブブロックラインサイズSbl(1)(即ち、圧縮サブブロックラインSBLc(1)のサイズ)が、圧縮サブブロックラインサイズSbl(2)(即ち、圧縮サブブロックラインSBLc(1)に続く圧縮サブブロックラインSBLc(2)のサイズ)より大きい場合について説明したが、第2実施形態は、圧縮サブブロックラインサイズSbl(1)が圧縮サブブロックラインサイズSbl(2)より小さい場合にも適用可能である。
即ち、第2実施形態では、メモリ制御部16は、圧縮サブブロックラインSBLc(1)の少なくとも一部を第1書込領域WA(1)に書き込み、圧縮サブブロックラインSBLc(2)の少なくとも一部を第2書込領域WA(2)に書き込む。そして、圧縮サブブロックラインサイズSbl(1)が第1書込領域WA(1)のサイズより大きい場合には、メモリ制御部16は、第1書込領域WA(1)に記憶されていない圧縮サブブロックラインSBLc(1)の残留部分を、第2書込領域WA(2)に書き込む。一方、圧縮サブブロックラインサイズSbl(2)が第2書込領域WA(2)のサイズより大きい場合には、メモリ制御部16は、第2書込領域WA(2)に記憶されていない圧縮サブブロックラインの残留部分を、第1書込領域WA(1)に書き込む。
(第3実施形態)
第3実施形態について説明する。第3実施形態の画像圧縮装置は、メモリ20の書込単位WU(例えば、1メモリライン)分のデータを記憶可能なレジスタREGを有する。第3実施形態では、第1前提条件及び第2前提条件が成立する場合に、2つの書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する2個の圧縮サブブロックラインSBLc(1)及びSBLc(2)を書き込む例について説明する。なお、第1実施形態及び第2実施形態と同様の説明は省略する。
第1前提条件は、第2実施形態と同様である。第2前提条件は、圧縮サブブロックラインSBLc(1)の一部と圧縮サブブロックラインSBLc(2)の一部とが、先頭アドレスADDdlhで画定されるメモリライン上で重複する可能性がある、というものである。第1前提条件及び第2前提条件が成立するか否かは、圧縮部12が用いる圧縮アルゴリズムによって決まる。
書込アドレス決定部14は、第2実施形態と同様に動作する(図9(A)〜(C))。これにより、記憶領域Aが、2つの書込領域WA(1)及びWA(2)に分割される(図10)。
図13は、第3実施形態のメモリ制御部16の動作の第1例の説明図である。はじめに、メモリ制御部16は、圧縮サブブロックラインSBLc(1)の第1部分SBLc(1−1)及び第2部分SBLc(1−2)を、書込アドレスADDw(1)を始点とする領域(即ち、書込領域WA(1)の全体及び書込領域WA(2)の一部)に、メモリ20のメモリ空間においてH方向及びV方向の順方向に書き込む(図13(A))。圧縮サブブロックラインSBLc(1)の第2部分(1−2)のサイズは、メモリ20の書込単位WUより小さい。以下、圧縮サブブロックラインSBLc(1)の第2部分(1−2)が書き込まれる書込領域WA(2)の一部を、「重複メモリラインDL」という。
次いで、メモリ制御部16は、圧縮サブブロックラインSBLc(2)の第1部分SBLc(2−1)を、終端アドレスADDeを始点として、書込領域WA(2)のうちの重複メモリラインDLを除く領域に、メモリ空間においてH方向及びV方向の逆方向に書き込む(図13(B))。また、メモリ制御部16は、圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)(即ち、重複メモリラインDLに書き込まれるべき部分)を、メモリ制御部16内のレジスタREGの終端アドレスADDregeを始点とする領域に、レジスタREGのレジスタ空間においてH方向の逆方向に書き込む。
次いで、メモリ制御部16は、重複メモリラインDLに記憶された圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)を、レジスタREGに転送する。即ち、メモリ制御部16は、圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)を、レジスタREGの先頭アドレスADDreghを始点とする領域に、レジスタ空間においてH方向に順方向に書き込む。これにより、レジスタREGには、圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)及び圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)を含む、1ライン分のラインデータが記憶される。また、メモリ制御部16は、メモリ20から圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)を削除する(図13(C))。
次いで、メモリ制御部16は、レジスタREGに記憶されたラインデータ(第2部分SBLc(1−2)及びSBLc(2−2))を、重複メモリラインDLの先頭アドレスADDdlhを始点とする領域に、メモリ空間においてH方向の順方向に書き込む(図13(D))。また、メモリ制御部16は、第2部分SBLc(1−2)及びSBLc(2−2)を、レジスタREGから削除する。これにより、書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する圧縮サブブロックラインSBLc(1)の第1部分SBLc(1−1)及び第2部分SBLc(1−2)、並びに圧縮サブブロックラインSBLc(2)の第1部分SBLc(2−1)及び第2部分SBLc(2−2)が記憶される(図13(E))。
第3実施形態の第1例によれば、重複メモリラインDLに書き込まれた第1圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)及び第2圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)を含むラインデータを、いったんレジスタREGに書き込んだ後に、レジスタREGに記憶されたラインデータを、重複メモリラインDLに書き込む。これにより、第1圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)と第2圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)とが、1つの重複メモリラインDLに書き込まれる場合であっても、第1実施形態に比べて、メモリ20の使用領域を低減することができる。
図14は、第3実施形態のメモリ制御部16の動作の第2例の説明図である。はじめに、メモリ制御部16は、圧縮サブブロックラインSBLc(1)の第1部分SBLc(1−1)を、書込アドレスADDw(1)を始点とする領域(即ち、書込領域WA(1)の全体及び書込領域WA(2)の一部)に、メモリ空間においてH方向及びV方向の順方向に書き込む(図14(A))。また、メモリ制御部16は、圧縮サブブロックラインSBLc(1)の第2部分(1−2)を、レジスタREGの先頭アドレスADDreghを始点とする領域に、レジスタ空間においてH方向の順方向に書き込む。圧縮サブブロックラインSBLc(1)の第2部分(1−2)は、メモリ20の書込単位WUより小さいデータである。
次いで、メモリ制御部16は、圧縮サブブロックラインSBLc(2)の第1部分(2−1)を、終端アドレスADDeを始点として、書込領域WA(2)のうちの重複メモリラインDLを除く領域に、メモリ空間においてH方向及びV方向の逆方向に書き込む(図14(B))。また、メモリ制御部16は、圧縮サブブロックラインSBLc(2)の第2部分(2−2)を、メモリ制御部16内のレジスタREGの終端アドレスADDregeを始点とする領域に、レジスタ空間においてH方向の逆方向に書き込む。圧縮サブブロックラインSBLc(2)の第2部分(2−2)のサイズは、メモリ20の書込単位WUより小さい。これにより、レジスタREGには、圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)及び圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)を含む、1ライン分のラインデータが記憶される。
次いで、メモリ制御部16は、レジスタREGに記憶されたラインデータ(第2部分SBLc(1−2)及びSBLc(2−2))を、重複メモリラインDLの先頭アドレスADDdlhを始点とする領域に、メモリ空間においてH方向の順方向に書き込む(図14(C))。また、メモリ制御部16は、第2部分SBLc(1−2)及びSBLc(2−2)を、レジスタREGから削除する。これにより、書込領域WA(1)及びWA(2)に、元画像データIMGoに対応する、圧縮サブブロックラインSBLc(1)の第1部分(1−1)及び第2部分(1−2)、並びに、圧縮サブブロックラインSBLc(2)の第1部分(2−1)及び第2部分(2−2)が記憶される(図14(D))。
第3実施形態の第2例によれば、第1圧縮サブブロックラインSBLc(1)の第2部分SBLc(1−2)及び第2圧縮サブブロックラインSBLc(2)の第2部分SBLc(2−2)を含むラインデータを、いったんレジスタREGに書き込んだ後に、レジスタREGに記憶されたラインデータを、重複メモリラインDLに書き込む。これにより、第3実施形態の第1例に比べて、メモリ制御部16がメモリ20に圧縮サブブロックラインSBLc(m)を書き込むのに要するサイクル数を低減することができる。
なお、第3実施形態では、圧縮サブブロックラインサイズSbl(1)が、圧縮サブブロックラインサイズSbl(2)より大きい場合について説明したが、第3実施形態は、圧縮サブブロックラインサイズSbl(1)が圧縮サブブロックラインサイズSbl(2)より小さい場合にも適用可能である。
本実施形態に係る画像圧縮装置10の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像圧縮装置10の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。
また、本実施形態に係る画像圧縮装置10の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1 画像処理システム
10 画像圧縮装置
12 圧縮部
14 書込アドレス決定部
16 メモリ制御部
20 メモリ
30 画像伸張装置

Claims (6)

  1. 圧縮画像データをメモリに書き込む画像圧縮装置であって、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、を備え、
    前記複数の圧縮サブブロックラインは、少なくとも、前記ブロックラインの先頭画素を含む第1圧縮サブブロックラインと、前記第1圧縮サブブロックラインに続く第2圧縮サブブロックラインと、を含み、
    前記メモリ制御部は、
    前記メモリにおいて、前記第1圧縮サブブロックライン及び前記第2圧縮サブブロックラインを記憶可能な容量を有する、記憶領域を画定する先頭アドレス及び終端アドレスを決定し、
    前記先頭アドレスを、第1書込アドレスとして決定し、前記先頭アドレスから、前記サブブロックラインのサブブロックラインサイズ分だけ隔てたアドレスを、第2書込アドレスとして決定し、
    前記第1書込アドレスを始点とする第1書込領域に前記第1圧縮サブブロックラインを書き込み、
    前記第2書込アドレスを始点とする第2書込領域に前記第2圧縮サブブロックラインを書き込む、ことを特徴とする画像圧縮装置。
  2. 圧縮画像データをメモリに書き込む画像圧縮装置であって、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、を備えることを特徴とする画像圧縮装置。
  3. 圧縮画像データをメモリに書き込む画像圧縮装置であって、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、を備え、
    前記複数の圧縮サブブロックラインは、前記ブロックラインの先頭画素を含む第1圧縮サブブロックラインと、前記第1圧縮サブブロックラインに続く第2圧縮サブブロックラインと、を含み、
    前記メモリ制御部は、
    前記メモリにおいて、前記第1圧縮サブブロックライン及び前記第2圧縮サブブロックラインを記憶可能な容量を有する、記憶領域を画定する先頭アドレス及び終端アドレスを決定し、
    前記先頭アドレスを第1書込アドレスとして決定し、
    前記終端アドレスから、前記メモリの書込単位分だけ戻ったアドレスを、第2書込アドレスとして決定し、
    前記第1書込アドレスを始点とする第1書込領域に前記第1圧縮サブブロックラインを書き込み、
    前記第2書込アドレスを始点とする第2書込領域に前記第2圧縮サブブロックラインを書き込む、ことを特徴とする画像圧縮装置。
  4. 圧縮画像データをメモリに書き込む画像圧縮装置であって、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、を備え、
    前記複数の圧縮サブブロックラインは、第1圧縮サブブロックラインと、前記第1圧縮サブブロックラインに続く第2圧縮サブブロックラインと、を含み、
    前記メモリ制御部は、
    前記メモリにおいて、前記第1圧縮サブブロックライン及び前記第2圧縮サブブロックラインを記憶可能な容量を有する、記憶領域を画定する先頭アドレス及び終端アドレスを決定し、
    前記先頭アドレスを第1書込アドレスとして決定し、
    前記先頭アドレスから、前記サブブロックラインのサブブロックラインサイズ分だけ隔てたアドレスを、第2書込アドレスとして決定し、
    前記第1書込アドレスから前記第2書込アドレスまでの第1書込領域に、前記第1圧縮サブブロックラインの少なくとも一部を書き込み、
    前記第2書込アドレスから前記終端アドレスまでの第2書込領域に、前記第2圧縮サブブロックラインの少なくとも一部を書き込み、
    前記第1圧縮サブブロックラインのサイズが前記第1書込領域のサイズより大きい場合には、前記第1書込領域に記憶されていない前記第1圧縮サブブロックラインの残留部分を、前記第2書込領域に書き込み、
    前記第2圧縮サブブロックラインのサイズが前記第2書込領域のサイズより大きい場合には、前記第2書込領域に記憶されていない前記第2圧縮サブブロックラインの残留部分を、前記第1書込領域に書き込む、ことを特徴とする画像圧縮装置。
  5. 圧縮画像データをメモリに書き込む画像圧縮装置であって、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、を備え、
    前記複数の圧縮サブブロックラインは、第1圧縮サブブロックラインと、前記第1圧縮サブブロックラインに続く第2圧縮サブブロックラインと、を含み、
    前記第1圧縮サブブロックラインは、第1部分と、前記第1部分に続く第2部分と、を含み、
    前記第2圧縮サブブロックラインは、第1部分と、前記第1部分に続く第2部分と、を含み、
    前記メモリ制御部は、
    前記第1圧縮サブブロックラインの第2部分と、前記第2圧縮サブブロックラインの第2部分と、を含むラインデータを記憶可能なレジスタを備え、
    前記メモリにおいて、前記第1圧縮サブブロックライン及び前記第2圧縮サブブロックラインを記憶可能な容量を有する、記憶領域を画定する先頭アドレス及び終端アドレスを決定し、
    前記先頭アドレスを第1書込アドレスとして決定し、
    前記終端アドレスを第2書込アドレスとして決定し、
    前記第1書込アドレスを始点とする領域に、前記第1圧縮サブブロックラインの第1部分を書き込み、
    前記第1圧縮サブブロックラインの第2部分を、前記レジスタに書き込み、
    前記第2書込アドレスを始点とする領域に、前記第2圧縮サブブロックラインの第1部分を書き込み、
    前記第2圧縮サブブロックラインの第2部分を、前記レジスタに書き込み、
    前記レジスタに記憶された前記第1圧縮サブブロックラインの第2部分と、前記第2圧縮サブブロックラインの第2部分と、を含む前記ラインデータを、前記第1圧縮サブブロックラインの第1部分が記憶された領域に続く重複メモリラインに書き込む、ことを特徴とする画像圧縮装置。
  6. データを記憶可能なメモリと、
    複数の画素を含む元画像データを複数のブロックラインに分割し、各ブロックラインを複数のサブブロックラインに分割し、前記サブブロックライン毎に前記元画像データを圧縮し、複数の圧縮サブブロックラインを生成する、圧縮部と、
    前記サブブロックラインの数と、前記元画像データの元画像データサイズと、画像圧縮率と、に基づいて、前記圧縮サブブロックライン毎に前記メモリの書込アドレスを決定する、書込アドレス決定部と、
    前記複数の圧縮サブブロックラインを、各圧縮サブブロックラインに対応する前記書込アドレスに書き込む、メモリ制御部と、
    前記メモリに記憶された複数の圧縮サブブロックラインを、前記書込アドレスに基づいて個別に読み出す画像伸張装置と、を備えることを特徴とする画像処理システム。
JP2011208845A 2011-09-26 2011-09-26 画像圧縮装置及び画像処理システム Expired - Fee Related JP5597175B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011208845A JP5597175B2 (ja) 2011-09-26 2011-09-26 画像圧縮装置及び画像処理システム
US13/337,934 US8873876B2 (en) 2011-09-26 2011-12-27 Image encoder and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011208845A JP5597175B2 (ja) 2011-09-26 2011-09-26 画像圧縮装置及び画像処理システム

Publications (2)

Publication Number Publication Date
JP2013070321A true JP2013070321A (ja) 2013-04-18
JP5597175B2 JP5597175B2 (ja) 2014-10-01

Family

ID=47911364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011208845A Expired - Fee Related JP5597175B2 (ja) 2011-09-26 2011-09-26 画像圧縮装置及び画像処理システム

Country Status (2)

Country Link
US (1) US8873876B2 (ja)
JP (1) JP5597175B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US10510148B2 (en) * 2017-12-18 2019-12-17 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for block based edgel detection with false edge elimination
KR20210088304A (ko) 2020-01-06 2021-07-14 삼성전자주식회사 이미지 프로세서의 동작 방법, 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP2007295023A (ja) * 2006-04-20 2007-11-08 Pioneer Electronic Corp 動画像処理装置及び方法、並びにコンピュータプログラム
JP2009153138A (ja) * 2007-12-19 2009-07-09 Sony Corp 視覚的に無損失のビデオデータ圧縮
WO2009098315A1 (en) * 2008-02-08 2009-08-13 Linear Algebra Technologies A video coding system with reference frame compression
JP2010226532A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 画像圧縮装置および画像伸張装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347478A (en) * 1991-06-09 1994-09-13 Yamaha Corporation Method of and device for compressing and reproducing waveform data
US5842033A (en) * 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US6067613A (en) * 1993-11-30 2000-05-23 Texas Instruments Incorporated Rotation register for orthogonal data transformation
US5509129A (en) * 1993-11-30 1996-04-16 Guttag; Karl M. Long instruction word controlling plural independent processor operations
US6173305B1 (en) * 1993-11-30 2001-01-09 Texas Instruments Incorporated Division by iteration employing subtraction and conditional source selection of a prior difference or a left shifted remainder
US5442581A (en) * 1993-11-30 1995-08-15 Texas Instruments Incorporated Iterative division apparatus, system and method forming plural quotient bits per iteration
US5729228A (en) * 1995-07-06 1998-03-17 International Business Machines Corp. Parallel compression and decompression using a cooperative dictionary
US6097843A (en) 1997-01-27 2000-08-01 Sony Corporation Compression encoding apparatus, encoding method, decoding apparatus, and decoding method
US5961617A (en) * 1997-08-18 1999-10-05 Vadem System and technique for reducing power consumed by a data transfer operations during periods of update inactivity
JP3627659B2 (ja) * 2001-02-15 2005-03-09 ソニー株式会社 データ符号化装置とその方法およびカメラシステム
JP3939198B2 (ja) * 2002-05-20 2007-07-04 三洋電機株式会社 データ出力装置
TWI447736B (zh) * 2010-09-13 2014-08-01 Silicon Motion Inc 單次可編程記憶體之資料編程電路及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247673A (ja) * 1996-03-04 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化動画像再生装置
JPH10271516A (ja) * 1997-01-27 1998-10-09 Sony Corp 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP2007295023A (ja) * 2006-04-20 2007-11-08 Pioneer Electronic Corp 動画像処理装置及び方法、並びにコンピュータプログラム
JP2009153138A (ja) * 2007-12-19 2009-07-09 Sony Corp 視覚的に無損失のビデオデータ圧縮
WO2009098315A1 (en) * 2008-02-08 2009-08-13 Linear Algebra Technologies A video coding system with reference frame compression
JP2010226532A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 画像圧縮装置および画像伸張装置

Also Published As

Publication number Publication date
US20130077877A1 (en) 2013-03-28
JP5597175B2 (ja) 2014-10-01
US8873876B2 (en) 2014-10-28

Similar Documents

Publication Publication Date Title
US20140086309A1 (en) Method and device for encoding and decoding an image
CN103888777A (zh) 运动图像压缩解压缩装置
JP5597175B2 (ja) 画像圧縮装置及び画像処理システム
JP5903597B2 (ja) 画像圧縮装置、画像伸長装置および画像処理装置
JP5194703B2 (ja) データ処理装置及び共有メモリのアクセス方法
JP4837634B2 (ja) 3次元アドレスマッピングを用いたメモリアクセス方法
JP4623207B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US7933465B2 (en) Processing data supply method and image processing apparatus
JP6186429B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
KR20170072646A (ko) 푸리에 변환을 수행하는 방법 및 장치
JP2008084302A (ja) 描画装置、描画方法、および描画プログラム
JP5653328B2 (ja) 画像処理装置及び画像処理システム
JP5845202B2 (ja) 画像圧縮装置および画像処理システム
JP6605323B2 (ja) 半導体装置、データ処理システム及び半導体装置の制御方法
KR101688435B1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
JP2017192045A (ja) 画像処理装置
JP2017016511A (ja) 歪み補正画像処理装置及びプログラム
JP5658612B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
KR101540300B1 (ko) 캐시 메모리를 이용한 이미지 워핑 시스템 및 그 방법
JP2007053536A (ja) 画像信号の符号化処理装置におけるラスタ/ブロック変換用のバッファメモリシステム
JP6411250B2 (ja) 画像処理装置、及び画像処理方法
JP2007110419A (ja) 画像変倍方法
JP5606341B2 (ja) 画像処理装置及び画像処理システム
JP4865021B2 (ja) 画像処理装置および画像処理方法
JP6377222B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140808

LAPS Cancellation because of no payment of annual fees