JP2004104624A

JP2004104624A - Image encoding device, image decoding device and their methods

Info

Publication number: JP2004104624A
Application number: JP2002266082A
Authority: JP
Inventors: Takeshi Nagai; 永井　剛; Yasuaki Yamauchi; 山内　康晋; Shingo Yanagawa; 柳川　新悟; Shinko Sekine; 関根　真弘
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-11
Filing date: 2002-09-11
Publication date: 2004-04-02
Anticipated expiration: 2022-09-11
Also published as: JP3797965B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image encoding device with a high compression rate suitable for a device configuration in order to efficiently use a limited storage area of a built-in device, etc. <P>SOLUTION: A blocking means 101 divides an input image signal 131 into image block signals 132 with a small area composed of a plurality of pixels. An encoding means 102 encodes the image block signals 132 in a block unit. The encoded signals include at least representative color information in a block and representative color use information that shows how to use representative colors. A block code buffer means 103 collects encoded signals of the entire image with respect to an encoded block coding signal 133, and an integrated encoded signal 134 is outputted. A reencoding means 104 encodes the integrated encoded signal 134 independently from the encoding means 102 and outputs a reencoded signal 135. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、ブロック単位の画像圧縮法に関するものであり、特に３次元コンピュータグラフィックス分野における圧縮率固定のテクスチャ画像圧縮の画像符号化装置、画像復号装置及びそれらの方法に関するものである。
【０００２】
【従来の技術】
３次元コンピュータグラフィクス分野では、３次元を構成するモデル（一般には三角形パッチで構成されるポリゴンモデルが用いられる）表面に実世界から取得した撮影画像（テクスチャ画像）を貼り付けるテクスチャマッピングを行うことで高品位な画像を生成してきた。よりリアルな物体を表現するためには、より高精細で大量のテクスチャ画像が必要であり、グラフィックス・システムはこれら大量の画像データを保持、転送、処理するためのメモリやバス・バンド幅、プロセッシングパワーが必要となってきた。いままで、必要なメモリ量やバス・バンド幅を減少させるために、さまざまな画像圧縮方法が試みられてきた。エントロピー符号化／ロスレス圧縮、ＤＣＴ、ＪＰＥＧ、ＢＴＣ、ＣＣＣ、Ｓ３ＴＣなどが存在する。これらの方法にはそれぞれ短所が存在する。
【０００３】
その中で、テクスチャの任意の小領域に対しランダムにアクセスすることが可能であり、復号時の演算量がそれほど多くなく高速に復号でき、さらに圧縮率が固定でメモリの使用量が見積もれる方式としてＢｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ　（ＢＴＣ）（非特許文献１参照）やＣｏｌｏｒ　Ｃｅｌｌ　ｃｏｍｐｒｅｓｓｉｏｎ　（ＣＣＣ）（非特許文献２参照）、またはそれらをベースに改良した方式がテクスチャの圧縮方式として主に使わるようになってきている。
【０００４】
（１）ＢＴＣやＣＣＣと呼ばれる手法では、４×４ピクセル画像ブロックを代表色２色と１ビットに量子化した１６ｂｉｔピクセル情報（どちらの代表色で表現するかで２パターン）で符号化したものである。復号化は、前記２代表色を符号化された１６ｂｉｔ情報の各ビットから２代表色をルックアップテーブルで選択することによって行う。これらＢＴＣ／ＣＣＣは２段階の色再現性しかないため、画質が落ちる原因にもなっている。
【０００５】
（２）そこで、ピクセル毎の量子化ビットを２ビットにすることで画質を向上する方法もある。
【０００６】
Ｓ３ＴＣ方式（特許文献１参照）は、代表色２色とその代表色間に定義される２色の計４代表色を設定し、ピクセル毎に２ｂｉｔでこれらの代表色割当ることで、画像諧調表現の向上をおこなっている。
【０００７】
（３）ＢＴＣ方式では、ピクセル毎２ビットを４代表色（非特許文献３参照）や、３代表色（非特許文献４参照）にして画質を向上させる手法もある。
【０００８】
近年、ＣＧのクオリティ向上のために多数のテクスチャを利用するアプリケーションが増加してきたり、組み込み機器のような非常に少ない記憶領域だけを持つ機器でもＣＧを利用するようになってきたりするようになってきた。そのため、ＢＴＣベースの圧縮率固定に対し、さらに情報を圧縮する方式が必要になってきている。
【０００９】
しかし、ランダムアクセス性や高速演算可能性を維持しつつ、高圧縮率を実現するような符号化方式は存在しない。
【００１０】
【特許文献１】
Ｋｏｎｓｔａｎｔｉｎｅ　Ｉ．　Ｉｏｕｒｃｈａ，　ｅｔ　ａｌ．，　■ＳＹＳＴＥＭ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲ　ＦＩＸＥＤ−ＲＡＴＥ　ＢＬＯＣＫ−ＢＡＳＥＤ　ＩＭＡＧＥ　ＣＯＭＰＲＥＳＳＩＯＮ　ＷＩＴＨ　ＩＮＦＥＲＲＥＤ　ＰＩＸＥＬ　ＶＡＬＵＥＳ■，　ＵＳＰ　５，９５６，４３１，　Ｓｅｐ．　２１，　１９９９．
【００１１】
【非特許文献１】
Ｅ．　Ｊ．　Ｄｅｌｐ，　ｅｔ　ａｌ．，　■Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ　ｕｓｉｎｇ　ｂｌｏｃｋ　ｔｒｕｎｃａｔｉｏｎ　ｃｏｄｉｎｇ■，　ＩＥＥＥ　Ｔｒａｎｓ．　Ｃｏｍｍｕｎ．，　ｖｏｌ．　ＣＯＭ−２７，　Ｓｅｐ．　１９７９．
【非特許文献２】Ｇｒａｈａｍ　Ｃａｍｐｂｅｌｌ，　ｅｔ　ａｌ．，　■ＴＷＯ　ＢＩＴ／ＰＩＸＥＬ　ＦＵＬＬ　ＣＯＬＯＲ　ＥＮＣＯＤＩＮＧ■，　ＳＩＧＧＲＡＰＨ　■８６，　ｖｏｌ．　２０，　Ｎｕｍ．　４，　Ａｕｇ．　１９８６．
【００１２】
【非特許文献３】
Ｊ．Ｄ．Ｋｉｍ，ｅｔ．ａｌ，”Ｐｒｏｇｒｅｓｓｉｖｅ　Ｉｍａｇｉｎｇ　ｏｎ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ　ｖｉａ　ＷＷＷ　Ｂｒｏｗｓｅｒ　ｕｓｉｎｇ　Ａｄａｐｔｉｖｅ　Ｂｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ”，Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｎｅｔｗｏｒｋｉｎｇ１９９６，　１９９６
【００１３】
【非特許文献４】
Ｙ．Ａ．Ａｌａｓｋａ　ａｎｄ　Ｄ．Ａ．Ｌｅｅ，”Ｔｈｒｅｅ　Ｌｅｖｅｌ　Ｂｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ”，　Ｐｒｏｃ．　１９９０　ＩＥＥＥ　Ｓｏｕｔｈｅａｓｔｃｏｎ，　Ｖｏｌ．２，　ＩＥＥＥ　Ｐｒｅｓｓ，　Ｐｉｓｃａｔａｗａｙ，　Ｎ．Ｊ．，　ｐｐ．　４２０−４２３，　１９９０．
【００１４】
【発明が解決しようとする課題】
上述したように従来のブロックベース画像圧縮手法は、ブロック単位で圧縮するため圧縮率が固定になり、それ以上の圧縮率を実現することが難しい。
【００１５】
また、組み込み機器等の限られた記憶領域を効率的に使用するために、機器の構成に合った高圧縮率の符号化方式が求められている。
【００１６】
そこで、本発明は、ブロック単位の符号化をベースにしながら、さらに圧縮率を向上させ、組み込み機器等の限られた記憶領域を効率的に使用することができる画像符号化装置、画像復号装置及びそれらの方法を提供する。
【００１７】
【課題を解決するための手段】
請求項１の発明は、画像データを複数の画像ブロック単位に分割する画像ブロック分割手段と、前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化手段と、前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化手段と、前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化手段と、前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成手段と、を有することを特徴とする画像符号化装置である。
【００１８】
請求項２の発明は、画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化手段と、前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離手段と、前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化手段と、前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化手段と、前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成手段と、を有することを特徴とする画像復号化装置である。
【００１９】
請求項３の発明は、前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化手段と、前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生手段と、を有することを特徴とする請求項２記載の画像復号化装置である。
【００２０】
請求項４の発明は、画像データを複数の画像ブロック単位に分割する画像ブロック分割ステップと、前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化ステップと、前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化ステップと、前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化ステップと、前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成ステップと、を有することを特徴とする画像符号化方法である。
【００２１】
請求項５の発明は、画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化ステップと、前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離ステップと、前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化ステップと、前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化ステップと、前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成ステップと、を有することを特徴とする画像復号化方法である。
【００２２】
請求項６の発明は、前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化ステップと、前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生ステップと、を有することを特徴とする請求項５記載の画像復号化方法である。
【００２３】
【発明の実施の形態】
実施形態１に関する画像符号化装置は、複数画素をまとめた画像ブロック単位に符号化されたデータのうち、ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色のどの色情報をどう利用するかを示す代表色利用情報とを少なくとも有することを特徴とする画像ブロック符号化情報において、複数の前記画像ブロック符号化情報をまとめて再度符号化を行う再符号化手段を具備することを特徴とする。
【００２４】
実施形態２に関する画像符号化装置は、実施形態１に記載の画像符号化装置において、複数前記画像ブロックの前記代表色情報をまとめる代表色バッファ手段と、複数前記画像ブロックの前記代表色利用情報をまとめる代表色利用情報バッファ手段と、前記代表色バッファ手段の前記代表色を符号化する代表色符号化手段と、前記代表色利用情報バッファ手段の前記代表色利用情報を符号化する利用情報符号化手段と、前記代表色符号化手段により符号化された代表色符号化信号と前記利用情報符号化手段により符号化された利用情報符号化信号とを合成する符号化情報合成手段とを具備することを特徴とする。
【００２５】
実施形態３に関する画像符号化装置は、実施形態１に記載の画像符号化装置の再符号化手段において、ユニバーサル情報源符号化を適用することを特徴とする。
【００２６】
実施形態４に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段と利用情報符号化手段において、代表色符号化手段及び利用情報符号化手段の少なくともどちらか一方にユニバーサル情報源符号化を適用することを特徴とする。
【００２７】
実施形態５に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段において、全ての代表色情報をテーブル化する代表色テーブル化手段と、各前記画像ブロックの代表色情報をテーブルの該当する色番号で置き換える代表色情報置き換え手段と、前記代表色テーブル化手段によりテーブル化された代表色テーブルと前記代表色情報置き換え手段により置き換えられた置き換え代表色情報とを合成して出力する代表色再符号化情報合成手段とを具備することを特徴とする。
【００２８】
実施形態６に関する画像符号化装置は、実施形態６に記載の代表色符号化手段の代表色テーブル化手段において、全ての代表色情報のうち少なくとも１色以上の代表色を選択しテーブル化することを特徴とする。
【００２９】
実施形態７に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段において、全ての代表色情報を画像情報化する代表色画像化手段と、前記代表色画像化手段により画像化された代表色画像情報をＪＰＥＧ符号化する代表色ＪＰＥＧ符号化手段とを具備することを特徴とする。
【００３０】
実施形態８に関する画像符号化装置は、実施形態２に記載の画像符号化装置の利用情報符号化手段において、全ての代表色利用情報をハフマン符号化するハフマン符号化手段を具備することを特徴とする。
【００３１】
実施形態９に関する画像符号化装置は、実施形態８に記載の利用情報符号化手段において、前記ハフマン符号化手段が符号化した利用情報符号化信号と使用したハフマン符号化テーブルに関する情報を出力することを特徴とする。
【００３２】
実施形態１０に関する画像復号化装置は、再符号化情報を復号する再符号化情報復号化手段と、前記再符号化情報復号手段により復号された再符号化情報復号情報から複数画素をまとめた画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色のどの色情報をどう利用するかを示す代表色利用情報とを少なくとも有することを特徴とする画像ブロック符号化情報に復元する画像ブロック符号化情報再構成手段とを具備することを特徴とする。
【００３３】
実施形態１１に関する画像復号化装置は、実施形態１０に記載の画像復号化装置において、前記再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離手段と、前記代表色符号化信号を復号する代表色復号化手段と、前記利用情報符号化信号を復号する利用情報復号化手段と、前記代表色復号化手段により復号された代表色復号情報と前記利用情報復号化手段により復号された利用情報復号信号から前記画像ブロック符号化情報を再構成する画像ブロック符号化情報再構成手段とを具備することを特徴とする。
【００３４】
実施形態１２に関する画像復号化装置は、実施形態１０に記載の画像復号化装置の再符号化情報復号化手段において、ユニバーサル情報源復号化を適用することを特徴とする。
【００３５】
実施形態１３に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段及び利用情報復号化手段において、代表色復号化手段及び利用情報復号化手段の少なくともどちらか一方にユニバーサル情報源復号化を適用することを特徴とする。
【００３６】
実施形態１４に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段において、入力された符号化情報を代表色テーブル情報と置き換え代表色情報に分離する代表色情報分離手段と、置き換え代表色情報を前記代表色テーブル情報の該当する代表色で置き換える代表色情報再構成手段とを具備することを特徴とする。
【００３７】
実施形態１５に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段において、入力された符号化情報をＪＰＥＧ復号化するＪＰＥＧ復号化手段を具備することを特徴とする。
【００３８】
実施形態１６に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の利用情報復号化手段において、入力された符号化情報をハフマン復号化するハフマン復号化手段を具備することを特徴とする。
【００３９】
実施形態１７に関する画像復号化装置は、実施形態１６に記載の利用情報復号化手段において、入力された符号化情報から利用情報符号化信号と使用したハフマン符号化テーブルに関する情報に分離するハフマン符号化情報分離手段と前記ハフマン符号化テーブルに関する情報からハフマンテーブルを選択するハフマンテーブル選択手段とを具備することを特徴とする。
【００４０】
【実施例】
（第１の実施例）
（１）画像符号化装置の基本構成
図１は本発明の第１の実施例に係る画像符号化装置の基本構成図である。
【００４１】
入力画像信号１３１は、ブロック化手段１０１により複数の画素からなる小領域の画像ブロック信号１３２に分割される。
【００４２】
画像ブロック信号１３２は、符号化手段１０２でブロック単位に符号化される。この符号化された符号化信号には、ブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている。
【００４３】
符号化されたブロック符号化信号１３３は、ブロック符号バッファ手段１０３により画像全体の符号化信号が集められ、統合符号化信号１３４が出力される。
【００４４】
この統合符号化信号１３４は、再符号化手段１０４により符号化手段１０２とは別に符号化を行い、再符号化信号１３５を出力する。
【００４５】
（２）画像符号化装置の拡張構成
さらに、図２に本実施例に係る画像符号化装置の拡張構成図を示す。
【００４６】
入力画像信号１３１は、ブロック化手段１０１により複数の画素からなる小領域の画像ブロック信号１３２に分割される。
【００４７】
画像ブロック信号１３２は、符号化手段１０２でブロック単位に符号化される。
【００４８】
上述の基本構成の図１と同様にこの符号化された符号化信号には、ブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている。
【００４９】
符号化手段１０２からはこれらの代表色信号２３１と代表色利用情報信号２３２が別々に出力され、夫々代表色バッファ部２０１及び代表色利用情報バッファ部２０２に格納される。
【００５０】
代表色バッファ部２０１及び代表色利用情報バッファ部２０２に蓄えられた代表色情報２３３と代表色利用情報２３４は、それぞれ代表色符号化手段２０３及び利用情報符号化手段２０４に入力され、それぞれの情報に適した符号化が適用される。
【００５１】
代表色符号化手段２０３及び利用情報符号化手段２０４で符号化された代表色符号化信号２３５及び利用情報符号化信号２３６は符号化情報合成手段２０５により合成され、再符号化信号１３５として出力される。
【００５２】
（３）代表色情報及び代表色利用情報の符号化
本実施例を利用し、代表色情報及び代表色利用情報をどのように符号化するかの例を以下に示す。
【００５３】
符号化には復号時に元の信号に歪が全く発生しない可逆符号化方式と、歪が発生する非可逆符号化方式が存在する。前述の再符号化手段１０４、代表色符号化手段２０３及び利用情報符号化手段２０４では、どちらの手段を適用することも可能である。
【００５４】
特に、画質を優先する場合は、可逆符号化方式のユニバーサル符号化方式を適用することが可能である。また、全ての画像ブロックの統計を取った場合、代表色に重複色が多く発生している場合などには、Ｃｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ　（ＣＬＵＴ）方式を適用することが可能である。さらに、圧縮率を優先するような場合は、ＪＰＥＧ圧縮方式を代表色に適用することができる。
【００５５】
（３−１）ＣＬＵＴ方式
図３にＣｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ（ＣＬＵＴ）方式を適用した場合の基本構成図を示す。
【００５６】
入力された代表色情報２３３は代表色テーブル化手段３０１により、全ての画像ブロックでの代表色を統計し、重複色を調べ、重複分を除いた使用されている色数で代表色テーブル３３１を作成する。
【００５７】
代表色情報置き換え手段３０２では、入力された代表色情報２３３の色情報を代表色テーブル化手段３０１で作成した代表色テーブル３３１を参照し、テーブル番号に変換する。
【００５８】
元の代表色のデータ長に対しテーブル番号のデータ長が短い場合、代表色情報が圧縮されることになる。
【００５９】
代表色テーブル３３１とテーブル番号で置き換えられた置き換え代表色信号３３２は代表色再符号化情報合成手段３０３において合成され、代表色符号化信号２３５として出力される。本基本構成図のＣＬＵＴを使用する場合は可逆符号化であり、復号信号には歪は発生しない。
【００６０】
（３−２）さらに圧縮率を高めるＣＬＵＴ方式
図４は、ＣＬＵＴを用い、さらに圧縮率を高める場合の構成図例を示したものである。
【００６１】
上記の基本構成の図３による構成に対し、代表色情報２３３をまず代表色減色手段４０１で総色数よりも少ない色数に減色する。減色する際には、２のべき乗に色数がなるように減色することが望ましい。
【００６２】
その後、減色された代表色情報４３１を使い代表色テーブルを作成し、代表色情報置き換え手段３０２により代表色を代表色テーブル番号で置き換える。代表色を置き換える際、使用されている色数よりも代表色テーブルの色数は少なくなっているため、一致する色がテーブルに存在しない場合がある。その際は、テーブル内に存在する最も近い色に置き換えることになる。
【００６３】
（３−３）ＪＰＥＧ符号化方式
ＪＰＥＧ符号化方式を適用し代表色情報２３３を符号化する方式を示す。
【００６４】
この構成図例を図５に示す。
【００６５】
入力された代表色情報２３３は代表色画像化手段５０１により、画像全体の代表色を少なくとも１枚の画像にまとめ、代表色画像信号５３１として出力する。代表色画像信号５３１はＪＰＥＧ符号化手段５０２においてＪＰＥＧ符号化され符号化された代表色符号化信号２３５が出力される。
【００６６】
（３−４）ハフマン符号化方式
図１４は、代表色利用情報２３４の符号化方式としてハフマン符号化を適用する例を示した構成図である。
【００６７】
入力された代表色利用情報２３４はハフマン符号化手段１４０１により符号化され利用情報符号化信号２３６が出力される。
【００６８】
ハフマン符号化の際には、代表色利用情報２３４のビット列や各画素に対する値等で頻度が計算され、それに応じた形でハフマン符号化のテーブルを作成することや、予めいくつかの用意されたテーブルから頻度情報を利用して選択することも可能である。
【００６９】
（４）第１の実施例の効果
本実施例を用いることで、複数の画素から構成される小領域画像ブロック毎にブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている符号化を行って生成された符号化信号をさらに圧縮することが可能となる。通常ブロック符号化は固定圧縮率の場合が多く、画像中にさらに冗長性がある場合にそれを取り除くことが可能となる。これにより、最終的な符号化後のデータ量を削減することが可能となり、記憶媒体の効率的利用や、記憶媒体そのものの容量を小さくすることが可能となる。
【００７０】
また、代表色情報と代表色利用情報に対し、それぞれに適した符号化を適用することで、全体で符号化するよりも効率のよい符号化が提供可能となる。これは、代表色情報が画像データに近い特性を持ち、代表色利用情報が文書データに近い特性を持つことによる。そのため、代表色情報に画像符号化などの非可逆符号化を、代表色利用情報にユニバーサル符号化やハフマン符号化の可逆符号化を適用することが一般的によい。しかし、これはデータの特徴に依存するため、この組み合わせに限るものではない。
【００７１】
（５）第１の実施例の変形例
図２に示した符号化手段１０２では、代表色信号２３１と代表色利用情報信号２３２が別々に出力されているが、これに限る必要はない。
【００７２】
（５−１）変形例１
例えば、図１３に示すように符号化手段１０２により符号化されたブロック符号化信号１３３はブロック符号分離手段１３０１により代表色信号２３１と代表色利用情報信号２３２に分離されるという構成も可能である。
【００７３】
本構成を利用することで、ブロック符号化処理とその後の再符号化処理を分離することが可能となる。そのため、ブロック符号化と再符号化を別々のアプリケーションとして実装することも可能となる。従来のブロック符号化のみで符号かされた信号が存在する場合、それをブロック符号分離手段に直接入力することで、再符号化のプロセスだけを実施することも可能となる。
【００７４】
（５−２）変形例２
入力されたブロック符号化信号１３２の種類によっては、再符号化手段１０４や代表色符号化手段２０３、利用情報符号化手段２０４で符号化を行った場合、元のデータサイズよりも符号化後のデータサイズが大きくなってしまう場合が存在する。その際、元のデータサイズと比較し、符号化後の方が大きくなってしまっていた場合には、符号化を行わず元の信号を出力するようにすることも可能である。
【００７５】
（５−３）変形例３
さらに、復号時の演算コストと比較し、多少のデータサイズ削減だけしか出来ない場合も同様に符号化しないというモードを選択させることも可能である。そのときには、符号化する／符号化しないを判定するデータ削減量または削減率の基準値を設定しておき、切り替えることになる。このように、どのような符号化を採用したかどうかの情報をヘッダ情報として、符号化信号に合成して記録することも可能である。
【００７６】
（５−４）変形例４
本実施例では、代表色を画像化しＪＰＥＧ符号化を適用することが可能であることを示した。
【００７７】
代表色画像化手段で代表色を画像化する場合には、単純に１枚の画像にする場合以外に、代表色を複数の画像として構成することも可能である。そのとき、それぞれの画像内部に含まれる色は近い色を集めることで効率が良くなる場合が多い。
【００７８】
そのため、ブロック内の代表色を近い色が選択しやすいように並べておくことが必要になる。
【００７９】
１つの画像ブロック内に複数の代表色が存在する場合、その並びをある特定の規則に基づくように並べるようブロック符号化手段１０２で予め行うか、符号化されたブロック符号化信号１３３の代表色を並べ替え、さらに代表色利用情報も変更された並び順に対応するように修正しておくという拡張が可能である。ここでいう特定の規則というのは、例えば１６ビットの色情報の場合、それを数値に置き換え、小さい方から大きいほうに並ぶようにしておく等である。
【００８０】
この規則はそのシステムや画像に応じて変更することが可能であり、自由に設定することが出来る。
【００８１】
（５−５）変形例５
本実施例では代表色を画像化し符号化する際にＪＰＥＧ符号化を適用している。しかし、本実施例はこれに限定する必要はない。
【００８２】
例えば、ＧＩＦやＰＮＧ、ＪＰＥＧ２０００、ＰＰＭ等といったどの静止画の符号化方式でも採用することが可能である。
【００８３】
また、上記のように、画像化する際に複数画像として構成した場合、静止画像の符号化以外にも動画像用の符号化方式（例えばＭＰＥＧ−１，２，４やＨ．２６３、Ｍｏｔｉｏｎ　ＪＰＥＧ等）を適応することが可能である。
【００８４】
（５−６）変形例６
本実施例で説明したように、再符号化の手段としてユニバーサル符号化方式やＣＬＵＴ、ＪＰＥＧ方式、ハフマン符号化方式等を利用することが可能である。しかし、本実施例は、これらの符号化方式に限定するものではなく、符号化方式であれば自由に選択して利用することが可能である。
【００８５】
（５−７）変形例７
本実施例で図２を利用して説明したように、ブロック符号内に存在する複数の情報に対し、別々に符号化を適用することで符号化効率をよくすることが可能である。
【００８６】
そのとき、それぞれの情報に対し同じ符号化方式を適応する場合でも、異なる種類の情報に対しては、別々に符号化を行うことが可能である。このようにすることで、情報の繰り返し頻度が多くなり、結果として符号化効率が上がる可能性が高くなる。
【００８７】
（５−８）変形例８
本実施例ではブロック符号内に存在する情報を代表色情報と代表色利用情報としたが、これ以外の情報が含まれている場合でも適用することが可能である。
【００８８】
そのときには、代表色情報または代表色利用情報と合わせて符号化することも、また、それら二つの情報とは別に符号化することも可能である。
【００８９】
その他、代表色利用情報などの中に、複数の異なる情報が組み込まれている場合、これを一括して代表色利用情報符号化として扱うのではなく、それぞれの情報単位に符号化を行うことも可能である。
【００９０】
（第２の実施例）
（１）画像復号化装置の基本構成
図６は本発明の第２の実施例に係る画像復号化装置の基本構成図である。
【００９１】
入力された再符号化信号６３１は、再符号化情報復号化手段６０１において、再符号化の際に利用された符号化方式に対応した復号方式で復号される。
【００９２】
再符号化情報復号化手段６０１により復号された再符号化情報復号信号６３２は、画像ブロック符号化情報再構成手段６０２により、画像ブロック毎の符号化信号でブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれているブロック符号化信号６３３が再構成される。
【００９３】
再構成されたブロック符号化信号６３３はブロック符号復号化手段６０３で復号され復号画像信号６３３が出力される。
【００９４】
（２）画像復号化装置の拡張構成
さらに、図７に本実施例に係る画像復号化装置の拡張構成図を示す。
【００９５】
入力された再符号化信号６３１は、符号分離手段７０１において代表色を符号化した代表色符号化信号７３１及び代表色利用情報を符号化した利用情報符号化信号７３２に分離される。
【００９６】
代表色符号化信号７３１及び利用情報符号化信号７３２は、それぞれ代表色復号化手段７０２と利用情報復号化手段７０３に入力され、復号化が行われる。
【００９７】
その後、復号された代表色復号信号７３３及び利用情報復号信号７３４は、画像ブロック符号化情報再構成手段７０４によりブロック符号化信号６３３が再構成される。
【００９８】
再構成されたブロック符号化信号６３３は上記の基本構成と同様にブロック符号復号化手段６０３で復号され復号画像信号６３３が出力される。
【００９９】
（３）代表色情報及び代表色利用情報の復号化
本実施例を利用し、代表色情報及び代表色利用情報をどのように復号化するかの例を以下に示す。
【０１００】
第１の実施例で述べたように、代表色情報及び代表色利用情報は様々な符号化方式を適用し符号化することが可能である。そのため、復号化もそれぞれに方式に対応して用意する。
【０１０１】
（３−１）ユニバーサル符号化方式
符号化方式としてユニバーサル符号化方式を適用している場合、再符号化情報復号化手段６０１、代表色復号化手段７０２及び利用情報復号化手段７０３としてユニバーサル復号化手段を適用する。
【０１０２】
これにより画像ブロック符号化信号６３２、代表色復号化信号７３３及び代表色利用情報復号化信号７３４が復号され出力される。
【０１０３】
（３−２）ＣＬＵＴ方式
図８にＣｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ（ＣＬＵＴ）方式を適用した場合の代表色復号化手段の基本構成図を示す。
【０１０４】
入力された代表色符号化信号７３１は、代表色情報分離手段８０１で代表色テーブル信号８３１と置き換え代表色信号８３２に分離される。
【０１０５】
代表色テーブル信号８３１は、代表色テーブル情報保持手段８０２により記憶される。この記憶された代表色テーブル情報８３３を使い、代表色情報再構成手段８０３では、置き換え代表色信号８３２のテーブル番号から色情報に復元され代表色復号化信号７３３として出力される。
【０１０６】
（３−３）ＪＰＥＧ符号化方式
図９にＪＰＥＧ符号化方式を適用した場合の代表色復号化手段の基本構成図を示す。
【０１０７】
入力された代表色符号化信号７３１は、ＪＰＥＧ復号化手段９０１でＪＰＥＧ復号化を実施され復号ブロック化画像信号９３１が出力される。
【０１０８】
復号ブロック化画像信号９３１は、代表色情報復元手段９０２により、画像化されて復元された復号ブロック化画像信号９３１を元の代表色信号のフォーマットに変換される。
【０１０９】
代表色情報復元手段９０２により変換された信号は代表色復号化信号７３３として出力される。
【０１１０】
（３−４）ハフマン符号化方式
図１０に、ハフマン符号化方式を適用した場合の利用情報復号化手段の基本構成図を示す。
【０１１１】
入力された利用情報符号化信号７３２は、ハフマン復号化手段１００１で復号化され利用情報復号信号７３４として出力される。
【０１１２】
（３−５）ハフマンテーブルに関する情報が埋め込まれている場合
図１１では、利用情報符号化信号７３２にハフマンテーブルに関する情報が埋め込まれている場合の利用情報復号化手段の基本構成図を示す。
【０１１３】
入力された利用情報符号化信号７３２は、ハフマン符号化情報分離手段１１０１においてハフマンテーブルに関する情報１１３１及びハフマン符号化された符号語列１１３２に分離される。ハフマンテーブルに関する情報１１３１はハフマンテーブル選択手段１１０２に入力され、復号に利用するハフマンテーブルが再構築される。
【０１１４】
このハフマンテーブルに関する情報１１３１は、ハフマンテーブルをあらわしている場合もあれば、幾つか決められたハフマンテーブルの中のどれかを指定するＩＤのようなものである場合もある。
【０１１５】
符号語列１１３２はハフマン符号化手段に入力され、ハフマンテーブル選択手段１１０２で再構成されたハフマンテーブル１１３３を用いて復号化が行われる。
【０１１６】
復号された信号は代表色利用情報復号化信号７３４として出力される。
【０１１７】
（４）第２の実施例の効果
本実施例を用いることで、複数の画素から構成される小領域画像ブロック毎にブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている符号化を行って生成された符号化信号をさらに圧縮して作成された再符号化信号を読み出し、復号することが可能となる。
【０１１８】
（５）第２の実施例の変形例
（５−１）変形例
再符号化された場合に、再符号化後のデータサイズが元のデータサイズを上回ってしまっていた場合等に再符号化を行わないモードを使用してデータが記録されている場合がある。どのような符号化を行ったかを示す付加情報を再符号化信号に合成して記録されている場合がある。そのため、入力された再符号化信号６３１から付加情報を分離する分離手段を有することも可能である。分離された付加情報から符号化方式等を識別し、復号化時に適当な復号化方式を選択し復号化を行う。
【０１１９】
（５−１）変形例１
本実施例では、代表色を画像化しＪＰＥＧ符号化を適用された場合の復号化装置について示した。そのとき、復号化される画像の数は１枚より多い場合も可能である。
【０１２０】
その場合には、復号された復号ブロック化画像信号９３１を代表色情報復元手段９０２において、複数の画像から代表色信号に符号化時に選択した順序の通りに復元していく。
【０１２１】
また、ＪＰＥＧ以外の静止画像符号化方式や複数枚の画像を動画像と見なし動画像符号化方式が適用されている場合もある。
【０１２２】
その場合は、それぞれに対応した復号化手段を行い、代表色情報復元手段９０２で元の代表色複合化信号７３３を復元する。
【０１２３】
（５−２）変形例２
第２の実施例で説明したように、利用情報復号化手段としてハフマン復号化方式を利用することが可能である。
【０１２４】
それに加え、ハフマン符号化の効率がよくなるように符号語の順番等が変更されていたり、付加情報等が合成されていたりする場合がある。
【０１２５】
そのときには、ハフマン復号化手段１００１の前で付加情報を分離する付加情報分離手段や、ハフマン復号化手段１００１の後ろで復号信号を再構成する再構成手段などを追加することが可能である。
【０１２６】
（５−３）変形例３
第２の実施例で説明したように、再符号化の手段としてユニバーサル符号化方式やＣＬＵＴ、ＪＰＥＧ方式、ハフマン符号化方式等を利用し、それに対応する復号化を採用することが可能である。
【０１２７】
しかし、本実施例は、これらの符号化方式に限定するものではなく、符号化方式であれば自由に選択して利用することができ、復号もそれに対応することが可能である。
【０１２８】
【発明の効果】
本発明を用いることにより、ブロック単位の符号化をベースにしながら、さらに圧縮率を向上させ、組み込み機器等の限られた記憶領域を効率的に使用することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る画像符号化装置の基本構成図である。
【図２】第１の実施例に係る画像符号化装置の拡張構成図である。
【図３】ＣＬＵＴ方式を適用した場合の基本構成図である。
【図４】ＣＬＵＴを用いさらに圧縮率を高める場合の構成図である。
【図５】ＪＰＥＧ符号化方式を適用し代表色情報を符号化する方式の構成図である。
【図６】第２の実施例に係る画像復号化装置の基本構成図である。
【図７】第２の実施例に係る画像復号化装置の拡張構成図である。
【図８】ＣＬＵＴ方式を適用した場合の代表色復号化手段の基本構成図である。
【図９】ＪＰＥＧ符号化方式を適用した場合の代表色復号化手段の基本構成図である。
【図１０】ハフマン符号化方式を適用した場合の利用情報復号化手段の基本構成図である。
【図１１】利用情報符号化信号にハフマンテーブルに関する情報が埋め込まれている場合の利用情報復号化手段の基本構成図である。
【図１２】ブロック符号化の概要図である。
【図１３】ブロック符号分離手段を利用したブロック符号化手段の構成図である。
【図１４】代表色利用情報の符号化方式としてハフマン符号化を適用する例の構成図である。
【符合の説明】
１０１　　ブロック符号化手段
１０２　　符号化手段
１０３　　ブロック符号化バッファ手段
１０４　　再符号化手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a block-based image compression method, and more particularly to an image encoding device, an image decoding device, and a method thereof for texture image compression with a fixed compression ratio in the field of three-dimensional computer graphics.
[0002]
[Prior art]
In the field of three-dimensional computer graphics, texture mapping is performed by attaching a captured image (texture image) obtained from the real world to the surface of a three-dimensional model (generally, a polygon model formed of triangular patches is used). High quality images have been generated. In order to represent more realistic objects, more and more texture images are required, and graphics systems require memory, bus bandwidth, and memory to hold, transfer, and process these large amounts of image data. Processing power is needed. To date, various image compression methods have been attempted to reduce the amount of memory required and bus bandwidth. There are entropy coding / lossless compression, DCT, JPEG, BTC, CCC, S3TC, and the like. Each of these methods has disadvantages.
[0003]
Among them, it is possible to randomly access any small area of the texture, the decoding operation amount is not so large, it can be decoded at high speed, and the compression rate is fixed and the memory usage can be estimated For example, Block Truncating Coding (BTC) (see Non-Patent Document 1), Color Cell compression (CCC) (see Non-Patent Document 2), or a method improved based on these methods is mainly used as a texture compression method. Is coming.
[0004]
(1) In a method called BTC or CCC, a 4 × 4 pixel image block is coded by 16-bit pixel information quantized to two representative colors and one bit (two patterns depending on which representative color is used to represent). It is. The decoding is performed by selecting two representative colors from each bit of the 16-bit information obtained by encoding the two representative colors in a look-up table. Since these BTC / CCC have only two levels of color reproducibility, they also cause image quality to deteriorate.
[0005]
(2) Therefore, there is a method of improving the image quality by setting the quantization bit for each pixel to 2 bits.
[0006]
In the S3TC system (see Patent Document 1), image gradation is set by setting a total of four representative colors, two representative colors and two colors defined between the representative colors, and assigning these representative colors in 2 bits for each pixel. The expression has been improved.
[0007]
(3) In the BTC method, there is a method of improving image quality by setting 2 bits per pixel to 4 representative colors (see Non-Patent Document 3) or 3 representative colors (see Non-Patent Document 4).
[0008]
In recent years, applications that use a large number of textures to improve the quality of CGs have increased, and CGs have been used even in devices having only a very small storage area, such as embedded devices. Was. For this reason, a method for further compressing the information is required in contrast to the BTC-based fixed compression ratio.
[0009]
However, there is no coding method that achieves a high compression ratio while maintaining random accessibility and high-speed operation possibility.
[0010]
[Patent Document 1]
Konstantin I. Iourcha, et al. , ■ SYSTEM AND METHOD FOR FIXED-RATE BLOCK-BASED IMAGE COMPRESSION WITH INFERRED PIXEL VALUES, USP 5,956,431, Sep. 21, 1999.
[0011]
[Non-patent document 1]
E. FIG. J. Delp, et al. , ■ Image Compression using block truncation coding ■, IEEE Trans. Commun. , Vol. COM-27, Sep. 1979.
[Non-Patent Document 2] Graham Campbell, et al. , ■ TWO BIT / PIXEL FULL COLOR ENCODING ■, SIGGRAPH ■ 86, vol. 20, Num. 4, Aug. 1986.
[0012]
[Non-Patent Document 3]
J. D. Kim, et. al, "Progressive Imaging on the Internet via WWW Browser Using Adaptive Blocking Coding", Multimedia Computing and Networking 1996, 1996.
[0013]
[Non-patent document 4]
Y. A. Alaska and D.A. A. Lee, "Three Level Block Trunk Coding", Proc. 1990 IEEE Southeastcon, Vol. 2, IEEE Press, Piscataway, N.W. J. Pp. 420-423, 1990.
[0014]
[Problems to be solved by the invention]
As described above, in the conventional block-based image compression method, the compression rate is fixed because compression is performed in units of blocks, and it is difficult to achieve a compression rate higher than that.
[0015]
In addition, in order to efficiently use a limited storage area of an embedded device or the like, an encoding method with a high compression ratio suitable for the configuration of the device is required.
[0016]
Therefore, the present invention provides an image encoding apparatus, an image decoding apparatus, and a video processing method that can further improve a compression ratio while efficiently using a limited storage area of an embedded device or the like while performing encoding on a block basis. Provide those methods.
[0017]
[Means for Solving the Problems]
The invention according to claim 1 is an image block dividing unit that divides image data into a plurality of image block units, at least one representative color information for expressing a pixel in the divided image block, and Encoding means for creating an encoded signal including at least representative color use information indicating how to use color information for each image block, and encoding the representative color information of all the image blocks collectively A representative color encoding unit that creates a representative color encoded signal; a usage information encoding unit that collectively encodes the representative color usage information of each of the image blocks to create a usage information encoded signal; Encoding information combining means for combining the encoded representative color encoded signal and the encoded use information encoded signal to generate re-encoded information. It is an apparatus.
[0018]
The invention according to claim 2, wherein at least one representative color information for expressing a pixel for each image block unit obtained by dividing the image data, and representative color use information indicating how to use the color information in the representative color. Re-encoding information decoding means for encoding the representative color information in the encoded information including at least the encoded color information, and decoding the re-encoded information encoded and synthesized with the representative color use information; and Code separation means for separating information into a representative color coded signal and a usage information coded signal; and representative color decoding for decoding the representative color coded signal and creating representative color decoded information for each image block Means, means for decoding the use information coded signal, and use information decoding means for creating a use information decoded signal for each of the image blocks; and representative color decoded information and use information for each of the decoded image blocks. Decryption An image decoding apparatus characterized by having, a reconstruction means for reconstructing the encoded information for each of the image blocks from No..
[0019]
The invention according to claim 3 is an image block decoding means for decoding the reconstructed coding information for each image block to create an image block, and reproducing image data by combining the decoded image blocks. 3. An image decoding apparatus according to claim 2, comprising:
[0020]
The invention according to claim 4 is an image block dividing step of dividing image data into a plurality of image block units, at least one representative color information for expressing pixels in the divided image blocks, and An encoding step of creating an encoded signal including at least representative color use information indicating how to use color information for each image block, and encoding the representative color information of all the image blocks collectively A representative color encoding step of creating a representative color encoded signal; a use information encoding step of collectively encoding representative color use information of all the image blocks to create a use information encoded signal; Coding information combining step of combining the encoded representative color coded signal and the coded use information coded signal to generate re-coded information. Which is a picture coding method according to claim.
[0021]
The invention according to claim 5, wherein at least one representative color information for expressing a pixel for each image block unit obtained by dividing the image data, and representative color use information indicating how to use the color information in the representative color. A re-encoding information decoding step of encoding the representative color information in the encoding information including at least, and decoding the re-encoding information encoded and synthesized with the representative color use information; and the decoded re-encoding. A code separation step of separating information into a representative color coded signal and a use information coded signal, and representative color decoding for decoding the representative color coded signal and creating representative color decoded information for each image block A use information decoding step of decoding the use information encoded signal to create a use information decoded signal of each image block; and a decoded representative color decoding information of each decoded image block. An image decoding method characterized by having, a reconstruction step for reconstructing the encoded information for each of the image blocks from the use information decoding signal.
[0022]
The invention according to claim 6 is an image block decoding step of decoding the reconstructed coding information for each image block to create an image block, and reproducing image data by combining the decoded image blocks. 6. An image decoding method according to claim 5, further comprising the step of:
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
The image encoding device according to the first embodiment includes at least one representative color information for expressing pixels in a block among data encoded in an image block unit in which a plurality of pixels are collected, and any one of the representative colors. The image block encoding information having at least representative color usage information indicating how to use the information; and a re-encoding means for re-encoding a plurality of pieces of the image block encoding information collectively. It is characterized by doing.
[0024]
The image encoding device according to the second embodiment is the image encoding device according to the first embodiment, wherein the representative color buffer unit that collects the representative color information of a plurality of the image blocks, and the representative color use information of the plurality of the image blocks. Representative color use information buffer means for summarizing, representative color coding means for coding the representative color of the representative color buffer means, and use information coding for coding the representative color use information of the representative color use information buffer means Means, and coded information synthesizing means for synthesizing the representative color coded signal coded by the representative color coding means and the usage information coded signal coded by the usage information coding means. It is characterized by.
[0025]
An image coding apparatus according to the third embodiment is characterized in that universal information source coding is applied to the re-encoding unit of the image coding apparatus according to the first embodiment.
[0026]
The image coding apparatus according to the fourth embodiment is the image coding apparatus according to the second embodiment, wherein the representative color coding unit and the usage information coding unit each include at least one of the representative color coding unit and the usage information coding unit. Is characterized by applying universal information source coding.
[0027]
An image coding apparatus according to the fifth embodiment is a representative color coding section of the image coding apparatus according to the second embodiment, wherein a representative color table converting section for converting all the representative color information into a table, and a representative color table for each of the image blocks. A representative color information replacing unit that replaces the color information with a corresponding color number in the table; a representative color table tabulated by the representative color table forming unit; and replacement representative color information replaced by the representative color information replacing unit. And a representative color re-encoding information synthesizing means for outputting.
[0028]
The image coding apparatus according to the sixth embodiment is configured such that at least one representative color of all the representative color information is selected and tabulated by the representative color table forming unit of the representative color coding unit according to the sixth embodiment. It is characterized by.
[0029]
An image coding apparatus according to a seventh embodiment is the representative color coding section of the image coding apparatus according to the second embodiment, wherein the representative color coding section converts all the representative color information into image information; A representative color JPEG encoding means for JPEG encoding the representative color image information imaged by the means.
[0030]
An image coding apparatus according to the eighth embodiment is characterized in that, in the usage information coding means of the image coding apparatus according to the second embodiment, a Huffman coding means for performing Huffman coding on all representative color usage information is provided. I do.
[0031]
An image coding apparatus according to a ninth embodiment is the usage information coding unit according to the eighth embodiment, wherein the usage information coding unit outputs the usage information coded signal coded by the Huffman coding unit and information about the Huffman coding table used. It is characterized by.
[0032]
An image decoding apparatus according to the tenth embodiment includes a re-encoding information decoding unit that decodes re-encoding information, and an image obtained by combining a plurality of pixels from the re-encoding information decoding information decoded by the re-encoding information decoding unit. The image block encoding information has at least at least one representative color information for expressing a pixel in a block and representative color use information indicating which color information of the representative color is used. Image block coded information reconstructing means for restoring.
[0033]
An image decoding apparatus according to an eleventh embodiment is the image decoding apparatus according to the tenth embodiment, wherein the code separation unit separates the re-encoded information into a representative color coded signal and a usage information coded signal; Representative color decoding means for decoding a color coded signal, usage information decoding means for decoding the usage information coded signal, representative color decoding information decoded by the representative color decoding means, and the usage information decoding Image block coded information reconstructing means for reconstructing the image block coded information from the usage information decoded signal decoded by the means.
[0034]
An image decoding apparatus according to the twelfth embodiment is characterized in that universal information source decoding is applied to the re-encoding information decoding means of the image decoding apparatus according to the tenth embodiment.
[0035]
An image decoding apparatus according to the thirteenth embodiment is the image decoding apparatus according to the eleventh embodiment, wherein the representative color decoding unit and the usage information decoding unit are at least one of the representative color decoding unit and the usage information decoding unit. The method is characterized in that universal information source decoding is applied to.
[0036]
An image decoding apparatus according to a fourteenth embodiment is the image decoding apparatus according to the eleventh embodiment, wherein the representative color decoding unit of the image decoding apparatus according to the eleventh embodiment replaces the input encoded information with the representative color table information and separates it into representative color information. The image processing apparatus further includes a separating unit and a representative color information reconstructing unit that replaces the replacement representative color information with a corresponding representative color of the representative color table information.
[0037]
An image decoding apparatus according to the fifteenth embodiment is characterized in that, in the representative color decoding means of the image decoding apparatus according to the eleventh embodiment, a JPEG decoding means for JPEG decoding the input encoded information is provided. I do.
[0038]
An image decoding apparatus according to the sixteenth embodiment is characterized in that, in the usage information decoding means of the image decoding apparatus according to the eleventh embodiment, a Huffman decoding means for Huffman decoding the input encoded information is provided. I do.
[0039]
An image decoding apparatus according to a seventeenth embodiment provides a usage information decoding unit according to the sixteenth embodiment, wherein the usage information decoding unit separates the input coded information into a usage information coded signal and information on a used Huffman coding table. It is characterized by comprising information separating means and Huffman table selecting means for selecting a Huffman table from information on the Huffman coding table.
[0040]
【Example】
(First embodiment)
(1) Basic configuration of image coding apparatus
FIG. 1 is a basic configuration diagram of an image encoding device according to a first embodiment of the present invention.
[0041]
The input image signal 131 is divided by the blocking unit 101 into an image block signal 132 of a small area composed of a plurality of pixels.
[0042]
The image block signal 132 is encoded by the encoding unit 102 in block units. The encoded signal includes at least representative color information in the block and representative color use information indicating how to use the representative color.
[0043]
From the coded block coded signal 133, the coded signals of the entire image are collected by the block code buffer means 103, and an integrated coded signal 134 is output.
[0044]
The integrated encoded signal 134 is encoded by the re-encoding unit 104 separately from the encoding unit 102, and a re-encoded signal 135 is output.
[0045]
(2) Extended configuration of image encoding device
FIG. 2 is an expanded configuration diagram of the image encoding device according to the present embodiment.
[0046]
The input image signal 131 is divided by the blocking unit 101 into an image block signal 132 of a small area composed of a plurality of pixels.
[0047]
The image block signal 132 is encoded by the encoding unit 102 in block units.
[0048]
Like the basic configuration shown in FIG. 1, the encoded signal includes at least representative color information in the block and representative color use information indicating how to use the representative color.
[0049]
The representative color signal 231 and the representative color use information signal 232 are separately output from the encoding unit 102 and stored in the representative color buffer unit 201 and the representative color use information buffer unit 202, respectively.
[0050]
The representative color information 233 and the representative color use information 234 stored in the representative color buffer unit 201 and the representative color use information buffer unit 202 are input to the representative color encoding unit 203 and the use information encoding unit 204, respectively. Is applied.
[0051]
The representative color coded signal 235 and the usage information coded signal 236 coded by the representative color coding unit 203 and the usage information coding unit 204 are combined by the coded information synthesis unit 205 and output as a re-coded signal 135. You.
[0052]
(3) Encoding of representative color information and representative color use information
An example of how to encode the representative color information and the representative color use information using the present embodiment will be described below.
[0053]
The encoding includes a lossless encoding method in which no distortion occurs in the original signal at the time of decoding and an irreversible encoding method in which distortion occurs. Either of the re-encoding unit 104, the representative color encoding unit 203, and the usage information encoding unit 204 can be applied.
[0054]
In particular, when priority is given to image quality, it is possible to apply a universal coding method of a lossless coding method. In addition, when statistics of all image blocks are obtained, or when a large number of overlapping colors occur in the representative colors, the Color Look-Up Table (CLUT) method can be applied. Further, when giving priority to the compression ratio, the JPEG compression method can be applied to the representative color.
[0055]
(3-1) CLUT method
FIG. 3 shows a basic configuration diagram when the Color Look-Up Table (CLUT) method is applied.
[0056]
The inputted representative color information 233 is used by the representative color table forming means 301 to statistically represent the representative colors in all the image blocks, check the overlapping colors, and change the representative color table 331 with the number of used colors excluding the overlapping portion. create.
[0057]
The representative color information replacing unit 302 converts the input color information of the representative color information 233 into a table number with reference to the representative color table 331 created by the representative color table forming unit 301.
[0058]
When the data length of the table number is shorter than the data length of the original representative color, the representative color information is compressed.
[0059]
The representative color table 331 and the replaced representative color signal 332 replaced by the table number are synthesized by the representative color re-encoding information synthesizing unit 303 and output as a representative color encoded signal 235. When the CLUT of the basic configuration diagram is used, lossless encoding is performed, and no distortion occurs in the decoded signal.
[0060]
(3-2) CLUT method to further increase the compression ratio
FIG. 4 shows an example of a configuration diagram when the compression ratio is further increased by using a CLUT.
[0061]
In contrast to the basic configuration shown in FIG. 3, the representative color information 233 is first reduced by the representative color reduction means 401 to a number of colors smaller than the total number of colors. At the time of color reduction, it is desirable to perform color reduction so that the number of colors is a power of two.
[0062]
After that, a representative color table is created using the reduced representative color information 431, and the representative color is replaced by the representative color table number by the representative color information replacing means 302. When replacing the representative color, the number of colors in the representative color table is smaller than the number of colors used, and therefore, there is a case where a matching color does not exist in the table. In this case, the color is replaced with the closest color existing in the table.
[0063]
(3-3) JPEG encoding method
A method of encoding the representative color information 233 by applying the JPEG encoding method will be described.
[0064]
An example of this configuration diagram is shown in FIG.
[0065]
The input representative color information 233 combines the representative colors of the entire image into at least one image by the representative color imaging unit 501 and outputs the representative color image signal 531. The representative color image signal 531 is JPEG-encoded by the JPEG encoding means 502 and the encoded representative color signal 235 is output.
[0066]
(3-4) Huffman coding method
FIG. 14 is a configuration diagram showing an example in which Huffman coding is applied as a coding method of the representative color use information 234.
[0067]
The input representative color use information 234 is encoded by the Huffman encoding means 1401 and an encoded use information signal 236 is output.
[0068]
At the time of Huffman coding, the frequency is calculated based on the bit string of the representative color usage information 234, the value for each pixel, and the like. It is also possible to select from the table using the frequency information.
[0069]
(4) Effects of the first embodiment
By using this embodiment, for each small area image block composed of a plurality of pixels, a code including at least representative color information in the block and representative color use information indicating how to use the representative color is included. It is possible to further compress the encoded signal generated by performing the encoding. Normally, block coding often has a fixed compression ratio, and when there is further redundancy in an image, it can be removed. This makes it possible to reduce the amount of data after the final encoding, and to efficiently use the storage medium and reduce the capacity of the storage medium itself.
[0070]
Also, by applying encoding suitable for each of the representative color information and the representative color use information, it is possible to provide more efficient encoding than encoding as a whole. This is because the representative color information has characteristics close to image data, and the representative color use information has characteristics close to document data. Therefore, it is generally preferable to apply irreversible encoding such as image encoding to the representative color information, and to apply lossless encoding such as universal encoding or Huffman encoding to the representative color use information. However, this depends on the characteristics of the data, and is not limited to this combination.
[0071]
(5) Modification of the first embodiment
In the encoding means 102 shown in FIG. 2, the representative color signal 231 and the representative color use information signal 232 are separately output. However, the present invention is not limited to this.
[0072]
(5-1) Modification 1
For example, as shown in FIG. 13, a configuration is possible in which a block coded signal 133 coded by the coding unit 102 is separated into a representative color signal 231 and a representative color use information signal 232 by a block code separation unit 1301. .
[0073]
By using this configuration, it is possible to separate the block encoding process from the subsequent re-encoding process. Therefore, it is also possible to implement block encoding and re-encoding as separate applications. If there is a signal coded only by the conventional block coding, by directly inputting the signal to the block code separation means, it becomes possible to execute only the re-coding process.
[0074]
(5-2) Modification 2
Depending on the type of the input block coded signal 132, when coding is performed by the re-encoding unit 104, the representative color coding unit 203, and the use information coding unit 204, the encoded data is smaller than the original data size There is a case where the data size becomes large. At that time, if the size after encoding is larger than the original data size, it is possible to output the original signal without performing encoding.
[0075]
(5-3) Modification 3
Further, it is also possible to select a mode in which the encoding is not performed even when only a small data size can be reduced compared with the operation cost at the time of decoding. At that time, a reference value of a data reduction amount or a reduction rate for determining whether to perform encoding or not encoding is set and switched. In this way, it is also possible to combine information on whether encoding has been adopted as header information with an encoded signal and record it.
[0076]
(5-4) Modification 4
In this embodiment, it has been shown that it is possible to convert the representative color into an image and apply JPEG encoding.
[0077]
When the representative color is imaged by the representative color imaging unit, the representative color can be configured as a plurality of images, instead of simply forming one image. At that time, in many cases, efficiency is improved by collecting colors close to each other in the inside of each image.
[0078]
Therefore, it is necessary to arrange the representative colors in the block so that a close color can be easily selected.
[0079]
When a plurality of representative colors are present in one image block, the arrangement may be performed in advance by the block encoding unit 102 so that the arrangement is performed based on a specific rule, or the representative colors of the encoded block encoded signal 133 may be used. Can be extended, and the representative color use information is also modified so as to correspond to the changed arrangement order. The specific rule here means that, for example, in the case of 16-bit color information, it is replaced with a numerical value and arranged in order from smaller to larger.
[0080]
This rule can be changed according to the system and the image, and can be freely set.
[0081]
(5-5) Modification 5
In this embodiment, JPEG encoding is applied when the representative color is imaged and encoded. However, the present embodiment need not be limited to this.
[0082]
For example, any still image coding method such as GIF, PNG, JPEG2000, PPM, etc. can be adopted.
[0083]
Further, as described above, when a plurality of images are formed at the time of image formation, a coding method for moving images (for example, MPEG-1, 2, 4, H.263, Motion JPEG, etc.) besides still image coding. Etc.) can be applied.
[0084]
(5-6) Modification 6
As described in this embodiment, it is possible to use a universal coding method, a CLUT, a JPEG method, a Huffman coding method, or the like as means for re-encoding. However, the present embodiment is not limited to these encoding methods, and any encoding method can be freely selected and used.
[0085]
(5-7) Modification 7
As described with reference to FIG. 2 in this embodiment, it is possible to improve coding efficiency by separately applying coding to a plurality of pieces of information existing in a block code.
[0086]
At that time, even when the same encoding method is applied to each piece of information, it is possible to separately encode different kinds of information. By doing so, the repetition frequency of the information increases, and as a result, the possibility that the coding efficiency increases is increased.
[0087]
(5-8) Modification 8
In this embodiment, the information present in the block code is used as the representative color information and the representative color use information. However, the present invention can be applied to a case where other information is included.
[0088]
At that time, encoding may be performed together with representative color information or representative color use information, or encoding may be performed separately from the two pieces of information.
[0089]
In addition, when a plurality of different pieces of information are incorporated in the representative color use information, etc., it is not necessary to collectively treat the information as representative color use information encoding, but to encode each information unit. It is possible.
[0090]
(Second embodiment)
(1) Basic configuration of image decoding device
FIG. 6 is a basic configuration diagram of an image decoding device according to the second embodiment of the present invention.
[0091]
The input re-coded signal 631 is decoded by the re-coded information decoding unit 601 using a decoding method corresponding to the coding method used at the time of re-coding.
[0092]
The re-encoded information decoded signal 632 decoded by the re-encoded information decoding means 601 is used by the image block coded information reconstructing means 602 to represent the representative color information and the representative color in the block with the coded signal for each image block. A block coded signal 633 including at least representative color use information indicating how to use the block is reconstructed.
[0093]
The reconstructed block coded signal 633 is decoded by the block code decoding unit 603, and a decoded image signal 633 is output.
[0094]
(2) Extended configuration of image decoding device
FIG. 7 shows an extended configuration diagram of the image decoding apparatus according to the present embodiment.
[0095]
The input re-encoded signal 631 is separated by a code separation unit 701 into a representative color coded signal 731 obtained by coding the representative color and a use information coded signal 732 obtained by coding the representative color use information.
[0096]
The representative color coded signal 731 and the usage information coded signal 732 are input to the representative color decoding unit 702 and the usage information decoding unit 703, respectively, and are decoded.
[0097]
After that, the decoded representative color decoded signal 733 and the usage information decoded signal 734 are reconstructed into a block coded signal 633 by the image block coded information reconstructing unit 704.
[0098]
The reconstructed block coded signal 633 is decoded by the block code decoding unit 603 in the same manner as in the above basic configuration, and a decoded image signal 633 is output.
[0099]
(3) Decoding of representative color information and representative color use information
An example of how the representative color information and the representative color use information are decoded using the present embodiment will be described below.
[0100]
As described in the first embodiment, the representative color information and the representative color use information can be coded by applying various coding methods. Therefore, decoding is prepared corresponding to each method.
[0101]
(3-1) Universal coding method
When the universal encoding method is applied as the encoding method, the universal decoding means is applied as the re-encoded information decoding means 601, the representative color decoding means 702, and the usage information decoding means 703.
[0102]
As a result, the image block encoded signal 632, the representative color decoded signal 733, and the representative color use information decoded signal 734 are decoded and output.
[0103]
(3-2) CLUT method
FIG. 8 shows a basic configuration diagram of the representative color decoding means when the Color Look-Up Table (CLUT) method is applied.
[0104]
The input representative color encoded signal 731 is replaced with a representative color table signal 831 by a representative color information separating unit 801 and separated into a representative color signal 832.
[0105]
The representative color table signal 831 is stored by the representative color table information holding unit 802. Using the stored representative color table information 833, the representative color information reconstructing unit 803 restores the color information from the table number of the replacement representative color signal 832 and outputs the color information as the representative color decoded signal 733.
[0106]
(3-3) JPEG encoding method
FIG. 9 shows a basic configuration diagram of the representative color decoding means when the JPEG encoding method is applied.
[0107]
The input representative color coded signal 731 is subjected to JPEG decoding by the JPEG decoding means 901 and a decoded block image signal 931 is output.
[0108]
The decoded block image signal 931 is converted into an original representative color signal format by the representative color information restoring unit 902.
[0109]
The signal converted by the representative color information restoring unit 902 is output as a representative color decoded signal 733.
[0110]
(3-4) Huffman coding method
FIG. 10 shows a basic configuration diagram of the usage information decoding means when the Huffman coding method is applied.
[0111]
The input usage information coded signal 732 is decoded by the Huffman decoding unit 1001 and output as a usage information decoded signal 734.
[0112]
(3-5) When information on Huffman table is embedded
FIG. 11 shows a basic configuration diagram of the usage information decoding means when the information on the Huffman table is embedded in the usage information coded signal 732.
[0113]
The input usage information coded signal 732 is separated by the Huffman coded information separation unit 1101 into information 1131 relating to the Huffman table and a Huffman coded codeword string 1132. Information 1131 relating to the Huffman table is input to the Huffman table selection unit 1102, and the Huffman table used for decoding is reconstructed.
[0114]
The information 1131 about the Huffman table may represent a Huffman table, or may be an ID that designates one of several predetermined Huffman tables.
[0115]
The codeword string 1132 is input to the Huffman encoding unit, and is decoded using the Huffman table 1133 reconstructed by the Huffman table selection unit 1102.
[0116]
The decoded signal is output as a representative color use information decoded signal 734.
[0117]
(4) Effects of the second embodiment
By using the present embodiment, a code including at least representative color information in a small area image block including a plurality of pixels and representative color use information indicating how to use the representative color in the block is included. It is possible to read out and decode the re-encoded signal created by further compressing the encoded signal generated by the encoding.
[0118]
(5) Modification of the second embodiment
(5-1) Modified example
When re-encoding is performed, data may be recorded using a mode in which re-encoding is not performed, such as when the data size after re-encoding exceeds the original data size. In some cases, additional information indicating what kind of encoding has been performed is combined with the re-encoded signal and recorded. Therefore, it is possible to have a separating unit for separating the additional information from the input re-coded signal 631. An encoding system or the like is identified from the separated additional information, and an appropriate decoding system is selected at the time of decoding to perform decoding.
[0119]
(5-1) Modification 1
In the present embodiment, a decoding apparatus has been described in which a representative color is converted into an image and JPEG encoding is applied. At that time, the number of images to be decoded may be more than one.
[0120]
In this case, the decoded block image signal 931 is restored by the representative color information restoring unit 902 from a plurality of images into a representative color signal in the order selected at the time of encoding.
[0121]
In some cases, a still image encoding method other than JPEG or a moving image encoding method is applied in which a plurality of images are regarded as moving images.
[0122]
In that case, decoding means corresponding to each is performed, and the representative representative color composite signal 733 is restored by the representative color information restoring means 902.
[0123]
(5-2) Modification 2
As described in the second embodiment, it is possible to use the Huffman decoding method as the usage information decoding means.
[0124]
In addition, the order of codewords and the like may be changed, or additional information and the like may be combined, in order to improve the efficiency of Huffman coding.
[0125]
At that time, additional information separating means for separating additional information before the Huffman decoding means 1001 and reconstructing means for reconstructing a decoded signal after the Huffman decoding means 1001 can be added.
[0126]
(5-3) Modification 3
As described in the second embodiment, it is possible to use a universal encoding method, a CLUT, a JPEG method, a Huffman encoding method, or the like as a means of re-encoding, and employ decoding corresponding thereto.
[0127]
However, the present embodiment is not limited to these encoding schemes, and any encoding scheme can be freely selected and used, and decoding can correspond to them.
[0128]
【The invention's effect】
By using the present invention, it is possible to further improve the compression ratio and efficiently use a limited storage area of an embedded device or the like, based on the coding in block units.
[Brief description of the drawings]
FIG. 1 is a basic configuration diagram of an image encoding device according to a first embodiment of the present invention.
FIG. 2 is an extended configuration diagram of the image encoding device according to the first embodiment.
FIG. 3 is a basic configuration diagram when a CLUT method is applied.
FIG. 4 is a configuration diagram when a compression ratio is further increased using a CLUT.
FIG. 5 is a configuration diagram of a method of encoding representative color information by applying a JPEG encoding method.
FIG. 6 is a basic configuration diagram of an image decoding device according to a second embodiment.
FIG. 7 is an extended configuration diagram of an image decoding device according to a second embodiment.
FIG. 8 is a basic configuration diagram of a representative color decoding unit when the CLUT method is applied.
FIG. 9 is a basic configuration diagram of a representative color decoding unit when the JPEG encoding method is applied.
FIG. 10 is a basic configuration diagram of usage information decoding means when the Huffman coding method is applied.
FIG. 11 is a basic configuration diagram of a usage information decoding unit in a case where information about a Huffman table is embedded in a usage information coded signal.
FIG. 12 is a schematic diagram of block coding.
FIG. 13 is a configuration diagram of a block encoding unit using a block code separation unit.
FIG. 14 is a configuration diagram of an example in which Huffman coding is applied as a coding method of representative color use information.
[Description of sign]
101 Block coding means
102 Encoding means
103 Block coding buffer means
104 re-encoding means

Claims

Image block dividing means for dividing image data into a plurality of image block units;
An encoded signal including at least one representative color information for expressing a pixel in the divided image block and representative color use information indicating how to use the color information in the representative color, Encoding means for creating each image block;
Representative color encoding means for collectively encoding the representative color information of all the image blocks to create a representative color encoded signal,
Usage information encoding means for collectively encoding the representative color usage information of each of the image blocks to create a usage information encoded signal,
Encoding information synthesizing means for synthesizing the encoded representative color encoded signal and the encoded usage information encoded signal to create re-encoded information,
An image encoding device comprising:

Encoding information including at least one representative color information for expressing a pixel for each image block unit obtained by dividing the image data, and representative color use information indicating how to use the color information in the representative color Re-encoding information decoding means for encoding the representative color information in, and decoding the re-encoding information synthesized and encoded with the representative color use information,
Code separation means for separating the decoded re-encoded information into a representative color encoded signal and a use information encoded signal,
A representative color decoding unit that decodes the representative color encoded signal and creates representative color decoding information for each image block;
A use information decoding unit that decodes the use information encoded signal to create a use information decoded signal for each of the image blocks;
Reconstructing means for reconstructing the encoded information for each image block from the decoded representative color decoded information and use information decoded signal for each image block,
An image decoding device comprising:

Image block decoding means for decoding the reconstructed encoding information for each image block to create an image block,
Image reproducing means for reproducing image data by combining the decoded image blocks;
3. The image decoding apparatus according to claim 2, comprising:

An image block dividing step of dividing the image data into a plurality of image block units;
An encoded signal including at least one representative color information for expressing a pixel in the divided image block and representative color use information indicating how to use the color information in the representative color, An encoding step for each image block;
A representative color encoding step of collectively encoding the representative color information of all the image blocks to create a representative color encoded signal;
A usage information encoding step of collectively encoding the representative color usage information of all the image blocks to create a usage information encoded signal;
An encoding information synthesizing step of synthesizing the encoded representative color encoded signal and the encoded usage information encoded signal to create re-encoded information,
An image encoding method comprising:

Encoding information including at least one representative color information for expressing a pixel for each image block unit obtained by dividing the image data, and representative color use information indicating how to use the color information in the representative color Re-encoding information decoding step of encoding the representative color information in, and decoding the re-encoding information encoded and synthesized with the representative color use information,
A code separation step of separating the decoded re-coded information into a representative color coded signal and a use information coded signal,
A representative color decoding step of decoding the representative color encoded signal and creating representative color decoding information for each image block;
A use information decoding step of decoding the use information encoded signal to create a use information decoded signal for each of the image blocks;
A reconstruction step of reconstructing the encoding information for each image block from the decoded representative color decoding information and usage information decoded signal for each image block,
An image decoding method comprising:

An image block decoding step of decoding the reconstructed encoding information for each image block to create an image block,
An image reproducing step of reproducing image data by combining the decoded image blocks;
6. The image decoding method according to claim 5, comprising: