JP2010103932A - 符号化装置、復号装置、及び画像処理システム - Google Patents

Abstract

【課題】画像情報を符号化する際、または符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減する。
【解決手段】制御部１４２により１ライン毎に画像データがランレングス圧縮部１３０及び圧縮部１５６へ入力され、圧縮部１５６でラインメモリ１４０に記憶された前ラインの画像データを圧縮した圧縮データを参照して符号化する。これと並行して、ランレングス圧縮部１３０に入力された画像データは、ランレングス圧縮されて圧縮データとなってラインメモリ４０に書き込まれる。この間、制御部１４２は、ラインメモリ１４０の書き込み領域の容量を監視し、容量が溢れる時点でランレングス圧縮部１３０での圧縮を停止して、以降の画素値を廃棄することで、ラインメモリ１４０への書き込みを停止させる。廃棄された画素値は、ダミー画素保持部１５４からダミー画素値を出力して補う。
【選択図】図３

Description

本発明は、符号化装置、復号装置、及び画像処理システムに関する。

特許文献１では、少なくとも、画像データを１ライン分だけ記憶できるラインメモリと、複数ライン分の画像データを１ライン分のデータ量に圧縮する複数の圧縮器と、複数の圧縮器からの圧縮データか入力画像データを選択してラインメモリへ出力するセレクタと、ラインメモリから出力された圧縮データを複数ラインに伸張する複数の伸張器とを備え、入力データを１ラインずつ圧縮していくことにより、前ラインデータを保持するために必要なラインメモリを１ライン分の容量で済むようにした画像圧縮装置が提案されている。
特開２００２−４４４５９号公報

本発明は、画像情報を符号化する際、または符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる符号化装置、復号装置、及び画像処理システムを提供することを目的とする。

上記目的を達成するために、第１の発明の符号化装置は、入力された１列の画像情報を圧縮する圧縮手段と、前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、入力された１列の画像情報を前記記憶手段に記憶された圧縮情報を参照して符号化する符号化手段と、複数列の画像情報を１列の画像情報毎に前記圧縮手段及び前記符号化手段に入力し、入力された１列の画像情報毎に前記圧縮手段で圧縮すると共に前記記憶手段に記憶し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された１列の画像情報を前記符号化手段で符号化するように制御する制御手段とを含んで構成されている。

また、前記記憶手段に、１列の圧縮情報を記憶する記憶部を複数設け、前記制御手段が、前記圧縮手段で圧縮された圧縮情報が前記記憶手段に交互に記憶され、前記符号化手段が前記複数の記憶部に記憶された複数の圧縮情報を参照して符号化するように制御するようにすることができる。

また、前記制御手段は、前記記憶手段の空き容量がなくなった場合に、圧縮を停止して残りの画素を廃棄するか、または残りの画素を圧縮して廃棄するように前記圧縮手段を制御するようにすることができる。

また、前記符号化手段は、前記制御手段により前記圧縮手段で画素が廃棄されるように制御された場合には、廃棄された画素に代えて代替画素を参照して符号化するようにすることができる。

また、前記圧縮手段による圧縮を非可逆圧縮とすることができる。

また、第１の発明の符号化装置は、入力された画像情報を非可逆処理する非可逆手段を含み、前記制御手段は、前記非可逆手段で非可逆処理された画像情報を１列の画像情報毎に前記圧縮手段及び前記符号化手段に入力するように制御するようにすることができる。

また、第１の発明の復号装置は、入力された符号化情報を１列の符号化情報毎に復号する復号手段と、前記復号手段で復号された１列の画像情報を圧縮する圧縮手段と、前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、複数列の符号化情報を１列の符号化情報毎に前記復号手段に入力し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された１列の符号化情報を前記復号手段で復号し、復号した１列の画像情報を出力すると共に、前記圧縮手段に入力するように制御する制御手段とを含んで構成されている。

また、前記記憶手段に、１列の圧縮情報を記憶する記憶部を複数設け、前記制御手段が、前記圧縮手段で圧縮された圧縮情報が前記記憶手段に交互に記憶され、前記復号手段が前記複数の記憶部に記憶された複数の圧縮情報を参照して復号するように制御するようにすることができる。

また、前記制御手段は、前記記憶手段の空き容量がなくなった場合に、圧縮を停止して残りの画素を廃棄するか、または残りの画素を圧縮して廃棄するように前記圧縮手段を制御するようにすることができる。

また、前記復号手段は、前記制御手段により前記圧縮手段で画素が廃棄されるように制御された場合には、廃棄された画素に代えて代替画素を参照して復号するようにすることができる。

また、前記圧縮手段による圧縮を非可逆圧縮とすることができる。

また、第２の発明の符号化装置は、入力された１列の画像情報を圧縮する圧縮手段と、前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、前記圧縮手段で圧縮された圧縮情報を前記記憶手段に記憶された圧縮情報を参照して符号化する符号化手段と、複数列の画像情報を１列の画像情報毎に前記圧縮手段に入力して圧縮し、前記圧縮手段で圧縮された圧縮情報を前記記憶手段に記憶すると共に、前記符号化手段に入力し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された圧縮情報を前記符号化手段で符号化するように制御する制御手段とを含んで構成されている。

また、第２の発明の復号装置は、入力された符号化情報を１列の符号化情報毎に圧縮情報に伸張する伸張手段と、前記伸張手段で伸張された圧縮情報を復号する復号手段と、前記伸張手段で伸張された圧縮情報を記憶する記憶手段と、複数列の符号化情報を１列の符号化情報毎に前記伸張手段に入力し、前記記憶手段に先に記憶された圧縮情報を参照して入力された１列の符号化情報を前記伸張手段で伸張し、伸張した圧縮情報を前記復号手段へ入力すると共に、前記記憶手段に記憶するように制御する制御手段とを含んで構成されている。

また、第１の発明の画像処理システムは、第１の発明の符号化装置と、第１の発明の復号装置とを含んで構成されている。

また、第２の発明の画像処理システムは、第２の発明の符号化装置と、第２の発明の復号装置とを含んで構成されている。

請求項１記載の符号化装置によれば、画像情報を符号化する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項２記載の符号化装置によれば、画像情報を符号化する際に参照する画像情報が複数列の場合でも、参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項３記載の符号化装置によれば、さらに参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項４記載の符号化装置によれば、圧縮率の低下を防止しつつ、画像情報を符号化する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項５記載の符号化装置によれば、さらに参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項６記載の符号化装置によれば、さらに参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項７記載の復号装置によれば、符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項８記載の復号装置によれば、符号化情報を復号する際に参照する画像情報が複数列の場合でも、参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項９記載の復号装置によれば、さらに参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項１０記載の復号装置によれば、圧縮率の低下を防止しつつ、符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項１１記載の復号装置によれば、さらに参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項１２記載の符号化装置によれば、画像情報を符号化する際に参照する画像情報を記憶するための記憶手段の容量を削減し、かつ構成及び処理を簡略化することができる。

請求項１３記載の復号装置によれば、符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減し、かつ構成及び処理を簡略化することができる。

請求項１４記載の画像処理システムによれば、画像情報を符号化する際、及び符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減することができる。

請求項１５記載の画像処理システムによれば、画像情報を符号化する際、及び符号化情報を復号する際に参照する画像情報を記憶するための記憶手段の容量を削減し、かつ構成及び処理を簡略化することができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

［基本構成及び原理］
まず、本発明の基本構成及び原理について説明する。

図１に本発明の画像処理システム１０の基本構成を示す。画像処理システム１０は、入力された画像データを符号化する符号化装置２０と、入力された符号化データを復号する復号装置６０とで構成されている。

符号化装置２０は、入力された画像データをライン毎に圧縮する参照ライン圧縮部３０と、参照ライン圧縮部３０で圧縮された圧縮データを記憶する参照ラインバッファ４０と、入力された画像データを参照ラインバッファ４０に記憶された圧縮データを参照してライン毎に符号化する符号化部５０と、参照ライン圧縮部３０、参照ラインバッファ４０及び符号化部５０の制御を司る制御部４２とで構成されている。

符号化部５０で行われる符号化は、１ライン毎に符号化する方式（例えば、ＪＰＥＧのＳｐａｃｉａｌ方式など）で、これから符号化しようとするライン（以下、「注目ライン」という）の符号化の際に、注目ライン以外のラインを参照して符号化を行う。ここで参照される注目ライン以外のラインを「参照ライン」という。例えば、図２（Ａ）に示すように、注目ラインに含まれる注目画素Ｘを符号化する際に、注目画素Ｘの直前画素Ａ及び直上画素Ｂを用いた予測式により予測符号化を行う場合は、注目ラインの直上ラインが参照ラインとなる。また、図２（Ｂ）に示すように、注目画素Ｘの複数の周辺画素Ｃの画素値から求まる注目画素の状態を示すコンテクストを生成し、このコンテクストを用いてマルコフモデル符号化を行う場合は、コンテクスト生成に必要な周辺画素Ｃを含む注目ライン以外のライン、すなわち、図２（Ｂ）の場合では、注目ラインの直上ライン及び直上ラインの直上ラインの２ラインが参照ラインとなる。

参照ラインバッファ４０には、符号化部５０の符号化で参照される参照ラインが圧縮された状態で記憶される。

参照ライン圧縮部３０は、参照ラインバッファ４０に記憶する参照ラインの容量を小さくするために参照ラインを圧縮して、圧縮データを参照ラインバッファ４０に記憶する。

制御部４２は、参照ライン圧縮部３０及び符号化部５０へ１ライン毎に画像データを入力する制御、参照ライン圧縮部３０での圧縮処理の制御、参照ラインバッファ４０への書き込み及び読み込みの制御、符号化部５０での符号化の制御等を行う。

復号装置６０は、基本的には符号化装置２０による処理と反対の処理を行うためのもので、１ライン毎に復号された画像データを圧縮する参照ライン圧縮部７０と、参照ライン圧縮部７０で圧縮された圧縮データを記憶する参照ラインバッファ８０と、入力された画像データを参照ラインバッファ８０に記憶された圧縮データを参照してライン毎に復号する復号部９０と、参照ライン圧縮部７０、参照ラインバッファ８０及び復号部９０の制御を司る制御部８２とで構成されている。

本発明の画像処理システム１０によれば、符号化装置２０に入力された画像データは、制御部４２により１ラインずつ参照ライン圧縮部３０及び符号化部５０へ入力される。まず、符号化部５０に入力された１ライン目が注目ラインとなるが、１ライン目であるので、参照ラインバッファ４０には参照すべき参照ラインが記憶されていない。そこで、予め定めた処理で１ライン目を符号化して出力する。これと並行して、参照ライン圧縮部３０に入力された１ライン目の画像データは、圧縮されて圧縮データとなって参照ラインバッファ４０に記憶される。

次に、制御部４２により２ライン目の画像データが参照ライン圧縮部３０及び符号化部５０へ入力されると、符号化部５０に入力された２ライン目の画像データが注目ラインとなる。このとき、参照ラインバッファ４０には、先に入力された１ライン目の圧縮データが記憶されているので、符号化部５０は、この１ライン目の圧縮データを参照して２ライン目の画像データを符号化して出力する。この処理を最終ラインまで繰り返すことにより、画像データ全てを符号化する。

また、上記のように符号化された符号化データが復号装置６０に入力されると、符号化データは、制御部８２により１ラインずつ復号部９０へ入力される。まず、復号部９０に入力された１ライン目の符号化データが注目ラインとなるが、１ライン目であるので、参照ラインバッファ８０には参照すべき参照ラインが記憶されていない。そこで、符号化装置２０で１ライン目の画像データを符号化した方法に対応する方法で１ライン目の符号化データを復号して出力すると共に、復号された１ライン目の画像データを参照ライン圧縮部７０に入力する。参照ライン圧縮部７０に入力された１ライン目の画像データは、圧縮されて圧縮データとなって参照ラインバッファ８０に記憶される。

次に、制御部８２により２ライン目の符号化データが復号部９０へ入力されると、復号部９０に入力された２ライン目の符号化データが注目ラインとなる。このとき、参照ラインバッファ８０には、先に入力された１ライン目の圧縮データが記憶されているので、復号部９０は、この１ライン目の圧縮データを参照して２ライン目の符号化データを復号して出力すると共に、復号された２ライン目の画像データを参照ライン圧縮部７０に入力する。この処理を最終ラインまで繰り返すことにより、符号化データ全てを復号する。

従来、参照ラインバッファは、参照ラインのライン数分のデータを記憶できる容量が必要であり、特に高解像度の画像データに対応する場合などには膨大な容量のラインバッファが必要であった。しかし、本発明の画像処理システム１０によれば、参照ラインを参照ライン圧縮部３０または７０で圧縮してから参照ラインバッファ４０または８０に記憶するため、参照ラインバッファ４０及び８０の容量を削減できる。

なお、参照ラインに含まれる画素の画素値は、予測符号化における予測値の算出やマルコフ符号化におけるコンテクストの生成などに用いられるものであるため、参照ラインに施す圧縮が可逆圧縮である場合はもちろん、非可逆圧縮の場合であっても、符号化及び復号を行った画像データに基づく画像の画質に影響することはない。

上記の基本構成及び原理に基づくと、参照ライン圧縮部３０または７０による参照ラインの圧縮は、以下の条件を満たしていることがより好ましい。

１．参照ラインバッファ４０または８０のサイズ削減効果を相殺しないために、更に別の参照ラインを必要としない１ライン単位での圧縮方式であること。
２．符号化部５０及び復号部９０の処理が、参照ライン圧縮部３０または７０の処理待ちにより停滞することを防止するため、符号化部５０及び復号部９０における処理速度に比べて高速及び低負荷であること。
３．参照ラインバッファ４０または８０のサイズ削減効果を相殺しないために、符号化部５０及び復号部９０に比べて小規模であること。
４．参照ラインバッファ４０または８０のサイズ削減効果を高めるために、非可逆圧縮により圧縮するものであること。
５．参照ラインバッファ４０または８０に上限を設定してサイズ削減効果を高めるために、符号量制御を備えること。
６．参照ラインバッファ４０または８０のサイズ削減によるデメリットとして、符号化部５０における符号化での圧縮率の低下が生じることを防止できること。

参照ラインの圧縮は、人間が見たときの画質を高く保つというような一般的な定義による画質に関する要件を備えている必要はなく、参照ラインに必要とされる情報を極力残していることが望ましい。例えば、圧縮率が低下する傾向が強い画素値の変化点であるエッジ部分においては、参照画素の画素位置および画素値の情報は重要である。また、テクスチャが連続する部分では、予測精度やマルコフモデルのエントロピー削減効果が低下する傾向が強いので、参照ラインの情報の重要性はそれほど大きくない。上記条件及び画像データの種類などに鑑みて、参照ライン圧縮部３０または７０を設計することが望ましい。

［第１の実施の形態］
図３を参照して、第１の実施の形態の画像処理システム１１０について説明する。画像処理システム１１０は、入力された画像データを符号化する符号化装置１２０と、入力された符号化データを復号する復号装置１６０とで構成されている。ここで、入力される画像データは複数ラインからなる画像データであり、符号化データも複数ラインからなる符号化データである。

符号化装置１２０は、入力された画像データをライン毎に圧縮するランレングス圧縮部１３０と、ランレングス圧縮部１３０で圧縮された圧縮データを記憶するラインメモリ１４０と、ラインメモリ１４０に記憶された圧縮データを読み出して伸張するランレングス伸張部１５２と、ダミー画素値を保持したダミー画素保持部１５４と、ランレングス伸張部１５２またはダミー画素保持部１５４の出力を参照して入力された画像データをライン毎に圧縮する圧縮部１５６と、ランレングス圧縮部１３０、ラインメモリ１４０、ランレングス伸張部１５２、ダミー画素保持部１５４及び圧縮部１５６の制御を司る制御部１４２とで構成されている。

ランレングス圧縮部１３０は、本発明の基本構成の参照ライン圧縮部３０に対応し、ラインメモリ１４０は、本発明の基本構成の参照ラインバッファ４０に対応し、ランレングス伸張部１５２、ダミー画素保持部１５４及び圧縮部１５６をあわせた構成１５０が、本発明の基本構成の符号化部５０に対応し、制御部１４２は、本発明の基本構成の制御部４２に対応している。

ランレングス圧縮部１３０は、制御部１４２の制御により入力された１ラインの画像データにランレングス圧縮を施して圧縮データとして出力する。ランレングス圧縮は公知の圧縮方式であるため、詳細な説明は省略するが、他のラインを参照することなく１ライン単位で圧縮できる圧縮方式である。そして、ランレングス伸張部１５２は、ラインメモリ１４０に記憶された圧縮データを、ランレングス圧縮部１３０の圧縮処理に対応した方式で伸張する。

ダミー画素保持部１５４は、後述する制御部１４２による符号量制御でラインメモリ１４０への書き込みが停止された場合に、ダミーの画素値を圧縮部１５６へ出力する。ダミー画素値はどのような値でもよいが、圧縮部１５６における圧縮率を向上させるものが望ましい。例えば、入力された画像データに多い画素値、白または黒などの固定値、同一ラインに含まれる既に処理された画素の画素値などをダミー画素値とすることができる。

制御部１４２は、ラインメモリ１４０の容量の上限設定のために、符号量制御を行う。具体的には、ラインメモリ１４０の書き込み領域の容量を監視し、容量が溢れる時点でランレングス圧縮部１３０での圧縮を打ち切り、それ以降の画素値は圧縮せず廃棄する。なお、圧縮処理は続けて、それ以降の画素値に基づいて生成した圧縮データを廃棄するようにしてもよい。これにより、ラインメモリ１４０への書き込みが停止される。

また、一部の画素値が廃棄された圧縮データをランレングス伸張部１５２において伸張する際には、１ライン分の画像データのうち廃棄された一部の画素が欠損することになる。そこで、制御部１４２は、ラインメモリ１４０の読み出し領域の容量を監視し、ラインメモリ１４０の読み出し領域の容量が空になる時点でランレングス伸長部１５２での伸張を停止し、ダミー画素保持部１５４からのダミー画素値の出力を開始させる。

ここで、ラインメモリ１４０の書き込み領域及び読み出し領域について説明する。

図４（Ａ）に示すように、ラインメモリ１４０を書き込み領域と読み出し領域とで分割した場合には、制御部１４２において、上記処理を書き込み領域と読み出し領域において別個に行えばよい。

図４（Ｂ）に示すように、書き込み領域と読み出し領域とが同一か、または重なっている場合は、書き込み前に読み出しを完了させるために、ラインメモリ１４０がすでに書き込まれた領域と読み出されていない領域のみで埋まった場合に、ラインメモリ１４０への書き込みを停止するように制御する。このような制御を行うために、例えば、ラインメモリ１４０をリングバッファで構成し、書き込みは読み出すべき領域の直後から開始するように制御する。書き込みアドレスが読み出しアドレスに追いついてしまった場合は、書き込みを一時的に停止する。ただし読み出しアドレスが進めば、書き込みをまた再開する。ラインメモリ１４０が全て書き込んだデータで埋まった場合には、そこで書き込みを停止する。

なお、上記の場合で、書き込みが一時的に停止している期間の画素はラインメモリ１４０に記憶されないため、欠損してしまう。そこで、例えば、図５に示すように、停止した時点で書き込まれた圧縮データまたは再開した時点で書き込まれた圧縮データに基づいて、書き込みが停止してから再開するまでの欠損したデータを補間する。

復号装置１６０は、基本的には符号化装置１２０による処理と反対の処理を行うためのもので、復号された画素データをライン毎に圧縮するランレングス圧縮部１７０と、ランレングス圧縮部１７０で圧縮された圧縮データを記憶するラインメモリ１８０と、ラインメモリ１８０に記憶された圧縮データを読み出して伸張するランレングス伸張部１９２と、ダミー画素値を保持したダミー画素保持部１９４と、ランレングス伸張部１９２またはダミー画素保持部１９４の出力を参照して入力された画像データをライン毎に伸張する伸張部１９６と、ランレングス圧縮部１７０、ラインメモリ１８０、ランレングス伸張部１９２、ダミー画素保持部１９４及び伸張部１９６の制御を司る制御部１８２とで構成されている。

ランレングス圧縮部１７０は、本発明の基本構成の参照ライン圧縮部７０に対応し、ラインメモリ１８０は、本発明の基本構成の参照ラインバッファ８０に対応し、ランレングス伸張部１９２、ダミー画素保持部１９４及び伸張部１９６をあわせた構成１９０が、本発明の基本構成の復号部９０に対応し、制御部１８２は、本発明の基本構成の制御部８２に対応している。

以上のような構成の画像処理システム１１０の符号化装置１２０及び復号装置１６０の各部は、専用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｅｄ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を中心としたハードウエア回路によって構成する。後述する第２〜第５の実施の形態についても同様である。

次に、第１の実施の形態の画像処理システム１１０の作用について説明する。

符号化装置２０に入力された画像データは、制御部１４２により１ライン毎にランレングス圧縮部１３０及び圧縮部１５６へ入力される。まず、圧縮部１５６に入力された１ライン目の画像データが注目ラインとなるが、１ライン目であるので、ラインメモリ１４０には参照すべき参照ラインが記憶されていない。そこで、制御部１４２によりダミー画素保持部１５４からダミー画素値を出力させて、このダミー画素値を参照して１ライン目の画像データを符号化して出力する。

これと並行して、ランレングス圧縮部１３０に入力された１ライン目の画像データは、圧縮されて圧縮データとなって順次ラインメモリ１４０に書き込まれる。この間、制御部１４２は、ラインメモリ１４０の書き込み領域の容量を監視し、容量が溢れる時点でランレングス圧縮部１３０での圧縮を停止して、以降の画素値を廃棄することで、ラインメモリ１４０への書き込みを停止させる。これにより、一部の画素値が欠損した圧縮データがラインメモリ１４０に記憶されたことになる。

次に、制御部１４２により２ライン目の画像データがランレングス圧縮部１３０及び圧縮部１５６へ入力されると、圧縮部１５６に入力された２ライン目の画像データが注目ラインとなる。このとき、ラインメモリ１４０には、先に入力された１ライン目の圧縮データが記憶されているので、この１ライン目の圧縮データを参照ラインとするために、制御部１４２は、ラインメモリ１４０から圧縮データを読み出して、ランレングス伸張部１５２に入力して伸張する。この間、制御部１４２は、ラインメモリ１４０の読み出し領域の容量を監視し、容量が空になる時点でランレングス伸張部１５２での伸張を停止して、ダミー画素保持部１５４からダミー画素値を出力させる。圧縮部１５６では、伸張された画像データ及びダミー画素値を参照して２ライン目を符号化して出力する。この処理を最終ラインまで繰り返すことにより、画像データ全てを符号化する。

また、上記のように符号化された符号化データが復号装置１６０に入力されると、符号化データは、制御部１８２により１ライン毎に伸張部１９６へ入力される。まず、伸張部１９６に入力された１ライン目の符号化データが注目ラインとなるが、１ライン目であるので、ラインメモリ１８０には参照すべき参照ラインが記憶されていない。そこで、符号化装置２０で１ライン目の画像データを符号化した方法に対応する方法で１ライン目の符号化データを復号して出力すると共に、復号された１ライン目の画像データをランレングス圧縮部１７０に入力する。ランレングス圧縮部１７０に入力された１ライン目の画像データは、圧縮されて圧縮データとなってラインメモリ１８０に記憶される。ここで、ラインメモリ１８０の容量を符号化装置１２０のラインメモリ１４０と同じ容量にしておけば、ラインメモリ１８０への書き込みを停止するタイミングを符号化時と同期させることができる。すなわち、符号化装置において廃棄された画素と同じ画素が破棄されることになる。

次に、制御部１８２により２ライン目の符号化データが伸張部１９６へ入力されると、伸張部１９６に入力された２ライン目の符号化データが注目ラインとなる。このとき、ラインメモリ１８０には、先に入力された１ライン目の圧縮データが記憶されているので、１ライン目の圧縮データを参照ラインとするために、制御部１８２は、ラインメモリ１８０から圧縮データを読み出して、ランレングス伸張部１９２に入力して伸張する。ランレングス圧縮部１７０での圧縮の際と同様に、ラインメモリ１８０の容量を符号化装置１２０のラインメモリ１４０と同じ容量にしておけば、ランレングス伸張部１９２での伸張を停止して、ダミー画素保持部１９４からダミー画素値を出力させるタイミングを符号化時と同期させることができる。伸張部１９６では、伸張された画像データ及びダミー画素値を参照して２ライン目の符号化データを復号して出力すると共に、復号された画像データをランレングス圧縮部１７０へ入力する。この処理を最終ラインまで繰り返すことにより、符号化データ全てを復号する。

以上説明したように、第１の実施の形態の画像処理システムによれば、ランレングス圧縮部により参照ラインとなる画像データを圧縮してラインメモリに記憶し、さらにラインメモリの書き込み領域の容量の上限を設定することができるため、ラインメモリの容量を効果的に削減することができる。

なお、第１の実施の形態では、ラインメモリの容量に応じて書き込み停止の制御を行う場合について説明したが、局所的なラインメモリの帯域に応じて書き込み停止を行うようにしてもよい。例えば、ランレングス圧縮部における局所圧縮率が低下してラインメモリの帯域を圧迫したときに書き込みを一時的に停止し、帯域が緩和したときに再開するように制御してもよい。ただし、符号化装置と復号装置とで同じ動作が要求されるので、この場合、実際の帯域ではなく局所的な書き込み量、読み出し量によって制御することにより、システム的なゆらぎの影響を受けないようにすることが望ましい。

また、参照ラインの情報の重要性が低いと判断された場合に、ランレングス圧縮部での圧縮を一時停止するように制御してもよい。例えば、高解像度のノイジーな写真や誤差拡散画像が貼り込まれた画像データのように、参照ラインを参照しても圧縮率の低下が図れないような場合には、必ずしもランレングス圧縮を行う必要はない。具体的には、入力された画像データを解析して、参照ラインを使う符号化と使わない符号化とで符号量を並行して算出し、差が一定値以下のときにはランレングス圧縮を停止するようにすることができる。なお、ランレングス圧縮を停止する場合には、上述したような画素補間の処理を行う必要がある。

また、第１の実施の形態では、ダミー画素保持部からダミー画素値を出力する場合について説明したが、ダミー画素値に対応するダミー符号を保持しておき、廃棄された画素部分をランレングス伸張部で伸張する際に、ランレングス伸長部へダミー符号を送出するように構成してもよい。

また、第１の実施の形態では、ラインメモリの書き込み領域及び読み出し領域を監視して制御する場合について説明したが、ラインメモリがあふれる直前に、例えば公知のＥＯＬマーカのようなライン終端を示す符号をラインメモリに書き込むようにしてもよい。またこの場合、ライン終端を示す符号を検出すると、ライン終端まで所定の画素値を送出するようにランレングス伸長部を構成してもよい。このように構成すると、ランレングス伸長部を停止する制御を省略することができる。

［第２の実施の形態］
次に、図６を参照して、第２の実施の形態の画像処理システム２１０について説明する。画像処理システム２１０は、入力された画像データを符号化する符号化装置２２０と、入力された符号化データを復号する復号装置２６０とで構成されている。

符号化装置２２０は、入力された画像データをライン毎に圧縮するランレングス圧縮部２３０と、ランレングス圧縮部２３０で圧縮された圧縮データを記憶するラインメモリ２４０ａ及び２４０ｂを備えた参照ラインバッファ２４０と、参照ラインバッファ２４０に記憶された圧縮データを読み出して伸張するランレングス伸張部２５２と、ダミー画素値を保持したダミー画素保持部２５４と、ランレングス伸張部２５２またはダミー画素保持部２５４の出力を参照して入力された画像データをライン毎に圧縮する圧縮部２５６と、ランレングス圧縮部２３０、参照ラインバッファ２４０、ランレングス伸張部２５２、ダミー画素保持部２５４及び圧縮部２５６の制御を司る制御部２４２とで構成されている。

また、復号装置２６０は、基本的には符号化装置２２０による処理と反対の処理を行うためのもので、復号された画像データをライン毎に圧縮するランレングス圧縮部２７０と、ランレングス圧縮部２７０で圧縮された圧縮データを記憶するラインメモリ２８０ａ及び２８０ｂを備えた参照ラインバッファ２８０と、参照ラインバッファ２８０に記憶された圧縮データを読み出して伸張するランレングス伸張部２９２と、ダミー画素値を保持したダミー画素保持部２９４と、ランレングス伸張部２９２またはダミー画素保持部２９４の出力を参照して入力された画像データをライン毎に伸張する伸張部２９６と、ランレングス圧縮部２７０、参照ラインバッファ２８０、ランレングス伸張部２９２、ダミー画素保持部２９４及び伸張部２９６の制御を司る制御部２８２とで構成されている。

第２の実施の形態の画像処理システム２１０は、上記のとおり参照ラインバッファ２４０及び２８０がそれぞれ２個のラインメモリを備えている点が第１の実施の形態の画像処理システム１１０と異なっている。ここでは、異なっている点について説明し、その他の構成については、第１の実施の形態の画像処理システム１１０と同様であるため、説明を省略する。また、符号化装置２１０の参照ラインバッファ２４０と復号装置２６０の参照ラインバッファ２８０は、同一の構成及び作用であるため、ここでは、符号化装置２１０の参照ラインバッファ２４０について説明し、復号装置２６０の参照ラインバッファ２８０については説明を省略する。

ラインメモリ２４０ａ及びラインメモリ２４０ｂは、ランレングス圧縮部２３０で圧縮された圧縮データを１ライン毎に記憶する。参照ラインバッファ２４０が２個のラインメモリ２４０ａ及び２４０ｂを備えることにより、圧縮部２５６で注目ラインを符号化する際に、注目ラインの直上２ライン分を参照することができる。

次に、第２の実施の形態の画像処理システム２１０の作用について説明する。ここでは、圧縮部２５６での符号化に参照ラインが２ライン必要な場合について説明する。

符号化装置２２０に入力された画像データは、制御部２４２により１ライン毎にランレングス圧縮部２３０及び圧縮部２５６へ入力される。まず、圧縮部２５６に入力された１ライン目が注目ラインとなるが、１ライン目であるので、参照ラインバッファ２４０には参照すべき参照ラインが記憶されていないため、例えば、第１の実施の形態のように、ダミー画素保持部２５４のダミー画素値を参照して符号化する。これと並行して、ランレングス圧縮部２３０に入力された１ライン目の画像データは、圧縮されて圧縮データとなってラインメモリ２４０ａに書き込まれる。

次に、制御部２４２により２ライン目の画像データがランレングス圧縮部２３０及び圧縮部２５６へ入力されると、圧縮部２５６に入力された２ライン目が注目ラインとなる。このとき、参照ラインバッファ２４０には、先に入力された１ライン目の圧縮データが記憶されているので、この１ライン目の圧縮データを参照ラインとするために、制御部２４２は、ラインメモリ２４０ａから圧縮データを読み出して、ランレングス伸張部２５２に入力して伸張する。しかし、注目ラインを符号化するためには、もう１ライン前のデータも参照しなければならないが、その圧縮データはまだ記憶されていないため、例えば、ダミー画素保持部２５４のダミー画素値もあわせて参照して符号化する。

これと並行して、ラインメモリ２４０ａに記憶された１ライン目の圧縮データをラインメモリ２４０ｂに書き替える。そして、ランレングス圧縮部２３０に入力された２ライン目の画像データを圧縮してラインメモリ２４０ａに記憶する。

次に、制御部２４２により３ライン目がランレングス圧縮部２３０及び圧縮部２５６へ入力されると、圧縮部２５６に入力された３ライン目の画像データが注目ラインとなる。このとき、参照ラインバッファ２４０には、ラインメモリ２４０ａに１ライン目の圧縮データ、ラインメモリ２４０ｂに２ライン目の圧縮データが記憶されているため、それぞれのラインメモリから圧縮データを読み出してランレングス伸張部２５２で伸張する。

ラインメモリ２４０ｂからの圧縮データの読み出しが終了した時点で、ラインメモリ２４０ａの圧縮データをラインメモリ２４０ｂに書き替えて、次ラインの圧縮データをラインメモリ２４０ａに記憶する。この処理を最終ラインまで繰り返すことにより、画像データ全てを符号化する。復号の際も同様の処理となる。

なお、ラインメモリ２４０ａへの圧縮データ書き込みの際には、第１の実施の形態同様、制御部２４２によりラインメモリ２４０ａの書き込み領域の容量を監視して書き込みを停止する符号量制御の処理を行う。

また、上記では、参照ラインが２ラインの場合について説明しているため、ラインメモリを２個備える構成としているが、参照ラインが３ライン以上の場合でも、参照ラインの数に対応してラインメモリを設けることにより、同様に処理することができる。

このように、第２の実施の形態の画像処理システムによれば、注目ラインの画像データを符号化及び復号する際に参照する参照ラインが複数ラインの場合であっても、１ラインの圧縮データを記憶するためのラインメモリの容量をそれぞれ削減することができ、参照ラインバッファ全体としても容量を削減できる。

［第３の実施の形態］
次に、図７を参照して、第３の実施の形態の画像処理システム３１０について説明する。画像処理システム３１０は、入力された画像データを符号化する符号化装置３２０と、入力された符号化データを復号する復号装置３６０とで構成されている。

符号化装置３２０は、入力された画像データをライン毎に単色化処理する単色化部３３２と、単色化部３３２で単色化された画像データをライン毎に圧縮するランレングス圧縮部３３４と、ランレングス圧縮部３３４で圧縮された圧縮データを記憶するラインメモリ３４０と、ラインメモリ３４０に記憶された圧縮データを読み出して伸張するランレングス伸張部３５２と、ランレングス伸張部３５２で伸張された画像データを参照して入力された画像データをライン毎に圧縮する圧縮部３５６と、単色化部３３２、ランレングス圧縮部３３４、ラインメモリ３４０、ランレングス伸張部３５２及び圧縮部３５６の制御を司る制御部３４２とで構成されている。

また、復号装置３６０は、基本的には符号化装置３２０による処理と反対の処理を行うためのもので、復号された画像データをライン毎に単色化する単色化部３７２と、単色化部３７２で単色化された画像データをライン毎に圧縮するランレングス圧縮部３７４と、ランレングス圧縮部３７４で圧縮された圧縮データを記憶するラインメモリ３８０と、ラインメモリ３８０に記憶された圧縮データを読み出して伸張するランレングス伸張部３９２と、ランレングス伸張部３９２で伸張された画像データを参照して入力された画像データをライン毎に伸張する伸張部３９６と、単色化部３７２、ランレングス圧縮部３７４、ラインメモリ３８０、ランレングス伸張部３９２及び伸張部３９６の制御を司る制御部３８２とで構成されている。

単色化部３３２及びランレングス圧縮部３３４をあわせた構成３３０が、本発明の基本構成の参照ライン圧縮部３０に対応し、単色化部３７２及びランレングス圧縮部３７４をあわせた構成３７０が、本発明の基本構成の参照ライン圧縮部７０に対応する。このように、ランレングス圧縮の前に画像データを単色化する構成であるため、第３の実施の形態の画像処理システム３１０における参照ラインの圧縮は、非可逆圧縮となる。

第３の実施の形態の画像処理システム３１０は、上記のとおりランレングス圧縮部３３４及び３７４の前に単色化部３３２及び３７２を設けた点が第１の実施の形態の画像処理システム１１０と異なっている。ここでは、異なっている点について説明し、その他の構成については、第１の実施の形態の画像処理システム１１０と同様であるため、説明を省略する。また、符号化装置３２０の単色化部３３２と復号装置３６０の単色化部３７２とは、同一の構成及び作用であるため、ここでは、符号化装置３２０の単色化部３３２について説明し、復号装置３６０の単色化部３７２については説明を省略する。

単色化部３３２は、入力された１ラインの画像データ内の画素について、局所的にまとめた画素（画素群）を同一画素値に変更する。同一の画素値は、画素群の画素値の平均値、中央値、最頻値や、例えば画素群の先頭画素など特定の画素の画素値とする。

画素群の範囲（単色化の分割位置）の大きさは、後述する制御部３４２の制御により決定されるが、基本的な分割位置は画素値の変化の状態から決定される。例えば、なだらかな画素値変化から急激な画素値変化を生じるエッジ部分では、画素値が変化する位置の情報は参照ラインが保持すべき情報として重要であるので、このエッジ部分を単色化の分割位置とし、エッジ部分をまたいだ分割は行わないようにする。なお、エッジ部分の検出は、画素値差分を閾値処理するなどの公知の技術により行う。また、例えば、小さな画素値変化が頻繁に起こるようなテクスチャ部分では、参照ラインを参照したとしても圧縮部３５６おける圧縮率は高くなりにくく、参照ラインの重要性は相対的に低いため、積極的に単色化が可能である。この場合は、画素値の変化から同様のテクスチャ部分と判断できる部分を画素群の範囲として決定する。また、予め定めた所定個の画素を画素群として暫定的に決定し、画素群のダイナミックレンジが閾値以上であれば、暫定的に決定した画素群をさらに分割して画素群の範囲を決定する。

制御部３４２は、ラインメモリ３４０の空き容量を監視し、空き容量に応じて単色化部３３２で単色化する画素群の範囲の大きさを決定する。

具体的には、ラインメモリ３４０の空き容量が少なくなった場合には、画素群の範囲を大きくするため、上記で述べた基本的な分割位置により決定された画素群の範囲を結合してより大きな画素群とする。空き容量に余裕がある場合には、基本的な分割位置により決定された画素群の範囲で単色化を行うようにしたり、更に小さな画素群の範囲に分割したり、その画素群についての単色化を行わないようにしたりする。なお、画素群の範囲を結合してより大きな画素群とする場合でも、エッジ部分については結合しないようにすることが望ましい。

また、ラインメモリ３４０の空き容量に依存した制御に加え、ランレングス圧縮部３３４での圧縮の圧縮率、及び圧縮部３５６における符号化の符号量を監視して、圧縮部３５６における符号量が比較的多い場合や、ランレングス圧縮部３３４での圧縮率が局所的に低下している場合には、さらに画素群の範囲を大きくするように制御してもよい。

次に、第３の実施の形態の画像処理システム３１０の作用について説明する。

符号化装置３２０に入力された画像データは、制御部３４２により１ライン毎に単色化部３３２及び圧縮部３５６へ入力され、単色化部３３２では、画素値の変化の状態に応じて単色化する画素群の範囲を決定して単色化し、単色化した画像データを順次ランレングス圧縮部３３４へ出力する。ランレングス圧縮部３３４では、単色化された画像データをランレングス圧縮して、順次ラインメモリ３４０へ書き込む。このとき、制御部３４２は、ラインメモリ３４０の空き容量、ランレングス圧縮部３３４での圧縮の圧縮率、及び圧縮部３５６における符号化の符号量を監視して、ラインメモリ３４０の空き容量が少なくなっている場合には、未処理分の画素値の圧縮データがラインメモリ３４０の空き容量に収まるように、画素群を結合して単色化する画素群の範囲を大きくする。

その他の処理については、第１の実施の形態と同様であるため、説明を省略する。また、復号の際も同様の処理となる。

以上説明したように、第３の実施の形態の画像処理システムによれば、画像データを単色化処理することにより、ランレングス圧縮部での圧縮率が向上するため、ラインメモリの容量を更に削減することができる。

なお、第３の実施の形態では、単色化処理する場合について説明したが、参照ラインの圧縮を非可逆圧縮とすることにより、可逆圧縮の場合に比べて圧縮率を高めラインメモリの容量を削減できる処理であればよい。例えば、ランレングス圧縮の前に平滑化処理を行うようにしてもよい。特に、圧縮部での符号化方式に予測符号化を適用する場合には、平滑化処理でも効果を得られる。また、予測符号化を適用する場合には、予測誤差が０になるような画素値で埋めていく処理でもよい。

また、第３の実施の形態では、ラインメモリの空き容量に依存して画素群の範囲を大きくする処理について説明したが、ラインメモリの空き容量に依存した制御は行わず、所定の基準に従って単色化処理を行ってもよい。この場合、ラインメモリに１ライン分の圧縮データがすべて書き込みできるという保証がないため、第１の実施の形態と同様に、ラインメモリへの書き込みを停止する符号量制御を組み合わせて適用するとよい。

［第４の実施の形態］
次に、図８を参照して、第４の実施の形態の画像処理システム４１０について説明する。画像処理システム４１０は、入力された画像データを非可逆符号化する符号化装置４２０と、入力された符号化データを復号する復号装置４６０とで構成されている。

符号化装置４２０は、入力された画像データを非可逆化処理する非可逆化部４４４と、非可逆化部４４４で非可逆化された画像データをライン毎に圧縮するランレングス圧縮部４３４と、ランレングス圧縮部４３４で圧縮された圧縮データを記憶するラインメモリ４４０と、ラインメモリ４４０に記憶された圧縮データを読み出して伸張するランレングス伸張部４５２と、ランレングス伸張部４５２で伸張された画像データを参照して非可逆化部４４４で非可逆化された画像データをライン毎に圧縮する圧縮部４５６と、非可逆化部４４４、ランレングス圧縮部４３４、ラインメモリ４４０、ランレングス伸張部４５２及び圧縮部４５６の制御を司る制御部４４２とで構成されている。

また、復号装置４６０は、基本的には符号化装置４２０による処理と反対の処理を行うためのものである。ただし、符号化装置４２０は、非可逆符号化を行うものであるため、復号装置４６０で復号される画像データは、非可逆化部４４４で非可逆化された状態の画像データとなる。復号装置４６０は、復号された画像データをライン毎に圧縮するランレングス圧縮部４７４と、ランレングス圧縮部４７４で圧縮された圧縮データを記憶するラインメモリ４８０と、ラインメモリ４８０に記憶された圧縮データを読み出して伸張するランレングス伸張部４９２と、ランレングス伸張部４９２で伸張された画像データを参照して入力された符号化データをライン毎に伸張する伸張部４９６と、ランレングス圧縮部４７４、ラインメモリ４８０、ランレングス伸張部４９２及び伸張部４９６の制御を司る制御部４８２とで構成されている。

非可逆化部４４４及びランレングス圧縮部４３４をあわせた構成４３０が、本発明の基本構成の参照ライン圧縮部３０に対応し、非可逆化部４４４、ランレングス伸張部４５２及び圧縮部４５６をあわせた構成４５０が、本発明の基本構成の符号化部５０に対応する。すなわち、非可逆符号化を行うための非可逆化部４４４が、参照ライン圧縮部の一部として機能する構成となっている。

第４の実施の形態の画像処理システム４１０は、上記のとおり非可逆化部４４４を設けた点が第１の実施の形態の画像処理システム１１０と異なっている。ここでは、異なっている点について説明し、その他の構成については、第１の実施の形態の画像処理システム１１０と同様であるため、説明を省略する。

非可逆化部４４４は、入力された画像データを非可逆化して圧縮部４５６へ出力する。すなわち、符号化データの符号化量を減少させるために、圧縮部４５６と組み合わさって非可逆符号化行うものである。

非可逆化の処理は、例えば、平滑化や局所的な単色化などである。この非可逆化は符号化データを復号した際の画像データに基づく画像の画質に影響を与える処理であるため、第３の実施の形態における単色化部３３２での単色化処理などに比べて画質を重視した設計にする必要がある。例えば、非可逆化部４４４での処理が単色化処理である場合に、単色化する画素群の範囲を必要以上に大きくすると、復号した際の画像への影響が大きいため、人が見るに耐えるレベルで画素群の範囲を決定して単色化する必要がある。このような必要性に対応した非可逆化であっても、一般的な傾向として圧縮方式によらず圧縮しやすい画像と圧縮しづらい画像が存在することから、非可逆化部４４４で非可逆化された画像データはランレングス圧縮部４３４によっても圧縮しやすいものになる可能性が高い。

非可逆化部４４４で平滑化を行う場合は、ライン方向に画素値が変化するグラデーションが発生する可能性があり、そのような画像データはランが連続しないためランレングス圧縮には不向きである。そこで、第３の実施の形態と同様に、ランレングス圧縮部４３４の前に単色化部を設けて、ランレングス圧縮に適したデータに処理するようにしてもよい。また、単色化部を設けた場合には、非可逆化された画像データを直接ランレングス圧縮部４３４に入力する場合と、非可逆化された画像データを単色化部で単色化してランレングス圧縮部４３４に入力する場合と、入力された画像データを直接単色化部に入力して単色化してランレングス圧縮部４３４に入力する場合とを、制御部４４２により局所的に切り替えて処理するような構成としてもよい。

次に、第４の実施の形態の画像処理装置４１０の作用について説明する。

符号化装置４２０に入力された画像データは、非可逆化部４４４に入力され、非可逆化処理される。非可逆化された画像データは、制御部４４２により１ライン毎にランレングス圧縮部４３４及び圧縮部４５６へ入力される。圧縮部４５６では、非可逆化された画像データを、ラインメモリ４４０に記憶された１つ前のラインの圧縮データをランレングス伸張部４５２で伸張した画像データを参照して符号化する。ランレングス圧縮部４３４では、非可逆化された画像データをランレングス圧縮して、圧縮した圧縮データをラインメモリ４４０に書き込む。

その他の処理については、第１の実施の形態と同様であるため、説明を省略する。また、復号の際も同様の処理となる。

以上説明したように、第４の実施の形態の画像処理システムによれば、非可逆符号化を行う符号化装置について本発明を適用する場合に、非可逆符号化のための非可逆処理を利用して参照ラインも非可逆化することができるため、簡易な構成で参照ラインの圧縮率を向上させてラインメモリの容量を削減することができる。

［第５の実施の形態］
次に、図９を参照して、第５の実施の形態の画像処理システム５１０について説明する。画像処理システム５１０は、入力された画像データを符号化する符号化装置５２０と、入力された符号化データを復号する復号装置５６０とで構成されている。

符号化装置５２０は、入力された画像データをライン毎に圧縮するランレングス圧縮部５３２と、ランレングス圧縮部５３２で圧縮された圧縮データを記憶するラインメモリ５４０と、ランレングス圧縮部５３２で圧縮された圧縮データを、ラインメモリ５４０に記憶された圧縮データを参照して符号化する圧縮部５５６と、ランレングス圧縮部５３２、ラインメモリ５４０及び圧縮部５５６の制御を司る制御部５４２とで構成されている。

また、復号装置５６０は、基本的には符号化装置５２０による処理と反対の処理を行うためのもので、伸張されたランレングスデータをライン毎に記憶するラインメモリ５８０、ラインメモリ５８０に記憶されたランレングスデータを参照して符号化データを伸張する伸張部５９６、伸張部５９６で伸張されたランレングスデータをランレングス伸張することにより復号するランレングス伸張部５９２、ラインメモリ５８０、伸張部５９６及びランレングス伸張部５９２の制御を司る制御部５８２とで構成されている。

ランレングス圧縮部５３２は、本発明の基本構成の参照ライン圧縮部３０に対応し、ランレングス圧縮部５３２及び圧縮部５５６をあわせた構成５５０が、本発明の基本構成の符号化部５０に対応している。すなわち、符号化装置５２０において、ランレングス圧縮部５３２は、参照ライン圧縮部としての機能と符号化部の一部としての機能を兼ねている。

また、ランレングス伸張部５９２及び伸張部５９６をあわせた構成５９０は、本発明の基本構成の復号部９０に対応している。復号装置５６０では、伸張部５９６で伸張されたランレングスデータ（ランレングス伸張部５９２で伸張される前のデータ）をラインメモリ５８０に記憶する構成となっている。ランレングスデータは、符号化装置５２０においてランレングス圧縮部５３２で圧縮された圧縮データ（ランレングスデータ）と同一である。すなわち、復号部の一部が参照ライン圧縮部として機能することになる。

圧縮部５５６及び伸張部５９６の符号化方式は、例えば、国際標準ＪＰＥＧ−ＬＳやＬＺ圧縮のようなランレングス圧縮を援用する方式である。ＪＰＥＧ−ＬＳでは、コンテクストに応じて、ランレングス圧縮と予測符号化とを選択的に使用する。またＬＺ圧縮は注目画素と直前画素とが同一画素値であって、直前画素から一致長を求めるようなケースがランレングスに相当する。また、単純にランレングス圧縮した結果に二重に圧縮をかけるような圧縮方式や、特開２００５−２７０８１号公報で開示されているようなランレングス表現を入力とする圧縮方式であってもよい。

圧縮部５５６は、ランレングス圧縮されたランレングスデータに対して符号化を行う。ＪＰＥＧ−ＬＳの例で言えば、ランレングス圧縮が選択された場合は、ランレングス圧縮部５３２の出力をエントロピー符号化して出力する。

伸長部５９６は、符号化データを伸張したランレングスデータを生成し、ラインメモリ５８０及びランレングス伸長部５９２に出力する。ランレングス伸長部５９２はランレングス伸長を行って復号する。

次に、第５の実施の形態の画像処理システム５１０の作用について説明する。

符号化装置５２０に入力された画像データは、制御部５４２により１ライン毎にランレングス圧縮部５３２へ入力される。ランレングス圧縮部５３２でランレングスデータを生成して、ラインメモリ５４０及び圧縮部５５６へ出力する。まず、圧縮部５５６に入力された１ライン目のランレングスデータが注目ラインとなるが、１ライン目であるので、ラインメモリ５４０には参照すべき参照ラインが記憶されていない。そこで、予め定めた処理により１ライン目のランレングスデータを符号化して出力する。これと並行して、ランレングス圧縮部５３２から出力されたランレングスデータは、ラインメモリ５４０に書き込まれる。

次に、制御部５４２により２ライン目の画像データがランレングス圧縮部５３２へ入力され、ランレングス圧縮部５３２でランレングスデータを生成して、ラインメモリ５４０及び圧縮部５５６へ出力する。圧縮部５５６に入力された２ライン目のランレングスデータが注目ラインとなり、このとき、ラインメモリ５４０には、先に入力された１ライン目のランレングスデータが記憶されているので、この１ライン目のランレングスデータを参照して２ライン目のランレングスデータを符号化して出力する。この処理を最終ラインまで繰り返すことにより、画像データ全てを符号化する。

また、上記のように符号化された符号化データが復号装置５６０に入力されると、符号化データは、制御部５８２により１ライン毎に伸張部５９６へ入力される。まず、伸張部５９６に入力された１ライン目の符号化データが注目ラインとなるが、１ライン目であるので、ラインメモリ５８０には参照すべき参照ラインが記憶されていない。そこで、符号化装置５２０で１ライン目のランレングスデータを符号化した方法に対応する方法で１ライン目の符号化データを伸張してランレングスデータを生成し、１ライン目のランレングスデータをラインメモリ５８０及びランレングス伸張部５９２に入力する。ランレングス伸張部５９２に入力された１ライン目のランレングスデータは、ランレングス伸張されて出力される。

次に、制御部５８２により２ライン目の符号化データが伸張部５９６へ入力されると、伸張部５９６に入力された２ライン目の符号化データが注目ラインとなる。このとき、ラインメモリ５８０には、先に入力された１ライン目のランレングスデータが記憶されているので、この１ライン目のランレングスデータを参照して２ライン目の符号化データを伸張してランレングスデータを生成し、２ライン目のランレングスデータをラインメモリ５８０及びランレングス伸張部５９２に入力する。ランレングス伸張部５９２に入力された２ライン目のランレングスデータは、ランレングス伸張されて出力される。この処理を最終ラインまで繰り返すことにより、符号化データ全てを復号する。

以上説明したように、第５の実施の形態の画像処理システムによれば、参照ラインを圧縮するためのランレングス圧縮部を、画像データを符号化するための符号化部の一部として構成し、また、復号部の処理の一部をランレングス圧縮部として機能させるため、ラインメモリの容量を削減するための構成を簡略化して処理の効率を図れる。

なお、上記第１〜第５の実施の形態は、適宜組み合わせて構成することができる。

本発明の画像処理システムの基本構成の概略を示すブロック図である。 参照ラインを説明するための（Ａ）予測符号化の例、（Ｂ）マルコフ符号化の例を示す図である。 第１の実施の形態の画像処理システムの概略構成を示すブロック図である。 ラインメモリの書き込み領域及び読み出し領域について説明するための（Ａ）書き込み領域と読み出し領域とを分割して設けた例、（Ｂ）書き込み領域と読み出し領域とが同一または重なっている場合の例を示す図である。 ラインメモリへの書き込みを停止した場合の欠損したデータの補間を示す図である。 第２の実施の形態の画像処理システムの概略構成を示すブロック図である。 第３の実施の形態の画像処理システムの概略構成を示すブロック図である。 第４の実施の形態の画像処理システムの概略構成を示すブロック図である。 第５の実施の形態の画像処理システムの概略構成を示すブロック図である。

符号の説明

１１０ 画像処理システム
１２０ 符号化装置
１３０ 符号化装置のランレングス圧縮部
１４０ 符号化装置のラインメモリ
１４２ 符号化装置の制御部
１５０ 符号化部
１５２ 符号化装置のランレングス伸張部
１５４ 符号化装置のダミー画素保持部
１５６ 圧縮部
１６０ 復号装置
１７０ 復号装置のランレングス圧縮部
１８０ 復号装置のラインメモリ
１８２ 復号装置の制御部
１９０ 復号部
１９２ 復号装置のランレングス伸張部
１９４ 復号装置のダミー画素保持部
１９６ 伸張部

Claims (15)

1. 入力された１列の画像情報を圧縮する圧縮手段と、
   前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、
   入力された１列の画像情報を前記記憶手段に記憶された圧縮情報を参照して符号化する符号化手段と、
   複数列の画像情報を１列の画像情報毎に前記圧縮手段及び前記符号化手段に入力し、入力された１列の画像情報毎に前記圧縮手段で圧縮すると共に前記記憶手段に記憶し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された１列の画像情報を前記符号化手段で符号化するように制御する制御手段と、
   を含む符号化装置。
2. 前記記憶手段に、１列の圧縮情報を記憶する記憶部を複数設け、前記制御手段が、前記圧縮手段で圧縮された圧縮情報が前記記憶手段に交互に記憶され、前記符号化手段が前記複数の記憶部に記憶された複数の圧縮情報を参照して符号化するように制御する請求項１記載の符号化装置。
3. 前記制御手段は、前記記憶手段の空き容量がなくなった場合に、圧縮を停止して残りの画素を廃棄するか、または残りの画素を圧縮して廃棄するように前記圧縮手段を制御する請求項１または請求項２記載の符号化装置。
4. 前記符号化手段は、前記制御手段により前記圧縮手段で画素が廃棄されるように制御された場合には、廃棄された画素に代えて代替画素を参照して符号化する請求項３記載の符号化装置。
5. 前記圧縮手段による圧縮が非可逆圧縮である請求項１〜請求項４のいずれか１項記載の符号化装置。
6. 入力された画像情報を非可逆処理する非可逆手段を含み、
   前記制御手段は、前記非可逆手段で非可逆処理された画像情報を１列の画像情報毎に前記圧縮手段及び前記符号化手段に入力するように制御する請求項１〜請求項５のいずれか１項記載の符号化装置。
7. 入力された符号化情報を１列の符号化情報毎に復号する復号手段と、
   前記復号手段で復号された１列の画像情報を圧縮する圧縮手段と、
   前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、
   複数列の符号化情報を１列の符号化情報毎に前記復号手段に入力し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された１列の符号化情報を前記復号手段で復号し、復号した１列の画像情報を出力すると共に、前記圧縮手段に入力するように制御する制御手段と、
   を含む復号装置。
8. 前記記憶手段に、１列の圧縮情報を記憶する記憶部を複数設け、前記制御手段が、前記圧縮手段で圧縮された圧縮情報が前記記憶手段に交互に記憶され、前記復号手段が前記複数の記憶部に記憶された複数の圧縮情報を参照して復号するように制御する請求項７記載の復号装置。
9. 前記制御手段は、前記記憶手段の空き容量がなくなった場合に、圧縮を停止して残りの画素を廃棄するか、または残りの画素を圧縮して廃棄するように前記圧縮手段を制御する請求項７または請求項８記載の復号装置。
10. 前記復号手段は、前記制御手段により前記圧縮手段で画素が廃棄されるように制御された場合には、廃棄された画素に代えて代替画素を参照して復号する請求項９記載の復号装置。
11. 前記圧縮手段による圧縮が非可逆圧縮である請求項７〜請求項１０のいずれか１項記載の復号装置。
12. 入力された１列の画像情報を圧縮する圧縮手段と、
    前記圧縮手段で圧縮された圧縮情報を記憶する記憶手段と、
    前記圧縮手段で圧縮された圧縮情報を前記記憶手段に記憶された圧縮情報を参照して符号化する符号化手段と、
    複数列の画像情報を１列の画像情報毎に前記圧縮手段に入力して圧縮し、前記圧縮手段で圧縮された圧縮情報を前記記憶手段に記憶すると共に、前記符号化手段に入力し、前記圧縮手段で先に圧縮されて前記記憶手段に記憶された圧縮情報を参照して入力された圧縮情報を前記符号化手段で符号化するように制御する制御手段と、
    を含む符号化装置。
13. 入力された符号化情報を１列の符号化情報毎に圧縮情報に伸張する伸張手段と、
    前記伸張手段で伸張された圧縮情報を復号する復号手段と、
    前記伸張手段で伸張された圧縮情報を記憶する記憶手段と、
    複数列の符号化情報を１列の符号化情報毎に前記伸張手段に入力し、前記記憶手段に先に記憶された圧縮情報を参照して入力された１列の符号化情報を前記伸張手段で伸張し、伸張した圧縮情報を前記復号手段へ入力すると共に、前記記憶手段に記憶するように制御する制御手段と、
    を含む復号装置。
14. 請求項１記載の符号化装置と、
    請求項７記載の復号装置と、
    を含む画像処理システム。
15. 請求項１２記載の符号化装置と、
    請求項１３記載の復号装置と、
    を含む画像処理システム。

Images