JP2006033161A

JP2006033161A - 符号化処理装置

Info

Publication number: JP2006033161A
Application number: JP2004205953A
Authority: JP
Inventors: Koichi Suzuki; 紘一鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-07-13
Filing date: 2004-07-13
Publication date: 2006-02-02

Abstract

【課題】画質や符号化効率を損なわずに、消費電力やＬＳＩの大きさを削減する。
【解決手段】入力データ特性判定部、回路構成制御部、回路構成情報格納部、再構成可能な符号化処理部を備え、前記入力データ特性判定部は、入力データの部分領域ごとにデータ特性を判定し、前記回路構成制御部は、前記データ特性に応じて、前記回路構成情報格納部中の回路構成情報により、前記再構成可能な符号化処理部内部の回路構成を変更することを特徴とする。
【選択図】図１

Description

本発明は画像の圧縮・符号化装置に関するものである。

従来、スキャナや複写機などの機器において、文字や写真等が混在する画像を符号化する際には、画像をその特性ごとに領域で切り出し、各領域ごとにそのデータ特性にあったアルゴリズムにより符号化処理を行なっている。例えば、文字領域についてはＪＢＩＧなどに代表される２値符号化処理を適用し、写真領域には、ＪＰＥＧなどに代表される多値符号化処理を適用することにより、画質劣化を最小限に抑えている（例えば、特許文献１参照。）。同公報に記載されている符号化装置は２値符号化回路と多値符号化回路を別個に備え、領域判定回路にて入力画像の領域判定をし、多値領域については多値符号化を行い２値領域については代表値を求めてから２値符号化を行なっている。
特開平７−２３６０６２号公報

しかしながら、上記従来の方法では２値符号化処理と多値符号化処理をそれぞれ別々の回路で実装しなければならないので、ＬＳＩ面積や消費電力が大きくなるという問題がある。

また、２値符号化処理と多値符号化処理を同一の回路で実装した場合には、ＬＳＩ面積や消費電力は小さくなるが、各領域のデータ特性に応じた最適な符号化処理ができず、画質や符号化効率が損なわれるという問題がある。

かかる課題を解決するための本発明の請求項１記載の符号化処理装置においては、入力データ特性判定手段、回路構成制御手段、回路構成情報格納手段、再構成可能な符号化処理手段を備え、前記入力データ特性判定手段は、入力データの部分領域ごとにデータ特性を判定し、前記回路構成制御手段は、前記データ特性に応じて、前記回路構成情報格納手段中の回路構成情報により、前記再構成可能な符号化処理手段内部の回路構成を変更することを特徴とする。

以上説明したように、入力画像ブロックの特性に応じて、再構成可能プロセッサ内部の符号化処理回路を動的に変更することに特徴がある。

本来、画像の特性に応じて異なる符号化処理を行なう場合には、それぞれ別々の符号化処理回路を設けなければならなかったものが、本発明では一つの再構成可能プロセッサで画像のデータ特性に適した符号化処理を実現可能であるため、画質や符号化効率を損なわずに、消費電力やＬＳＩの大きさを削減可能となる。
更に、新しいアルゴリズムが開発された場合は、再構成可能プロセッサの構成を変更することで即座に対応可能という利点もある。

図１は本発明の第一の実施例を示した図である。図１において本発明にかかわる画像、音声符号化装置は画像データ入力部１０１、入力データ特性判定回路１０２、回路構成制御部１０３、回路構成情報格納メモリ１０４、符号化データ格納メモリ１０５、再構成可能プロセッサ１０６、バッファメモリ１０７を備える。

画像データ入力部１０１は、色変換、ノイズ除去などの前段画像処理を行なった後に、入力画像データを所定の大きさの領域に分割して出力する回路である。本実施例では、縦横８画素のブロックに画像を分割するものとする。

入力データ特性判定回路１０２は、領域分割された画像の各領域ごとにデータ特性を算出する回路である。

回路情報制御部１０３は入力データ特性判定回路からのデータ特性入力を受け、それに応じて最適な画質を得られるように再構成可能プロセッサ１０６内の回路構成を制御するシーケンサである。

回路構成情報格納メモリ１０４は再構成可能プロセッサ１０６を構成するための再構成情報が格納されているメモリである。

符号化データ格納メモリ１０５は符号化された画像データを格納するためのメモリである。

再構成可能プロセッサ１０６は、画像データの圧縮符号化処理を行なう部分である。これらの内部の機能はプログラムで書き換え可能なデバイスを用いて構成されている。変更可能なデバイスの例としてＦＰＧＡがある。しかし、ＦＰＧＡは書き換えにかかる時間が１分近くかかってしまう。しかし、本発明ではブロックごとに変化する、入力画像データの特性に応じて、すばやく内部の機能を書き換える必要があるため、ＦＰＧＡを適用できない。ところが近年、きわめて短時間に内部構成を書き換え可能なデバイスが発表されている。例えば特開平８−３３０９４５号公報記載の「プログラム可能ゲート・アレイの動的再構成システム」がある。

バッファメモリ１０７は画像データ入力部からの入力画像データを、入力データ特性判定が終了するまで、一時的に保持しておくバッファである。

続いて、画像データの流れを以下に説明する。

前記画像符号化装置において、画像データ入力部１０１で縦横８画素のブロックに分割された画像データは、バッファメモリ１０７に入力される。バッファメモリ１０７内の画像データは入力データ特性判定回路１０２によって読み出され、データ特性が判別される。判別されたデータ特性は回路構成制御部１０３へ入力される。

この入力データ特性判定回路に１０２で実行されるデータ特性判定方法は、例えば、バッファメモリ１０７内に保持されている縦横８画素に分割された各領域ごとのデータに対して、順次Ｒ，Ｇ，Ｂそれぞれのヒストグラムを取り、それぞれのヒストグラムが２つの山を持つような分布特性を示す領域のデータ特性を２値画像、また、ヒストグラムが分散している領域のデータ特性を多値画像と判定する。

このデータ特性に応じて、回路構成制御部１０３は回路構成情報格納メモリ１０４内の再構成情報に基づき、再構成可能プロセッサ１０６を書き換える。

データ特性が２値画像であった場合には、回路構成制御部１０３は本実施例ではＪＢＩＧなどの２値画像用の符号化処理を実装する。このアルゴリズムは可逆圧縮であり、文字等のエッジ部の画質を保つことができるため、高画質な符号化データを生成できる。

データ特性が多値画像であった場合には、回路構成制御部１０３は本実施例ではＪＰＥＧなどの多値画像用の符号化処理を実装する。このアルゴリズムは非可逆圧縮であり、写真画像などに対しては、高効率な符号化を実現できる。

続いて、画像データがバッファメモリ１０７から再構成可能プロセッサ１０６へ入力され、再構成可能プロセッサ１０６内部の符号化回路にて圧縮符号化される。符号化データは符号化データ格納メモリ１０５に格納される。

データ特性が多値画像と判定された場合の再構成可能プロセッサ１０６内部の符号化回路構成を図２に示す。

符号化回路は直交変換回路２０１、量子化回路２０２、ハフマン符号化回路２０３から構成される。入力画像データはまず、直交変換回路２０１にて、ＤＣＴ（離散コサイン変換）などを用いて、空間周波数成分に変換される。次に量子化回路２０２にて、量子化され高周波成分が除去される。続いて、ハフマン符号化回路２０３にてランレングス符号化処理およびハフマン符号化処理を用いて、さらに信号を圧縮符号化し出力する。

データ特性が２値画像と判定された場合の再構成可能プロセッサ１０６内部の符号化回路構成を図３に示す。符号化回路は２値化回路３０１、代表色値算出回路３０２、動的算術符号化回路３０３から構成される。入力画像データは２値化回路３０１にて各色ごとに２値化処理を施され、Ｒ，Ｇ，Ｂ各１ビットの２値化データに変換された後に、代表色値算出回路３０２および、動的算術符号化回路３０３に入力される。

代表色値算出回路３０２は、入力画像データおよび２値化データをもとに２値化データが０になる画素と２値化データが１になる画素のＲ，Ｇ，Ｂ、それぞれの代表値を算出する。代表値としては、本実施例では、２値化データが０になる画素の各Ｒ，Ｇ，Ｂの平均値および、２値化データが１になる画素の各Ｒ，Ｇ，Ｂの平均値を用いるものとする。

２値化データは動的算術符号化回路３０３において、例えばＪＢＩＧ符号化などの公知のアルゴリズムにより符号化データに変換される。

この符号化データと、代表色値算出回路３０２で算出された代表値データをパッキングして出力する。

図２で示された符号化処理は写真のように階調性のある多値画像に対しては、劣化が目立たないように効率よく符号化できる長所があるが、２値画像に対しては、エッジ部の劣化が目立ち易いという短所がある。一方、図３で示された符号化処理は、文字などの２値画像に対しては、高効率で符号化できる長所があるが、写真のように階調性のある多値画像を効率よく符号化できないという短所がある。多値画像データに対しては図２の符号化処理を適用し、２値画像に対しては図３の符号化処理を適用するように、再構成可能プロセッサ１０６の内部を動的再構成する。この動的再構成の方法については、例をあげて以下に説明する。

まず、回路構成情報格納メモリ１０４内部に格納されている再構成情報の一例を説明する。

回路構成情報格納メモリ１０４内部には各回路部品の構成情報に加え、各回路部品の規模を表す、回路部品リソーステーブル、画像符号化回路を構成するための回路部品接続テーブル、および、各画像符号化回路で得られる画像の品質評価指標を格納した品質評価テーブルを有する。

図４は回路部品リソーステーブルの内容の一例を示している。各行はそれぞれ、回路構成情報格納メモリ１０４内に保存されている回路部品を示す。列４０１は回路部品を識別するためのＩＤを表す列である。列４０２は各回路部品名、列４０３はその回路部品のゲート規模を表している。図４では、全部で７個の回路部品が回路構成情報格納メモリ１０４に保存されており、たとえば、ＩＤナンバー５の量子化器のゲート規模は２．０万ゲートであることがわかる。また、同じ直交変換回路でも内部のアルゴリズムが異なる部品が回路構成情報格納メモリ１０４内に保存されている場合もある。その場合は、直交変換回路Ａ、直交変換回路Ｂのように２種類の情報を表に入れておく。

図５は図２で表された多値画像符号化回路の回路部品接続テーブルの一例を示している。各行はそれぞれ、符号化回路を構成するために必要な回路部品のインスタンスを示す。列５０１は各回路部品のインスタンスを識別するためのＩＤ、列５０２は各インスタンスに対応する回路部品のＩＤ、列５０３は各インスタンス同士の接続情報を表している。図５では例えばモジュールＩＤナンバー１はリソースＩＤナンバー４に対応しているので、直交変換回路Ａであると分かる。また、接続情報より、直交変換回路Ａの入力データバスＩｎＰｕｔ１は、符号化回路の入力データバスＤａｔａＩｎに接続され、出力データバスＯｕｔＰｕｔ１はモジュールナンバー２の量子化回路の入力データバスＩｎｐｕｔ１に接続されていることがわかる。

図６は図２で表された多値画像符号化回路の品質評価テーブルの一例を示している。このテーブルには、図２の多値画像符号化回路で、あるサンプルデータを圧縮符号化した際の、ビットレートとＳ／Ｎ比の関係が示されている。列６０１はビットレート、列６０２は列６０１のビットレートになるように、サンプルデータを圧縮符号化した際のＳ／Ｎ比を表している。図６では、例えばあるサンプルデータをビットレートが１．５ｂｉｔ／ｐｉｘｅｌになるように圧縮した際のＳ／Ｎ比は３０ｄＢになることが分かる。Ｓ／Ｎ比は信号対ノイズ比であり、画質の評価指標として用いられる。

図３で表された２値画像符号化回路についても同様な回路部品接続テーブル、および品質評価テーブルが格納されている。また、内部アルゴリズムが異なる複数の多値符号化回路情報、あるいは２値符号化回路情報が用意してある場合は、それぞれについて、回路部品接続テーブル、および品質評価テーブルが格納されているものとする。

次に回路構成制御部１０２の動作を図７のフローチャートを用いて説明する。

ステップＳ１０１にて回路構成情報格納メモリ１０４内の多値符号化回路の回路部品接続テーブルおよび対応する品質評価テーブルを検索し、総ゲート数が再構成可能プロセッサ１０６のゲート数よりも小さく、かつ最も画質が高い回路を選択する。複数の多値符号化回路情報が存在する場合には、記録したいビットレートに対応するＳ／Ｎ比の最も大きい符号化回路を画質が高い回路として選択する。２値符号化回路についても同様に、総ゲート数が再構成可能プロセッサ１０７のゲート数よりも小さく、かつ最も画質が高い回路を選択し、ステップＳ１０２へ進む。

ステップＳ１０２では、再構成可能プロセッサの内部レジスタに対して、ステップ１０１で選択された２値符号化回路および多値符号化回路の接続情報を設定する。

ステップＳ１０３では入力画像データのあるブロックのデータ特性を調べる。このデータ特性情報は入力データ特性判定回路より毎ブロックごとに入力される。データ特性が２値画像データの場合にはステップＳ１０４へ進む。

ステップＳ１０４では、現在の再構成可能プロセッサ内部の回路構成を調べ、回路を再構成する必要があるかどうかの判断を行なう。再構成可能プロセッサ内部に２値符号化回路が構成されていない場合は、再構成可能プロセッサ内部の回路を変更する必要があるのでステップＳ１０５へ進む。再構成可能プロセッサ内部に既に２値符号化回路が構成されている場合は、再構成可能プロセッサ内部の回路を変更する必要がないのでステップＳ１０８へ進む。

ステップＳ１０５では、ステップＳ１０２で設定された接続情報を基に、再構成可能プロセッサに２値画像符号化回路を再構成する。

一方、ステップＳ１０３でデータ特性が多値画像データであった場合にはステップＳ１０６に進む。

ステップＳ１０６では、現在の再構成可能プロセッサ内部の回路構成を調べ、回路を再構成する必要があるかどうかの判断を行なう。再構成可能プロセッサ内部に多値符号化回路が構成されていない場合は、再構成可能プロセッサ内部の回路を変更する必要があるのでステップＳ１０７へ進む。再構成可能プロセッサ内部に既に多値符号化回路が構成されている場合は、再構成可能プロセッサ内部の回路を変更する必要がないのでステップＳ１０８へ進む。

ステップＳ１０７では、ステップＳ１０２で設定された接続情報を基に、再構成可能プロセッサに多値画像符号化回路を再構成する。

続いて、ステップＳ１０８にて画像入力部１０１から１ブロック分のデータを再構成可能プロセッサ１０６内部に構成された符号化回路に転送し、１ブロック分の画像符号化を行なう。１ブロック分の画像符号化が完了したらステップＳ１０９に進む。

ステップＳ１０９にて、次ブロックの画像データの入力の有無を判定する。次の画像データブロックが入力された場合はステップＳ１０３に進む。また、まだ次の画像データブロックが入力されていない場合には、入力されるまでステップＳ１０９で待機する。

以上説明してきたフローにより、各画像ブロックごとにデータ特性を判定し、それに応じて最適な符号化回路を再構成可能プロセッサ内に構成することにより、２値画像符号化処理回路、多値画像符号化処理回路を別々に用意する場合と比べて、少ないゲート規模で画質、および符号化効率のよい符号化処理を実現できる。

なお、本発明の実施例においては、データ特性としては２値画像データと、多値画像データの２つの特性に応じて再構成可能プロセッサの内部構成を変更する構成としたが、データ特性の種類は２つに限らない。回路構成情報格納メモリ内にさらに多くの再構成情報を格納しておくことにより、データ特性の種類を増やすことも可能である。

また、本発明の実施例においては、データ特性の判断は縦横８画素のブロック単位に行なうとしたが、このブロックの大きさは縦横８画素に限らない。例えば複数のブロックをまとめて一つの領域とし、その領域ごとにデータ特性を判断し、再構成可能プロセッサの内部構成を変更する構成にしてもよい。

また、本発明の実施例では、２値画像符号化では、ＪＢＩＧなどの２値化と算術符号化を組み合わせた処理を行ない、多値画像符号化では、ＪＰＥＧなどの、直交変換、量子化およびハフマン符号化を組み合わせた処理を行なったが、必要な回路リソースの合計が再構成可能プロセッサの容量を越えない範囲において、別の符号化アルゴリズムで実現することも可能である。

本発明の第一の実施例を示す図である。多値画像符号化用の符号化回路構成を示す図である。２値画像符号化用の符号化回路構成を示す図である。回路部品リソーステーブルの内容の一例を示す図である。回路部品接続テーブルの内容の一例を示す図である。品質評価テーブルの内容の一例を示す図である。回路構成制御部の動作シーケンスを示すフローチャートである。

符号の説明

１０１画像データ入力部
１０２入力データ特性判定回路
１０３回路構成制御部
１０４回路構成情報格納メモリ
１０５符号化データ格納メモリ
１０６再構成可能プロセッサ
１０７バッファメモリ
２０１直交変換回路
２０２量子化回路
２０３ハフマン符号化回路
３０１２値化回路
３０２代表色値算出回路
３０３動的算術符号化回路
４０１回路部品を識別するためのＩＤ
４０２各回路部品名
４０３ゲート規模
５０１各回路部品のインスタンスを識別するためのＩＤ
５０２各インスタンスに対応する回路部品のＩＤ
５０３接続情報
６０１ビットレート
６０２サンプルデータのＳ／Ｎ比

Claims

入力データ特性判定手段、回路構成制御手段、回路構成情報格納手段、再構成可能な符号化処理手段を備え、前記入力データ特性判定手段は、入力データの部分領域ごとにデータ特性を判定し、前記回路構成制御手段は、前記データ特性に応じて、前記回路構成情報格納手段中の回路構成情報により、前記再構成可能な符号化処理手段内部の回路構成を変更することを特徴とする符号化処理装置。
前記データ特性には、２値画像データと多値画像データを備えることを特徴とする請求項１記載の符号化処理装置。