JP2003132346A - 画像データ処理用集積回路および画像データ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 内部バッファメモリの容量を大きくせずに、
ブロック歪みの影響を低減する。 【解決手段】 画像データ処理用集積回路は、２次元平
面上において行列状に配置される多数の画像データを複
数のブロックに分割して所定のブロック順序でパイプラ
イン処理するのに適しており、前記多数の画像データ
を、ブロックごとに、かつ所定のブロック順序でパイプ
ライン処理するパイプライン処理回路と、前記パイプラ
イン処理中のデータをブロックごとに記憶することがで
きるパイプラインバッファメモリと、前記パイプライン
バッファメモリからデータを読み出し、前記パイプライ
ン処理回路にロードすると共に、当該ブロックに隣接す
るブロックのパイプライン処理を開始させる制御回路
と、を内蔵する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ処理技
術に関し、特に、パイプライン処理を伴う画像データ処
理装置及び画像データ処理方法に関する。

【０００２】

【従来の技術】画像データ処理技術を用いるものの一つ
に、デジタルスチルカメラがある。デジタルスチルカメ
ラは、被写体にレンズを向けて、シャッタボタンを押す
ことにより、デジタル静止画像の撮影を行う。レンズを
介して結像される画像は、電気信号に変換され、データ
圧縮などの画像データ処理を経て、取り替え可能なメモ
リカード等に記憶される。データ圧縮は、データ量を減
らして、メモリカードに多くの画像データを記憶させる
ための処理である。デジタル静止画像の標準的な圧縮方
式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐ
ｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）圧縮技術がある。

【０００３】ＪＰＥＧ圧縮技術においては、デジタル画
像が空間的周波数分布を有している点、人間の視覚上か
ら高周波成分を削っても画質の劣化が目立たない点を利
用して、高周波成分のデータをまとめることにより画像
データを圧縮する。データ圧縮された符号データは、メ
モリカード等の記憶媒体に記憶される。メモリカード
は、例えば３２Ｍバイトの記憶容量を有するものであ
る。

【０００４】現在、デジタルスチルカメラの高性能化に
伴い、３００万画素クラスの製品がラインアップされて
いる。このような高性能のデジタルスチルカメラを用い
ると、たとえＪＰＥＧ圧縮を行ったとしてもファイルサ
イズが相対的に大きくなってしまう。

【０００５】そこで、最近になって、新しいＪＰＥＧ仕
様であるＪＰＥＧ２０００の仕様が決められている。従
来のＪＰＥＧ圧縮技術は、画像を８×８ピクセルの小さ
なブロックに分割して圧縮処理を行う。従って、ブロッ
ク歪みが発生しやすい。加えて、データ圧縮方式として
ＤＣＴ（離散コサイン変換）が用いられているため、画
像中の輪郭部分から生じるノイズの影響が大きい。

【０００６】これに対して、ＪＰＥＧ２０００による圧
縮技術では、データ圧縮方式としてＤＣＴではなくウェ
ーブレット（Ｗａｖｅｌｅｔ）変換を用いる。ウェーブ
レット変換を用いると、画像の中の輪郭部分から生まれ
るノイズが他の領域に波及しにくく、画像劣化が少な
い。ウェーブレット変換を、ブロック単位ではなく画面
全体に対して処理するため、ブロック歪みが発生しな
い。

【０００７】

【発明が解決しようとする課題】ウェーブレット変換を
用い画面全体に対して画像処理を行う場合に、画像デー
タ信号処理用のＬＳＩ（以下「画像処理ＬＳＩ」と称す
る。）を用いて演算することになる。画面全体に対して
画像処理を行うため、少なくとも画面全体分の画像デー
タを記憶できるだけの容量を有する大容量の内部バッフ
ァメモリを画像処理ＬＳＩ中に内蔵させる必要がある。

【０００８】ところが、画像処理ＬＳＩ中に大容量の内
部バッファメモリを内蔵させると、画像処理ＬＳＩのチ
ップサイズが大きくなり、通常の画像処理ＬＳＩと大容
量の外部メモリとを別個に製造する場合と比べて製造コ
ストが高くなるという問題が生じる。

【０００９】本発明の目的は、ウェーブレット変換によ
り画像データの圧縮を行う場合に必要な内部バッファメ
モリの容量を少なくすることにより、画像処理ＬＳＩの
製造コストを低減することである。

【００１０】

【課題を解決するための手段】本発明の一観点によれ
ば、２次元平面上において行列状に配置される多数の画
像データを複数のブロックに分割して所定のブロック順
序でパイプライン処理するのに適しており、前記多数の
画像データを、ブロックごとに、かつ所定のブロック順
序でパイプライン処理するパイプライン処理回路と、前
記パイプライン処理中のデータをブロックごとに記憶す
ることができるパイプラインバッファメモリと、前記パ
イプラインバッファメモリからデータを読み出し、前記
パイプライン処理回路にロードすると共に、当該ブロッ
クに隣接するブロックのパイプライン処理を開始させる
制御回路と、を内蔵する画像データ処理用集積回路。が
提供される。

【００１１】本発明の他の観点によれば、２次元平面上
において行列状に配置される多数の画像データを複数の
ブロックに分割して所定のブロック順序でパイプライン
処理するのに適しており、（ａ）多数の画像データの一
部をブロックとして切り出し、その処理ブロックの画像
データを第１の記憶領域に記憶させる工程と、（ｂ）前
記第１の記憶領域に記憶した画像データを読み出してパ
イプライン処理を行い、パイプライン処理済みのデータ
を第２の記憶領域に記憶させるとともに、パイプライン
処理の途中の第１の内容を第３の記憶領域に記憶させる
工程と、（ｃ）前記第２の記憶領域に記憶された画像デ
ータを読み出してパイプライン処理を行い、前記第１の
記憶領域に記憶されているデータをパイプライン処理済
み画像データで書き換えるとともに、パイプライン処理
の途中の第２の内容を第４の記憶領域に記憶させる工程
と、（ｄ）前記第３の記憶領域に記憶されているパイプ
ライン処理の内容を読み出して初期値として用い、前記
ブロック順序における次段のブロックの画像データのパ
イプライン処理を行う工程とを含む画像データ処理方法
が提供される。

【００１２】上記画像データ処理技術によれば、各ブロ
ックの境界におけるデータが連続し、ブロック歪みの影
響が低減する。

【００１３】

【発明の実施の形態】発明者は、ウェーブレット変換を
用いるＪＰＥＧ２０００圧縮技術においても、画面全体
をブロック化することを思い付いた。さらに、画像のブ
ロック化に伴って生じる画像歪みの影響を低減するため
に、パイプライン処理によるウェーブレット変換の途
中、たとえば処理ブロックの画像データのパイプライン
処理が終了した時点は消滅するパイプライン中の状態
（中間データ）を、保存、復元できるパイプラインバッ
ファメモリを設けることを思い付いた。パイプラインバ
ッファメモリは、上記中間データを一時的に保存できれ
ば良い。

【００１４】図１、図２（Ａ）、（Ｂ）及び図３を参照
して、本発明の画像データ信号処理技術の原理について
簡単に説明する。図１は、画像信号処理回路の簡単な構
成を示すブロック図であり、併せて、例えばＳＤＲＡＭ
などの外部記憶媒体も示している。図２（Ａ）及び
（Ｂ）は、１ブロックに関するウェーブレット変換処理
の概要を示すブロック図である。図３は、ウェーブレッ
ト変換処理の処理手順を示すフローチャート図である。

【００１５】図１に示すように、画像信号処理回路１
は、容量の大きい外部記憶媒体３、例えばＳＤＲＡＭと
接続されている。外部記憶媒体３は、少なくとも画面全
体の画像データを記憶できるだけの記憶容量ＭＣ１を有
している。

【００１６】画像信号処理回路１は、パイプライン処理
回路１３と内部バッファメモリ５とを有している。パイ
プライン処理回路１３は、例えばウェーブレット変換処
理を行うための処理エンジンを備えた回路である。ハー
ドウェアによるパイプライン処理の代わりに、ソフトウ
ェアによるパイプライン処理を行うための手段を備えて
いても良い。

【００１７】内部バッファメモリ５は、例えば１ブロッ
ク分の画素データを記憶するための画素バッファメモリ
５ａと、パイプライン中の中間データを記憶することが
できるパイプラインバッファメモリ５ｂとを有してい
る。画素バッファメモリ５ａとパイプラインバッファメ
モリ５ｂとを合わせた内部バッファメモリ５の記憶容量
ＭＣ２は、外部記憶媒体３の記憶容量ＭＣ１よりも少な
くて良い。

【００１８】パイプライン処理の中間で表われ、その後
さらに処理を受けて結果には表われないデータは種々存
在する。たとえばある種の累算値、平均値等である。こ
のような値が別の処理においても必要となることがあ
る。この場合最初から演算を繰り返すことが必要であっ
た。パイプラインバッファメモリを設けることにより、
パイプライン処理中にしか表われない中間データを記
憶、保存することができる。

【００１９】外部記憶媒体３と内部バッファメモリ５と
は第１バスライン８ａにより接続されている。外部記憶
媒体３と内部バッファメモリ５とのデータのやり取り
は、ダイレクトメモリアクセス回路７により指示するこ
とができる。ダイレクトメモリアクセス回路７は、配線
８ｂおよび８ｃによりそれぞれ外部記憶媒体３および内
部バッファメモリ５に接続されている。パイプライン処
理回路１３は、配線８ｄにより内部バッファメモリ５と
接続されるとともに、配線８ｅによりダイレクトアクセ
スメモリ回路７と接続されている。

【００２０】ダイレクトメモリアクセス回路７を用いる
ことにより、ＣＰＵなどを介さずに各回路（装置）とメ
モリ回路との間で直接データのやりとりを行うことが可
能になる。従って、画像データの処理量を少なくするこ
とができる。

【００２１】図２（Ａ）及び図３に示すように、まず、
画面全体の画像データのうちの一部を１ブロックとして
取り出す。前述のように、ＪＰＥＧの８画素×８画素よ
りも大きい例えば３２画素×３２画素を１ブロック単位
として画面全体又は一部をブロック化する。１ブロック
分の画像データを、画像処理ＬＳＩ中の内部メモリ（第
１の画素バッファメモリ５ａ−１）、すなわちオリジナ
ルデータ領域１１に書き込む（ステップＳ１）。

【００２２】１ブロックについて、パイプライン処理回
路１３を用いてウェーブレット変換をパイプライン処理
で行う。ウェーブレット変換を行うことにより、画像デ
ータの信号波形を５オクターブの周波数ごとに分解する
ことができる。すなわち画像データの周波数特性を求め
ることができる。

【００２３】一般的に、画像データは低周波に多く分布
する。高周波成分は、人間の目には冗長なので、一括し
てまとめることができる。従って、画像データを圧縮す
ることができる。ウェーブレット変換用のパイプライン
処理回路１３を通した１ブロック分の画像データを、画
像処理ＬＳＩ中の内部メモリ（第２の画素バッファメモ
リ５ａ−２）、すなわち、処理後データ領域（Ｄｅｓｔ
ｉｎａｔｉｏｎ Ａｒｅａ）１５に格納する（ステップ
Ｓ２）。

【００２４】この際、データを格納する方向は、図２
（Ａ）に示すように入力方向（ブロック処理順序）と直
交させる。すなわち、例えばブロック１１内のｈ₀行に
存在する画像データをｖ₀列からｖ_maxV−１列まで水平
方向に順に読み出し、パイプライン処理回路１３におい
てウェーブレット変換処理を行う。ウェーブレット変換
処理を行った後の画像データは、内部バッファメモリ１
５内の第２画素バッファメモリ５ａ−２内の処理後デー
タ領域１５に格納（記憶）する。この際の格納方向は、
垂直方向すなわち列方向であり、ブロック１１内におけ
る読み出し方向（入力方向）と直交する方向である。

【００２５】ブロック１１内の次行の画像データに関し
ても同様の処理を行う。ブロック１１内の最終行ｈ_maxH
−１についての処理が終了すると、すなわち行方向に関
する１ブロック分の行方向の処理が終了すると、次に、
列方向に関して、行方向と同様の処理を行う。この際、
１ブロックについて行方向の処理を終えた後に列方向の
処理を行う場合に行方向の処理によって形成された中間
データを保存しておくための中間バッファを内部バッフ
ァとして用意しておく。

【００２６】１ブロック分の処理が終了すると、パイプ
ラインの内部のデータをパイプラインバッファメモリ
（中間バッファメモリ）５ｂ内に保存しておく。保存し
たデータを第１のパイプライン保存データと称する（ス
テップＳ３）。

【００２７】次に、図２（Ｂ）に示すように、第２画素
バッファメモリ５ａ−２内の処理後データ領域１５に格
納されたデータを読み出し、同じ処理（パイプライン処
理）により順次第１の画素バッファメモリ５ａ−１、す
なわちオリジナルデータ領域１１にデータを書き戻す
（ステップＳ４）。この際、図に示すように、読み出し
方向と同じ方向にデータを書き戻す。以上の処理により
一次のウェーブレット変換処理が終了する。この際、パ
イプラインの内部のデータを、例えば外部記憶媒体３内
に保存しておく。このデータを第２のパイプライン保存
データと称する（ステップＳ５）。

【００２８】次のブロックを読み出し、オリジナルデー
タ領域５ａ−１に格納する（ステップＳ６）。ステップ
Ｓ３でＬＳＩ内部バッファに保存した第１のパイプライ
ン保存データを次のブロックに関する初期値として用
い、ステップ５２、Ｓ３と同様の処理を行う（ステップ
Ｓ７）。すなわち、次のブロックに関しても、第１のブ
ロックと同様の処理を行う。第1のブロックについての
演算結果を初期値として取り込むことにより、第1、第
２のブロックを連続処理すると同様の結果が得られる。
ステップＳ５において外部メモリに保存した第２のパイ
プライン保存データも読み出す（ステップＳ８）。たと
えば、外部のＳＤＲＡＭやＬＳＩ内部のバッファメモリ
に読み出しておく。

【００２９】第２のパイプライン保存データは、処理後
データ領域１５のデータをパイプライン処理してオリジ
ナルデータ領域１１へ書き戻す際の初期値として用いる
（ステップＳ９）。すなわち、隣接するブロックについ
て行ったパイプライン処理の結果を引き継ぐことによ
り、ブロックに分割せずにパイプライン処理する時と同
様の結果が得られる。なお、隣接するブロックがない場
合には、ダミーデータを作成しておいてもよい。

【００３０】上記の方法を用いると、隣接する２つのブ
ロック間においてパイプラインのデータが保存され、引
き継がれるため、ブロック歪みが生じない。従って、ブ
ロック処理を行っても、全画面に対して一括してパイプ
ライン処理を行う場合と同様の結果を得ることができ
る。

【００３１】以上の工程を繰り返すことにより、複数の
ブロックに分割された画面全体に関して、ブロック歪み
を抑制しつつウェーブレット変換のパイプライン処理を
行うことができる。

【００３２】以上の原理に基づく本発明の一実施の形態
による画像データ処理技術について、図４、図５を参照
してより具体的に説明する。

【００３３】図４は、画面全体を複数のブロックに分割
した場合のウェーブレット変換処理の概要を示す図であ
る。図５は、画像データ処理の流れを示すフローチャー
トである。

【００３４】図４に示すように、画面全体をブロック行
列に分割する。第1ブロック行は行方向に並んだ０から
ｂｍａｘ−１までのｂｍａｘ個のブロックを含む。第２
行はｂｍａｘから２ｂｍａｘ−１までのブロックを含
む。このようにブロックの番号は固有のものとし順次増
加する。全体として０からｍａｘｂｌｏｃｋ−１までの
ｍａｘｂｌｏｃｋ個のブロックを含む。１つのブロック
は、行方向にｈ₀からｍａｘ_H−１までの画素行を、列方
向はｖ₀からｍａｘ_V−１までの画素列を有している。

【００３５】図５を参照して、画像信号処理工程の詳細
について説明する。

【００３６】ステップＳ１０において、画像信号処理を
開始する。ステップＳ１１において、カウントリセット
を行う。より詳細には、ブロック番号を初期化し（ｂｌ
ｏｃｋ＝０）水平ブロックカウンタも初期化する（ｎｂ
ｌｏｃｋ＝０）。加えて、ダミーデータ等を用い、ｈｂ
ｕｆの初期化を行う。

【００３７】ステップＳ１２において、最終ブロックま
で処理が行われているか否かについて判断する（ｂｌｏ
ｃｋ＞ｍａｘｂｌｏｃｋ）。最終ブロックまで処理が終
わっていなければ、ステップＳ１３に進み、該当するブ
ロックの処理を続行する。最終ブロックまで処理が終わ
っていれば、ステップＳ３１に進み処理を終了する。

【００３８】ステップＳ１３において、ｂｍａｘをモジ
ュロとしたブロックの水平方向位置を求める（ｂｌｏｃ
ｋ ｍｏｄ ｂｍａｘ＝０）。行の先頭ブロックであれば
ｂｌｏｃｋ ｍｏｄ ｂｍａｘ＝０であり、その他の位
置であれば０ではない。

【００３９】ステップＳ１３の判断結果がＹｅｓであれ
ば、ステップＳ１４に進み、ｈバッファの初期化と水平
ブロックカウンタｎｂｌｏｃｋの初期化を行う。

【００４０】ステップＳ１３の判断結果がＮｏであれ
ば、ステップＳ１４はバイパスする。その後ステップＳ
１５に進む。ステップＳ１５において１ブロック分の画
像データを外部記憶媒体から画素メモリ（オリジナルデ
ータ領域）に読み出す。ステップＳ１６においてブロッ
ク内においてｈ＝０の行を選択する。

【００４１】ステップＳ１６において選択された行に対
応する前段処理のブロックのパイプライン内データ（前
述の第１のパイプライン保存データ）を、ステップＳ１
７において水平方向バッファメモリ（ｈｂｕｆ（ｈ））
から読み出す。この際、外部記憶媒体中に保存されてい
るパイプライン内データ（前述の第２のパイプライン保
存データ）も読み出しておく。

【００４２】次いで、ステップＳ１８において、１ブロ
ック内での行方向の処理が全ての行について終了してい
るか否かを判断する（ｈ＞＝ｍａｘＨ）。

【００４３】行方向の処理が終了していればステップＳ
２２に進み、同じブロック内において垂直方向の処理を
行う。行方向の処理が終了していなければ、ステップＳ
１９に進み、行方向のデータに関するパイプライン処理
を行う。この際、前段処理において得られた第１および
第２のパイプライン保存データを用いる。前段処理（行
方向又は列方向に隣接するブロックにおける同様の処
理）のパイプライン内データを用いることにより、ブロ
ックを跨いでもパイプライン処理が分断されることがな
い。例えば、本実施の形態による画像データ処理技術に
おいては、パイプライン処理の段数は１６段である。

【００４４】図６に具体的なパイプライン処理の例を示
す。図６に示すパイプライン処理は、３値加算平均を演
算する処理である。すなわち、｛ｄ（Ｌ）＋２×ｄ（Ｌ
＋１）＋ｄ（Ｌ＋２）｝／４の演算を行う処理である。
この演算は、例えば行方向に演算する場合に、処理対象
ブロックの２×ｄ（Ｌ＋１）と、その前後の列のデータ
ｄ（Ｌ）およびｄ（Ｌ＋２）との加重平均をとる演算処
理である。ｄ(Ｌ＋１)が先頭のデータの場合、ダミーデ
ータでｄ（Ｌ）を作る。

【００４５】ステップＳ２０において、次段のブロック
処理（或いはブロックのスキャン方向によっては所定段
階を経た後に当該ブロックと隣接する位置のブロックを
処理する際の処理）を行う場合に利用する当該ブロック
のパイプライン内のデータをバッファメモリ（内部バッ
ファメモリと外部記憶媒体）内に保存しておく。この
際、該当する行に関してはパイプライン内のデータは、
前段処理のブロックのデータから当該処理のブロックの
データに書き換えられる。

【００４６】ステップＳ２１においてブロック内の次行
の処理を行うため、行カウンタをインクリメント（ｈ＝
ｈ＋１）する。その後ステップＳ１７に戻る。すなわ
ち、次行に関してステップＳ１７からステップＳ２１ま
での処理を繰り返す。各行に関して、同様に、パイプラ
イン内のデータは、前段処理のブロックのデータから当
該処理のブロックのデータに書き換えられる。

【００４７】前述のように、ステップＳ１８において行
方向の処理が終了したと判断すると、ステップＳ２２に
進み、列方向（ｖ方向）の処理を開始する。

【００４８】ステップＳ２３において、列カウンタを初
期化し（ｖ＝０）ブロック内の初めの列が選択される。
ステップＳ２４において選択された列に対応する前段処
理ブロックのパイプライン内データを、内部バッファ
（ｒｏｗｂｕｆ（ｎｂｌｏｃｋ，ｖ））からパイプライ
ン内に読み込む。ステップＳ２５において、１ブロック
内での列方向の処理が全ての列について終了しているか
否かを判断する（ｖ＞＝ｍａｘＶ）。全ての列について
の処理が終了していればステップＳ２９に進む。列方向
の処理が終了していなければ、ステップＳ２６に進み、
列方向のデータに関するパイプライン処理を行う。この
際、ステップＳ２４において予め読み出しておいた前段
処理のブロックのパイプライン内保存データをオリジナ
ルデータ領域から処理済みデータ領域への書き込み時お
よび書き戻し時の初期値として用いる。従って、列方向
の処理に関しても、前段処理のブロックと当該処理のブ
ロックとの間で、パイプライン内データが分断されるこ
とがない。

【００４９】尚、図４に矢印で示すように、上記の例に
おいてはブロックごとの処理を行方向に進めている。従
って、行方向に関しては行方向に隣接する前段処理のブ
ロックにおいて得られた第１のパイプライン保存データ
を用いることができる。従って、行方向に関するパイプ
ラインデータは内部バッファメモリに記憶させれば良
い。

【００５０】これに対して、列方向に関しては列方向に
隣接するブロックが前段処理のブロックにはならない。
従って、第１のパイプライン保存データは内部メモリに
保存させれば良いのが、第２のパイプライン保存データ
は外部メモリに記憶させるのが好ましい。尚、行方向に
並ぶブロックのデータを全て記憶させる場合、又は、ブ
ロックごとにアドレスを設けておき、該当するアドレス
に記憶されているデータが必要な場合に読み出せるよう
にしておけば、同様に第２のパイプライン保存データに
関しても内部バッファメモリに保存させることができ
る。

【００５１】ステップＳ２７において、次段ブロックの
処理（或いは所定の処理工程経過後）のためのパイプラ
イン内のデータを保存する（第１のパイプライン保存デ
ータ１と第２のパイプライン保存データ）。ステップＳ
８において、ブロック内の列レジスタをインクリメント
し（ｖ＝ｖ＋１）次列の処理を開始する。すなわち、次
列に関してステップＳ２４からステップＳ２８までの処
理を繰り返す。列方向に関しても第１および第２のパイ
プラインバッファのデータを順次書き換えていく。

【００５２】列方向の処理が終了すると、ステップＳ２
９からステップＳ３０に移る。ステップＳ３０におい
て、ブロックカウンタをインクリメントし（ｂｌｏｃｋ
＝ｂｌｏｃｋ＋１）、水平ブロックカウンタもインクリ
メント（ｎｂｌｏｃｋ＝ｎｂｌｏｃｋ＋１）し、次のブ
ロックの処理を開始する。すなわち、次のブロックにつ
いて、ステップＳ１２からの処理が開始する。

【００５３】次のブロックに移行する際に、パイプライ
ン復元のためのパイプラインバッファ（第１および第２
のパイプラインバッファ）に保存されていた前段処理の
ブロックに関するパイプライン保存データが当該ブロッ
ク処理において得られた新しいパイプライン保存データ
に置き換えられる。従って、当該ブロックと行方向又は
列方向に隣接するブロックを処理する際における初期値
として用いることができる。

【００５４】以上の処理をブロックごとに行い、ステッ
プＳ１２において全ブロックに関して処理済みであると
判断すると、ブロックに分割された全画面について画像
データの処理（ウェーブレット変換処理）が終了する
（ステップＳ３１）。

【００５５】上記画像処理技術を用いると、ＪＰＥＧ２
０００規格による画像データ処理（ウェーブレット変換
処理を伴う画像データのパイプライン処理）を行う場合
に、全画面を複数のブロックに分割することができる。
従って、画面全体のバッファメモリを画像処理用ＬＳＩ
中に内蔵させる必要がない。内蔵メモリの容量を減らす
ことができる。

【００５６】さらに、ブロックごとの画像データのパイ
プライン処理の途中において、パイプライン中の状態を
一時的に記憶するパイプラインバッファを有している。
ブロックごとに画像信号処理を行う際、上記パイプライ
ンバッファ内に記憶されている処理対象のブロックと隣
接する処理済みブロックのパイプライン中の状態を示す
データを初期値として用いることにより、ブロックの境
界を越えてもパイプライン処理の内容は連続する。従っ
て、画面全体をブロック化した場合に生じうるブロック
歪みの影響を低減することができる。

【００５７】次に、パイプライン処理の第１変形例につ
いて図７を参照して説明する。

【００５８】第１変形例による画像データ処理技術は、
図７に示すように、パイプライン処理が図６に示すパイ
プライン処理と異なる。

【００５９】図７に示すように、入力１つに対してパイ
プライン１とパイプライン２との２つの出力を有してい
る例である。たとえば、パイプライン１と２は各々低周
波フィルタと高周波フィルタに相当する。画像データが
入力されると、パイプライン１とパイプライン２とのい
ずれかを通って出力される。入力の度に交互に出力され
る。

【００６０】次に、パイプライン処理の第２変形例につ
いて図８を参照して説明する。

【００６１】第２変形例による画像データ処理技術は、
図８に示すように、パイプライン処理が図６および図７
に示すパイプライン処理と異なる。

【００６２】図８に示すように、第２変形例による画像
データ処理技術においては、画面全体の画像データの平
均値を用いてパイプライン処理を行う。この場合には、
通常全画面分のバッファメモリを有している必要がある
が、上述の実施例に従えば水平、垂直各ライン毎の平均
でも全体でも小さいブロック単位で処理できる。

【００６３】次に、本発明の一実施の形態による画像デ
ータ処理装置の利点について、具体的に説明する。

【００６４】画面全体における画素数が１０２４×１２
８０画素である場合について考える。１画素は２バイト
（８ビット）として計算すると、画面全体においては１
３１０７２０×２＝２６２１４４０バイトのメモリが必
要になる。このような大容量のメモリを画像処理ＬＳＩ
中に内蔵させるのは容易ではない（コストアップにな
る）。

【００６５】パイプラインの段数を最大１６とし、１ブ
ロックの画素数は３２×３２画素とする。画素バッファ
としては３２×３２×２×２＝４０９６バイト分の容量
を有するメモリが必要となる。３２×３２画素に対し
て、Ｙ（輝度）／Ｃ（色差）信号の２ビット分と、１ブ
ロックについて行方向の処理を終えた後に列方向の処理
を行う場合に行方向の処理によって形成されたバッファ
を保存しておくための中間バッファを必要とするため、
２倍の容量が必要となるためである。

【００６６】パイプライン復元のためのパイプラインバ
ッファメモリとしては、１６（パイプライン本数）×３
２（行方向又は列方向の画素数）×２（Ｙ−Ｃの２バイ
ト分）×２（行方向と列方向とで２倍）＝２０４８バイ
トの容量を有するメモリが必要となる。

【００６７】画素メモリとパイプライン復元メモリとの
両方を合計すると、６１４４バイトの容量を有するメモ
リが必要となる。この値は、画面全体に対する画素バッ
ファメモリを持つ場合の容量である上記の２６２１４４
０バイトと比べて、約４２７分の１の値である。すなわ
ち、約４００分の１の容量の内部メモリを設ければ、画
面全体に対する画素バッファメモリを有する場合と同等
の特性を有する画像データ処理が可能となる。

【００６８】尚、画素同士が重ならないようにタイリン
グする場合には、画質は劣化するが処理は簡単になる。
例えば１２８画素×１２８画素を１単位としてタイリン
グする場合には、本実施の形態による画像データ処理技
術を用いた場合のブロック内の画素数よりも約１６倍の
大きさを一単位とすることができる。しかしながら、こ
のような場合でも、１２８×１２８×２（Ｙ−Ｃ）＝３
２７６８バイトの容量を有するメモリが必要である。す
なわち、本実施の形態による画像データ処理技術を用い
ると、タイリングを行った場合よりも画質は向上する上
に、メモリの容量も約１／５ですむ。

【００６９】一方、１２８画素×１２８画素を１ブロッ
クとして本実施の形態による画像データ処理技術を用い
た場合には、１６×１２８×２×２＝８１９２バイトを
追加すれば画質の劣化を低減することができる。

【００７０】尚、第２のパイプライン保存メモリ（外部
メモリ）は、パイプラインの段数×水平画素数（例えば
１６×１２８×２＝４０９６バイト）が追加されるだけ
であり、大きなコストアップの要因にはならない。

【００７１】以上、本発明の実施の形態について例示し
たが、上記例示は制限的な意味を有さない。その他、種
々の変更、改良、組み合わせ等が可能なことは当業者に
は自明であろう。

【００７２】

【発明の効果】パイプライン処理を伴う画像データ処理
技術において、画像処理ＬＳＩに内蔵するバッファメモ
リの容量を低減できる。加えて、ブロックに分割するこ
とによるブロック歪みの影響を低減できる。

【００７３】従って、高性能かつ低コストのデジタルカ
メラを実現することができる。

【図面の簡単な説明】

【図１】 本発明の一実施の形態による画像データ処理
装置の概略構成を示すブロックダイアグラムである。

【図２】 本発明の一実施の形態による画像データ処理
技術の概要を示す図であり、図２（Ａ）はオリジナル画
像データをウェーブレット変換処理し、その後に処理後
データとパイプライン処理の内容とを内部メモリに保存
する工程を示す概略図である。図２（Ｂ）は、処理後デ
ータをパイプライン処理してオリジナルデータ領域に画
像データ圧縮装置に画像データを書き戻す工程を示す概
略図である。

【図３】 本発明の一実施の形態による画像データ処理
技術の概要を示す図であり、１行又は１列の画像データ
に関するデータ処理の流れを示すフローチャートであ
る。

【図４】 本発明の一実施の形態による画像データ処理
技術を示す図であり、１画面全体をブロックごとに処理
する様子を示す図である。

【図５】 本発明の一実施の形態による画像データ処理
技術を示す図であり、全体の画像データ処理の流れを示
すフローチャートである。

【図６】 パイプライン処理の１例を示す概略図であ
る。

【図７】 パイプライン処理の他の例を示す概略図であ
る。

【図８】 パイプライン処理のさらに他の例を示す概略
図である。

【符号の説明】

１ 画像信号処理回路 ３ 外部記憶媒体 ５ 内部バッファメモリ ７ ダイレクトアクセスメモリ回路 １１ オリジナルデータ領域 １３ パイプライン １５ 処理後データ領域

フロントページの続き Ｆターム(参考） 5B057 BA02 CA08 CA12 CA16 CB18 CC01 CG02 CH05 5C053 GB07 GB22 GB36 KA04 5C059 KK14 KK50 MA00 MA24 UA34 UA35 5C078 AA04 BA53 CA27 DA01

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ２次元平面上において行列状に配置され
   る多数の画像データを複数のブロックに分割して所定の
   ブロック順序でパイプライン処理するのに適しており、 前記多数の画像データを、ブロックごとに、かつ所定の
   ブロック順序でパイプライン処理するパイプライン処理
   回路と、 前記パイプライン処理中のデータをブロックごとに記憶
   することができるパイプラインバッファメモリと、 前記パイプラインバッファメモリからデータを読み出
   し、前記パイプライン処理回路にロードすると共に、当
   該ブロックに隣接するブロックのパイプライン処理を開
   始させる制御回路と、を内蔵する画像データ処理用集積
   回路。
2. 【請求項２】 前記パイプラインバッファメモリは、所
   定のブロック内において第１の処理を行った後の第１パ
   イプライン処理済みデータを記憶する第１のパイプライ
   ンバッファメモリを有し、前記パイプライン処理回路
   は、さらに第１パイプライン処理済みデータに第２の処
   理を行う請求項１に記載の画像データ処理用集積回路。
3. 【請求項３】 請求項２に記載の画像データ処理用集積
   回路と、 該画像データ処理用集積回路とは別個に設けられ、所定
   のブロック内において前記第２の処理を行った後の第２
   パイプライン処理済み画像データを記憶し、隣接するブ
   ロックを処理する際に初期値として提供する第２のパイ
   プラインバッファメモリを有している画像データ処理装
   置。
4. 【請求項４】 ２次元平面上において行列状に配置され
   る多数の画像データを複数のブロックに分割して所定の
   ブロック順序でパイプライン処理するのに適しており、 （ａ）多数の画像データの一部をブロックとして切り出
   し、その処理ブロックの画像データを第１の記憶領域に
   記憶させる工程と、 （ｂ）前記第１の記憶領域に記憶した画像データを読み
   出してパイプライン処理を行い、パイプライン処理済み
   のデータを第２の記憶領域に記憶させるとともに、パイ
   プライン処理の途中の第１の内容を第３の記憶領域に記
   憶させる工程と、 （ｃ）前記第２の記憶領域に記憶された画像データを読
   み出してパイプライン処理を行い、前記第１の記憶領域
   に記憶されているデータをパイプライン処理済み画像デ
   ータで書き換えるとともに、パイプライン処理の途中の
   第２の内容を第４の記憶領域に記憶させる工程と、 （ｄ）前記第３の記憶領域に記憶されているパイプライ
   ン処理の内容を読み出して初期値として用い、前記ブロ
   ック順序における次段のブロックの画像データのパイプ
   ライン処理を行う工程とを含む画像データ処理方法。
5. 【請求項５】さらに、 （ｆ）前記第２の内容を初期値として用い、隣接するブ
   ロックの画像データのパイプライン処理を行う工程とを
   含む請求項４に記載の画像データ処理方法。
6. 【請求項６】 前記パイプライン処理済みのデータを第
   ２の記憶領域に記憶させる工程は、前記第１の記憶領域
   に記憶した画像データを読み出す方向と直交する方向に
   記憶させる工程を含む請求項４又は５に記載の画像デー
   タ処理方法。