JP2000059635A

JP2000059635A - 画像処理装置及びその方法

Info

Publication number: JP2000059635A
Application number: JP10220687A
Authority: JP
Inventors: Shingo Tatsumi; 晋吾辰巳
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-08-04
Filing date: 1998-08-04
Publication date: 2000-02-25

Abstract

(57)【要約】【課題】ＪＰＥＧ画像を復元して補正情報を生成し、
補正を行なうためには、かなりの処理時間を要してしま
う。【解決手段】参照画像生成部８においては、復号器２
で復号されたＪＰＥＧ画像データ１のＤＣ成分のみか
ら、復元画像サイズ変換部７で生成されたサイズで参照
画像を生成する。そして補正情報生成部６で該参照画像
に基づいて復元画像の補正情報を生成し、画像補正部３
で復元画像データを補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法に関し、特に符号化された画像データを復号する
画像処理装置及びその方法に関する。

【０００２】

【従来の技術】近年の画像処理技術の発達に伴い、カラ
ー画像を処理可能な画像入力装置及び画像形成装置が普
及し、高画質化が進んでいる。例えば、一般にデジタル
カメラと呼ばれる電子スチルカメラ等の撮像装置で撮影
した自然画像を、カラープリンタで高詳細にプリントア
ウトするといった作業がごく一般的に行われるようにな
っている。

【０００３】一般に、カラー画像等、大量のデータを取
り扱う画像処理装置においては、大量のデータの記憶や
伝送等を効率良く行なうために、データ圧縮技術が用い
られる。特に、静止画像では所謂ＪＰＥＧ圧縮技術が一
般に知られている。例えば、上述した電子スチルカメラ
においては、撮影した画像をＪＰＥＧ形式に圧縮して、
データ量を低減してから、記憶メディアに記録してい
る。

【０００４】また、電子スチルカメラで画像を撮影する
場合、撮影された画像に対して種々の加工が施されるこ
とが一般的である。例えば、光学絞り、シャッター等に
よる露出補正や、電子撮像装置によって撮像されたデー
タに対する黒バランス補正、白バランス補正、γ補正、
色のマトリクス変換、等の画像加工が行われる。

【０００５】ところが、このような撮影画像に対する種
々の補正により、補正誤差が残留してしまう場合があ
る。特に電子スチルカメラにおいては、静止画像を撮影
するため、僅かなシャッター期間内で被写体の画像情報
を補正せねばならず、従って補正誤差が残留しやすい。
そして、このような残留誤差を有する撮影画像をプリン
トアウトすると、残留誤差が顕著に現れてしまう。

【０００６】そこで従来の電子スチルカメラにおいて
は、撮影画像のプリントアウト時に、圧縮保存した撮影
画像を復元し、該復元画像全体の特徴を抽出して必要な
補正情報を生成し、該補正情報に基づく補正を施した
後、実際のプリントアウトに供していた。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の電子スチルカメラのプリントアウトにおいては、補
正情報を生成するために、復元画像の全画像情報に基づ
いて画像特徴を抽出する必要があった。従って、画像特
徴抽出のための処理時間がかかり、全体としての処理時
間も増大していた。この処理時間を短縮するために、ハ
ードウェアによる処理を行なう方法もあるが、それはコ
スト高を招いてしまう。

【０００８】近年の電子スチルカメラの高解像度化に伴
い、処理すべき画素数が増大するため、上記問題は更に
深刻となりつつある。

【０００９】本発明は上述した問題を解決するためにな
されたものであり、圧縮画像に対する補正処理を、高速
かつ安定に行なうことが可能な画像処理装置及びその方
法を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理装置は以下の構成を
備える。

【００１１】即ち、原画像の空間周波数成分を符号化し
た符号化データを入力する入力手段と、前記符号化デー
タをその直流成分及び交流成分毎に復号して原画像の復
元画像データを生成する画像復元手段と、前記原画像の
サイズとは異なる参照画像サイズを発生するサイズ発生
手段と、前記画像復元手段において復号された直流成分
に基づいて、参照画像を前記参照画像サイズで生成する
参照画像生成手段と、前記参照画像に基づいて、前記復
元画像データの補正情報を生成する補正情報生成手段
と、前記復元画像データを前記補正情報に基づいて補正
する補正手段と、前記補正手段により補正された復元画
像データを出力する出力手段と、を有することを特徴と
する。

【００１２】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【００１３】●一般的なＪＰＥＧ圧縮，復元画像補正本実施形態の理解を容易にするために、まず、一般的な
ＪＰＥＧ圧縮について説明する。

【００１４】図２は、一般的なＪＰＥＧ圧縮を行なう符
号化器１００の構成を示すブロック図である。同図にお
いて、Ｍ×Ｎ画素からなる原画像データ１は、ブロック
化部２において所定画素数（通常、８×８画素）の単位
ブロックに分割される。ブロック化部２で分割された各
ブロック毎の画像データは、ＤＣＴ部（離散コサイン変
換器）３で、ＤＣＴ係数と呼ばれる水平方向８成分×垂
直方向８成分の６４個の周波数成分に変換される。この
ＤＣＴ係数の内、ＤＣ成分（６４個の係数中の１個）
は、ＤＣ成分量子化部４で量子化され、ＤＣ成分符号化
部５でエントロピー符号化処理された後、多重化部８へ
送られる。一方、ＤＣＴ係数の内、ＡＣ成分（６４−１
個）は、ＡＣ成分量子化部６で量子化され、更にＡＣ成
分符号化部７でエントロピー符号化処理された後、多重
化部８へ送られる。

【００１５】多重化部８においては、エントロピー符号
化されたＤＣ成分とＡＣ成分、及びエントロピー符号化
に至る処理に使用された量子化テーブルやエントロピー
符号化テーブル等の情報、更に原画像の画素サイズの情
報及びファイルを構成するための付加情報９等々を多重
化して、ＪＰＥＧ画像データ１０として出力する。ここ
で、ＤＣ成分とＡＣ成分とで符号化の処理が異なるの
は、ＤＣ成分は８×８画素のブロックの平均値に相当
し、隣のブロックとの間で平均値が大きく変化すること
はあまり無いという特性を有するために、ＤＣ成分の符
号化においては、直線をなすブロック間においてＤＣ係
数の差分を符号化する、所謂ＤＰＣＭ（差分パルス符号
モジュレーション）を行なっているためである。

【００１６】図３は、図２に示す符号化器１００によっ
て生成されたＪＰＥＧ画像を復元して、画像補正を施し
た後にプリントアウトする、一般的なプリンタの構成を
示す図である。

【００１７】同図において、不図示のデジタルカメラ等
の撮像装置により生成されたＪＰＥＧ画像データ１１
は、復号器２へ送られる。復号器２の逆多重化部２１
で、ＪＰＥＧ画像データ１１は、付加情報２２及びエン
トロピー符号化されたＡＣ成分とＤＣ成分とに分離され
る。分離されたＤＣ成分は、ＤＣ成分復号部２５、ＤＣ
成分逆量子化部２６を経て、逆ＤＣＴ部２７に至る。一
方、分離されたＡＣ成分は、ＡＣ成分復号部２３、ＡＣ
成分逆量子化部２４を経て、逆ＤＣＴ部２７に至る。逆
ＤＣＴ部２７では逆ＤＣＴ変換が行われ、その出力はブ
ロック復元部２８を経て、復元画像生成部２９におい
て、原画像が復元される。

【００１８】このように、ＪＰＥＧ画像データ１１から
原画像を復元する復号器２における工程は、図２に示し
た原画像データ１からＪＰＥＧ画像データ１０を生成す
るための符号化器１００における工程のちょうど逆を経
ることが分かる。尚、ＪＰＥＧ符号の復号を行なう復号
器２内の各部の動作については周知であるため、ここで
は詳細な説明を省略する。

【００１９】復号器２で復元された画像は、画像補正部
３及び補正情報生成部６へ送られる。補正情報生成部６
においては、復元された画像から特徴的な情報を抽出
し、この特徴情報に基づいて補正すべき情報（以下、補
正情報）を生成し、画像補正部３へ送る。ここで画像か
ら抽出される特徴的な情報とは、例えば、画像のヒスト
グラムを取ることにより得られる平均値，ピーク値，Ａ
ＰＬ値等が考えられる。

【００２０】画像補正部３においては、補正情報生成部
６から入力された補正情報に基づいて、復元画像に対し
て所望する加工処理を施し、バッファ４へ出力する。バ
ッファ４では、プリント部５へ送るのに必要なデータが
揃うまでデータを蓄積し、その後プリント部５へデータ
を送り印刷する。

【００２１】尚、図２に示すＪＰＥＧ画像データ１０
と、図３に示すＪＰＥＧ画像データ１１とで参照番号を
異にしているのは、両者は何らかの伝送路を介したもの
であるためであり、その内容は同じである。ここで伝送
路とは、有線又は無線（ＩｒＤＡを含む）の伝送路や、
磁気記憶媒体や半導体記憶媒体等の記憶メディア等によ
る伝達を行なう手段の総称である。

【００２２】●本実施形態における復元画像補正次に、本実施形態における復元画像補正について説明す
る。

【００２３】図１は、例えば図２に示す符号化器１００
によって生成されたＪＰＥＧ画像を復元して、画像補正
を施した後にプリントアウトする、本実施形態における
プリンタの構成を示す図である。同図において、上述し
た図３と同様の構成には同一番号を付し、説明を省略す
る。図１においては、図３に示した構成に対して復元画
像サイズ変換部７、参照画像生成部８を新たに追加する
ことによって、ＪＰＥＧ復号中に得られるＤＣ成分のみ
に基づいて、画像補正情報を生成可能とすることを特徴
とする。

【００２４】復元画像サイズ変換部７は、ＪＰＥＧ画像
データ１１から分離された付加情報２２によって示され
る画像サイズ情報に基づいて、ＪＰＥＧ符号化の際の単
位ブロック（８×８画素）を１画素と見なす様に、画像
サイズを変換する。復元画像サイズ変換部７によって生
成されたサイズ情報は、参照画像生成部８へ送られる。
一方、参照画像生成部８へは、ＤＣ成分復号部２５、Ｄ
Ｃ成分逆量子化部２６を経て復号されたＪＰＥＧ単位ブ
ロック毎のＤＣ成分が入力されており、参照画像生成部
８においては、上記２つの入力情報に基づいて参照画像
を生成し、該参照画像を補正情報生成部６へ出力する。
ここで参照画像とは、ＪＰＥＧ単位ブロック毎のＤＣ成
分が、参照画像の１画素に対応する様に構成された画像
である。

【００２５】補正情報生成部６においては、上記参照画
像に基づいて画像の特徴的な情報を抽出し、この情報か
ら補正情報を生成して画像補正部３へ送る。即ち、本実
施形態においては、原画像の単位ブロック内の平均値で
あるＤＣ成分を当該ブロック内の代表値とみなし、画像
の補正情報を生成することになる。ここで画像から抽出
される特徴的な情報とは、例えば、画像のヒストグラム
を取ることにより得られる平均値，ピーク値，白バラン
ス情報，黒バランス情報等が考えられる。尚、本実施形
態における補正情報生成処置のより具体的な例について
は後述するが、画像情報抽出の際の情報源である参照画
像のデータ量が減少するため、補正情報生成の処理速度
が向上することが分かる。

【００２６】画像補正部３においては、補正情報生成部
６から入力された補正情報に基づいて、復元画像生成部
２９から入力された復元画像に対して所望する加工処理
を施し、バッファ４へ出力する。バッファ４では、プリ
ント部５へ送るのに必要なデータが揃うまでデータを蓄
積し、その後プリント部５へデータを送り印刷する。こ
れにより、撮影時の残留誤差を軽減した良好なプリント
画像を得ることができる。

【００２７】本実施形態においては更に、上述したよう
に単位ブロック内の平均値に基づいて画像の特徴情報を
抽出することにより、各種画像データに対してノイズ等
の影響を受けない、安定した補正が可能となる。以下、
本実施形態による安定した補正情報生成処理について、
その具体例を挙げて説明する。

【００２８】●露出補正誤差の補正まず、電子スチルカメラの露出補正誤差を補正する場合
を例として、簡単に説明する。

【００２９】一般に、露出補正誤差を補正するために
は、入力画像の輝度分布を抽出する必要がある。従っ
て、例えば画像全体の輝度の平均値と輝度のピーク値と
を抽出し、両者のレベルに基づいて補正量を決定して全
体の画像レベルを補正していた。

【００３０】ところが、電子スチルカメラによる撮影の
際に、その被写体の一部分だけが輝度レベルが高い場
合、例えば被写体に点光源が含まれている等、入力画像
において数画素だけが高レベルである場合がある。この
ような瞬間的なピークレベルの情報は、画像全体の適正
な輝度レベルを決定する上で障害となってしまう。

【００３１】そこで本実施形態に示した様に、ある単位
ブロック内での平均値（ＤＣ成分）を用いて補正量を決
定した場合、上述したような瞬間的なピークレベル情報
の影響を受けることなく良好な情報抽出が可能となり、
結果として良好な画像補正が可能となる。

【００３２】また同様に、電子スチルカメラの露出補正
誤差を補正する場合、入力画像から輝度ヒストグラムを
抽出し、このヒストグラムに基づいて画像補正を行う場
合がある。このようにヒストグラムを参照する場合にお
いても、上述したような瞬間的な情報の影響を低減させ
るために、何らかの平均化処理を行なうことが望まし
い。即ち、入力画像全体に対して、ヒストグラムを抽出
する処理と、更にその平均化処理とを行なう必要があ
る。

【００３３】そこで本実施形態によれば、ヒストグラム
の抽出対象である参照画像において既に平均化がなされ
ているため、補正情報の生成をより簡便に行なうことが
可能となる。

【００３４】●白バランス補正次に、白バランス補正のための補正情報生成処置につい
て説明する。

【００３５】白バランス補正とは、電子スチルカメラに
よる撮影の際に、被写体に対する光源を補正するための
機能である。従って、補正すべき情報は、画像全体に重
畳されている。言い替えれば、光源の所謂色温度変化は
被写体全体に重畳されているため、撮影された画像全体
にも該色温度情報が重畳されていることになる。

【００３６】従って、撮影画像内の空間周波数成分にお
いて、色温度情報はほぼＤＣ成分に相当するため、本実
施形態に示した様な、単位ブロック内のＤＣ成分のみか
らなる画像に基づいて白バランス補正用の情報抽出を行
なうことは、非常に効率的である。

【００３７】以上説明したように本実施形態によれば、
補正情報を生成する際に参照する画像を、原画像の復元
画像ではなく、原画像の単位ブロック内の平均値である
ＤＣ成分を当該ブロック内の代表値とみなして生成した
画像とすることにより、画像情報抽出の際の情報源であ
る参照画像のデータ量が減少するため、負荷が軽減さ
れ、処理速度が向上する。

【００３８】また、単位ブロック内の平均値に基づいて
画像の特徴情報を抽出することにより、各種画像データ
に対してノイズ等の影響を受けない、安定した補正が可
能となる。

【００３９】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００４０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００４１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００４２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００４３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００４４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４５】

【発明の効果】以上説明したように本発明によれば、圧
縮画像に対する補正処理を、高速かつ安定に行なうこと
が可能となる。

【００４６】

【図面の簡単な説明】

【図１】本発明に係る一実施形態におけるＪＰＥＧ画像
データをプリントアウトするプリンタの構成を示す図で
ある。

【図２】ＪＰＥＧ圧縮を行なう一般的な符号化器の構成
を示すブロック図である。

【図３】ＪＰＥＧ画像データをプリントアウトする一般
的なプリンタの構成を示すブロック図である。

【符号の説明】

１ＪＰＥＧ画像データ２復号器３画像補正部４バッファ５プリント部６補正情報生成部７復元画像サイズ変換部８参照画像生成部２１逆多重化部２２付加情報２３ＡＣ成分復号部２４ＡＣ成分逆量子化部２５ＤＣ成分復号部２６ＤＣ成分逆量子化部２７逆ＤＣＴ部２８ブロック復元部２９復元画像生成部

Claims

【特許請求の範囲】

【請求項１】原画像の空間周波数成分を符号化した符
号化データを入力する入力手段と、前記符号化データをその直流成分及び交流成分毎に復号
して原画像の復元画像データを生成する画像復元手段
と、前記原画像のサイズとは異なる参照画像サイズを発生す
るサイズ発生手段と、前記画像復元手段において復号された直流成分に基づい
て、参照画像を前記参照画像サイズで生成する参照画像
生成手段と、前記参照画像に基づいて、前記復元画像データの補正情
報を生成する補正情報生成手段と、前記復元画像データを前記補正情報に基づいて補正する
補正手段と、前記補正手段により補正された復元画像データを出力す
る出力手段と、を有することを特徴とする画像処理装
置。
【請求項２】前記符号化データは原画像の単位ブロッ
ク毎に符号化されており、前記サイズ発生手段は、前記単位ブロックが前記参照画
像の少なくとも１画素に相当するように、参照画像サイ
ズを発生することを特徴とする請求項１記載の画像処理
装置。
【請求項３】前記符号化データは、ＪＰＥＧアルゴリ
ズムに基づく符号化データであることを特徴とする請求
項１記載の画像処理装置。
【請求項４】前記出力手段は、前記復元画像データを
記録媒体上に印刷出力することを特徴とする請求項１記
載の画像処理装置。
【請求項５】前記補正情報生成手段は、前記参照画像
の画像特徴を抽出し、該画像特徴に基づいて前記補正情
報を生成することを特徴とする請求項１記載の画像処理
装置。
【請求項６】前記補正情報生成手段は、前記参照画像
のヒストグラムに基づいて画像特徴を抽出することを特
徴とする請求項５記載の画像処理装置。
【請求項７】前記補正情報生成手段は、前記参照画像
の画像特徴として、少なくとも平均値，ピーク値，白バ
ランス情報，黒バランス情報のいずれか１つを抽出する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】前記原画像は露出補正誤差を含み、前記補正手段は、前記復元画像データにおける露出補正
誤差を補正することを特徴とする請求項１記載の画像処
理装置。
【請求項９】前記補正手段は、前記復元画像データに
おける白バランスを補正することを特徴とする請求項１
記載の画像処理装置。
【請求項１０】原画像の空間周波数成分を符号化した
符号化データを入力する入力工程と、前記符号化データをその直流成分及び交流成分毎に復号
して原画像の復元画像データを生成する画像復元工程
と、前記原画像のサイズとは異なる参照画像サイズを発生す
るサイズ発生工程と、前記画像復元手段において復号された直流成分に基づい
て、参照画像を前記参照画像サイズで生成する参照画像
生成工程と、前記参照画像に基づいて、前記復元画像データの補正情
報を生成する補正情報生成工程と、前記復元画像データを前記補正情報に基づいて補正する
補正工程と、前記補正手段により補正された復元画像データを出力す
る出力工程と、を有することを特徴とする画像処理方
法。
【請求項１１】前記符号化データは、ＪＰＥＧアルゴ
リズムに基づく符号化データであることを特徴とする請
求項１０記載の画像処理方法。
【請求項１２】前記出力工程においては、前記復元画
像データを記録媒体上に印刷出力することを特徴とする
請求項１０記載の画像処理方法。
【請求項１３】画像処理のプログラムコードを記録し
た記録媒体であって、該プログラムコードは、原画像の空間周波数成分を符号化した符号化データを入
力する入力工程のコードと、前記符号化データをその直流成分及び交流成分毎に復号
して原画像の復元画像データを生成する画像復元工程の
コードと、前記原画像のサイズとは異なる参照画像サイズを発生す
るサイズ発生工程のコードと、前記画像復元手段において復号された直流成分に基づい
て、参照画像を前記参照画像サイズで生成する参照画像
生成工程のコードと、前記参照画像に基づいて、前記復元画像データの補正情
報を生成する補正情報生成工程のコードと、前記復元画像データを前記補正情報に基づいて補正する
補正工程のコードと、前記補正手段により補正された復元画像データを出力す
る出力工程のコードと、を有することを特徴とする記録
媒体。