JP2003274427A

JP2003274427A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Info

Publication number: JP2003274427A
Application number: JP2002072164A
Authority: JP
Inventors: Ryosuke Iguchi; 良介井口; Yuji Akiyama; 勇治秋山; Manabu Yamazoe; 学山添; Takashi Fujita; 貴志藤田; Makoto Torigoe; 真鳥越; Shigeru Mizoguchi; 茂溝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-03-15
Filing date: 2002-03-15
Publication date: 2003-09-26
Also published as: US7242800B2; US20030174886A1

Abstract

(57)【要約】【課題】常に良好な処理後画像を提供できる画像処理
装置を提供する。【解決手段】解析手段１１０は、画像情報１０５に含
まれる画像１０７取得時の条件情報１０６（撮影画像１
０７の撮影時の条件情報）を解析し、この解析結果に基
づいて、画像１０７へ施す画像補正処理のアルゴリズム
を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ディジタ
ルスチルカメラ等により撮影して取得したディジタル画
像データをプリンタで印刷出力するための画像補正処理
を実行する装置或いはシステムに用いられる、画像処理
装置、画像処理システム、画像処理方法、それを実施す
るためのプログラムを記憶したコンピュータ読出可能な
記憶媒体、及び当該プログラムに関するものである。

【０００２】

【従来の技術】近年では、例えば、ディジタルスチルカ
メラの普及により、写真画像のディジタル化が手軽にな
り、特に、パーソナルコンピュータ（以下、単に「パソ
コン」と言う）上において、写真調の画像をディジタル
画像データとして扱う機会が増えてきた。さらに、パソ
コン上で各種のアプリケーションソフトウェアを使用す
ることで、写真調の画像であるディジタル画像データに
対して加工や編集処理を容易に行えるようになってい
る。

【０００３】一方、フルカラーハードコピー技術に関し
ても急速に発展しており、特に、インクジェット方式に
よる印刷技術では、インクドットによる粒状感を低減さ
せる技術の向上により、その印刷出力結果の画質が銀塩
写真での画質と同等のものとなりつつあり、また、比較
的簡易な印刷技術であることにより、広く普及してい
る。

【０００４】上述のような技術背景から、ディジタルス
チルカメラで撮影して取得したディジタル画像データを
手軽に印刷出力できることが求められている。また、印
刷出力時の画像補正処理に関して、複雑な機能を使用し
た手動での画像補正処理ではなく、パソコン上でアプリ
ケーションソフトウェアを使用することで、常に良好な
画像補正後の画像が得られる自動画像補正処理の必要性
が高まっている。

【０００５】そこで、良好な印刷出力結果を得るため
に、印刷出力を行う際に画像補正処理等の画像処理を施
して出力する方法としては、例えば、撮影画像のシーン
を解析し、その解析結果に基づいて自動的に画像補正を
行う方法等、様々な方法が提案されている。

【０００６】また、例えば、撮影画像を印刷出力した際
に、明るすぎたり（薄すぎたり）、或いは暗すぎたり
（濃すぎたり）することを防ぐための画像補正である所
謂「濃度補正」に関する方法が提案されている。また、
撮影画像における色かぶりや露出不良（明るさやコント
ラスト不良）、或いは彩度不良等の好ましくない画像及
び色かぶり等によりカラーバランスが崩れている画像を
補正する所謂「画像補正」の方法も提案されている。

【０００７】「濃度補正」及び「画像補正」の何れの画
像処理方法においても、自動画像補正のための構成とし
て、処理対象となる画像（原画像）における輝度信号の
輝度値毎に、対象輝度値の画素数を累積したヒストグラ
ムを用いることで原画像を解析し、当該解析結果に基づ
いて、原画像の補正を行う構成が用いられている。

【０００８】また、ディジタルスチルカメラ側の機能と
しては、撮影して取得した画像をディジタル画像データ
として、メモリカード等の記憶媒体に記録するだけでな
く、撮影時の撮影条件を表す付加情報をも、当該記録媒
体にディジタル画像データと共に記録することが可能と
なっている。

【０００９】

【発明が解決しようとする課題】ディジタルスチルカメ
ラにより撮影して得られた処理対象となる画像（対象画
像）の画像解析を行うことで対象画像のシーンの解析を
行い、当該解析結果に基づき対象画像の自動画像補正を
行う場合、基本的には、全ての対象画像に対して、理論
的に最適と考えられる画像（標準的な画像）が印刷出力
されるような自動画像補正を行うことになる。

【００１０】ところで、上述したような色補正、明るさ
補正は画像のヒストグラムを用いて、統計的に画像処理
をしているものが多く、画像データのみの解析だけでは
必ずしも全ての画像において最適に補正され難い。色補
正にはホワイトバランス情報が、明るさ補正には露出情
報を用いた方がより細密な判定を行うことができる。

【００１１】また、上述の自動画像補正は、ユーザが、
パソコン上でアプリケーションソフトウェアを使用し
て、パソコンのモニタに表示された対象画像を確認しな
がら手動で画像補正する手動画像補正とは異なり、標準
的な画像への自動画像補正が、対象画像を取得した時
（撮影時）のユーザの意図と反する補正が行われてしま
う場合がある。

【００１２】例えば、ユーザが意図的に手動設定を行
い、画像を明るく或いは暗くするような露出条件で撮影
して取得した画像に対しても、明るい画像であれば少し
暗めに画像補正され、また、暗い画像であれば少し明る
めに画像補正されることで、適正な明るさの画像として
出力されてしまう。すなわち、対象画像が、どのような
画像であっても、同一な明るさの画像に画像補正されて
出力されてしまう。

【００１３】また、ユーザが、ディジタルスチルカメラ
のホワイトバランスを意図的に変えることで特殊な効果
を狙った画像に対しても、同様に最適なカラーバランス
となるような画像補正が行われてしまう。

【００１４】一方、そうした露出補正やカラーバランス
補正、或いは撮影シーン情報を元にした画像最適化処理
など、複数の画像処理を行う場合、それぞれ独立に実行
してしまうと、同様の処理を重複してかけてしまった
り、強調すべき点が後の処理で弱まってしまったりする
ことがある。つまり複数の処理を行う場合には、同様の
処理の重複を避けなければならないし、どの処理を重要
視し、どの処理を弱めるかを考慮しなければならない。

【００１５】また上記と同様、近年におけるディジタル
スチルカメラの高機能化に伴い、例えば、撮影して取得
した画像に対して、彩度を高める或いはコントラストや
明るさを可変する等という特殊効果機能が設けられたカ
メラがあるが、当該特殊効果機能を使用すると共に、画
像補正処理を実行してしまうと、二重補正により、当該
特殊効果機能による特殊効果が失われてしまう、或いは
特殊効果の補正が強くなりすぎてしまうこと等により、
処理後画像が悪化する場合があった。

【００１６】そこで、本発明は、上記の欠点を除去する
ために成されたもので、常に良好な処理後画像を提供で
きる、画像処理装置、画像処理システム、画像処理方
法、それを実施するためのプログラムを記憶したコンピ
ュータ読出可能な記憶媒体、及び当該プログラムを提供
することを目的とする。

【００１７】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、画像取得時の条件情報を含む画像情報に
対して画像処理を施す画像処理装置であって、上記条件
情報を解析する解析手段と、上記解析手段の解析結果に
基づいて、明るさの度合いを示す値に基づいて画像の明
るさ補正量を求め、カラーバランスの度合いを示す値に
基づいて画像の色補正量を求め、ズームに関する値に応
じて画像のスムージング補正量を求める処理決定手段と
を備えることを特徴とする。

【００１８】第２の発明は、複数の画像情報を取得し、
それらに対応する複数の処理を行う場合、複数の処理を
行う優先順位を設定することを特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００２０】本実施の形態は、例えば、図１に示すよう
な画像印刷システム１００に適用される。

【００２１】本実施の形態の画像印刷システム１００
は、特に、ディジタルスチルカメラ１０１で撮影して得
られた処理対象の画像データに付加された撮影条件を示
す情報（付加情報）の解析結果に基づいて、当該画像デ
ータの画像補正を自動的に実施することで、高精度な自
動画像補正を実現し、撮影時のユーザの意図を、より反
映した高品質の写真画像印刷結果を提供できるように構
成されている。

【００２２】以下、本実施の形態の画像印刷システム１
００の構成及び動作について具体的に説明する。

【００２３】＜画像印刷システム１００の構成＞画像印
刷システム１００は、上記図１に示すように、ディジタ
ルスチルカメラ１０１、画像処理装置１０８、及びプリ
ンタ１１５を含む構成としている。

【００２４】ディジタルスチルカメラ１０１は、撮影動
作により撮影画像データ１０７を取得すると共に、当該
撮影動作における撮影条件データ１０６（付加情報）及
び撮影画像データ１０７を含む画像データ１０５を画像
処理装置１０８に対して出力するものであり、撮影条件
設定部１０２、撮影条件記録部１０３、及び撮影画像記
録部１０４を備えている。

【００２５】撮影条件設定部１０２は、撮影動作に必要
な各種の撮影条件の設定を行なう。

【００２６】撮影条件記録部１０３は、撮影条件設定部
１０２で設定された撮影条件のデータ１０６を、画像デ
ータ１０５（画像処理装置１０８への出力用のデータ）
中に記録する。

【００２７】撮影画像記録部１０４は、撮影条件設定部
１０２で設定された撮影条件に従った撮影動作により取
得された撮影画像データ１０７を、画像データ１０５中
に記録する。

【００２８】尚、画像データ１０５の画像処理装置１０
８への供給方法としては、例えば、通信回線を介したデ
ータ転送による方法、或いは任意の記録媒体又は記憶媒
体に記録することによる方法等を適用可能である。

【００２９】画像処理装置１０８は、例えば、パーソナ
ルコンピュータからなり、所定のアプリケーションソフ
トウェアの起動により、ディジタルスチルカメラ１０１
からの画像データ１０５の撮影画像データ１０７に対し
て画像補正処理を施してプリンタ１１５で印刷出力す
る。

【００３０】このため、画像処理装置１０８は、リーダ
部１０９、撮影条件解析部１１１及び撮影画像解析部１
１２を含むデータ解析部１１０、画像補正処理部１１
３、及び印刷データ変換部１１４を備えており、これら
の構成部１０９〜１１４の各機能は、上記の所定のアプ
リケーションソフトウェアの起動により実現される。

【００３１】リーダ部１０９は、ディジタルスチルカメ
ラ１０１からの画像データ１０５を読み取る。データ解
析部１１０は、撮影条件解析部１１１により、リーダ部
１０９で得られた画像データ１０５に含まれる撮影条件
データ１０６を解析すると共に、撮影画像解析部１１２
により、リーダ部１０９で得られた画像データ１０５に
含まれる撮影画像データ１０７を解析し、当該解析結果
に基づいて、画像補正アルゴリズムを選択する。

【００３２】画像補正処理部１１３は、データ解析部１
１０で選択された画像補正アルゴリズムにより、撮影画
像データ１０７に対して画像補正処理を施す。

【００３３】画像補正アルゴリズムの選択（決定）につ
いて、具体的には例えば、撮影画像解析部１１２が、撮
影画像データ１０７の信号値から輝度値や輝度分布を解
析する場合、当該解析結果により、撮影画像データ１０
７の特性を認識し、この結果に該当する最適な補正条件
を決定し、当該決定条件に基づいた画像補正アルゴリズ
ムを選択する。

【００３４】すなわち、最終的な画像補正アルゴリズム
の選択は撮影条件解析部１１１による撮影条件データ１
０６の解析結果により決定したアルゴリズムと撮影画像
解析部１１２によって撮影画像データ１０７の特性認識
により決定したアルゴリズムとにより決められる。

【００３５】また、画像補正処理としては、明るさ補正
処理、コントラスト補正処理、色補正処理、彩度補正処
理、平滑化処理、輪郭強調処理、及びノイズ低減処理等
が挙げられる。

【００３６】印刷データ変換部１１４は、画像補正処理
部１１３での補正後の撮影画像データ１０７を、プリン
タ１１５で印刷可能な適切な形式のデータ（例えば、Ｃ
ＭＹＫデータ）に変換し、当該変換後データを、所定の
インタフェースを介してプリンタ１１５へ転送する。

【００３７】したがって、プリンタ１１５は、画像処理
装置１０８の印刷データ変換部１１４から転送されてき
たデータを印刷出力する。

【００３８】プリンタ１１５としては、例えば、シリア
ルスキャン形式のインクジェット方式のプリンタ等を適
用可能である。

【００３９】尚、本実施の形態では、画像処理部１０８
が備える構成部１０９〜１１４を、パーソナルコンピュ
ータ上で動作するアプリケーションソフトウェアの起動
により実現するものとしているが、これに限られること
はなく、例えば、ハードウェアにより実現するようにし
てもよい。さらに具体的には、プリンタ１１５のドライ
バの形態で実現するようにしてもよい。

【００４０】また、例えば、画像処理部１０８としてパ
ーソナルコンピュータを用いた場合、画像データ１０５
を、画像処理部１０８のハードディスク等の記憶媒体に
保持し、或いは画像処理部１０８に接続された別のパー
ソナルコンピュータ（サーバ等を含む）の記憶媒体に保
持し、これを画像処理部１０８内で処理するようにして
もよい。

【００４１】また、ディジタルスチルカメラ１０１から
画像処理部１０８（画像処理部１０８としてパーソナル
コンピュータを用いた場合には、その内部の記憶媒体
等）への画像データ１０５の受け渡しについては、上述
したように任意の通信回線や記録媒体又は記憶媒体を利
用する方法等が適用可能であるが、さらに具体的には例
えば、カードリーダやケーブル接続、或いは赤外線通
信、或いは無線通信を適用可能である。この場合、例え
ば、ディジタルスチルカメラ１０１と画像処理部１０８
をケーブル接続、或いは赤外線通信、或いは無線通信で
接続し、画像処理部１０８が、ディジタルスチルカメラ
１０１が保持するメモリカードや内蔵メモリ等から、直
接画像データ１０５を読み込むようにしてもよい。

【００４２】また、画像印刷システム１００のシステム
形態としては、例えば、プリンタ１１５内部に対して、
画像処理装置１０８の機能を設けるように構成してもよ
い。この場合、画像処理装置１０８としてパーソナルコ
ンピュータ等を用いる必要はない。また、この場合に
は、例えば、プリンタ１１５において、画像データ１０
５を、プリンタ１１５に設けられたカードリーダ等のデ
ータ読取手段（リーダ部１０９の機能に相当）により、
メモリカード等の記録媒体又は記憶媒体を介して読み取
るようにしてもよい。或いは、ディジタルスチルカメラ
１０１とプリンタ１１５を有線ケーブル、或いは赤外線
通信、或いは無線通信により接続し、プリンタ１１５
が、ディジタルスチルカメラ１０１が保持するメモリカ
ードや内蔵メモリ等から画像データ１０５を読み出すよ
うにしてもよい。

【００４３】図２にＲＧＢ画像信号より画像補正に最適
なＬａｂ信号に変換するフローチャートを示す。２０２
で画像補正処理を行った後、Ｌ’ａ’ｂ’信号を再び
Ｒ’Ｇ’Ｂ’に戻すことで単純かつ効果的な補正ができ
る。またＬａｂ信号を用いず、簡易的なＹＣｂＣｒ信号
を用いてもよい。なお本実施例では、ＹｃｂＣｒ信号を
用いることにする。

【００４４】次に画像補正処理部１１３の処理内容につ
いて述べる。まず撮影条件データ１０６にある、ホワイ
トバランスに関する情報を読みとり、それが自動撮影
（オートモード）ならばカラーバランス補正（色補正）
を行う。

【００４５】一方、撮影条件データ１０６にある露出に
関する情報を読みとり、それが自動撮影（オートモー
ド）ならば明るさ補正（印刷濃度補正）を行う。

【００４６】また、撮影条件データ１０６にあるデジタ
ルズームに関する情報を読みとり、それが実行されてい
る（ＯＮ）ならば画像にスムージング補正を行う。

【００４７】＜カラーバランス補正＞［第１の実施の形態］はじめに、カラーバランス補正に
ついてその処理内容を図３〜図１０を用いて説明する。

【００４８】本実施形態の画像補正処理部１１３は、図
３に示したように、ヒストグラム作成処理（図３−Ｓ
１）とヒストグラムに応じた画像補正処理（図３−Ｓ
２）を行う。ステップ図３−Ｓ１では、図４に示すよう
な処理によりヒストグラムを作成する。そして、作成さ
れたヒストグラムに基づき画像のハイライトポイントお
よびシャドーポイントを決定する。

【００４９】（輝度ヒストグラムの作成）図４は本実施
形態での輝度ヒストグラムを作成するフローチャートで
ある。

【００５０】図４において、図４−Ｓ１で原画像の輝度
ヒストグラム作成のルーチンに入ると、図４−Ｓ２で原
画像の画素から輝度ヒストグラムの作成に用いる画素の
選択比率を決定する。本実施形態では、処理対象の画像
データが３５万画素の場合に全画素を対象（選択比率１
（あるいは１００％））に輝度ヒストグラムを作成する
こととする。３５万画素以上の画素数の画像データが入
力された場合には、その総画素数の３５万画素に対する
比率に応じて画素選択（サンプリング）を行う。例え
ば、３５０万画素の画像データが入力された場合には、
選択比率は３５０万／３５万＝１０であり、１０画素に
１画素の割合（選択比率１０（あるいは１０％））で輝
度ヒストグラムを作成する。本実施形態では選択比率ｎ
は次式により求める。ｎ＝ｉｎｔ（対象画像データの総画素数／基準画素数３
５万）（但し、ｎ＜１の時はｎ＝１、ｎは正数）続いて図４−Ｓ３でライン番号を管理するカウンタをリ
セットあるいは所定の初期値にセットし、図４−Ｓ４で
そのカウンタをインクリメントして注目ラインのライン
番号とする。

【００５１】本実施形態では画素の間引き（サンプリン
グ）はライン単位で行うので、選択比率ｎの場合には、
ライン番号をｎで割ったときの余りが０の場合に、その
ラインに属する画素を処理対象として選択する（図４−
Ｓ５−ＹＥＳ）。例えば選択比率１０の場合であれば、
ライン番号を１０で割ったときの余りが０の場合に、そ
のラインに属する画素を処理対象として選択する注目ラ
インが間引かれるライン、すなわち処理対象とならない
ラインの場合には図４−Ｓ４に戻る。処理対象ラインの
場合には図４−Ｓ６に進み、注目ラインに属する画素に
順次注目し、その注目画素に対して輝度変換，色度変換
を処理を行う。本実施形態における輝度変換、色度変換
は以下の式により行う。なお、輝度、色度変換は以下の
式に限らず様々な式を用いることが可能である。Ｙ（輝度）＝ｉｎｔ（０．３０Ｒ＋０．５９Ｇ＋０．
１１Ｂ）（Ｙは正数）Ｃ１（色度）＝Ｒ−ＹＣ２（色度）＝Ｂ−Ｙまた本実施形態では白位置（ハイライトポイント）、黒
位置（シャドーポイント）の検出精度を向上させるため
に次式により注目画素の彩度Ｓを計算し、予め定めた彩
度値（Ｓｃｏｎｓｔ）より大きいか否かを判断して（図
４−Ｓ７）、大きい場合には、その画素の情報は輝度ヒ
ストグラムに反映させない。彩度Ｓ＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２）ここでｓｑｒｔ（ｘ）はｘの平方根を与える関数であ
り、ｘ＾ｙはｘのｙ乗を表す。

【００５２】即ち、（Ｓ＞Ｓｃｏｎｓｔ）の場合には図
４−Ｓ６に戻り、注目画素のデータは以後の処理に反映
させない。これは、後述する通り、白位置の彩度は高輝
度の画素群の平均彩度により与えられ、その彩度の値は
色かぶりにより生じた誤差となるため、本来高彩度であ
ると考えられる画素はハイライトポイントの算出から除
外したほうが良いためである。この処理の効果を具体例
を上げて説明する。例えばイエローの画素（Ｒ＝Ｇ＝２
５５、Ｂ＝０）は、上式からその輝度Ｙは２２６とな
り、彩度Ｓは２２７となる。すなわち、この画素は極め
て高輝度であるとともに、十分に彩度の高い色を有する
ことが分かる。このような画素は、無彩色の画素がイエ
ローに色かぶりした結果そのようになったと判断するよ
りも、本来イエローの画素であると判断した方が多くの
場合間違えが少ない。このような高輝度・高彩度の画素
を輝度ヒストグラムに含めると、検出される白位置に誤
差が生じてしまう。よって、本実施形態では所定の彩度
（Ｓｃｏｎｓｔ）を定め、所定の彩度を越える彩度の画
素は輝度ヒストグラムに含めない。こうすることで、高
彩度の画素により検出される白位置に誤差が生じること
を防ぎ、白位置の精度を向上させることができる。

【００５３】このように、図４−Ｓ７における判断の
後、条件（Ｓ≦Ｓｃｏｎｓｔ）を満たした画素について
輝度ヒストグラムを作成していく（図４−Ｓ８）。ここ
で本実施形態で扱う画素データＲＧＢは各８ビット（２
５６階調）データであるので、輝度Ｙも２５６の深さに
変換される。よって輝度ヒストグラムは、０から２５５
までの２５６段階の各輝度値の画素が夫々何度数あるか
を計数することで得られる。

【００５４】また色度Ｃ１，Ｃ２の計算値は、後の色か
ぶり補正時に、各輝度値を有する画素の平均色度を算出
するためのデータとして用いるので、本実施形態では次
のようにデータを保持する。すなわち、インデクスの範
囲が０から２５５の構造体配列変数の形式で、度数，Ｃ
１累積値，Ｃ２累積値の３メンバーを設定し、各画素ご
との演算結果をその画素の輝度値をインデクスとする各
メンバーに反映していく。

【００５５】注目画素について処理を終えたなら、注目
ラインの全画素の処理が終了したかどうかを判断し（図
４−Ｓ９）、注目ラインに未処理画素が残っている場合
には図４−Ｓ６に戻り、図４−Ｓ６以降の処理を繰り返
す。注目ライン内の全画素の処理が終了したら、図４−
Ｓ１０で未処理のラインが残っているかを判断し、全ラ
イン終了であれば図４−Ｓ１１で終了し、未処理のライ
ンが残っていれば図４−Ｓ４に戻り、注目ラインを次の
ラインに移して上記処理を繰り返す。

【００５６】以上の様に原画像データの画素を選択しな
がら輝度ヒストグラムを作成することにより、必要最小
限の画素数で、且つ後の白位置、黒位置検出時の精度の
向上も考慮した輝度ヒストグラムを作成することができ
る。

【００５７】（白位置（ハイライトポイント），黒位置
（シャドーポイント）の決定）輝度ヒストグラムが完成
したら、そのヒストグラムから白位置（ホワイトポイン
ト）、黒位置（シャドーポイント）を決定する。本実施
形態では、輝度ヒストグラムにおける輝度値０及び輝度
値２５５の両端から中心方向に累積輝度度数値が１７５
０になる点をそれぞれ黒位置および白位置と定める。

【００５８】すなわち、輝度値Ｙの画素の度数をＰＹと
すると、Ｐ０＋Ｐ１＋・・・と累積度数を求めていき、
累積度数が１７５０を越えた時の輝度値を黒位置の輝度
値ＹＳＤとする。次いで輝度ＹＳＤの画素の平均色度を
求める。前記の通り、輝度ヒストグラム作成時に各輝度
値の色度の累積値が計算されている（輝度Ｎの画素の累
積色度をＣ１Ｎｔｏｔａｌ，Ｃ２Ｎｔｏｔａｌとする）
ので、黒位置である輝度値ＹＳＤの画素の平均色度Ｃ１
ＳＤ，Ｃ２ＳＤを求める。Ｃ１ＳＤ＝Ｃ１ＹＳＤｔｏｔａｌ／ＰＹＳＤＣ２ＳＤ＝Ｃ２ＹＳＤｔｏｔａｌ／ＰＹＳＤ同様に白位置の決定を行う。Ｐ２５５＋Ｐ２５４＋・・
・と累積度数を求めていき、該累積度数が１７５０を越
えた時の輝度値を黒位置の輝度値ＹＨＬとする。次いで
輝度ＹＨＬの画素の平均色度Ｃ１ＨＬ，Ｃ２ＨＬを求め
る。Ｃ１ＨＬ＝Ｃ１ＹＨＬｔｏｔａｌ／ＰＹＨＬＣ２ＨＬ＝Ｃ２ＹＨＬｔｏｔａｌ／ＰＹＨＬ以上の演算を行うことにより、［Ｃ１，Ｃ２，Ｙ］色空
間において、白位置（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と
黒位置（Ｃ１ＳＤ，Ｃ２ＳＤ，ＹＳＤ）を求めることが
できる。

【００５９】尚、本実施形態では輝度値０と輝度値２５
５の輝度位置から累積度数を求めたが、輝度値１と輝度
値２５４から求めるなど、所定のオフセットを与えても
良い。

【００６０】以上のようにして、図３のステップＳ１に
おいて、白位置（ハイライトポイント）／黒位置（シャ
ドーポイント）を決定する。

【００６１】次に、図３のＳ２において、図３−Ｓ１で
決定された白位置および黒位置に基づいた画像補正処理
を行う。本実施形態では画像補正処理として、原画像の
色かぶりを補正する色かぶり補正、原画像の露出を最適
化すべく輝度のコントラストを補正する露出補正、およ
び出力画像の色のみえを良くするための彩度補正を行
う。

【００６２】図９は、画像補正処理部１１３により図３
のステップＳ２で行われる補正処理の流れを示してい
る。すなわち、まず色かぶり補正のための回転行列を求
め、次にその回転行列を用いて色バランス（色かぶり）
を補正し、最後に画像の露出の状態に応じて、輝度信号
のガンマ変換を行う。これら各処理を、順を追って説明
する。

【００６３】（色かぶり補正）上記の通り原画像の（Ｃ
１，Ｃ２，Ｙ）色空間における白位置、黒位置が求めら
れたら、引き続いて色かぶりの補正を行う。

【００６４】もし原画像に色かぶりが無く理想的な画像
であるとすれば、無彩色はＲ＝Ｇ＝Ｂであり、白位置、
黒位置の色度の演算値は「Ｃ１ＨＬ＝Ｃ２ＨＬ＝Ｃ１Ｓ
Ｄ＝Ｃ２ＳＤ＝０」となる。しかし色かぶりがある場合
には、かぶっている色相方向に、かぶっている程度に比
例して、（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と（Ｃ１Ｓ
Ｄ，Ｃ２ＳＤ，ＹＳＤ）を結ぶ直線（色立体軸）に傾き
が生じる。色かぶり補正は色立体軸とＹ軸（輝度軸）が
一致する様に変換することで達成できる。変換は色立体
を回転、平行移動させることでも達成できるし、座標系
を変換することでも達成できる。

【００６５】本実施形態ではまず原画像の色立体におい
て、色立体軸の最低輝度点（下端点）を回転中心とし
て、色立体軸をＹ軸と平行となる様に回転させる。次い
で前記最低輝度点の位置が（Ｃ１，Ｃ２，Ｙ）空間の原
点となるように座標系を変換する。以上の処理により、
最低輝度点が原点で、色立体軸がＹ軸と一致する変換結
果が得られる。なお、図５（ａ）は色かぶりのない理想
的な画像データの色分布を示す色立体である。上述の変
換により、変換後の色立体は、理想的な色立体（図５
（ａ））に近づけられる。

【００６６】なお、色立体軸をＹ軸と平行に回転させる
回転変換にあたっては、シャドーポイント及びハイライ
トポイントの座標値から、回転変換の回転軸及び回転角
は簡単に決めることができる。３次元空間上で、立体を
所望の回転軸周りに所望の角度で回転させる回転行列を
求める手法は公知の技術であるので、この詳細な説明は
省略する。

【００６７】以上の様に、原画像の各画素を、色度と輝
度とを軸とする３次元色空間の画素データ（Ｃ１，Ｃ
２，Ｙ）に変換し、その画像データを、黒位置と白位置
とを結ぶ色立体軸（グレーライン）がＹ軸と一致し、か
つ最低輝度が座標原点となるような画素データ（Ｃ
１’，Ｃ２’，Ｙ’）に回転、平行移動変換することに
より、色かぶりの補正を行うことが可能となる。

【００６８】（コントラスト及び彩度の調整）次にコン
トラスト及び彩度の調整による画像のさらなる高品質を
実現するために、画像の露出オーバー／アンダーを簡易
的に判定し、それに応じて輝度信号にガンマ補正をかけ
る方法を説明する。

【００６９】なおこの処理は主にカラーバランス補正の
一部であり、上述したような撮影条件データ１０６に含
まれる露出データは考慮しておらず、後述する露出デー
タの値を加味した明るさ補正とは異なる。

【００７０】コントラストの調整は、黒位置（シャドー
ポイント）の輝度を“０”あるいはそれに近い値（例え
ば“１０”）に調整し、白位置（ハイライトポイント）
の輝度を“２５５”あるいはそれに近い値（例えば“２
４５”）に調整することで行う。

【００７１】次に、画像の露出のオーバー・アンダーを
簡易的に判定し、画像データに対してそれに応じたガン
マ補正を施す際の一実施例を示す。

【００７２】まず、補正する色立体軸と輝度（Ｙ）軸と
が最小距離となる点、つまり図５（ｂ）におけるＴ，
Ｔ’を求める。これは幾何学的な関係から簡単に求める
ことができる。

【００７３】そして、点Ｔ’の色かぶり補正後の輝度成
分ＹＴ’が点Ｔの輝度成分ＹＴとなるようにコントラス
トを調整する。つまり図６に示すように（ＹＴ’，Ｙ
Ｔ）を屈折点とし、色かぶり補正後の輝度Ｙ’がＹＴ’
より小さい場合は、輝度を直線ａとして与えられる関数
によりＹ”に補正し、ＹＴ’より大きい場合は、直線ｂ
として与えられる関数によってＹ”に補正する。

【００７４】もちろん、このＴ，Ｔ’を使わずに、図６
の直線ｌ２で与えられるような補正をおこなってもよ
い。色立体軸が輝度軸と並行になる場合は、点Ｔ，Ｔ’
は１対ではないし、また、Ｔ，Ｔ’が輝度の範囲［０，
２５５］の外にある場合には、点（ＹＴ’，ＹＴ）を屈
折点とすることはできない。このような特殊なケースで
は直線ｌ２に従って補正すればよい。

【００７５】この２直線の最近接点Ｔ，Ｔ’を用いた補
正の効果は、とくに露出のオーバーあるいはアンダーの
画像に作用する。露出がオーバーになるのは空などの明
るいところに画像全体が引っ張られるためである。この
際デジタルカメラを代表する入力機器では、高輝度色抑
圧が行われ、高輝度部の彩度がおとされる。すなわち、
高輝度色抑圧の行われた画像の色立体軸を、図７（ａ）
に示すように彩度と輝度とを軸とする２次元平面で考え
ると、高輝度の部分でもっとも無彩色に近い画素があら
われる。逆に、露出アンダーの画像に対しては低輝度色
抑圧がかかるため、図７（ｂ）のように、低輝度の部分
で彩度が低くなる。

【００７６】実際の画像で色立体の輝度軸を輝度−彩度
平面で考えると露出オーバーの画像に関しては例えば、
図７（ｃ）のようになる。逆にアンダーの画像に関して
は例えば、図７（ｄ）のようになる。そもそも本来ある
べき（理想的な状態の）色立体から、なんらかの撮影状
況や入力時（Ａ／Ｄ変換時）の影響で実際の色立体がず
れるのだと考えれば、Ｔ，Ｔ’の位置がもっともズレの
小さい場所と考えられる。従って、本発明の一実施の形
態ではこれを戻してやることで簡易的に適切なグレー、
つまり全体の明るさ補正を行うものである。

【００７７】もちろんこのＴを単に画像の露出オーバー
・アンダーを簡易的に判定する手段として用い、あらか
じめアンダー用のＬＵＴ（ルックアップテーブル）、オ
ーバー用のＬＵＴを用意し、点ＴあるいはＴ’の輝度成
分に応じて輝度信号のガンマ調整を行ってもよい。例え
ば、図６の点（ＹＴ’，ＹＴ）を変曲点とするような曲
線によってコントラストの調整を行ってもよい。従っ
て、このＴ，Ｔ’の値によって簡易的に画像が露出オー
バーなのか、アンダーなのか判定できる。すなわち、色
立体軸においてもっとも彩度の低い点である点Ｔ’の輝
度成分が高輝度よりにあれば、その画像の輝度−彩度の
関係は図７（ａ）のような傾向を示すし、逆に点Ｔ’の
輝度成分が低輝度よりにあれば、その画像の輝度−彩度
の関係は図７（ｂ）のような傾向を示す。したがって、
高輝度色抑制及び低輝度色抑制された画像において、点
Ｔ’の輝度成分が高輝度よりにあれば、その画像は露出
オーバー傾向にあり、点Ｔ’の輝度成分が低輝度よりに
あれば、その画像は露出アンダー傾向にあると考えられ
る。

【００７８】一方、彩度調整は、色差Ｃ１，Ｃ２に彩度
補正係数を乗ずることで簡単に行うことができる。例え
ば、彩度を２０％あげる場合は、補正後の彩度は補正前
の１２０％となることから、彩度補正係数を１．２とし
て計算する。すなわち、Ｃ１”＝１．２×Ｃ１’ Ｃ２”＝１．２×Ｃ２’ として彩度補正を行うことができる。これは、（彩度）＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２）で定義されることによる。

【００７９】（ＲＧＢ空間への逆変換）以上で本実施形
態における各種補正が終了する。この時点で原画像の各
画素は（Ｒ，Ｇ，Ｂ）の色信号データから（Ｃ１”，Ｃ
２”，Ｙ”）の色空間データに変換された状態にあるの
で、再度（Ｒ’，Ｇ’，Ｂ’）の色信号データに逆変換
する。逆変換は以下の式により行う。Ｒ’＝Ｙ”＋Ｃ１” Ｇ’＝Ｙ”−（０．３／０．５９）＊Ｃ１”−（０．１
１／０．５９）＊Ｃ２” Ｂ’＝Ｙ”＋Ｃ２” このようにして、原画像に対して、色かぶり，コントラ
スト、彩度が補正されたＲＧＢデータを得ることができ
る。

【００８０】以上のように、本実施形態によれば、少な
い処理負荷で確実に色かぶり補正が可能となる。また、
本実施形態によれば、サンプリング条件を原画像の画像
データサイズに応じて設定しているので、入力画像にか
かわらずヒストグラム総度数と、白位置及び黒位置を決
定するための累積度数との関係をほぼ一定にすることが
できる。したがって、良好な色かぶり補正を実現するこ
とができる。

【００８１】さらに、補正対象画像の色立体軸と輝度軸
との距離が最短となる点における輝度を維持するように
画像全体を非線形にガンマ補正することで、もっとも原
画像の値に近いと考えられる輝度を維持しつつ、コント
ラストを補正することができる。

【００８２】さらに、画像が露出オーバーであるか露出
アンダーであるかという露出状態を簡単に得ることがで
きる。さらに、その露出状態に応じて異なるテーブルを
選択し、ガンマ補正を施すこともできる。ただし、この
露出を調べる手段は、画像データをヒストグラム解析し
て簡易的に行うもので、撮影条件データ１０６を元に露
出の状態を調べる方法とは異なる。

【００８３】なお、サンプリングをライン単位でなくカ
ラム単位で行っても構わない。

【００８４】［第２の実施の形態］次に、上述した第１
実施形態に対して、補正度合いを考慮した第２の実施形
態について説明する。

【００８５】第１実施形態で説明したように、画像の色
立体軸を求める際に、この軸の傾きがあまりにも大きい
場合、これを無理に補正すると画像に不具合が生じる場
合がある。これには例えば色フィルタなどをもちいて故
意に色かぶりを起こしているような場合や、夕焼けのシ
ーンを撮影した場合などが考えられる。

【００８６】このような場合、求めたハイライトポイン
トとシャドーポイントが間違っていたと判断して補正を
行わないか、または、回転角を適当に調整して補正度合
いを弱めることで不具合をなくすことができる。このよ
うなハイライトポイントとシャドーポイントが間違って
いたという判定は、色立体軸の方向によって可能であ
る。色立体軸の傾きから、どの色がかぶっているのか容
易に判定できるので、特殊効果を得るために例えば色フ
ィルタを用いて撮影された画像については色かぶりを補
正しないというような判定もできる。

【００８７】このような場合、色立体軸の方向ベクトル
と、輝度軸とのなす角度に着目し、色かぶり補正を行う
ことで逆に不都合が生じると判定して処理を行わない
か、または、処理の度合をゆるめる。例えば、色立体軸
が赤の色相方向に向いており、その角度が所定の角度、
例えば４０度以上の場合には、その画像は本来色かぶり
した画像であると判断する。処理の度合をゆるめる場合
には、色立体軸を所定角度、例えば２０度だけ起こした
り、あるいは所定角度まで、例えばＹ軸に対する傾きが
２０度になるまで起こすことで色かぶりを補正する。こ
の変換のための回転行列は、回転軸と回転角度とから容
易に求めることができる。

【００８８】なお上記補正の度合いはユーザーがマニュ
アルで指定してもいいし、あらかじめ角度の大きさ、該
色立体軸の方向に応じて設定しておいてもよい。例えば
４０度の場合、該画像の色立体を２０度だけ回転して起
こすとしたが、その補正の度合いをユーザに指定させて
もよい。以後の処理は第１実施形態と同様である。

【００８９】また、色立体軸の方向によって、どの色が
かぶっているのか容易に判定できるので、特殊効果を得
るために例えば色フィルタを用いて撮影された画像につ
いては、フィルタの色方向に関しては補正しないという
ような判定もできる。すなわちこのような場合には、色
かぶりを補正しない色を指定させ、Ｃ１−Ｃ２平面上に
おいて、補正を行わない色の方向に沿って回転変換の回
転軸を設定し、その回転軸と色立体軸ｌとを含む平面
が、Ｙ軸と平行になるまで色立体を回転変換する。こう
することで、特定の色成分についてだけ色かぶりを補正
できる。

【００９０】図１０は、色立体軸が所定角度以上傾いて
いる場合には、別途指定された角度まで色立体を回転さ
せるように、画像を補正するための処理手順である。ま
ず、ステップＳ１０１でハイライト／シャドーポイント
を決定し、ステップＳ１０２で色立体軸の傾きが所定角
度以上であるか判定する。もし所定角度に達していなけ
れば、ステップＳ１０４，Ｓ１０５で、第１の実施の形
態と同様に、色立体軸が輝度軸と一致するように変換し
て色かぶりを補正する。

【００９１】一方、色立体軸が所定角度以上傾いていれ
ば、色立体軸を、輝度軸に向かって２０度だけ回転させ
るような回転行列をステップＳ１０３で求め、ステップ
Ｓ１０５で、その回転行列を用いて色立体を回転させて
色かぶりを補正する。この場合、ステップＳ１０３で用
いた２０度という角度は、いかように指定しても構わな
い。

【００９２】なお、しきい値を２段階設け、第１のしき
い値（例えば４０度）より色立体軸の傾きが大きい場合
には、色立体軸を完全なグレーラインにしない程度に色
立体軸を起こす（例えば２０度）ように回転変換し、第
１のしきい値と第２のしきい値（例えば２０度）との間
の場合には、回転変換を行わず、第２のしきい値よりも
傾きが小さい場合には、色立体軸を輝度軸と一致させる
ように回転変換を行うこともできる。このようにするこ
とで、意図的に色かぶりが生じさせられた画像について
は、不都合な補正を行うことがない。

【００９３】このように、画像データの画素により構成
される色立体の軸の傾き、すなわち軸の方向と傾きの角
度という２つの量から、補正するか否かのしきい値をす
くなくとも２つ以上設定し画像を補正すべきか、すべき
でない、補正度合いを調節すべきかの判定を行うことが
でき、非常に簡潔に特殊なケースの弊害だけをはじくこ
とができる。

【００９４】また、色立体軸の方向によって、どの色が
かぶっているのか容易に判定できるので、かぶっている
色方向に応じて色かぶりを補正しないようにすることも
できる。

【００９５】［第３の実施の形態］前記第１〜第２実施
形態では、画像のハイライトポイント・シャドーポイン
トに基づいた色バランス補正について説明したが、この
他の基準点に基づく補正の実施例について以下説明す
る。

【００９６】まず、ハイライトポイントおよびシャドー
ポイントにおける平均色差量△Ｅを求める。 △Ｅ＝ｓｑｒｔ（（Ｃ１ＨＬ−Ｃ１ＳＤ）＾２＋（Ｃ２
ＨＬ−Ｃ２ＳＤ）＾２）色立体軸が輝度軸と平行であればΔＥ＝０となるはずで
あるが、傾いていれば、０より大きな値となる。つま
り、Ｅ（彩度）−Ｙ（輝度）平面で考えると図８のよう
になる。

【００９７】次にハイライトとシャドーの間のサンプル
輝度を数点用意する。そして、画像中で例えば輝度Ｙｎ
の画素から、△Ｅｎより小さい彩度の画素を用いて、図
８のように平均色差量を求める。ΔＥｎとしては、予め
設定した一定彩度を用いてもよいし、また、色立体軸の
傾き方向に限定した平均色差量を求めてもよい。

【００９８】これらの数点の輝度について平均色差で最
小二乗法的に直線を求め、これを色立体軸として第１実
施形態に基づく処理を行う。

【００９９】あるいは、求められた色差及び輝度を要素
とする点をＢシュプラインなどで近似曲線を求め、この
曲線を輝度軸にする、すなわち色差を“０”とするよう
に非線形の色バランス補正を行ってもよい。

【０１００】以上本発明を好ましい実施例により説明し
たが、本発明は上述した実施例に限ることなく、クレー
ムに示した範囲で種々の変形が可能である。

【０１０１】このようにすることで、輝度軸となるべき
線を、ハイライト及びシャドーだけではなく、画像全体
から一様にサンプリングした画素から得ることができ
る。得られた線を輝度軸に一致するように画像データを
変換することで、画像全体の特性を反映した色かぶり補
正を行うことができる。

【０１０２】ところで、ホワイトバランスがオートの場
合、基準値からのズレ量によってカラーバランスの補正
量を可変にしてもよい。例えば、ホワイトバランスがオ
ートであるという情報の他に、ホワイトバランスが基準
値からの青方向に大幅にずれているという情報を得た場
合、カラーバランス補正は色差信号において青とは反対
の黄色に傾きやすく閾値を設定してもよい。

【０１０３】＜濃度補正＞次に、本実施形態の画像補正
処理部１１３における濃度補正について説明する。これ
は画像条件データ１０６から露出に関する情報、または
ストロボ発行ＯＮ／ＯＦＦ情報を読み取り、最適な明る
さ補正（印刷濃度補正）を行うものである。

【０１０４】（階調曲線判定）図１１のステップＳ２で
は、図３Ｓ２０で求めたヒストグラムに基づき補正条件
設定処理（階調曲線判定処理）を行う。すなわち、予め
用意されている複数の輝度補正用の階調曲線から、画像
の解析結果に基づき階調曲線を選択する。

【０１０５】本実施形態の階調曲線判定は、３つのパラ
メータ（ハイライトポイント、シャドーポイントおよ
び、ある輝度領域の画素数）に基づき画像の明るさを判
定し、これに基づいて階調曲線を選択する。

【０１０６】図１２は、階調曲線判定処理の詳細を示す
フローチャートである。これを参照して本実施形態の階
調曲線判定処理を説明する。

【０１０７】ハイライトポイント判定部図１２ステップＳ２１のハイライトポイント判定処理で
は、上記ヒストグラムから処理対象である画像における
ハイライトポイントを算出する。

【０１０８】本実施形態では、輝度信号Ｙのヒストグラ
ムにおいて輝度範囲の最高輝度値（輝度値２５５）か
ら、順に低輝度側に向かいながら各輝度値の度数を累積
し、ここで求めた累積度数が、例えば、処理対象である
画像データの全画素数の１．０％と一致した輝度値、ま
たは最初に全画素数の１．０％を越えた輝度値を求め、
この点をハイライトポイント（以下、「ＨＬＰ」とい
う）とする。

【０１０９】次に、ＨＬＰを予め定めた複数の閾値Ｔｈ
＿Ｈ１、Ｔｈ＿Ｈ２、・・・（Ｔｈ＿Ｈ１＜Ｔｈ＿Ｈ２
＜・・・）と比較し、ヒストグラムの高輝度領域におけ
る分布を解析する。

【０１１０】例えば、本実施形態では、図１３に示され
るように、下から順番に２００、２３０の値が設定され
ている２つの閾値を用いた場合を説明する。

【０１１１】そして、ＨＬＰ＜Ｔｈ＿Ｈ１のときは、
画像を高輝度領域が少なくかつ暗い画像と判定し、Ｔｈ
＿Ｈ１≦ＨＬＰ＜Ｔｈ＿Ｈ２のときは、画像を高輝度領
域の分布もあるが全体的に暗い画像と判定し、Ｔｈ＿Ｈ
２≦ＨＬＰのときは、画像を高輝度領域に分布の多い明
るい画像と判定する。

【０１１２】例えば、図１４に示す明るめの画像のヒス
トグラムでは、ＨＬＰが閾値Ｔｈ＿Ｈ２を越えて（ＨＬ
Ｐ＞Ｔｈ＿Ｈ２）おり、高輝度領域に多く分布がある画
像と判定する。図１４のヒストグラムは全体的に高輝度
側に分布が偏っており、結果的にＨＬＰも高輝度側に位
置している。こういった分布を示す画像は一般的に明る
い画像が多い。

【０１１３】図１５に示すヒストグラムでは、ＨＬＰが
閾値Ｔｈ＿Ｈ２よりも低くＴｈ＿Ｈ１より高く（Ｔｈ＿
Ｈ１＜ＨＬＰ≦Ｔｈ＿Ｈ２）、高輝度領域にある程度分
布があるが、明るくはない画像と見なすことができる。
図１５のヒストグラムは、輝度は大まかに中間的な分布
を示し、ＨＬＰも図１４より比較的低輝度側に位置する
ことから、このように判断することができる。

【０１１４】図１６に示すヒストグラムでは、ＨＬＰが
閾値Ｔｈ＿Ｈ１よりも低く、高輝度領域に分布がない画
像となる。この場合、ヒストグラムは低輝度側に偏り、
全体的に暗い画像であることが分かる。また、ＨＬＰが
低いということはすなわち、階調レベルが狭いことも意
味する。こういった画像に対してはγ補正で明るくする
か輝度値を高輝度側に引き延ばして明るくするといった
補正が必要となる。

【０１１５】なお、ＨＬＰの算出は、必ずしも上述した
方法によって求める必要はなく、従来知られている方式
を適宜用いてもよい。

【０１１６】また、他の画像補正処理、例えば前述した
いわゆる色かぶり補正、コントラスト補正、彩度補正と
組み合わせて本実施形態の自動階調補正処理を行う場合
には、この画像処理で予め用いたＨＬＰを使用すること
もできる。なお、この場合、ハイライトポイントを用い
る代わりに、上記色かぶり補正等で同様に用いられるシ
ャドーポイントを用いて画像の明るさ（暗さを）判別す
ることができ、これに基づいて以下の処理を行うことが
できることは、以下の説明からも自明なことである。

【０１１７】ヒストグラムのバランス判定図１２ステップＳ２２において、図１１のステップＳ１
で求めたヒストグラムを用いてヒストグラムのバランス
判定を行う。

【０１１８】ヒストグラムのバランス判定処理では、ス
テップＳ２２で処理対象画像の全画素数に対する所定の
領域の累積度数の割合であるＳｌｏｗを求める。つまり
例えば２５６階調の画像に対して、輝度値０から１２８
まで（ヒストグラムの半分）の累積画素数の全画素数に
占める割合を求め、その画像のヒストグラムの全体的な
バランスを解析する。

【０１１９】まず、ある輝度領域（０〜１２８）の累積
度数Ｓを求める。この累積度数Ｓは、ヒストグラムにお
いて輝度範囲の最低輝度値（輝度値０）から高輝度側に
向かって所定の輝度値までの累積度数として求められ
る。本実施形態では、最大輝度値（輝度値２５５）の１
／２となる輝度値（輝度値１２８）までの累積度数を低
輝度領域の累積度数Ｓとして求めたが、もちろん他の値
を用いてもよい。

【０１２０】次に、累積度数Ｓが、全画素数に占める割
合Ｓｌｏｗを以下の式を用いて算出する。Ｓｌｏｗ＝（ある輝度領域の累積度数Ｓ）／（全画素
数）（％）なお、前述のヒストグラム集計の際に、画素を間引い
て、間引きヒストグラムを作成した場合には、上記Ｓｌ
ｏｗの定義式での分母をヒストグラム作成の対象となっ
た画素数にする。

【０１２１】次に、上記で求めたＳｌｏｗを用いて再び
閾値判定を行う。これは、ヒストグラムの下半分の全体
に占める割合を算出することで、その画像の全体的な輝
度のバランスを調べるものである。上述のハイライトポ
イント判定において、ヒストグラムの高輝度領域の分布
状態に応じて画像を数種類に分類したが、図１３に示す
ように、それぞれの場合に対応させて閾値を設け、ヒス
トグラムのバランス度合いを判定する。

【０１２２】例えば、図１４に示す明るめの画像の場
合、輝度値１２８までの領域の全画素数に対する割合が
Ｓｌｏｗとなる。この例では、Ｓｌｏｗは全画素数の２
０％である。従って、上記ＨＬＰ判定で明るい画像と判
断されるとともに、Ｓｌｏｗは、１６〜５０の範囲と判
定される。

【０１２３】一方、図１６に示す暗めの画像の例では、
輝度値１２８までの領域Ｓｌｏｗは、全画素数の６０％
となり、したがって、上記ＨＬＰ判定で暗い画像と判断
されるとともに、Ｓｌｏｗは５０〜８０の範囲と判定さ
れる。

【０１２４】ある輝度領域における累積度数の割合を用
いず、ヒストグラムの中間値や平均値のみを用いてヒス
トグラムのバランスを判定する方法では、ヒストグラム
の実際の分布状態が適切に反映されていない画像の明る
さについての判定を行うこととなる。例えば、中間値や
平均値自体は比較的高めの輝度値を示しつつも、実際に
は、中間値や平均値周辺の輝度値に度数分布のピークが
あって低輝度領域の度数分布自体は少ない画像の場合、
明るめの画像であると誤った判定をして濃度を高くする
輝度補正が選択され、結果として画像上の比較的大きな
部分を占める暗い部分が潰れてしまうことがある。

【０１２５】これに対し、本実施形態のように、ヒスト
グラムの下半分となる輝度値０〜１２８の領域における
累積度数を求め、この累積度数の全画素数に占める割合
Ｓｌｏｗを用いることにより、より実際のヒストグラム
のバランスが反映された画像の明るさの分布の判定を行
うことができ、上述のような、暗めの画像についても適
切な階調補正を行うことができる。

【０１２６】なお、上記実施形態では、Ｓｌｏｗの範囲
について輝度値０〜１２８の範囲を均等に区分したが、
より詳しく低輝度領域の情報を求める場合は、低輝度領
域をいくつかに分割してそれぞれに対して場合分けを行
ってもよいし、また、Ｓｌｏｗが０〜６４までは２倍、
６５〜１２８までは１倍して足し合わせるといった重み
付けをしてもよい。

【０１２７】このような場合わけにより、ヒストグラム
バランスを一層正確に判定できる。

【０１２８】シャドーポイント判定ステップＳ２３のシャドーポイント判定処理では、ま
ず、上記ヒストグラムから処理対象である画像における
シャドーポイントを算出する。

【０１２９】本実施形態では、ヒストグラムにおいて輝
度範囲の最低輝度値（輝度値０）から、順に高輝度側に
向かいながら各輝度値の度数を累積し、ここで求めた累
積度数が、例えば、処理対象である画像データの全画素
数の１．０％と一致した輝度値、または最初に全画素数
の１．０％を越えた輝度値を求め、この点をシャドーポ
イント（以下、「ＳＤＰ」ともいう）とする。

【０１３０】次に、ＳＤＰを輝度値について予め定めた
複数の閾値Ｔｈ＿Ｓ１、Ｔｈ＿Ｓ２、・・・（Ｔｈ＿Ｓ
１＜Ｔｈ＿Ｓ２＜・・・）と比較し、ヒストグラムの低
輝度領域における分布を解析する。

【０１３１】なお、本実施形態で用いるシャドーポイン
ト判定はハイライトポイント判定やヒストグラムのバラ
ンス判定を行った後に行っているので、図１３に示され
るように、シャドーポイントの閾値はハイライトポイン
トやヒストグラムのバランス判定の結果に応じて異なる
値を設定する。

【０１３２】そして、ＳＤＰ≧Ｔｈ＿Ｓ２のときは、画
像は低輝度領域が少なくかつ明るい画像と判定し、Ｔｈ
＿Ｓ１≦ＳＤＰ＜Ｔｈ＿Ｓ２のときは、画像は低輝度領
域の分布もあるが全体的に明るい画像と判定し、ＳＤＰ
＜Ｔｈ＿Ｓ１のときは、画像は低輝度領域に分布の多い
暗い画像と判定する。

【０１３３】例えば、図１４に示す明るめの画像のヒス
トグラムでは、ＳＤＰが閾値Ｔｈ＿Ｓ２を越えて（ＳＤ
Ｐ＞Ｔｈ＿Ｓ２）おり、従って、低輝度領域に分布がな
い画像と判定される。この場合、前述したようにヒスト
グラムは全体的に高輝度側に分布が偏っており、結果的
にＳＤＰも比較的高輝度側に位置している。また、ＳＤ
Ｐが高いということはすなわち、階調レベルが狭いこと
も意味する。こういった画像に対してはγ補正で暗くす
るか輝度値を低輝度側に引き延ばして暗くするといった
補正が必要となる。

【０１３４】一方、図１５に示すヒストグラムでは、Ｓ
ＤＰが閾値Ｔｈ＿Ｓ２よりも低くＴｈ＿Ｓ１より高く
（Ｔｈ＿Ｓ１＜ＳＤＰ≦Ｔｈ＿Ｓ２）、低輝度領域にあ
る程度分布はあるが暗くはない画像と判定される。この
場合、輝度は中間的な分布となり、ＳＤＰも比較的低輝
度側に位置することから、このような判定が行われる。

【０１３５】次に図１６に示すヒストグラムでは、ＳＤ
Ｐが閾値Ｔｈ＿Ｓ１よりも低く、低輝度領域に多く分布
がある画像となる。この場合、ヒストグラムは低輝度側
に偏り、全体的に暗い画像であることが分かる。

【０１３６】補正階調曲線決定以上のヒストグラムにおける高輝度領域の分布の詳細
（ハイライトポイント）、ヒストグラムのバランス度Ｓ
ｌｏｗ、低輝度領域の分布の詳細（シャドーポイント）
の３つのパラメータにより、処理対象画像は、図１３に
示されるように、その種類に応じて複数に分類されるこ
とになる。そして、次のステップＳ２４では、図１３に
示すテーブルを用いて補正階調曲線を決定する。

【０１３７】本実施形態の階調曲線は、図１３に示す補
正テーブルから明らかなように、３つのパラメータに応
じてその画像種を総合的に判断し、例えばハイライトポ
イントが比較的低ければ、高輝度領域をカットしてヒス
トグラムを高輝度側へ引き延ばすような処理を盛り込ん
だ階調曲線を選択する。また、ヒストグラムのバランス
を整えたい画像に対してはγ補正を行う階調曲線を選択
する。ヒストグラムのバランス度Ｓｌｏｗが低輝度領域
に偏っていれば、γ値を変換するなどして画像全体を明
るくする処理を盛り込んだ階調曲線を選択する。さらに
シャドーポイントが比較的高ければ、低輝度領域をカッ
トしてヒストグラムを低輝度側へ引き延ばすような処理
を盛り込んだ階調曲線を選択する。上記複数に分類さ
れた画像に関する階調曲線の決定は、図１３に示す判定
表を用いる。

【０１３８】例えば上記ＨＬＰが２４５と高く、Ｓｌｏ
ｗが２０％で、ＳＤＰが６０と比較的高い画像の場合、
低輝度領域２０以下をカットする階調曲線を選択する。

【０１３９】図１４に示す明るめの画像の場合、ＨＬＰ
は閾値Ｔｈ＿Ｈ２より大きく且つＳｌｏｗは２０％であ
り、ＳＤＰは閾値Ｔｈ＿Ｓ２より大きいので、図１３に
示すテーブルより、この画像は明るい画像と判定され、
γ値は１．１に設定される。このγ値決定により、比較
的高い輝度領域まで暗くする（印刷濃度を高くする）補
正がなされ、全体的に最適な濃度の印刷画像となる。ま
た、低輝度領域の画素に割合が少ないことから、画像の
潰れる部分が少なくて済む。

【０１４０】次に、図１５に示すヒストグラムのバラン
スが中間的な画像では、ＨＬＰがＴｈ＿Ｈ１より大きく
Ｔｈ＿Ｈ２より小さい。且つＳｌｏｗが４０％であり、
ＳＤＰがＴｈ＿Ｓ１より大きくＴｈ＿Ｓ２より小さいた
め、図１３に示すテーブルによって、補正階調曲線をＳ
字のものにすることでコントラストを強調することがで
きる。こうして、印刷される画像全体にメリハリがつ
き、見栄えのする印刷画像となる。

【０１４１】一方、図１６に示す暗い画像では、ＨＬＰ
がＴｈ＿Ｈ１より小さく且つＳｌｏｗが６０％であり、
ＳＤＰはＴｈ＿Ｓ１より小さいため、図１３に示すテー
ブルによって、高輝度領域において２００以上をカット
する直線を選択する。これにより、印刷される画像全体
が明るくなり、特に画像のヒストグラムが高輝度側に拡
張され、コントラストのある濃度のバランスがとれた印
刷画像となる。

【０１４２】なお、上記の説明では、ハイライトポイ
ント判定において、画像の高輝度領域の明るさの判定を
３段階で行ったが、より最適な階調曲線を求めるため
に、さらに分岐数を増やし、４段階以上に場合分けして
より詳細な判定を行ってもよい。また、ヒストグラム
のバランス判定やシャドーポイント判定においてもよ
り詳細な判定を行うため、分岐数の数を増やしてもよ
い。

【０１４３】（ＬＵＴ作成）以上説明した階調曲線判定
処理（図１１のステップＳ２）を終了すると、図１１に
示すステップＳ３でＬＵＴ作成を行う。階調曲線判定処
理で得られた階調曲線を作成するパラメータに基づいて
輝度補正のためのルックアップテーブル（ＬＵＴ）を作
成する。

【０１４４】本実施形態のＬＵＴは、上述のようにして
得られた階調曲線を指数関数と５次関数して記録してお
く。つまり単純にγ補正だけする場合は指数関数（図１
７）を用い、高輝度または低輝度領域をカットする直線
およびより複雑な曲線で補正する場合は５次曲線（図１
８）を用いる。

【０１４５】すなわち、ＬＵＴＬ［Ｙ］は、γ補正の
みを行う指数関数の場合、入力輝度信号をＹ、出力輝度
信号をＹ‘とすると、Ｙ’＝２５５×［（Ｙ／２５５）１／γ］なる式によって表される変換を行い、判定結果によりγ
値が与えられる。

【０１４６】一方、５次曲線の場合、Ｙ’＝Ａ＋Ｂ×Ｙ＋Ｃ×Ｙ＾２＋Ｄ×Ｙ＾３＋Ｅ×Ｙ＾
４＋Ｆ×Ｙ＾５なる式によって表される変換を行い、係数となるＡ、
Ｂ、Ｃ、Ｄ、Ｅ、Ｆを与えることにより５次曲線が完成
する。また、それらは動的に作成されるものである。す
なわち、対象画像の処理ごとに作成される。このように
補正テーブルを動的に作成することにより、必要となる
メモリ量を削減することができる。

【０１４７】なお、上記ＬＵＴは、動的に作成する代わ
りに上記階調曲線毎に、予めメモリ上に静的に用意して
もよいことは勿論である。

【０１４８】（補正）次に、図１１に示すステップＳ４
において、輝度信号Ｙの補正を行う。すなわち、作成し
たＬＵＴＬ［Ｙ］によって、入力画像の輝度値Ｙを
Ｙ’＝Ｌ［Ｙ］として変換し、輝度補正を行う。

【０１４９】さらに、輝度補正された輝度信号Ｙ’およ
び入力画像の色差信号Ｃｒ、ＣｂをＲ、Ｇ、Ｂの各信号
に戻し、補正された画像信号Ｒ’Ｇ’Ｂ’を作成する。

【０１５０】本実施形態よれば、ヒストグラムにおい
て、画像データの明るさに関する成分値の範囲において
その最大値または最小値からの累積度数が所定の値を示
す成分値が求められるので、画像の全体的な明るさを知
ることができ、また、最小値または最大値から所定の成
分値までの累積度数のヒストグラムの全画素数に占める
割合が求められるので、画像の明るさの分布を知ること
ができる。そして、これらの成分値および割合に基づい
て明るさの分布が判別され、その判別に基づいて補正の
階調曲線が定められるので、画像の全体的な明るさ毎に
その明るさの分布と補正階調曲線との対応を異ならせる
ことができる。

【０１５１】つまり、ハイライトポイント、ヒストグラ
ムのバランス度、シャドーポイントの３つのパラメータ
を用いて最終的に複数の補正階調曲線の中から、その画
像に最適な補正階調曲線を一つ選択することができる。

【０１５２】これにより、例えば、全体的に暗い画像で
は、より明るくする（印刷画像においてより濃度を低く
する）補正に対応する明るさの分布で、暗い範囲を示す
分布を小さなものとでき、これにより、印刷画像におけ
る明るさのバランスをより好ましいものにできる。一
方、全体的に明るい画像ではより暗くすることで、印刷
画像においてより濃度を高くでき、これにより、印刷デ
バイスが本来的に比較的低い濃度しか実現できないとい
う濃度出力特性を補って全体的に高い濃度の印刷を行う
ことができる。また、元々ダイナミックレンジが狭い画
像では、その幅を広げることにより、コントラストがつ
いた、メリハリがあり見栄えのする画像の印刷を行うこ
とができる。

【０１５３】なお、本実施形態では図１２の順で判定を
行ったが、順番が変わってもよい。

【０１５４】また、ＨＬＰ、ＳＤＰの算出は、必ずしも
上述した方法によって求める必要はなく、従来知られて
いる方式を適宜用いてもよい。

【０１５５】ところで前述したように、高輝度領域にお
ける明るさの分布を調べるためにハイライトポイントを
用い、低輝度領域における明るさの分布を調べるために
シャドーポイントを用いた。しかし例えばハイライトポ
イントの変わりになる別のパラメータで高輝度領域の明
るさの分布の詳細が分かればそれを用いてもよい。つま
りヒストグラムの最大値からある輝度値（例えば輝度値
２２０）までの累積度数の全画素数に占める割合を求
め、その値から高輝度領域の明るさの分布判定を行って
もよい。その場合、ハイライトポイントと同様、該パラ
メータに対して複数の閾値を設け、場合分け判定を行
う。もちろん低輝度領域においてもシャドーポイントの
変わりに、ヒストグラムの最小値からある輝度値（例え
ば輝度値３０）までの累積度数の全画素数に占める割合
を求め、同様の判定を行えばよい。

【０１５６】また、上述の実施形態では、輝度値Ｙに関
する補正について説明したが、Ｒ、Ｇ、Ｂの各信号に対
して直接同様の補正を行っても良い。この際、上述のＬ
ＵＴを用い、そのＬＵＴにおいてＹの代わりにＲ、Ｇ、
Ｂ、Ｙ′の代わりにＲ′、Ｇ′、Ｂ′を用いて補正を行
うことができる。Ｒ、Ｇ、Ｂ信号に対する補正は、ＲＧ
Ｂ―ＹＣｒＣｂ変換が不要であるため、処理速度の向上
を図ることができる。

【０１５７】なお、露出設定がオートの場合、自動的に
上述の処理を加えるが、例えば露出がオートであってさ
らに基準値からの変更量がわかれば、それに応じて上述
の処理内容を設定変更してもよい。

【０１５８】つまりは、図１３に示したＨＬＰ、Ｓ１２
８、ＳＤＰの閾値の設定は、撮影条件データ１０６の露
出の値を用い、例えば露出が基準値より小さい場合、図
１３の閾値を変更して全体的に明るい補正がなされやす
いようにすると、暗く撮影された画像を適度な明るさに
補正することができる。また一方で、露出の値が大きい
場合、露出オーバーになる可能性があるので、全体的に
明るさを下げるように図１３の閾値をそれに合わせて設
定変更すればよい。

【０１５９】＜デジタルズームＯＮ／ＯＦＦ情報＞とこ
ろで、近年のデジタルスチルカメラは光学的に被写体を
ズームイン／アウトするほかに、デジタル処理を加える
ことにより、画像の拡大処理を行うことができる。デジ
タルズームは画像サイズを単純に有利数倍するものが多
く、輪郭部分が見た目にガタガタになりやすくなる（ジ
ャギー）。また拡大方法にはニアレストネイバー法、バ
イリニア法、バイキュービック法といった手法が一般に
用いられている。

【０１６０】撮影条件データ１０６にデジタルズームの
倍率や拡大処理法などが書き込まれた場合、それらを元
に画像に対して輪郭を滑らかに処理するスムージング処
理を行ってもよい。例えば特開平１１−３３１５６５で
発案されたように低解像度の画像に拡大処理を行い、高
解像度に仕上げる方法が知られている。一方、そのよう
なスムージング処理の係数（処理度合い）はデジタルズ
ームの倍率や拡大処理方法によって可変に行うのが望ま
しい。つまりデジタルズームの倍率が低いほど、スムー
ジングの度合いを弱めたり、拡大処理の雑なニアレスト
ネイバー法では逆にスムージングの度合いを強めてもい
い。この一連の処理を図１９に示す。

【０１６１】＜ストロボ発光ＯＮ／ＯＦＦ情報＞また、
撮影条件データ１０６よりストロボが発光したという情
報を得た場合、上記と同様に濃度補正処理の内容を変更
してもよい。例えば図１３に示したテーブルの他に、ス
トロボ発光用のテーブルをもう一つ設け、ストロボがＯ
ＦＦの場合は従来の図１３のテーブルを用いるが、スト
ロボがＯＮの場合には新しい別のテーブルを用いること
で、より精度の高い画像補正が可能になる。

【０１６２】ストロボ撮影の場合は、主に夜景撮影や暗
室撮影などといったように、画像全体が暗く撮影されが
ちである。この場合、明るく補正されやすいようにテー
ブルの閾値を変更する必要がある。また、ストロボに反
射された被写体は青白く写る傾向がある。この場合、被
写体を色味的に黄色く明るさを押さえる補正を加えると
よい。一方で、被写体の背景はストロボの光が届かず、
暗く階調がつぶれた画像になりがちである。つまり、階
調の低い部分は輝度を上げて階調を出す処理が必要にな
る。

【０１６３】こうした処理を加えることで、撮影時にス
トロボ発光された画像に関して最適な処理を行うことが
できる。

【０１６４】＜撮影シーン情報＞被写体によって撮影モ
ード（風景モード、人物モード、マクロ撮影モードなど
が挙げられる）を切り替えたときに、撮影条件データ１
０６に撮影シーン情報が付加される場合を考える。その
場合、その情報を元により最適な記憶色再現補正を行う
ことができる。例えば風景モードの場合、空や草木が主
な被写体になりうる。そこで図３Ｓ３０の画像補正処理
部で、青や緑の彩度を上げ、コントラストを高める処理
を行ってもよい。また、シャープネスフィルタを施すこ
とによって、風景画像をより見栄えのする画像に仕上げ
ることができる。彩度を上げる場合、各色相毎に彩度拡
張係数を求め、元の彩度値にこの係数を掛け合わせるこ
とで、彩度補正を行うと少ないメモリ量で効果を上げる
ことができる。

【０１６５】一方で、人物モード撮影の場合、図３Ｓ３
０の画像補正処理部で肌色領域の彩度、輝度をより好ま
しい色に補正する処理を追加してもよい。また、ぼかし
フィルタを用いて画像全体をぼかすのも、人物画像をよ
りきれいに見せるための方法の一つでもあり、撮影条件
データを用いることで自動処理が可能となる。

【０１６６】上述した実施の形態では、ホワイトバラン
ス、露出、ストロボ、撮影シーン及びデジタルズームな
どの撮影条件データを読みとった場合の補正方法を説明
してきた。しかしながら、複数の画像補正処理を行うと
同様の処理が重複してしまったり、先の補正で強調した
部分を次の補正では弱めてしまったりする場合がある。

【０１６７】例えば上述したカラーバランス補正と濃度
補正では、両方にハイライトポイントとシャドーポイン
トを用いたコントラスト強調処理が含まれている。この
ような場合、１度で十分なコントラスト処理を２度かけ
てしまうことになり、ユーザの意図に反する画像に仕上
がってしまう。

【０１６８】また、デジタルズーム情報より画像にスム
ージングをかけても、撮影シーン情報が風景モードの場
合、その後にシャープネスフィルタをかけてしまうと、
先のスムージング処理の効果を打ち消してしまう。

【０１６９】こういった複数の処理を一つの画像にかけ
ることによる弊害を防ぐため、処理に規制をかける必要
がある。本実施例では、各画像補正処理の順番に優先順
位をつける。

【０１７０】まずはじめに図２０に示すように、カラー
バランス情報、露出情報、ストロボ情報、撮影シーン情
報、デジタルズーム情報のそれぞれに対し、どの判定が
なされたかをメモリ部に格納する。

【０１７１】次に図２０Ｓ１で、デジタルズーム情報に
よりスムージング処理を行う。低解像度の画像を高解像
度にするこの処理は、画像全体の色味や明るさに影響を
及ぼさないと考えられるので、最初に行うのが望まし
い。

【０１７２】次に図２０Ｓ２で、露出情報より判定され
た明るさ補正の度合いから、コントラストが強調される
判定がなされた場合、最初に補正処理を行うカラーバラ
ンス補正のうちのコントラスト補正は行わない。一方、
明るさ補正で単なるガンマ補正のみ行うと判定された場
合（コントラスト強調は行われない場合）、カラーバラ
ンス補正のうちコントラスト補正は行う。こうすること
で、コントラスト補正が明るさ補正とカラーバランス補
正の両方で２重にかかるのを防ぐことができる。

【０１７３】次に図２０Ｓ３で明るさ補正を行うが、ス
トロボ情報がＯＮかＯＦＦかを参照し、ＯＮならば明る
さ補正のテーブルはストロボ用のテーブルを参照、ＯＦ
Ｆなら図１３に示す従来のテーブルを参照する。こうす
ることで、露出、ストロボ情報から得られた最適な明る
さ補正を画像に施すことができる。

【０１７４】最後に図２０Ｓ４で、撮影シーン情報を元
に記憶色再現補正を行う。ここではカラーバランス補正
において彩度調整を行った場合、彩度拡張係数をそれに
合わせて小さく設定してもよい。また、デジタルズーム
補正でスムージングの度合いが大きい場合、人物モード
でぼかしをかける度合いも小さく設定するべきである。

【０１７５】こうして複数の画像補正処理を行う場合、
それぞれの処理を行う順番に優先順位をつけ、また諸条
件において処理に重み付けをし、ある補正処理を行うと
別の処理は行わないといった制約事項を設けることで、
最終的に無理、無駄のない画像補正ができる。

【０１７６】＜その他の実施例＞尚、上記実施形態では
撮影条件情報を画面表示するようにしたが、これに限ら
れることはなく、例えば、所定ランプの点灯／消灯等に
より、撮影条件情報が正しく認識利用されていることを
示すようにしてもよい。

【０１７７】また、本発明は、要旨を逸脱しない範囲で
種種変形実施可能なものとなる。

【０１７８】また、上記実施の形態では、画像の入力手
段（取得手段）として、ディジタルスチルカメラを一例
として用いるように構成したが、これに限られたもので
はなく、例えば、ディジタルビデオカメラや、イメージ
スキャナ、或いはフィルムスキャナ等の入力機器を適用
可能である。

【０１７９】また、本発明は、ホスト及び端末の機能を
実現するソフトウェアのプログラムコードを記憶した記
憶媒体を、システム或いは装置に供給し、そのシステム
或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記
憶媒体に格納されたプログラムコードを読みだして実行
することによっても、達成されることは言うまでもな
い。

【０１８０】この場合、記憶媒体から読み出されたプロ
グラムコード自体が本発明の機能を実現することとな
り、そのプログラムコードを記憶した記憶媒体及び当該
プログラムコードは本発明を構成することとなる。

【０１８１】プログラムコードを供給するための記憶媒
体としては、ＲＯＭ、フレキシブルディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用
いることができる。

【０１８２】また、コンピュータが読みだしたプログラ
ムコードを実行することにより、本発明の機能が実現さ
れるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼動しているＯＳ等が実際の処理
の一部又は全部を行い、その処理によって本発明の機能
が実現される場合も含まれることは言うまでもない。

【０１８３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張機能ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部又は全部を行い、
その処理によって本発明の機能が実現される場合も含ま
れることは言うまでもない。

【０１８４】図２１は、上記コンピュータの機能６００
を示したものである。

【０１８５】コンピュータ機能６００は、上記図２１に
示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ
６０３と、キーボード（ＫＢ）６０９のキーボードコン
トローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴデ
ィスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（Ｃ
ＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及び
フレキシブルディスク（ＦＤ）６１２のディスクコント
ローラ（ＤＫＣ）６０７と、ネットワーク６２０との接
続のためのネットワークインターフェースコントローラ
（ＮＩＣ）６０８とが、システムバス６０４を介して互
いに通信可能に接続された構成としている。

【０１８６】ＣＰＵ６０１は、ＲＯＭ６０２或いはＨＤ
６１１に記憶されたソフトウェア、或いはＦＤ６１２よ
り供給されるソフトウェアを実行することで、システム
バス６０４に接続された各構成部を総括的に制御する。

【０１８７】すなわち、ＣＰＵ６０１は、所定の処理シ
ーケンスに従った処理プログラムを、ＲＯＭ６０２、或
いはＨＤ６１１、或いはＦＤ６１２から読み出して実行
することで、本実施の形態での動作を実現するための制
御を行う。

【０１８８】ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ
或いはワークエリア等として機能する。

【０１８９】ＫＢＣ６０５は、ＫＢ６０９や図示してい
ないポインティングデバイス等からの指示入力を制御す
る。

【０１９０】ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を
制御する。

【０１９１】ＤＫＣ６０７は、ブートプログラム、種々
のアプリケーション、編集ファイル、ユーザファイル、
ネットワーク管理プログラム、及び本実施の形態におけ
る所定の処理プログラム等を記憶するＨＤ６１１及びＦ
Ｄ６１２とのアクセスを制御する。

【０１９２】ＮＩＣ６０８は、ネットワーク６２０上の
装置或いはシステムと双方向にデータをやりとりする。

【０１９３】

【発明の効果】以上説明したように本発明では、処理対
象の画像情報（ディジタルスチルカメラにより撮影して
得られた画像情報等）に対して付加された条件情報（撮
影条件情報等）を解析した結果に基づいて、当該画像情
報に対して画像処理（画像補正処理等）を施すように構
成した。これにより、画像取得時の状況に応じた画像処
理を行うことができ、ユーザが意図する良好な処理後画
像を提供することができる。

【０１９４】例えば、ディジタルスチルカメラにおい
て、ホワイトバランス情報を元にカラーバランス補正を
行い、露出情報を元に明るさ補正を行う。また、ストロ
ボ発光がＯＮ／ＯＦＦによりそれに応じた補正テーブル
を用いて明るさ補正を行い、デジタルズーム情報を元に
画像のスムージング処理を行う。そして撮影シーン情報
を元に例えば風景、人物モードに応じた記憶色再現処理
を行う。このようにして、画像データを元にヒストグラ
ム解析するだけの、従来の補正方法に比べ、より詳細な
情報を元に画像に最適な補正を行うことができる。

【０１９５】また、複数の処理を行う場合、同様の処理
の重複や先に行った強調処理を後の処理で弱めてしまう
といった弊害をなくすため、複数の処理に対して優先順
位を設け、それぞれの処理の重み付けを行うことで無駄
のない最適な画像補正処理を行うことができる。

【０１９６】このように、本発明によれば、画像情報の
取得時の条件を示す情報により、高精度な自動画像補正
を実現することができ、撮影時の意図を、より反映した
高品質の処理後画像を提供することができる。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
画像印刷システムの構成を示すブロック図である。

【図２】ＲＧＢ画像信号をＹＣＣ信号に変換し、画像処
理を行い、再びＲＧＢ信号に変換する図である。

【図３】画像補正処理部の処理手順のフローチャートで
ある。

【図４】輝度ヒストグラム作成手順のフローチャートで
ある。

【図５】実施例における色バランス補正の原理を説明す
るための色立体図で（ａ）は理想的な色立体図（ｂ）は
該画像の色バランス補正前の色立体図である。

【図６】非線形ガンマ変換関数を示すグラフである。

【図７】輝度−彩度平面でみた露出オーバー・アンダー
の特徴を示す図で、（ａ）は露出オーバーの概念図、
（ｂ）は露出アンダーの概念図、（ｃ）は露出オーバー
の一例、（ｄ）は露出アンダーの一例

【図８】第３の実施の形態における色立体軸を決める様
子を示す図である。

【図９】画像補正の制御手順のフローチャートである。

【図１０】第２の実施形態における色かぶり補正の制御
手順のフローチャートである。

【図１１】上記自動階調補正処理の手順を示すフローチ
ャートである。

【図１２】図１１に示す上記自動階調補正処理における
階調曲線判定の処理手順を示すフローチャートである。

【図１３】上記階調曲線判定処理で用いるテーブルの内
容を示し、画像の種類に応じた階調曲線の定め方を説明
する図である。

【図１４】上記自動階調補正処理の処理対象である画像
が明るい画像である場合のヒストグラムを示す図であ
る。

【図１５】上記自動階調補正処理の処理対象である画像
の明るさが中間的な画像である場合のヒストグラムを示
す図である。

【図１６】上記自動階調補正処理の処理対象である画像
が暗い画像である場合のヒストグラムを示す図である。

【図１７】γ値に応じた輝度補正テーブルの変換特性曲
線（指数関数）を示す図である。

【図１８】単なるγ補正以外の、輝度補正テーブルの変
換特性曲線（５次曲線）を示す図である。

【図１９】デジタルズーム情報を元にスムージング処理
を行うフローチャートである。

【図２０】撮影条件データより、複数の画像補正処理を
行う制約を示したフローチャートである。

【図２１】コンピュータの機能を示した図である。

【符号の説明】

１０１ディジタルスチルカメラ１０２撮影条件設定部１０３撮影条件記録部１０４撮影画像記録部１０５画像データ１０６撮影条件データ１０７撮影画像データ１０８画像処理装置１０９リーダ部１１０データ解析部１１１撮影条件解析部１１２撮影画像解析部１１３画像補正処理部１１４印刷データ変換部１１５プリンタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/46 Ｚ 9/73 1/40 １０１Ｄ 9/79 9/79 Ｈ (72)発明者山添学東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者藤田貴志東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者鳥越真東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者溝口茂東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE03 CE05 CE11 CE17 DA17 DB02 DB06 DB09 DC23 5C055 BA06 BA08 CA16 EA02 EA03 EA04 EA05 EA06 HA16 HA17 HA37 5C066 AA01 AA05 CA17 EA14 EC02 EE03 GA01 GA02 GA05 KM01 5C077 MP08 PP02 PP15 PP32 PP37 PP52 PP53 PQ08 PQ12 PQ19 PQ22 5C079 HB01 LA02 LA12 LA14 LA23 LA31 MA01 MA11

Claims

【特許請求の範囲】

【請求項１】画像取得時の条件情報を含む画像情報に
対して画像処理を施す画像処理装置であって、上記条件情報を解析する解析手段と、上記解析手段の解析結果に基づいて、カラーバランスの
度合いを示す値に応じて画像の色補正量を求め、明るさ
の度合いを示す値に応じて画像の明るさ補正量を求め、
ズームに関する値に応じて画像のスムージング補正量を
求める処理決定手段とを備えることを特徴とする画像処
理装置。
【請求項２】上記処理決定手段で決定された画像処理
を上記画像情報に施す処理手段と、上記処理手段による処理後の画像情報を出力する出力手
段とを備えることを特徴とする請求項１記載の画像処理
装置。
【請求項３】上記出力手段は、印刷出力機能を含むこ
とを特徴とする請求項２記載の画像処理装置。
【請求項４】上記画像の色の補正量を求める処理は、
原画像のハイライトポイントおよびシャドーポイントの
明るさを検出し、前記明るさを有する複数の画素から、
前記ハイライトポイントおよびシャドーポイントの色み
を求め、前記ハイライトポイント、前記シャドーポイントおよび
前記色みに基づき、前記原画像に対して色補正処理を行
うことを特徴とする請求項１記載の画像処理装置。
【請求項５】前記色補正処理は、前記原画像の色立体
軸を明るさを示す軸に合わせるとともに、前記原画像の
明るさを示す色成分に対してコントラスト調整を行うこ
とを特徴とする請求項４記載の画像処理装置。
【請求項６】前記色補正処理は、前記原画像の色みを
示す色成分に対して補正処理を行い、原画像の彩度を調
整することを特徴とする請求項４または５に記載の画像
処理装置。
【請求項７】さらに、原画像の明るさを示す色成分に
基づきヒストグラムを作成し、前記ヒストグラムに基づき前記ハイライトポイントおよ
びシャドーポイントを検出することを特徴とする請求項
４記載の画像処理装置。
【請求項８】原画像の色立体軸を検出し、前記色立体軸と色立体を示す色空間内の明るさを示す軸
との位置関係から前記原画像の露出状態を判定し、前記判定結果に応じた画像補正条件を設定することを特
徴とする画像処理方法。
【請求項９】前記画像補正条件は、前記原画像の明る
さを示す成分に対してコントラスト調整を行うための条
件であることを特徴とする請求項８記載の画像処理方
法。
【請求項１０】原画像に対して、原画像の色分布に応
じた画像補正処理を行う画像処理方法であって、所定の色空間において原画像の色立体軸を検出し、前記色空間における前記色立体軸の位置関係に基づき、
前記画像補正処理を制御することを特徴とする画像処理
方法。
【請求項１１】上記画像の明るさ補正量を求める処理
決定手段は、画像データが示す画像の明るさに関する成
分の値の画素数に関するヒストグラムから前記画像の明
るさの分布を判別し、該判別に基づいて、複数の階調補正条件の中から一つを
自動的に選択し、前記前記選択された階調補正条件を用いて、明るさに関
する成分を補正することを特徴とする画像処理方法。
【請求項１２】前記画像の明るさの分布は、前記ヒス
トグラムにおける所定範囲の累積度数に基づき判定され
ることを特徴とする請求項１１記載の画像処理方法。
【請求項１３】前記画像の明るさの分布は、前記所定
範囲の累積度数が前記ヒストグラムの全画素数に占める
割合に基づいて判別されることを特徴とする請求項１２
記載の画像処理方法。
【請求項１４】前記階調補正条件は、前記画像のハイ
ライトポイントおよびシャドーポイントおよび前記画像
の明るさの分布の組み合わせに基づき選択されることを
特徴とする請求項１１記載の画像処理方法。
【請求項１５】前記ヒストグラムにおけるハイライト
領域の割合が多い場合に濃度を上げ、シャドー領域の割
合が多い場合には濃度を下げ、ヒストグラム幅が狭けれ
ばダイナミックレンジを広げるようにすることを特徴と
する請求項１１記載の画像処理方法。
【請求項１６】前記ハイライト領域の割合が大きい場
合は、前記ハイライト領域の割合が小さい場合に比べて
濃度の上げ具合を大きく、前記シャドー領域の割合が大きい場合は、前記シャドー
領域の割合が小さい場合に比べて濃度の下げ具合を大き
く、前記ヒストグラム幅が小さい場合は、前記ヒストグラム
幅が大きい場合に比べてダイナミックレンジの広げ具合
を大きくすることを特徴とする請求項１５記載の画像処
理方法。
【請求項１７】上記画像情報は、ディジタルスチルカ
メラにより得られた画像情報を含むことを特徴とする請
求項１記載の画像処理装置。
【請求項１８】上記画像情報は、撮影画像情報を含
み、上記条件情報は、上記撮影画像情報取得時における露
出、ストロボ、ホワイトバランス、撮影モード及びデジ
タルズームの少なくとも何れかの情報を含むことを特徴
とする請求項１記載の画像処理装置。
【請求項１９】上記条件情報に関する情報を提示する
提示手段を備えることを特徴とする請求項１記載の画像
処理装置。
【請求項２０】上記提示手段は、上記条件情報が付加
された画像情報の処理タイミングに基づいて、上記条件
情報に関する情報を提示することを特徴とする請求項７
記載の画像処理装置。
【請求項２１】上記解析手段は、上記画像情報を解析
する機能を有することを特徴とする請求項１記載の画像
処理装置。
【請求項２２】上記処理決定手段は、複数の画像情報
を取得し、それらに対応する複数の処理を行う場合、複
数の処理を行う優先順位を設定することを特徴とする請
求項１記載の画像処理装置。
【請求項２３】複数の機器が互いに通信可能に接続さ
れてなる画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、請求項
１〜２２の何れかに記載の画像処理装置の機能を有する
ことを特徴とする画像処理システム。
【請求項２４】画像取得時の条件情報を含む画像情報
に対して画像処理を施すための画像処理方法であって、上記条件情報を解析する解析ステップと、上記解析ステップによる解析結果に基づいて、カラーバ
ランスの度合いを示す値に応じて画像の色補正量を求
め、明るさの度合いを示す値に応じて画像の明るさ補正
量を求め、ズームを示す値に応じて画像のスムージング
補正量を求める処理決定ステップとを含むことを特徴と
する画像処理方法。
【請求項２５】画像取得時の条件情報を含む画像情報
へ画像補正処理を施して印刷処理するための画像処理方
法であって、上記条件情報を解析する解析ステップと、上記解析ステップによる解析結果に基づいて、カラーバ
ランスの度合いを示す値に応じて画像の色補正量を求
め、明るさの度合いを示す値に応じて画像の明るさ補正
量を求め、ズームに間する値に応じて画像のスムージン
グ補正量を求める画像補正条件を決定する画像補正条件
決定ステップと、上記画像補正条件決定ステップにより決定された画像補
正条件に基いて、上記画像情報へ画像補正処理を施す画
像補正ステップと、上記画像補正ステップによる処理後の画像情報を印刷処
理する印刷ステップとを含むことを特徴とする画像処理
方法。
【請求項２６】画像取得時の条件情報を含む画像情報
へ画像補正処理を施して印刷処理するための画像処理方
法であって、上記条件情報を解析する解析ステップと、上記解析ステップによる解析結果に基づいて、カラーバ
ランスの度合いを示す値に応じて画像の色補正量を求
め、明るさの度合いを示す値に応じて画像の明るさ補正
量を求め、ズームに関する値に応じて画像のスムージン
グ補正量を求める画像補正条件を決定する画像補正条件
決定ステップと、上記画像補正条件決定ステップにより決定された画像補
正条件に基いて、上記画像情報へ画像補正処理を施す画
像補正ステップと、上記画像補正ステップによる処理後の画像情報を印刷処
理する印刷ステップと、上記画像補正ステップ及び上記印刷ステップの処理実行
タイミングに基いて、上記条件情報に対応する処理モー
ド情報を表示する表示ステップとを含むことを特徴とす
る画像処理方法。
【請求項２７】画像取得時の条件情報を含む画像情報
へ画像補正処理を施して印刷処理するための画像処理方
法であって、上記条件情報を解析する第１の解析ステップと、上記画像情報の特徴を解析する第２の解析ステップと、上記第１の解析ステップによる解析結果に基づいて、上
記画像補正条件を決定する第１の画像補正条件決定ステ
ップと、上記第２の解析ステップによる解析結果に基づいて、上
記画像補正条件を決定する第２の画像補正条件決定ステ
ップと、上記第１の画像補正条件決定ステップ及び上記第２の画
像補正条件決定ステップにより決定された画像補正条件
に基いて、上記画像情報へ画像補正処理を施す画像補正
ステップと、上記画像補正ステップによる処理後の画像情報を印刷処
理する印刷ステップとを含むことを特徴とする画像処理
方法。
【請求項２８】画像取得時の条件情報を含む画像情報
へ画像補正処理を施して印刷処理するための画像処理方
法であって、上記条件情報を解析する第１の解析ステップと、上記画像情報の特徴を解析する第２の解析ステップと、上記第１の解析ステップによる解析結果に基づいて、上
記画像補正条件を決定する第１の画像補正条件決定ステ
ップと、上記第２の解析ステップによる解析結果に基づいて、上
記画像補正条件を決定する第２の画像補正条件決定ステ
ップと、上記第１の画像補正条件決定ステップ及び上記第２の画
像補正条件決定ステップにより決定された画像補正条件
に基いて、上記画像情報へ画像補正処理を施す画像補正
ステップと、上記画像補正ステップによる処理後の画像情報を印刷処
理する印刷ステップと、上記画像補正ステップ及び上記印刷ステップの処理実行
タイミングに基いて、上記条件情報に対応する処理モー
ド情報を表示する表示ステップとを含むことを特徴とす
る画像処理方法。
【請求項２９】上記画像情報をディジタルスチルカメ
ラの撮影により取得する画像取得ステップを含むことを
特徴とする請求項２４〜２８の何れかに記載の画像処理
方法。
【請求項３０】上記画像情報は、撮影画像情報を含
み、上記条件情報は、撮影時における露出、ストロボ、ホワ
イトバランス、及び撮影モードの少なくとも何れかの情
報を含むことを特徴とする請求項２４〜２８の何れかに
記載の画像処理方法。
【請求項３１】請求項１〜２２の何れかに記載の画像
処理装置の機能、又は請求項２３記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラム
を記録したコンピュータ読出可能な記憶媒体。
【請求項３２】請求項２４〜３０の何れかに記載の画
像処理方法の処理ステップをコンピュータに実行させる
ためのプログラムを記録したコンピュータ読取可能な記
憶媒体。
【請求項３３】請求項１〜２２の何れかに記載の画像
処理装置の機能、又は請求項１０記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラ
ム。
【請求項３４】請求項２４〜３０の何れかに記載の情
報処理方法の処理ステップをコンピュータに実行させる
ためのプログラム。