JP2003339057A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 常に良好な処理後画像を提供できる画像処理
装置を提供する。 【解決手段】 解析手段１１０は、画像情報１０５に含
まれる画像１０７取得時の条件情報１０６（撮影画像１
０７の撮影時の条件情報）を解析し、この解析結果に基
づいて、画像１０７へ施す画像補正処理のアルゴリズム
を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、ディジタ
ルスチルカメラ等により撮影して取得したディジタル画
像データをプリンタで印刷出力するための画像補正処理
を実行する装置或いはシステムに用いられる、画像処理
装置、画像処理システム、画像処理方法、それを実施す
るためのプログラムを記憶したコンピュータ読出可能な
記憶媒体、及び当該プログラムに関するものである。

【０００２】

【従来の技術】近年では、例えば、ディジタルスチルカ
メラの普及により、写真画像のディジタル化が手軽にな
り、特に、パーソナルコンピュータ（以下、単に「パソ
コン」と言う）上において、写真調の画像をディジタル
画像データとして扱う機会が増えてきた。さらに、パソ
コン上で各種のアプリケーションソフトウェアを使用す
ることで、写真調の画像であるディジタル画像データに
対して加工や編集処理を容易に行えるようになってい
る。

【０００３】一方、フルカラーハードコピー技術に関し
ても急速に発展しており、特に、インクジェット方式に
よる印刷技術では、インクドットによる粒状感を低減さ
せる技術の向上により、その印刷出力結果の画質が銀塩
写真での画質と同等のものとなりつつあり、また、比較
的簡易な印刷技術であることにより、広く普及してい
る。

【０００４】上述のような技術背景から、ディジタルス
チルカメラで撮影して取得したディジタル画像データを
手軽に印刷出力できることが求められている。また、印
刷出力時の画像補正処理に関して、複雑な機能を使用し
た手動での画像補正処理ではなく、パソコン上でアプリ
ケーションソフトウェアを使用することで、常に良好な
画像補正後の画像が得られる自動画像補正処理の必要性
が高まっている。

【０００５】そこで、良好な印刷出力結果を得るため
に、印刷出力を行う際に画像補正処理等の画像処理を施
して出力する方法としては、例えば、撮影画像のシーン
を解析し、その解析結果に基づいて自動的に画像補正を
行う方法等、様々な方法が提案されている。

【０００６】また、例えば、撮影画像を印刷出力した際
に、明るすぎたり（薄すぎたり）、或いは暗すぎたり
（濃すぎたり）することを防ぐための画像補正である所
謂「濃度補正」に関する方法が提案されている。また、
撮影画像における色かぶりや露出不良（明るさやコント
ラスト不良）、或いは彩度不良等の好ましくない画像及
び色かぶり等によりカラーバランスが崩れている画像を
補正する所謂「画像補正」の方法も提案されている。

【０００７】「濃度補正」及び「画像補正」の何れの画
像処理方法においても、自動画像補正のための構成とし
て、処理対象となる画像（原画像）における輝度信号の
輝度値毎に、対象輝度値の画素数を累積したヒストグラ
ムを用いることで原画像を解析し、当該解析結果に基づ
いて、原画像の補正を行う構成が用いられている。

【０００８】また、ディジタルスチルカメラ側の機能と
しては、撮影して取得した画像をディジタル画像データ
として、メモリカード等の記憶媒体に記録するだけでな
く、撮影時の撮影条件を表す付加情報をも、当該記録媒
体にディジタル画像データと共に記録することが可能と
なっている。

【０００９】ディジタルスチルカメラにより撮影して得
られた処理対象となる画像（対象画像）の画像解析を行
うことで対象画像のシーンの解析を行い、当該解析結果
に基づき対象画像の自動画像補正を行う場合、基本的に
は、全ての対象画像に対して、理論的に最適と考えられ
る画像（標準的な画像）が印刷出力されるような自動画
像補正を行うことになる。

【００１０】ところで、上述したような色補正、明るさ
補正は画像のヒストグラムを用いて、統計的に画像処理
をしているものが多く、画像データのみの解析だけでは
必ずしも全ての画像において最適に補正され難い。色補
正にはホワイトバランス情報が、明るさ補正には露出情
報を用いた方がより細密な判定を行うことができる。

【００１１】

【特許文献１】特開２０００−１３６２４公報

【００１２】

【発明が解決しようとする課題】また、上述の自動画像
補正は、ユーザが、パソコン上でアプリケーションソフ
トウェアを使用して、パソコンのモニタに表示された対
象画像を確認しながら手動で画像補正する手動画像補正
とは異なり、標準的な画像への自動画像補正が、対象画
像を取得した時（撮影時）のユーザの意図と反する補正
が行われてしまう場合がある。

【００１３】例えば、ユーザが意図的に手動設定を行
い、画像を明るく或いは暗くするような露出条件で撮影
して取得した画像に対しても、明るい画像であれば少し
暗めに画像補正され、また、暗い画像であれば少し明る
めに画像補正されることで、適正な明るさの画像として
出力されてしまう。すなわち、対象画像が、どのような
画像であっても、同一な明るさの画像に画像補正されて
出力されてしまう。

【００１４】また、ユーザが、ディジタルスチルカメラ
のホワイトバランスを意図的に変えることで特殊な効果
を狙った画像に対しても、同様に最適なカラーバランス
となるような画像補正が行われてしまう。

【００１５】そこで、本発明は、上記の欠点を除去する
ために成されたもので、常に良好な処理後画像を提供で
きる、画像処理装置、画像処理システム、画像処理方
法、それを実施するためのプログラムを記憶したコンピ
ュータ読出可能な記憶媒体、及び当該プログラムを提供
することを目的とする。

【００１６】

【課題を解決するための手段】斯かる目的下において、
画像取得時の条件情報を含む画像情報に対して画像処理
を施す画像処理装置であって、上記条件情報を解析する
解析手段と、上記解析手段の解析結果に基づいて、カラ
ーバランスの度合いを示す値に応じて画像の色補正量を
求め、明るさの度合いを示す値に応じて画像の明るさ補
正量を求め、画像処理条件を決定する処理決定手段と、
上記処理決定手段で決定された画像処理条件による処理
を上記画像情報に施す処理手段と、上記画像が画像取得
者の手動設定によって取得された場合、上記処理手段で
の処理時に処理を行うか否かを通知する手段とを備える
ことを特徴とする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００１８】＜第１の実施例＞本発明は、例えば、図１
に示すような画像印刷システム１００に適用される。

【００１９】本実施の形態の画像印刷システム１００
は、特に、ディジタルスチルカメラ１０１で撮影して得
られた処理対象の画像データに付加された撮影条件を示
す情報（付加情報）の解析結果に基づいて、当該画像デ
ータの画像補正を自動的に実施することで、高精度な自
動画像補正を実現し、撮影時のユーザの意図を、より反
映した高品質の写真画像印刷結果を提供できるように構
成されている。

【００２０】以下、本実施の形態の画像印刷システム１
００の構成及び動作について具体的に説明する。

【００２１】＜画像印刷システム１００の構成＞画像印
刷システム１００は、上記図１に示すように、ディジタ
ルスチルカメラ１０１、画像処理装置１０８、及びプリ
ンタ１１５を含む構成としている。

【００２２】ディジタルスチルカメラ１０１は、撮影動
作により撮影画像データ１０７を取得すると共に、当該
撮影動作における撮影条件データ１０６（付加情報）及
び撮影画像データ１０７を含む画像データ１０５を画像
処理装置１０８に対して出力するものであり、撮影条件
設定部１０２、撮影条件記録部１０３、及び撮影画像記
録部１０４を備えている。

【００２３】撮影条件設定部１０２は、撮影動作に必要
な各種の撮影条件の設定を行なう。

【００２４】撮影条件記録部１０３は、撮影条件設定部
１０２で設定された撮影条件のデータ１０６を、画像デ
ータ１０５（画像処理装置１０８への出力用のデータ）
中に記録する。

【００２５】撮影画像記録部１０４は、撮影条件設定部
１０２で設定された撮影条件に従った撮影動作により取
得された撮影画像データ１０７を、画像データ１０５中
に記録する。

【００２６】尚、画像データ１０５の画像処理装置１０
８への供給方法としては、例えば、通信回線を介したデ
ータ転送による方法、或いは任意の記録媒体又は記憶媒
体に記録することによる方法等を適用可能である。

【００２７】画像処理装置１０８は、例えば、パーソナ
ルコンピュータからなり、所定のアプリケーションソフ
トウェアの起動により、ディジタルスチルカメラ１０１
からの画像データ１０５の撮影画像データ１０７に対し
て画像補正処理を施してプリンタ１１５で印刷出力す
る。

【００２８】このため、画像処理装置１０８は、リーダ
部１０９、撮影条件解析部１１１及び撮影画像解析部１
１２を含むデータ解析部１１０、画像補正処理部１１
３、及び印刷データ変換部１１４を備えており、これら
の構成部１０９〜１１４の各機能は、上記の所定のアプ
リケーションソフトウェアの起動により実現される。

【００２９】リーダ部１０９は、ディジタルスチルカメ
ラ１０１からの画像データ１０５を読み取る。

【００３０】データ解析部１１０は、撮影条件解析部１
１１により、リーダ部１０９で得られた画像データ１０
５に含まれる撮影条件データ１０６を解析すると共に、
撮影画像解析部１１２により、リーダ部１０９で得られ
た画像データ１０５に含まれる撮影画像データ１０７を
解析し、当該解析結果に基づいて、画像補正アルゴリズ
ムを選択する。

【００３１】画像補正処理部１１３は、データ解析部１
１０で選択された画像補正アルゴリズムにより、撮影画
像データ１０７に対して画像補正処理を施す。

【００３２】画像補正アルゴリズムの選択（決定）につ
いて、具体的には例えば、撮影画像解析部１１２が、撮
影画像データ１０７の信号値から輝度値や輝度分布を解
析する場合、当該解析結果により、撮影画像データ１０
７の特性を認識し、この結果に該当する最適な補正条件
を決定し、当該決定条件に基づいた画像補正アルゴリズ
ムを選択する。

【００３３】すなわち、最終的な画像補正アルゴリズム
の選択は撮影条件解析部１１１による撮影条件データ１
０６の解析結果により決定したアルゴリズムと撮影画像
解析部１１２によって撮影画像データ１０７の特性認識
により決定したアルゴリズムとにより決められる。

【００３４】また、画像補正処理としては、明るさ補正
処理、コントラスト補正処理、色（カラーバランス）補
正処理、彩度補正処理、平滑化処理、輪郭強調処理、及
びノイズ低減処理等が挙げられる。

【００３５】印刷データ変換部１１４は、画像補正処理
部１１３での補正後の撮影画像データ１０７を、プリン
タ１１５で印刷可能な適切な形式のデータ（例えば、Ｃ
ＭＹＫデータ）に変換し、当該変換後データを、所定の
インタフェースを介してプリンタ１１５へ転送する。

【００３６】したがって、プリンタ１１５は、画像処理
装置１０８の印刷データ変換部１１４から転送されてき
たデータを印刷出力する。

【００３７】プリンタ１１５としては、例えば、シリア
ルスキャン形式のインクジェット方式、電子写真方式、
昇華型のプリンタ等を適用可能である。

【００３８】尚、本実施の形態では、画像処理部１０８
が備える構成部１０９〜１１４を、パーソナルコンピュ
ータ上で動作するアプリケーションソフトウェアの起動
により実現するものとしているが、これに限られること
はなく、例えば、ハードウェアにより実現するようにし
てもよい。さらに具体的には、プリンタ１１５のドライ
バの形態で実現するようにしてもよい。

【００３９】また、例えば、画像処理部１０８としてパ
ーソナルコンピュータを用いた場合、画像データ１０５
を、画像処理部１０８のハードディスク等の記憶媒体に
保持し、或いは画像処理部１０８に接続された別のパー
ソナルコンピュータ（サーバ等を含む）の記憶媒体に保
持し、これを画像処理部１０８内で処理するようにして
もよい。

【００４０】また、ディジタルスチルカメラ１０１から
画像処理部１０８（画像処理部１０８としてパーソナル
コンピュータを用いた場合には、その内部の記憶媒体
等）への画像データ１０５の受け渡しについては、上述
したように任意の通信回線や記録媒体又は記憶媒体を利
用する方法等が適用可能であるが、さらに具体的には例
えば、カードリーダやケーブル接続、或いは赤外線通
信、或いは無線通信を適用可能である。この場合、例え
ば、ディジタルスチルカメラ１０１と画像処理部１０８
をケーブル接続、或いは赤外線通信、或いは無線通信で
接続し、画像処理部１０８が、ディジタルスチルカメラ
１０１が保持するメモリカードや内蔵メモリ等から、直
接画像データ１０５を読み込むようにしてもよい。

【００４１】また、画像印刷システム１００のシステム
形態としては、例えば、プリンタ１１５内部に対して、
画像処理装置１０８の機能を設けるように構成してもよ
い。この場合、画像処理装置１０８としてパーソナルコ
ンピュータ等を用いる必要はない。また、この場合に
は、例えば、プリンタ１１５において、画像データ１０
５を、プリンタ１１５に設けられたカードリーダ等のデ
ータ読取手段（リーダ部１０９の機能に相当）により、
メモリカード等の記録媒体又は記憶媒体を介して読み取
るようにしてもよい。或いは、ディジタルスチルカメラ
１０１とプリンタ１１５を有線ケーブル、或いは赤外線
通信、或いは無線通信により接続し、プリンタ１１５
が、ディジタルスチルカメラ１０１が保持するメモリカ
ードや内蔵メモリ等から画像データ１０５を読み出すよ
うにしてもよい。

【００４２】図２にＲＧＢ画像信号より画像補正に最適
なＬａｂ信号に変換するフローチャートを示す。２０２
で画像補正処理を行った後、Ｌ’ａ’ｂ’信号を再び
Ｒ’Ｇ’Ｂ’に戻すことで単純かつ効果的な補正ができ
る。またＬａｂ信号を用いず、簡易的なＹＣｂＣｒ信号
を用いてもよい。なお本実施例では、ＹＣｂＣｒ信号を
用いることにする。

【００４３】次に画像補正処理部１１３の処理内容につ
いて述べる。まず撮影条件データ１０６にある、ホワイ
トバランスに関する情報を読みとり、それが自動撮影
（オートモード）ならばカラーバランス補正（色補正）
を行う。

【００４４】一方、撮影条件データ１０６にある露出に
関する情報を読みとり、それが自動撮影（オートモー
ド）ならば明るさ補正（印刷濃度補正）を行う。

【００４５】また、撮影条件データ１０６にあるデジタ
ルズームに関する情報を読みとり、それが実行されてい
る（ＯＮ）ならば画像にスムージング補正を行う。

【００４６】次に以下に、カラーバランス補正、明るさ
補正の実施例について説明する。

【００４７】《カラーバランス補正》［第１の処理方
法］はじめに、カラーバランス補正についてその処理内
容を図３〜図１０を用いて説明する。

【００４８】本実施形態の画像補正処理部１１３は、図
３に示したように、ヒストグラム作成処理（図３−Ｓ
１）とヒストグラムに応じた画像補正処理（図３−Ｓ
２）を行う。ステップ図３−Ｓ１では、図４に示すよう
な処理によりヒストグラムを作成する。そして、作成さ
れたヒストグラムに基づき画像のハイライトポイントお
よびシャドーポイントを決定する。

【００４９】（輝度ヒストグラムの作成）図４は本実施
形態での輝度ヒストグラムを作成するフローチャートで
ある。

【００５０】図４において、図４−Ｓ１で原画像の輝度
ヒストグラム作成のルーチンに入ると、図４−Ｓ２で原
画像の画素から輝度ヒストグラムの作成に用いる画素の
選択比率を決定する。本実施形態では、処理対象の画像
データが３５万画素の場合に全画素を対象（選択比率１
（あるいは１００％））に輝度ヒストグラムを作成する
こととする。３５万画素以上の画素数の画像データが入
力された場合には、その総画素数の３５万画素に対する
比率に応じて画素選択（サンプリング）を行う。例え
ば、３５０万画素の画像データが入力された場合には、
選択比率は３５０万／３５万＝１０であり、１０画素に
１画素の割合（選択比率１０（あるいは１０％））で輝
度ヒストグラムを作成する。本実施形態では選択比率ｎ
は次式により求める。 ｎ＝ｉｎｔ（対象画像データの総画素数／基準画素数３
５万）（但し、ｎ＜１の時はｎ＝１、ｎは正数） 続いて図４−Ｓ３でライン番号を管理するカウンタをリ
セットあるいは所定の初期値にセットし、図４−Ｓ４で
そのカウンタをインクリメントして注目ラインのライン
番号とする。

【００５１】本実施形態では画素の間引き（サンプリン
グ）はライン単位で行うので、選択比率ｎの場合には、
ライン番号をｎで割ったときの余りが０の場合に、その
ラインに属する画素を処理対象として選択する（図４−
Ｓ５−ＹＥＳ）。例えば選択比率１０の場合であれば、
ライン番号を１０で割ったときの余りが０の場合に、そ
のラインに属する画素を処理対象として選択する注目ラ
インが間引かれるライン、すなわち処理対象とならない
ラインの場合には図４−Ｓ４に戻る。処理対象ラインの
場合には図４−Ｓ６に進み、注目ラインに属する画素に
順次注目し、その注目画素に対して輝度変換，色度変換
を処理を行う。本実施形態における輝度変換、色度変換
は以下の式により行う。なお、輝度、色度変換は以下の
式に限らず様々な式を用いることが可能である。 Ｙ （輝度）＝ｉｎｔ（０．３０Ｒ＋０．５９Ｇ＋０．
１１Ｂ）（Ｙは正数） Ｃ１（色度）＝Ｒ−Ｙ Ｃ２（色度）＝Ｂ−Ｙ また本実施形態では白位置（ハイライトポイント）、黒
位置（シャドーポイント）の検出精度を向上させるため
に次式により注目画素の彩度Ｓを計算し、予め定めた彩
度値（Ｓｃｏｎｓｔ）より大きいか否かを判断して（図
４−Ｓ７）、大きい場合には、その画素の情報は輝度ヒ
ストグラムに反映させない。

【００５２】彩度Ｓ＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２） ここでｓｑｒｔ（ｘ）はｘの平方根を与える関数であ
り、ｘ＾ｙはｘのｙ乗を表す。

【００５３】即ち、（Ｓ＞Ｓｃｏｎｓｔ）の場合には図
４−Ｓ６に戻り、注目画素のデータは以後の処理に反映
させない。これは、後述する通り、白位置の彩度は高輝
度の画素群の平均彩度により与えられ、その彩度の値は
色かぶりにより生じた誤差となるため、本来高彩度であ
ると考えられる画素はハイライトポイントの算出から除
外したほうが良いためである。この処理の効果を具体例
を上げて説明する。例えばイエローの画素（Ｒ＝Ｇ＝２
５５、Ｂ＝０）は、上式からその輝度Ｙは２２６とな
り、彩度Ｓは２２７となる。すなわち、この画素は極め
て高輝度であるとともに、十分に彩度の高い色を有する
ことが分かる。このような画素は、無彩色の画素がイエ
ローに色かぶりした結果そのようになったと判断するよ
りも、本来イエローの画素であると判断した方が多くの
場合間違えが少ない。このような高輝度・高彩度の画素
を輝度ヒストグラムに含めると、検出される白位置に誤
差が生じてしまう。よって、本実施形態では所定の彩度
（Ｓｃｏｎｓｔ）を定め、所定の彩度を越える彩度の画
素は輝度ヒストグラムに含めない。こうすることで、高
彩度の画素により検出される白位置に誤差が生じること
を防ぎ、白位置の精度を向上させることができる。

【００５４】このように、図４−Ｓ７における判断の
後、条件（Ｓ≦Ｓｃｏｎｓｔ）を満たした画素について
輝度ヒストグラムを作成していく（図４−Ｓ８）。ここ
で本実施形態で扱う画素データＲＧＢは各８ビット（２
５６階調）データであるので、輝度Ｙも２５６の深さに
変換される。よって輝度ヒストグラムは、０から２５５
までの２５６段階の各輝度値の画素が夫々何度数あるか
を計数することで得られる。

【００５５】また色度Ｃ１，Ｃ２の計算値は、後の色か
ぶり補正時に、各輝度値を有する画素の平均色度を算出
するためのデータとして用いるので、本実施形態では次
のようにデータを保持する。すなわち、インデクスの範
囲が０から２５５の構造体配列変数の形式で、度数，Ｃ
１累積値，Ｃ２累積値の３メンバーを設定し、各画素ご
との演算結果をその画素の輝度値をインデクスとする各
メンバーに反映していく。

【００５６】注目画素について処理を終えたなら、注目
ラインの全画素の処理が終了したかどうかを判断し（図
４−Ｓ９）、注目ラインに未処理画素が残っている場合
には図４−Ｓ６に戻り、図４−Ｓ６以降の処理を繰り返
す。注目ライン内の全画素の処理が終了したら、図４−
Ｓ１０で未処理のラインが残っているかを判断し、全ラ
イン終了であれば図４−Ｓ１１で終了し、未処理のライ
ンが残っていれば図４−Ｓ４に戻り、注目ラインを次の
ラインに移して上記処理を繰り返す。

【００５７】以上の様に原画像データの画素を選択しな
がら輝度ヒストグラムを作成することにより、必要最小
限の画素数で、且つ後の白位置、黒位置検出時の精度の
向上も考慮した輝度ヒストグラムを作成することができ
る。 （白位置（ハイライトポイント），黒位置（シャドーポ
イント）の決定）輝度ヒストグラムが完成したら、その
ヒストグラムから白位置（ホワイトポイント）、黒位置
（シャドーポイント）を決定する。本実施形態では、輝
度ヒストグラムにおける輝度値０及び輝度値２５５の両
端から中心方向に累積輝度度数値が１７５０になる点を
それぞれ黒位置および白位置と定める。

【００５８】すなわち、輝度値Ｙの画素の度数をＰＹと
すると、Ｐ０＋Ｐ１＋・・・と累積度数を求めていき、
累積度数が１７５０を越えた時の輝度値を黒位置の輝度
値ＹＳＤとする。次いで輝度ＹＳＤの画素の平均色度を
求める。前記の通り、輝度ヒストグラム作成時に各輝度
値の色度の累積値が計算されている（輝度Ｎの画素の累
積色度をＣ１Ｎｔｏｔａｌ，Ｃ２Ｎｔｏｔａｌとする）
ので、黒位置である輝度値ＹＳＤの画素の平均色度Ｃ１
ＳＤ，Ｃ２ＳＤを求める。 Ｃ１ＳＤ＝Ｃ１ＹＳＤｔｏｔａｌ／ＰＹＳＤ Ｃ２ＳＤ＝Ｃ２ＹＳＤｔｏｔａｌ／ＰＹＳＤ 同様に白位置の決定を行う。Ｐ２５５＋Ｐ２５４＋・・
・と累積度数を求めていき、該累積度数が１７５０を越
えた時の輝度値を黒位置の輝度値ＹＨＬとする。次いで
輝度ＹＨＬの画素の平均色度Ｃ１ＨＬ，Ｃ２ＨＬを求め
る。 Ｃ１ＨＬ＝Ｃ１ＹＨＬｔｏｔａｌ／ＰＹＨＬ Ｃ２ＨＬ＝Ｃ２ＹＨＬｔｏｔａｌ／ＰＹＨＬ 以上の演算を行うことにより、［Ｃ１，Ｃ２，Ｙ］色空
間において、白位置（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と
黒位置（Ｃ１ＳＤ，Ｃ２ＳＤ，ＹＳＤ）を求めることが
できる。

【００５９】尚、本実施形態では輝度値０と輝度値２５
５の輝度位置から累積度数を求めたが、輝度値１と輝度
値２５４から求めるなど、所定のオフセットを与えても
良い。

【００６０】以上のようにして、図３のステップＳ１に
おいて、白位置（ハイライトポイント）／黒位置（シャ
ドーポイント）を決定する。

【００６１】次に、図３のＳ２において、図３−Ｓ１で
決定された白位置および黒位置に基づいた画像補正処理
を行う。本実施形態では画像補正処理として、原画像の
色かぶりを補正する色かぶり補正、原画像の露出を最適
化すべく輝度のコントラストを補正する露出補正、およ
び出力画像の色のみえを良くするための彩度補正を行
う。

【００６２】図９は、画像補正処理部１１３により図３
のステップＳ２で行われる補正処理の流れを示してい
る。すなわち、まず色かぶり補正のための回転行列を求
め、次にその回転行列を用いて色バランス（色かぶり）
を補正し、最後に画像の露出の状態に応じて、輝度信号
のガンマ変換を行う。これら各処理を、順を追って説明
する。

【００６３】（色かぶり補正）上記の通り原画像の（Ｃ
１，Ｃ２，Ｙ）色空間における白位置、黒位置が求めら
れたら、引き続いて色かぶりの補正を行う。

【００６４】もし原画像に色かぶりが無く理想的な画像
であるとすれば、無彩色はＲ＝Ｇ＝Ｂであり、白位置、
黒位置の色度の演算値は「Ｃ１ＨＬ＝Ｃ２ＨＬ＝Ｃ１Ｓ
Ｄ＝Ｃ２ＳＤ＝０」となる。しかし色かぶりがある場合
には、かぶっている色相方向に、かぶっている程度に比
例して、（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と（Ｃ１Ｓ
Ｄ，Ｃ２ＳＤ，ＹＳＤ）を結ぶ直線（色立体軸）に傾き
が生じる。（図５（ｂ））色かぶり補正は現画像の色立
体軸とＹ軸（輝度軸）が一致する様に変換することで達
成できる。変換は色立体を回転、平行移動させることで
も達成できるし、座標系を変換することでも達成でき
る。

【００６５】本実施形態ではまず原画像の色立体におい
て、色立体軸の最低輝度点（下端点）を回転中心とし
て、色立体軸をＹ軸と平行となる様に回転させる。次い
で前記最低輝度点の位置が（Ｃ１，Ｃ２，Ｙ）空間の原
点となるように座標系を変換する。以上の処理により、
最低輝度点が原点で、色立体軸がＹ軸と一致する変換結
果が得られる。なお、図５（ａ）は色かぶりのない理想
的な画像データの色分布を示す色立体である。上述の変
換により、変換後の色立体は、理想的な色立体（図５
（ａ））に近づけられる。

【００６６】なお、色立体軸をＹ軸と平行に回転させる
回転変換にあたっては、シャドーポイント及びハイライ
トポイントの座標値から、回転変換の回転軸及び回転角
は簡単に決めることができる。３次元空間上で、立体を
所望の回転軸周りに所望の角度で回転させる回転行列を
求める手法は公知の技術であるので、この詳細な説明は
省略する。

【００６７】以上の様に、原画像の各画素を、色度と輝
度とを軸とする３次元色空間の画素データ（Ｃ１，Ｃ
２，Ｙ）に変換し、その画像データを、黒位置と白位置
とを結ぶ色立体軸（グレーライン）がＹ軸と一致し、か
つ最低輝度が座標原点となるような画素データ（Ｃ
１’，Ｃ２’，Ｙ’）に回転、平行移動変換することに
より、色かぶりの補正を行うことが可能となる。

【００６８】（コントラスト及び彩度の調整）次にコン
トラスト及び彩度の調整による画像のさらなる高品質を
実現するために、画像の露出オーバー／アンダーを簡易
的に判定し、それに応じて輝度信号にガンマ補正をかけ
る方法を説明する。

【００６９】なおこの処理は主にカラーバランス補正の
一部であり、上述したような撮影条件データ１０６に含
まれる露出データは考慮しておらず、後述する露出デー
タの値を加味した明るさ補正とは異なる。

【００７０】コントラストの調整は、黒位置（シャドー
ポイント）の輝度を“０”あるいはそれに近い値（例え
ば“１０”）に調整し、白位置（ハイライトポイント）
の輝度を“２５５”あるいはそれに近い値（例えば“２
４５”）に調整することで行う。

【００７１】次に、画像の露出のオーバー・アンダーを
簡易的に判定し、画像データに対してそれに応じたガン
マ補正を施す際の一実施例を示す。

【００７２】まず、補正する色立体軸と輝度（Ｙ）軸と
が最小距離となる点、つまり図５（ｂ）におけるＴ，
Ｔ’を求める。これは幾何学的な関係から簡単に求める
ことができる。

【００７３】そして、点Ｔ’の色かぶり補正後の輝度成
分ＹＴ’が点Ｔの輝度成分ＹＴとなるようにコントラス
トを調整する。つまり図６に示すように（ＹＴ’，Ｙ
Ｔ）を屈折点とし、色かぶり補正後の輝度Ｙ’がＹＴ’
より小さい場合は、輝度を直線ａとして与えられる関数
によりＹ”に補正し、ＹＴ’より大きい場合は、直線ｂ
として与えられる関数によってＹ”に補正する。

【００７４】もちろん、このＴ，Ｔ’を使わずに、図６
の直線Ｉ２で与えられるような補正をおこなってもよ
い。色立体軸が輝度軸と並行になる場合は、点Ｔ，Ｔ’
は１対１ではないし、また、Ｔ，Ｔ’が輝度の範囲
［０，２５５］の外にある場合には、点（ＹＴ’，Ｙ
Ｔ）を屈折点とすることはできない。このような特殊な
ケースでは直線Ｉ２に従って補正すればよい。

【００７５】この２直線の最近接点Ｔ，Ｔ’を用いた補
正の効果は、とくに露出のオーバーあるいはアンダーの
画像に作用する。露出がオーバーになるのは空などの明
るいところに画像全体が引っ張られるためである。この
際デジタルカメラを代表する入力機器では、高輝度色抑
圧が行われ、高輝度部の彩度がおとされる。すなわち、
高輝度色抑圧の行われた画像の色立体軸を、図７（ａ）
に示すように彩度と輝度とを軸とする２次元平面で考え
ると、高輝度の部分でもっとも無彩色に近い画素があら
われる。逆に、露出アンダーの画像に対しては低輝度色
抑圧がかかるため、図７（ｂ）のように、低輝度の部分
で彩度が低くなる。

【００７６】実際の画像で色立体の輝度軸を輝度−彩度
平面で考えると露出オーバーの画像に関しては例えば、
図７（ｃ）のようになる。逆にアンダーの画像に関して
は例えば、図７（ｄ）のようになる。そもそも本来ある
べき（理想的な状態の）色立体から、なんらかの撮影状
況や入力時（Ａ／Ｄ変換時）の影響で実際の色立体がず
れるのだと考えれば、Ｔ，Ｔ’の位置がもっともズレの
小さい場所と考えられる。従って、本発明の一実施の形
態はこれを戻してやることで簡易的に適切なグレー、つ
まり全体の明るさ補正を行うものである。

【００７７】もちろんこのＴを単に画像の露出オーバー
・アンダーを簡易的に判定する手段として用い、あらか
じめアンダー用のＬＵＴ（ルックアップテーブル）、オ
ーバー用のＬＵＴを用意し、点ＴあるいはＴ’の輝度成
分に応じて輝度信号のガンマ調整を行ってもよい。例え
ば、図６の点（ＹＴ’，ＹＴ）を変曲点とするような曲
線によってコントラストの調整を行ってもよい。従っ
て、このＴ，Ｔ’の値によって簡易的に画像が露出オー
バーなのか、アンダーなのか判定できる。すなわち、色
立体軸においてもっとも彩度の低い点である点Ｔ’の輝
度成分が高輝度よりにあれば、その画像の輝度−彩度の
関係は図７（ａ）のような傾向を示すし、逆に点Ｔ’の
輝度成分が低輝度よりにあれば、その画像の輝度−彩度
の関係は図７（ｂ）のような傾向を示す。したがって、
高輝度色抑制及び低輝度色抑制された画像において、点
Ｔ’の輝度成分が高輝度よりにあれば、その画像は露出
オーバー傾向にあり、点Ｔ’の輝度成分が低輝度よりに
あれば、その画像は露出アンダー傾向にあると考えられ
る。

【００７８】一方、彩度調整は、色差Ｃ１，Ｃ２に彩度
補正係数を乗ずることで簡単に行うことができる。例え
ば、彩度を２０％あげる場合は、補正後の彩度は補正前
の１２０％となることから、彩度補正係数を１．２とし
て計算する。すなわち、 Ｃ１”＝１．２×Ｃ１’ Ｃ２”＝１．２×Ｃ２’ として彩度補正を行うことができる。これは、 （彩度）＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２） で定義されることによる。

【００７９】（ＲＧＢ空間への逆変換）以上で本実施形
態における各種補正が終了する。この時点で原画像の各
画素は（Ｒ，Ｇ，Ｂ）の色信号データから（Ｃ１”，Ｃ
２”，Ｙ”）の色空間データに変換された状態にあるの
で、再度（Ｒ’，Ｇ’，Ｂ’）の色信号データに逆変換
する。逆変換は以下の式により行う。 Ｒ’＝Ｙ”＋Ｃ１” Ｇ’＝Ｙ”−（０．３／０．５９）＊Ｃ１”−（０．１
１／０．５９）＊Ｃ２” Ｂ’＝Ｙ”＋Ｃ２” このようにして、原画像に対して、色かぶり，コントラ
スト、彩度が補正されたＲＧＢデータを得ることができ
る。

【００８０】以上のように、本実施形態によれば、少な
い処理負荷で確実に色かぶり補正が可能となる。

【００８１】また、本実施形態によれば、サンプリング
条件を原画像の画像データサイズに応じて設定している
ので、入力画像にかかわらずヒストグラム総度数と、白
位置及び黒位置を決定するための累積度数との関係をほ
ぼ一定にすることができる。したがって、良好な色かぶ
り補正を実現することができる。

【００８２】さらに、補正対象画像の色立体軸と輝度軸
との距離が最短となる点における輝度を維持するように
画像全体を非線形にガンマ補正することで、もっとも原
画像の値に近いと考えられる輝度を維持しつつ、コント
ラストを補正することができる。

【００８３】さらに、画像が露出オーバーであるか露出
アンダーであるかという露出状態を簡単に得ることがで
きる。さらに、その露出状態に応じて異なるテーブルを
選択し、ガンマ補正を施すこともできる。ただし、この
露出を調べる手段は、画像データをヒストグラム解析し
て簡易的に行うもので、撮影条件データ１０６を元に露
出の状態を調べる方法とは異なる。

【００８４】なお、サンプリングをライン単位でなくカ
ラム単位で行っても構わない。

【００８５】［第２の処理方法］次に、上述した第１の
処理方法に対して、補正度合いを考慮した第２の処理方
法について説明する。

【００８６】第１実施形態で説明したように、画像の色
立体軸を求める際に、この軸の傾きがあまりにも大きい
場合、これを無理に補正すると画像に不具合が生じる場
合がある。これには例えば色フィルタなどをもちいて故
意に色かぶりを起こしているような場合や、夕焼けのシ
ーンを撮影した場合などが考えられる。

【００８７】このような場合、求めたハイライトポイン
トとシャドーポイントが間違っていたと判断して補正を
行わないか、または、回転角を適当に調整して補正度合
いを弱めることで不具合をなくすことができる。このよ
うなハイライトポイントとシャドーポイントが間違って
いたという判定は、色立体軸の方向によって可能であ
る。色立体軸の傾きから、どの色がかぶっているのか容
易に判定できるので、特殊効果を得るために例えば色フ
ィルタを用いて撮影された画像については色かぶりを補
正しないというような判定もできる。

【００８８】このような場合、原画像の色立体軸の方向
ベクトルと、輝度軸とのなす角度に着目し、色かぶり補
正を行うことで逆に不都合が生じると判定して処理を行
わないか、または、処理の度合をゆるめる。例えば、色
立体軸が赤の色相方向に向いており、その角度が所定の
角度、例えば４０度以上の場合には、その画像は夕焼け
画像のような本来色かぶりした画像であると判断する。
処理の度合をゆるめる場合には、色立体軸を所定角度、
例えば２０度だけ起こしたり、あるいは所定角度まで、
例えばＹ軸に対する傾きが２０度になるまで起こすこと
で色かぶりを補正する。この変換のための回転行列は、
回転軸と回転角度とから容易に求めることができる。

【００８９】なお上記補正の度合いはユーザーがマニュ
アルで指定してもいいし、あらかじめ角度の大きさ、該
色立体軸の方向に応じて設定しておいてもよい。例えば
４０度の場合、該画像の色立体を２０度だけ回転して起
こすとしたが、その補正の度合いをユーザに指定させて
もよい。以後の処理は第１の処理方法と同様である。

【００９０】また、原画像の色立体軸の方向によって、
どの色がかぶっているのか容易に判定できるので、特殊
効果を得るために例えば色フィルタを用いて撮影された
画像については、フィルタの色方向に関しては補正しな
いというような判定もできる。すなわちこのような場合
には、色かぶりを補正しない色を指定させ、Ｃ１−Ｃ２
平面上において、補正を行わない色の方向に沿って回転
変換の回転軸を設定し、その回転軸と色立体軸ｌとを含
む平面が、Ｙ軸と平行になるまで色立体を回転変換す
る。こうすることで、特定の色成分についてだけ色かぶ
りを補正できる。

【００９１】図１０は、色立体軸が所定角度以上傾いて
いる場合には、別途指定された角度まで色立体を回転さ
せるように、画像を補正するための処理手順である。ま
ず、ステップＳ１０１でハイライト／シャドーポイント
を決定し、ステップＳ１０２で色立体軸の傾きが所定角
度以上であるか判定する。もし所定角度に達していなけ
れば、ステップＳ１０４，Ｓ１０５で、第１の処理方法
と同様に、色立体軸が輝度軸と一致するように変換して
色かぶりを補正する。

【００９２】一方、色立体軸が所定角度以上傾いていれ
ば、色立体軸を、輝度軸に向かって２０度だけ回転させ
るような回転行列をステップＳ１０３で求め、ステップ
Ｓ１０５で、その回転行列を用いて色立体を回転させて
色かぶりを補正する。この場合、ステップＳ１０３で用
いた２０度という角度は、操作者がアプリケーションの
ユーザインターフェイス（ＵＩ）情で指定してもよい
し，アプリケーションがデフォルト値として有していて
もよい。

【００９３】なお、しきい値を２段階設け、第１のしき
い値（例えば４０度）より色立体軸の傾きが大きい場合
には、色立体軸を完全なグレーラインにしない程度に色
立体軸を起こす（例えば２０度）ように回転変換し、第
１のしきい値と第２のしきい値（例えば２０度）との間
の場合には、回転変換を行わず、第２のしきい値よりも
傾きが小さい場合には、色立体軸を輝度軸と一致させる
ように回転変換を行うこともできる。このしきい値設定
も操作者がユーザインターフェイス（ＵＩ）上で初期設
定してもよいし、アプリケーションがデフォルト値とし
て有していてもよい。このようにすることで、意図的に
色かぶりが生じさせられた画像については、不都合な補
正を行うことがない。

【００９４】このように、画像データの画素により構成
される色立体の軸の傾き、すなわち軸の方向と傾きの角
度という２つの量から、補正するか否かのしきい値をす
くなくとも２つ以上設定し画像を補正すべきか、すべき
でない、補正度合いを調節すべきかの判定を行うことが
でき、非常に簡潔に特殊なケースの弊害だけをはじくこ
とができる。

【００９５】また、色立体軸の方向によって、どの色が
かぶっているのか容易に判定できるので、かぶっている
色方向に応じて色かぶりを補正しないようにすることも
できる。

【００９６】［第３の処理方法］前記第１〜第２の処理
方法では、画像のハイライトポイント・シャドーポイン
トに基づいた色バランス補正について説明したが、この
他の基準点に基づく補正の実施例について以下説明す
る。

【００９７】まず、ハイライトポイントおよびシャドー
ポイントにおける平均色差量△Ｅを求める。 △Ｅ＝ｓｑｒｔ（（Ｃ１ＨＬ−Ｃ１ＳＤ）＾２＋（Ｃ２
ＨＬ−Ｃ２ＳＤ）＾２） 色立体軸が輝度軸と平行であればΔＥ＝０となるはずで
あるが、傾いていれば、０より大きな値となる。つま
り、Ｅ（彩度）−Ｙ（輝度）平面で考えると図８のよう
になる。

【００９８】次にハイライトとシャドーの間のサンプル
輝度を数点用意する。そして、画像中で例えばこのサン
プル輝度のうち所定の輝度Ｙｎの画素から、△Ｅｎより
小さい彩度の画素を用いて、平均色差量を求める。ΔＥ
ｎとしては、予め設定した一定彩度を用いてもよいし、
また、色立体軸の傾き方向に限定した平均色差量を求め
てもよい。

【００９９】これらの数点の輝度について平均色差で最
小二乗法的に直線を求め、これを原画像の色立体軸とし
て第１の処理方法に基づく処理を行う。

【０１００】あるいは、求められた色差及び輝度を要素
とする点をＢシュプラインなどで近似曲線を求め、この
曲線を輝度軸にする、すなわち色差を“０”とするよう
に非線形の色バランス補正を行ってもよい。

【０１０１】以上本発明を好ましい実施例により説明し
たが、本発明は上述した実施例に限ることなく、クレー
ムに示した範囲で種々の変形が可能である。

【０１０２】このようにすることで、輝度軸となるべき
線を、ハイライト及びシャドーだけではなく、画像全体
から一様にサンプリングした画素から得ることができ
る。得られた線を輝度軸に一致するように画像データを
変換することで、画像全体の特性を反映した色かぶり補
正を行うことができる。

【０１０３】ところで、ホワイトバランスがオートの場
合、基準値からのズレ量によってカラーバランスの補正
量を可変にしてもよい。例えば、ホワイトバランスがオ
ートであるという情報の他に、ホワイトバランスが基準
値からの青方向に大幅にずれているという情報を得た場
合、カラーバランス補正は色差信号において青とは反対
の黄色に傾きやすく閾値を設定してもよい。こうするこ
とで、より精度の高い補正処理を施すことができる。

【０１０４】《濃度補正》次に、本実施形態の画像補正
処理部１１３における濃度補正について説明する。これ
は画像条件データ１０６から露出に関する情報、または
ストロボ発光ＯＮ／ＯＦＦ情報を読み取り、最適な明る
さ補正（印刷濃度補正）を行うものである。

【０１０５】（階調曲線判定）図１１のステップＳ２で
は、図３Ｓ１で求めたヒストグラムに基づき補正条件設
定処理（階調曲線判定処理）を行う。すなわち、予め用
意されている複数の輝度補正用の階調曲線から、画像の
解析結果に基づき階調曲線を選択する。

【０１０６】本実施形態の階調曲線判定は、３つのパラ
メータ（ハイライトポイント、シャドーポイントおよ
び、ある輝度領域の画素数）に基づき画像の明るさを判
定し、これに基づいて階調曲線を選択する。

【０１０７】図１２は、階調曲線判定処理の詳細を示す
フローチャートである。これを参照して本実施形態の階
調曲線判定処理を説明する。

【０１０８】ハイライトポイント判定部 図１２ステップＳ２１のハイライトポイント判定処理で
は、上記ヒストグラムから処理対象である画像における
ハイライトポイントを算出する。

【０１０９】本実施形態では、輝度信号Ｙのヒストグラ
ムにおいて輝度範囲の最高輝度値（輝度値２５５）か
ら、順に低輝度側に向かいながら各輝度値の度数を累積
し、ここで求めた累積度数が、例えば、処理対象である
画像データの全画素数の１．０％と一致した輝度値、ま
たは最初に全画素数の１．０％を越えた輝度値を求め、
この点をハイライトポイント（以下、「ＨＬＰ」とい
う）とする。

【０１１０】次に、ＨＬＰを予め定られた複数の閾値Ｔ
ｈ＿Ｈ１、Ｔｈ＿Ｈ２、・・・（Ｔｈ＿Ｈ１＜Ｔｈ＿Ｈ
２＜・・・）と比較し、ヒストグラムの高輝度領域にお
ける分布を解析する。

【０１１１】例えば、本実施形態では、図１３に示され
るように、下から順番に２００、２３０の値が設定され
ている２つの閾値を用いた場合を説明する。

【０１１２】そして、ＨＬＰ＜Ｔｈ＿Ｈ１のときは、画
像を高輝度領域が少なくかつ暗い画像と判定し、Ｔｈ＿
Ｈ１≦ＨＬＰ＜Ｔｈ＿Ｈ２のときは、画像を高輝度領域
の分布もあるが全体的に暗い画像と判定し、Ｔｈ＿Ｈ２
≦ＨＬＰのときは、画像を高輝度領域に分布の多い明る
い画像と判定する。

【０１１３】例えば、図１４に示す明るめの画像のヒス
トグラムでは、ＨＬＰが閾値Ｔｈ＿Ｈ２を越えて（ＨＬ
Ｐ＞Ｔｈ＿Ｈ２）おり、高輝度領域に多く分布がある画
像と判定する。図１４のヒストグラムは全体的に高輝度
側に分布が偏っており、結果的にＨＬＰも高輝度側に位
置している。こういった分布を示す画像は一般的に明る
い画像が多い。

【０１１４】図１５に示すヒストグラムでは、ＨＬＰが
閾値Ｔｈ＿Ｈ２よりも低くＴｈ＿Ｈ１より高く（Ｔｈ＿
Ｈ１＜ＨＬＰ≦Ｔｈ＿Ｈ２）、高輝度領域にある程度分
布があるが、明るくはない画像と見なすことができる。
図１５のヒストグラムは、輝度は大まかに中間的な分布
を示し、ＨＬＰも図１４より比較的低輝度側に位置する
ことから、このように判断することができる。

【０１１５】図１６に示すヒストグラムでは、ＨＬＰが
閾値Ｔｈ＿Ｈ１よりも低く、高輝度領域に分布がない画
像となる。この場合、ヒストグラムは低輝度側に偏り、
全体的に暗い画像であることが分かる。また、ＨＬＰが
低いということはすなわち、階調レベルが狭いことも意
味する。こういった画像に対してはγ補正で明るくする
か輝度値を高輝度側に引き延ばして明るくするといった
補正が必要となる。

【０１１６】なお、ＨＬＰの算出は、必ずしも上述した
方法によって求める必要はなく、従来知られている方式
を適宜用いてもよい。

【０１１７】また、他の画像補正処理、例えば前述した
いわゆる色かぶり補正、コントラスト補正、彩度補正と
組み合わせて本実施形態の自動階調補正処理を行う場合
には、この画像処理で予め用いたＨＬＰを使用すること
もできる。なお、この場合、ハイライトポイントを用い
る代わりに、上記色かぶり補正等で同様に用いられるシ
ャドーポイントを用いて画像の明るさ（暗さを）判別す
ることができ、これに基づいて以下の処理を行うことが
できることは、以下の説明からも自明なことである。

【０１１８】ヒストグラムのバランス判定 図１２ステップＳ２２において、図１１のステップＳ１
で求めたヒストグラムを用いてヒストグラムのバランス
判定を行う。

【０１１９】ヒストグラムのバランス判定処理では、ス
テップＳ２２で処理対象画像の全画素数に対する所定の
領域の累積度数の割合であるＳｌｏｗを求める。つまり
例えば２５６階調の画像に対して、輝度値０から１２８
まで（ヒストグラムの半分）の累積画素数の全画素数に
占める割合を求め、その画像のヒストグラムの全体的な
バランスを解析する。

【０１２０】まず、ある輝度領域（０〜１２８）の累積
度数Ｓを求める。この累積度数Ｓは、ヒストグラムにお
いて輝度範囲の最低輝度値（輝度値０）から高輝度側に
向かって所定の輝度値までの累積度数として求められ
る。本実施形態では、最大輝度値（輝度値２５５）の１
／２となる輝度値（輝度値１２８）までの累積度数を低
輝度領域の累積度数Ｓとして求めたが、もちろん他の値
を用いてもよい。

【０１２１】次に、累積度数Ｓが、全画素数に占める割
合Ｓｌｏｗを以下の式を用いて算出する。

【０１２２】Ｓｌｏｗ＝（ある輝度領域の累積度数Ｓ）
／（全画素数）（％） なお、前述のヒストグラム集計の際に、画素を間引い
て、間引きヒストグラムを作成した場合には、上記Ｓｌ
ｏｗの定義式での分母をヒストグラム作成の対象となっ
た画素数にする。

【０１２３】次に、上記で求めたＳｌｏｗを用いて再び
閾値判定を行う。これは、ヒストグラムの下半分の全体
に占める割合を算出することで、その画像の全体的な輝
度のバランスを調べるものである。上述のハイライトポ
イント判定において、ヒストグラムの高輝度領域の分布
状態に応じて画像を数種類に分類したが、図１３に示す
ように、それぞれの場合に対応させて閾値を設け、ヒス
トグラムのバランス度合いを判定する。

【０１２４】例えば、図１４に示す明るめの画像の場
合、輝度値１２８までの全画素数に対する割合がＳｌｏ
ｗとなる。この例では、Ｓｌｏｗは全画素数の２０％で
ある。従って、上記ＨＬＰ判定で明るい画像と判断され
るとともに、Ｓｌｏｗは、１６〜５０の範囲と判定され
る。

【０１２５】一方、図１６に示す暗めの画像の例では、
輝度値１２８までの領域Ｓｌｏｗは、全画素数の６０％
となり、したがって、上記ＨＬＰ判定で暗い画像と判断
されるとともに、Ｓｌｏｗは５０〜８０の範囲と判定さ
れる。

【０１２６】ある輝度領域における累積度数の割合を用
いず、ヒストグラムの中間値や平均値のみを用いてヒス
トグラムのバランスを判定する方法では、ヒストグラム
の実際の分布状態が適切に反映されていない画像の明る
さについての判定を行うこととなる。例えば、中間値や
平均値自体は比較的高めの輝度値を示しつつも、実際に
は、中間値や平均値周辺の輝度値に度数分布のピークが
あって低輝度領域の度数分布自体は少ない画像の場合、
明るめの画像であると誤った判定をして濃度を高くする
輝度補正が選択され、結果として画像上の比較的大きな
部分を占める暗い部分が潰れてしまうことがある。

【０１２７】これに対し、本実施形態のように、ヒスト
グラムの下半分となる輝度値０〜１２８の領域における
累積度数を求め、この累積度数の全画素数に占める割合
Ｓｌｏｗを用いることにより、より実際のヒストグラム
のバランスが反映された画像の明るさの分布の判定を行
うことができ、上述のような、暗めの画像についても適
切な階調補正を行うことができる。

【０１２８】なお、上記実施形態では、Ｓｌｏｗの範囲
について輝度値０〜１２８の範囲を均等に区分したが、
より詳しく低輝度領域の情報を求める場合は、低輝度領
域をいくつかに分割してそれぞれに対して場合分けを行
ってもよいし、また、Ｓｌｏｗが０〜６４までは２倍、
６５〜１２８までは１倍して足し合わせるといった重み
付けをしてもよい。

【０１２９】このような場合わけによりヒストグラムの
バランスを一層正確に判定できる。

【０１３０】シャドーポイント判定 ステップＳ２３のシャドーポイント判定処理では、ま
ず、上記ヒストグラムから処理対象である画像における
シャドーポイントを算出する。

【０１３１】本実施形態では、ヒストグラムにおいて輝
度範囲の最低輝度値（輝度値０）から、順に高輝度側に
向かいながら各輝度値の度数を累積し、ここで求めた累
積度数が、例えば、処理対象である画像データの全画素
数の１．０％と一致した輝度値、または最初に全画素数
の１．０％を越えた輝度値を求め、この点をシャドーポ
イント（以下、「ＳＤＰ」ともいう）とする。

【０１３２】次に、ＳＤＰを輝度値について予め定めた
複数の閾値Ｔｈ＿Ｓ１、Ｔｈ＿Ｓ２、・・・（Ｔｈ＿Ｓ
１＜Ｔｈ＿Ｓ２＜・・・）と比較し、ヒストグラムの低
輝度領域における分布を解析する。

【０１３３】なお、本実施形態で用いるシャドーポイン
ト判定はハイライトポイント判定やヒストグラムのバラ
ンス判定を行った後に行っているので、図１３に示され
るように、シャドーポイントの閾値はハイライトポイン
トやヒストグラムのバランス判定の結果に応じて異なる
値を設定する。

【０１３４】そして、ＳＤＰ≧Ｔｈ＿Ｓ２のときは、画
像は低輝度領域が少なくかつ明るい画像と判定し、Ｔｈ
＿Ｓ１≦ＳＤＰ＜Ｔｈ＿Ｓ２のときは、画像は低輝度領
域の分布もあるが全体的に明るい画像と判定し、ＳＤＰ
＜Ｔｈ＿Ｓ１のときは、画像は低輝度領域に分布の多い
暗い画像と判定する。

【０１３５】例えば、図１４に示す明るめの画像のヒス
トグラムでは、ＳＤＰが閾値Ｔｈ＿Ｓ２を越えて（ＳＤ
Ｐ＞Ｔｈ＿Ｓ２）おり、従って、低輝度領域に分布がな
い画像と判定される。この場合、前述したようにヒスト
グラムは全体的に高輝度側に分布が偏っており、結果的
にＳＤＰも比較的高輝度側に位置している。また、ＳＤ
Ｐが高いということはすなわち、階調レベルが狭いこと
も意味する。こういった画像に対してはγ補正で暗くす
るか輝度値を低輝度側に引き延ばして暗くするといった
補正が必要となる。

【０１３６】一方、図１５に示すヒストグラムでは、Ｓ
ＤＰが閾値Ｔｈ＿Ｓ２よりも低くＴｈ＿Ｓ１より高く
（Ｔｈ＿Ｓ１＜ＳＤＰ≦Ｔｈ＿Ｓ２）、低輝度領域にあ
る程度分布はあるが暗くはない画像と判定される。この
場合、輝度は中間的な分布となり、ＳＤＰも比較的低輝
度側に位置することから、このような判定が行われる。

【０１３７】次に図１６に示すヒストグラムでは、ＳＤ
Ｐが閾値Ｔｈ＿Ｓ１よりも低く、低輝度領域に多く分布
がある画像となる。この場合、ヒストグラムは低輝度側
に偏り、全体的に暗い画像であることが分かる。

【０１３８】補正階調曲線決定 以上のヒストグラムにおける高輝度領域の分布の詳細
（ハイライトポイント）、ヒストグラムのバランス度Ｓ
ｌｏｗ、低輝度領域の分布の詳細（シャドーポイント）
の３つのパラメータにより、処理対象画像は、図１３に
示されるように、その種類に応じて複数に分類されるこ
とになる。そして、次のステップＳ２４では、図１３に
示すテーブルを用いて補正階調曲線を決定する。

【０１３９】本実施形態の階調曲線は、図１３に示す補
正テーブルから明らかなように、３つのパラメータに応
じてその画像種を総合的に判断し、例えばハイライトポ
イントが比較的低ければ、高輝度領域をカットしてヒス
トグラムを高輝度側へ引き延ばすような処理を盛り込ん
だ階調曲線を選択する。また、ヒストグラムのバランス
を整えたい画像に対してはγ補正を行う階調曲線を選択
する。ヒストグラムのバランス度Ｓｌｏｗが低輝度領域
に偏っていれば、γ値を変換するなどして画像全体を明
るくする処理を盛り込んだ階調曲線を選択する。さらに
シャドーポイントが比較的高ければ、低輝度領域をカッ
トしてヒストグラムを低輝度側へ引き延ばすような処理
を盛り込んだ階調曲線を選択する。上記複数に分類され
た画像に関する階調曲線の決定は、図１３に示す判定表
を用いる。

【０１４０】例えば上記ＨＬＰが２４５と高く、Ｓｌｏ
ｗが２０％で、ＳＤＰが６０と比較的高い画像の場合、
低輝度領域２０以下をカットする階調曲線を選択する。

【０１４１】図１４に示す明るめの画像の場合、ＨＬＰ
は閾値Ｔｈ＿Ｈ２より大きく且つＳｌｏｗは２０％であ
り、ＳＤＰは閾値Ｔｈ＿Ｓ２より大きいので、図１３に
示すテーブルより、この画像は明るい画像と判定され、
γ値は１．１に設定される。このγ値決定により、比較
的高い輝度領域まで暗くする（印刷濃度を高くする）補
正がなされ、全体的に最適な濃度の印刷画像となる。ま
た、低輝度領域の画素に割合が少ないことから、画像の
潰れる部分が少なくて済む。

【０１４２】次に、図１５に示すヒストグラムのバラン
スが中間的な画像では、ＨＬＰがＴｈ＿Ｈ１より大きく
Ｔｈ＿Ｈ２より小さい。且つＳｌｏｗが４０％であり、
ＳＤＰがＴｈ＿Ｓ１より大きくＴｈ＿Ｓ２より小さいた
め、図１３に示すテーブルによって、補正階調曲線をＳ
字のものにすることでコントラストを強調することがで
きる。こうして、印刷される画像全体にメリハリがつ
き、見栄えのする印刷画像となる。

【０１４３】一方、図１６に示す暗い画像では、ＨＬＰ
がＴｈ＿Ｈ１より小さく且つＳｌｏｗが６０％であり、
ＳＤＰはＴｈ＿Ｓ１より小さいため、図１３に示すテー
ブルによって、高輝度領域において２００以上をカット
する直線を選択する。これにより、印刷される画像全体
が明るくなり、特に画像のヒストグラムが高輝度側に拡
張され、コントラストのある濃度のバランスがとれた印
刷画像となる。

【０１４４】なお、上記の説明では、ハイライトポイ
ント判定において、画像の高輝度領域の明るさの判定を
３段階で行ったが、より最適な階調曲線を求めるため
に、さらに分岐数を増やし、４段階以上に場合分けして
より詳細な判定を行ってもよい。また、ヒストグラム
のバランス判定やシャドーポイント判定においてもよ
り詳細な判定を行うため、分岐数の数を増やしてもよ
い。

【０１４５】（ＬＵＴ作成）以上説明した階調曲線判定
処理（図１１のステップＳ２）を終了すると、図１１に
示すステップＳ３でＬＵＴ作成を行う。階調曲線判定処
理で得られた階調曲線を作成するパラメータに基づいて
輝度補正のためのルックアップテーブル（ＬＵＴ）を作
成する。

【０１４６】本実施形態のＬＵＴは、上述のようにして
得られた階調曲線を指数関数と５次関数して記録してお
く。つまり単純にγ補正だけする場合は指数関数（図１
７）を用い、高輝度または低輝度領域をカットする直線
およびより複雑な曲線で補正する場合は５次曲線（図１
８）を用いる。

【０１４７】すなわち、ＬＵＴ Ｌ［Ｙ］は、γ補正の
みを行う指数関数の場合、入力輝度信号をＹ、出力輝度
信号をＹ‘とすると、Ｙ’＝２５５×［（Ｙ／２５５）
１／γ］なる式によって表される変換を行い、判定結果
によりγ値が与えられる。

【０１４８】一方、５次曲線の場合、 Ｙ’＝Ａ＋Ｂ×Ｙ＋Ｃ×Ｙ＾２＋Ｄ×Ｙ＾３＋Ｅ×Ｙ＾
４＋Ｆ×Ｙ＾５ なる式によって表される変換を行い、係数となるＡ、
Ｂ、Ｃ、Ｄ、Ｅ、Ｆを与えることにより５次曲線が完成
する。また、それらは動的に作成されるものである。す
なわち、対象画像の処理ごとに作成される。このように
補正テーブルを動的に作成することにより、必要となる
メモリ量を削減することができる。

【０１４９】なお、上記ＬＵＴは、動的に作成する代わ
りに上記階調曲線毎に、予めメモリ上に静的に用意して
もよいことは勿論である。

【０１５０】（補正）次に、図１１に示すステップＳ４
において、輝度信号Ｙの補正を行う。すなわち、作成し
たＬＵＴ Ｌ［Ｙ］によって、入力画像の輝度値Ｙを
Ｙ’＝Ｌ［Ｙ］として変換し、輝度補正を行う。

【０１５１】さらに、輝度補正された輝度信号Ｙ’およ
び入力画像の色差信号Ｃｒ、ＣｂをＲ、Ｇ、Ｂの各信号
に戻し、補正された画像信号Ｒ’Ｇ’Ｂ’を作成する。

【０１５２】本実施形態よれば、ヒストグラムにおい
て、画像データの明るさに関する成分値の範囲において
その最大値または最小値からの累積度数が所定の値を示
す成分値が求められるので、画像の全体的な明るさを知
ることができ、また、最小値または最大値から所定の成
分値までの累積度数のヒストグラムの全画素数に占める
割合が求められるので、画像の明るさの分布を知ること
ができる。そして、これらの成分値および割合に基づい
て明るさの分布が判別され、その判別に基づいて補正の
階調曲線が定められるので、画像の全体的な明るさ毎に
その明るさの分布と補正階調曲線との対応を異ならせる
ことができる。

【０１５３】つまり、ハイライトポイント、ヒストグラ
ムのバランス度、シャドーポイントの３つのパラメータ
を用いて最終的に複数の補正階調曲線の中から、その画
像に最適な補正階調曲線を一つ選択することができる。

【０１５４】これにより、例えば、全体的に暗い画像で
は、より明るくする（印刷画像においてより濃度を低く
する）補正に対応する明るさの分布で、暗い範囲を示す
分布を小さなものとでき、これにより、印刷画像におけ
る明るさのバランスをより好ましいものにできる。一
方、全体的に明るい画像ではより暗くすることで、印刷
画像においてより濃度を高くでき、これにより、印刷デ
バイスが本来的に比較的低い濃度しか実現できないとい
う濃度出力特性を補って全体的に高い濃度の印刷を行う
ことができる。また、元々ダイナミックレンジが狭い画
像では、その幅を広げることにより、コントラストがつ
いた、メリハリがあり見栄えのする画像の印刷を行うこ
とができる。

【０１５５】なお、本実施形態では図１２の順で判定を
行ったが、順番が変わってもよい。

【０１５６】また、ＨＬＰ、ＳＤＰの算出は、必ずしも
上述した方法によって求める必要はなく、従来知られて
いる方式を適宜用いてもよい。

【０１５７】ところで前述したように、高輝度領域にお
ける明るさの分布を調べるためにハイライトポイントを
用い、低輝度領域における明るさの分布を調べるために
シャドーポイントを用いた。しかし例えばハイライトポ
イントの変わりになる別のパラメータで高輝度領域の明
るさの分布の詳細が分かればそれを用いてもよい。つま
りヒストグラムの最大値からある輝度値（例えば輝度値
２２０）までの累積度数の全画素数に占める割合を求
め、その値から高輝度領域の明るさの分布判定を行って
もよい。その場合、ハイライトポイントと同様、該パラ
メータに対して複数の閾値を設け、場合分け判定を行
う。もちろん低輝度領域においてもシャドーポイントの
代わりに、ヒストグラムの最小値からある輝度値（例え
ば輝度値３０）までの累積度数の全画素数に占める割合
を求め、同様の判定を行えばよい。

【０１５８】また、上述の実施形態では、輝度値Ｙに関
する補正について説明したが、Ｒ、Ｇ、Ｂの各信号に対
して直接同様の補正を行っても良い。この際、上述のＬ
ＵＴを用い、そのＬＵＴにおいてＹの代わりにＲ、Ｇ、
Ｂ、Ｙ′の代わりにＲ′、Ｇ′、Ｂ′を用いて補正を行
うことができる。Ｒ、Ｇ、Ｂ信号に対する補正は、ＲＧ
Ｂ―ＹＣｒＣｂ変換が不要であるため、処理速度の向上
を図ることができる。

【０１５９】なお、露出設定がオートの場合、自動的に
上述の処理を加えるが、例えば露出がオートであってさ
らに基準値からの変更量がわかれば、それに応じて上述
の処理内容を設定変更してもよい。

【０１６０】つまりは、図１３に示したＨＬＰ、Ｓ１２
８、ＳＤＰの閾値の設定は、撮影条件データ１０６の露
出の値を用い、例えば露出が基準値より小さい場合、図
１３の閾値を変更して全体的に明るい補正がなされやす
いようにすると、暗く撮影された画像を適度な明るさに
補正することができる。また一方で、露出の値が大きい
場合、露出オーバーになる可能性があるので、全体的に
明るさを下げるように図１３の閾値をそれに合わせて設
定変更すればよい。

【０１６１】＜デジタルズームＯＮ／ＯＦＦ情報＞とこ
ろで、近年のデジタルスチルカメラは光学的に被写体を
ズームイン／アウトするほかに、デジタル処理を加える
ことにより、画像の拡大処理を行うことができる。デジ
タルズームは画像サイズを単純に有理数倍するものが多
く、輪郭部分が見た目にガタガタになりやすくなる（ジ
ャギー）。また拡大方法にはニアレストネイバー法、バ
イリニア法、バイキュービック法といった手法が一般に
用いられている。

【０１６２】撮影条件データ１０６にデジタルズームの
倍率や拡大処理法などが書き込まれた場合、それらを元
に画像に対して輪郭を滑らかに処理するスムージング処
理を行ってもよい。例えば特開平１１−３３１５６５で
発案されたように低解像度の画像に拡大処理を行い、高
解像度に仕上げる方法が知られている。一方、そのよう
なスムージング処理の係数（処理度合い）はデジタルズ
ームの倍率や拡大処理方法によって可変に行うのが望ま
しい。つまりデジタルズームの倍率が低いほど、スムー
ジングの度合いを弱めたり、拡大処理の雑なニアレスト
ネイバー法では逆にスムージングの度合いを強めてもい
い。この一連の処理を図１９に示す。

【０１６３】＜ストロボ発光ＯＮ／ＯＦＦ情報＞また、
撮影条件データ１０６よりストロボが発光したという情
報を得た場合、上記と同様に濃度補正処理の内容を変更
してもよい。例えば図１３に示したテーブルの他に、ス
トロボ発光用のテーブルをもう一つ設け、ストロボがＯ
ＦＦの場合は従来の図１３のテーブルを用いるが、スト
ロボがＯＮの場合には新しい別のテーブルを用いること
で、より精度の高い画像補正が可能になる。

【０１６４】ストロボ撮影の場合は、主に夜景撮影や暗
室撮影などといったように、画像全体が暗く撮影されが
ちである。この場合、明るく補正されやすいようにテー
ブルの閾値を変更する必要がある。また、ストロボに反
射された被写体は青白く写る傾向がある。この場合、被
写体を色味的に黄色く明るさを押さえる補正を加えると
よい。一方で、被写体の背景はストロボの光が届かず、
暗く階調がつぶれた画像になりがちである。つまり、階
調の低い部分は輝度を上げて階調を出す処理が必要にな
る。

【０１６５】こうした処理を加えることで、撮影時にス
トロボ発光された画像に関して最適な処理を行うことが
できる。

【０１６６】＜撮影シーン情報＞被写体によって撮影モ
ード（風景モード、人物モード、マクロ撮影モードなど
が挙げられる）を切り替えたときに、撮影条件データ１
０６に撮影シーン情報が付加される場合を考える。その
場合、その情報を元により最適な記憶色再現補正を行う
ことができる。例えば風景モードの場合、空や草木が主
な被写体になりうる。そこで図３Ｓ２の画像補正処理部
で、青や緑の彩度を上げ、コントラストを高める処理を
行ってもよい。また、シャープネスフィルタを施すこと
によって、風景画像をより見栄えのする画像に仕上げる
ことができる。彩度を上げる場合、各色相毎に彩度拡張
係数を求め、元の彩度値にこの係数を掛け合わせること
で、彩度補正を行うと少ないメモリ量で効果を上げるこ
とができる。

【０１６７】一方で、人物モード撮影の場合、図３Ｓ２
の画像補正処理部で肌色領域の彩度、輝度をより好まし
い色に補正する処理を追加してもよい。また、ぼかしフ
ィルタを用いて画像全体をぼかすのも、人物画像をより
きれいに見せるための方法の一つでもあり、撮影条件デ
ータを用いることで自動処理が可能となる。

【０１６８】上述した実施の形態では、ホワイトバラン
ス、露出、ストロボ、撮影シーン及びデジタルズームな
どの撮影条件データを読みとった場合の補正方法を説明
してきた。しかしながら、複数の画像補正処理を行うと
同様の処理が重複してしまったり、先の補正で強調した
部分を次の補正では弱めてしまったりする場合がある。

【０１６９】例えば上述したカラーバランス補正と濃度
補正では、両方にハイライトポイントとシャドーポイン
トを用いたコントラスト強調処理が含まれている。この
ような場合、１度で十分なコントラスト処理を２度かけ
てしまうことになり、ユーザの意図に反する画像に仕上
がってしまう。

【０１７０】また、デジタルズーム情報より画像にスム
ージングをかけても、撮影シーン情報が風景モードの場
合、その後にシャープネスフィルタをかけてしまうと、
先のスムージング処理の効果を打ち消してしまう。

【０１７１】こういった複数の処理を一つの画像にかけ
ることによる弊害を防ぐため、処理に規制をかける必要
がある。本実施例では、各画像補正処理の順番に優先順
位をつける。

【０１７２】まずはじめに図２０に示すように、カラー
バランス情報、露出情報、ストロボ情報、撮影シーン情
報、デジタルズーム情報のそれぞれに対し、どの判定が
なされたかをメモリ部に格納する。

【０１７３】次に図２０Ｓ１で、デジタルズーム情報に
よりスムージング処理を行う。低解像度の画像を高解像
度にするこの処理は、画像全体の色味や明るさに影響を
及ぼさないと考えられるので、最初に行うのが望まし
い。

【０１７４】次に図２０Ｓ２で、露出情報より判定され
た明るさ補正の度合いから、コントラストが強調される
判定がなされた場合、最初に補正処理を行うカラーバラ
ンス補正のうちのコントラスト補正は行わない（ＯＮ
へ）。一方、明るさ補正で単なるガンマ補正のみ行うと
判定された場合（コントラスト強調は行われない場
合）、コントラスト補正を含むカラーバランス補正を行
う。こうすることで、コントラスト補正が明るさ補正と
カラーバランス補正の両方で２重にかかるのを防ぐこと
ができる。

【０１７５】次に図２０Ｓ３で明るさ補正を行うが、ス
トロボ情報がＯＮかＯＦＦかを参照し、ＯＮならば明る
さ補正のテーブルはストロボ用のテーブルを参照し、Ｏ
ＦＦなら図１３に示す従来のテーブルを参照する。こう
することで、露出、ストロボ情報から得られた最適な明
るさ補正を画像に施すことができる。

【０１７６】最後に図２０Ｓ４で、撮影シーン情報を元
に記憶色再現補正を行う。ここではカラーバランス補正
において彩度調整を行った場合、彩度拡張係数をそれに
合わせて小さく設定してもよい。また、デジタルズーム
補正でスムージングの度合いが大きい場合、人物モード
でぼかしをかける度合いも小さく設定するべきである。

【０１７７】こうして複数の画像補正処理を行う場合、
それぞれの処理を行う順番に優先順位をつけ、また諸条
件において処理に重み付けをし、ある補正処理を行うと
別の処理は行わないといった制約事項を設けることで、
最終的に無理、無駄のない画像補正ができる。

【０１７８】（マニュアルモード通知機能）撮影情報デ
ータがマニュアル撮影を示す画像に対する画像補正処理
部１１３の処理内容について述べる。まず撮影条件デー
タ１０６にある、ホワイトバランス、露出、ストロボ発
光ＯＮ／ＯＦＦに関する情報を読みとり、それらが自動
撮影（オートモード）ならばそれぞれの画像補正を行
う。しかしながらユーザの手動設定撮影（マニュアル撮
影）の場合、上述したように自動的に画像補正処理をか
けてしまうと、ユーザの意図に反した画像に仕上がって
しまう。そこで各情報がマニュアル撮影の場合、自動補
正処理をかけるべきか、補正をかけないべきかユーザに
知らせる必要がある。

【０１７９】近年のデジタルスチルカメラには、ホワイ
トバランスはオートまたはマニュアルモード（晴天、曇
天、タングステンランプ、蛍光灯など）といったように
複数用意されている。ユーザはオート以外の設定を選ぶ
ときには、上記の中から撮影状況にあったモードを選ぶ
必要がある。つまりユーザの意図が撮影画像に反映され
るわけで、これをモニタやプリンタに画像出力の際、画
像補正処理を自動に行ったのでは撮影者の意図にそぐわ
ない場合もある。そこで撮影設定がマニュアルの場合、
画像補正処理を自動に行うのではなく、処理を行うべき
かユーザに確認をとる必要がある。

【０１８０】露出に関しても同様で、オート以外にマニ
ュアルの場合、ユーザが自身で露出の度合いを設定でき
る。この状況でもホワイトバランスと同様で、ユーザの
意図に反しないために画像補正を行う際には確認が必要
である。

【０１８１】そこでホワイトバランス、露出が撮影条件
データ１０６内でマニュアル設定されている情報を得た
場合、パソコンのモニタ上に自動画像補正を行ってもよ
いかどうか表示させ、行ってもよい場合は従来通りの処
理を施す。また、行ってはいけないとユーザが指定した
ときにはその画像補正処理に関しては行わない。ユーザ
に通知する方法はパソコンのモニタ上に表示するに限ら
ず、例えばプリンタ本体に警告ランプを点灯させる方法
でも良い。

【０１８２】ところで上記に関連して、以下のようなケ
ースも考える必要がある。

【０１８３】ユーザが意図的にマニュアルモードで撮影
しても、ホワイトバランスや露出の設定ミスが起こる場
合がある。例えば日中の屋外での撮影で、露出を暗めに
設定したが適正露出値ではなく、露出オーバーの画像に
なってしまった場合や、ストロボをマニュアルで強制Ｏ
ＦＦに設定したが、撮影された画像が光量不足で暗くな
ってしまった場合などが考えられる。

【０１８４】また一方で、ユーザがオートモードと間違
ってマニュアルモードで撮影してしまったために、失敗
画像になってしまうこともある。例えば、ホワイトバラ
ンスが以前に曇天下で撮影したときの設定になったまま
で、間違って蛍光灯下の室内でそのまま撮影を行った場
合などである。

【０１８５】先に述べたように、ユーザがマニュアルモ
ードで撮影した場合、自動画像補整処理を行うとユーザ
の意図に反した画像に補整されてしまう可能性があっ
た。しかしこのように、マニュアルモードで撮影された
画像が失敗画像になってしまった場合、通常では自動画
像補整処理はかからないことになる。つまりこのような
状況でもまた、自動画像補整処理を行うか否かをユーザ
に確認を取る必要がある。

【０１８６】つまりマニュアルモードで撮影された画像
が、ユーザの意図を反映した画像の場合、自動画像補正
処理は行わないよう選択し、ユーザの意図とは反する画
像の場合、自動画像補正処理を行う選択をすればよい。
そのためにはマニュアルモードで撮影された画像をモニ
タやプリンタで出力する際、ユーザに自動画像補整処理
を行うか否かを確認を取らなければならない。

【０１８７】さらに最近では、ディジタルスチルカメラ
で撮影された画像データを、写真ラボでオペレータ（撮
影者以外の人）が画像補整処理を加えてプリントするサ
ービスがある。この場合、オペレータが手動で画像補整
処理を行った場合、撮影者の意図が反映されなくなる。
つまりオペレータにどの画像がマニュアルモードで撮影
されたかを警告する必要がある。

【０１８８】以上、これらの場合において、マニュアル
モードで撮影された画像をモニタやプリンタで出力する
際には、その画像がマニュアルモードで撮影された画像
であることを通知し、ユーザに自動画像補整処理を行う
か否かを確認する必要がある。また、撮影者以外の人が
画像補整処理を行う場合、マニュアルモードで撮影され
た画像であることを警告する必要がある。

【０１８９】上述したフローチャートを図１９に示す。
Ｓ１はカラーバランス補正を、Ｓ２は明るさ補正を表
す。

【０１９０】《オートブラケット機能ＯＮ／ＯＦＦ》こ
こでオートブラケット機能について説明する。カメラに
よってはオートブラケット機能が付いているものもあ
る。これはシャッターを切ることで、露出基準値で撮影
したほかに自動的に露出をプラス側とマイナス側へシフ
トさせてそれぞれ撮影するものである。つまり一度のシ
ャッターで３段階の露出を変えた撮影ができる。もちろ
んこの機能がＯＮの場合、ユーザは意図的に明るさを変
えて撮影したのであり、ユーザに自動画像補正処理の必
要か否かを確認しなければならない。これを図１９のＳ
２に示す。

【０１９１】ここから、具体的な表示方法、ユーザイン
ターフェイス（ＵＩ）の例を図を用いて説明する。

【０１９２】まずはじめに、マニュアルモードで撮影さ
れた画像をアプリケーションソフトで開くときに、図２
２−Ｓ１で示すようにＵＩ画面上で自動画像補整処理を
ＯＮにするかＯＦＦにするかをユーザに選択させる。す
なわちユーザがＯＮを選択すれば自動画像補整処理を行
い、ＯＦＦを選択すれば処理は行わないようにする。ま
た、ＵＩ画面の表示はアプリケーションソフトで画像を
開くときに限らず、プリントを設定するときに表示して
もよい。

【０１９３】次に、上記選択でＯＮが設定された場合、
図２２−Ｓ２に示すようにモニタ上でプレビュー表示を
行う。例えば、補正していない元画像と自動画像補整処
理後の画像を並べて、ユーザが処理の確認を取れるよう
に表示する。こうすることにより、処理後の画像がユー
ザの意図に反する場合は、自動画像補整処理を改めてＯ
ＦＦに設定できるようになる。

【０１９４】また、例えばホワイトバランス、露出の両
方をマニュアルモードで撮影した画像をプレビューする
場合、複数のプレビュー表示をしてもよい。つまり、ホ
ワイトバランスのみ自動画像補整処理を行い、露出は元
の明るさのままにする、またはホワイトバランスは元の
色のままで露出のみ自動画像補整処理を行うなど、複数
種類の画像をプレビュー表示し、ＵＩ画面を見ながらユ
ーザの意図に合った画像を一つ選択できるようにする。
こうすることで、ホワイトバランス、露出の片方を撮影
ミスした画像でもより詳細な設定にて補正することがで
きる。

【０１９５】ところで、複数のディジタルカメラ画像を
アプリケーションソフトで開くときに、サムネイル表示
をする方法がある。この場合、マニュアルモードで撮影
された画像がどれかが即座に判別できるよう、図２３−
Ｓ２のように目印を記す。こうすることで、ユーザは複
数の画像を一度に表示する際やプリントする際などに、
どの画像がオートモードで撮影されて自動画像補整処理
され、どの画像がマニュアルモードで撮影されて処理が
行われないかが、一目で識別できるようになる。また、
写真ラボのオペレータなど、撮影者以外の人が複数の画
像を順番に画像補整処理を行う際にも、どの画像がマニ
ュアルモードで撮影され、どの画像を補整すべきかがす
ぐに識別できるようになる。

【０１９６】ところで、オートモード、マニュアルモー
ドでの撮影に関係なく全ての画像に自動画像補整処理を
行いたい場合などもある。その場合は、「マニュアルモ
ード強制ＯＦＦ」ができる機能を設けるとよい。例え
ば、図２３−Ｓ１に示すようなチェックボックスをアプ
リケーションソフトに設け、ＯＮ／ＯＦＦのチェックが
できるようにする。つまりチェックを行った場合（マニ
ュアルモード強制ＯＦＦ）、マニュアルモードで撮影さ
れたという情報が無視され、全ての画像に対して自動画
像補整処理を行えるようにする。

【０１９７】上記具体例に説明したように、ディジタル
カメラ画像をアプリケーションソフトで処理する際に、
それがマニュアルモードで撮影された画像である場合、
自動画像補整処理するか否かをユーザに確認させ、画像
をプレビュー表示させることで、補正前と補整後の画像
を比べることができる。

【０１９８】また、サムネイル表示において、マニュア
ルモードで撮影された画像に目印を付けることで、どの
画像がマニュアルモードで撮影されたかを即座に判定で
きるようになる。

【０１９９】さらにマニュアルモード強制ＯＦＦ機能を
加えれば、マニュアルモードで撮影されたか否かに関係
なく全画像を一括に自動画像補整処理が行えるようにな
る。

【０２００】カラーバランス補正、明るさ補正のそれぞ
れを独立とし、撮影条件データ１０６からユーザ通知を
行う。つまり露出はオートだがホワイトバランスはマニ
ュアル設定の場合、明るさ補正は自動で行うがカラーバ
ランス補正はパソコンを介してユーザに補正が必要か否
か、指定を促す通知を行う。こうしてそれぞれの補正に
おいてユーザが撮影時の設定を無理に損なわせないよ
う、ユーザの意図を反映させつつ自動画像補正処理を行
うことで、より精度の高い修正が可能となる。

【０２０１】＜その他の実施例＞尚、上述の実施例で
は、撮影条件情報を画面表示するようにしたが、これに
限られることはなく、例えば、所定ランプの点灯／消灯
等により、撮影条件情報が正しく認識利用されているこ
とを示すようにしてもよい。

【０２０２】また、本発明は、上述した第１及び第２の
処理方法に限定されるものではなく、本発明の要旨を逸
脱しない範囲で種種変形実施可能なものとなる。

【０２０３】また、画像の入力手段（取得手段）とし
て、ディジタルスチルカメラを一例として用いるように
構成したが、これに限られたものではなく、例えば、デ
ィジタルビデオカメラや、イメージスキャナ、或いはフ
ィルムスキャナ等の入力機器を適用可能である。

【０２０４】また、第１及び第２の処理方法のホスト及
び端末の機能を実現するソフトウェアのプログラムコー
ドを記憶した記憶媒体を、システム或いは装置に供給
し、そのシステム或いは装置のコンピュータ（又はＣＰ
ＵやＭＰＵ）が記憶媒体に格納されたプログラムコード
を読みだして実行することによっても、第１、第２の処
理方法を達成されることは言うまでもない。

【０２０５】この場合、記憶媒体から読み出されたプロ
グラムコード自体が第１及び第２の処理方法の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体及び当該プログラムコードは本発明を構成するこ
ととなる。

【０２０６】プログラムコードを供給するための記憶媒
体としては、ＲＯＭ、フレキシブルディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用
いることができる。

【０２０７】また、コンピュータが読みだしたプログラ
ムコードを実行することにより、第１及び第２の発明の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼動しているＯＳ等が
実際の処理の一部又は全部を行い、その処理によって第
１及び第２の発明の機能が実現される場合も含まれるこ
とは言うまでもない。

【０２０８】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張機能ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部又は全部を行い、
その処理によって第１及び第２の処理方法の機能が実現
される場合も含まれることは言うまでもない。

【０２０９】図２１は、上記コンピュータの機能６００
を示したものである。

【０２１０】コンピュータ機能６００は、上記図２１に
示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ
６０３と、キーボード（ＫＢ）６０９のキーボードコン
トローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴデ
ィスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（Ｃ
ＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及び
フレキシブルディスク（ＦＤ）６１２のディスクコント
ローラ（ＤＫＣ）６０７と、ネットワーク６２０との接
続のためのネットワークインターフェースコントローラ
（ＮＩＣ）６０８とが、システムバス６０４を介して互
いに通信可能に接続された構成としている。

【０２１１】ＣＰＵ６０１は、ＲＯＭ６０２或いはＨＤ
６１１に記憶されたソフトウェア、或いはＦＤ６１２よ
り供給されるソフトウェアを実行することで、システム
バス６０４に接続された各構成部を総括的に制御する。

【０２１２】すなわち、ＣＰＵ６０１は、所定の処理シ
ーケンスに従った処理プログラムを、ＲＯＭ６０２、或
いはＨＤ６１１、或いはＦＤ６１２から読み出して実行
することで、本実施の形態での動作を実現するための制
御を行う。

【０２１３】ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ
或いはワークエリア等として機能する。

【０２１４】ＫＢＣ６０５は、ＫＢ６０９や図示してい
ないポインティングデバイス等からの指示入力を制御す
る。

【０２１５】ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を
制御する。

【０２１６】ＤＫＣ６０７は、ブートプログラム、種々
のアプリケーション、編集ファイル、ユーザファイル、
ネットワーク管理プログラム、及び本実施の形態におけ
る所定の処理プログラム等を記憶するＨＤ６１１及びＦ
Ｄ６１２とのアクセスを制御する。

【０２１７】ＮＩＣ６０８は、ネットワーク６２０上の
装置或いはシステムと双方向にデータをやりとりする。

【０２１８】

【発明の効果】以上説明したように本発明では、処理対
象の画像情報（ディジタルスチルカメラにより撮影して
得られた画像情報等）に対して付加された条件情報（撮
影条件情報等）を解析した結果に基づいて、当該画像情
報に対して画像処理（画像補正処理等）を施すように構
成した。これにより、画像取得時の状況に応じた画像処
理を行うことができ、ユーザが意図する良好な処理後画
像を提供することができる。また、条件情報がマニュア
ル設定の場合、自動的に画像補正を行うのではなく、ユ
ーザに補正処理が必要か否かを通知し、必要と指定され
た場合に限ってその補正を行う。こうすることでユーザ
が撮影時に設定した状況を損なうことなく、ユーザの意
図を反映することができる。

【０２１９】尚、具体的には例えば、ディジタルスチル
カメラにおいては、条件情報としてホワイトバランス情
報を元にカラーバランス補正を行い、露出情報、オート
ブラケット情報を元に明るさ補正を行う。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
画像印刷システムの構成を示すブロック図である。

【図２】ＲＧＢ画像信号をＹＣＣ信号に変換し、画像処
理を行い、再びＲＧＢ信号に変換する図である。

【図３】画像補正処理部の処理手順のフローチャートで
ある。

【図４】輝度ヒストグラム作成手順のフローチャートで
ある。

【図５】実施例における色バランス補正の原理を説明す
るための色立体図で（ａ）は理想的な色立体図、（ｂ）
は該画像の色バランス補正前の色立体図である。

【図６】非線形ガンマ変換関数を示すグラフである。

【図７】輝度−彩度平面でみた露出オーバー・アンダー
の特徴を示す図で、（ａ）は露出オーバーの概念図、
（ｂ）は露出アンダーの概念図、（ｃ）は露出オーバー
の一例、（ｄ）は露出アンダーの一例である。

【図８】第３の実施の形態における色立体軸を決める様
子を示す図である。

【図９】画像補正の制御手順のフローチャートである。

【図１０】第２の実施形態における色かぶり補正の制御
手順のフローチャートである。

【図１１】上記自動階調補正処理の手順を示すフローチ
ャートである。

【図１２】図１１に示す上記自動階調補正処理における
階調曲線判定の処理手順を示すフローチャートである。

【図１３】上記階調曲線判定処理で用いるテーブルの内
容を示し、画像の種類に応じた階調曲線の定め方を説明
する図である。

【図１４】上記自動階調補正処理の処理対象である画像
が明るい画像である場合のヒストグラムを示す図であ
る。

【図１５】上記自動階調補正処理の処理対象である画像
の明るさが中間的な画像である場合のヒストグラムを示
す図である。

【図１６】上記自動階調補正処理の処理対象である画像
が暗い画像である場合のヒストグラムを示す図である。

【図１７】γ値に応じた輝度補正テーブルの変換特性曲
線（指数関数）を示す図である。

【図１８】単なるγ補正以外の、輝度補正テーブルの変
換特性曲線（５次曲線）を示す図である。

【図１９】デジタルズーム情報を元にスムージング処理
を行うフローチャートである。

【図２０】撮影条件データより、複数の画像補正処理を
行う制約を示したフローチャートである。

【図２１】コンピュータの機能を示した図である。

【図２２】自動補正確認ユーザインターフェイスと画像
のプレビュー表示を示す図である。

【図２３】チェックボックスと画像のサムネイル表示を
示す図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/20 Ｈ０４Ｎ 1/40 Ｄ ５Ｃ０７７ 5/91 5/91 Ｈ ５Ｃ０７９ 9/79 9/79 Ｈ (72)発明者 山添 学 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 藤田 貴志 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 鳥越 真 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 溝口 茂 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE11 CE17 CE18 DA17 DB02 DB06 DB09 DC22 DC23 DC36 5C021 RB03 XA34 5C053 FA04 FA05 FA08 FA27 FA30 JA30 KA05 LA01 LA03 LA11 LA14 5C055 AA06 BA06 BA08 EA04 EA05 HA36 HA37 5C066 AA01 AA11 CA17 EA07 EA13 EA14 EC05 EC06 ED08 5C077 LL05 LL19 MP08 PP03 PP15 PP19 PP32 PP34 PP37 PP46 PP52 PP53 PQ08 PQ18 PQ19 PQ23 SS01 SS05 SS06 TT02 TT09 5C079 HB01 HB04 HB12 LA02 LA12 LA15 LA23 LA31 LA36 LB01 MA04 MA11 MA17 MA19 NA03 PA03

Claims (21)

【特許請求の範囲】
1. 【請求項１】 画像取得時の条件情報を含む画像情報に
   対して画像処理を施す画像処理装置であって、 上記条件情報を解析する解析手段と、 上記解析手段の解析結果に基づいて、カラーバランスの
   度合いを示す値に応じて画像の色補正量を求め、明るさ
   の度合いを示す値に応じて画像の明るさ補正量を求め、
   画像処理条件を決定する処理決定手段と、 上記処理決定手段で決定された画像処理条件による処理
   を上記画像情報に施す処理手段と、 上記画像が画像取得者の手動設定によって取得された場
   合、上記処理手段による処理を行うか否かを通知する手
   段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 上記処理手段による処理後の画像情報を
   出力する出力手段とを備えることを特徴とする請求項１
   記載の画像処理装置。
3. 【請求項３】 上記出力手段は、印刷出力機能を含むこ
   とを特徴とする請求項２記載の画像処理装置。
4. 【請求項４】 上記画像のカラーバランスの補正量を求
   める処理決定手段は、原画像のハイライトポイントおよ
   びシャドーポイントの明るさを検出し、 前記明るさを有する複数の画素から、前記ハイライトポ
   イントおよびシャドーポイントの色みを求め、 前記ハイライトポイント、前記シャドーポイントおよび
   前記色みに基づき、前記原画像に対して色補正を行うこ
   とを特徴とする請求項１記載の画像処理装置。
5. 【請求項５】 前記色補正は、前記原画像の色立体軸を
   明るさを示す軸に合わせるとともに、前記原画像の明る
   さを示す色成分に対してコントラスト調整を行うことを
   特徴とする請求項４記載の画像処理方法。
6. 【請求項６】 前記色補正は、前記原画像の色みを示す
   色成分に対して補正処理を行い、原画像の彩度を調整す
   ることを特徴とする請求項４記載の画像処理方法。
7. 【請求項７】 さらに、原画像の明るさを示す色成分に
   基づきヒストグラムを作成し、 前記ヒストグラムに基づき前記ハイライトポイントおよ
   びシャドーポイントを検出することを特徴とする請求項
   ４記載の画像処理方法。
8. 【請求項８】 上記画像情報は、ディジタルスチルカメ
   ラにより得られた画像情報を含むことを特徴とする請求
   項１記載の画像処理装置。
9. 【請求項９】 上記画像情報は、撮影画像情報を含み、 上記条件情報は、上記撮影画像情報取得時における露
   出、ストロボ、ホワイトバランス、撮影モード、デジタ
   ルズーム及びオートブラケットの少なくとも何れかの情
   報を含むことを特徴とする請求項１記載の画像処理装
   置。
10. 【請求項１０】 上記条件情報に関する情報を提示する
    提示手段を備えることを特徴とする請求項１記載の画像
    処理装置。
11. 【請求項１１】 上記提示手段は、上記条件情報が付加
    された画像情報の処理タイミングに基づいて、上記条件
    情報に関する情報を提示することを特徴とする請求項１
    １記載の画像処理装置。
12. 【請求項１２】 上記解析手段は、上記画像情報を解析
    する機能を有することを特徴とする請求項１記載の画像
    処理装置。
13. 【請求項１３】 前記通知は、前記画像をひとつあるい
    は複数表示する際に行われることを特徴とする請求項１
    項記載の画像処理装置。
14. 【請求項１４】 前記画像が画像取得者の手動設定によ
    り取得された場合に、前記条件情報をキャンセルする手
    段をさらに有することを特徴とする請求項１項記載の画
    像処理装置。
15. 【請求項１５】 画像取得時の条件情報を含む画像情報
    に対して画像処理を施すための画像処理方法であって、 上記条件情報を解析する解析ステップと、 上記解析ステップによる解析結果に基づいて、カラーバ
    ランスの度合いを示す値に応じて画像の色補正量を求
    め、明るさの度合いを示す値に応じて画像の明るさ補正
    量を求め画像補正条件を決定するステップ、 上記決定された画像補正条件による処理を上記画像情報
    に施す処理ステップと、 上記画像が画像取得者の手動設定によって取得された場
    合、上記処理ステップで処理時に処理を行うか否かを通
    知するステップとを含むことを特徴とする画像処理方
    法。
16. 【請求項１６】 画像取得時の条件情報を含む画像情報
    へ画像補正処理を施して印刷処理するための画像処理方
    法であって、 上記条件情報を解析する解析ステップと、 上記解析ステップによる解析結果に基づいて、カラーバ
    ランスの度合いを示す値に応じて画像の色補正量を求
    め、明るさの度合いを示す値に応じて画像の明るさ補正
    量を求め、画像補正条件を決定するステップ、 上記画像補正条件決定ステップにより決定された画像補
    正条件に基いて、上記画像情報へ画像補正処理を施す画
    像補正ステップと、 上記画像補正ステップによる処理後の画像情報を印刷処
    理する印刷ステップとを含むことを特徴とする画像処理
    方法。
17. 【請求項１７】 上記画像補正ステップ及び上記印刷ス
    テップの処理実行タイミングに基いて、上記条件情報に
    対応する処理モード情報を表示する表示ステップとを含
    むことを特徴とする請求項１６項記載の画像処理方法。
18. 【請求項１８】 上記画像情報をディジタルスチルカメ
    ラの撮影により取得する画像取得ステップを含むことを
    特徴とする請求項１４項に記載の画像処理方法。
19. 【請求項１９】 上記画像情報は、撮影画像情報を含
    み、上記条件情報は、撮影時における露出、ストロボ、
    ホワイトバランス、及び撮影モードの少なくとも何れか
    の情報を含むことを特徴とする請求項１４に記載の画像
    処理方法。
20. 【請求項２０】 画像取得時の条件情報を含む画像情報
    に対して画像処理を施すためのプログラムが記憶された
    記憶媒体であって、 上記条件情報を解析する解析するコードと、 上記解析ステップによる解析結果に基づいて、カラーバ
    ランスの度合いを示す値に応じて画像の色補正量を求
    め、明るさの度合いを示す値に応じて画像の明るさ補正
    量を求め画像補正条件を決定するためのコード、 上記決定された画像補正条件による処理を上記画像情報
    に施すためのコードと、 上記画像が画像取得者の手動設定によって取得された場
    合、上記処理ステップで処理時に処理を行うか否かを通
    知するためのコードが記憶された記憶媒体。
21. 【請求項２１】 画像取得時の条件情報を含む画像情報
    に対して画像処理を施すためのプログラムであって、 上記条件情報を解析する解析するコードと、 上記解析ステップによる解析結果に基づいて、カラーバ
    ランスの度合いを示す値に応じて画像の色補正量を求
    め、明るさの度合いを示す値に応じて画像の明るさ補正
    量を求め画像補正条件を決定するためのコード、 上記決定された画像補正条件による処理を上記画像情報
    に施すためのコードと、 上記画像が画像取得者の手動設定によって取得された場
    合上記処理ステップで処理時に処理を行うか否かを通知
    するためのコードからなるプログラム。