JP2007274140A - 写真画像処理装置及び写真画像処理方法 - Google Patents

Abstract

【課題】様々な条件を持った入力画像に対して、カラーフェリア度合いを正しく検出し、適切なカラー補正値を求めることのできる写真画像処理装置及び写真画像処理方法を提供する。
【解決手段】入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段１１と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段１２と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段１３と、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算手段１４とを備えて構成される。
【選択図】図１

Description

本発明は、ネガフィルム等の写真フィルムを読み取り得られたカラー画像データやデジタルスチルカメラ等で撮影されたカラー画像データに対して、モニタや写真プリントを行なう際に、自然なカラーを再現できるようにＲ（赤）、Ｇ（緑）、Ｂ（青）（以下、「ＲＧＢ」と記す。）のカラーバランスを調整する写真画像処理装置及び写真画像処理方法に関する。

従来の写真プリンタでは、ネガフィルムに記録された画像を色合いよく感光材料である印画紙に焼き付けるための写真画像処理方法として、エバンスの定理に基づくＬＡＴＤ（Ｌａｒｇｅ Ａｒｅａ Ｔｒａｎｓｍｉｔｔａｎｃｅ Ｄｅｎｓｉｔｙ）露光方式が知られている。この露光方式は、平均的な戸外の被写体は、ネガ全体の色を混ぜ合わせると灰色に近くなるというエバンスの説に基づいて、色に偏りが見られる場合は、ネガフィルムを透過したＲＧＢの積算光が印画紙上でグレーに再現されるようにＲＧＢの各露光量を調節して露光を行う方式である。

具体的には、ネガフィルムに光を照射して透過光を撮像素子で読取ってＲＧＢのカラー画像データを生成し、全構成画素に対するＲＧＢ成分毎の平均画素値を演算導出し、ＲＧＢ各平均画素値がそれぞれグレーに対応する所定の値となるように、アナログ方式の写真プリンタでは調光フィルタを調節して印画紙を露光し、デジタル方式の写真プリンタではＲＧＢ夫々の光源からの露光量を調節していた。

上述した従来の写真画像処理方法によれば、被写体（人物、背景）の色の偏りにより過補正され、却って見辛い写真プリントが出力されてしまうという問題があった。例えば、芝生を背景に人物を撮影したシーンの場合には、芝生の領域がグレーに仕上がる一方、人物の領域に芝生の補色であるマゼンダが強く現われる。このような状況をカラーフェリアといい、その対策としてＬＡＴＤ露光方式において高彩度画素を除去したり、彩度によって重み付けをした条件付平均値を求める方法などが提案されている。

特開２０００−３３０２２１号公報

しかし、上述した方法によれば、色の偏りが大きいシーンの場合には、実際に演算に使用される画素数が少なくなることで安定性に欠ける傾向があり、小さい重み付けであってもそれに該当する画素数が多いと少なからず影響を受ける場合があった。

さらに、高彩度画素を除去するその閾値や、彩度による重み付けの条件は、光源種、季節、時間帯などの撮影時の様々な状況を考慮して経験に基づいて決定されるものであり、光学カメラによる写真画像ではフィルム種類や現像状態の相違による影響もあり、必ずしも万全なものではなかったため、更なる改良の余地があった。

本発明の目的は、上述の従来欠点に鑑み、様々な条件を持った入力画像に対して、カラーフェリア度合いを正しく検出し、適切なカラー補正値を求めることのできる写真画像処理装置及び写真画像処理方法を提供する点にある。

上述の目的を達成するため、本発明による写真画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段と、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算手段とを備えて構成される点にある。

太陽光やタングステン光等の撮影光源を含む撮影条件の差異や、フィルム種の差異等があると、基本的にコマ画像全体にそれらの影響が及び、同一シーンを撮影しても、フィルム上に形成された画像は見た目にも異なる色合いを呈している。しかし、コマ画像に写っている物体間の相対的な色に注目すれば相違は無い。そこで、ＬＡＴＤ補正を行なうと撮影条件やフィルム種等に基づくコマ画像全体の特徴が無彩色として全体として補正され、平均化が過剰に作用したカラーフェリア現象だけが不都合として残ることになる。

色相彩度座標系に前記平均画素値演算手段により求められた平均画素値を中心とする同心円上の複数の円領域を画定し、各領域におけるコマ画像の画素の分布特性を評価すると、カラーフェリアの起こらないコマ画像においては各円領域の分布特性がほぼ等しくなるが、カラーフェリアの傾向が強くなるコマ画像においては各円領域間の分布特性の差が大きくなり、カラーフェリアの状況が特徴的に反映される。つまり、中心側の円領域から外側の円領域に沿って構成画素数の累積ヒストグラムをとると、カラーフェリアの傾向が弱いコマ画像は比較的低彩度領域、つまり中心側の円領域で飽和する傾向があるのに対して、カラーフェリアの傾向が強いコマ画像は比較的高彩度領域、つまり外側の円領域まで飽和することが無いという顕著な相違が見られるのである。この傾向は、画素数の分布特性のみならず画素値も同様である。

そこで、各円領域に含まれる画素の分布特性を示す円領域特性値に基づいて所定の分布特性を示すようにカラー補正量を演算する第一補正量演算手段を設けて、前記平均画素値演算手段により求められた平均画素値を補正することにより、カラーフェリアの発生を回避した適切なカラー補正量を求めることができるようになるのである。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記円領域特性値は、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値、若しくは、当該領域平均画素値と前記平均画素値との差分値で構成される点にある。

各円領域に含まれる画素の画素数の分布特性と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値、若しくは、当該領域平均画素値と前記平均画素値との差分値の分布特性は、共にカラーフェリアの傾向を示す顕著なパラメータとなる。そこで、第一補正量演算手段によりこれらのパラメータに基づいてカラーフェリアの傾向がより少ない適切なカラー補正量を演算導出することができるようになるのである。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、前記第一補正量演算手段は、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される点にある。

上述の第一補正量演算手段としては、撮影条件の異なる多数のサンプル画像をマニュアル補正処理により適切なカラー補正を施して適正なカラー補正量を求めた画像に対して、その原画像の円領域特性値と適正なカラー補正量を基準とするパターンマッチング或いは統計手法により任意の画像に対するカラー補正量を求める演算手段が好適に利用できる。

例えば、サンプル画像の円領域特性値と適正なカラー補正量を教師信号として誤差逆伝搬学習法により学習されたニューラルネットワークに対して対象画像の円領域特性値を入力することにより適正なカラー補正量を獲得することができ、サンプル画像の円領域特性値とそれに対する適正なカラー補正量との関係式を重回帰分析により求め、その関係式に対象画像の円領域特性値を入力することにより適正なカラー補正量を獲得することができるのである。

同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記色相彩度座標系に、前記第一補正量演算手段により求められたカラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算手段と、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算手段とを備えて構成される点にある。

上述の第一から第四の何れかの特徴構成により求められたカラー補正量により対象コマ画像を補正して得られる写真プリントは、カラーフェリアが効果的に抑制されるのであるが、見栄えという観点でさらに適正な補正を要する場合がある。写真の見栄えとして、白い部分がより白く再現される必要があるのであるが、上述のカラー補正量で補正された画像には無彩色に近いが僅かに着色が認められる領域が生じる。このような領域を単純な閾値に基づいて抽出して補正すると、似たようなシーンで補正にばらつきが生じる可能性があり、また、無彩色になるように補正すべきか否かは色相により異なる。例えば、プリント結果がイエローやレッドに修正される場合は概ね問題が無いが、シアンやマゼンダに修正される場合は視覚的に支障を来たす可能性が高いのである。

そこで、色相彩度座標系で対象画像が無彩色として表される点、つまり、第一補正量演算手段により求められたカラー補正量で表される画素を中心として色相に基づいて放射状の領域に領域分割し、分割された各放射状領域に含まれる画素の分布特性を示す放射状領域特性値に基づいて色相毎に適正なカラー補正量を求めることにより、色相を考慮した見栄えのよい精度の高いカラー補正ができるようになるのである。

同第五の特徴構成は、同請求項５に記載した通り、上述の第四特徴構成に加えて、前記放射状領域特性値は、各放射状領域に含まれる画素の画素数と、各放射状領域に含まれる画素に対して低彩度画素ほど大きな重み係数を掛けて求まるカラー成分毎の重み平均画素値で構成される点にある。

僅かに着色した領域を無彩色に補正するに際して、色相により分割された放射領域毎に補正の程度を加減する場合に、各領域に存在する画素を彩度により重み付けすることにより補正の程度を調整することができる。つまり、低彩度画素ほど大きな重みとなるように、高彩度画素ほど小さな重みとなるようにカラー成分毎の重み平均画素値を求めると、僅かに着色した領域の面積が大きいほど大きな値として得られるようになる。そこで、各放射状領域に含まれる画素の画素数と、カラー成分毎の重み平均画素値を放射状領域特性値としてカラー補正量を求めることにより、色相を考慮した見栄えのよい精度の高いカラー補正ができるようになるのである。

同第六の特徴構成は、同請求項６に記載した通り、上述の第四または第五特徴構成に加えて、前記第二補正量演算手段は、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される点にある。

上述の第二補正量演算手段としては、撮影条件の異なる多数のサンプル画像をマニュアル補正処理により適切なカラー補正を施して適正なカラー補正量を求めた画像に対して、その原画像の放射状領域特性値と適正なカラー補正量を基準とするパターンマッチング或いは統計手法により任意の画像に対するカラー補正量を求める演算手段が好適に利用できる。

例えば、サンプル画像の放射状領域特性値と適正なカラー補正量を教師信号として誤差逆伝搬学習法により学習されたニューラルネットワークに対して対象画像の放射領域特性値を入力することにより適正なカラー補正量を獲得することができ、サンプル画像の放射領域特性値とそれに対する適正なカラー補正量との関係式を重回帰分析により求め、その関係式に対象画像の円領域特性値を入力することにより適正なカラー補正量を獲得することができるのである。

上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、同請求項７に記載した通り、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算ステップと、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換ステップと、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算ステップと、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算ステップと、を備えて構成される点にある。

同第二の特徴構成は、同請求項８に記載した通り、上述の第一特徴構成に加えて、前記色相彩度座標系に、前記補正量演算ステップにより求められたカラー補正量で補正するときに無彩色となる画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算ステップと、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算ステップとを備えて構成される点にある。

以上説明した通り、本発明によれば、様々な条件を持った入力画像に対して、カラーフェリア度合いを正しく検出し、適切なカラー補正値を求めることのできる写真画像処理装置及び写真画像処理方法を提供することができるようになった。

以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された原画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で原画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。

前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。

前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。

前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。

前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。

尚、前記フィルムスキャナ３１は、フィルムＦに記録された画像を読み取る際、各コマ画像の間の未露光部分の読み取りを行う。前記未露光部分のデータは、後述するカラー補正処理部４７１のベース濃度処理部１０におけるベース濃度の除去処理に利用される。

同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

前記画像処理部４７は、前記メモリ４１に格納された各写真画像データに対してコマ画像毎または一連のコマ画像に濃度補正処理やコントラスト補正処理等を行なうように構成されている。但し、本発明におけるカラー補正処理では、前記画像処理部４７は、前記メモリ４１に格納された各写真画像データに対してコマ画像毎に濃度補正処理やコントラスト補正処理等を行なうように構成されており、図１に示すように、前記原画像データに対してカラー補正処理を実施するカラー補正処理部４７１と、前記原画像データに対して濃度補正処理を実施する濃度補正処理部４７２と、前記濃度補正処理部４７２で濃度補正のために生成された濃度補正曲線に対してコントラスト補正を施すコントラスト補正部４７３と、撮影レンズに起因する歪を補正する歪補正部４７４と、画像のエッジを強調しノイズを低減する鮮鋭化処理部４７５と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部４７６等を備えて構成されている。

前記カラー補正処理部４７１は、前記原画像データに対してベース濃度の除去処理を行うベース濃度処理部１０と、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段１１と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段１２と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段１３と、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算手段１４と、前記色相彩度座標系に、前記第一補正量演算手段１４により求められたカラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算手段１５と、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算手段１６と、前記第一補正量演算手段１４により求められたカラー補正量または前記第二補正量演算手段１６により求められたカラー補正量に基づいて前記コマ画像を補正するカラー補正手段１７を備えて構成されている。

前記ベース濃度処理部１０は、前記原画像データに対してベース濃度の除去処理を行うように構成されており、詳述すると、前記フィルムスキャナ３１においてフィルムＦに記録された画像より読み取られた各コマ画像の未露光部分の赤色成分（Ｒ）の濃度がｒ_ｂ、緑色成分（Ｇ）の濃度がｇ_ｂ、青色成分（Ｂ）の濃度がｂ_ｂである場合に、前記原画像データの各画素のＲ成分にｇ_ｂ−ｒ_ｂを加算し、Ｂ成分にｇ_ｂ−ｂ_ｂを加算する処理を行う。この処理によって、フィルム種により異なるベース濃度の影響が排除される。

尚、前記フィルムスキャナ３１において、フィルムＦに記録された画像よりベース濃度を読み取ることができない場合、または前記メディアドライバ３２から読み込まれた画像ファイルを使用する場合は、ＲＧＢの全成分においてベース濃度をゼロとして処理を行う。

前記平均画素値演算手段１１は、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求めるように構成されている。具体的には、前記コマ画像の画素数がｉ個であり、前記コマ画像のｎ番目の画素のＲＧＢ成分を夫々ｒ_ｎ、ｇ_ｎ、ｂ_ｎとした場合に、前記コマ画像の各画素のＲＧＢ成分の平均値ａｖｇ（ｒ）、ａｖｇ（ｇ）、ａｖｇ（ｂ）は、〔数１〕のように表される。

前記座標変換手段１２は、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換するように構成されており、詳述すると、前記コマ画像の各画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎを〔数２〕に示す演算式に基づいてｘｙ座標系に変換する。前記ｘｙ座標系は、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系として示されている。

尚、〔数２〕で示す演算式は、図５に示すように、ｘｙ座標系におけるｘの正方向を０度の方向とした場合に、Ｒ成分を０度の方向、Ｇ成分を１２０度の方向、及びＢ成分を２４０度の方向として、並びに各成分の大きさを各成分方向への原点からの距離として、各成分の合成ベクトルＣ_ＲＧＢのｘ成分とｙ成分の大きさへの変換を表している。

前記円領域特性値演算手段１３は、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求めるように構成されている。

詳述すると、図６に示すように、前記平均画素値をｘｙ座標系に変換した値、つまり〔数１〕で導出したａｖｇ（ｒ）、ａｖｇ（ｇ）、ａｖｇ（ｂ）を夫々〔数２〕における画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎに代入して算出したｘ_ｎとｙ_ｎを夫々中心座標ａｖｇ（ｘ）とａｖｇ（ｙ）として前記色相彩度座標系にプロットし、前記中心座標を中心とした所定の間隔の同心円状の１２個の円領域Ｓ１からＳ１２を画定する。

尚、前記円領域において、外側に位置する円領域は、当該円領域よりも内側に位置する円領域を包含している。例えば、円領域Ｓ２は円領域Ｓ１を包含しており、円領域Ｓ１２は円領域Ｓ１１を包含（つまり、円領域Ｓ１からＳ１１の全てを包含）している。また、本例では、円領域の数は１２個であるが、円領域の数は適宜設定されてもよい。また、本例では、円領域間の所定の間隔は等間隔であるが、前記所定の間隔も適宜設定されてもよく、等間隔で異なる大きさであっても各領域の間隔の大きさが互いに異なっていてもよい。

前記円領域特性値は、各円領域に含まれる画素の画素数、及び各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値で構成される。前記円領域特性値の算出は４ステップで構成されており、以下に詳述する。

第一ステップでは、コマ画像の全構成画素を前記色相彩度座標系にプロットして、同心円上の複数の領域Ｓｊ（ｊは１から１２の整数）毎にプロットされた画素数ｍ_Ｓｊをカウントする。

第二ステップでは、前記領域Ｓｊにおいてプロットされた画素のうちｎ番目の画素のＲＧＢ成分を夫々ｒ_Ｓｊｎ、ｇ_Ｓｊｎ、ｂ_Ｓｊｎとした場合に、前記領域Ｓｊを構成しているＲＧＢ各成分の平均画素値ａｖｇ（ｒ_Ｓｊｎ）、ａｖｇ（ｇ_Ｓｊｎ）、ａｖｇ（ｂ_Ｓｊｎ）を〔数３〕に示す演算式に基づいて算出する。

第三ステップでは、前記平均画素値演算手段１１で算出した前記コマ画像の各画素のＲＧＢ成分の平均値である前記平均画素値と前記領域Ｓｊを構成しているＲＧＢ各成分の平均画素値との差分値Δｒ_Ｓｊ、Δｇ_Ｓｊ、Δｂ_Ｓｊを〔数４〕に示す演算式に基づいて算出する。

以上の３ステップより算出された特性値ｍ_Ｓｊ、Δｒ_Ｓｊ、Δｇ_Ｓｊ、Δｂ_Ｓｊを０から１の範囲の値へと正規化することによって、円領域特性値ｍ_ｊ、Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊを算出する。具体的には、前記円領域特性値ｍ_ｊは、前記特性値ｍ_Ｓｊを前記コマ画像に含まれる画素の総数で割ることによって算出され、前記円領域特性値Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊは、前記特性値Δｒ_Ｓｊ、Δｇ_Ｓｊ、Δｂ_Ｓｊを前記コマ画像における濃度設定値の最大値で夫々割ることによって算出される。

尚、前記特性値ｍ_Ｓｊ、Δｒ_Ｓｊ、Δｇ_Ｓｊ、Δｂ_Ｓｊをそのまま前記円領域特性値とする構成であってもよい。

尚、図７に示すように、前記領域Ｓｊを横軸、各円領域に含まれる画素の画素数ｍ_Ｓｊを縦軸として画素数の累積ヒストグラムを示すと、カラーフェリアが発生しないコマ画像は、前記色相彩度座標系におけるデータの分布が小さくなるために、前記累積ヒストグラムは、内側の領域（図７ではＳ５）で飽和する傾向にあるが、カラーフェリアが発生するコマ画像や異種光源のコマ画像は、前記色相彩度座標系におけるデータの分布が大きくなるために、前記累積ヒストグラムは、より外側の領域（図７では、異種光源はＳ７、フェリアはＳ１０）で飽和する、つまりなかなか飽和しない傾向にある。

前記第一補正量演算手段１４は、前記円領域特性値ｍ_ｊ、Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊ（または、ｍ_Ｓｊ、Δｒ_Ｓｊ、Δｇ_Ｓｊ、Δｂ_Ｓｊ）に基づいてカラー補正量Ｒ１、Ｇ１、Ｂ１を求める。前記カラー補正量Ｒ１、Ｇ１、Ｂ１は、元の画素値と新たな画素値との差分であり、前記第一補正量演算手段１４は、例えば、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される。

誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、例えば、図８に示すように、入力層、中間層、出力層の三層で構成されたパーセプトロン形で構成されており、前記コマ画像の各領域Ｓｊの円領域特性値ｍ_ｊ、Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊが入力される入力層と、入力データが所定の結合加重で重み演算された結果が入力される中間層と、中間層の出力が所定の結合加重で重み演算されてカラー補正量Ｒ１、Ｇ１、Ｂ１として出力される出力層の三層から構成され、各結合加重が誤差逆伝搬学習法により予め設定される。

ニューラルネットワークは、具体的には撮影条件の異なる９０００枚のサンプル画像に対してなされたマニュアル補正によるカラー補正量及びサンプル画像に対する円領域特性値を教師データとして、サンプル画像毎に各々一億回の繰り返し学習を行なって最もばらつきが少なかった結果を得たものを設定している。

重回帰分析手段で構成される場合は、例えば、〔数５〕に示すような重回帰式に、従属変数として前記円領域特性値ｍ_ｊ、Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊを夫々適用することによって、独立変数としてのＲＧＢ成分毎のカラー補正量Ｒ１、Ｇ１、Ｂ１を導出する構成が挙げられる。

上述の〔数５〕において、Ａ_１１からＡ_３４は係数、Ｃ_１からＣ_３は定数項で、多数のサンプル画像に対するマニュアル補正で適正と評価されたときの前記サンプル画像と補正量との関係から算出される値である。

前記放射状領域特性値演算手段１５は、前記色相彩度座標系に、前記第一補正量演算手段１４により求められたカラー補正量Ｒ１、Ｇ１、Ｂ１で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求めるように構成されている。

詳述すると、図９に示すように、前記第一補正量演算手段１４で導出したカラー補正量Ｒ１、Ｇ１、Ｂ１を、夫々画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎとして〔数２〕に適用して算出したｘ_ｎとｙ_ｎを夫々中心座標Ｘ、Ｙとして前記色相彩度座標系にプロットし、前記中心座標を中心として、所定角度間隔で周方向に複数の放射状領域を画定する。尚、放射状領域の数は適宜設定される。例えば、図９では、３０度毎に１２の放射状領域を設定されており、この設定に基づいて以下の説明を行う。

前記放射状領域特性値は、各放射状領域に含まれる画素の画素数と、各放射状領域に含まれる画素に対して低彩度画素ほど大きな重み係数を掛けて求まるカラー成分毎の重み平均画素値で構成される。前記放射状領域特性値の算出は２ステップで構成されており、以下に詳述する。

第一ステップでは、コマ画像の全構成画素を前記色相彩度座標系にプロットして、放射状の複数の領域Ｈｊ（ｊは１から１２の整数）毎にプロットされた画素数ｌ_Ｈｊをカウントする。

第二ステップでは、前記領域Ｈｊにおいてプロットされた画素のうちｎ番目の画素のＲＧＢ成分を夫々ｒ_Ｈｊｎ、ｇ_Ｈｊｎ、ｂ_Ｈｊｎとして、各画素の中心からの距離（彩度）に基づいて算出した重み係数を夫々ｚｒ_Ｈｊｎ、ｚｇ_Ｈｊｎ、ｚｂ_Ｈｊｎとして前記放射状領域特性値Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊを〔数６〕に示す演算式に基づいて算出する。尚、〔数６〕において、分母に加算されている１と分子に加算されているカラー補正量Ｒ１、Ｇ１、Ｂ１については後述する。

つまり、前記領域Ｈｊに存在する各画素に対して、前記各画素に対応する重み係数を乗じた値を算出し、算出した値を合計してから前記領域Ｈｊに存在する画素数ｌ_Ｈｊで割ることで、前記放射状領域特性値Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊは算出される。さらに前記領域Ｈｊに占める画素数ｌ_Ｈｊも前記放射状領域特性値とする。つまり、前記放射状領域特性値は、ｌ_Ｈｊ、Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊの４値である。

尚、各画素（例えば画素値をｒ_Ｈｊｎ、ｇ_Ｈｊｎ、ｂ_Ｈｊｎとする）についての前記重み係数ｚｒ_Ｈｊｎ、ｚｇ_Ｈｊｎ、ｚｂ_Ｈｊｎの算出は、各画素の濃度値を以下に説明する方法で正規化した値である。正規化の方法は、前記原画像データにおける濃度設定値の範囲（例えば、原画像データが８ビットで構成される場合には、０から２５５の範囲）を０から４の範囲へと正規化して、正規化した値を１から減じることで正規化する。尚、正規化した値を１から減じた際に負の値となった場合には、重み係数は０とする。このように算出した重み係数は、彩度の低い画素の重みが大きくなり、全濃度範囲の高彩度側７５％に相当する領域では０となる。

また、〔数６〕の演算において、前記領域Ｈｊに存在する画素に追加して、前記カラー補正量Ｒ１、Ｇ１、Ｂ１を、前記重み係数を１として加算している。その結果、画素数が１個増えることから、〔数６〕においては、画素数はｌ_Ｈｊではなくｌ_Ｈｊ＋１で除している。これは、前記領域Ｈｊに画素が存在しているが、当該画素の全てについて重み係数が０であるために前記放射状領域特性値が０となることと、前記領域Ｈｊに画素が全く存在しないために前記放射状領域特性値が０となることを区別するためである。

前記第二補正量演算手段１６は、前記放射状領域特性値ｌ_Ｈｊ、Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊに基づいてカラー補正量Ｒ２、Ｇ２、Ｂ２を求める。前記カラー補正量Ｒ２、Ｇ２、Ｂ２は、元の画素値と新たな画素値との差分であり、前記第二補正量演算手段１６は、例えば、前記第一補正量演算手段１４と同様に、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される。

誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、図８に示す入力層には、前記放射状領域特性値ｌ_Ｈｊ、Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊが入力され、出力層からＲＧＢ各成分に対するカラー補正量Ｒ２、Ｇ２、Ｂ２が出力される。当該ニューラルネットワークも先と同様に、撮影条件の異なる９０００枚のサンプル画像に対してなされたマニュアル補正によるカラー補正量を及びサンプル画像に対する円領域特性値を教師データとして、サンプル画像毎に各々一億回の繰り返し学習を行なって最もばらつきが少なかった結果を得たものを設定している。

重回帰分析手段で構成される場合は、例えば、〔数５〕に示すような重回帰式に、従属変数として前記放射状領域特性値ｌ_Ｈｊ、Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊを夫々適用することによって、独立変数としてのＲＧＢ成分毎のカラー補正量Ｒ２、Ｇ２、Ｂ２を導出する構成が挙げられる。

前記カラー補正手段１７は、前記第二補正量演算手段１６により求められたカラー補正量に基づいて前記コマ画像を補正するように構成されており、詳述すると、コマ画像の全ての画素について、前記第二補正量演算手段１６で求められたカラー補正量Ｒ２、Ｇ２、Ｂ２を加算することによって前記コマ画像を補正する。

以上説明した本発明によるコマ画像の補正に際して、マニュアル補正で適正と評価された画素値を正解画素値とした場合の、キー補正の程度による前記正解画素値を得る確率および不正解であった場合の誤差の標準偏差を、図１０に示すように、従来のＬＡＴＤ補正を用いた方法、前記第一補正量演算手段１４を用いて前記第二補正量演算手段１６を用いなかった方法、及び前記第一補正量演算手段１４に加えて前記第二補正量演算手段１６を用いた方法について示す。

図１０において、前記第一補正量演算手段１４を用いた方法は、従来のＬＡＴＤ補正を用いた方法よりも向上しており、前記第二補正量演算手段１６を用いた方法は、前記第一補正量演算手段１４を用いた方法よりも向上している。

以上説明した本発明による写真画像処理装置は、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段１１と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段１２と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段１３と、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算手段１４としてコンピュータを機能させるための画像処理プログラム、及び、前記色相彩度座標系に、前記第一補正量演算手段１４により求められたカラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算手段１５と、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算手段１６としてコンピュータを機能させるための画像処理プログラムがインストールされることにより容易に実現される。

以下、別実施形態について説明する。上述の実施形態では、放射状領域特性値演算手段１５は、第一補正量演算手段１４で導出したカラー補正量Ｒ１、Ｇ１、Ｂ１を、夫々画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎとして〔数２〕に適用して算出したｘ_ｎとｙ_ｎを夫々中心座標Ｘ、Ｙとして前記色相彩度座標系にプロットする構成について説明したが、前記中心座標が図６に示すａｖｇ（ｘ）とａｖｇ（ｙ）であってもよい。

即ち、前記中心座標は、平均画素値演算手段１１で算出された平均画素値をｘｙ座標系に変換した値、つまり〔数１〕で導出したａｖｇ（ｒ）、ａｖｇ（ｇ）、ａｖｇ（ｂ）を夫々〔数２〕における画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎに代入して算出したｘ_ｎとｙ_ｎを夫々中心座標ａｖｇ（ｘ）とａｖｇ（ｙ）として前記色相彩度座標系にプロットするのである。

上述の実施形態では、前記第一補正量演算手段１４と前記第二補正量演算手段１６が、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される構成について説明したが、前記ニューラルネットワークや前記重回帰分析手段以外、例えば、ルックアップテーブルを用いた構成であってもよい。

詳述すると、ルックアップテーブルで構成される場合は、前記第一補正量演算手段１４においては、予め記憶されている所定の関数に従って、円領域特性値ｍ_ｊ、Δｒ_ｊ、Δｇ_ｊ、Δｂ_ｊをカラー補正量Ｒ１、Ｇ１、Ｂ１に変換する構成が挙げられ、前記第二補正量演算手段１６においては、予め記憶されている所定の関数に従って、放射状領域特性値ｌ_Ｈｊ、Δｒ_Ｈｊ、Δｇ_Ｈｊ、Δｂ_Ｈｊをカラー補正量Ｒ２、Ｇ２、Ｂ２に変換する構成が挙げられる。

上述の実施形態では、色相彩度座標系への変換は、コマ画像の各画素を〔数２〕に示す演算式に基づいてｘｙ座標系に変換する構成について説明したが、色相彩度座標系への変換は、〔数２〕に示す演算式に基づく変換に限られるものではない。例えば、コマ画像の各画素ｒ_ｎ、ｇ_ｎ、ｂ_ｎを〔数７〕に示す行列演算式に基づいて横軸がＰ、縦軸がＱで示される色相彩度座標系に変換する構成であってもよい。

上述の実施形態では、放射状領域特性値の算出において、各放射状領域に含まれる画素に対して低彩度画素ほど大きな重み係数を掛ける構成について説明したが、低彩度画素の基準は適宜設定されるものであり、本実施形態に限定されるものではない。

上述の実施形態では、円領域特性値は、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値である構成について説明したが、前記円領域特性値は、前記領域平均画素値であってもよい。

上述した実施形態では、前記円領域特性値が、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値で構成されるものを説明したが、前記円領域特性値としては、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値を採用することもできる。

この場合、第一補正量演算手段１４において、誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、例えば、図１１に示すように、入力層、中間層、出力層の三層で構成されたパーセプトロン形で構成されており、平均画素値演算手段により求められた各画素のＲＧＢ成分の平均値ａｖｇ（ｒ）、ａｖｇ（ｇ）、ａｖｇ（ｂ）を正規化した値ａｖｇｎ（ｒ）、ａｖｇｎ（ｇ）、ａｖｇｎ（ｂ）と、各領域Ｓｊの円領域特性値ｍ_ｊ、ａｖｇ（ｒ_ｊｎ）、ａｖｇ（ｇ_ｊｎ）、ａｖｇ（ｂ_ｊｎ）（これらは〔数３〕による平均画素値ａｖｇ（ｒ_Ｓｊｎ）、ａｖｇ（ｇ_Ｓｊｎ）、ａｖｇ（ｂ_Ｓｊｎ）を夫々正規化した値である）が入力される入力層と、入力データが所定の結合加重で重み演算された結果が入力される中間層と、中間層の出力が所定の結合加重で重み演算されてカラー補正量Ｒ１、Ｇ１、Ｂ１として出力される出力層の三層から構成され、各結合加重が誤差逆伝搬学習法により予め設定される。

上述の実施形態では、第一補正量演算手段１４や第二補正量演算手段１６がニューラルネットワークで構成される場合に、前記ニューラルネットワークの中間層が一層で構成されるものを説明したが、前記中間層が複数層で構成されるものであってもよい。

上述の実施形態では、前記カラー補正手段１７は、前記第二補正量演算手段１６により求められたカラー補正量に基づいて前記コマ画像を補正するものを説明したが、前記第二補正量演算手段１６を設けることなく、前記第一補正量演算手段１４により求められたカラー補正量に基づいて前記コマ画像を補正するように構成するものであっても所定の効果は得られる。

尚、上述した何れの実施形態も、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において複数の実施形態を組み合わせることも可能であり、また、各ブロックの具体的構成等を適宜変更設計できることも可能である。

画像処理部の機能ブロック構成図 写真画像処理装置の外観構成の説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成の説明図 色相彩度座標系の説明図 色相彩度座標系における複数の同心円上領域の説明図 各同心円上領域における画素数の累積ヒストグラムの説明図 ニューラルネットワークで構成される第一補正量演算手段の説明図 色相彩度座標系における複数の放射状領域の説明図 本発明によるカラー補正の正解率の説明表 別実施形態を示すニューラルネットワークで構成される第一補正量演算手段の説明図

符号の説明

１０：ベース濃度処理部
１１：平均画素値演算手段
１２：座標変換手段
１３：円領域特性値演算手段
１４：第一補正量演算手段
１５：放射状領域特性値演算手段
１６：第二補正量演算手段
１７：カラー補正手段

Claims (8)

1. 入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段と、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算手段とを備えて構成される写真画像処理装置。
2. 前記円領域特性値は、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値、若しくは、当該領域平均画素値と前記平均画素値との差分値で構成される請求項１記載の写真画像処理装置。
3. 前記第一補正量演算手段は、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される請求項１または２記載の写真画像処理装置。
4. 前記色相彩度座標系に、前記第一補正量演算手段により求められたカラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算手段と、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算手段とを備えて構成される請求項１から３の何れかに記載の写真画像処理装置。
5. 前記放射状領域特性値は、各放射状領域に含まれる画素の画素数と、各放射状領域に含まれる画素に対して低彩度画素ほど大きな重み係数を掛けて求まるカラー成分毎の重み平均画素値で構成される請求項４記載の写真画像処理装置。
6. 前記第二補正量演算手段は、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される請求項４または５記載の写真画像処理装置。
7. 入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算ステップと、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換ステップと、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算ステップと、前記円領域特性値に基づいてカラー補正量を求める第一補正量演算ステップと、を備えて構成される写真画像処理方法。
8. 前記色相彩度座標系に、前記補正量演算ステップにより求められたカラー補正量で補正するときに無彩色となる画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算ステップと、前記放射状領域特性値に基づいてカラー補正量を求める第二補正量演算ステップと、を備えて構成される請求項７記載の写真画像処理方法。