以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図2に示すように、写真画像処理装置1は、印画紙Pに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ2と、現像済みの写真フィルムFから画像を読み込むフィルムスキャナ31やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアMから画像データを読み取るメディアドライバ32や、コントローラ33としての汎用コンピュータ等を備え、入力された原画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション3を備えて構成され、前記操作ステーション3で原画像から編集処理されたプリントデータが前記写真プリンタ2に出力されて所望の写真プリントが生成される。
前記写真プリンタ2は、図2及び図3に示すように、ロール状の印画紙Pを収容した二系統の印画紙マガジン21と、前記印画紙マガジン21から引き出された印画紙Pを所定のプリントサイズに切断するシートカッター22と、切断後の印画紙Pの背面にコマ番号等のプリント情報を印字するバックプリント部23と、前記プリントデータに基づいて印画紙Pを露光する露光部24と、露光後の印画紙Pを現像、漂白、定着するための各処理液が充填された複数の処理槽25a、25b、25cを備えた現像処理部25が印画紙Pの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Pが排出される横送りコンベア26と、横送りコンベア26に集積された複数枚の印画紙(写真プリント)Pがオーダー単位で仕分けられるソータ27を備えて構成される。
前記露光部24には、搬送機構28によって副走査方向に搬送される印画紙Pに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたRGB三色のレーザ光線束を出力して露光する露光ヘッド24aが収容されている。
前記搬送経路に沿って配置された前記露光部24や現像処理部25に応じたプロセス速度で印画紙Pを搬送する複数のローラ対でなる搬送機構28が配置され、前記露光部24の前後には印画紙Pを複列に搬送可能なチャッカー式搬送機構28aが設けられている。
前記操作ステーション3に設けられたコントローラ33には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置1の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ34、キーボード35、マウス36等が接続されている。
前記コントローラ33のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図4に示すように、前記フィルムスキャナ31やメディアドライバ32によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ41に転送する画像入力部40と、前記モニタ34の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード35やマウス36からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部42と、前記画像入力部40から転送される写真画像データ及び後述の画像処理部47による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ41と、プリントオーダ情報を生成するオーダー処理部43と、前記メモリ41に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部47と、前記グラフィックユーザーインターフェース部42からの表示コマンドに基づいて前記メモリ41に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ34に表示処理するビデオRAM等を備えた表示制御部46と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ2に出力するためのプリントデータを生成するプリントデータ生成部44と、顧客のオーダーに応じて最終の補正画像をCD−R等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部45等で構成される。
前記フィルムスキャナ31は、フィルムFに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ2に出力される。
同様に、前記メディアドライバ32から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部40で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ41に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ33の演算負荷が低減されるように構成されている。
前記画像処理部47は、前記メモリ41に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なうように構成されており、図1に示すように、前記原画像データに対してカラー補正処理を実施するカラー補正処理部471と、前記原画像データに対して濃度補正処理を実施する濃度補正処理部472と、前記濃度補正処理部472で濃度補正のために生成された濃度補正曲線に対してコントラスト補正を施すコントラスト補正部473と、撮影レンズに起因する歪を補正する歪補正部474と、画像のエッジを強調しノイズを低減する鮮鋭化処理部475と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部476等を備えて構成されている。
前記カラー補正処理部471は、一連のコマ画像に対してコマ画像単位にカラー補正量を求める補正量演算手段10と、三原色のカラー成分を各座標軸とする色空間を所定間隔で画定して複数の空間領域を構成し、任意のコマ画像の構成画素の属する空間領域に当該コマ画像に対するカラー補正量を割り付ける処理を全コマ画像に対して実行する補正量割付手段11と、空間領域毎に割り付けられたカラー補正量に基づいて領域に対する補正量を求める領域補正量演算手段12と、特定のコマ画像の構成画素の属する空間領域から抽出した前記領域補正量を当該特定のコマ画像の構成要素に対する補正量、或いは補正量算出の要因として求める揃い補正量演算手段13と、前記揃い補正量演算手段13により求められた揃い補正量と、対応するコマ画像のカラー補正量とを所定の重み係数で融合した適正カラー補正量を求める適正補正量演算手段14と、前記揃い補正量演算手段13により求められた適正カラー補正量に基づいて対応するコマ画像をカラー補正するカラー補正手段15とを備えて構成されている。
前記補正量演算手段10は、一連のコマ画像に対してコマ画像単位にその構成画素に対するカラー補正量を求めるように構成されている。
以下に挙げる構成は、前記補正量演算手段10の一例である。つまり、コマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段100と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段101と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段102と、前記円領域特性値に基づいてカラー補正量を求めるカラー補正量演算手段103とを備えた構成である。
前記平均画素値演算手段100は、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求めるように構成されている。具体的には、前記コマ画像の画素数がi個であり、前記コマ画像のn番目の画素のRGB成分を夫々rn、gn、bnとした場合に、前記コマ画像の各画素のRGB成分の平均値avg(r)、avg(g)、avg(b)は、〔数1〕のように表される。
前記座標変換手段101は、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換するように構成されており、詳述すると、前記コマ画像の各画素rn、gn、bnを〔数2〕に示す演算式に基づいてxy座標系に変換する。前記xy座標系は、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系として示されている。
尚、〔数2〕で示す演算式は、図5に示すように、xy座標系におけるxの正方向を0度の方向とした場合に、R成分を0度の方向、G成分を120度の方向、及びB成分を240度の方向として、並びに各成分の大きさを各成分方向への原点からの距離として、各成分の合成ベクトルCRGBのx成分とy成分の大きさへの変換を表している。
前記円領域特性値演算手段102は、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求めるように構成されている。
詳述すると、図6に示すように、前記平均画素値をxy座標系に変換した値、つまり〔数1〕で導出したavg(r)、avg(g)、avg(b)を夫々〔数2〕における画素rn、gn、bnに代入して算出したxnとynを夫々中心座標avg(x)とavg(y)として前記色相彩度座標系にプロットし、前記中心座標を中心とした所定の間隔の同心円状の12個の円領域S1からS12を画定する。
尚、前記円領域において、外側に位置する円領域は、当該円領域よりも内側に位置する円領域を包含している。例えば、円領域S2は円領域S1を包含しており、円領域S12は円領域S11を包含(つまり、円領域S1からS11の全てを包含)している。また、本例では、円領域の数は12個であるが、円領域の数は適宜設定されてもよい。また、本例では、円領域間の所定の間隔は等間隔であるが、前記所定の間隔も適宜設定されてもよく、等間隔で異なる大きさであっても各領域の間隔の大きさが互いに異なっていてもよい。
前記円領域特性値は、各円領域に含まれる画素の画素数、及び各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値で構成される。前記円領域特性値の算出は4ステップで構成されており、以下に詳述する。
第一ステップでは、コマ画像の全構成画素を前記色相彩度座標系にプロットして、同心円上の複数の領域Sj(jは1から12の整数)毎にプロットされた画素数mSjをカウントする。
第二ステップでは、前記領域Sjにおいてプロットされた画素のうちn番目の画素のRGB成分を夫々rSjn、gSjn、bSjnとした場合に、前記領域Sjを構成しているRGB各成分の平均画素値avg(rSjn)、avg(gSjn)、avg(bSjn)を〔数3〕に示す演算式に基づいて算出する。
第三ステップでは、前記平均画素値演算手段100で算出した前記コマ画像の各画素のRGB成分の平均値である前記平均画素値と前記領域Sjを構成しているRGB各成分の平均画素値との差分値ΔrSj、ΔgSj、ΔbSjを〔数4〕に示す演算式に基づいて算出する。
以上の3ステップより算出された特性値mSj、ΔrSj、ΔgSj、ΔbSjを0から1の範囲の値へと正規化することによって、円領域特性値mj、Δrj、Δgj、Δbjを算出する。具体的には、前記円領域特性値mjは、前記特性値mSjを前記コマ画像に含まれる画素の総数で割ることによって算出され、前記円領域特性値Δrj、Δgj、Δbjは、前記特性値ΔrSj、ΔgSj、ΔbSjを前記コマ画像における濃度設定値の最大値で夫々割ることによって算出される。
尚、前記特性値mSj、ΔrSj、ΔgSj、ΔbSjをそのまま前記円領域特性値とする構成であってもよい。
尚、図7に示すように、前記領域Sjを横軸、各円領域に含まれる画素の画素数mSjを縦軸として画素数の累積ヒストグラムを示すと、カラーフェリアが発生しないコマ画像は、前記色相彩度座標系におけるデータの分布が小さくなるために、前記累積ヒストグラムは、内側の領域(図7ではS5)で飽和する傾向にあるが、カラーフェリアが発生するコマ画像や異種光源のコマ画像は、前記色相彩度座標系におけるデータの分布が大きくなるために、前記累積ヒストグラムは、より外側の領域(図7では、異種光源はS7、フェリアはS10)で飽和する、つまりなかなか飽和しない傾向にある。
前記カラー補正量演算手段103は、前記円領域特性値mj、Δrj、Δgj、Δbj(または、mSj、ΔrSj、ΔgSj、ΔbSj)に基づいてカラー補正量R1、G1、B1を求める。前記カラー補正量R1、G1、B1は、元の画素値と新たな画素値との差分であり、前記カラー補正量演算手段103は、例えば、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される。
誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、例えば、図8に示すように、入力層、中間層、出力層の三層で構成されたパーセプトロン形で構成されており、前記コマ画像の各領域Sjの円領域特性値mj、Δrj、Δgj、Δbjが入力される入力層と、入力データが所定の結合加重で重み演算された結果が入力される中間層と、中間層の出力が所定の結合加重で重み演算されてカラー補正量R1、G1、B1として出力される出力層の三層から構成され、各結合加重が誤差逆伝搬学習法により予め設定される。
ニューラルネットワークは、具体的には撮影条件の異なる9000枚のサンプル画像に対してなされたマニュアル補正によるカラー補正量及びサンプル画像に対する円領域特性値を教師データとして、サンプル画像毎に各々一億回の繰り返し学習を行なって最もばらつきが少なかった結果を得たものを設定している。
重回帰分析手段で構成される場合は、例えば、〔数5〕に示すような重回帰式に、従属変数として前記円領域特性値mj、Δrj、Δgj、Δbjを夫々適用することによって、独立変数としてのRGB成分毎のカラー補正量R1、G1、B1を導出する構成が挙げられる。
上述の〔数5〕において、A11からA34は係数、C1からC3は定数項で、多数のサンプル画像に対するマニュアル補正で適正と評価されたときの前記サンプル画像と補正量との関係から算出される値である。
以上説明した前記補正量演算手段10の一例を採用する効果としては以下が挙げられる。コマ画像単位に行なわれる補正量演算に上述の構成を採用することで、太陽光やタングステン光等の撮影光源を含む撮影条件の差異や、フィルム種の差異等があると、基本的にコマ画像全体にそれらの影響が及び、同一シーンを撮影しても、フィルム上に形成された画像は見た目にも異なる色合いを呈している。しかし、コマ画像に写っている物体間の相対的な色に注目すれば著しい違いがあるわけでない。そこで、LATD補正を行なうと撮影条件やフィルム種等に基づくコマ画像全体の特徴が無彩色として全体として補正され、平均化が過剰に作用したカラーフェリア現象だけが不都合として残ることになる。
色相彩度座標系に前記平均画素値演算手段100により求められた平均画素値を中心とする同心円上の複数の円領域を画定し、各領域におけるコマ画像の画素の分布特性を評価すると、カラーフェリアの起こらないコマ画像においては各円領域の分布特性がほぼ等しくなるが、カラーフェリアの傾向が強くなるコマ画像においては各円領域間の分布特性の差が大きくなり、カラーフェリアの状況が特徴的に反映される。つまり、中心側の円領域から外側の円領域に沿って構成画素数の累積ヒストグラムをとると、カラーフェリアの傾向が弱いコマ画像は比較的低彩度領域、つまり中心側の円領域で飽和する傾向があるのに対して、カラーフェリアの傾向が強いコマ画像は比較的高彩度領域、つまり外側の円領域まで飽和することが無いという顕著な相違が見られるのである。この傾向は、画素数の分布特性のみならず画素値も同様である。
そこで、各円領域に含まれる画素の分布特性を示す円領域特性値に基づいて所定の分布特性を示すようにカラー補正量を演算するカラー補正量演算手段103を設けて、平均画素値演算手段100により求められた平均画素値を補正することにより、カラーフェリアの発生を回避した適切なカラー補正量を求めることができるようになるのである。
前記補正量割付手段11は、三原色のカラー成分を各座標軸とする色空間を所定間隔で画定して複数の空間領域を構成し、任意のコマ画像の構成画素の属する空間領域に当該コマ画像に対するカラー補正量を割り付ける処理を全コマ画像に対して実行するように構成されている。
詳述すると、前記コマ画像が、前記三原色のカラー成分、つまり、赤色成分(R成分)と緑色成分(G成分)と青色成分(B成分)が夫々12ビットで表現されている場合は、例えば、図9に示すように、前記三原色の12ビットを夫々84個の領域、つまり、赤色成分をR1からR84、緑色成分をG1からG84、青色成分をB1からB84に分割することで、領域(1,1,1)から領域(84,84,84)の合計84×84×84個の空間領域が構成される。
構成された前記空間領域に対する前記カラー補正量の割り付け処理は、任意のコマ画像の全ての画素に対して、前記構成画素のうち少なくとも一個の画素が存在する前記空間領域に、前記補正量演算手段10で算出された当該コマ画像のカラー補正量を割り当てる。同様の割り付け処理を、他の全てのコマ画像に対しても行う。
例えば、RGB成分のカラー補正量が夫々ΔRA、ΔGA、ΔBAのコマ画像Aとカラー補正量が夫々ΔRB、ΔGB、ΔBBのコマ画像Bに対して上述の割り付け処理を実行する場合、前記コマ画像Aの画素が少なくとも1個存在しており前記コマ画像Bの画素が存在していない空間領域には、前記カラー補正量ΔRA、ΔGA、ΔBAが割り付けられ、前記コマ画像Bの画素が少なくとも1個存在しており前記コマ画像Aの画素が存在していない空間領域には、前記カラー補正量ΔRB、ΔGB、ΔBBが割り付けられ、前記コマ画像Aの画素が少なくとも1個存在しており且つ前記コマ画像Bの画素が少なくとも1個存在している空間領域には、前記カラー補正量ΔRA、ΔGA、ΔBAとΔRB、ΔGB、ΔBBが割り付けられ、前記コマ画像Aと前記コマ画像Bの何れにも画素が存在していない空間領域には、前記カラー補正量が割り付けられない。
また、前記補正量割付手段11は、一連のコマ画像の空間領域への分布状態に基づいて領域サイズを調整する領域サイズ調整手段110を備えて構成されており、例えば、前記領域サイズ調整手段110は、図9では前記三原色の12ビットを夫々84個の領域に分割していたが、該領域の分割を夫々42個とすることで合計42×42×42個の空間領域に領域サイズを調整する構成や、図10(a)に示すように、前記三原色の各色成分で領域サイズが異なるように調整する構成や、図10(b)に示すように、前記三原色の12ビットの低彩度領域と高彩度領域で領域サイズが異なるように調整する構成や、上述のサイズ調整を適宜組み合わせた構成が挙げられる。
尚、領域サイズの調整は、入力された各コマ画像の色相、彩度、カラー補正量等により自動で調整する方法であってもよく、オペレータが手動で調整する方法であってもよい。
前記領域補正量演算手段12は、空間領域毎に割り付けられた前記カラー補正量に基づいて領域に対する補正量を求めるように構成されており、例えば、前記領域に対する補正量として、補正量を平均した値である領域平均補正量avg(ΔR)、avg(ΔG)、avg(ΔB)を求めるように構成されている。詳述すると、任意の空間領域における前記領域補正量を算出するためには、当該空間領域に割り付けられた全てのカラー補正量を合算してから、当該空間領域にカラー補正量を割り付けたコマ画素の数で除する。
例えば、コマ画像AのRGB成分のカラー補正量ΔRA、ΔGA、ΔBAとコマ画像Bのカラー補正量ΔRB、ΔGB、ΔBBが割り付けられている空間領域に対して前記領域平均補正量avg(ΔR)、avg(ΔG)、avg(ΔB)を求める場合に、前記カラー補正量ΔRA、ΔGA、ΔBAのみが割り付けられている空間領域の前記領域平均補正量avg(ΔR)、avg(ΔG)、avg(ΔB)は夫々ΔRA、ΔGA、ΔBAであり、前記カラー補正量ΔRB、ΔGB、ΔBBのみが割り付けられている空間領域の前記領域平均補正量avg(ΔR)、avg(ΔG)、avg(ΔB)は夫々ΔRB、ΔGB、ΔBBであり、前記カラー補正量ΔRA、ΔGA、ΔBAとΔRB、ΔGB、ΔBBのみが割り付けられている空間領域の前記領域平均補正量avg(ΔR)、avg(ΔG)、avg(ΔB)は夫々(ΔRA+ΔRB)/2、(ΔGA+ΔGB)/2、(ΔBA+ΔBB)/2である。
前記揃い補正量演算手段13は、特定のコマ画像の構成画素の属する空間領域から抽出した前記領域補正量を当該特定のコマ画像の構成要素に対する補正量、或いは補正量算出の要因として求めるように構成されており、例えば、特定のコマ画像の構成画素の属する空間領域から抽出した前記領域補正量の平均を当該特定のコマ画像の揃い補正量として求めるように構成されている。具体的には、前記空間領域から抽出した前記領域補正量を合算してから、前記領域補正量が抽出された空間領域の数で除する。
例えば、3画素より構成されるコマ画像A(カラー補正量はΔRA、ΔGA、ΔBA)の構成画素が、夫々領域P(1,1,1)、領域Q(2,10,15)、領域R(l,m,n)に属しており、夫々3画素より構成されるコマ画像B(カラー補正量はΔRB、ΔGB、ΔBB)、コマ画像C(カラー補正量はΔRC、ΔGC、ΔBC)と共に各コマ画像の全構成画素が空間領域に割り付けられて領域補正量、例えば、領域平均補正量が求められた結果、前記領域P(1,1,1)の前記領域平均補正量avg(ΔRP)、avg(ΔGP)、avg(ΔBP)と、前記領域Q(2,10,15)の前記領域平均補正量avg(ΔRQ)、avg(ΔGQ)、avg(ΔBQ)と、前記領域R(l,m,n)の前記領域平均補正量avg(ΔRR)、avg(ΔGR)、avg(ΔBR)が〔数6〕で示されたとすると、前記コマ画像Aの揃い補正量ΔSR、ΔSG、ΔSBは〔数7〕のように示される。
また、前記揃い補正量演算手段13は、各空間領域に属する画素数が当該特定のコマ画像の所定比率以上となる空間領域から前記領域補正量を抽出するように構成されている。
例えば、画素数が1000個より構成されるコマ画像があり、前記コマ画像の前記所定比率が5%である場合は、属する画素数が50個以上の空間領域からは前記揃い補正量を抽出するが、属する画素数が49個以下の空間領域からは前記領域揃い補正量を抽出しない。つまり、コマ画像全体における占有率が低い空間領域は、揃い補正量の抽出においては当該空間領域に当該コマ画像の画素が存在しないものとして扱われるのである。
前記適正補正量演算手段14は、前記揃い補正量演算手段13により求められた揃い補正量ΔSR、ΔSG、ΔSBと、対応するコマ画像のカラー補正量ΔR、ΔG、ΔBとを所定の重み係数で融合した適正カラー補正量ΔSCR、ΔSCG、ΔSCBを求めるように構成されており、例えば、所定の重み係数をrとした場合、前記適正カラー補正量ΔSCR、ΔSCG、ΔSCBを〔数8〕に示す演算式に基づいて算出する。〔数8〕において前記重み係数rは、前記揃い補正量と前記カラー補正量のうち、前記カラー補正量の使用割合を示しているが、前記重み係数rは、前記揃い補正量の使用割合を示していてもよい。
〔数8〕における前記重み係数rの具体的な値としては、前記揃い補正量と前記カラー補正量を6:4の割合とする値、つまり0.4が好ましい値として挙げられる。これは、図8に示すニューラルネットワークを3段構成としたものに多数のサンプル画像を適用することで得られた値である。
前記カラー補正手段15は、前記適正補正量演算手段14により求められた適正カラー補正量に基づいて対応するコマ画像をカラー補正するように構成されており、詳述すると、任意のコマ画像の全ての画素について、前記適正補正量演算手段14で求められた適正カラー補正量ΔSCR、ΔSCG、ΔSCBを加算することによって前記コマ画像を補正する。
以上説明した本発明によるコマ画像の補正に際して、マニュアル補正で適正と評価された画素値を正解画素値とした場合の、キー補正の程度による前記正解画素値を得る確率および不正解であった場合の誤差の標準偏差を、図11に示すように、従来のLATD補正を用いた方法、前記カラー補正量演算手段103の出力であるカラー補正量を用いた方法、前記揃い補正量演算手段13の出力である揃い補正量を用いた方法、そして前記適正補正量演算手段14の出力である適正カラー補正量を前記重み係数0.5で用いた方法について示す。
図11において、前記揃い補正量演算手段13の出力である揃い補正量を用いた方法は、従来のLATD補正を用いた方法や前記カラー補正量演算手段103の出力であるカラー補正量を用いた方法よりも向上しており、前記適正補正量演算手段14を用いた方法は、前記揃い補正量演算手段13を用いた方法よりも向上している。
以上説明した本発明による写真画像処理装置は、一連のコマ画像に対してコマ画像単位にカラー補正量を求める補正量演算手段10と、三原色のカラー成分を各座標軸とする色空間を所定間隔で画定して複数の空間領域を構成し、任意のコマ画像の構成画素の属する空間領域に当該コマ画像に対するカラー補正量を割り付ける処理を全コマ画像に対して実行する補正量割付手段11と、空間領域毎に割り付けられたカラー補正量に基づいて領域に対する補正量を求める領域補正量演算手段12と、特定のコマ画像の構成画素の属する空間領域から抽出した前記領域補正量を当該特定のコマ画像の構成要素に対する補正量、或いは補正量算出の要因として求める揃い補正量演算手段13としてコンピュータを機能させるための画像処理プログラムがインストールされることにより容易に実現される。
同様に、入力されたコマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段100と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段101と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段102と、前記円領域特性値に基づいてカラー補正量を求めるカラー補正量演算手段103としてコンピュータを機能させるための画像処理プログラムがインストールされることにより容易に実現される。
以下、別実施形態について説明する。上述の実施形態では、補正量演算手段10の一例として、コマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段100と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段101と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段102と、前記円領域特性値に基づいてカラー補正量を求めるカラー補正量演算手段103とを備えた構成について説明したが、下記に示す構成であってもよい。
つまり、写真プリンタに搭載されたYMC等のカラー補正キーを用いたオペレータによるマニュアル補正や、予め記憶されている関数に従って入力画素値を変換して出力するルックアップテーブルに基づく補正を行う構成であってもよい。これらの構成によれば、コマ画像単位にカラー補正量を算出する際に、前記カラー補正量は、前記コマ画像を構成する各画素について個々に算出されることになる。
上述の実施形態では、揃い補正量演算手段13は、各空間領域に属する画素数が当該特定のコマ画像の所定比率以上となる空間領域から前記領域補正量を抽出する構成について説明したが、前記領域補正量の抽出基準は比率ではなくて所定画素数であってもよい。
例えば、画素数が1000個より構成されるコマ画像があり、前記コマ画像の前記所定画素数が10である場合は、属する画素数が10個以上の空間領域からは前記揃い補正量を抽出するが、属する画素数が9個以下の空間領域からは前記領域揃い補正量を抽出しない構成が挙げられる。
また、前記揃い補正量演算手段13において、所定の比率や画素数といった前記領域補正量の抽出基準を設けない構成であってもよい。つまり、少なくとも1個の画素が属する全ての空間領域から揃い補正量を抽出するので、前記揃い補正量は、当該コマ画像を構成する全ての画素を反映したものとなる。
上述の実施形態では、前記補正量演算手段10は、平均画素値演算手段100、座標変換手段101、円領域特性値演算手段102、及びカラー補正量演算手段103を備えており、円領域特性値に基づいてカラー補正量を求める構成について説明したが、前記補正量演算手段10は、これらに追加して、前記カラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求める放射状領域特性値演算手段104と、前記放射状領域特性値に基づいてカラー補正量を求める第二カラー補正量演算手段105を備えて構成されていてもよい。
前記放射状領域特性値演算手段104は、前記座標変換手段101においてコマ画像の各画素が変換させられた色相彩度座標系に、前記カラー補正量演算手段103により求められたカラー補正量で表される画素を中心として、所定角度間隔で周方向に複数の放射状領域を画定し、各放射状領域に含まれる画素の分布特性を示す放射状領域特性値を領域毎に求めるように構成されている。
詳述すると、図12に示すように、前記カラー補正量演算手段103で導出したカラー補正量R1、G1、B1を夫々〔数2〕における画素rn、gn、bnに代入して算出したxnとynを夫々中心座標X、Yとして前記色相彩度座標系にプロットし、前記中心座標を中心として、所定角度間隔で周方向に複数の放射状領域を画定する。尚、放射状領域の数は適宜設定される。例えば、図12では、30度毎に12の放射状領域を設定されており、この設定に基づいて以下の説明を行う。
前記放射状領域特性値は、各放射状領域に含まれる画素の画素数と、各放射状領域に含まれる画素に対して低彩度画素ほど大きな重み係数を掛けて求まるカラー成分毎の重み平均画素値で構成される。前記放射状領域特性値の算出は2ステップで構成されており、以下に詳述する。
第一ステップでは、コマ画像の全構成画素を前記色相彩度座標系にプロットして、放射状の複数の領域Hj(jは1から12の整数)毎にプロットされた画素数lHjをカウントする。
第二ステップでは、前記領域Hjにおいてプロットされた画素のうちn番目の画素のRGB成分を夫々rHjn、gHjn、bHjnとして、各画素の中心からの距離(彩度)に基づいて算出した重み係数を夫々zrHjn、zgHjn、zbHjnとして前記放射状領域特性値ΔrHj、ΔgHj、ΔbHjを〔数9〕に示す演算式に基づいて算出する。尚、〔数9〕において、分母に加算されている1と分子に加算されているカラー補正量R1、G1、B1については後述する。
つまり、前記領域Hjに存在する各画素に対して、前記各画素に対応する重み係数を乗じた値を算出し、算出した値を合計してから前記領域Hjに存在する画素数lHjで割ることで、前記放射状領域特性値ΔrHj、ΔgHj、ΔbHjは算出される。さらに前記領域Hjに占める画素数lHjも前記放射状領域特性値とする。つまり、前記放射状領域特性値は、lHj、ΔrHj、ΔgHj、ΔbHjの4値である。
尚、各画素(例えば画素値をrHjn、gHjn、bHjnとする)についての前記重み係数zrHjn、zgHjn、zbHjnの算出は、各画素の濃度値を以下に説明する方法で正規化した値である。正規化の方法は、前記原画像データにおける濃度設定値の範囲(例えば、原画像データが8ビットで構成される場合には、0から255の範囲)を0から4の範囲へと正規化して、正規化した値を1から減じることで正規化する。尚、正規化した値を1から減じた際に負の値となった場合には、重み係数は0とする。このように算出した重み係数は、彩度の低い画素の重みが大きくなり、全濃度範囲の高彩度側75%に相当する領域では0となる。
また、〔数9〕の演算において、前記領域Hjに存在する画素に追加して、前記カラー補正量R1、G1、B1を、前記重み係数を1として加算している。その結果、画素数が1個増えることから、〔数9〕においては、画素数はlHjではなくlHj+1で除している。これは、前記領域Hjに画素が存在しているが、当該画素の全てについて重み係数が0であるために前記放射状領域特性値が0となることと、前記領域Hjに画素が全く存在しないために前記放射状領域特性値が0となることを区別するためである。
前記第二カラー補正量演算手段105は、前記放射状領域特性値lHj、ΔrHj、ΔgHj、ΔbHjに基づいてカラー補正量R2、G2、B2を求める。前記カラー補正量R2、G2、B2は、元の画素値と新たな画素値との差分であり、前記第二補正量演算手段16は、例えば、前記第一補正量演算手段103と同様に、誤差逆伝搬学習法により学習されるニューラルネットワーク、または、重回帰分析手段で構成される。
誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、図8に示す入力層には、前記放射状領域特性値lHj、ΔrHj、ΔgHj、ΔbHjが入力され、出力層からRGB各成分に対するカラー補正量R2、G2、B2が出力される。当該ニューラルネットワークも先と同様に、撮影条件の異なる9000枚のサンプル画像に対してなされたマニュアル補正によるカラー補正量及びサンプル画像の放射状領域特性値を教師データとして、サンプル画像毎に各々一億回の繰り返し学習を行なって最もばらつきが少なかった結果を得たものを設定している。
重回帰分析手段で構成される場合は、例えば、〔数5〕に示すような重回帰式に、従属変数として前記放射状領域特性値lHj、ΔrHj、ΔgHj、ΔbHjを夫々適用することによって、独立変数としてのRGB成分毎のカラー補正量R2、G2、B2を導出する構成が挙げられる。
尚、前記放射状領域特性値演算手段104において、前記カラー補正量演算手段103で導出したカラー補正量R1、G1、B1を、夫々画素rn、gn、bnとして〔数2〕に適用して算出したxnとynを夫々中心座標X、Yとして前記色相彩度座標系にプロットする構成について説明したが、前記中心座標が図6に示すavg(x)とavg(y)であってもよい。
上述した実施形態では、前記円領域特性値が、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値と前記平均画素値との差分値で構成されるものを説明したが、前記円領域特性値としては、各円領域に含まれる画素の画素数と、各円領域に含まれる画素のカラー成分毎の平均値である領域平均画素値を採用することもできる。
この場合、カラー補正量演算手段103において、誤差逆伝搬学習法により学習されるニューラルネットワークで構成される場合は、例えば、図13に示すように、入力層、中間層、出力層の三層で構成されたパーセプトロン形で構成されており、平均画素値演算手段により求められた各画素のRGB成分の平均値avg(r)、avg(g)、avg(b)を正規化した値avgn(r)、avgn(g)、avgn(b)と、各領域Sjの円領域特性値mj、avg(rjn)、avg(gjn)、avg(bjn)(これらは〔数3〕による平均画素値avg(rSjn)、avg(gSjn)、avg(bSjn)を夫々正規化した値である)が入力される入力層と、入力データが所定の結合加重で重み演算された結果が入力される中間層と、中間層の出力が所定の結合加重で重み演算されてカラー補正量R1、G1、B1として出力される出力層の三層から構成され、各結合加重が誤差逆伝搬学習法により予め設定される。
上述の実施形態では、カラー補正量演算手段103や第二カラー補正量演算手段105がニューラルネットワークで構成される場合に、前記ニューラルネットワークの中間層が一層で構成されるものについて説明したが、前記中間層が複数層で構成されるものであってもよい。
上述の実施形態では、補正量演算手段10として、コマ画像単位に全構成画素に対するカラー成分毎の平均画素値を求める平均画素値演算手段100と、前記コマ画像の各画素を、中心からの距離で彩度が規定され中心周りの角度で色相が規定される色相彩度座標系の画素に変換する座標変換手段101と、前記色相彩度座標系に前記平均画素値を中心とする同心円状の複数の円領域を画定し、各円領域に含まれる画素の分布特性を示す円領域特性値を領域毎に求める円領域特性値演算手段102と、前記円領域特性値に基づいてカラー補正量を求めるカラー補正量演算手段103とを備えた構成について説明したが、前記補正量演算手段10は、上述の構成に限定されるものではなく、一連のコマ画像に対してコマ画像単位にカラー補正量を求めるものであれば、上記以外の構成であってもよい。
例えば、従来のLATD露光方式、つまり、エバンスの説に基づいて、色に偏りが見られる場合は、ネガフィルムを透過したRGBの積算光が印画紙上でグレーに再現されるようにRGBの各露光量を調節して露光を行う方式に基づいてカラー補正量を求める構成や、従来のLATD露光方式において高彩度画素を除去したり、彩度によって重み付けをした条件付平均値を求める方法によってカラー補正量を求める構成等が挙げられる。
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。