JP2005109930A - 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法 - Google Patents

Abstract

【課題】
補正精度の高いホワイトバランス補正を行うことができる画像処理装置、画像処理プログラム、画像処理方法、および、画像処理プログラムが記録された記録媒体を提供することを目的とする。
【解決手段】
予め、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲を記憶しておく。まず、画像の色に関する所定の性質を解析して、その画像を、ホワイトバランスの補正が必要か否かに分類する。ホワイトバランスの補正が必要と分類された画像については、予め記憶されている色再現範囲のうちの画像の色分布に近似した色再現範囲を選択し、その色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う。
【選択図】 図７

Description

本発明は、画像の色合いを調整するホワイトバランス補正を行う画像処理装置、画像処理プログラム、画像処理方法、および画像処理プログラムが記録されてなる記録媒体に関する。

デジタルカメラなどで撮影された撮影画像の色は、白色光源や、夕日や、ろうそくの光などといった、被写体を照明している光源の色によって大きな影響が与えられる。例えば、タングステンランプの下で被写体を撮影した撮影画像には、全体的に強く赤味がかかってしまうことが一般的である。一方、人の目には、光源の種類が変わった場合でも、被写体の色変化を最小にするように視細胞の感度レベルを調整する働きがあり、タングステンランプのような赤味の強い光源下であっても、赤色に感じる細胞の感度を下げることによって、通常の白色光源下での見え方に近い見え方となっている。したがって、被写体を照明している光源によっては、撮影時の見た目の印象と撮影画像とが大きく異なってしまうことがある。

画像の色を、その画像を取得したときに人が感じたような色に近付けるためには、画像中の白色が常に白色として再現されるように画像の色を調整するホワイトバランス補正を行う必要がある。このホワイトバランス補正に関して、特許文献１には、画像の色度に基づいて、被写体を照射している光源の色温度を推定して、推定した光源の色温度に基づいた色調整処理を行う方法について記載されている。
特開２０００−７８６０７号公報

しかし、例えば青色の色度値は、高い色温度と判定される領域に存在するため、特許文献１の方法によると、色温度が高くて青味がかかった光源で照射された被写体を撮影した画像だけではなく、元々青色の被写体を撮影した画像についても同じようにホワイトバランスの補正が施されてしまう。この結果、青い車や青空などといった、補正の必要がない画像までも、全て白っぽく補正されてしまうという不具合が生じる恐れがある。

また、同じ被写体を同じ光源下で撮影した場合であっても、例えば、フィルムのネガ種、露光条件、カメラの機種などの違いによって、得られた画像の色度分布に差が生じる。したがって、特許文献１に記載されている方法では、ホワイトバランス補正の精度にばらつきが生じてしまうという問題もある。

ここでいう撮影画像とは、デジタルカメラで撮影された撮影画像のみに限らず、例えば、銀塩カメラで撮影した撮影画像や、ビデオカメラで撮影された動画の撮影画像なども含まれる。

本発明は上記事情に鑑み、精度の高いホワイトバランス補正を行うことができる画像処理装置、画像処理プログラム、画像処理方法、および画像処理プログラムが記録された記録媒体を提供することを目的とする。

上記目的を達成する本発明の画像処理装置は、被写体の画像が入力される画像入力部と、
複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲を記憶する記憶部と、
画像入力部で入力された画像について、色に関する所定の性質を解析して、画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、記憶部に記憶されている色再現範囲のうち、その色分布に近似した色再現範囲を選択する色再現範囲選択部と、
色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えたことを特徴とする。

本発明の画像処理装置は、まず、入力された画像の色の性質を解析して、その画像を、ホワイトバランスの補正が必要か否かに分類する。例えば、青い車の画像などのように、ホワイトバランスの補正が必要ではないものについては、ホワイトバランスの補正の対象からはずすことによって、誤補正を防止することができる。

また、ホワイトバランスの補正が必要な画像については、その画像の色分布に適した色再現範囲を選択して、その色再現範囲に対応する色温度に応じたホワイトバランス補正を行うことによって、ホワイトバランス補正の精度を向上させることができる。

また、本発明の画像処理装置において、上記記憶部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットを、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶するものであることが好ましい。

例えば、露光条件などといった画像取得条件の違いによって、同じ色温度の光源下であっても色再現範囲が異なることがある。したがって、予め、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットを、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶しておくことによって、さらに精度よくホワイトバランス補正を行うことができる。

また、本発明の画像処理装置において、上記解析部は、画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることが好適である。

色に関する複数の性質を階層的に解析することによって、効率よく解析を行うことができる。

また、上記目的を達成する本発明の画像処理プログラムは、コンピュータ内で実行され、そのコンピュータを、
被写体の画像が入力される画像入力部と、
画像入力部で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、上記色分布に近似した色再現範囲を選択する色再現範囲選択部と、
色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えた画像処理装置として動作させることを特徴とする。

また、本発明の画像処理プログラムにおいて、上記色再現範囲選択部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットが、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶された色再現範囲のうち、上記色分布に近似した色再現範囲を選択するものであることが好ましい。

さらに、本発明の画像処理プログラムにおいて、上記解析部は、画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることも好適である。

ここで、上記本発明の画像処理装置と、上記画像処理プログラムとでは、それらを構成する構成要素名として、解析部などといった互いに同一の名称を付しているが、画像処理プログラムの場合は、そのような作用をなすソフトウェアを指し、画像処理装置の場合は、ハードウェアを含んだものを指している。

さらに、本発明の画像処理プログラムを構成する解析部などといった構成要素は、１つの構成要素の機能が１つのプログラム部品によって担われるものであってもよく、１つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が１つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。

また、上記目的を達成する本発明の記録媒体は、コンピュータ内で実行され、そのコンピュータを、
被写体の画像が入力される画像入力部と、
画像入力部で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、上記色分布に近似した色再現範囲を選択する色再現範囲選択部と、
色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えた画像処理装置として動作させる画像処理プログラムが記録されてなることを特徴とする。

また、本発明の記録媒体において、上記の色再現範囲選択部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットが、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶された色再現範囲のうち、上記色分布に近似した色再現範囲を選択するものであることが好ましい。

さらに、本発明の記録媒体において、上記解析部は、画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることも好適である。

この記録媒体は、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯなどといった大容量の記録媒体のほか、ハードディスクなどであってもよい。

さらに、上記目的を達成する本発明の画像処理方法は、被写体の画像が入力される画像入力過程と、
画像入力過程で入力された画像について、色に関する所定の性質を解析して、画像を、ホワイトバランスの補正が必要か否かに分類する解析過程と、
解析過程でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、上記色分布に近似した色再現範囲を選択する色再現範囲選択過程と、
色再現範囲選択過程で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理過程とを有することを特徴とする。

このような画像処理方法を適用することによって、精度の高いホワイトバランス補正を行うことができる。

本発明によれば、補正精度の高いホワイトバランス補正を行うことができる画像処理装置、画像処理プログラム、画像処理方法、および画像処理プログラムが記録された記録媒体を提供することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の画像処理装置の一実施形態が適用された、デジタル画像データに基づいて画像を写真プリントする写真用デジタルプリンタの外観斜視図である。

写真用デジタルプリンタ１０は、写真フィルム上に記録された撮影画像を光学的に読み取って撮影画像データを得たり、あるいはデジタルカメラ等で撮影されて小型記録媒体に記録された撮影画像データを小型記録媒体から読み込んで、それらの撮影画像データに所定の補正処理を施して補正画像データを生成して、その補正画像データおよび補正画像データに基づく補正画像を、フレキシブルディスク（以下では、ＦＤと称する）などといった記録媒体や写真プリントに記録する装置である。この補正画像データなどを記録する記録媒体はＦＤには限らず、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯなどといった、近年広く用いられている大容量の記録媒体であってもよい。本実施形態においては、一般的なパーソナルコンピュータに標準的に装備されているＦＤドライブを使ってアクセスすることができるＦＤを記録媒体として適用する。

この写真用デジタルプリンタ１０は、画像入力機１００と画像出力機２００から構成されている。

画像入力機１００は、現像済み写真フィルムからその写真フィルムに記録された複数の撮影画像を光電的にコマごとに順次読み取るスキャナ部１１０と、スキャナ部１１０で読み取って得た撮影画像データに対し所定の補正処理を行う画像補正処理部１２０を備えている。画像補正処理部１２０は、ＣＲＴ表示部１３０、キーボード１４０、マウス１５０、および回路部１６０から構成されており、回路部１６０は、小型記録媒体を装填するための小型記録媒体装填口（図示しない）、ＦＤを装填するためのＦＤ装填口（図示しない）、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口（図示しない）を有している。回路部１６０は、大きくは、ＣＲＴ表示部１３０、キーボード１４０やマウス１５０とともにコンピュータシステムを構成するコンピュータ回路部、画像補正処理用のハードウェアである画像処理基板とから構成されている。画像入力機１００を構成している各部の詳細は後述する。

また、画像出力機２００は、画像入力機１００で得られた画像データに基づいて変調されたレーザ光を走査することにより印画紙に画像を露光するレーザプリンタ部２１０と、レーザプリンタ部２１０により露光された印画紙を現像してプリント写真を得るプロセッサ部２２０とから構成されている。画像出力機２００の内部構成についても後述する。

まず、画像入力機１００のスキャナ部１１０の構成と、写真フィルム上に記録された撮影画像を読み取る一連の手順について説明する。

図２は、画像入力機１００のスキャナ部１１０の構成を示す模式図である。

ここでは、現像済みの写真フィルム２０が、給送用ローラ３１や給送駆動部３２を備えたフィルムキャリア（外観は図示しない）にセットされ、給送用ローラ３１が給送駆動部３２により駆動され、写真フィルム２０が矢印Ａ方向に給送されて、写真フィルム２０に記録された撮影画像がコマごとに粗く高速に読み取られる（以下、これをプレスキャンと称する）。

このスキャナ部１１０には、例えば、ハロゲンランプ、あるいはメタルハライドランプ等からなる光源１１１が備えられており、光源１１１から発せられた光は、それぞれＣ（シアン）、Ｍ（マゼンタ）、およびＹ（イエロー）の光を透過する３枚のフィルタ１１２Ｃ，１１２Ｍ，１１２Ｙを経由し、さらに拡散ボックス１１３を経由して、写真フィルム２０を図２に示すように下側から照射する。写真フィルム２０を透過した光は、ズームレンズ１１４を経由してＣＣＤ光センサ１１５に達する。このＣＣＤ光センサ１１５のセンサ面を含む平面上には、ズームレンズ１１４の作用により、写真フィルム２０に記録された撮影画像が結像される。ＣＣＤ光センサ１１５で得られた撮影画像信号は、Ａ／Ｄ変換器１１６でデジタルの撮影画像データに変換され、後述する回路部１６０に伝達される。

３枚のフィルタ１１２Ｃ，１１２Ｍ，１１２Ｙは、それぞれの中央に、光がそのフィルタの作用を受けずに通過する開口部を有し、その開口部の周囲はそのフィルタにより作用を受けた光が透過する。フィルタ制御部１１７は各フィルタの開口部の大きさを調整し、それにより各フィルタの作用の程度を調整する。３枚のフィルタ１１２Ｃ，１１２Ｍ，１１２Ｙを通った光は拡散ボックス１１３内で拡散され、均一な光となって写真フィルム２０を照射する。

写真フィルム２０上の撮影画像はズームレンズ１１４によってＣＣＤ光センサ１１５の表面に結像されるが、このズームレンズ１１４は、ズームレンズ駆動部１１８によって駆動されてズームレンズ１１４の焦点距離が調整され、そのズームレンズ１１４の焦点距離に応じた倍率の画像がＣＣＤ光センサ１１５のセンサ面に結像される。ＣＣＤ光センサ１１５は、写真フィルム２０の幅方向に多数の受光素子が配列されたラインセンサであって、そのラインセンサが写真フィルム２０の給送方向に３列並び、それらのラインセンサの表面にはそれぞれＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）の色分解フィルタが配置され、各ラインセンサでは写真フィルム２０に記録された撮影画像のＲ，Ｇ，Ｂの各成分が読み取られる。この３本のラインセンサによる画像読取りは、写真フィルム２０がＡ方向あるいはＢ方向に給送される間繰り返し行われ、その結果、写真フィルム２０上に２次元的に広がる撮影画像がコマごとに読み取られる。

ここで、写真フィルム２０が矢印Ａ方向に給送されてＣＣＤ光センサ１１５により画像読取りが行われるプレスキャンのときは、写真フィルム２０の給送速度が速く、かつＣＣＤ光センサ１１５を構成するラインセンサでは飛び飛びに間引かれた受光素子でのみ画像読み取りが行われ、その結果粗い画像が得られる。

このプレスキャンの時には、３枚のフィルタ１１２Ｃ，１１２Ｍ，１１２Ｙは予め定められた寸法の開口となるように制御される。そのプレスキャンの後、読み取られた撮影画像、および予め用意されている条件指定画面が図１に示すＣＲＴ表示部１３０に表示される。オペレータは、ＣＲＴ表示部１３０に表示された撮影画像および条件指定画面を確認して、プリントサイズや画像濃度およびＣＭＹ各色の濃度などの画像取得条件を指定する。画像取得条件が指定されると、３枚のフィルタ１１２Ｃ，１１２Ｍ，１１２Ｙは、指定された画像取得条件にあうように調整され、さらに、必要に応じてズームレンズ１１４は指定されたプリントサイズに応じた焦点距離に調整される。さらに写真フィルム２０は矢印Ｂ方向に給送されて、ＣＣＤ光センサ１１５では、指定されたプリントサイズに応じた間引き方で（あるいは間引かずに）撮影画像が読み取られる（以下、これをファインスキャンと称する）。ＣＣＤ光センサ１１５で得られた撮影画像信号は、前述したとおり、Ａ／Ｄ変換器１１６でデジタルの撮影画像データに変換されて回路部１６０に伝達される。

次に、画像入力機１００の画像補正処理部１２０を構成している回路部１６０の構成について説明する。

図３は、画像入力機１００の画像補正処理部１２０を構成している回路部１６０のブロック図である。

この回路部１６０は、大別して、コンピュータ回路部１７０と画像補正処理基板１９０とからなる。

コンピュータ回路部１７０は、各種のプログラムが実行されるＣＰＵ１７１、ＣＰＵ１７１で各種プログラムが実行される際の作業領域として使用されるＲＡＭ１７２、固定的な定数等が格納されたＲＯＭ１７３、この画像入力機１００内の各部の制御を行うための制御信号を入出力する制御インタフェース１７４、図２のスキャナ部１１０から画像が入力され、画像補正処理基板１９０に画像を出力する画像インタフェース１７５、図１に外観を示すＣＲＴ表示部１３０、キーボード１４０、マウス１５０、さらに小型記録媒体１６３をアクセスする小型記録媒体ドライブ１６２、ＦＤ１６５をアクセスするＦＤドライブ１６４、ＣＤ−ＲＯＭ１６７をアクセスするＣＤ−ＲＯＭドライブ１６６、ハードディスク１７６、図１に示す画像出力機２００との間のデータの送受信を担う外部インタフェース１７７を備えており、それらはバス１７８で相互に接続されている。

制御インタフェース１７４からは、ここに示す例では、図２に示す給送駆動部３２、フィルタ制御部１１７、ズームレンズ駆動部１１８に向けて各制御信号が送出され、給送制御部３２、フィルタ制御部１１７、ズームレンズ駆動部１１８では、各制御信号を受けて、それぞれ写真フィルム２０の給送、フィルタ１１２Ｃ，１１２Ｍ，１１２Ｙの調整、ズームレンズ１１４の焦点距離の調整（結像倍率の調整）が行われる。

また、その制御インタフェース１７４からは、ＣＣＤ光センサ１１５を制御するための制御信号や、この画像入力機１００の各部の制御を司る制御信号が出力される。

さらに、この制御インタフェース１７４からは、各種データや、オペレータによって指定された画像取得条件などが画像処理基板１９０に伝達される。

ここで、このＣＤ−ＲＯＭ１６７は本発明の記録媒体の一実施形態であり、ＣＤ−ＲＯＭ１６７には、この画像処理基板１９０を本発明の画像処理装置の一実施形態として動作させるための画像処理プログラムが記憶されており、そのＣＤ−ＲＯＭ１６７はＣＤ−ＲＯＭドライブ１６６に装填され、そのＣＤ−ＲＯＭ１６７に記憶された画像処理プログラムが、制御インタフェース１７４を介して画像処理基板１９０にアップロードされる。その結果、画像処理基板１９０は本発明の画像処理装置の一実施形態として動作する。

次に、この画像処理基板１９０内で実行される、画像処理プログラムについて説明する。

図４は、本発明の画像処理プログラムの一実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。

画像処理プログラム３００は、画像入力部３１０、画像解析部３２０、ガマット選択部３３０、および画像補正部３４０とで構成されている。ここで、画像入力部３１０は本発明の画像処理プログラムにおける画像入力部の一例に相当し、同様に、画像解析部３２０は本発明の画像処理プログラムにおける解析部の一例に相当し、ガマット選択部３３０は本発明の画像処理プログラムにおける色再現範囲選択部の一例に相当し、画像補正部３４０は、本発明の画像処理プログラムにおける補正処理部の一例に相当する。画像処理プログラム３００の各部の詳細については、図３に示す本発明の画像処理装置の一実施形態である画像処理基板１９０の各部の作用と一緒に説明する。

図３に示す画像処理基板１９０は、画像入力部１９１、画像解析部１９２、ガマット選択部１９３、および画像補正部１９４を備えている。図４に示す画像処理プログラム１６７を画像処理基板１９０にインストールすると、画像配置プログラム１６７の画像入力部３１０は図３の画像入力部１９１を構成し、同様に、画像解析部３２０は画像解析部１９２を構成し、ガマット選択部３３０はガマット選択部１９３を構成し、画像補正部３４０は画像補正部１９４を構成する。

画像入力部１９１には、スキャナ部１１０で取得された撮影画像データ、あるいは小型記録媒体１６３に記録されている撮影画像データが入力される。この画像入力部１９１は本発明の画像処理装置における画像入力部の一例に相当する。

画像解析部１９２は、画像入力部１９１で入力された撮影画像データが表わす撮影画像の色の性質を解析する。画像解析部１９２は本発明の画像処理装置における解析部の一例にあたる。

ガマット選択部１９３は、撮影画像中の色分布を解析して、ハードディスク１７６に予め記憶されている複数の色再現範囲（以下では、この色再現範囲をガマットと称する）の中からその色分布に適したガマットを選択する。ガマット選択部１９３は本発明の画像処理装置における色再現範囲選択部の一例にあたり、ハードディスク１７６は本発明の画像処理装置における記憶部の一例に相当する。

画像補正部１９４は、選択されたガマットに対応する色温度に応じたホワイトバランス補正を撮影画像に施す。この画像補正部１９４は本発明の画像処理装置における補正処理部の一例に相当する。補正処理が施された補正画像は、ＦＤ１６５あるいは図１の画像出力機２００に送られて写真に記録される。画像処理基板１９０で行われる処理については後で詳しく説明する。

画像入力機１００は、基本的には以上のように構成されている。

ここで、図１に示す画像入力機１００において写真フィルム上に記録された撮影画像を読み取る場合、スキャナ部１１０でプレスキャンが行われると、そのプレスキャンにより得られた撮影画像は、画像インタフェース１７５を経由して回路部１６０のコンピュータ回路部１７０（図３参照）に入力され、ＣＲＴ表示部１３０に表示される。オペレータによって画像取得条件が指定されると、その指定結果に応じた画像取得条件を表す情報が画像処理基板１９０（図３参照）に伝達される。さらに、スキャナ部１１０ではファインスキャンが行われ、それにより得られた撮影画像は今度は画像処理基板１９０に入力されて各種の補正処理が行われる。その補正処理後の補正画像は、画像出力機２００に伝達されて、レーザ光による露光の際にレーザ光変調用の信号として用いられる。

また、写真フィルムに記録された撮影画像をスキャナ部１１０で読み取るのではなく、デジタルカメラなどで撮影された撮影画像が記録された図３に示す小型記録媒体１６３から撮影画像が入力される場合は、撮影画像データが小型記録媒体ドライブ１６２を経由してコンピュータ回路部１７０に入力されて、撮影画像が図１に示すＣＲＴ表示部１３０に表示される。また、撮影画像データは画像インタフェース１７５を経由して画像処理基板１９０にも送られて、写真フィルムから撮影画像を読み取る場合と同様に、オペレータによってプリント倍率などの画像取得条件が指定されると、その指定結果に応じた画像取得条件を表す情報が画像処理基板１９０に伝達され、各種の画像補正処理が行われる。その画像補正処理後の補正画像は、画像出力機２００に伝達される。

次に、画像出力機２００の構成、および画像出力機２００に伝達された撮影画像を写真にプリントする一連の手順について説明する。

図５は、画像出力機２００の内部構造を示す模試図である。

この画像出力機２００の内部には、巻回された長尺の未露光の印画紙３０が装鎮されており、この印画紙３０はその先端から引き出されて、レーザプリンタ部２１０を経由し、さらにプロセッサ部２２０を経由し、カッタ２３０により１コマずつに切断されてソータ２４０にスタックされる。

画像入力機１００の画像処理基板１９０から出力されこの画像出力機２００に送られてきた画像は、レーザプリンタ部２１０を構成する画像バッファ２１１に一旦格納される。

また、このレーザプリンタ部２１０には、それぞれＲ，Ｇ，Ｂの各色のレーザ光を出射する３つのレーザ光源２１２Ｒ，２１２Ｇ，２１２Ｂが備えられており、それらのレーザ光源２１２Ｒ，２１２Ｇ，２１２Ｂは画像バッファ２１１に格納されたＲ，Ｇ，Ｂの各色分解画像に基づいて駆動され、これらのレーザ光源２１２Ｒ，２１２Ｇ，２１２Ｂからは、その駆動に応じて変調されたレーザ光が出射される。それらのレーザ光は、回転多面鏡２１３により繰り返し反射偏向し、ミラー２１４で反射し、さらに印画紙３０上でのスポット径を調節するためのｆθレンズ２１５を経由して、露光部Ｅｐにおいて、印画紙３０を、図５の紙面に垂直な方向に繰り返し走査する。その間印画紙３０は矢印Ｃ方向に搬送され、その印画紙３０上に画像が露光される。

この露光後の印画紙３０は、プロセッサ部２２０に搬送され、まずリザーバ部２２１で印画紙３０の搬送速度調整が行われた後、現像槽２２２で発色現像が行われ、定着槽２２３で漂白定着が行われ、さらにリンス槽２２４でリンス処理が行われ、乾燥部２２５で乾燥された後、前述したようにカッタ２３０で写真１枚ずつに切断されてソータ２４０にスタックされる。

画像入力機１００で得られた画像データは、上記のようにして画像出力機２００で写真プリントされる。

ここで、写真用デジタルプリンタ１０における本発明の画像処理装置としての特徴は、画像処理基板１９０にある。以下、画像処理基板１９０で行われる処理について説明する。

図６は、図３にも示す画像処理基板１９０の機能ブロック図であり、図７は、図６に示す画像処理基板で行われる一連の処理のフローチャートである。以下、この図６、および図７を用いて画像処理基板１９０で行われる一連の処理について詳しく説明する。

まず、図１に示す画像入力機１００のスキャナ部１１０で得られた撮影画像データ、あるいは図３に示す小型記録媒体１６３に記録された撮影画像データは、画像インタフェース１７５を経由して図６の画像入力部１９１に入力される（図７のステップＳ１）。このステップＳ１の処理は、本発明の画像処理方法における画像入力過程の一例に相当する。入力された撮影画像データは、画像解析部１９２に送られる。

画像解析部１９２は、画像入力部１９１から送られてきた撮影画像データが表わす撮影画像の色に関する各種の性質を階層的に解析する（図７のステップＳ２）。このステップＳ２の処理は、本発明の画像処理方法における解析過程の一例にあたる。

図８は、画像解析部で用いられる解析項目の例を示している。これらの解析項目のそれぞれは、画像の色に関する各所定の性質を表わしており、これらの解析項目による階層的な解析によって、撮影画像は、例えば、青空の画像などのようにホワイトバランス補正を行う必要がない画像や、タングステンランプの下で撮影された撮影画像などといったホワイトバランス補正を行うことが望ましい画像に分類される。

この例では、まず、ノード０で、撮影画像中のグレーと、予め用意されている目標のグレーとのずれが解析される。撮影画像中のグレーが目標のグレーに所定程度近い場合には、ノード１に進む。

ノード１では、撮影画像の色がＲＢ平面で規格化されるときの回帰直線の傾きが解析される。このノード１は、撮影画像の色全体の、Ｒ（レッド）あるいはＢ（ブルー）方向への偏りを解析する項目である。回帰直線の傾きが所定値以下の場合には、ノード３へ進む。

ノード３では、撮影画像中のＲ色のかたまり具合が解析される。所定程度Ｒ色がかたまっている場合には、この撮影画像はモード１に分類され、逆にＲ色が広がっている場合には、この撮影画像はモード２に分類される。

上述したノード１で、回帰直線の傾きが所定値よりも大きいと解析された場合には、ノード４に進む。ノード４では、撮影画像中の、高彩度点における平均のＲ値が解析される。このＲ値が所定程度以下である場合には、この撮影画像はモード３に分類され、Ｒ値が所定程度より大きい場合には、この撮影画像はモード４に分類される。

一方、上述したノード０で撮影画像中のグレーが目標のグレーからずれていると解析された場合には、ノード２に進む。ノード２では、撮影画像中のグレーの集中率が解析される。グレーの集中率が所定程度以下である場合には、ノード５に進む。

ノード５では、撮影画像中の色がどの色領域に存在する色であるかが判定されるとともに、その色領域に予め対応付けられた目標補正値が取得される。この目標補正値が所定値以下の場合には、この撮影画像はモード５に分類され、目標補正値が所定値よりも大きい場合には、撮影画像はモード６に分類される。

また、ノード２で、グレーの集中率が大きいと解析された場合には、ノード６に進む。ノード６では、撮影画像中の色に対して、ＲＢ平面での原点側に近い領域の画素数が解析される。画素数が所定値以下の場合には、この撮影画像はモード７に分類され、画素数が所定値よりも大きい場合には、撮影画像はモード８に分類される。ノード０からノード６までの解析項目は、本発明にいう色に関する複数の性質の一例に相当する。

以上のように分類された撮影画像のうち、モード１，モード２，モード４，およびモード６に分類された撮影画像に対しては、ホワイトバランス補正の必要なしと判定され、モード３，モード５，モード７，およびモード８に分類された撮影画像に対しては、ホワイトバランス補正の必要ありと判定される。

このように階層的に用意された解析項目によって撮影画像の色を解析することによって、効率よく撮影画像の解析を行うことができる。なお、本発明にいう解析部での解析は、例えば、露光条件がオーバー、ノーマル、アンダーそれぞれのときの撮影画像などというように、撮影画像の取得条件などをモードと対応付けて分類するような解析項目を用意するものであってもよい。

図６に示す画像解析部１９２で、ホワイトバランス補正の必要なしと判定された各画像（モード１，２，４，６の画像）は、ガマット選択部１９３や画像補正部１９４には送られずに、図３に示すＦＤ１６５あるいは図１の画像出力機２００に送られる（図７のフローチャートでは、ステップＳ３から、ステップＳ４，Ｓ５，Ｓ６を省いてフローチャートの終わりまで進む）。ホワイトバランス補正が必要ないと判定された撮影画像については、ホワイトバランス補正を省くことによって、誤補正などといった不具合を未然に防止することができる。

また、画像解析部１９２で、ホワイトバランスの必要ありと判定された撮影画像（モード３，５，７，８の撮影画像）は、ガマット選択部１９３に送られる（図７のフローチャートでは、ステップＳ３からステップＳ４に進む）。

ここで、図６に示す記憶部１９５は、図３に示すハードディスク１７６がその役割を担うものである。この記憶部１９５には、予め、被写体を照明する光源における複数の色温度それぞれに対応する複数のガマット（色再現範囲）のセットが、撮影画像を取得する際の取得条件ごとに複数セット記憶されている。

図９は、記憶部に記憶されているガマットのセットの例を示している。

図９のパート（Ａ）には、撮影画像を取得する際の露光条件がアンダーであるときの、光源における複数の色温度それぞれに対応した複数のガマット（Ａ＿１〜Ａ＿８）が示されている。この例では、Ａ＿１は３０００Ｋ、Ａ＿２は３３９０Ｋ、Ａ＿３は３７８０Ｋ、Ａ４は４３４０Ｋ、Ａ５は５２７０Ｋ、Ａ６は６７３０Ｋ、Ａ７は８８１０Ｋ、Ａ８は１０７００Ｋの色温度に対応している。このように、光源の色温度ごとに、対応するガマット（Ａ＿１〜Ａ＿８）はそれぞれ相違している。また、パート（Ｂ）は、露光条件がノーマルであるときの、光源における複数の色温度それぞれに対応した複数のガマット（Ｂ＿１〜Ｂ＿８）が示されている。露光条件がノーマルである場合は、露光条件がアンダーである場合よりも、ガマットが若干広くなっている。パート（Ｃ）には、露光条件がオーバーであるときの、光源における複数の色温度それぞれに対応した複数のガマット（Ｃ＿１〜Ｃ＿８）が示されている。露光条件がオーバーである場合には、各色温度に対応するガマットの差が全体的に小さくなっている。このように、光源の色温度が同じであっても、露光条件などといった画像の取得条件によってもガマットが異なる。図９に示す各種ガマットは、本発明にいう色再現範囲の一例にあたり、パート（Ａ）、パート（Ｂ）、およびパート（Ｃ）それぞれに示されたガマットのセットは、本発明にいうセットの一例に相当する。

ここで、この例では、色温度の単位としてケルビン（Ｋ）を用いたが、例えば、ミレッド（ｍｉｒｅｄ）などの単位を用いるものであってもよい。また、ガマットセットを分類する画像取得条件は、メーカーごとのネガ種や、同一メーカーにおけるフィルム種の違いや、デジタルカメラおよび銀塩カメラなどにおけるカメラの機種の違いなどを適用するものであってもよい。

図６に示すガマット選択部１９３は、図９に示す、記憶部１９５に記憶された各種ガマットから、画像解析部１９２から送られてきた撮影画像に適したガマットを選択する（図７のステップＳ４）。このステップＳ４の処理は、本発明の画像処理方法における色再現範囲選択過程の一例に相当する。撮影画像に適したガマットを選択する際には、まず、その撮影画像の色度分布が解析される。この色度分布の解析は、従来から広く行われているものであり、この明細書では説明を省略する。

図１０は、撮影画像の色度分布の例を示している。

図１０のパート（Ａ）は、室内で撮影された撮影画像の色度分布の例を示しており、パート（Ｂ）は、室外で撮影された撮影画像の色度分布の例を示している。図６に示すガマット選択部１９３は、送られてきた撮影画像を解析して、図１０に示すような色度分布を得る。さらに、ガマット選択部１９３は、図９に示す各種ガマットから、この色度分布に最も合致するガマットを選択する。以下では、ガマットを選択する大まかな処理の流れについて説明する。ここで、図６に示す記憶部１９５には、図９に示す各ガマットのＲＢ平面を１００＊１００の領域に分割するときに、それら各領域がガマット内の領域ならば１、ガマット外の領域ならば０となる一連のデータＲＢ＿ｇｍｔ[ｘ][ｙ]（０≦ｘ≦１００，０≦ｙ≦１００）が、各種ガマットごとに記憶されている。

まず、撮影画像を構成する画素ごとに、輝度値Ｉ_iを算出する。

Ｉ_i＝（Ｒ_i ²＋Ｇ_i ²＋Ｂ_i ²）^1/2 …（１）
続いて、算出した輝度値Ｉ_iの最大輝度値Ｉ_maxを取得し、その最大輝度値Ｉ_maxで規格化を行う（０≦ｋ≦１）。

（Ｒ，Ｇ，Ｂ）＝（ｋＲ／Ｉ_max，ｋＧ／Ｉ_max，ｋＢ／Ｉ_max） …（２）
さらに、規格化したＲＢ平面を１００＊１００の領域に分割するときに、値を持つ領域ならば１、値を持たない領域ならば０となる一連のデータＲＢ＿ｉｍｇ[ｘ][ｙ]（０≦ｘ≦１００，０≦ｙ≦１００）を作成する。

このＲＢ＿ｉｍｇ[ｘ][ｙ]と、予め記憶部１９５に記憶されているＲＢ＿ｇｍｔ[ｘ][ｙ]とを比較して、ＲＢ＿ｉｍｇ[ｘ][ｙ]＝ＲＢ＿ｇｍｔ[ｘ][ｙ]＝１のとき１、それ以外のときには０となる一連のデータＲＢ＿ｃｏｍ[ｘ][ｙ]を作成する。

作成されたＲＢ＿ｃｏｍ[ｘ][ｙ]を使って、相関値を算出する。

相関値＝ΣＲＢ＿ｃｏｍ／（ΣＲＢ＿ｉｍｇ＊ΣＲＢ＿ｇｍｔ）^1/2 …（３）
この相関値の算出を、（２）式のｋの値をｋ＝１．０，０．９，…０．１と変化させながら、図９に示す各ガマットそれぞれに対して行い、相関値が最大となるときのガマットを選択する。

ホワイトバランス補正が必要な撮影画像と、以上のような一連の計算によって選択されたガマットは、図６に示すガマット選択部１９３から画像補正部１９４に伝えられる。

画像補正部１９４では、ガマット選択部１９３から送られてきたガマットに対応する色温度が取得される（図７のステップＳ５）。色温度が取得されると、その色温度に応じたホワイトバランス補正を撮影画像に施す（図７のステップＳ６）。このステップＳ５の処理は、本発明の画像処理方法における補正処理過程の一例に相当する。

ここで、ガマットを選択する際に、撮影画像データに含まれる、例えば、閃光の有無や、接写などというズーム情報、撮影場所の情報などといった撮影条件の情報を加味してもよい。

また、複数の画像に対してガマットを選択する場合、それらの画像が類似しているのにも関わらず、異なるガマットを選択してしまう場合がある。そこで、複数のガマットを選択して、それらを利用して色温度を推定してもよい。このように色温度を推定することによって、画像ごとのホワイトバランス補正のばらつきを抑えることができる。

また、所定の色温度を有する光源下で撮影された撮影画像を複数用意し、それらの色度分布の統計を予め記憶しておくことが好ましい。上記のような一連の処理によって取得された撮影画像の色温度や色度分布と、記憶されている統計とを比較することによって、さらにホワイトバランスの補正精度を向上させることができる。

ホワイトバランス補正が施された補正後の撮影画像は、図３に示すＦＤ１６５や図１の画像出力機２００に送られる。

このように、ホワイトバランス補正が必要であると判定された撮影画像については、その色度分布を解析して、色度分布に適したガマットを選択してから、そのガマットに対応する色温度に応じたホワイトバランス補正を行うことによって、光源の色温度に関する高精度の補正を行うことができる。また、上述した複数セットのガマットを用意することによって、光源の色温度だけではなく、撮影画像の取得条件による色度分布の違いまでも考慮した、精度のよい補正を行うことができる。

ここで、上記では、被写体を照明する光源における複数の色温度それぞれに対応するガマットのセットが、撮影画像を取得する際の取得条件ごとに複数セット記憶された記憶部を備えた画像処理装置について説明したが、本発明にいう記憶部は、被写体を照明する光源における複数の色温度それぞれに対応するガマットを１セットのみ記憶するものであってもよい。

また、上記では、デジタルカメラや銀塩カメラで撮影された撮影画像に対してホワイトバランス補正を行う画像処理装置の例について説明したが、本発明にいう画像処理装置は、例えば、ビデオカメラで撮影された撮影画像などに対してホワイトバランスの補正を行うものであってもよい。

また、上記では、記憶部に記憶された全てのガマットのうち、撮影画像の色度分布に近似したガマットを選択する例について説明したが、本発明にいう画像処理装置は、例えば、解析部で画像の取得条件を解析しておき、色再現範囲選択部では、その解析結果に適合する色再現範囲のセットに含まれる色再現範囲のうち、画像の色度分布に近似したものを選択するものであってもよい。

本発明の画像処理装置の一実施形態が適用された写真用デジタルプリンタの外観斜視図である。 画像入力機のスキャナ部の構成を示す模式図である。 画像入力機の画像補正処理部を構成している回路部のブロック図である。 本発明の画像処理プログラムの一実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。 画像出力機の内部構造を示す模試図である。 画像処理基板の機能ブロック図である。 図５に示す画像処理基板で行われる一連の処理のフローチャートである。 画像解析部で用いられる解析項目の例を示している。 記憶部に記憶されているガマットのセットの例を示している。 撮影画像の色度分布の例を示している。

符号の説明

１０ 写真用デジタルプリンタ
２０ 写真フィルム
３１ 給送用ローラ
３２ 給送駆動部
１００ 画像入力機
１１０ スキャナ部
１１１ 光源
１１２ フィルタ
１１３ 拡散ボックス
１１４ ズームレンズ
１１５ ＣＣＤ光センサ
１１６ Ａ／Ｄ変換器
１１７ フィルタ制御部
１１８ ズームレンズ駆動部
１２０ 画像補正処理部
１３０ ＣＲＴ表示部
１４０ キーボード
１５０ マウス
１６０ 回路部
１６２ 小型記録媒体ドライブ
１６３ 小型記録媒体
１６４ ＦＤドライブ
１６５ ＦＤ
１６６ ＣＤ−ＲＯＭドライブ
１６７ ＣＤ−ＲＯＭ
１７０ コンピュータ回路部
１７１ ＣＰＵ
１７２ ＲＡＭ
１７３ ＲＯＭ
１７４ 制御インタフェース
１７５ 画像インタフェース
１７６ ハードディスク
１７７ 外部インタフェース
１７８ バス
１９０ 画像処理基板
１９１ 画像入力部
１９２ 画像解析部
１９３ ガマット選択部
１９４ 画像補正部
１９５ 記憶部
２１０ レーザプリンタ部
２２０ プロセッサ部
２２１ リザーバ部
２２２ 現像槽
２２３ 定着槽
２２４ リンス槽
２２５ 乾燥槽
２３０ カッタ
２４０ ソータ
３００ 画像処理プログラム
３１０ 画像入力部
３２０ 画像解析部
３３０ ガマット選択部
３４０ 画像補正部

Claims (10)

1. 被写体の画像が入力される画像入力部と、
   複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲を記憶する記憶部と、
   前記画像入力部で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
   前記解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、前記記憶部に記憶されている色再現範囲のうち、該色分布に近似した色再現範囲を選択する色再現範囲選択部と、
   前記色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えたことを特徴とする画像処理装置。
2. 前記記憶部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットを、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶するものであることを特徴とする請求項１記載の画像処理装置。
3. 前記解析部は、前記画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることを特徴とする請求項１記載の画像処理装置。
4. コンピュータ内で実行され、該コンピュータを、
   被写体の画像が入力される画像入力部と、
   前記画像入力部で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
   前記解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、該色分布に近似した色再現範囲を選択する色再現範囲選択部と、
   前記色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えた画像処理装置として動作させることを特徴とする画像処理プログラム。
5. 前記色再現範囲選択部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットが、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶された色再現範囲のうち、前記色分布に近似した色再現範囲を選択するものであることを特徴とする請求項４記載の画像処理プログラム。
6. 前記解析部は、前記画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることを特徴とする請求項４記載の画像処理プログラム。
7. コンピュータ内で実行され、該コンピュータを、
   被写体の画像が入力される画像入力部と、
   前記画像入力部で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析部と、
   前記解析部でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、該色分布に近似した色再現範囲を選択する色再現範囲選択部と、
   前記色再現範囲選択部で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理部とを備えた画像処理装置として動作させる画像処理プログラムが記録されてなることを特徴とする記録媒体。
8. 前記色再現範囲選択部は、光源における複数の色温度それぞれに対応する複数の色再現範囲からなるセットが、相互に異なる複数の画像取得条件それぞれに相応して複数セット記憶された色再現範囲のうち、前記色分布に近似した色再現範囲を選択するものであることを特徴とする請求項７記載の記録媒体。
9. 前記解析部は、前記画像入力部で入力された画像について、色に関する複数の性質を階層的に解析するものであることを特徴とする請求項７記載の記録媒体。
10. 被写体の画像が入力される画像入力過程と、
    前記画像入力過程で入力された画像について、色に関する所定の性質を解析して、該画像を、ホワイトバランスの補正が必要か否かに分類する解析過程と、
    前記解析過程でホワイトバランスの補正が必要と分類された画像中の色分布を解析し、予め記憶された、複数の色温度それぞれを有する複数の光源それぞれの下で被写体から得られる各画像の各色再現範囲のうち、該色分布に近似した色再現範囲を選択する色再現範囲選択過程と、
    前記色再現範囲選択過程で選択された色再現範囲に対応する色温度に応じたホワイトバランスの補正を行う補正処理過程とを有することを特徴とする画像処理方法。

Images