JP2007189339A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】特殊な撮影環境で撮影した撮影画像に対しても適切に色補正を行う。
【解決手段】画像処理装置のデータストレージデバイスには、参照データ格納領域２３ａが設けられている。この中には、撮影画像に対して色補正を行う際の撮影環境データが格納される。撮影環境データ（サンプル画像）は、主要被写体の背景となる背景紙の色やパターンに応じて複数用意されている。画像処理装置は、撮影画像に使用される背景に対応するサンプル画像を参照データ格納領域２３ａから読み出し、読み出したサンプル画像と撮影画像とを比較して、補正条件を決定する。そして、決定した補正条件で色補正処理が実行される。
【選択図】図３

Description

本発明は、撮影画像に対して色補正を行う画像処理装置，方法及びプログラムに関する。

写真スタジオでは、主要被写体となる人の背景に真っ赤な背景色や花柄模様の背景紙を配するなど、自然な撮影環境とは異なる特殊な撮影環境の下で撮影される場合が多い。こうした特殊な撮影環境では、撮影画像の色補正処理にも高度な技術が必要になる。というのは、撮影画像の色補正は全画素の平均値がグレーとなるように補正するのが基本的な手法であるが、特殊な背景を使用して撮影された撮影画像に対して、こうした基本的な手法を用いると、人の肌色や背景の再現性が悪化するケースが多い。例えば、真っ赤な背景で撮影した撮影画像に対して、全画素の平均値がグレーに近づくように色補正すると、肌色が青みがかったり、背景色も実際の色と乖離してしまう。

近年では、写真スタジオにおいても、撮影画像をデジタルな画像データで記録するデジタルカメラが使用されるようになってきており、そのようなデジタルな画像データに対して画像処理を施す画像処理装置も知られている（下記特許文献１参照）。このような画像処理装置では、例えば、色補正を行う際には、取得した画像データを解析して、その解析結果に基づいて肌色や背景色の色補正が行われる。
特開平１１−１９１８７１号公報

しかしながら、画像データを解析してその解析結果を利用するだけでは、上述したような特殊な撮影環境で撮影した撮影画像に対して、適切な色補正をすることが難しいという問題があった。

本発明は、特殊な撮影環境で撮影した撮影画像に対しても適切な色補正が行える画像処理装置を提供することを目的とする。

本発明の画像処理装置は、デジタルデータで記録された撮影画像に対して色補正する画像処理装置において、異なる撮影環境に応じた複数種類の撮影環境データを予め記憶する撮影環境データ記憶部と、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出して、その撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正する色補正部とを備えたことを特徴とする。

前記各撮影環境データには、前記撮影画像の主要被写体の背景に使用される色やパターンが含まれることが好ましい。

前記色補正部は、前記主要被写体が人である場合にはその肌色と背景色を色補正することが好ましい。

前記撮影環境データは、例えば、異なる複数の撮影環境で前記主要被写体を撮影した場合の見本となる肌色を示す複数のサンプル画像の形態、又は、異なる複数の撮影環境で主要被写体を撮影した場合の肌色の色補正量を表す複数の補正量データの形態で記憶される。

前記撮影環境データ記憶部内を検索して、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出す撮影環境データ検索手段を設けることが好ましい。

前記撮影環境データには、それぞれＩＤが与えられており、前記撮影環境データ検索手段は、そのＩＤに基づいて、前記撮影画像で使用した撮影環境に対応する撮影環境データを検索することが好ましい。

前記撮影環境データ検索手段は、前記撮影画像を解析して、その解析結果に基づいて、前記撮影画像で使用した撮影環境に対応する撮影環境データを検索することが好ましい。

前記撮影環境データには、背景の色やパターンに応じた補正に用いられる背景補正用撮影環境データに加えて、照明状態に応じた補正に用いられる照明補正用撮影環境データが含まれており、色補正部は、両データを用いて色補正を行うことが好ましい。

前記色補正部によって決定された補正条件を手動で調整する補正条件調整部を設けることが好ましい。

本発明の画像処理方法は、デジタルデータで記録された撮影画像に対して色補正する画像処理方法において、異なる撮影環境に応じた複数種類の撮影環境データを予め記憶し、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出して、読み出した撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正することを特徴とする。

本発明の画像処理プログラムは、デジタルデータで記録された撮影画像に対して色補正する画像処理機能をコンピュータに実行させる画像処理プログラムにおいて、異なる撮影環境に応じた複数種類の撮影環境データを格納した記憶部から、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出すデータ読み出しステップと、読み出した撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正する色補正ステップとを含むことを特徴とする。

本発明は、デジタルデータで記録された撮影画像に対して色補正する画像処理方法において、異なる撮影環境に応じた複数種類の撮影環境データを予め記憶し、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出して、読み出した撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正するようにしたから、撮影画像を解析してその画像解析結果に基づいて色補正する従来の方法と比較して、特殊な撮影環境で撮影した撮影画像に対しても適切な色補正ができる。

図１に示す画像処理装置１０は、婚礼や七五三などの記念撮影や商品撮影を専門に取り扱う写真スタジオ１１に設置される。画像処理装置１０は、デジタルカメラ１２で撮影して得られた撮影画像の画像データを取り込み、取り込んだ画像データに対して種々の画像処理を施して、プリント用画像データを生成する。このプリント用データは、例えば、業務用プリンタ１４を持つプリントラボ１３に送られる。業務用プリンタ１４は、プリント用データに基づいて撮影画像を印画紙にプリントして写真プリント１６を出力する。この写真プリントが顧客に提供される。

写真スタジオ１１には、主要被写体１７を演出するための道具として、主要被写体１７の背景に使用される背景紙１８や、主要被写体１７を照らす照明１９が備え付けられている。背景紙１８には、白、灰色、赤、緑、青などの様々な色や、花柄模様など様々なパターンがある。

デジタルカメラ１２は、ＣＣＤイメージセンサなどの撮像素子から出力されたアナログの撮像信号をデジタルデータに変換してメモリカードなどの記憶メディアに記録して保存する。このデジタルカメラ１２は、撮影画像のデータの保存形式として、デジタルデータに変換されたＲ，Ｇ，Ｂの画像データに対して、デジタルカメラ１２内の画像処理プロセッサでデジタル現像処理を施すとともにデータ圧縮処理を施して保存する形式（例えば、ＥＸＩＦ形式）の他に、撮像信号に対して画像処理を施さずに生の画像データとして保存する形式（以下、ＲＡＷ形式という）の２つの保存形式の選択が可能である。ここで、デジタル現像処理とは、生の画像データ（以下、ＲＡＷデータという）に対して、色変換処理、ホワイトバランス処理、露出処理などの各種の画像処理を施して現像する処理をいう。

ＲＡＷ形式は、デジタルカメラ１２固有のデジタル現像処理が施されないため、仕上げの自由度が高く、プロ用として用いられる場合が多い。画像処理装置１０は、こうしたＲＡＷデータにも対応しており、ＲＡＷデータに対してデジタル現像処理を実行する機能を備えている。

図２に示すように、画像処理装置１０は、システムコントローラ２１，画像処理部２２，データストレージデバイス２３，コンソール２４，カードリーダ２６，通信Ｉ／Ｆ２７からなる。コンソール２４は、ディスプレイ２９と、操作部３０とからなる。システムコントローラ２１は、ＣＰＵ，ＲＯＭ，ＲＡＭなどから構成されており、操作部３０からの指示に基づいて、画像処理装置１０の各部を統括的に制御する。

操作部３０は、マウスやキーボードなどからなり、システムコントローラ２１に対して操作コマンドを入力する入力デバイスである。ディスプレイ２９は、操作画面や取り込まれた撮影画像を表示する。コンソール２４を通じて、画像処理装置１０が実行する画像処理の処理条件をマニュアルで入力することも可能である。

データストレージデバイス２３は、ＣＰＵが実行する画像処理プログラムを記憶する他、画像処理の際に画像処理部２２が参照する参照データを記憶する。データストレージデバイス２３には、この参照データを格納する参照データ格納領域２３ａが設けられている。また、データストレージデバイス２３には、取り込んだ撮影画像データが格納される。カードリーダ２６は、メモリーカードにアクセスして保存された画像データの読み取りを行う。通信Ｉ／Ｆ２７は、通信ケーブルを介して、デジタルカメラ１２からの画像データの取り込みや、業務用プリンタ１４へのデータ送信をする際に使用される。

画像処理部２２は、取り込んだ画像データに対して、色補正処理を含む画質補正処理を実行するとともに、補正済みの画像データに基づいてプリント用画像データを生成する。画像処理部２２は、色補正処理を実行する際に、参照データ格納領域２３ａ内の撮影環境データを使用する。上述したとおり、写真スタジオ１１では、背景紙１８の色やパターンは、特殊なものが使用されるので、基本的な手法に則った色補正処理を実行すると、実物と写真との色が乖離するなど適切な補正結果が得られないケースが多い。撮影環境データは、背景の色やパターン毎に予め作成されたサンプル画像データであり、画像処理部２２は、撮影画像が撮影された撮影環境に応じて、それに対応するサンプル画像データを参照して、それに基づいて補正条件を決定して、その補正条件に基づいて色補正処理を実行する。

図３に示すように、サンプル画像３１は、写真スタジオ１１で使用される背景紙１８の種類毎に、予めモデルを主要被写体として撮影した画像である。参照データ格納領域２３ａには、背景色やパターン毎に作成された複数種類のサンプル画像３１が格納されている。各サンプル画像３１の人の肌色や背景色は、撮影画像の色補正の目標となるように背景紙１８の種類毎に色補正が行われている。例えば、背景色が赤のサンプル画像３１の場合には、人の肌色が青みがかることがないように、適正な肌色に仕上げられている。

各サンプル画像３１には、それぞれＩＤ（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６・・・・・）が与えられている。このサンプル画像ＩＤは、参照データ格納領域２３ａ内の複数のサンプル画像の中から、撮影画像に使用した背景紙１８と同色のサンプル画像を検索して特定するために使用される。オペレータは、コンソール２４を通じて、撮影画像に使用した背景紙１８の種類に応じた背景ＩＤを画像処理装置１０に入力する。システムコントローラ２１は、入力された背景ＩＤに基づいて、参照データ格納領域２３ａ内を検索して、入力された背景ＩＤに対応するサンプル画像３１を特定する。このサンプル画像３１が画像処理部２２に送られる。

画像処理部２２は、サンプル画像３１と撮影画像をそれぞれ画像解析して、それぞれの主要被写体の肌色部分と背景部分とを抽出する。背景の抽出方法としては、例えば、撮影画像内の濃度変化が少ない部分などを調べて抽出する。そして、抽出されたそれぞれの肌色部分及び背景部分を照合して、撮影画像の色がサンプル画像３１の色に近づくように補正条件を決定する。こうして決定された補正条件に基づいて撮影画像のデータに対して色補正処理を実行する。これにより背景の色やパターンに応じた適切な色補正がなされる。補正条件を決定するアルゴリズムとしては、肌色再現を重視するアルゴリズムや背景色の再現を重視するアルゴリズムなど様々なものが考えられるが、これらはユーザーの好みなどを考慮して適宜決められる。

ディスプレイ２９には、色補正された撮影画像が表示される。オペレータは、ディスプレイ２９で補正された撮影画像を確認しながら、操作部３０を通じて補正条件を調整して最終的な補正条件を決定する。主要被写体の肌色や衣装は個々に異なるため、それに応じた補正量も微妙に変化する。こうしたマニュアルによる調整によって、個々の撮影画像に適した色補正がなされる。

上記構成による作用について、図４に示すフローチャートを参照しながら説明する。写真スタジオ１１においてデジタルカメラ１２によって撮影した撮影画像データは、カードリーダ２６や通信Ｉ／Ｆ２７を介して画像処理装置１０に取り込まれる。オペレータは、撮影画像データの取り込みとともに、撮影で使用された背景ＩＤを操作部３０から入力して指定する。

システムコントローラ２１は、入力された背景ＩＤと、参照データ格納領域２３ａ内の各サンプル画像３１のサンプル画像ＩＤとを照合して、背景ＩＤに対応するサンプル画像３１を特定する。画像処理部２２は、このサンプル画像３１と撮影画像とを照合して、撮影画像の主要被写体の肌色部分と背景部分の色がサンプル画像３１の色に近づくように補正条件を決定して、撮影画像データに対する色補正処理を実行する。さらに、マニュアルで補正条件を調整する場合には、調整された補正条件で色補正処理を再度実行する。色補正された撮影画像データは、プリントラボ１３に送られてプリントされ、完成した写真プリント１６が顧客に提供される。

上記実施形態では、参照データ格納領域内の複数のサンプル画像の中から、撮影に使用した背景紙１８と対応するサンプル画像３１を検索するために、背景ＩＤを入力して、その背景ＩＤとサンプル画像ＩＤとを照合する例で説明したが、図５に示すように、画像解析によって、撮影画像と同種の背景に対応するサンプル画像３１を検索するようにしてもよい。

この場合には、画像処理部２２が、取り込んだ撮影画像データを画像解析して、その背景部分を抽出して、その背景の色やパターンを特定する。そして、この画像解析結果に基づいて、撮影画像の背景に対応する背景を持つサンプル画像を検索して、そのサンプル画像を参照データ格納領域２３ａから読み出す。これ以後の手順は、上記実施形態と同様である。

また、ＩＤや画像解析によらず、複数種類のサンプル画像が配列されたサンプル画像選択画面をコンソールに表示して、それらの中からサンプル画像を選択して指定できるようにしてもよい。

また、上記実施形態では、参照データをサンプル画像の形態で用意しておく例で説明したが、サンプル画像の形態でなくてもよく、図６に示すように、補正量の形態で用意しておいてもよい。この補正量は、背景の種類毎に用意されており、それぞれの補正量には、撮影画像の肌色部分及び背景部分の補正量が含まれている。例えば、背景が赤の場合の補正量には、撮影画像の肌色部分と背景部分に対する補正量が含まれており、赤い背景紙１８を使用して撮影された撮影画像データに対しては、この補正量に基づいて補正条件が決定される。それぞれの補正量には検索用のＩＤが与えられており、このＩＤと指定された背景ＩＤとを照合して、撮影画像に使用された背景と同種の補正量が特定される。この補正量に応じて撮影画像の補正条件が決定されて、色補正がなされる。

なお、検索用のＩＤを用いずに、上述したように、撮影画像を画像解析して背景の種類を調べて、その解析結果に基づいて、撮影に使用した背景に対応する補正量を特定するようにしてもよい。

また、上記実施形態では、撮影環境の要素として背景のみを考慮して色補正をする例で説明したが、撮影環境の要素として、背景の他に、さらに撮影時の照明状態を考慮して色補正をしてもよい。写真スタジオ１１の照明状態は、光源の種類や、同一光源の場合でも経時劣化によって変化する。こうした照明状態が撮影画像の肌色や背景色の色味に与える影響は大きい。

そこで、図７に示すように、撮影環境データとして、上記実施形態で示した、背景の種類に応じた補正を行うための背景補正用撮影環境データであるサンプル画像３１とは別に、照明補正用の撮影環境データである照明補正用サンプル画像４１を用意して、両者を用いて色補正を行ってもよいサンプル画像３１は、照明補正用サンプル画像４１は、背景色及び照明に標準的なものを使用してモデルとなる人を撮影したサンプル画像であり、背景色としては、例えば、灰色（グレー）の背景紙１８が用いられる。なお、グレーの背景紙１８を用いる代わりに、モデルにグレー板などの色補正の基準となるチャート板を持たせて、モデルの顔付近に基準チャート板を配置して撮影してもよい。

この照明補正用サンプル画像４１は、定期的に撮影し直されて、写真スタジオ１１の現在の照明状態が反映されるように更新されている。サンプル画像３１は、背景毎に用意されているが、それらの照明状態は、写真スタジオ１１の現在の照明状態とは異なる。そこで、照明補正用サンプル画像４１と、サンプル画像３１とを用いることで、現在の照明状態と背景に応じた適切な色補正を行うことができる。

図８は、照明補正用サンプル画像４１とサンプル画像３１とを用いた補正手順を示すフローチャートを示す。撮影画像の取り込みと、背景ＩＤの指定を終了した後、照明補正用サンプル画像４１と、この照明補正用サンプル画像４１と同色の背景色（グレー）のサンプル画像３１とが参照データ格納領域２３ａから読み出される。画像処理部２２は、これらの肌色部分と背景部分とを照合して照明補正量を算出する。この後、上記実施形態と同様に、撮影画像と、背景ＩＤに対応したサンプル画像３１とを照合して、肌色部分と背景部分との補正量を算出する。画像処理部２２は、この補正量と、前記照明補正量とに基づいて補正条件を決定し、撮影画像に対して色補正処理を実行する。

オペレータは、こうして補正された撮影画像をディスプレイで見ながら、必要に応じてマニュアルで補正条件を調整する。補正条件が変更された場合には、再度色補正処理が実行される。

照明補正用サンプル画像４１の更新周期は、日、週、月毎に定期的に行ってもよいし、不定期でもよい。これらは要求される補正レベルに応じて適宜決定される。また、より正確に補正する場合には、本番撮影をする直前に、グレーの背景紙１８又はチャート板を使用するとともに、撮影に使用される照明状態にして主要被写体１７のプレ撮影を行い、このプレ撮影画像を照明補正用サンプル画像４１としてもよい。

本発明の画像処理装置は、画像処理専用の装置の形態で実現してもよいし、この画像処理機能に加えてプリント注文受付機能を付加した装置の形態で実現してもよい。また、本発明の範囲には、上記画像処理機能をコンピュータに実行させるプログラムの形態で実現する場合も含まれることはもちろんである。

写真スタジオで使用される撮影システムの概略構成図を示す。 画像処理装置の電気構成の概略を示すブロック図である。 サンプル画像の説明図である。 画像処理手順を示すフローチャートである。 画像解析によってサンプル画像を特定する場合の手順を示すフローチャートである。 撮影環境データを補正値の形態で記憶する例の説明図である。 サンプル画像と照明用サンプル画像を記憶する例の説明図である。 照明補正と背景補正の両方を行う画像処理手順を示すフローチャートである。

符号の説明

１０ 画像処理装置
１１ 写真スタジオ
１２ デジタルカメラ
１３ プリントラボ
１６ 写真プリント
２１ システムコントローラ
２２ 画像処理部
２３ データストレージデバイス
２３ａ 参照データ格納領域
２６ カードリーダ
２７ 通信Ｉ／Ｆ
３１ サンプル画像
４１ 照明用サンプル画像

Claims (12)

1. デジタルデータで記録された撮影画像に対して色補正する画像処理装置において、
   異なる撮影環境に応じた複数種類の撮影環境データを予め記憶する撮影環境データ記憶部と、
   前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出して、その撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正する色補正部とを備えたことを特徴とする画像処理装置。
2. 前記各撮影環境データには、前記撮影画像の主要被写体の背景に使用される色やパターンが含まれることを特徴とする請求項１記載の画像処理装置。
3. 前記色補正部は、前記主要被写体が人である場合にはその肌色と背景色を色補正することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記撮影環境データは、異なる複数の撮影環境で前記主要被写体を撮影した場合の見本となる肌色を示す複数のサンプル画像であることを特徴とする請求項３記載の画像処理装置。
5. 前記撮影環境データは、異なる複数の撮影環境で主要被写体を撮影した場合の肌色の色補正量を表す複数の補正量データであることを特徴とする請求項３記載の画像処理装置。
6. 前記撮影環境データ記憶部内を検索して、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出す撮影環境データ検索手段を設けたことを特徴とする請求項１〜５いずれか記載の画像処理装置。
7. 前記撮影環境データには、それぞれＩＤが与えられており、前記撮影環境データ検索手段は、そのＩＤに基づいて、前記撮影画像で使用した撮影環境に対応する撮影環境データを検索することを特徴とする請求項６記載の画像処理装置。
8. 前記撮影環境データ検索手段は、前記撮影画像を解析して、その解析結果に基づいて、前記撮影画像で使用した撮影環境に対応する撮影環境データを検索することを特徴とする請求項６記載の画像処理装置。
9. 前記撮影環境データには、背景の色やパターンに応じた補正に用いられる背景補正用撮影環境データに加えて、照明状態に応じた補正に用いられる照明補正用撮影環境データが含まれており、色補正部は、両データを用いて色補正を行うことを特徴とする請求項１〜８いずれか記載の画像処理装置。
10. 前記色補正部によって決定された補正条件を手動で調整する補正条件調整部を設けたことを特徴とする１〜９いずれか記載の画像処理装置。
11. デジタルデータで記録された撮影画像に対して色補正する画像処理方法において、
    異なる撮影環境に応じた複数種類の撮影環境データを予め記憶し、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出して、読み出した撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正することを特徴とする画像処理方法。
12. デジタルデータで記録された撮影画像に対して色補正する画像処理機能をコンピュータに実行させる画像処理プログラムにおいて、
    異なる撮影環境に応じた複数種類の撮影環境データを格納した記憶部から、前記複数種類の撮影環境データのうち、前記撮影画像が撮影された撮影環境に対応する前記撮影環境データを読み出すデータ読み出しステップと、
    読み出した撮影環境データに基づいて補正条件を決定して、前記撮影画像を色補正する色補正ステップとを含むことを特徴とする画像処理プログラム。
    

Images