JP2008131542A

JP2008131542A - 色補正装置および色補正プログラム

Info

Publication number: JP2008131542A
Application number: JP2006316733A
Authority: JP
Inventors: Koji Yokouchi; 康治横内
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-11-24
Filing date: 2006-11-24
Publication date: 2008-06-05
Anticipated expiration: 2026-11-24
Also published as: JP4875470B2

Abstract

【課題】画像中の顔と背景との両方について適度な色補正を行う色補正装置および色補正プログラムを提供する。
【解決手段】複数の人物の画像それぞれについて人物の顔の領域を検出する顔領域検出部と、顔の領域が所定の望ましい色となるような各画像に応じた色補正を施す顔色補正部と、顔の領域あるいは画像の全域に対して所定の位置関係に存在する背景領域を求め背景領域の色が該複数の画像間で統一されるような色補正を各画像に施す背景色統一部と、画像中の各点が背景と顔とのどちらにどの程度帰属するかを表したマスクを各点と背景領域との色の近さおよび各点と顔領域との位置の近さに基づいて作成するマスク作成部と、顔色補正部で得られた第１の補正画像と背景色統一部で得られた第２の補正画像とを顔に強く帰属する点は第１の補正画像の成分が強く背景に強く帰属する点は第２の補正画像の成分が強くなるようにマスクを用いて合成する合成部とを備えた。
【選択図】図５

Description

本発明は、画像データで表される画像の色補正を行う色補正装置および色補正プログラムに関する。

近年、デジタルカメラやスキャナといった、カラーの画像情報をデジタルの画像データとして取り込む技術が発展し、その発展と共に、得られた画像データの処理を行うためのソフトウェア技術も盛んに開発されている。

こうしたソフトウェア技術の一つに、画像の色補正を行うことで画像の見栄えを良くする技術が存在する（例えば、特許文献１参照）。一般に、デジタルカメラやスキャナで得られた画像データで表される画像は、色合いが、ユーザの所望するものとは、ずれていることがある。そこで、デジタルカメラやスキャナで得られた画像データに対し、上記の色補正処理を行うことによってユーザの所望する画像に近づけることができる。特に、人物の画像の場合には、画像中の人物の顔の見栄えによってその画像から受ける人物の印象がかなり異なるものとなるために、こうした色補正処理は重要なものとなる。

また、卒業アルバムを作成する場合のように、複数の人物それぞれが写った複数の画像を並べて編集する場合においては、背景色が画像ごとに異なっていると、統一感に欠けた見苦しい画像群となってしまいやすい。そこで最近では、画像中の主要被写体（例えば顔領域）の検出を行う技術（例えば、特許文献２参照）を用いて主要被写体の検出を行って主要被写体に応じた色補正を実行し、さらに主要被写体以外の画像領域を背景として背景色の統一を行う技術（例えば、特許文献３参照）や、特許文献３とは逆に背景を先に検出し、背景以外の画像領域を顔領域として、背景色の補正量と顔領域の色の補正量とを重み付け加算した補正量で画像全体を色補正する技術（例えば、特許文献４参照）が提案されている。
特開平７−２１０６５８号公報特開２００６−２４４３８５号公報特開２００６−９２１２７号公報特開２００６−１３９３６８号公報

特許文献３記載の方法では、顔領域の識別に際し、顔の持つ一般的な特徴を反映する画像領域を見つけ出す顔検出技術が応用される。しかし、現在の顔検出技術では、顔の位置を輪郭まで含めて正確に検出することは困難であり、顔が存在すると思われる顔周辺の画像領域（典型的には矩形の領域）を特定する程度に留まっている。このため、現在の顔検出技術をそのまま適用しても、人物の顔と背景との両方について適度な色補正を行うのは困難である。

特許文献４記載の方法では、参照となる背景色（例えば、青一色の背景色）があらかじめ登録されており、画像領域の色がその参照背景色に近ければ、その画像領域は背景領域
であると判定される。しかし、一般に、画像中には、人物の顔に加え、人物の服の一部も現れていることが多く、特許文献３記載の方法では、画像中の服の色が参照背景色と大きく異なる場合には、服の部分も顔領域とみなされて顔の色に合うように色補正されてしまうことになる。このため、特許文献４記載の方法でも、人物の顔と背景との両方について適度な色補正を行うのは困難である。

本発明は、上記事情に鑑み、画像中の顔と背景との両方について適度な色補正を行う色補正装置および色補正プログラムを提供することを目的とする。

上記目的を達成するための本発明の色補正装置は、
各々に人物が写っている複数の画像それぞれについて人物の顔の領域を検出する顔領域検出部と、
上記複数の画像それぞれについて、上記顔領域検出部によって検出された顔の領域が所定の望ましい色となるような、各画像に応じた色補正を施す顔色補正部と、
上記顔領域検出部によって検出された顔の領域あるいは画像の全域に対して所定の位置関係に存在する背景領域を上記複数の画像それぞれについて求め、背景領域の色が該複数の画像間で統一されるような色補正を各画像に施す背景色統一部と、
画像中の各点が背景と顔とのどちらにどの程度帰属するかを表したマスクを、各点と上記背景領域との色の近さおよび各点と上記顔領域との位置の近さに基づいて、上記複数の画像それぞれについて作成するマスク作成部と、
上記マスク作成部によって作成されたマスクを用いて、上記顔色補正部で補正されて得られた第１の補正画像と上記背景色統一部で補正されて得られた第２の補正画像とを、顔に強く帰属する点は第１の補正画像の成分が強く、背景に強く帰属する点は第２の補正画像の成分が強くなるように合成する合成部とを備えたことを特徴とする。

本発明の色補正装置は、上記の第１の補正画像と第２の補正画像とを、顔に強く帰属する点は第１の補正画像の成分が強く、背景に強く帰属する点は第２の補正画像の成分が強くなるように合成するので、顔の領域の色が上記の所定の望ましい色に近く、しかも背景領域の色は上記の複数の画像間で統一されているような合成画像が作成される。このため、本発明の色補正装置では、画像中の顔と背景との両方について適度な色補正が行われることとなる。

また、本発明の色補正装置において、「上記背景色統一部が、上記顔色補正部で補正されて得られた第１の補正画像上の背景領域に基づいて、上記複数の画像間で統一されるべき統一背景色を求め、該複数の画像のそれぞれに対して、背景領域の色が該統一背景色となるような色補正を施すものである」という形態は好ましい形態である。

このような形態によれば、顔の領域の色が補正された後の画像中の背景領域の色に基づいて統一背景色が求められるので、合成された画像において、顔の領域の色と背景領域の色とがバランスのとれたものとなる。

また、本発明の色補正装置において、「上記マスク作成部は、各点と上記背景領域との色の近さとして、背景領域の色と各点の色との所定の色空間上における距離を用いるものである」という形態も好ましい形態である。

このような形態によれば、画像中の各点が背景にどの程度帰属しているかを定量的に表すことが容易である。

また、本発明の色補正装置において、「上記マスク作成部は、各点と上記顔領域との位置の近さとして、該顔領域の中心点と各点との画像上の距離を用いるものである」という形態も好ましい形態である。

このような形態によれば、画像中の各点が顔の領域にどの程度帰属しているかを定量的に表すことが容易である。

上記目的を達成するための本発明の色補正プログラムは、
コンピュータシステムに組み込まれ、そのコンピュータシステム上に、
各々に人物が写っている複数の画像それぞれについて人物の顔の領域を検出する顔領域検出部と、
上記複数の画像それぞれについて、上記顔領域検出部によって検出された顔の領域が所定の望ましい色となるような、各画像に応じた色補正を施す顔色補正部と、
上記顔領域検出部によって検出された顔の領域あるいは画像の全域に対して所定の位置関係に存在する背景領域を上記複数の画像それぞれについて求め、背景領域の色が該複数の画像間で統一されるような色補正を各画像に施す背景色統一部と、
画像中の各点が背景と顔とのどちらにどの程度帰属するかを表したマスクを、各点と上記背景領域との色の近さおよび各点と上記顔領域との位置の近さに基づいて、上記複数の画像それぞれについて作成するマスク作成部と、
上記マスク作成部によって作成されたマスクを用いて、上記顔色補正部で補正されて得られた第１の補正画像と上記背景色統一部で補正されて得られた第２の補正画像とを、顔に強く帰属する点は第１の補正画像の成分が強く、背景に強く帰属する点は第２の補正画像の成分が強くなるように合成する合成部とを構築することを特徴とする。

この本発明の色補正プログラムをコンピュータシステム内で実行することによって、本発明の色補正装置を容易に実現することができる。

なお、本発明にいう色補正プログラムについては、ここではその基本形態のみを示すにとどめるが、これは単に重複を避けるためであり、本発明にいう色補正プログラムには、上記の基本形態のみでなく、前述した色補正装置の各形態に対応する各種の形態が含まれる。

さらに、本発明の色補正プログラムがコンピュータシステム上に構築する合成部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、１つの要素が複数のプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されていてもよく、あるいは、コンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されていてもよい。

本発明によれば、画像中の顔と背景との両方について適度な色補正を行うことができる。

以下、本発明の実施形態について説明する。

図１は、本発明の一実施形態が適用された画像処理システムの全体構成図である。
この画像処理システムは、コンピュータを使って印刷物を作成するＤＴＰ（ＤｅｓｋＴｏｐＰｕｂｌｉｓｈｉｎｇ）が適用されたシステムであり、ユーザがパーソナルコンピュータ１００で、複数の人物それぞれが写った複数の画像からなる画像群を並べて編集して、カラープリンタ２１７０で出力するシステムである。パーソナルコンピュータ１００には、カラースキャナ（図示しない）で原稿画像が読み取られて生成された、カラーの人物の画像の読取画像データや、デジタルカメラ（図示しない）で撮影された人物を表すカラーの撮影画像データなどが画像編集の素材として入力される。パーソナルコンピュータ１００に入力される画像からなる画像群２１０は、主にアルバム編集用の画像群であり、どの画像も、その中の人物が、ほぼ単色の背景をバックにして顔を正面に向けているカラー画像である。これらの画像群２１０は、パーソナルコンピュータ１００において、各画像中の顔部分の色補正が行われるとともに、背景についても画像群全体で統一感が得られるように色補正が行われる。色補正後の画像群２１０Ａを表す画像データは、パーソナルコンピュータ１００中の不図示のＲＩＰ（ＲａｓｔｅｒＩｍａｇｅＰｒｏｃｅｓｓｏｒ）において、カラープリンタ２１７０で出力可能なラスターデータに変換される。変換後のラスターデータは、カラープリンタ２１７０に入力され、カラープリンタ２１７０では、その入力されたラスターデータに基づく出力画像２１０Ｂが作成される。

このように、図１に示す画像処理システムにおいては、パーソナルコンピュータ１００によって画像の色補正処理が行われた上で最終的な出力画像群２１０Ｂが作成される。この画像処理システムにおける、本発明の一実施形態としての特徴は、このパーソナルコンピュータ１００で実行される色補正処理の内容にあり、このパーソナルコンピュータ１００が、本発明の色補正装置の一実施形態として動作する。以下では、このパーソナルコンピュータ１００について詳しく説明する。

図２は、本発明の色補正装置の一実施形態として動作するパーソナルコンピュータの外観斜視図、図３は、そのハードウェア構成図である。

このパーソナルコンピュータ１００は、後述するＣＰＵ、ＲＡＭメモリ、ハードディスク等を内蔵した本体部１１０、本体部１１０からの指示により表示画面１２１に画面表示を行なう画像表示装置１２０、このパーソナルコンピュータ１００内にユーザの指示や文字情報を入力するためのキーボード１３０、表示画面１２１上の任意の位置を指定することによりその位置に応じた指示を入力するマウス１４０を備えている。

本体部１１０は、さらにフレキシブルディスク（以下ＦＤと略す）が装填されるＦＤ装填口１１１、ＣＤ−ＲＯＭが装填されるＣＤ−ＲＯＭ装填口１１２を有しており、その内部には、装填されたＦＤやＣＤ−ＲＯＭをドライブする、後述するＦＤドライブ、ＣＤ−ＲＯＭドライブも内蔵されている。

本体部１１０の内部には、図３に示すように、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ２１４０が装填され、その装填されたＦＤ２１４０にアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ２１５０が装填され、その装填されたＣＤ−ＲＯＭ２１５０にアクセスするＣＤ−ＲＯＭドライブ２１５が内蔵されている。これらの各種要素と、さらに、図２にも示す画像表示装置１２０、キーボード１３０、マウス１４０は、バス１２００を介して相互に接続されている。また、パーソナルコンピュータ１００の外部には、画像を出力するためのカラープリンタ２１７０が備えられており、カラープリンタ２１７０に向けてパーソナルコンピュータ１００から出力データを送るために、パーソナルコンピュータ１００には出力インタフェース２１７が内蔵されている。また、パーソナルコンピュータ１００には、不図示のスキャナーなどの外部機器と接続して画像データを入力することができるＩ／Ｏインタフェース２１６も内蔵されている。接続された外部機器の制御も、このＩ／Ｏインタフェース２１６を介して行われる。これら出力インタフェース２１７およびＩ／Ｏインタフェース２１６も、パーソナルコンピュータ１００内部のハードウェアを構成する上述の各種要素と、バス１２００を介して相互に接続されている。

このパーソナルコンピュータ１００では、パーソナルコンピュータ１００のユーザは、処理対象となる画像データを、Ｉ／Ｏインタフェース２１６から入力してハードディスク装置２１３に保存することができ、また画像データが記録されているＦＤ２１４０やＣＤ−ＲＯＭ２１５０から、それぞれＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５を介してハードディスク装置２１３に保存することもできる。

次に本発明の色補正プログラムの一実施形態について説明する。

本発明の色補正プログラムの一実施形態が、例えばＣＤ−ＲＯＭ２１５０に記憶されている場合には、このＣＤ−ＲＯＭ２１５０がＣＤ−ＲＯＭ装填口１１２から本体１１０内に装填されると、そのＣＤ−ＲＯＭ２１５０に記憶された色補正プログラムがＣＤ−ＲＯＭドライブ２１５によりこのパーソナルコンピュータ１００のハードディスク装置２１３内にインストールされる。そして、このハードディスク装置２１３内にインストールされた色補正プログラムが起動されると、このパーソナルコンピュータ１００は、本発明の色補正装置の一実施形態として動作する。

図４は、本発明の色補正プログラムの一実施形態を示す図である。

ここでは、この色補正プログラム９００は、ＣＤ−ＲＯＭ２１５０に記憶されている。なお、本発明にいう色補正プログラム９００が記憶される記憶媒体としては、図４に示すＣＤ−ＲＯＭ２１５０のみならず、図３に示すハードディスク装置２１３やＦＤ２１４０、図３および図４には不図示のＤＶＤやＭＯ等といった種々の記憶媒体が採用されうる。

この色補正プログラム９００は、図２および図３に示すパーソナルコンピュータ１００内で実行され、上述したように、そのパーソナルコンピュータ１００を本発明の一実施形態として動作させるものであり、画像データ取得部２０、顔検出部２１、仮補正部２２、目標背景色算出部２３、背景統一画像作成部２４、および画像合成部２５を有している。

この色補正プログラム９００の各要素の詳細な内容については後述する。

図５は、図２および図３に示すパーソナルコンピュータを本発明の色補正装置の一実施形態として動作させるためにこのパーソナルコンピュータ上に構築される要素と、それらの要素による作用の概略を表す図である。

図４に示す色補正プログラム９００が図２および図３に示すパーソナルコンピュータ１００にインストールされると、図５に示す画像データ取得部１０、顔検出部１１、仮補正部１２、目標背景色算出部１３、背景統一画像作成部１４、および画像合成部１５の各要素がパーソナルコンピュータ１００上に構築される。これらの要素によって、パーソナルコンピュータ１００が本発明の色補正装置の一実施形態として動作する。画像データ取得部１０、顔検出部１１、仮補正部１２、目標背景色算出部１３、背景統一画像作成部１４、および画像合成部１５は、図４に示す色補正プログラム９００における、画像データ取得部２０、顔検出部２１、仮補正部２２、目標背景色算出部２３、背景統一画像作成部２４、および画像合成部２５それぞれによってパーソナルコンピュータ１００上に構築されるものである。従って図４の各要素は図５の各要素に対応するが、この図５の各要素は、図２および図３に示すパーソナルコンピュータ１００のハードウェアとそのパーソナルコンピュータ１００で実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図４に示す色補正プログラム９００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。ここで、顔検出部２１が、本発明にいう顔領域検出部の一例に相当し、仮補正部２２が、本発明にいう顔色補正部の一例に相当する。また、目標背景色算出部２３と背景統一画像作成部２４を合わせたものが、本発明にいう背景色統一部の一例に相当し、画像合成部２５が、本発明にいうマスク作成部と合成部とを兼ねた一例に相当する。以下では、図５に示す各要素と、各要素による作用の概略について説明する。

図５に示す画像データ取得部１０は、ユーザの指示に基づき、色補正処理の対象として、色補正前の人物の画像をそれぞれ表した一群の画像データからなる画像データ群を、図３に示すハードディスク装置２１３から取得する。以下では、色補正前の画像（画像データ）を、色補正後の画像と区別するために、原画像（原画像データ）と呼ぶ。顔検出部１１は、画像データ取得部１０により読み出された原画像データに基づき顔領域の検出を行い、仮補正部１２は、検出された顔領域の色が適度な色となるような補正量で原画像上の全領域に対して色補正を施す。顔検出部１１の後段の処理部である目標背景色算出部１３は、仮補正部１２によって色補正が施された後の画像データ群に基づき、画像群全体の統一的な背景色として目標となる目標背景色を算出する。背景統一画像作成部１４は、算出された目標背景色を実現するように原画像に対し色補正処理を行う。仮補正部１２および背景統一画像作成部１４の双方の後段に位置する処理部である画像合成部１５は、仮補正部１２で色補正された画像と、背景統一画像作成部１４で色補正された画像との合成を行う。この合成の際には、画像合成部１５は、仮補正部１２で色補正された画像中の顔部分が強調され、背景統一画像作成部１４で色補正された画像中の背景が強調されるように、２つの画像の合成を行う。

次にコンピュータ１００による色補正処理の流れについてフローチャートを用いて説明する。

図６は、パーソナルコンピュータ１００による色補正処理の動作を表すフローチャート図である。

色補正処理が行われる際には、色補正処理の対象としてユーザによって指定された原画像群をそれぞれ表した原画像データ群が、図５の画像データ取得部１０により取得される（ステップＳ１）。こうした原画像データ群で表される原画像群とは、例えば、ユーザによって指定されたフォルダ中に存在する全ての原画像や、ユーザによって指定されたＰＤＦのデータ形式のファイル中に存在する原画像群などである。以下ではこうした原画像群が全部でＮ個の原画像からなるものとして説明を行う。また、以下に説明するステップＳ２〜ステップＳ５の処理は、Ｎ個の原画像データについて、１番目の原画像データからＮ番目の原画像データまで順番に行われるものであるが、以下では、ｉ番目の画像データの処理を例にとって説明する。

顔検出部１１により、Ｎ個の原画像データの中からｉ番目の原画像データが読み出され（ステップＳ２）、そのｉ番目の原画像データに基づき、その原画像データで表された人物の顔領域の検出が行われる（ステップＳ３）。この顔検出においては、上述の特許文献２に記載されている顔検出の技術が適用される。一般に、顔領域においては、右目は頬より暗い、左目は眉間より暗い、鼻孔は頬より暗いといった特徴がある。パーソナルコンピュータ１００には、あらかじめ、そうした顔領域を特徴づける参照データが記憶されており、顔検出部１１は、参照データを参照して、画像中の正方形の検出領域においてそうした顔領域の特徴が現れているかどうかを検出することで、検出領域が、顔領域か、あるいは非顔領域かを判定する。顔検出部１１は、こうした判定を検出領域の位置を変えながら実行して画像中で顔領域の検出を行う。さらに、顔検出部１１は、画像サイズを所定の割合で縮小しながら各縮小画像についてもこのような顔領域の検出を行う。このように縮小画像について顔領域の検出を行うことで、顔の大きさが検出領域の大きさと同程度にまで縮小されたときに顔領域を検出することができ、この検出により縮小前の画像における顔領域が求められる。このような顔領域の検出により、顔領域の大きさと位置（顔領域の中心位置）の情報が取得される。

ただし、このようにして検出される顔領域は、顔を含む正方形の領域であり、顔の輪郭を含めた顔の位置までを正確に求めるものではない。後述するように、このパーソナルコンピュータ１００は、このような顔検出の機能を補う機能を備えており、この機能と顔検出の機能との両方を用いることで、画像中の顔と背景との両方について適度な色補正を行うことができる。

顔検出部１１により検出された顔領域の情報を有する顔領域データは、図５に示す仮補正部１２、目標背景色算出部１３、および画像合成部１５にそれぞれ入力される。

仮補正部１２は、顔領域データに基づき、ｉ番目の原画像の顔領域の中心の色が、顔部分の色として望ましい色となるための補正量を求め、その補正量でｉ番目の原画像全体の色補正を行う。この色補正では、顔部分は適度に色補正されるが、この色補正では、原画像中の、顔部分以外の画像の色が適度になるかどうかは考慮されていない。後述の背景の色補正と区別するため、以下では、この仮補正部１２の行う補正を仮補正と呼ぶ。この仮補正により、ｉ番目の原画像データとに基づき、顔部分が適度に補正された仮補正画像が作成される（ステップＳ４）。そして、作成された仮補正画像を表す仮補正済画像データが、図５の目標背景色算出部１３および画像合成部１５にそれぞれ入力される。上述したように、目標背景色算出部１３には、顔検出部１１から顔領域データも入力されており、目標背景色算出部１３は、顔領域データに基づき、仮補正画像の背景色の算出を行う（ステップＳ５）。ここで、この背景色の算出について具体的に説明する。

図７は、背景色の算出が行われる領域を表した図である。

図７には、縦幅２ｒ、横幅２ｒの正方形の領域である顔領域７０ｂが図示されている。目標背景色算出部１３は、顔領域データで表された顔領域７０ｂの位置と大きさの情報に基づき、顔領域７０ｂの両側（左側および右側）に位置する、図７では斜線で示す縦幅３ｒ、横幅３ｒ／４の２つの矩形の背景色算出領域７０ｃを求める。この縦幅３ｒ、横幅３ｒ／４の背景色算出領域７０ｃの底辺は、図の上下方向について、顔領域７０ｂの底辺と同じ高さにある。また、背景色算出領域７０ｃそれぞれの、図の上下方向に延びた２本の辺のうち、顔領域７０ｂから遠い方の辺は、図の水平方向について、顔領域７０ｂの中心から２ｒ離れている。目標背景色算出部１３は、２つの背景色算出領域７０ｃにおいて、Ｒ、Ｇ、Ｂの各色成分についての画素値の平均値を算出して、その平均値を保存する。この平均値がこの画像の背景色とみなされる。このように、顔領域７０ｂの大きさを距離の基準として、顔領域７０ｂから所定距離離れた位置にある背景色算出領域７０ｃから背景色を求めることで、顔領域７０ｂの色に影響されることなく平均的な背景色を求めることができる。なお、背景色を求める領域は、顔領域から十分に離れていればよく、その形も矩形以外の形状であってもよい。例えば、背景色を求める領域は、顔領域の両側の領域ではなく片側の領域であってもよく、また、顔領域の上側や斜め上に位置するものであってもよい。あるいは、顔領域を囲む周囲全体であってもよい。また、背景色を求める領域の位置は、必ずしも、顔領域に対して顔領域の大きさを基準とした所定の相対距離だけ離れた位置でなくてもよい。例えば、画像中の人物を表した画像部分と重なること通常はあり得ないような、画像の左上や右上に位置する小さな所定領域を上記の背景色算出領域としてもよいし、画像の４端（上下左右端）の画素群から上記の背景色を算出してもよい。

図６のフローチャートに戻り、パーソナルコンピュータ１００による色補正処理の動作の説明を続ける。

ステップＳ５において仮補正画像の背景色の算出が行われた後、続いて、この仮補正画像の元になったｉ番目の原画像データが、仮補正処理が行われていない最後の原画像データ（すなわちＮ番目の原画像データ）であるか否かかが判定される（ステップＳ６）。ｉ番目の原画像データが、Ｎ番目の原画像データでない場合（ステップＳ６；Ｙｅｓ）には、処理対象を（ｉ＋１）番目の画像データとして（ステップＳ７）、前述のステップＳ２〜ステップＳ５までの処理が（ｉ＋１）番目の原画像データに対して行われる。ｉ番目の原画像データが、Ｎ番目の原画像データである場合（ステップＳ６；Ｎｏ）には、目標背景色算出部１３は、Ｎ個の仮補正画像の背景色の画素値の平均値を算出する（ステップＳ８）。この平均値が、Ｎ個の画像の背景色を統一するための、目標となる背景色（目標背景色）の画素値である。目標背景色の画素値のデータは、Ｎ個の画像それぞれについての、ステップＳ５の背景色算出の際に用いられた図７の背景色算出領域７０ｃの位置のデータと共に、図５の背景統一画像作成部１４に入力される。図５では、目標背景色の画素値のデータと背景色算出領域７０ｃの位置のデータとを合わせて目標背景色データとして示されている。ステップＳ８以降の、以下に説明するステップＳ９〜ステップＳ１１の処理は、Ｎ個の原画像データについて、１番目の原画像データからＮ番目の原画像データまで順番に行われるものであるが、以下では、ｉ番目の画像データの処理を例にとって説明する。

背景統一画像作成部１４により、Ｎ個の原画像データの中からｉ番目の原画像データが読み出され（ステップＳ９）、そのｉ番目の原画像データで表された原画像における、図７の背景色算出領域７０ｃと同位置にある画像領域が求められる。そして、背景統一画像作成部１４は、その画像領域の平均画素値が目標背景色の画素値となるための補正量を求め、その補正量でｉ番目の原画像全体の色補正を行う（ステップＳ１０）。上述したように、入力される画像群は、主にアルバム編集用の画像群であり、どの画像についても背景の色は、ほぼ単色（例えば、人物のバックにある壁の色など）である。このため、背景色算出に用いられた背景色算出領域７０ｃは背景全体の中の一部の領域にすぎないにもかかわらず、ステップＳ１０の色補正により、背景全体がほぼ目標背景色に補正された背景統一画像が作成されることとなる。背景統一画像を表す背景統一済画像データは、図５に示す画像合成部１５に入力される。ここで、画像合成部１５には、ｉ番目の原画像データや、仮補正画像を表す仮補正済画像データも入力されており、画像合成部１５は、ｉ番目の原画像に基づき合成マスクを作成し、この合成マスクを用いて仮補正画像の顔部分と、背景統一画像中の、顔部分を除いた画像部分との合成を行う（ステップＳ１１）。以下、この画像合成について具体的に説明する。

上述したように、画像合成部１５には、顔検出部１１により作成された顔領域データが入力されている。画像合成部１５は、まず、ｉ番目の原画像の顔領域データに基づき、この原画像について、顔領域における、Ｒ、Ｇ、Ｂの各色成分についての画素値の平均である顔領域平均画素値（Ｒｆ，Ｇｆ，Ｂｆ）と、原画像における背景色の画素値（すなわち、原画像における背景色算出領域の平均画素値）とを求める。以下では、原画像における背景色の画素値を原画像背景画素値（Ｒｂ，Ｇｂ，Ｂｂ）と呼ぶ。次に、画像合成部１５は、顔領域平均画素値（Ｒｆ，Ｇｆ，Ｂｆ）と原画像背景画素値（Ｒｂ，Ｇｂ，Ｂｂ）との領域平均色度距離ｄ_０を求める。この領域平均色度距離ｄ_０は、以下の式に従って、求められる。
ｄ_０ ^２＝（Ｒｆ―Ｒｂ）^２／Ｒｍａｘ^２＋（Ｇｆ―Ｇｂ）^２／Ｇｍａｘ^２
＋（Ｂｆ―Ｂｂ）^２／Ｂｍａｘ^２・・・・・・・・（１）
ここで、Ｒｍａｘは、ＲｆとＲｂのうちの大きい方の値（等しい場合は、その値）を表しており、同様に、Ｇｍａｘ、Ｂｍａｘも、ＧｆとＧｂのうちの大きい方の値（等しい場合は、その値）、ＢｆとＢｂのうちの大きい方の値（等しい場合は、その値）をそれぞれ表している。

次に、画像合成部１５は、画像中の画素位置を２次元座標（ｘ、ｙ）で表したときの、座標点（ｘ、ｙ）に位置する画素の画素値（Ｒ（ｘ、ｙ），Ｇ（ｘ、ｙ），Ｂ（ｘ、ｙ））と、上述した原画像背景画素値（Ｒｂ，Ｇｂ，Ｂｂ）との色度距離ｄ（ｘ、ｙ）を求める。この色度距離は、式（１）と同様にして求められる。この色度距離ｄ（ｘ、ｙ）は、その定義から、背景色に近い画像領域ではほぼゼロに近い数値となり、色合いが背景色とは大きく異なるほど大きな値となる。ここで、色度距離ｄ（ｘ、ｙ）が、領域平均色度距離ｄ_０より大きくなっている画素が存在する場合は、さらに、その色度距離ｄ（ｘ、ｙ）を、領域平均色度距離ｄ_０に置き換える処理が施される。つまり、顔領域の色と背景の色の差の上限が決められている。

図８は、合成マスクが作成される様子を模式的に表した図である。

図８のパート（ａ）は、色度距離ｄ（ｘ、ｙ）の値が大きい画素ほど白い（すなわち、色度距離ｄ（ｘ、ｙ）の値が小さい画素ほど黒い）という描画ルールで、色度距離ｄ（ｘ、ｙ）の様子を模式的に表したものである。図８のパート（ａ）に示すように、顔部分３０１、服部分３０３においては色度距離ｄ（ｘ、ｙ）の値が大きいために白っぽい領域となっており、一方、顔部分３０１、服部分３０３以外の画像領域である背景部分３０２は、横線で示す黒っぽい領域となっている。

次に、画像合成部１５は、色度距離ｄ（ｘ、ｙ）の値の変化が緩やかになるように、画像中において、色度距離ｄ（ｘ、ｙ）の値の変化が大きい箇所の値をならす処理が行われる。さらに、画像合成部１５は、上記の色度距離ｄ（ｘ、ｙ）のならし後に、最小値フィルタを用いて色度距離ｄ（ｘ、ｙ）の小さい値をカットする（値をゼロにする）処理を行う。これらの処理は、顔領域の大きさの１／８程度、すなわち図７では、ｒ／４程度の大きさの空間フィルタを用いて画像上を走査することで行われる。これらの処理により、色度距離ｄ（ｘ、ｙ）を表す図においては、境界線がぼやけたものとなる。

図８のパート（ｂ）には、最小値フィルタが適用された後の色度距離ｄ’（ｘ、ｙ）の様子が示されている。この図に示すように、図８のパート（ｂ）では、境界が、図８のパート（ａ）と比べて曖昧なものとなっている。

次に、画像合成部１５は、顔領域データから顔領域の中心座標と顔領域の大きさを取得し、この情報と、あらかじめコンピュータ１００内に保存されている、２次元平面上で定義された、距離についての単調減少関数とを組み合わせて、顔領域の中心座標付近が１であり、顔領域の中心座標から遠い位置ほど小さくなり、顔領域の外側ではほぼ０に近づいていくような重み関数α（ｘ、ｙ）を決定する。そしてこの重み関数α（ｘ、ｙ）を用い、画像中の位置を変数とする関数であって合成マスクを与える関数ｍａｓｋ（ｘ、ｙ）を下記の式で定義する。
ｍａｓｋ（ｘ、ｙ）＝α（ｘ、ｙ）×ｄ’（ｘ、ｙ）／ｄ_０
ここで、領域平均色度距離ｄ_０は、色度距離ｄ（ｘ、ｙ）の規格化のために用いられており、規格化された色度距離ｄ’（ｘ、ｙ）／ｄ_０は、図８のパート（ｂ）からもわかるように、顔部分や服部分において、大きな値（ほぼ１）となるが、この規格化されたｄ’（ｘ、ｙ）／ｄ_０に対して、さらに重み関数α（ｘ、ｙ）がかかることで、主に顔部分だけが、大きな値をとる領域として残ることになる。

図８のパート（ｃ）は、関数ｍａｓｋ（ｘ、ｙ）を、関数ｍａｓｋ（ｘ、ｙ）の値が大きい画素ほど白い（すなわち、関数ｍａｓｋ（ｘ、ｙ）の値が小さい画素ほど黒い）という描画ルールで表した図である。この図に示すように、重み関数α（ｘ、ｙ）で重み付けすることにより、主に顔部分だけが白っぽい領域として取り出されることになる。

このように、本実施形態では、規格化された色度距離ｄ’（ｘ、ｙ）／ｄ_０を求めるために原画像データを用い、重み関数α（ｘ、ｙ）を決定するため（顔の中心位置を求めるため）に顔領域データを用いている。このように両方のデータを用いることで、単純に顔検出によって得られる顔領域データだけを用いて色補正を行ったときと比べて、画像中の顔と背景との両方についてより適切な色補正が施されることとなる。

画像合成部１５は、顔部分の画像領域には、主に仮補正画像から取り出した顔部分が強調され、この顔部分以外の画像領域には、主に背景統一画像から取り出した、顔部分以外の画像部分が強調されるように画像の合成を行う。具体的には、合成画像における、座標（ｘ、ｙ）に位置する画素の画素値（ＲＧＢの各値）を、例えばＲ成分については、下記のように決定する。
｛１−ｍａｓｋ（ｘ、ｙ）｝×ＲＢ（ｘ、ｙ）＋ｍａｓｋ（ｘ、ｙ）×ＲＦ（ｘ、ｙ）
ここで、上式においては、仮補正画像における座標（ｘ、ｙ）に位置する画素の画素値のＲ成分、および背景統一画像における座標（ｘ、ｙ）に位置する画素の画素値のＲ成分を、それぞれ、ＲＦ（ｘ、ｙ）およびＲＢ（ｘ、ｙ）で表している。上式と同様の式で、Ｇ成分、Ｂ成分についても決定される。

このように、仮補正画像の顔部分と、背景統一画像の背景部分とを組み合わせることで、顔部分の色補正が行われるとともに、背景についても、画像群全体で統一感が得られるように色補正が行われることになる。

ステップＳ１１において仮補正画像と背景統一画像の合成が行われた後、続いて、合成された画像の元になったｉ番目の原画像データが、仮補正処理が行われていない最後の原画像データ（すなわちＮ番目の原画像データ）であるか否かかが判定される（ステップＳ１２）。ｉ番目の原画像データが、Ｎ番目の原画像データでない場合（ステップＳ１２；Ｙｅｓ）には、処理対象を（ｉ＋１）番目の画像データとして（ステップＳ１３）、上述のステップＳ９〜ステップＳ１１までの処理が（ｉ＋１）番目の原画像データに対して行われる。ｉ番目の原画像データが、Ｎ番目の原画像データである場合（ステップＳ１２；Ｎｏ）には、画像群全ての色補正が完了することになる。

次に、色補正の処理の際にユーザに対して表示される画面について説明する。

図９は、色補正が行われる際のウィンドウを表した図である。

ユーザが、図２のコンピュータ１００の色補正機能を起動させると、図９のパート（ａ）に示す色補正ウィンドウ４００が立ち上がる。この色補正ウィンドウ４００には、この図に示すように、処理対象となる画像群を指定するための画像群指定欄４０１が表示されている。ユーザは、この画像群指定欄４０１に、画像群が格納されているフォルダ名や、画像群を有するファイル名を書き込むことにより、色補正対象の画像群を指定することができる。この図９のパート（ａ）では、Ｃドライブのフォルダ「ｉｍｇ」内に存在するフォルダ「ｏｒｇ」に格納された画像群が指定されている様子が示されている。ここで、ユーザは、「開く」と書かれている画像表示ボタン４０２を図２のマウス１４０でクリックすることにより、それらの画像群を表示させることができる。

図９のパート（ｂ）には、フォルダ「ｏｒｇ」に格納された、画像５０１〜画像５０６からなる画像群が表示されている様子が示されている。これら画像群の右側には、補正ボタン４０８、再補正ボタン４０９、手動モードボタン４１０が設けられている。ユーザは、補正ボタン４０８をクリックすることにより、これらの画像群に対し、図６において説明した手順で色補正処理を実行させることができ、色補正ウィンドウ４００内に表示される画像群は、色補正後の画像群に切り換わる。再補正ボタン４０９、手動モードボタン４１０については後述する。

以上の説明では、色補正の対象となる画像群は、フォルダに格納された画像の集合であったが、このコンピュータ１００では、ファイル中の画像群に対しても色補正処理を施すことができる。この場合は、ユーザは、画像群指定欄４０１にファイル名を書き込みことでファイルの指定を行うことができる。さらに、ユーザは、マウス１４０のクリックにより、全ページラジオボタン４０３をクリックすることで、指定したファイル中の全ての画像群を、処理対象となる画像群とすることもできる。また、処理対象となる画像群を有するページをページ欄４０５に記入することにより、画像群の指定を行うこともできる。このようにページの指定が行われるときには、自動的にページ指定ラジオボタン４０４に黒い印が記入される。

図１０は、処理対象となる画像群として、ファイル中の全ての画像群が指定された際の色補正ウィンドウを表した図である。

この図では、画像群指定欄４０１において、Ｃドライブのフォルダ「ｉｍｇ」内に存在するファイル「ｏｒｇ．ｐｄｆ」が指定されている様子が示されている。ここで、このファイル「ｏｒｇ．ｐｄｆ」は、複数のページを有するＰＤＦファイルであり、各ページには、それぞれ複数の人物の画像が並んだ画像群が存在する。この図では、全ページラジオボタン４０３が選択されており（黒い印が入っており）、色補正ファイル「ｏｒｇ．ｐｄｆ」中の全ての画像群が色補正の対象として指定されていることが示されている。この状態で、画像表示ボタン４０２を図２のマウス１４０でクリックすると、ファイル「ｏｒｇ．ｐｄｆ」中の全ての画像群が、図９のパート（ｂ）と同様に表示される。そして、ユーザは、上述したのと同様にして、表示された画像群に対して色補正を施すことができる。

図１１は、処理対象となる画像群として、ファイルの２ページ目に存在する画像群が指定された際の色補正ウィンドウを表した図である。

この図では、ページ指定ラジオボタン４０４が選択されており（黒い印が入っており）、ファイルの２ページ目を表す「２」がページ欄４０５に記入されている。この指定により、ユーザは、ファイルの２ページ目に存在する画像群を色補正対象の画像群に指定することができる。このページ指定の際には、ユーザは、直接ページ欄４０５に数字を記入してもよいし、あるいは、次ページボタン４０６をクリックすることにより、ページを目的のページまで１ページずつ増やしていってもよい。また、前ページボタン４０７をクリックすることにより、前のページまで戻ることもできる。全ページ指定の場合と同様にページ指定が行われた場合も、画像表示ボタン４０２を図２のマウス１４０のクリックによりそのページ中の画像群が、図９のパート（ｂ）と同様に表示される。ユーザは、画像が表示された状態でも、ページを変えて画像表示ボタン４０２をクリックすることで、表示された画像群を切り替えることができ、色補正したい画像群を選択することができる。そして、補正ボタン４０８をクリックすることにより、指定されたページの画像群に対して色補正処理が行われる。

以上の説明してきた色補正では、ユーザは画像群を指定して補正ボタン４０８をクリックするだけで、指定された画像群を構成する全画像に対して色補正が行われる。ほとんどの場合は、このような全画像の色補正によって、画像それぞれについて、顔領域の色が最適なものとなり、しかも背景色が全画像について統一的となるように色補正が行われる。しかし、稀に、顔領域を誤って検出してしまった結果、ユーザが意図したようには色補正が行われない画像や、顔が検出できずに色補正が行われない画像が現れることがある。このコンピュータ１００では、このような画像のために、ユーザが手動で顔領域や背景色算出領域の指定を行うことができる機能が備えられている。以下、この機能について説明する。以下では、今まで説明してきた、画像群全体に対する色補正のことを、後述の個別の画像の色補正と区別するために全画像色補正と呼ぶ。

まず、顔領域を誤って検出してしまった結果、ユーザが意図したようには顔の色の補正が行われなかった場合について説明する。以下では、ユーザが、図９のパート（ｂ）において全画像色補正が行われて表示された画像群のうち、左上の画像５０１の顔の色補正が充分でないことを発見した場合を例として説明する。

左上の画像５０１の顔の色補正が充分でないことを発見したユーザは、図２のマウス１４０で、この画像５０１の傍に設けられた領域情報ラジオボタン５０１ａがクリックされることで、領域指定モードに入ることができる。

図１２は、領域指定モードに入った時の画像の様子を表した図である。
領域指定モードに入った画像５０１中には、全画像色補正の際に検出された、矩形（正方形）の顔領域５０１ｂと、顔領域５０１ｂの両側に位置する矩形の背景色算出領域５０１ｃとがデフォルトとして表示される。このとき、ユーザがこれら２種類の領域を識別しやすいように、これら２種類の矩形の枠は、色を変えて表示される。図では、顔領域５０１ｂと背景色算出領域５０１ｃとでは枠の色が異なることを示すために、顔領域５０１ｂの枠は点線で表されており、背景色算出領域５０１ｃの枠は実線で表示されている。ユーザは、図２のマウス１４０で、顔領域５０１ｂや背景色算出領域５０１ｃの位置と大きさを変えることができる。適切な位置および大きさの顔領域５０１ｂや背景色算出領域５０１ｃが指定された後、ユーザにより、図９のパート（ｂ）に示す再補正ボタン４０９がクリックされることで、手動による領域指定が行われた画像に対してのみ再度の色補正が行われる。この再度の補正では、図６のステップＳ３における顔領域の検出や、ステップＳ５における背景色算出領域を求めて背景色を算出することは省略されて、手動指定された顔領域５０１ｂや背景色算出領域５０１ｃが代わりに用いられる。また、目標色算出色については、再度目標色算出色を算出し直すことなく、最初の全画像色補正の時の目標背景色に合わせるように背景の色補正が行われる。このように、手動による領域指定が行われた画像に対してのみ再度の色補正が行われるようにするのは、全画像色補正に失敗した数少ない画像のために画像群全体の色補正を行うのは処理効率が悪いためである。特に画像数が大きくなると、上記のように、全画像色補正に失敗した画像のみを補正する方が、画像群全体の色補正を行うのに比べ、より効率的となる。

次に、全画像色補正の際に顔が検出ができなかった場合について説明する。以下では、図９のパート（ｂ）において、全画像色補正の際に、左上の画像５０１の顔検出が失敗した場合を例として説明する。

図１３は、全画像色補正の際に、画像群中の一部の画像において、顔検出が失敗したときの色補正ウィンドウを表した図である。

全画像色補正の際に顔検出が失敗した画像は、画像の周囲が赤い枠で囲われて表示される。図では、その赤い枠を表す、斜線の枠によって、顔検出が失敗した左上の画像５０１の周囲が囲まれている様子が示されている。また、顔検出が失敗したことをユーザに伝えるため、左上の画像５０１の上に図示されているように、「ＷＡＲＮＩＮＧ：赤枠の画像は顔検出できません」という警告メッセージも表示される。この顔検出が失敗した左上の画像５０１を除いた残りの画像については、これら残りの画像からなる画像群を色補正対象の画像群として、上述した全画像色補正が行われている。しかし、顔検出が失敗した左上の画像５０１については、顔検出の失敗により色補正が行われていない状態となっている。ユーザは、赤枠と警告メッセージの表示によって、左上の画像５０１について再度の色補正を行うことが必要であることを認識することになる。ここで、ユーザは、上述した顔領域の指定と同様にして、図２のマウス１４０で、この画像５０１の傍に設けられた領域情報ラジオボタン５０１ａをクリックすることで、領域指定モードに入ることができる。

図１４は、顔検出が失敗した画像について領域指定モードに入った時の様子を表した図である。

全画像色補正では、顔検出に失敗すると、顔領域および背景色算出領域の特定がなされないため、顔検出に失敗した画像について領域指定モードに入っても、その直後の状態では、図１４のパート（ａ）に示すように、顔領域および背景色算出領域をそれぞれ表した矩形の領域はデフォルトとしては表示されない。この状態において、ユーザは、図２のマウス１４０を用いて、顔領域の指定を行うことができる。図１４のパート（ｂ）には、ユーザによって、顔領域の指定を行われた時の状態が示されている。この図に示すように、顔領域５０１ｂ’の指定が行われると図１４のパート（ａ）に示す赤枠が消え、一方、指定された顔領域に応じて背景色算出領域５０１ｃ’が、図７において説明した位置関係で自動的に表示される。一旦背景色算出領域５０１ｃ’が表示されると、ユーザは自分の好みで背景色算出領域５０１ｃ’の位置や大きさを図２のマウス１４０で変更することができる。このようにして、最終的に、適切な位置および大きさの顔領域５０１ｂ’や背景色算出領域５０１ｃ’が指定されると、ユーザにより、図１３に示す再補正ボタン４０９がクリックされることで、上述したのと同様に、手動による領域指定が行われた画像に対してのみ再度の色補正が行われる。

以上説明したように、顔領域の手動指定モードを設けることで、顔領域を誤って検出した場合や顔検出ができなかった場合であっても、再補正により適切な色補正が行われることになる。

このように、手動で顔領域や背景色算出領域の領域指定を行うための機能に加え、図２のコンピュータ１００には、色補正がうまくいった画像に色を合わせるように、他の画像の色補正を行う手動色補正の機能も備えられている。以下では、この手動色補正の機能について説明する。

ユーザは、全画像色補正が行われた画像群のうち、一部の画像の色が他の画像と比べて違和感があると感じた場合には、図９のパート（ｂ）に示す色補正ウィンドウ４００内にある手動補正モードボタン４１０をクリックすることで、手動補正モードに入ることができる。以下では、図９のパート（ｂ）において、ユーザが全画像色補正後の画像の色の具合を吟味した結果、下の段の真中の画像５０５の背景の色に合わせて、上の段の真中の画像５０２の背景の色と、下の段の右側の画像５０６の背景の色とを補正することが決定された場合を例として説明する。このように背景色がユーザの意図したように統一的にならなかった場合としては、例えば、１枚の画像中でも背景の色が一様でなかった場合などが考えられる。

図１５は、図９のパート（ｂ）に示す手動補正モードボタンがクリックされた時の色補正ウィンドウ４００の様子を表した図である。

手動色補正を行うにあたり、まず最初に、ユーザは、図２のマウス１４０で、色補正の目標となる背景色を有する画素Ｐを、下の段の真中の画像５０５中で選んでクリックする。次に、ユーザは、背景の色補正の対象となる、下の段の右側の画像５０６と上の段の真中の画像５０２とにおいて、上記の画素Ｐと色を合わせたい画素Ｑ，画素Ｒを図２のマウス１４０でクリックする。このような操作によって、最初にクリックされた画素の画素値が色補正の目標画素値として指定され、その後にクリックされた画素の画素値は、その画素値を目標画素値に一致させるような色補正の補正量算出のために用いられる。色補正を実行するにあたっては、ユーザは、色補正の対象となる画像中の全ての画素に対して、算出された補正量で一律に色補正が行われる第１の色補正と、補正量算出のためにクリックされた画素の画素値に近い画素値の画素だけが、目標画素値との画素値の差に応じた補正量で色補正される第２の色補正との２種類の色補正のうちの一方を選択することができる。

２種類の色補正のうち、第１の色補正は、図６のステップＳ４において仮補正画像を作成するのに用いられた色補正や、図６のステップＳ１０において背景統一画像を作成するのに用いられた色補正と同じである。この第１の色補正は、図１５中の「画素値をそろえる」と表示されている全体補正ボタン４１１がクリックされることで実行される。この全体補正ボタン４１１がクリックされると、下の段の右側の画像５０６は、この画像中の画素Ｑの画素値が目標画素値（すなわち下の段の真中の画像５０５中の背景の画素Ｐの画素値）となるような補正量で、画像全体が一律に色補正される。同時に、上の段の真中の画像５０２は、この画像中の画素Ｒの画素値が目標画素値となるような補正量で、画像全体が一律に色補正される。この第１の色補正には、画像全体が、バランスよく補正されるという利点があり、色のバランスに重点を置くユーザが選択する色補正である。

２種類の色補正のうち、第２の色補正は、図１５中の「近似色の画素値をそろえる」と表示されている局部補正ボタン４１２がクリックされることで実行される。この局部補正ボタン４１２がクリックされると、下の段の右側の画像５０６は、この画像中の画素Ｑの画素値に近い画素値を有する画素だけが、目標画素値との画素値の差に応じた補正量で色補正され、同時に、上の段の真中の画像５０２は、この画像中の画素Ｒの画素値に近い画素値を有する画素だけが、目標画素値との画素値の差に応じた補正量で色補正される。以下では、この第２の色補正の詳細について説明する。ここでは、下の段の右側の画像５０６についての補正を例にとって説明する。

第２の色補正が選択される前の段階では、目標画素値（下の段の真中の画像５０５中の背景の画素Ｐの画素値）および下の段の右側の画像５０６中の各画素値は、画像データ中の数値としては、ＲＧＢ色空間での座標値として表現されているが、この第２の色補正が行われる際には、これらＲＧＢ色空間で表現された画素値は、一旦ＨＳＬ色空間（色相Ｈ、彩度Ｓ，明度Ｌの３自由度で記述される色空間）で表現された画素値に変換される。この第２の色補正では、色相、彩度，明度のそれぞれについて同じやり方で補正が行われるので、以下では、明度の補正を例にとって説明する。目標画素値の明度をＬｐとし、下の段の右側の画像５０６中の画素Ｑの明度をＬｑとすると、第２の色補正では、まず、目標画素値の明度Ｌｐと画素Ｑの明度Ｌｑとから、明度差の差ΔＬｑ＝Ｌｐ−Ｌｑが取得される。次に、画像５０６中の画素のうち、下記の条件を満たす明度Ｌを有する画素が検出される。
｜Ｌ−Ｌｑ｜≦Δｑ
ここで、Δｑは、あらかじめ、図２のコンピュータ１００内に記憶されている所定値である。この検出により、画素Ｑの明度Ｌｑに近い明度を有する画素だけが補正対象としてピックアップされることになる。そして、検出された画素の明度Ｌは、下記の式で決定される新たな明度Ｌ’に置き換えられる。
Ｌ’＝Ｌ＋ ΔＬｑ×ｆ（｜Ｌ−Ｌｑ｜）
ここで、ｆ（｜Ｌ−Ｌｑ｜）は、明度の差の絶対値｜Ｌ−Ｌｑ｜を引数とする所定の単調減少関数であり、この関数の値は、｜Ｌ−Ｌｑ｜がゼロとなるときに１となり、｜Ｌ−Ｌｑ｜がΔｑとなるときに０となる。上記の補正の式は、画素Ｑの明度Ｌｑに近い明度の画素ほど大きい補正を受けることを表しており、明度が、画素Ｑの明度Ｌｑと等しい画素
では、最大の補正量であるＬｑで補正されることとなる。こうした所定の単調減少関数は、上記の性質を有する滑らかな単調減少関数であれば採用可能であり、例えば、下記のような関数が採用され得る。
ｆ（ｘ）＝（Δｑ―ｘ）^１／２×（１／Δｑ）^１／２
以上の明度の補正と同様の補正が、残りの色相、彩度についても実行される。補正が行われた、画像５０６中の各画素値は、ＲＧＢ色空間での座標値に変換される。そして、その変換された画素値で構成された画像データに基づいて、色補正された画像５０６の表示が行われる。

上の段の真中の画像５０２についても、上記の図１５の下の段の右側の画像５０６の色補正と同様にして、第２の色補正が実行され、補正された画像が表示される。以上の第２の色補正は、ユーザが、特定の色（上述の例では背景の色）にのみ補正を施したい時にとりわけ役に立つ補正である。

以上説明してきたように、図２のコンピュータ１００では、第１の色補正と第２の色補正との２種類の手動による色補正手段を備えており、これらの色補正手段を備えることで、図６で説明した全画像色補正の結果を、ユーザの好みに合うように修正することができる。

なお、以上説明してきた、手動による色補正では、画像群のうちの画像の１つが目標となる色を与えるものであったが、このような色補正の方式以外にも、予め用意されていた複数種類の色の中から目標色をユーザに選択させた上で、選択された色を目標色として色補正を行う方式も採用可能である。

本発明の一実施形態が適用された画像処理システムの全体構成図である。本発明の色補正装置の一実施形態として動作するパーソナルコンピュータの外観斜視図である。図２に外観斜視図を示したパーソナルコンピュータのハードウェア構成図である。本発明の色補正プログラムの一実施形態を示す図である。図２および図３に示すパーソナルコンピュータを本発明の色補正装置の一実施形態として動作させるためにこのパーソナルコンピュータ上に構築される要素と、それらの要素による作用の概略を表す図である。図２および図３に示すパーソナルコンピュータによる色補正処理の動作を表すフローチャート図である。背景色の算出が行われる領域を表した図である。合成マスクが作成される様子を模式的に表した図である。色補正が行われる際のウィンドウを表した図である。処理対象となる画像群として、ファイル中の全ての画像群が指定された際の色補正ウィンドウを表した図である。処理対象となる画像群として、ファイルの２ページ目に存在する画像群が指定された際の色補正ウィンドウを表した図である。領域指定モードに入った時の画像の様子を表した図である。全画像色補正の際に、画像群中の一部の画像において、顔検出が失敗したときの色補正ウィンドウを表した図である。顔検出が失敗した画像について領域指定モードに入った時の様子を表した図である。図９のパート（ｂ）に示す手動補正モードボタンがクリックされた時の色補正ウィンドウ４００の様子を表した図である。

符号の説明

１０画像データ取得部
１１顔検出部
１２仮補正部
１３目標背景色算出部
１４背景統一画像作成部
１５画像合成部
２０画像データ取得部
２１顔検出部
２２仮補正部
２３目標背景色算出部
２４背景統一画像作成部
２５画像合成部
７０ｂ，５０１ｂ，５０１ｂ’ 顔領域
７０ｃ，５０１ｃ，５０１ｃ’ 背景色算出領域
１００パーソナルコンピュータ
１１０本体部
１１１ＦＤ装填口
１１２ＣＤ−ＲＯＭ装填口
１２０画像表示装置
１２１表示画面
１３０キーボード
１４０マウス
１２００バス
２１０，２１０Ａ，２１０Ｂ画像群
２１１ＣＰＵ
２１２主メモリ
２１３ハードディスク装置
２１４ＦＤドライブ
２１４０ＦＤ
２１５ＣＤ−ＲＯＭドライブ
２１５０ＣＤ−ＲＯＭ
２１６Ｉ／Ｏインタフェース
２１７出力インタフェース
３０１顔部分
３０２背景部分
３０３服部分
４００色補正ウィンドウ
４０１画像群指定欄
４０２画像表示ボタン
４０３全ページラジオボタン
４０４ページ指定ラジオボタン
４０５ページ欄
４０６次ページボタン
４０７前ページボタン
４０８補正ボタン
４０９再補正ボタン
４１０手動モードボタン
５０１，５０２，５０３，５０４，５０５，５０６画像
５０１ａ，５０２ａ，５０３ａ，５０４ａ，５０５ａ，５０６ａ領域情報ラジオボタン
２１７０カラープリンタ

Claims

各々に人物が写っている複数の画像それぞれについて人物の顔の領域を検出する顔領域検出部と、
前記複数の画像それぞれについて、前記顔領域検出部によって検出された顔の領域が所定の望ましい色となるような、各画像に応じた色補正を施す顔色補正部と、
前記顔領域検出部によって検出された顔の領域あるいは画像の全域に対して所定の位置関係に存在する背景領域を前記複数の画像それぞれについて求め、背景領域の色が該複数の画像間で統一されるような色補正を各画像に施す背景色統一部と、
画像中の各点が背景と顔とのどちらにどの程度帰属するかを表したマスクを、各点と前記背景領域との色の近さおよび各点と前記顔領域との位置の近さに基づいて、前記複数の画像それぞれについて作成するマスク作成部と、
前記マスク作成部によって作成されたマスクを用いて、前記顔色補正部で補正されて得られた第１の補正画像と前記背景色統一部で補正されて得られた第２の補正画像とを、顔に強く帰属する点は第１の補正画像の成分が強く、背景に強く帰属する点は第２の補正画像の成分が強くなるように合成する合成部とを備えたことを特徴とする色補正装置。
前記背景色統一部が、前記顔色補正部で補正されて得られた第１の補正画像上の背景領域に基づいて、前記複数の画像間で統一されるべき統一背景色を求め、該複数の画像のそれぞれに対して、背景領域の色が該統一背景色となるような色補正を施すものであることを特徴とする請求項１記載の色補正装置。
前記マスク作成部は、各点と前記背景領域との色の近さとして、背景領域の色と各点の色との所定の色空間上における距離を用いるものであることを特徴とする請求項１記載の色補正装置。
前記マスク作成部は、各点と前記顔領域との位置の近さとして、該顔領域の中心点と各点との画像上の距離を用いるものであることを特徴とする請求項１記載の色補正装置。
コンピュータシステムに組み込まれ、そのコンピュータシステム上に、
各々に人物が写っている複数の画像それぞれについて人物の顔の領域を検出する顔領域検出部と、
前記複数の画像それぞれについて、前記顔領域検出部によって検出された顔の領域が所定の望ましい色となるような、各画像に応じた色補正を施す顔色補正部と、
前記顔領域検出部によって検出された顔の領域あるいは画像の全域に対して所定の位置関係に存在する背景領域を前記複数の画像それぞれについて求め、背景領域の色が該複数の画像間で統一されるような色補正を各画像に施す背景色統一部と、
画像中の各点が背景と顔とのどちらにどの程度帰属するかを表したマスクを、各点と前記背景領域との色の近さおよび各点と前記顔領域との位置の近さに基づいて、前記複数の画像それぞれについて作成するマスク作成部と、
前記マスク作成部によって作成されたマスクを用いて、前記顔色補正部で補正されて得られた第１の補正画像と前記背景色統一部で補正されて得られた第２の補正画像とを、顔に強く帰属する点は第１の補正画像の成分が強く、背景に強く帰属する点は第２の補正画像の成分が強くなるように合成する合成部とを構築することを特徴とする色補正プログラム。