JP2008172318A - 画像処理装置 - Google Patents

Abstract

【課題】複数の画像データにおいてウエディングドレスの色を均一にする画像処理装置を構成する。
【解決手段】参照画像データに含まれるウエディングドレスの領域をドレス領域判定手段３２が判定することで、ドレス領域の色情報を色情報取得手段３３が参照色情報として取得し、このウエディングドレスを着た新婦の顔の情報を顔情報取得手段３４が取得し、取得した夫々の情報を処理情報保存手段３５に保存する。次に、複数の処理画像データのうち参照顔情報と一致する顔が存在し、この顔の下側で参照色情報に一致又は近似する領域を、領域特定手段３８がマッチング領域として抽出し、このマッチング領域の色情報を色補正処理手段３９において参照色情報に一致させる色補正を行う。
【選択図】図３

Description

本発明は、デジタル信号化された画像データを取得する画像データ取得部と、この画像データ取得部で取得した画像データの画像処理を行う画像処理ユニットとを備えている画像処理装置に関し、詳しくは、画像データの色補正を行う技術に関する。

上記のように構成された、画像処理装置としては特許文献１及び特許文献２に記載されるものが存在する。

特許文献１では、人物が撮影された画像データから、肌色条件に適合する領域を肌色領域として肌色を抽出して、肌色領域の平均輝度、色差を求め、次に、肌色補正目標値として記憶されている目標値の平均輝度、色差の比較により補正量を設定する。この補正量はＹ、Ｃｂ、Ｃｒ系で表される補正関数として設定され、この補正関数に基づいて補正が行われる。

尚、この特許文献１では、証明写真の補正を想定したものであるため、マスクを用いることで人物と背景との分離を行い、背景の補正は行わず人物の領域の補正を行うように補正の形態が設定されている。また、この補正時には色バランス補正、濃度補正、彩度補正をも同時に行われる。

特許文献２では、撮影スタジオにおいて撮影された画像データを注文端末で取得し、プリントラボのプリント制御用端末に伝送する伝送系を備えると共に、ＩＣＣプロファイルを補正するＣＭＳ補正サーバと、撮影スタジオ毎にカスタマイズされた色補正データを提供するプロファイル提供サーバとを備え、撮影スタジオで撮影された画像データをプリントラボの写真プリンタでプリントできる画像形成システムが構成されている。

プリントラボにおいてプリントを行う際には、プロファイル提供サーバから撮影目的に毎に好適な仕上がりプロファイルを示す色補正データをダウンロードし、この色補正データに基づいて色補正を行う。また、撮影スタジオにおいて仕上がり確認を行う場合には、プリントラボにおいて補正された画像データを撮影スタジオの注文端末に送り返し、注文端末のモニタに再表示する。尚、ＣＭＳ補正サーバは、設定されたタイミング毎にＩＣＣプルファイルの補正要求を行い、プリント制御用端末は補正用カラーチャートをプリント出力し、その色特性を測定し、チャート測定結果とＣＭＳ補正サーバに出力する。

特開２００１‐１８６３２３号公報 （段落番号〔００５７〕〜〔００７４〕、図１０、図１１） 特開２００６−３０９４６２号公報 （段落番号〔００１７〕〜〔００２６〕、図１〜図６）

同じ部屋内で同じ被写体を撮影して得られた複数の画像データをプリントした際には、プリントされた画像の被写体の色に差異を生ずるものである。その理由として、被写体に対する照明条件が変化することや、シャッター速度や絞りの値を自動的に設定するカメラを用いた場合に、背景の明るさに被写体の色が影響される現象を考えることができる。

結婚式での撮影を考えると、新郎と新婦が主要な被写体であるため、プリントされた画像において新郎と新婦との衣装の色がプリント毎に異なるものでは、プリントの画像をアルバムに貼り付けた場合に、この衣装の色の差異が目に付くものであった。このような不都合は、プリントされた画像を観賞する場合の他に、画像データをＣＤ−Ｒ等のメディアに保存した、所謂、電子アルバムの画像データをモニタに表示して観賞する場合にも発生するものであり改善の余地があった。

このような不都合を解消するためには、主要な被写体の特定領域の色を等しくする補正を必要とするものであるが、特許文献１に記載される技術の利用を考えると、この特許文献１では人物の肌の色を肌色補正目標値にする補正が行われるものであるが、例えば、新郎や新婦の肌を抽出するために、新郎や新婦を画像データ中において指定する人為的な操作を必要とするが、手間が掛かることも考えられる。また、特許文献２では、複数の画像データを補正の対象とするものの、複数の画像データに共通する特定の被写体領域の色のバラツキを抑制するものではないものであった。

特に、結婚式を撮影した画像データでは、ウエディングドレスが主要な被写体領域であり、複数の画像データに含まれるウエディングドレスの色のバラツキをなくし、ウエディングドレスの色を統一する補正を行うことがプリントの品質を向上させ、複数の画像データをメディアに保存することにより作成した電子アルバムの価値を高めるものとなる。

本発明の目的は、複数の画像データにおいてウエディングドレスの色を均一にする画像処理装置を合理的に構成する点にある。

本発明の特徴は、デジタル信号化された画像データを取得する画像データ取得部と、この画像データ取得部で取得した画像データの画像処理を行う画像処理ユニットとを備えている画像処理装置において、
前記画像処理ユニットが、指定処理によって指定された参照画像データに含まれるウエディングドレスの領域をドレス領域として判定するドレス領域判定手段と、前記ドレス領域の色情報を参照色情報として取得する色情報取得手段とを備えると共に、
前記参照画像データ以外の画像データに含まれるウエディングドレスの領域をマッチング領域として特定する領域特定手段と、前記マッチング領域の色情報を前記参照色情報にマッチングさせる色補正処理手段を備えている点にある。

この構成によると、参照画像データに含まれるウエディングドレスの領域がドレス領域としてドレス領域判定手段によって判定されることにより、そのドレス領域から色情報取得手段が参照色情報を取得し、次に、参照画像データ以外の画像データに含まれるウエディングドレスの領域を領域特定手段がマッチング領域として特定し、このように特定されたマッチング領域の色情報を参照色情報にマッチングさせるように補正処理手段が補正処理を行う。つまり、参照画像データのウエディングドレスの色情報が取得された後には、オペレータがウエディングドレスの領域を特定する操作を行わずとも、この参照画像データ以外の複数の画像データのウエディングドレスの色を決まったものにできる。その結果、複数の画像データにおいてウエディングドレスの色を均一にする画像処理装置が合理的に構成された。

本発明は、予め設定されたウエディングドレスの色情報と、予め設定されたウエディングドレスの形状情報との少なくとも一方に基づき、前記参照画像データから前記ドレス領域を判定するように前記ドレス領域判定手段の処理形態が設定されても良い。

この構成によると、ウエディングドレスの色情報と、ウエディングドレスの形状情報との少なくとも一方に基づいて参照画像データに含まれるウエディングドレスの領域（ドレス領域）をドレス領域判定手段が自動的に判定することが可能となる。

本発明は、モニタに表示された前記参照画像データのウエディングドレスをオペレータが人為的に指定する操作があった場合に、指定された位置を含む同色の領域を前記ドレス領域として判定するように前記ドレス領域判定手段の処理形態が設定されても良い。

この構成によると、モニタに表示された参照画像データに含まれるウエディングドレスをオペレータが人為的に指定する操作を行うことにより、ドレス領域判定手段が指定された位置を含む同色の領域をウエディングドレスの領域（ドレス領域）として特定するため、確実な特定が可能となる。

本発明は、前記領域特定手段が、前記画像データにおいて前記参照色情報と同じ色情報、又は、近似する色情報の領域を前記マッチング領域として特定しても良い。

この構成によると、参照色情報と同じ色情報、又は、近似する色情報の領域をマッチング領域として特定する処理が行われので、比較的単純な処理に基づいてマッチング領域の特定が可能となる。

本発明は、前記指定処理によって指定されたウエディングドレスを着た人物の顔情報を取得する顔情報取得手段を備えると共に、
前記領域特定手段は、前記画像データにおいて前記顔情報に適合する顔の位置を顔認識処理により特定し、この特定した顔の近傍において前記参照色情報と同じ色情報、又は、近似する色情報の領域を前記マッチング領域として特定しても良い。

この構成によると、ウエディングドレスを着た人物の顔情報を取得しておき、領域特定手段によってマッチング領域を特定する際には、顔認識処理によって画像データから顔情報に適合する顔の位置を特定し、この顔の近傍において参照色情報と同じ色情報、又は、近似する色の領域をマッチング領域として特定する処理が行われ、顔認識の技術に基づいた確実な特定が可能となる。

本発明は、前記色情報取得手段が、前記ドレス領域の全体において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値と平均輝度値とを前記参照色情報として取得する処理を行い、前記色補正処理手段は、前記マッチング領域の色情報を前記参照色情報と近似する色情報に補正するように色補正の処理を実行しても良い。

この構成によると、ウエディングドレスの色調と、マッチング領域の色調とを単純に一致させるものとは異なり、参照画像データにおけるドレス領域の色情報として３原色の各成分の輝度値と平均輝度値とに基づいて、この輝度値と平均輝度値とに基づいて色補正を行うことにより、全体的なグラデーションも反映した色補正を実現する。

本発明は、前記色情報取得手段が、前記参照画像データに含まれる前記ウエディングドレスと異なる補助参照領域の色情報を補助参照色情報として取得すると共に、
前記領域特定手段は、前記参照画像データ以外の画像データから前記補助参照領域に対応する領域を補助マッチング領域として特定し、前記色補正処理手段は、前記補助マッチング領域の色情報を前記補助参照色情報にマッチングさせる補正処理を行っても良い。

この構成によると、ウエディングドレス以外に、例えば、新郎のタキシードを補助参照領域として、その色情報を補助参照色情報として取得し、この補助参照色情報に基づいてタキシードの色補正を行うこと可能となる。

本発明は、プリント媒体に対して画像データのプリントを行うプリントユニットが構成されると共に、このプリントユニットに対して、前記画像処理ユニットで画像処理された画像データを伝送してプリント処理を行っても良い。

この構成によると、ウエディングドレスの色が統一されたプリントを実現する。

以下、本発明の実施形態を図面に基づいて説明する。
〔全体構成〕
図１に示すように、画像データの取得と、システム全体の制御とを行う画像処理部Ａを備えると共に、プリント媒体としての銀塩印画紙Ｐ（以下、印画紙Ｐと称する）に露光処理と現像処理とを行い、乾燥処理を行った後に送り出すプリント部Ｂ（プリントユニットの一例）を備えてデジタルミニラボと称せられる写真プリント装置が構成されている。

この写真プリント装置は、画像処理部Ａで取得した画像データと、プリントサイズやプリント枚数等のデータを含むオーダデータとを通信ケーブルＣを介して前記プリント部Ｂに対して伝送することによりプリント処理を実現すると共に、画像処理部Ａで取得した画像データをＣＤ−Ｒ等のメディアに保存する処理を実現する。

〔画像処理部〕
前記画像処理部Ａは、デスク部１に対して現像済み写真フィルムＦのコマ画像の情報を光電変換によりデジタル信号化して取り込むフィルムスキャナ２（画像データ取得部の一例）と、各種情報を表示するモニタ３と、画像処理と各種処理とを実現するように汎用コンピュータで成る画像処理装置４とを配置し、デスク部１の上面には情報を入力するキーボード５と、マウス６とを備えている。

前記画像処理装置４の上部位置にはＣＤやＭＯやＦＤ等のディスク型の記録媒体Ｍｄからの情報を取得する、あるいは、半導体型の記録媒体Ｍｓからの情報を取得するように記録媒体Ｍ（記録媒体Ｍｄと記録媒体Ｍｓとの上位概念）の構造に対応したメディアドライブ７（画像データ取得部の一例）を備え、内部に情報を保存する半導体メモリ２２やハードディスクＨＤ（図２を参照）を備えている。前記メディアドライブ７はＣＤ−ＲやＤＶＤ−Ｒ等のメディアに画像データを保存することにより、所謂、電子アルバムの作成も行えるように機能する。

前記フィルムスキャナ２は、前記写真フィルムＦのサイズに適合したフィルムキャリア８を装着し、このフィルムキャリア８に写真フィルムＦをセットしてスキャニングを開始することにより、写真フィルムＦに光源から光線を照射する状態で写真フィルムＦを副走査方向（長手方向）に搬送し、この搬送時に光電変換部において写真フィルムＦのコマ画像をデジタル信号化した画像データとして取り込む処理が行われる。そして、このように取り込まれた画像データは、前記画像処理装置４が前記半導体メモリ２２（図２を参照）やハードディスクＨＤに保存する。

〔プリント部〕
前記プリント部Ｂは、露光ブロックＥｘと、現像ブロックＤｅと、乾燥ブロックＤｒとを暗箱構造の筐体１０に収納している。筐体１０の外部には処理の後に筐体１０の上部の排出口１１から横方向に送り出し、このように送り出された印画紙Ｐをベルト搬送機構１２で水平方向に搬送し、更に、このベルト搬送機構１２から送られる印画紙Ｐをソータ１３の複数のトレー１３Ａの１つに対してオーダ単位で仕分けて集積し、また、大きいサイズの印画紙Ｐは、ベルト搬送機構１２の下方位置のラック１４で受け止めるように構成されている。

〔画像処理装置〕
図２に示すように前記画像処理装置４の概要を示している。つまり、入出力インタフェース２１と、この入出力インタフェース２１（Ｉ／Ｏ）からの情報を処理するマイクロプロセッサＣＰＵとを備えている。前記入出力インタフェース２１は、前記フィルムスキャナ２、モニタ３、キーボード５、マウス６、メディアドライブ７、ハードディスクＨＤ夫々からの情報がアクセスする。また、ＣＰＵのデータバスに対して半導体メモリ２２、オペレーティングシステム２３、画像データ取得制御部２４、プレジャッジ制御部２５、出力制御部２６、ノーマル補正部２７、ウエディング補正部Ｗとの間で情報がアクセスできるように接続している。また、入出力インタフェース２１に接続する通信ユニット２８から前記通信ケーブルＣを介して前記プリント部Ｂに対してプリント出力のための情報を送る出力系が形成されている。

前記オペレーティングシステム２３は、半導体メモリ２２を管理すると共に、ソフトウエアを半導体メモリ２２に展開して、そのソフトウエアの実行を実現すると共に、前記キーボード５やマウス６の操作情報を取得して、実行中の処理に与えるインタフェースとして機能する。

前記画像データ取得制御部２４は、前記フィルムスキャナ２あるいは前記メディアドライブ７から画像データを取得する。前記プレジャッジ制御部２５はモニタ３に対して図４に示すプレジャッジ画面５０を表示し、このプレジャッジ画面５０の表示に基づいてオペレータによる出力処理（プリント処理を行う処理又は電子アルバムを作成する処理）に必要な情報（出力処理の対象とする画像データやプリント枚数等）の入力を許容する。

前記ウエディング補正部Ｗは、結婚式を撮影した複数の画像データに含まれる新婦のウエディングドレスの色を、各画像データ毎に略均一化させるように、その画像データ全体の色補正を自動的に行うことにより、ウエディングドレスの色調のバラツキを解消する補正処理を実現する。

オペレーティングシステム２３、画像データ取得制御部２４、プレジャッジ制御部２５、出力制御部２６、ノーマル補正部２７、ウエディング補正部Ｗ夫々は前記半導体メモリ２２に展開されるソフトウエアを想定しているが、ロジック等のハードウエアで構成して良く、また、ハードウエアとの組み合わせによって構成しても良い。

〔ウエディング補正部〕
前記ウエディング補正部Ｗ（画像処理ユニットの一例）は、図３に示すように、参照処理系として参照画像データ指定手段３１と、ドレス領域判定手段３２と、色情報取得手段３３と、顔情報取得手段３４と、処理情報保存手段３５と、補助参照領域判定手段３６とを備え、また、補正処理系として処理データ取得手段３７と、領域特定手段３８と、色補正処理手段３９と、補助参照領域特定手段４０とを備えている。

前記参照画像データ指定手段３１は、前記画像データ取得制御部２４で取得した画像データから指定情報に基づいて参照画像データＲＧ（図５を参照）を指定して前記ドレス領域判定手段３２と、顔情報取得手段３４と、補助参照領域判定手段３６とに受け渡す処理を行う。

前記ドレス領域判定手段３２は、前記参照画像データ指定手段３１で指定された参照画像データＲＧ（図５を参照）に含まれるウエディングドレスの領域（図５に示すドレス領域ＲＡ）を判定情報（ウエディングドレスの色情報とウエディングドレスの形状情報との少なくとも一方の情報）に基づいて判定する処理を行う。つまり、ウエディングドレスの色情報とウエディングドレスの形状情報との情報に基づいて（ＡＮＤ条件が成立する場合に）ウエディングドレスの領域の判定を行うことや、ウエディングドレスの色情報とウエディングドレスの形状情報何れか一方（ＯＲ条件が成立する場合に）に基づいてウエディングドレスの領域を判定する。

また、このドレス領域判定手段３２は、前記参照画像データＲＧを図５に示す参照情報設定画面６０に表示した状態で（前記モニタ３に表示した状態で）オペレータがカーソルを操作して人為的にドレス領域ＲＡを指定する操作を行うことにより、指定された位置を含む同色の領域をドレス領域ＲＡとして判定する処理も実現する。これらの処理は、図９のフローチャートの＃０３ステップで実行される処理に関連する処理として後述される。

前記色情報取得手段３３は、前記ドレス領域判定手段３２で判定されたドレス領域ＲＡの色情報を参照色情報として取得する処理を行う。この色情報取得手段３３は、参照色情報としてドレス領域ＲＡの輝度値と平均濃度値とを取得する。

前記顔情報取得手段３４は、前記参照画像データＲＧにおいて前記ドレス領域ＲＡの近傍位置（例えば、ウエディングドレスの左右方向での中心位置で、上側の最も近い位置）の顔位置ＲＦにおける参照顔情報を取得する処理を行い、前記処理情報保存手段３５は、この顔情報取得手段３４で取得した参照顔情報及び前記色情報取得手段３３で取得した参照色情報を保存する処理を行う。

前記補助参照領域判定手段３６は、前記参照画像データＲＧに含まれるウエディングドレス以外の被写体の領域（図７に示す補助参照領域ＳＡ）を判定する処理を行い、前記色情報取得手段３３は、この領域における色情報を補助参照色情報として、この補助参照領域ＳＡの輝度値と平均濃度値とを取得する。

この被写体としては、新郎のタキシードや式場の壁面やテーブルに置かれた花等であり、図７に示す如く、この補助参照領域判定手段３６で被写体としてウエディングドレス以外のドレスや、タキシード等の衣服が指定された場合には、オペレータの操作に基づいて衣服であることを示す情報を前記顔情報取得手段３４に受け渡し、この前記顔情報取得手段３４において、その衣服の近傍位置（例えば、衣服の左右方向での中心位置で、上側の最も近い位置）の顔位置ＳＦにおける補助参照顔情報を取得する処理を行わせる。

前記処理データ取得手段３７は、前記画像データ取得制御部２４で取得した画像データから指定情報に基づいて画像データを取得し、この画像データを処理画像データＰＧ（図８を参照）として前記領域特定手段３８に受け渡す。

前記領域特定手段３８は、前記画像データ取得制御部２４で取得した画像データから、前記プレジャッジ制御部２５においてオペレータが選択した画像データを処理画像データＰＧとして取得して前記領域特定手段３８に受け渡すと同時に、補助参照領域ＳＡが設定されている場合には、その処理画像データＰＧを前記補助参照領域特定手段４０に受け渡す。

前記領域特定手段３８は、前記処理情報保存手段３５に保存されている参照色情報（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値・平均輝度値）と、参照顔情報と、ドレス領域ＲＡを判定する判定情報（ウエディングドレスの形状情報）とに基づき、処理画像データＰＧのマッチング領域ＭＡ（図８を参照）を特定すると共に、補助参照領域判定手段３６によって補助参照領域が設定されている場合には、補助参照色情報と、補助参照顔情報とに基づいて補助マッチング領域ｍａを特定する。

この領域特定手段３８は、マッチング領域ＭＡを特定する際に、前述した参照色情報と、参照顔情報と、判定情報のウエディングドレスの形状情報との３種の情報に適合する領域をマッチング領域と判定することが理想であるが、ウエディングドレスの形状情報に基づいて判定できない場合には、参照顔情報と参照色情報とに基づいてマッチング領域ＭＡを特定し、参照顔情報と一致する顔情報が存在しない場合には、参照色情報のみに基づいてマッチング領域ＭＡの存否を判定するように処理形態が設定されている。

これと同様に、この領域特定手段３８は、補助マッチング領域ｍａを特定する際に、補助参照色情報と、補助参照顔情報との２つの情報に基づいて領域特定することが理想であるが、この２つの情報に基づいて特定する処理を必須とするものではなく、補助参照色情報と補助参照顔情報との何れか１つの情報に基づいて補助マッチング領域ｍａを特定する処理を行うものであっても良い。

前記色補正処理手段３９は、前記マッチング領域ＭＡの色情報を、前記処理情報保存手段３５に保存されている参照色情報にマッチングさせる色補正を行う。具体的には、ウエディング領域が参照領域の色と等しくする色補正曲線を作成し、この色補正曲線に基づいて画像全体（１コマ分の画像データの全体）の色補正を行うことや、ウエディング領域の色情報と参照色情報との差分（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の差分）を求めてこの差分を小さくするように画像全体（１コマ分の画像データの全体）の色補正を行うように処理形態が設定されている。また、この色補正処理手段３９は前記補助参照領域特定手段４０での処理によって補助参照色情報が設定されている場合には、補助マッチング領域ｍａの色情報を、前記処理情報保存手段３５に保存されている補助参照色にマッチングさせるように、前述した色補正曲線や差分を求めて画像全体の色補正を行う。

前記補助参照領域特定手段４０は、前記参照画像データＲＧに含まれるウエディングドレス以外のドレスや、タキシード、あるいは、特定の被写体の領域を、前記補助マッチング領域ｍａとして特定する処理を行う。つまり、前記領域特定手段３８と同様に、前記処理情報保存手段３５に保存されている補助参照色情報（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値・平均輝度値）に基づき（顔情報が取得されている場合には顔情報も用いる）、処理画像データＰＧの補助マッチング領域ｍａを特定する。

〔ウエディング補正処理〕
本発明のウエディング補正部Ｗによるウエディング補正処理を図９のフローチャートのように示すことが可能である。つまり、前記フィルムスキャナ２あるいは前記メディアドライブ７から複数コマの画像データを前記画像データ取得制御部２４が取得し、前記ハードディスクＨＤ、あるいは、前記半導体メモリ２２に保存し、この後、オペレータの操作によりモニタ３に図４に示すプレジャッジ画面５０を表示し、このプレジャッジ画面においてオーダデータとしてプリント枚数の情報、プリント対象とする画像データを指定する情報を取得するプレジャッジ処理を実行する（＃０１、＃０２ステップ）。

図４に示すプレジャッジ画面５０は、画像データをサムネイル形式で一覧化して表示する複数（同図では６コマ分）の画像表示領域５１が形成されると共に、このプレジャッジ画面５０の下側位置には、既に設定されているオーダ情報を表示するオーダ表示部５２と、プリント等の出力処理を開始するスタートボタン５３と、前記ウエディング補正部Ｗによる補正を実現するウエディングボタン５４とが形成されている。

夫々の画像表示領域５１の上側には画像データを特定する情報（コマ番号）のコマ表示部５５が形成され、この画像表示領域５１の下側には３つの色補正表示部５６と、１つの濃度補正表示部５７と、プリント枚数表示部５８とが形成されている。

このような表示構造であるため、１本の写真フィルムＦから取得した複数の画像データや、１つの半導体型の記録媒体Ｍｓから取得した複数の画像データは、プレジャッジ画面５０の画像表示領域５１に対してサムネイル形式で表示され、ページ切換操作によって複数の画像データの全てについてプレジャッジを行える。

このプレジャッジ画面５０をモニタ３に表示した状態では、前記キーボード５での操作により、画像データを選択した状態で、「イエロー」、「マゼンタ」、「シアン」に対応した色補正と、濃度補正と、プリント枚数の設定とを行える。色補正を行った場合には、前記３つの色補正表示部５６において「イエロー」、「マゼンタ」、「シアン」に対応した補正値が数値で表示され、濃度補正表示部５７に濃度値が数値で表示され、プリント枚数表示部５８にプリント枚数が表示される。同図に示す補正量の「Ｎ」はニュートラル、つまり、補正が行われていないことを示している。

また、このプレジャッジ画面５０に表示された画像データのうち補正を行う必要があるものについては、マウス６の操作でカーソルを画像データの位置にセットしてダブルクリックする等の操作により、補正専用の画面（図示せず）を表示して更に、詳細な補正を行うことも可能である（前記ノーマル補正部２７による処理）。

このようにプレジャッジ画面５０の画像表示領域５１に画像データが表示されている状態で、前記ウエディングボタン５４をカーソルで選択して操作することにより、ウエディング補正が開始される。

このウエディング補正が開始時には、プレジャッジ画面５０と重複する状態（オーバラップする状態）で図５に示す参照情報設定画面６０がモニタ３に表示され、この参照情報設定画面６０において、ウエディング補正に必要な情報をオペレータが設定することになる（＃０３、＃０４ステップ）。

この参照情報設定画面６０は、参照画像データ表示部６１と、顔認識チェック部６２と、判定情報確認ボタン６３と、マニュアル判定ボタン６４と、補助参照領域ボタン６５と、補助顔認識チェック部６６と、参照画像変更ボタン６７と、キャンセルボタン６８と、ＯＫボタン６９とが形成されている。

この参照情報設定画面６０は、参照画像データ表示部６１において参照する参照画像データＲＧが前記参照画像データ指定手段３１で自動的に取得され、参照画像データ表示部６１にサムネイル形式で表示されると共に、ドレス領域判定手段３２において参照画像データＲＧのウエディングドレスのドレス領域ＲＡが判定され、その輪郭を強調することや、領域全体をブリンクさせる表示が行われる。

このようにドレス領域判定手段３２によってドレス領域ＲＡが判定された場合には、前述した通り、判定情報（ウエディングドレスの色情報やウエディングドレスの形状情報等）に基づいて判定することになり、このように判定されたドレス領域ＲＡの色情報が、参照色情報として色情報取得手段３３で取得される。

参照画像データ表示部６１に表示する参照画像データＲＧは、前記プレジャッジ処理のために取得した複数の画像データのうち、適度の大きさのドレス領域ＲＡを有するものを前記参照画像データ指定手段３１が、判定情報（ウエディングドレスの色情報やウエディングドレスの形状情報等）に基づいて自動的に抽出するように処理のデフォルトが設定されている。尚、このように自動的に参照画像データＲＧが抽出された後には、前記ドレス領域判定手段３２によってドレス領域ＲＡを判定する処理が行われる。

また、参照画像データＲＧの顔認識を行う場合（顔認識チェック部６２にチェックがある場合）には、顔情報取得手段３４が顔認識処理によって顔位置ＲＦにおける顔情報を参照顔情報として取得する。このように顔位置ＲＦが適正に取得された際には、図５に示す如く顔位置ＲＦを示すフレームが参照画像データ表示部６１に表示され、取得した参照顔情報と、前記参照色情報とが前記処理情報保存手段３５に保存される。

前記顔情報取得手段３４が顔認識処理によって参照顔情報を取得する処理は、特開平８−６３５９７号公報、特開２０００−４８１８４号公報等に示される公知技術によって実現される。

前記判定情報は、前記判定情報確認ボタン６３をカーソルで選択して操作することにより確認できる。具体的には、図６に示す確認画面７１がモニタ３に表示される。この確認画面７１には、ドレス表示領域７２と、変更ボタン７３と、ＯＫボタン７４とが形成され、ドレス表示領域には設定されている判定情報として、ウエディングドレスの色情報やウエディングドレスの形状情報が表示される。この判定情報を変更する際には変更ボタン７３を表示することにより、予め保存されているウエディングドレスの形状の一覧と、ウエディングドレスの色を選択するカラーパレットとが選択可能に表示され（図示せず）、オペレータが任意に選択し、ＯＫボタン７４で決定できる。

前記参照情報設定画面６０の参照画像データ表示部６１に表示する画像データをオペレータが指定する場合には、前記参照画像変更ボタン６７をカーソルで選択して操作することにより、参照画像データ指定手段３１が前記ハードディスクＨＤや、半導体メモリ２２に保存されている画像データのファイルの一覧がモニタ３に表示され、この一覧から必要とするものの選択が可能となり、オペレータが選択したものが参照画像データ表示部６１に表示される。このように参照画像データＲＧを選択する処理が、参照画像を指定する指定処理に対応する。

このように、オペレータが参照画像変更ボタン６７を操作することで参照画像データＲＧを新たに指定した場合には、前記プレジャッジのために取得した複数の画像データから参照画像データＲＧを自動的に取得した場合と同様に、参照画像データ表示部６１に参照画像データＲＧが表示されると共に、判定情報に基づいてドレス領域ＲＡが選択状態で表示され、顔認識を行う場合（顔認識チェック部６２にチェックがある場合）には、適正に顔情報を取得した際に、顔位置ＲＦを示すフレームが表示される。

この参照情報設定画面６０において、ドレス領域ＲＡが適正に判定されない場合には、前記マニュアル判定ボタン６４をカーソルで選択して操作することにより、参照画像データ表示部６１にカーソルが表示され、オペレータがカーソルでウエディングドレスの領域を指定してクリックする等の操作でドレス領域ＲＡの強制的な判定を行える。つまり、クリックされたタイミングでのカーソルで指定した位置を含む同色の領域をドレス領域ＲＡとしてドレス領域判定手段３２が判定することになり、前述と同様に、このドレス領域ＲＡの輪郭を強調することや、領域全体をブリンクさせる等の表示が行われる。このようにドレス領域ＲＡが判定された後には、前述した処理と同様に、ドレス領域ＲＡの色情報が、参照色情報として色情報取得手段３３で取得され、顔情報取得手段３４が顔認識処理によって顔位置ＲＦにおける顔情報を、参照顔情報として取得することになる。

更に、参照情報設定画面６０の補助参照領域ボタン６５をカーソルで選択して操作した場合には、ドレス領域ＲＡ以外の被写体をカーソルで指定することにより、前記補助参照領域判定手段３６が補助参照領域を設定することが可能となる。

その具体的な参照画像データＲＧとして図７に示すものを例に挙げると、新郎のタキシードを補助参照領域に設定するように、カーソル操作によってタキシードを選択し、クリック操作した場合には、カーソルで指定された位置を含む同色の領域（タキシードの領域）が補助参照領域ＳＡとして決定される。また、補助顔認識チェック部６６にチェックがある場合には、顔情報取得手段３４が顔認識処理により、補助参照領域ＳＡの近傍で直上位置の顔位置ＳＦを判別し、適正に判別された際には、この顔位置ＳＦを示すフレーム表示を行い、この顔位置ＳＦにおける顔情報を取得する。

この補助参照領域判定手段３６において補助参照領域ＳＡが指定された場合には、その補助参照領域ＳＡの色情報が前記色情報取得手段３３で、補助参照色情報として取得され、顔情報が取得された場合には、この顔情報とともに前記処理情報保存手段３５に保存される。

このように、参照情報設定画面６０において必要な操作を行った後には、この参照情報設定画面６０のＯＫボタン６９を操作することにより設定が終了し、プレジャッジ画面５０の画像表示領域５１に表示されている画像データのうち出力対象（プリント対象）に設定されたものについて補正処理を行う（＃１００、＃０５ステップ）。

この補正処理（＃１００ステップ）は図１０のようにサブルーチンとして設定されている。つまり、前記プレジャッジのために取得した複数の画像データから１つの画像データを処理画像データＰＧとして取得し、例えば、図８に示すマッチング領域ＭＡの存否を判定する（＃１０１、＃１０２ステップ）。

＃０２ステップにおいてマッチング領域ＭＡの存否を判定する処理形態として、領域特定手段３８が、前記処理情報保存手段３５に保存されている参照顔情報と一致する顔情報の存否を顔認識技術によって判定する処理を行い、顔情報の存在が認められた場合には、顔位置ＭＦの下側において、前記処理情報保存手段３５に保存されている参照色情報と一致又は近似する色の領域の存否を判定する処理を行い、判定情報のうちウエディングドレスの形状と整合する領域の存否を判定し、これらに基づいてマッチング領域ＭＡの存否が判別される。

このようにマッチング領域ＭＡの存否を判別する際に、参照顔情報と、参照色情報と、判定情報（ウエディングドレスの形状）とに適合する領域をマッチング領域ＭＡと判定することが理想であるが、例えば、新婦が椅子に着座した姿勢にある場合や、全身が撮影されていない場合には、ウエディングドレスの形状を適正に把握できないので、参照顔情報と参照色情報とに基づいてマッチング領域ＭＡを特定し、例えば、画像データ中の顔が小さい場合や、画像中の顔が横顔である場合のように、参照顔情報と一致する顔情報が存在しない場合には、参照色情報のみに基づいてマッチング領域ＭＡの存否を判定するように処理形態が設定されている。尚、参照画像データ表示部６１において、顔認識チェック部６２にチェックが行われていない場合には、必然的に参照色情報のみよってマッチング領域ＭＡの判定が行われる。

これらの処理によってマッチング領域ＭＡ存在しないことを判定した場合には、その処理画像データＰＧの処理を中止して、複数の画像データから次の画像データを処理画像データＰＧとして取得する処理に移行する（＃１０２、＃１０９ステップ）。この処理でマッチング領域ＭＡの存在が判定された場合には、補助参照領域の設定の有無を判定し、設定されている場合には補助マッチング領域ｍａの存否を判定する（＃１０２〜＃１０５ステップ）。

＃１０５ステップにおいて補助マッチング領域ｍａの存否を判定する処理形態として、前記領域特定手段３８は、前記処理情報保存手段３５に保存されている補助参照顔情報と一致する顔情報の存否を顔認識技術によって判定する処理を行い、顔情報の存在が認められた場合には、顔位置ｍｆの下側において、前記処理情報保存手段３５に保存されている補助参照色情報と一致又は近似する領域の存否を判定し、これらに基づいて補助マッチング領域ｍａの存否が判定される。

これらの処理によって存在することが判定された場合にはドレス領域ＲＡと補助参照領域との色補正処理を行い、存在しないことが判定された場合にはドレス領域ＲＡのみの色補正処理が行われる（＃１０６〜＃１０８）ステップ。

特に補助マッチング領域ｍａの存否を判別する際に、参照顔情報と一致する顔の存在と、顔が存在する場合には顔位置ｍｆの下側において、補助参照色情報と一致又は近似する色の領域の存在との２種の存在結果に基づく処理が理想であるが、例えば、画像データ中の顔が小さい場合や、画像中の顔が横顔である場合のように、参照顔情報と一致する顔情報が存在しない場合には、参照色情報に基づいて補助マッチング領域ｍａの存否を判定するように処理形態が設定されている。尚、参照画像データ表示部６１において、補助顔認識チェック部６６にチェックが行われていない場合には、必然的に補助参照色情報のみよって補助マッチング領域ｍａの判定が行われる。

次に、補助マッチング領域ｍａの存在を判定した場合には、色補正処理において、マッチング領域ＭＡを参照色におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値・平均輝度に一致させ、かつ、補助マッチング領域を補助参照色情報の補助参照色におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値・平均輝度値に一致又は近似させる処理を行う（＃１０６、＃１０７ステップ）。

また、補助マッチング領域ｍａの存在が認められない場合、及び、補助参照領域が設定されていないことを判定した場合には、色補正処理において、マッチング領域ＭＡを参照色情報における各成分の輝度値と平均輝度値に一致又は近似させる処理を行う（＃１０６、＃１０８ステップ）。

この色補正処理は、前記色補正処理手段３９が行うものであり、＃１０８ステップにおいて、マッチング領域ＭＡを参照色情報に一致又は近似させる処理を行う際には、単純な色補正を実行するだけで済むものである。しかしながら、マッチング領域ＭＡと補助マッチング領域ｍａとの色補正を同時に行う場合には、マッチング領域ＭＡと補助マッチング領域ｍａとの色が目標とする色情報に一致しないことも考えられる。このような状況が発生した場合には、以下の処理が行われる。

つまり、本発明では、ウエディングドレスの色調を統一することに本来の目的があるので、この色補正処理手段３９が、１つの処理画像データＰＧにおけるマッチング領域ＭＡの色情報を参照色情報にマッチングさせるように処理画像データＰＧの全体の色補正を行う色補正処理と、補助マッチング領域ｍａの色情報を補助参照色情報にマッチングさせるように処理画像データＰＧの全体の色補正を行う色補正とを同時に行う場合に、マッチング領域ＭＡの色情報を参照色情報にマッチングさせる処理を損なわない範囲内で、補助マッチング領域における色補正が行われる。このような処理を行うために、マッチング領域ＭＡにおける色補正のマッチングの程度と、補助マッチング領域ｍａにおける色補正のマッチングの程度とを数値化して重み付けを行うことや、マッチング領域ＭＡにおける色補正において許容される、例えば、輝度値の範囲内においてのみ、補助マッチング領域ｍａにおける色補正を行う等の処理が考えられている。

このような処理を全ての処理画像データＰＧについて行うことにより、この補正処理ルーチンの処理が完了する（＃１０９ステップ）。

この補正の後には、プレジャッジ画面５０の画像表示領域５１に表示された画像データのうち、出力対象として選択された画像データであり、かつ、ウエディングドレスが含まれるものには、そのウエディングドレスの色調が略均一化する補正が行われ、この補正結果がプレジャッジ画面５０の画像表示領域５１に表示されている画像データに反映されるものとなり、このプレジャッジ画面５０のスタートボタン５３を選択して操作することで、出力対象として選択された画像データをプリント部Ｂに伝送して印画紙Ｐに対してプリントすることや、ＣＤ−Ｒ等に保存して電子アルバムを作成することが可能となる。

このように本発明では、取得した画像データをプリントする場合や、電子アルバムを作成する場合には、プレジャッジ画面５０において出力対象とする画像データを選択し、このプレジャッジ画面５０のウエディングボタン５４を操作することにより、先ず参照情報設定画面６０がモニタ３に表示され、この参照情報設定画面６０の参照画像データ表示部６１に参照画像データＲＧが表示されることによって、ウエディングドレスの形状や、目標とする色調を確認できるものとなる。また、この参照情報設定画面６０を表示した状態で必要な場合には、予めウエディングドレス姿が撮影されたものを参照画像データＲＧとして設定することにより、ドレス領域ＲＡの色情報としてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度情報と平均輝度情報とを精度高く取得できるばかりでなく、参照顔情報も自動的に取得できる。

この後に、補正処理においては、複数の処理画像データＰＧから、参照顔情報と、参照色情報と、判定情報のウエディングドレスの形状の情報とのうち、処理画像データに適した情報を用いてウエディングドレスが撮影されたものを抽出し、このウエディングドレスの領域をマッチング領域ＭＡとして参照色情報に一致させるように各画像データにおいて、その画像全体の色補正が自動的に行われるものとなり、例えば、印画紙Ｐにプリントされたウエディングドレスの色調のバラツキを抑制して均一化させるものとなる。

更に、例えば、タキシードが補助参照領域として設定された場合には、ウエディングドレスの色補正と同様の補正によりタキシードの色のバラツキも抑制され均一化させることも可能となる。

〔別実施形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

（ａ）実施形態では、ウエディングドレスの色として参照色情報を１つだけ設定していたが、これに代えて、ウエディングドレスの色を２種以上設定できるように処理形態を設定する。このように処理形態を設定することにより、例えば、お色直しのように、新婦のウエディングドレスの色が異なるものとなった場合にも、これに対応して複数種のウエディングドレスの色調を均一にすることが可能となる。

（ｂ）色補正の平均的な処理量を求めておき、色補正を行わなかった画像データに対しても、平均的な補正量に基づいて色補正を行う。このように、ウエディングドレスが含まれない画像データに対しても色補正を行うことにより、例えば、プリントされた画像の色調の全体的なバラツキを抑制して均一な色調に仕上げることができる。

（ｃ）画像データの処理形態や出力形態を設定するチャンネルの１つに、ウエディング補正部による色補正を実行するチャンネルを予め設定しておき、プレジャッジ画面を表示する以前に、そのチャンネルを選択することでウエディング補正を実行できるように構成しても良い。このように構成することにより、スイッチの操作を行わずに補正を実行できるものとなる。

写真プリント装置の斜視図 画像処理装置のブロック回路図 ウエディング補正部の詳細を示すブロック回路図 プレジャッジ画面を示す図 参照情報設定画面を示す図 確認画面を示す図 参照画像データを示す図 処理画像データを示す図 ウエディング補正処理のフローチャート 補正処理ルーチンのフローチャート

符号の説明

２ 画像データ取得部（フィルムスキャナ）
４ 画像処理装置
７ 画像データ取得部（メディアドライブ）
３２ ドレス領域判定手段
３３ 色情報取得手段
３６ 顔情報取得手段
３８ 領域特定手段
３９ 色補正処理手段
Ｂ プリントユニット（プリント部）
ＭＡ マッチング領域
ＳＡ 補助参照領域
Ｐ プリント媒体（印画紙）
ＰＧ 処理画像データ
ＲＡ ドレス領域
ＲＧ 参照画像データ
Ｗ 画像処理ユニット（ウエディング補正部）

Claims (8)

1. デジタル信号化された画像データを取得する画像データ取得部と、この画像データ取得部で取得した画像データの画像処理を行う画像処理ユニットとを備えている画像処理装置であって、
   前記画像処理ユニットが、指定処理によって指定された参照画像データに含まれるウエディングドレスの領域をドレス領域として判定するドレス領域判定手段と、前記ドレス領域の色情報を参照色情報として取得する色情報取得手段とを備えると共に、
   前記参照画像データ以外の画像データに含まれるウエディングドレスの領域をマッチング領域として特定する領域特定手段と、前記マッチング領域の色情報を前記参照色情報にマッチングさせる色補正処理手段を備えている画像処理装置。
2. 予め設定されたウエディングドレスの色情報と、予め設定されたウエディングドレスの形状情報との少なくとも一方に基づき、前記参照画像データから前記ドレス領域を判定するように前記ドレス領域判定手段の処理形態が設定されている請求項１記載の画像処理装置。
3. モニタに表示された前記参照画像データのウエディングドレスをオペレータが人為的に指定する操作があった場合に、指定された位置を含む同色の領域を前記ドレス領域として判定するように前記ドレス領域判定手段の処理形態が設定されている請求項１記載の画像処理装置。
4. 前記領域特定手段が、前記画像データにおいて前記参照色情報と同じ色情報、又は、近似する色情報の領域を前記マッチング領域として特定する請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記指定処理によって指定されたウエディングドレスを着た人物の顔情報を取得する顔情報取得手段を備えると共に、
   前記領域特定手段は、前記画像データにおいて前記顔情報に適合する顔の位置を顔認識処理により特定し、この特定した顔の近傍において前記参照色情報と同じ色情報、又は、近似する色情報の領域を前記マッチング領域として特定する請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記色情報取得手段が、前記ドレス領域の全体において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の各成分の輝度値と平均輝度値とを前記参照色情報として取得する処理を行い、前記色補正処理手段は、前記マッチング領域の色情報を前記参照色情報と近似する色情報に補正するように色補正の処理を実行する請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記色情報取得手段が、前記参照画像データに含まれる前記ウエディングドレスと異なる補助参照領域の色情報を補助参照色情報として取得すると共に、
   前記領域特定手段は、前記参照画像データ以外の画像データから前記補助参照領域に対応する領域を補助マッチング領域として特定し、前記色補正処理手段は、前記補助マッチング領域の色情報を前記補助参照色情報にマッチングさせる補正処理を行う請求項１〜６のいずれか１項に記載の画像処理装置。
8. プリント媒体に対して画像データのプリントを行うプリントユニットが構成されると共に、このプリントユニットに対して、前記画像処理ユニットで画像処理された画像データを伝送してプリント処理を行わせる請求項１〜７のいずれか１項に記載の画像処理装置。

Images