JP2006074742A - 撮影シーン補正方法、プログラム、及びこの方法を実施する撮影シーン補正処理システム - Google Patents

Abstract

【課題】撮影画像コマにおける撮影シーン補正において補正もれや誤補正の問題を出来るだけ簡単に抑制する技術を提供する。
【解決手段】撮影画像コマに生じている撮影シーン別の画質不良を補正するために、入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択し、選択された撮影画像コマを撮影シーン補正候補コマとして表示し、表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定し、撮影シーン補正を実行する。
【選択図】 図１０

Description

本発明は、撮影画像コマの画像品質を低下させている撮影シーンを補正する方法、プログラム、及びこの撮影シーン補正方法を実施する撮影シーン補正処理システム、特には赤目や逆光などの撮影シーンの補正に関する技術に関する。

人物や動物などを被写体としてストロボ撮影した場合、ストロボ光の一部が眼球内の血管等で反射してカメラ側に戻ってくることで、撮影画像コマにおいて瞳の中央が赤色ないしは実際とは異なる色となる、いわゆる赤目現象を生じることがある。これは、撮影画像コマの画像品質を低下させている撮影シーンの代表例である。また、背景に太陽や強い反射光が存在するために背景に較べ顔が暗くなってしまう現象も逆光と呼ばれる撮影シーンの典型である。

特に赤目と呼ばれる撮影シーンは撮影画像の品質を大きく低下させるので、デジタルカメラの普及や写真フィルムの撮影画像コマをデジタル化するフィルムスキャナの普及により、この赤目問題を画像処理技術で解決することが数多く提案されている。もちろん、赤目部分の画素をモニタを通じて目で確認しながらその画素の色合いを実際の色合いに修正していくという職人的技術によってもこの補正作業が可能であるが、その補正作業に頻雑さや熟練さが要求される等を考慮すると一般的ではない。このため、パターン認識技術等を利用して瞳孔位置を抽出し、あるいは画像内の赤色部分を抽出して、この部分を色変換するといった自動化技術も考えられているが、正確に赤目を認識することは困難であり、それを行ったとしてもその画像処理技術が極めて複雑となり、装置自体も高価なものとなってしまう。

例えば、色調不良となった目領域を含む領域をまず指定し、その領域において、明度や赤味を組み合わせた特徴量を用いて、赤目部とその隣接する白目及び肌部との間に谷間ができることを利用し、前記特徴量の山毎に領域分割することで赤目部を白目及び肌部と分離する技術がある（例えば、特許文献１参照。）。この技術は、赤目部分は瞳孔部の中心程網膜からの反射が強いため、明度は中央から周辺部に向けて低下する傾向を持つことからキャッチライトも含めて明度が山状に分布すること、及び虹彩部が青目系瞳では赤みの値の大きさについて赤目となった瞳孔部との谷間となることを利用している。つまり、赤味という色に関する目領域の強度分布から赤目、白目及び肌部を区分けしようとしている。このため、ストロボ光が不十分で例えば、室内照明のタングステン光の影響が強い顔写真の場合には瞳部分だけではなく顔全体が赤みを帯びることになるにもかかわらず、通常の赤目補正が施されることになり、赤目補正された瞳の色味が顔全体の色味との違和感を生じ、人物写真としての品質はかえって悪化することにもなりかねない。

また、顔面特有の複数の色成分画像を抽出して被写体人物の赤目位置を検出する技術、つまり撮像画像内から低彩度領域及び低照度領域の少なくとも一方の領域と肌色領域とが抽出され、これらの抽出信号を用いて、例えば論理積をとることで、人物の眼を含む領域が抽出され、更に、抽出された赤色部信号を用いて、目を含む領域から、赤目が発生しているときは、当該赤目位置が検出され、このようにして得られた赤目位置データに基づいて赤目位置の赤色が別の色に、例えば一般的な黒目に補正する技術もある（例えば、特許文献２参照。）。この技術では予め目領域を自動的に選択することから、上記従来技術に較べ、さらに、ストロボ光以外の要因で瞳を含む顔全体が赤みがかった場合においても赤目補正を施す可能性が高いにもかかわらず、特にタングステン照明下での撮影で生じやすい顔全体が赤味がかった撮影画像コマに対して赤目補正を回避することが考慮されていないので、赤目補正が思わない失敗を引き起こす可能性がある。

上述したような赤目補正だけでなく逆光撮影や雪山撮影などの補正をといった、いわゆる撮影シーン補正を自動的に行う技術はまだ十分に完成されたものではなく、補正もれや誤補正といった問題が避けられず、このような撮影シーン補正技術を一般的な写真ショップで使用されている写真プリント装置に組み込んだ場合写真プリントのやり直しの増大という不利益を導くことになる。

特開２０００−７６４２７号公報（段落番号０００９−００１１、００５８−００７１、第１０図） 特開平６−２５８７３２号公報（段落番号０００６−０００９、００１９−００２３、第６図）

上記実状に鑑み、本発明の課題は、撮影画像コマの画像品質を低下させている撮影シーンを補正する際に補正もれや誤補正の問題を出来るだけ簡単に抑制する技術を提供し、赤目補正技術やその他の撮影シーン補正技術を採用した写真プリント装置などの写真処理装置を広めることである。

上記課題を解決するため、撮影画像コマの画像品質を低下させている撮影シーンを補正する本発明による撮影シーン補正方法は、入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択するステップと、前記選択された撮影画像コマを撮影シーン補正候補コマとして表示するステップと、前記表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定するステップと、前記撮影シーン補正対象コマに対して撮影シーン補正処理を実行するステップとから構成されている。

この方法では、入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性があるとして選択された撮影画像コマに対しては、他の撮影画像コマとは区別して撮影シーン補正候補コマとして表示されるので、ユーザ（例えば写真プリント装置のオペレータ）は撮影シーン補正候補コマにだけ注目して観察し、実際に撮影シーン補正をすべきと判断した場合にはその撮影シーン補正候補コマを撮影シーン補正対象コマとし、最終的にはそのように決定された撮影シーン補正対象コマだけが特定の撮影シーン補正処理（赤目補正処理、逆光補正処理など）を施されるので、補正もれや誤補正が格段に少なくなる。しかも、オペレータは撮影シーン補正候補コマだけに注目して判断するので、撮影シーン補正におけるオペレータの負担も小さいものとなる。

一般的な写真プリント装置では、内部的に取り扱われる撮影画像コマにはプリント目的の高解像度画像とモニタ表示目的の低解像度画像の２つが用意されている。撮影画像コマのソースが写真フィルムの場合フィルムスキャンを読取解像度が異なるプレスキャンモードと本スキャンモードの２つのモードで駆動することにより撮影画像コマ毎に高解像度画像と低解像度画像を得ることができるし、撮影画像コマのソースがデジタルカメラ等の場合通常各撮影画像コマにサムネイル画像（低解像度画像）も含まれているのでそれを利用できるし、サムネイル画像が含まれていなければ本データから縮小画像を作り出して低解像度画像とすることができる。一般に、高解像度画像のメモリサイズは低解像度に較べ１０倍以上の大きさとなることから、処理速度の点で高解像度画像と低解像度画像の使い分けが重要となることから、本発明の好適な実施形態の１つでは、前記画像品質低下の可能性がある撮影画像コマの選択、及び前記撮影シーン補正候補コマの表示は、前記撮影画像コマの低解像度画像を用いて行われ、前記撮影シーン補正対象コマ決定ステップは前記撮影画像コマの低解像度画像又は高解像度画像のいずれかを用いて行われ、前記撮影シーン補正処理は前記撮影画像コマの高解像度画像を用いて行われる。

入力された撮影画像コマをチェックするために、数枚単位で撮影画像コマが表示されるような表示画面において、撮影シーン補正候補画像コマと判定された撮影画像コマに、アイコンや枠線などによる補正シーン補正対象識別マークを表示するように構成すると、ユーザ（オペレータ）が補正シーン補正の対象となっている撮影画像コマを即座に認識することができ、そのコマ画像をチェックすることで、画質品質の低下が見られない撮影画像コマに何らかの撮影シーン補正が施されて誤補正することが少なくなる。

さらに、撮影シーン補正候補コマのチェック時に、例えば、撮影シーン補正対象識別マークをクリックすることでポップアップされるメニュを通じて撮影画像コマの拡大表示や撮影シーン補正パラメータの設定が可能となると好都合である。特に、撮影シーン補正パラメータの設定において、撮影シーン補正のマニュアルでの補正強度設定などの補正パラメータ設定が可能とするならば、品質の高い補正シーン補正が実現する。

特に画像品質を低下させる代表的な撮影シーンとして赤目が挙げられるが、本発明による撮影画像コマに生じている赤目を補正する赤目補正方法は、入力された撮影画像コマから顔領域を検出するステップと、顔領域が検出された撮影画像コマを赤目補正候補コマとして表示するステップと、表示された赤目補正候補コマから実際に赤目補正処理を施される赤目補正対象コマをユーザ指示入力に基づいて決定するステップと、前記赤目補正対象コマに対して赤目補正処理を実行するステップとから構成される。

この方法では、入力された撮影画像コマのうち、顔検出アルゴリズムにより顔が存在しているとみなされた撮影画像コマに対しては、他の撮影画像コマとは区別して赤目補正候補コマとして表示されるので、ユーザ（例えば写真プリント装置のオペレータ）は赤目補正候補コマにだけ注目して観察し、実際に赤目補正をすべきと判断した場合にはその赤目補正候補コマを赤目補正対象コマとし、最終的にはそのように決定された赤目補正対象コマだけが赤目補正処理を施されるので、補正もれや誤補正が格段に少なくなる。しかも、オペレータは赤目補正候補コマだけに注目して判断するので、赤目補正におけるオペレータの負担も小さいものとなる。

さらに、赤目補正候補コマのチェック時に、例えば、赤目補正対象識別マークをクリックすることでポップアップされるメニュを通じて撮影画像コマの拡大表示や赤目補正パラメータの設定が可能となると好都合である。特に、赤目補正パラメータの設定において、赤目補正のマニュアルでの補正強度設定や、瞳色の色設定が可能とするならば、品質の高い赤目補正が実現する。

本発明の好適な実施形態として特に提案される前記赤目補正処理は、前記赤目補正対象コマで検出された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算ステップと、前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定ステップと、前記顔領域から瞳領域を抽出する瞳抽出ステップと、前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正ステップとから構成されている。この赤目補正処理方法では、赤目補正に先だって顔領域を構成する画素の画素値から顔領域がタングステン照明などの影響で赤系の色かぶりをしているかどうかチェックされ、得られた色かぶり度に基づいて赤目補正の補正度（補正強度）を決定してから、よく知られた抽出アルゴリズムに基づいて抽出された瞳領域に対する必要に応じた赤目補正を行う。このため、タングステン照明下で不十分なストロボ光による撮影のため顔全体が赤味がかった撮影画像では、弱められた補正度によって赤目補正を行うか、あるいは色かぶり度が強い場合にはむしろ赤目補正自体を断念する（補正度＝０での赤目補正）ことで、不要な赤目補正（誤補正）による人物（顔）写真の不具合を回避することができる。

なお、１つの撮影画像コマには複数の顔（領域）が含まれていることがあるが、そのようなケースでは２つの処理方法が提案される。その１つは、各顔領域毎に赤目補正度を決定して各顔領域の赤目補正を行うことであり、時間はかかるが最も確実な処理となる。他の１つは、１つの顔領域によって決定された赤目補正度を用いて全ての顔領域の赤目補正を行うことであり、タングステン照明などの影響による赤系かぶりは撮影画像コマ全体に及んでいると考えられ、１つの顔の色かぶり度を全ての顔にも適用することで、若干の信頼性が犠牲になるかもしれないが処理の高速化が得られる。このような処理の選択は要求される写真品質に基づくものなので、その２つの処理方法を任意に選択可能に構成することが好ましい。

また、本発明は、上述した撮影シーン補正方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

本発明では、さらに上述した撮影シーン補正方法を実施する撮影シーン処理システムも権利の対象としており、そのような赤目処理システムは、入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択する撮影画像コマ選択ユニットと、前記選択された撮影画像コマを撮影シーン補正候補コマとして表示させるとともに、前記表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定する撮影シーン補正管理部と、前記撮影シーン補正対象コマに対して撮影シーン補正処理を実行する撮影シーン補正部とから構成されている。当然ながら、このような撮影シーン補正処理システムも上述した撮影シーン補正方法で述べたすべての実施態様を備えるとともに、上述した全ての作用効果を得ることができる。

また、上記撮影シーン補正処理システムの一例として、赤目を対象としたシステムは、入力された撮影画像コマから顔領域を検出する顔検出ユニットと、顔領域が検出された撮影画像コマを赤目補正候補コマとして表示させるとともに前記表示された赤目補正候補コマから実際に赤目補正処理を施される赤目補正対象コマをユーザ指示入力に基づいて決定する赤目補正管理部と、前記赤目補正対象コマに対して赤目補正処理を実行する赤目補正部とから構成されている。さらに、入力された撮影画像コマ全てに対して、顔領域の有無、顔領域を含む赤目補正候補に対するチェック結果、さらにはマニュアル設定された赤目補正パラメータを管理するために、好適な形態では、入力された撮影画像コマ毎の、検出顔領域情報、赤目補正実施要否情報、赤目補正パラメータ設定情報を記録する赤目補正管理テーブルが備えられている。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明の実施の形態について、図面に基づいて説明する。
図１は本発明による撮影シーン補正技術の１つとしての赤目補正技術を採用した写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像コマ（画像処理上は撮影画像データと表現されるべきであるが、画面表示等では撮影画像コマと表現した方が適切であるため、特に区別する必要がある場合を除いて、ここでは以後撮影画像と略称する）を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃとを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データを取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種メモリカードやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種操作ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、プリント管理部３２で管理されるプリント枚数設定や色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像やＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像データや画像処理が完了した処理済み撮影画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードによってそれぞれの適切なタイミングで生成された低解像度と高解像度のスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合、取り込んだ撮影画像にサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。また、この画像入力部３１には、写真プリント受付装置と呼ばれているセルフサービスで写真プリントを受け付ける装置も接続されており、この写真プリント受付装置から、プリントサイズやプリント枚数を記録しているプリント注文データと撮影条件などを記録している画像属性データと撮影画像データとを受け取ると、撮影画像データをメモリ３０に転送し、プリント注文データや画像属性データをプリント管理部３２に転送する。通常の写真プリント注文の場合には、プリントサイズやプリント枚数などのプリント注文データ及び必要の場合ストロボ撮影の有無や被写体情報やカメラ機種などの属性データは、キーボード２４を通じてオペレータの操作入力によってプリント管理部３２に与えられる。

プリント管理部３２は、プリントサイズやプリント枚数、さらには個別の色補正などを管理するプリント注文処理ユニット６０、メモリ３０に展開された撮影画像に対して色補正やフィルタリング（ぼかしやシャープネスなど）などのフォトレタッチ処理を施す画像処理ユニット７０、及びメモリ３０に展開された撮影画像から顔領域を検出して、その座標位置や向きなどの顔検出情報を与える顔検出ユニット８０も備えられている。

プリント注文処理ユニット６０には、プリント枚数設定や色補正等をオペレータがマニュアルで行うプレジャッジプリント作業を管理するプレジャッジプリント管理部６１が組み込まれており、チェックないしは入力設定の対象となる撮影画像を数枚単位で表示するプレジャッジ画面や単一の撮影画像を拡大して表示する編集画面を生成する機能を有し、ＧＵＩ部３３と協働してこれらの画面をオペレータとの間での双方向コミュニケーションを可能とする形でモニタ２３に表示する。

前述した顔検出ユニット８０は汎用的なものを使用することが可能であるが、ここでは、顔検出アルゴリズムに基づいて撮影画像中の顔と見なされる領域を検出してその顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔領域データ、及び顔の正立・倒立といった構図姿勢を顔角度として表している顔姿勢データが顔検出情報として出力されるものが使われている。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平１１−３３９０８４号公報、特開２０００−９９７２２号公報、特開２０００−２２９２９号公報が参照される。

画像処理ユニット７０には、上述した機能以外に、本発明を特徴づけている撮影シーン補正の１つである赤目補正処理を実行する赤目処理手段９０が備えられており、この赤目処理手段９０には、図４に示すように、顔検出ユニット８０から得られる顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算部９１と、求められた色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定部９２と、顔検出ユニット８０から得られる顔領域から瞳領域を抽出する瞳抽出部９３と、赤目補正度決定部９２で決定された赤目補正度に基づいて瞳領域に対する赤目補正を行う赤目補正部９４と、入力された撮影画像毎の、顔検出ユニット８０からの検出顔領域情報、後で詳しく説明されるプレジャッジ画面や編集画面を通じて作り出される赤目補正実施要否情報や赤目補正パラメータ設定情報を記録する赤目補正管理テーブル９５と、赤目処理手段９０における赤目補正処理の全体を管理する赤目補正管理部９６とが構築されている。

色かぶり度演算部９１は、顔検出ユニット８０から与えられる顔領域データに基づいてメモリ３０に展開されている撮影画像の顔領域の全画素（Ｒ・Ｇ・Ｂのカラー画素値を持つカラー画素）における赤色成分の濃度値：Ｒの平均値：Ｒaveと青色成分の濃度値：Ｂの平均値：Ｂaveを求め、その差分値：Ｄ＝Ｒave−Ｂaveを赤系色かぶり度とする。もちろん、この色かぶり度として差分値：Ｄを最大値や濃度平均値などで正規化することも好ましいが、ここでは説明を簡単にするため、差分値：Ｄを色かぶり度としておく。赤目補正度決定部９２は、色かぶり度演算部９１で得られた色かぶり度：Ｄに基づいて、例えば図５に示すようなグラフで表される色かぶり度：Ｄに応じて変化する赤目補正の補正度（補正強度）：δを決定する。図５の例では、色かぶり度：Ｄと補正度：δの関係を示す関数：Ｆは、色かぶり度の下限値：ｄ1以下の領域で補正度：δは１、つまり最大強度となり、色かぶり度上限値：ｄ2以上の領域で補正度：δは０、つまり赤目補正は行わないと
なっている。この下限値：ｄ1と上限値：ｄ2は統計的かつ経験的な考察から求められるが、例えば８ビットカラーの場合その差分値は０〜２５５の値をとることができるので、その数パーセント程度の値が基準となる。なお、この赤目補正度は編集画面を通じてオペレータ入力によりマニュアル設定することも可能となっている。

赤目補正を行う前に赤目としての瞳の領域に含まれる画素を抽出する必要があるが、これは瞳抽出部９３で行われる。この実施形態では、顔検出ユニット８０によって撮影画像から顔領域の位置や顔角度（顔姿勢）が知らされているので、比較的簡単なアルゴリズムで瞳領域画素を抽出することができる。典型的には、各色成分での濃度値に基づく肌色検出条件を用いて肌色画素を抽出するとともに、抽出された肌色画素の濃度値に依存して決定される白色検出条件を用いて白色（白目）画素を抽出し、後は、瞳の幾何形状的特性を考慮して瞳領域画素を決定するとよいが、その他適切な公知の瞳検出アルゴリズムを用いてもよい。瞳抽出部９３は瞳領域画素の決定に準じて瞳画素に位置を規定する瞳画素マップ９３ａを作成する。

このようにして、撮像画像における瞳画素の位置を規定している瞳画素マップ９３ａが作成されると、後は、適切な赤目補正アルゴリズムを実装している赤目補正部９４によって瞳領域が赤目と判定された場合その瞳領域に含まれる画素つまり赤目画素が補正される。瞳領域が赤目であるかどうかは、前述した赤系色かぶりと同様な判定条件で、好ましくはさらに厳しくした判定条件で行うことが可能である。

この赤目補正部９４での赤目補正に関しては、この実施の形態では、赤目画素の彩度を下げることで赤目補正されることになるが、その彩度減少の計算式は、先に決定された補正度：δを用いて以下に示されている；
d=(R＋G＋B)／3、
R'=δ×d＋(1−δ)×R、
G'=δ×d＋(1−δ)×G、
B'=δ×d＋(1−δ)×B。
つまり、赤目と判定された瞳画素の濃度値（R,G,B）が（R',G',B'）に変更されることで
、赤目が低彩度の瞳色となる（彩度の低下度合いは当然δの値によって異なる）。この計
算式では、補正度：δが「０」の時、補正がなしとなり、補正度：δが「１」の時、補正の度合いが最大、つまりその色はグレーとなる。補正度：δが「１」や「０」及びその周辺の値をとるのは極端なケースであり、通常の赤目補正では、補正度：δは、0.45〜0.55程度となる。

なお、赤目画素の彩度を下げることで赤目補正することは、実際の瞳色が明るいブルーやグリーンの場合では必ずしも良い結果を生み出さない。このようなケースにおいては、オプションで備えられる瞳色設定部によって設定入力された瞳色がもつ輝度値に赤目画素の輝度値を近づけるような処理を赤目補正処理として採用すると良い。

次に、この写真プリント装置に組み込まれている撮影シーン補正処理の１つである赤目補正処理を含む写真プリント出力の典型的な流れを図６のフローチャートを用いて説明する。
まず、１オーダ分（写真フィルム１本分又はメモリカード１枚分）の撮影画像をメモリ３０に展開する（＃１０）。次に、メモリ３０に展開されている撮影画像に対して顔検出ユニット８０が顔検出処理を行うが、ここでは低解像度画像が処理対象となっており、顔検出ユニット８０は得られた顔検出情報を赤目処理手段９０に出力する（＃２０）。続いて、プレジャッジプリント作業に入ると、まず顔領域が検出された撮影画像に対しては赤目補正対象識別マーク（撮影シーン補正対象識別マークの一例）としての目玉アイコンを付随させた形で、６コマや８コマなどの多数コマ表示画面をプレジャッジ画面を表示するプレジャッジ画面表示処理を行い（＃４０）、表示されたプレジャッジ画面を通じて赤目補正候補の内から実際に赤目補正処理（撮影シーン補正処理の一例）を施すものを選択決定する処理を含むプレジャッジ処理を行う（＃６０）。赤目補正対象となった撮影画像に対する赤目補正処理を含む画像処理を行う（＃８０）。画像処理を終えた撮影画像の画像データをプリントデータ生成部３６に送ってプリントデータを生成し、最終的にプリントステーション１Ｂにおいて写真プリントＰを出力する（＃１００）。

上述した赤目補正処理において、１オーダ分の撮影画像のそれぞれに対して検出顔領域情報、赤目補正実施要否情報、赤目補正パラメータ設定情報などが、順次、赤目補正管理テーブル９５に記録されていくが、その赤目補正管理テーブル９５の内容の一例が図７に示されている。

次に図６のフローチャートを構成する主要な処理ルーチンを詳しく説明する。
図８に示すように、顔領域検出の対象となる撮影画像を順次指定し（＃２１）、それ自体は公知な顔検出アルゴリズムを用いて顔領域の検出処理を実行する（＃２２）。処理対象となっている撮影画像に顔領域が検出されていると（＃２３Yes分岐）、赤目補正管理テーブル９５の該当撮影画像コマＩＤの顔検出項目に「１」を記録する。もし１つ以上の顔領域が検出されている場合はその数を記録するとよい。処理対象となっている撮影画像に顔領域が検出されない場合（＃２３No分岐）、赤目補正管理テーブル９５の該当撮影画像コマＩＤの顔検出項目にはデフォルトで「０」が記録されているので、記録なしで次のステップに移行する。全ての撮影画像に対する顔領域検出処理が完了したどうかがチェックされ、完了するまでこの顔検出処理が続けられる（＃２５）。

プレジャッジ画面表示ルーチンは図９に示されており、まずプレジャッジ画面に表示する撮影画像のコマ数を指定する（＃４１）。通常、この一覧表示コマ数は前設定されているが、ここでは６コマ表示としておく。メモリ３０に展開されている低解像度の撮影画像を順次、プレジャッジ画面テンプレートの撮影画像枠に流し込む（＃４２）。これにより、一例として図１０に示すようなプレジャッジ画面がモニタ３２に表示されることになる。同時に、赤目補正管理テーブル９５から今回のプレジャッジ画面における表示対象となっている撮影画像の顔検出項目が読み出され（＃４３）、顔領域が検出されている場合（＃４４Yes分岐）その撮影画像コマに対してはその周辺部に赤目補正対象識別マークとしての目玉アイコンＥが表示される（＃４５）。なお、このように表示されたプレジャッジ画面は、この画面での作業が終了すると、次の６コマの撮影画像の表示のための同様のルーチンが繰り返されることで、順次更新される。プレジャッジ画面自体はよく知られているので、ここでは詳しくは述べないが、各撮影画像の下側にはプリント枚数を設定するエリアや色補正のためのボタンエリアなどが、そして画面下側には前の画面戻る戻りボタンやこの画面での作業終了と次画面を要求するＯＫボタンなどが表示されている。

プレジャッジ作業時の処理ルーチンは図１１に示されている。まず、表示されたプレジャッジ画面に対して、何らかの操作があったかどうかをチェックしながら待機し、操作があった場合（＃６１Yes分岐）、その操作がＯＫボタンや戻りボタンなどの画面変更ボタンのクリックなら（＃６２Yes分岐）、次のプレジャッジ画面の表示又はプレジャッジ作業の終了ルーチンへジャンプする（＃６３）。さらに、その操作がプリント枚数設定や色補正などの場合（＃６４No分岐）、それに準じた処理を行い（＃６５）、赤目補正アイコンＥのクリックの場合（＃６４Yes分岐）、図１２で示すように、「ＯＮ」と「ＯＦＦ」と「編集画面」を選択することができるポップアップメニュが表示される（＃６６）。

ポップアップメニュにおいて「ＯＮ」を選択すると（＃７０ａ）、目玉アイコンＥによって識別された赤目補正候補コマとなっている撮影画像が正式な赤目補正対象コマとして設定され、赤目補正管理テーブル９５の該当コマＩＤの赤目補正要否の項目に「要」が記録される（＃７１）。但し、この実施形態では、顔領域が検出された撮影画像にはデフォルトで赤目補正要否の項目が「要」に設定されているので、一度「ＯＮ」から「ＯＦＦ」に設定変更していない限り、わざわざ「ＯＮ」を選択する必要はない。プレジャッジ画面を見て、赤目補正の必要がないと判断した場合のみ、ポップアップメニュにおいて「ＯＦＦ」を選択することで（＃７０ｂ）、赤目補正候補コマとなっている撮影画像が赤目補正対象外コマとして設定され、該当コマＩＤの赤目補正要否の項目に「否」が記録されることになる（＃７２）。なお、図１０から明らかなように、赤目補正候補コマが赤目補正対象コマか或いは赤目補正対象外コマであるかをプレジャッジ画面で視認できるように、目玉アイコンＥの横に赤目補正対象コマを示す「ＯＮ」又は赤目補正対象外コマを示す「ＯＦＦ」が表示されるようになっている。

ポップアップメニュにおいて「編集画面」を選択すると（＃７０ｃ）、該当撮影画像の高解像度画像データが確保され（＃７３）、図１３に示す編集画面の１コマ拡大画像枠に流し込まれた状態で表示される（＃７４）。編集画面における撮影画像は高解像度画像であり、画像サイズが大きいので、精密な観察が可能となる。この編集画面では、赤目補正に関する操作以外、種々の操作が可能であるが、それらの操作に関しては個々では省略する。なお、この編集画面を表示する際、撮影画像のソースが写真フィルムであり、まだ本スキャンを行っていない場合はこの段階で本スキャンを実施し、そこで取得された高解像度画像データを利用することになる。編集画面を通じて、最終的に赤目補正を実施しないことにした場合（＃７５No分岐）、ステップ＃７２で説明した、赤目補正候補コマとなっている撮影画像が赤目補正対象外コマとして設定されるとともに該当コマＩＤの赤目補正要否の項目に「否」が記録される処理が実行される。逆に、編集画面を通じて、最終的に赤目補正を実施することにした場合（＃７５Yes分岐）、赤目補正候補コマとなっている撮影画像が正式な赤目補正対象コマとして設定され、赤目補正管理テーブル９５の該当コマＩＤの赤目補正要否の項目に「要」が記録されるが、その際編集画面を通じてオペレータが独自に赤目補正度を設定した場合や、瞳色の色設定をデフォルトの黒から他の色（褐色や緑色など）に設定した場合、それらの赤目補正パラメータが赤目補正管理テーブル９５の該当場所に記録される（＃７６）。

以上のようなプレジャッジ処理が終了すると、赤目補正管理テーブル９５を参照しながら赤目補正処理が図１４に示されるフローチャートに基づいて実行される。まず、赤目補正管理テーブル９５の赤目補正実施要否が「要」となっている撮影画像を順次指定し（＃８１）、されにその撮影画像に与えられている顔検出データを読み出し、その顔領域をメモリ３０上の撮影画像に対して設定する（＃８２）。この実施形態では、１つの撮影画像において複数の顔が検出された場合は、顔サイズと顔位置とから主となる１つの顔を選択してこの顔領域に基づく以下の補正度の決定ステップを行い、そこで決定された補正度でもって、全ての顔の瞳に対する赤目処理を行うとしているが、もちろん、検出された顔全てに対して、独立して以下に述べる補正度決定から瞳検出及び赤目補正を行ってもよい。

また、処理対象となっている撮影画像に赤目補正パラメータが記録されている場合、その赤目補正パラメータを該当するパラメータ変数に書き込む。ここで、補正度が前述した編集画面でマニュアル入力されている場合、以下に述べる補正度を決定するステップがジャンプされる（＃８３）。補正度が前もって設定されていない場合、色かぶり度演算部９１が顔領域に含まれている画素を用いてその赤色成分の濃度値：Ｒの平均値：Ｒaveと青色成分の濃度値：Ｂの平均値：Ｂaveを求め、その差分値：Ｄ＝Ｒave−Ｂaveを赤系色か
ぶり度として算出する（＃８４）。続いて、赤目補正度決定部９２が図５で示されたような関数を用いて、色かぶり度：Ｄから補正度：δを決定する（＃８５）。補正度が決定されると、この補正度の値が「０」の場合少なくとも顔領域が高い確率で赤味がかった色かぶりであると判断されるので、瞳が赤目となっていてもそれに対する赤目補正を行うと、かえって瞳の色味が顔全体の色味との違和感を生じ写真全体のバランスが崩れてしまうことを考慮して、赤目補正を中止すべく、この撮影画像に対する処理を終了する（＃８６Yes分岐）。補正度の値が「０」以外の場合、瞳が赤目であればその補正度に応じて強弱の赤目補正を行えばよいので、次のステップに移行して、瞳抽出部９３による瞳抽出処理が行われる（＃８７）。瞳検出が完了すると瞳領域の位置が瞳画素マップ９３ａに書き込まれるので、この瞳画素マップ９３ａを参照しながら、赤目判定すべき瞳領域を順次指定して処理していくが、まず処理すべき瞳領域が存在しているかをチェックして（＃８８）、まだ処理されていない瞳領域が存在している場合（＃８８Yes分岐）、その瞳領域を指定して赤目判定を行う（＃８９）。赤目判定は、指定された瞳領域の画素における赤成分の割合が所定値を超えていることを判定条件として行われる。指定された瞳領域が赤目とはみなされなかった場合（＃８９No分岐）、ステップ＃８８にジャンプしてまだ処理されていない瞳領域が存在しているかをチェックする。指定された瞳領域が赤目とはみなされた場合（＃８９Yes分岐）、赤目補正部９４によってステップ＃８５で決定されている補正度：δが用いられ、上述した補正式を用いて赤目補正が行われる（＃９０）。ステップ＃８８〜＃９０までの処理が未処理の瞳領域がなくなるまで（検出された顔が１つの場合通常２回）繰り返される。このようなステップ＃８１から＃９０までのルーチンが、赤目補正実施要否が「要」となっている全ての撮影画像に対して行われる（＃９１）。

なお、このステップ＃８１〜＃９０までにおける画像処理において、処理速度を早めるため、顔検出から補正度決定までの処理を低解像度データで行い、瞳検出から赤目補正までの処理を高解像度データで行うようにすることが好適である。

この図１４を用いた赤目補正処理は一例に過ぎず、プレジャッジ画面を通じて赤目補正候補コマのチェックが行われることから、補正度の演算などは省いて、デフォルトの補正度やオペレータによって設定された補正度で瞳検出処理を赤目補正処理を行うようなルーチンも可能である。

プリント処理では、適当な度合いで赤目補正処理を施された撮影画像及び赤目補正処理を回避した撮影画像は、いずれにせよ、その他の必要な画像処理を施された後、プリントデータに変換されて、プリント露光部１４に転送され、プリント露光部１４によりプリントデータに基づいて最終的に写真プリントとなる印画紙Ｐが露光される。

以上に、撮影シーン補正処理として赤目補正処理を組み込んだ実施形態を説明したが、次に撮影シーン補正処理として逆光補正処理を組み込んだ実施形態を説明する。勿論、赤目補正処理と逆光補正処理の両者を組み込むことが可能であるが、説明を簡単にするために、逆光補正処理だけが組み込まれているとしてここでは説明する。

この実施形態では画像処理ユニット７０には逆光補正処理手段１９０が備えられ、この逆光補正処理手段１９０には、図１５に示すように、顔検出ユニット８０から得られる顔領域に含まれる画素の画素値から顔濃度を演算する顔濃度演算部１９１ａと、顔以外の領域に含まれる画素の画素値とから背景濃度を演算する背景濃度演算部１９１ｂと、顔濃度と背景濃度から対象となる撮影画像コマが逆光シーンの可能性があるかどうかを判定する逆光判定部１９２と、逆光判定結果に基づいて逆光補正の補正度を決定する逆光補正度決定部１９３と、決定された逆光補正度に基づいて顔領域又は背景領域あるいはその両方の領域の補正を行う逆光補正部１９４と、プレジャッジ画面や編集画面を通じて作り出される逆光補正実施要否情報や逆光補正パラメータ設定情報を記録する逆光補正管理テーブル１９５と、逆光処理手段１９０における逆光補正処理の全体を管理する逆光補正管理部１９６とが構築されている。

次に、この写真プリント装置に組み込まれている撮影シーン補正処理の１つである逆光補正処理を含む写真プリント出力の典型的な流れは、実質的に図６のフローチャートに準じる。
まず、１オーダ分（写真フィルム１本分又はメモリカード１枚分）の撮影画像をメモリ３０に展開する（＃１０）。次に、メモリ３０に展開されている撮影画像に対して顔検出ユニット８０が顔検出処理を行うが、ここでは低解像度画像が処理対象となっており、顔検出ユニット８０は得られた顔検出情報を逆光処理手段１９０に出力する（＃２０）。続いて、プレジャッジプリント作業に入ると、逆光判定部１９２で少なくとも逆光の可能性があると判定された撮影画像に対しては逆光補正対象識別マーク（撮影シーン補正対象識別マークの一例）としての太陽アイコンを付随させた形で、６コマや８コマなどの多数コマ表示画面をプレジャッジ画面を表示するプレジャッジ画面表示処理を行い（＃４０）、表示されたプレジャッジ画面を通じて逆光補正候補の内から実際に逆光補正処理（撮影シーン補正処理の一例）を施すものを選択決定する処理を含むプレジャッジ処理を行う（＃６０）。逆光補正対象となった撮影画像に対する逆光補正処理を含む画像処理を行う（＃８０）。画像処理を終えた撮影画像の画像データをプリントデータ生成部３６に送ってプリントデータを生成し、最終的にプリントステーション１Ｂにおいて写真プリントＰを出力する（＃１００）。なお、逆光補正対象識別マークが付与される逆光補正候補の選択に関して、逆光判定部１９２による逆光判定結果をまたずに顔領域が検出された全ての撮影画像を逆光補正候補としてよい。

上述した逆光補正処理において、１オーダ分の撮影画像のそれぞれに対して検出顔領域情報、逆光補正実施要否情報、逆光補正パラメータ設定情報などが、順次、撮影シーン補正管理テーブルの一例である逆光補正管理テーブル１９５に記録されていくが、その逆光補正管理テーブル１９５の内容の一例が図１６に示されている。

次に図６のフローチャートに準じたメインルーチンを構成する主要な処理ルーチンもほとんど赤目補正処理と類似しているのでその異なる点だけを説明する。図８に示された顔検出処理ルーチンでは、顔が存在していると逆光補正管理テーブル１９５の該当撮影画像コマＩＤの顔検出項目に記録されるが、逆光補正候補の選択のために逆光判定部１９２による逆光判定結果を利用する場合は、さらに逆光判定結果も記録される。

続くプレジャッジ画面表示ルーチンでは、図９で示されている内容に準じるが、モニタ３２に表示されるプレジャッジ画面の一例は図１７に示されるように、逆光補正候補となっている撮影画像コマに対してはその周辺部に逆光補正対象識別マークとしての太陽アイコンＳが表示される。

プレジャッジ作業時の処理ルーチンは図１１に準じるものであり、赤目補正が逆光補正に代わるだけであり、例えば、逆光補正アイコンＳのクリックの場合、図１２に準じて、「ＯＮ」と「ＯＦＦ」と「編集画面」を選択することができるポップアップメニュが表示される。ポップアップメニュにおいて「ＯＮ」を選択すると、太陽アイコンＳによって識別された逆光補正候補コマとなっている撮影画像が正式な逆光補正対象コマとして設定され、逆光補正管理テーブル１９５の該当コマＩＤの赤目補正要否の項目に「要」が記録される。但し、この実施形態でも、顔領域が検出された撮影画像、又は逆光シーンの可能性ありと判定された撮影画像にはデフォルトで逆光補正要否の項目が「要」に設定されているので、一度「ＯＮ」から「ＯＦＦ」に設定変更していない限り、わざわざ「ＯＮ」を選択する必要はない。プレジャッジ画面を見て、逆光補正の必要がないと判断した場合のみ、ポップアップメニュにおいて「ＯＦＦ」を選択することで、逆光補正候補コマとなっている撮影画像が逆光補正対象外コマとして設定され、該当コマＩＤの逆光補正要否の項目に「否」が記録されることになる。ここでも、逆光補正候補コマが逆光補正対象コマか或いは逆光補正対象外コマであるかをプレジャッジ画面で視認できるように、太陽アイコンＳの横に逆光補正対象コマを示す「ＯＮ」又は逆光補正対象外コマを示す「ＯＦＦ」が表示されるようになっている。

ポップアップメニュにおいて「編集画面」を選択すると、該当撮影画像の高解像度画像データが確保され、図示は省略されているが、逆光補正の編集画面の１コマ拡大画像枠に流し込まれた状態で表示される。この編集画面を通じてオペレータが独自に逆光補正度を設定した場合や、特別な色相変更や明度変更などを設定した場合、それらの逆光補正パラメータが逆光補正管理テーブル１９５の該当場所に記録される。

上記プレジャッジ処理が終了すると、逆光補正管理テーブル１９５を参照しながら逆光補正処理が行われるが、この逆光補正処理自体はよく知られているのでここでの説明は省略する。

以上で、撮影シーン補正処理として赤目補正処理ないしは逆光補正処理を組み込んだ実施形態を説明したが、勿論他の撮影シーン補正処理、例えば、曇天補正処理、夜景補正処理、蛍光灯補正処理、タングステン灯、水中補正処理、雪山補正処理、工事写真補正処理なども適宜組み込むことができるし、それらのうちから選択した複数の補正処理を組み込むことが可能である。

上述した実施の形態では、本発明による撮影シーン補正技術は、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式の写真プリント装置に採用されていたが、もちろん、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント装置にも採用することができる。

本発明による赤目補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 赤目処理手段の機能構成を示す機能ブロック図 色かぶり度に基づいて補正度を決定する関数を説明する説明図 写真プリント装置における撮影画像データ処理の基本的な流れを示す図 赤目補正管理テーブルの内容を示す説明図 顔検出処理のフローチャートを示す図 プレジャッジ画面表示処理のフローチャートを示す図 赤目補正対象識別マークを表示したプレジャッジ画面の一例を示す模式図 プレジャッジ処理のフローチャートを示す図 プレジャッジ画面における撮影画像と赤目アイコンを示す模式図 編集画面の一例を示す模式図 赤目処理のフローチャート 逆光処理手段の機能構成を示す機能ブロック図 逆光補正管理テーブルの内容を示す説明図 逆光補正対象識別マークを表示したプレジャッジ画面の一例を示す模式図

符号の説明

７０：画像処理ユニット
８０：顔検出ユニット
９０：赤目処理手段
９１：色かぶり度演算部
９３：瞳抽出部
９３ａ：瞳画素マップ
９４：赤目補正部
９５：赤目補正管理テーブル
９６：赤目補正管理部
Ｅ：撮影シーン（赤目）補正対象識別マーク（目玉アイコン）
Ｓ：撮影シーン（逆光）補正対象識別マーク（太陽アイコン）

Claims (12)

1. 撮影画像コマの画像品質を低下させている撮影シーンを補正する撮影シーン補正方法において、
   入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択するステップと、
   前記選択された撮影画像コマを撮影シーン補正候補コマとして表示するステップと、
   前記表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定するステップと、
   前記撮影シーン補正対象コマに対して撮影シーン補正処理を実行するステップと、
   から構成されていることを特徴とする撮影シーン補正方法。
2. 前記撮影シーン補正候補コマ表示ステップにおいて、該当撮影画像コマとともに撮影シーン補正対象識別マークが表示されることを特徴とする請求項１に記載の撮影シーン補正方法。
3. 前記撮影シーン補正対象コマ決定ステップにおいて、撮影シーン補正パラメータの設定が可能であることを特徴とする請求項１又は２に記載の撮影シーン補正方法。
4. 前記撮影シーンが赤目であり、前記入力された撮影画像コマのうち顔領域が検出された撮影画像コマを前記画像品質低下の可能性がある撮影画像コマとして選択することを特徴とする請求項１〜３のいずれか一項に記載の撮影シーン補正方法。
5. 前記画像品質低下の可能性がある撮影画像コマの選択、及び前記撮影シーン補正候補コマの表示は、前記撮影画像コマの低解像度画像を用いて行われ、前記撮影シーン補正対象コマ決定ステップは前記撮影画像コマの低解像度画像又は高解像度画像のいずれかを用いて行われ、前記撮影シーン補正処理は前記撮影画像コマの高解像度画像を用いて行われることを特徴とする請求項１〜４のいずれか一項に記載の撮影シーン補正方法。
6. 前記撮影シーン補正処理としての赤目補正処理は、撮影シーン補正対象コマで検出された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算ステップと、前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定ステップと、前記顔領域から瞳領域を抽出する瞳抽出ステップと、前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正ステップとからなることを特徴とする請求項４に記載の撮影シーン補正方法。
7. 前記赤目補正対象コマに複数の顔領域が含まれている場合、各顔領域毎に赤目補正度を決定して各顔領域の赤目補正を行うことを特徴とする請求項６に記載の撮影シーン補正方法。
8. 前記赤目補正対象コマに複数の顔領域が含まれている場合、１つの顔領域によって決定された赤目補正度を用いて全ての顔領域の赤目補正を行うことを特徴とする請求項６に記載の撮影シーン補正方法。
9. 撮影画像コマの画像品質を低下させている撮影シーンを補正するために、
   入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択する機能と、
   前記選択された撮影画像コマを撮影シーン補正候補コマとして表示する機能と、
   前記表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定する機能と、
   前記撮影シーン補正対象コマに対して撮影シーン補正処理を実行する機能と、
   をコンピュータに実行させる撮影シーン補正プログラム。
10. 撮影画像コマの画像品質を低下させている撮影シーンを補正する撮影シーン補正処理システムにおいて、
    入力された撮影画像コマから前記撮影シーンによる画像品質低下の可能性がある撮影画像コマを選択する撮影画像コマ選択ユニットと、
    前記選択された撮影画像コマを撮影シーン補正候補コマとして表示させるとともに、前記表示された撮影シーン補正候補コマから実際に撮影シーン補正を施される撮影シーン補正対象コマをユーザ指示入力に基づいて決定する撮影シーン補正管理部と、
    前記撮影シーン補正対象コマに対して撮影シーン補正処理を実行する撮影シーン補正部と、
    から構成されていることを特徴とする撮影シーン補正処理システム。
11. 前記撮影シーンが赤目であり、前記撮影画像コマ選択ユニットが前記入力された撮影画像コマから顔領域を検出する顔検出ユニットとして構成され、
    前記撮影シーン補正管理部が、前記顔領域が検出された撮影画像コマを赤目補正候補コマとして表示させるとともに前記表示された赤目補正候補コマから実際に赤目補正処理を施される赤目補正対象コマをユーザ指示入力に基づいて決定する赤目補正管理部として構成されており、前記撮影シーン補正部が前記赤目補正対象コマに対して赤目補正処理を実行する赤目補正部として構成されていることを特徴とする請求項１０に記載の撮影シーン補正処理システム。
12. 入力された撮影画像コマ毎の、検出顔領域情報、赤目補正実施要否情報、赤目補正パラメータ設定情報を記録する赤目補正管理テーブルが備えられていることを特徴とする請求項１１に記載の撮影シーン補正処理システム。

Images