JP2010508571A - 顔検出と肌の色合いの情報を用いたデジタル画像処理 - Google Patents

Abstract

デジタル画像処理の技術は、１以上の所望の画像処理パラメータを得るために、顔検出を用いる。画素群は、デジタル画像内で顔画像に対応するものとして識別される。肌の色合いは、画素群として、１以上のデフォルトの色や色合いの値、若しくは、それらの組み合わせを決めることによって、顔画像として検出される。１以上のパラメータ値は、検出された肌の色合いに基づいて、顔画像に対応する画素群として調節される。
【選択図】図１ｂ

Description

本発明は、デジタル画像処理に関するものであり、特に画像内で顔の外観の識別や分析から得られる情報を用いたデジタル画像処理の自動示唆や自動処理に関係して、顔の肌の色合いを検出する。
本発明は、自動画像処理方法、および、撮影された写真、および／又は、検出され、デジタル形式で取得し、キャプチャされた画像、若しくは、デジタル形式に変換された画像に対するためのツールを提供し、又は、写真および／若しくは、画像で顔についての情報を用いて、デジタル形式からソフトやハードのコピー媒体に示される、特にそれぞれの顔の検出された肌の色合いに基づいてフィルフラッシュを調節する。

顔検出の問題は、研究者からあまり注目を受けていない。顔認識に関する典型的な従来技術は、単一の顔を含んだ画像領域が、既に引用され、入力値として適用されるのを想定している。このような技術は、複雑な背景に対して、又は、画像中に複数のものがある場合には、顔を検出できない。下記のような全ての画像処理技術と、ここで描くものや、当業者によって理解される他のものついて、デジタル画像の改善、若しくはデジタル画像の自動改善や質の向上のための示唆したオプションとしての顔検出処理から、得られたデータの用いて作られることが所望される。

Yang等、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. ２４, No. １, ページ ３４-５８,は、２００２年１月の顔検出の技術の包括的な見直しと使いやすさを与える。
これらの著者は、４つの主なカテゴリに分類され、顔検出の様々な方法について検討する。（i）情報に基づいた方法（ii）特徴の不変的なアプローチ；顔の特徴、質感や肌の色の識別することを含む。（iii）テンプレートの照合方法；修正および変形の両方（iv）方法に基く外観(appearance)；ニューラルネットワークのアプローチや方法に基づいた統計的分布や、エイジェンフェイス（eigenface）技術を含む。彼等は、顔検出技術のための、いくつかの主なアプリケーションについて検討している。この先行技術のいずれにも、画像中の顔の検出や情報を用いて、画像の処理や修正のためのツールを生成および／又は使用することについては、開示も示唆もされていない。

a.被写体としての顔
人の顔は、アマチュアやプロの写真家にとって、最も写真の被写体とされる。さらに、人の視覚システムは、肌の色合いの色に関して顔にとても敏感である。同様に、被写体の目の動きの追跡によって実験的に実行され、人間を含んでいる画像で、被写体は、最初に真っ先に顔、特に目にフォーカスして、この後に顔の周りの画像のみを探す。デフォルトの段階で、写真が人間の姿、特に顔を含んでいる場合に、顔は、画像の主な被写体となる。

このように、多くの芸術家や美術の先生は、人間の姿や顔の位置が、特に満足な構成となる重要な要素となることを強調する。例えば、"黄金比(Golden Ratio)",ルネッサンス時代は"黄金分割(divine proportion)"として知られ、又は、PHI, φ-lines辺りに顔を位置付けるように教える場合もある。この構成を繰り返し描く有名な芸術家の作品は、Leonardo Da- Vinci, Georges Seurat and Salvador DaIiである。

さらに、画像中の顔の位置だけではなく、顔自体は、"黄金分割(divine proportion)"に似たものを有する。
頭は、両目とこの中点で黄金の矩形(golden rectangle)を形成し；口や鼻は、両目やあごの下などの間で黄金分割の（golden sections）距離にそれぞれ位置する。

b.顔の色と露光
人の視覚的なシステムは、色バランスの変化に寛容である一方、人の肌の色合いは、寛容さが幾分制限された部分の一部であり、輝度軸の周りでのみ主に受け、それは、異なる人種の人々の顔の肌の色合いや民族的背景との関係で主に変化する要因となる。顔の情報は、画像の全体的な色バランスの示唆、又は、自動補正の方法における重要な利点を提供し、同様に補正後に満足な画像が提供する。

c.オートフォーカス
オートフォーカスは、プロとアマチュアの写真家の間でも人気の機能である。フォーカス領域を決める様々な方法がある。あるカメラは、中心に過重なアプローチを用いており、他では、使用者に手動で領域を選択できるようにする。ほとんどの場合、画像中のそれらの位置に関わらず、撮影された顔にフォーカスすることが写真家の目的である。他の優れた技術は、写真家の目で見ている正確な位置を定めて、画像の重要な領域を予測することである。画像中で重要な被写体と考えられるものにフォーカスできる有利なオートフォーカス技術を行うことが所望されている。

d. フィルフラッシュ
特にアマチュア写真家にとって他の有利な特徴は、フィルフラッシュモードである。このモードでは、カメラに近い被写体は、フラッシュのような人工光を用いて露出を高め、一方、フラッシュによる効果が及ばない遠い被写体は、自然光を用いて露光される。画像処理を自動で行うこと、前景に影がある場合に顔に光りを当てるフィルフラッシュを用いたオプションの示唆、又は、バックライトで撮影する有利な技術を有することが所望される。

e.方向
写真を撮るときに、カメラを垂直や水平に持つと、それぞれ横向きや、縦向きに作られる。画像を表示する場合に、取得時にカメラの方向を前もって決めることで、画像を回転することや自動的に画像を回転させるステップを省略できる。このシステムは、画像を水平で撮影すると、いわゆる横向きフォーマットとなり、横幅は画像の高さ（垂直）よりも広くなる、同様にいわゆる縦向きモードでは、画像の高さは横幅よりも広くなる。技術は、画像の方向を決めるのに用いても良い。これらの主な技術は、カメラの機械的な表示に用いられる取得時にカメラの方向を記録するか、取得後に画像内容を分析することのどちらかを有する。インカメラの方法は、正確ではあるが、カメラの値段を上げる追加的なハードウェアや移動可能なハードウェアを用いて、潜在的な維持の挑戦（potential maintenance challenge）を加える。しかしながら、取得後(post-acquisition)の分析では、一般的に十分な正確さがえられない。写真内における顔の位置、大きさ、方向に関する情報は、コンピュータ制御システムが、このような画像の処理や修正を行ったり、画像の処理や修正のためのオプションを提供したりするための強力な自動ツールを提供する。

f.色補正
自動色補正は、画像、又は、色かぶりを取り除いたり、加えたりすることを含む。フィルムやＣＣＤは、日光のような１つの光源に対して補正されているものの、画像検出時のライトのコンディションは、例えば、クールホワイトの蛍光において、互いに異なるといった多くの理由があるために、上述した色かぶりが発生する。。この例において、画像は、取り除く必要がある緑がかった色を有しやすい。デジタル画像処理を用いた色補正技術を自動的に生成又は提示することが望ましい。

ｇ.トリミング
自動トリミングは、画像のより満足な構成を作るために画像上で実行しても良い。トリミングを用いて、より調節された画像構成を生成又は提示するための自動画像処理技術を有することが所望される。

h.レンダリング
印刷したり、表示したりするために、画像をレンダリングするとき、レンダリング装置の物理的特徴に対応するように、色変換、コントラスト処理、トリミング、および／又は、大きさ調節といった処理が実行される。このような特性は、限られた色域、制限された縦横比、制限された表示方向、修正されたコントラスト比などとしても良い。画像のレンダリングを改善するために自動画像処理技術が所望される。

i.圧縮と解像度
画像は、ここでは好ましい実施例に従って局所的に圧縮される。このため、特定の領域は、低い圧縮比を含んだ高品質の圧縮を有する。画像中で、低い重要性を持つように決定および／又は選択された領域と比較して、低い圧縮、又は、高い解像度で維持される重要な領域の決定および／又は選択するための有利な技術を有することが好ましい。

顔検出を用いたデジタル画像処理方法は、１以上の所望された画像処理パラメータを得るために適用される。画素群は、デジタル画像中で、顔画像と対応するように識別される。顔画像の肌の色合いは、画素群として、１以上のデフォルトの色や色合いの値、若しくはこれらの組み合わせを決めることにより検出される。顔画像に対応する画素群としての１以上パラメータ値は、検出された肌の色合いに基づいて調節される。この調節は、顔画像にフィルフラッシュを適用したり、肌の色合いによる量により輝度を調節したりすることができる。

識別、検出、調節は、第１の顔画像とは異なる肌の色合いを有する第２の顔画像のために繰り返すことができる。調節は、異なる肌の色合いによる異なる相対量で２つの顔画像にフィルフラッシュを適用したり、輝度を調節したりすることができる。

画素群としての色や色合いの値は、１以上の平均的な色や色合いの値を有したり、顔画像の複数の領域のそれぞれを決める、複数の色や色合い、若しくは、これらの組み合わせであってもよい。

顔検出を用いた更なるデジタル画像処理方法は、１以上の所望された画像処理パラメータを得るために適用される。画素群は、デジタル画像内で顔画像と対応するように識別される。顔画像の輝度は、画素群としての１以上のデフォルトの輝度値を決めることで検出される。フィルフラッシュは、検出された輝度に応じて顔画像に適用される。

第２の画素群は、デジタル画像内で第２の顔に対応するように識別してもよい。第１の顔画像の輝度とは異なる第２の顔画像の輝度を検出することができる。第１の顔画像に対して適用されたものとは異なるフィルフラッシュを第２の顔画像に適用することができる。２つの顔画像の補正した輝度は、元の輝度に比べてお互いに近づけても良いし、実質的に同じにしても良い。

肌の色合いは、画素群として、１以上のデフォルトの色や色合いの値、若しくはこれらの組み合わせを決めて、顔画像を検出しても良い。値は、検出された肌の色合いに基づいて顔画像に対応する画素群の１以上のパラメータを調節しても良い。

それぞれの適用された方法は、デジタルスチルカメラ、若しくは、ビデオカメラのような画像キャプチャ装置、又は、外部処理装置のどちらかで、ソフトウェア、および／又は、ファームウェア内で、極力実行される。ソフトウェアは、カメラや画像処理装置にダウンロードされても良い。この意味で、そこに格納された処理装置の読み取り可能なコードを有する１以上の処理装置の読み取り可能な記憶装置が提供されている。処理装置の読み取り可能なコードは、上述した方法、又は、後述する方法のいずれかで実行される１以上の処理装置にプログラムされている。

図１ａは、画像中で見つけた顔に基づいて画像補正する主な作業工程の好ましい実施例を図示する。 図１ｂは、好ましい実施例に従った画像取得パラメータを調節する画像で、顔の情報を利用した一般的な作業工程を図示する。 図１ｃは、好ましい実施例に従って出力された画像よりも、前に画像のレンダリングパラメータを調節するための１つか複数の画像における顔の情報を利用した一般的な作業工程を図示する。 図２ａは、１以上の好ましい実施例に従った顔の方向に基く画像の方向を図示する。 図２ｂは、１以上の好ましい実施例に従った顔の方向に基く画像の方向を図示する。 図２ｃは、１以上の好ましい実施例に従った顔の方向に基く画像の方向を図示する。 図２ｄは、１以上の好ましい実施例に従った顔の方向に基く画像の方向を図示する。 図２ｅは、１以上の好ましい実施例に従った顔の方向に基く画像の方向を図示する。 図３ａは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図３ｂは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図３ｃは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図３ｄは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図３ｅは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図３ｆは、１以上の好ましい実施例に従った顔の位置に基く画像の自動組立てと、トリミングを図示する。 図４ａは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｂは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｃは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｄは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｅは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｆは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｇは、１以上の好ましい実施例に従ったデジタルフィルフラッシュを図示する。 図４ｈは、取得処理の一部としてカメラで決めた好ましい実施例に従った実例となるシステムを描いたもので、フィルフラッシュが必要か否かに関わらず、顔の露光に基づいて画像取得時に、フラッシュを稼動させる。 図４ｉは、異なる肌の色合いの２つの顔を有するデジタル写真を示す、そこには、黒い肌の色合いの顔が、同じように暗い背景で写っている。 図４ｊは、図４ｉのデジタル写真に明るい肌の色合いの顔よりも黒い肌の色合いの顔に多くのフィルフラッシュを適用したものである。 図４ｋは、異なる肌の色合いの２つの顔を有するデジタル写真を示し、そこでは、黒い肌の色合いの顔が、明るい背景に対して同じように写っている。 図４ｌは、図４ｋのデジタル写真に明るい肌の色合いの顔よりも黒い肌の色合いの顔に、より多くフィルフラッシュを適用したものである。 図４ｍは、好ましい実施例に従った方法を図示する。 図４ｎは、好ましい実施例に従った方法を図示する。 図５は、中央ズームに関する決定は画像中における顔検出に基づき、自動的な供給とズームの示唆と機能的にパンニングすることによって、動的なスライドショーを作り出すための顔検出の使用を図示する。 図６は、好ましい実施例に従ってビデオカメラでライブ取得した部分としての顔の自動ズームや自動追跡で、ビデオカメラ、又は、ビデオ機能を有するデジタルカメラにおけるビューファインダのイラストシュミレーションを図示する。 図７ａは、１以上の好ましい実施例に従って、顔検出に基づいて取得処理の一部としてカメラのオートフォーカス機能を図示する。 図７ｂは、１以上の好ましい実施例に従って、顔検出に基づいて取得処理の一部としてカメラのオートフォーカス機能を図示する。 図８は、好ましい実施例に従って、画像中の顔の位置に基づいた調節可能な圧縮比を図示する。

（実例となる定義）
“顔検出”は、デジタル画像中で顔を分離することや検出する技術を含む。顔検出は、人の顔が入力画像中にあるかどうかを決める処理を有し、入力画像内で、顔の位置、および／又は、他の特徴、特性、パラメータ値、若しくは、パラメータの値を決めることと組み合わせて用いても良い。“画象処理”又は、“画像補正”は、画質を改善するためのデジタル画像を補正する技術を有する。このような補正は、画像全体に対して適用される“グローバル(global)”であってもよいし、画像の異なる部分に対して異なって適用される“セレクティブ（selective）”であってもよい。主ないくつかのカテゴリは、以下のものを限定的に含む。
（i）コントラストの正規化や画像の鮮鋭化
（ii）画像の集合；ズームと回転
(iii)画像の色：調節と色合いのスケーリング
(iv)デジタル画像に適用された露出の調節とデジタルフィルフラッシュ
(v)色空間マッチング（Color Space Matching）での輝度調節；画像処理でのオートガンマの決定
（vi）自動/バッチ画像処理を決めるために特徴付けられた入力/出力装置
（vii）インカメラでの画像処理
（viii）顔に基づく画像処理
“オートフォーカス”は、撮影対象の被写体を自動的に検出して、被写体をフォーカス状態とする機能を有する。
“フィルフラッシュ”は、被写体がカメラに近いと影ができるようなときに、太陽の光りのような自然光とカメラのフラッシュユニットのような他の光源を組み合わせることを含み、それは、フラッシュユニットを用いた追加的な露出を得る。
“画素”は、写真の要素や、デジタル画像の構成の基本的単位、又は、画像を一緒に構成する小さな別々の要素である。
“デジタルキャプチャイメージ”は、デジタルで位置づけされて、検出器で保持された画像を有する。
“デジタル画像取得”は、例えば、後の検索のために、不変的なファイルでデジタル記憶され、および／又は、多かれ少なかれ不変的なデジタル形式で、格納される画像を有する。
“デジタル検出された画像は、デジタル検出した電磁波を有する画像である。
そして、“デジタルレンダリング装置（Digital Rendering Device）”は、異なる装置で画素のようなデジタル信号化された情報をレンダリングするデジタル装置である。
最も一般的なレンダリング技術では、プリンタ、特にレーザープリンタ、インクジェットプリンタ、サーマルプリンタ、のようなハードコピーにデジタルデータを変換したり、モニタ、テレビ、液晶ディスプレイ、ＬＥＤ、ＯＬＥＤなどのソフトコピーデバイスにデジタルデータを変換したりする。

好ましい実施例は、以下に説明するように、画像の顔の位置、場所、フォーカス、露出、他のパラメータ、又は、パラメータ値に関する情報に基づく自動デジタル画像処理としてのオプションの提供や、示唆するための方法や装置を有する。このようなパラメータやパラメータ値は空間的なパラメータを含んでも良い。例えば、デジタル画像中の１つの顔、又は、複数の顔の方向は、全ての画像、若しくは、画像中の１つ以上の顔の方向を調節、又は、調節を示唆するのに用いても良い。色補正、又は、処理は、画像中で顔の色、若しくは、色合いの値に基づいて、デジタル画像に対して自動的に提示したり、適用したりしてもよい。画像のトリミングを満足させるには、画像中で顔の情報、特に顔の位置、および／又は、大きさに基づいて提示したり、適用したりしても良い。

静止画像は、例えば、ズーム、パンニング、および／又は、回転によって、スライドショーで動作させて用いても良く、そこでは、画像の中心点が顔内に存在していたり、少なくとも顔が、スライドショーにおけるすべての画像若しくは、実質的にすべての画像に含まれていたりする。画像の選択的圧縮や他の選択的な解像度、若しくは、この両方は、１つ以上の顔は、画像の他の部分よりも高いグレードの圧縮および／又は、他の高い局所的な解像度を受けた場所を提示したり、自動的に適用したりしてもよい。フィルフラッシュは、画像の輝度マップの分析に基づいて、自動的にデジタルシミュレートしたり、提示したり、被写体に実際に適用したりすることができる。カメラは、画像中の顔に関する情報に基づいて、画像取得よりも前にオートフォーカスを行うことができる。

好ましい実施例では、イメージキャプチャ処理、イメージレンダリング処理の一部、又は、後処理(post processing)の一部として、ソフトウェアか、ファームウェアのどちらかで実行された画像処理アプリケーションを有する。このシステムは、デジタル形式で画像を受けて、そこでは、画像は、複数の画素を含んだグリット表現に変換される。このアプリケーションは、残りの写真から顔を検出し、分離し、そして、画像の他の部分や全画像に関係する顔の大きさと位置を決める。顔の方向を決定することもできる。検出された顔に関する情報に基づいて、別々のシステムモジュールは、顔のデータを集めて、この集めた顔のデータに基づいて画像処理オペレーションを実行する。このような処理、又は、補正は、画像の自動的な方向、色補正と、処理、デジタルフィルフラッシュのシミュレーションと、動的圧縮を有する。

他の実施例で、画像中の顔の位置と大きさに関する情報は、カメラにおいて正確なオートフォーカス距離と露出を決める際の手助けとなる。それぞれの実施例において、このような情報は、格納された画像が、既に自動的に補正され、処理され、および／又は、この情報に基づいて調節されるように、後処理段階の一部としてカメラ内で処理することができる。

好ましい実施例の利点は、他は手動で介入、および／又は、実験と呼ぶ複雑なタスクを行うに際して、自動的に実行し、提示し、又は、アシストする能力を有する。他の利点は、重要な領域で、マークされ、および／又は、マップされても良いし、この後の処理は、画像の重要な領域に関するこの情報に基づいて自動的に実行されたり、および／又は、提示されたりしても良い。後処理段階での自動的な手助けを、撮影者に提供しても良い。、撮影を行いながらフォーカスと露出を決める際の手助けを撮影者に提供しても良い。顔の情報に基づいて画像の解像度を上げるためのメタデータを、カメラで生成しても良い。

多くの有利な技術は、ここでは、好ましい他の実施例の説明に従って提供される。例えば、１以上の所望の画像処理パラメータを得るための上記画像内で、顔検出を用いたデジタル画像処理の方法を適用する。画素群は、デジタル画像内で顔画像と対応するように識別される。デフォルトの値は、少なくとも上記デジタル画像の部分の１以上のパラメータにより決められる。１以上のパラメータ値は、上記顔や上記デフォルトの値の上記画像を含む上記デジタル画像の分析に基づいてデジタル検出された画像の範囲内で調節される。

デジタル画像は、デジタル取得されても良いし、および／又は、デジタルキャプチャされても良い。上記顔検出に基づいたデジタル画像処理のための決定、１以上のパラメータの選択、および／又は、デジタル画像内で１以上のパラメータ値の調節することは、自動的に、半自動的に、又は、手動的に実行されても良い。同様に、画像処理フローのもう一端において、デジタル画像は、バイナリディスプレイからプリントや電気ディスプレイに示しても良い。

１以上のパラメータは、方向、色、色合い、大きさ、輝度、相対的な露出、相対的な空間の位置、階調再現、鮮鋭度、フォーカス、又は、それらの組み合わせを含んでも良い。１以上のパラメータは、１以上のパラメータが、有効な１以上の領域を定義するマスクを含んでも良い。マスクは、上記１以上の領域の異なるサブ領域内で、強さを変える連続したプレゼンテーションを含んでも良い。１以上のパラメータは、上記マスクに基づいた値が異なる同一のパラメータを含んでも良い。

２以上のパラメータは、単一のパラメータと連結しても良い。デジタル画像は、１以上のパラメータ値に基づいて変更しても良い。操作リストは、１以上のパラメータ値に基づいてデジタル画像として作り出しても良い。操作リストは、デジタル画像中で組み込まれても良いし、デジタル画像の外部に存在していても良い。

方向の値は、デジタル画像に対する回転値が決定されるように、調節しても良い。

色、色合い、大きさ、輝度、相対的な露出の値は、それぞれのデジタル画像の色、色合い、大きさ、輝度、フィルフラッシュバランスを操作することを含めて調節される。相対的な空間の位置の値は、デジタル画像における少なくとも１つの他の領域に対する顔画像の空間的な位置を調節することを含めて調節される。

フォーカスの値は、デジタル画像内における顔画像のフォーカスを向上させるためのフォーカスの調節値を含めて調節される。

シミュレートされたフィルフラッシュの１以上の異なる程度は、手動、半自動、又は、自動的に調節することにより作成しても良い。顔の画像分析は、全体の露出と識別された顔の周りにおける露出との比較を含んでも良い。この露出は、ヒストグラムに基づいて計算しても良い。フィルフラッシュのデジタルシミュレーションは、階調再現、随意(optionally)な調節、および／又は、局所的な鮮鋭度の調節することを含んでも良い。カメラに近いと判断された被写体や、高い重要性のある１以上の被写体に対しては、シミュレートされたフィルフラッシュを行っても良い。カメラに近いと判断された被写体、又は、高い重要性のあるものは、１以上の識別された顔を含んでも良い。フィルフラッシュ、又は、提示されたフィルフラッシュを適用するオプションは、自動的に適用されても良い。この方法は、デジタル取得装置、デジタルレンダリング装置、外部装置、又は、それらの組み合わせで実行しても良い。

顔の画素は、識別されても良いし、画像内の別の顔の誤った表示を取り除いても良いし、そして、顔の表示は、画像処理装置を用いて、自動的、半自動的、使用者による各々手動で、画像に加えても良い。顔画素の識別は、画像処理装置により自動的に実行しても良いし、画像内で少なくとも１つの顔の正しい検出のマニュアル検査（verification）が適用されても良い。

所望の画像パラメータを得るための顔検出を用いたデジタル画像処理方法は、デジタル検出された画像の範囲内で、顔の画像と対応する画素群を識別することを含む。少なくともいくつかの画素の１以上のパラメータの初期値は決められている。デジタル検出された画像の最初のパラメータは、初期値に基づいて決められている。デジタル検出された画像内で、１以上のパラメータの画素の値は、最初のパラメータと所望のパラメータ、若しくは、自動的に適用された値に調節するためのオプションとの比較に基づいて自動的に調節される。

デジタル検出された画像は、デジタル取得され、レンダリングされ、および／又は、デジタルキャプチャされた画像を含んでも良い。デジタル検出された画像の最初のパラメータは、顔画像の最初のパラメータを含んでも良い。１以上のパラメータは、方向、色、色合い、大きさ、輝度、そして、フォーカスのいずれかを含んでも良い。この方法は、事前取得段階の一部分としてデジタルカメラ内で、キャプチャ画像の後処理の一部分としてカメラ内で、又は、外部処理装置内で実行しても良い。上記方法は、プリンタのような、若しくは、出力装置に画像を送る準備として、プリンタドライバのようなデジタルレンダリング装置内で、実行しても良い。そして、プリンタやＰＣのような外部装置、画像の表示や印刷する前の準備段階の部分として位置づけても良い。画像内で、顔の誤った表示を手動で取り除くオプション、又は、顔の表示を追加するオプションが含まれても良い。手動で無視するオプション、システムの自動提案、いずれにせよ検出された顔が、含まれても良い。

この方法は、１以上の顔の特徴に対応する１以上のサブグループの画素を、識別することを含んでも良い。１以上のサブグループの画素の１以上のパラメータの画素の初期値を決めても良い。デジタル画像内の顔の最初の空間的なパラメータは、この初期値に基づいて決めても良い。最初の空間的なパラメータは、方向、大きさ、そして、位置のいずれかを含んでも良い。

空間的なパラメータが方向であるとき、画素の１以上のパラメータ値は、調節された方向に画像を再度方向付けるように調節しても良い。１以上の顔の特徴は、１以上の１つの目、口、２つの目、鼻、耳、首、肩、および／又は、他の顔、若しくは、個人的な特徴、又は、服、家具、輸送、屋外環境(例えば地平線、木、水など)若しくは、室内環境(玄関、廊下、天井、床、壁など)のような人と関係した他の特徴を含んでも良い。そこでは、このような特徴は、方向を示しても良い。１以上の顔や、他の特徴は、２以上の特徴を含んでも良いし、最初の方向は、初期値に基づいて決められた特徴の相対的な位置に基づいて決めても良い。三角形のような形は、例えば２つの目と口の中央の間で、上記のような黄金の矩形（golden rectangle）を作り、又は、より遺伝学的に、頂点、若しくは、軸のような３つ以上の特徴と極力対応する点を有する多角形を作り出しても良い。

デジタル画像の画素の色や色合いのような１以上の色彩のパラメータの初期値は、決められていても良い。１以上のパラメータ値は、自動的に調節されても良いし、上記値を提示された値に調節するオプションが提供されても良い。

デジタル取得装置内で、１以上の所望の画像の取得パラメータを得るためのキャプチャ画像内で、顔検出が用いられる画像キャプチャ処理の一部分として、デジタル画像の完全な取得パラメータ方法が適用される。デフォルトの値は、少なくともデジタル画像のいくつかの部分の１以上の画像特性を決める。１以上のカメラの取得パラメータ値が決められる。デジタルキャプチャ画像内で、顔画像と対応する画素群が識別される。画素群に対する対応する画像特性は決められている。１以上のデフォルト画像の特性値は、顔画像の分析に基づいて１以上のキャプチャ画像特性値と比較される。カメラの取得パラメータは、その後、調節した画像特性値と対応するように調節される。

この方法は、デジタル画像キャプチャ装置内で実行されても良いし、デジタルスチルカメラ、又は、デジタルビデオカメラに制限されない。１以上のパラメータは、全体的な露出、相対的な露出、方向、色バランス、白の点、階調再現、大きさ、フォーカス、又は、それらの組み合わせを含んでも良い。識別している顔画素は、画像処理装置により、自動的に実行しても良いし、この方法は、顔画像に対応する１以上の画素群を手動で取り除くことを含んでも良い。自動的に検出された顔は、顔として間違った検出領域に応じて取り除いても良いし、又は、識別ステップにおいて識別された顔よりも高い被写体の重要性となるように、手動で決められた少なくとも１つの顔画像や複数の顔画像に集中するように決定められたものに応じて、取り除いても良い。顔は、上記顔の識別ステップの感度レベルを増やすことにより、取り除いても良い。顔の除去は、相互作用的な視覚方法により実行しても良いし、画像を取得する内蔵ディスプレイを用いても良い。

識別された顔画素は、画像処理装置内で実行されても良いし、画像中の他の顔の表示を手動で加えることを含んでも良い。画像処理装置は、検出の確かさ、又は、検出領域の推定された重要性に関して、相対値を受け入れても良い。相対値は、検出領域の推定された重要性に関して、手動で修正しても良い。

デジタルカメラ内で、所望の画像パラメータを取得するための顔検出を用いたデジタル画像処理方法をさらに適用する。デジタル画像内で、顔と対応する画素群が識別される。画素群の画素のパラメータの第１の初期値は、決められており、画素群の画素とは別の画素のパラメータの第２の初期値も決められている。第１および第２の初期値は、比較される。パラメータの調節値は、第１および第２の初期値の比較、そして、少なくとも第１および第２の初期値の少なくとも一つと対応するパラメータと所望の画像のパラメータとの比較に基づいて決められる。

顔に対応する画素群の画素の輝度の初期値は、決められても良い。顔に対応する画素とは異なる画素における輝度の初期値を、決めても良い。この値は、その後、絞り、シャッタ、感度の特性と比較しても良いし、フィルフラッシュは、少なくとも調節されたデジタル画像を作るためのいくつかの初期値に対応する調節値を適用するように決めても良い。顔に対応する画素は、１以上の顔の特徴に対応するサブグループに従って決められても良い。

オートフォーカスメカニズムを有した調節可能な光学系を備えたデジタル取得装置内で、１以上の所望の画像取得パラメータを得るための画像キャプチャ処理において、顔検出を用いた画像キャプチャ処理の一部として調節可能な光学系のオートフォーカスメカニズムを実行する方法が提供される。デジタルキャプチャ画像内で、顔画像と対応する画素群が識別される。画素群に対する対応した画像特性が決められる。オートフォーカスは、顔画像に対応する複数の画素群に対してオートフォーカスを行うことによって完了する。

オートフォーカスは、全画像で最初に実行しても良い。レンズのオートフォーカス、および、自動調節する方法は、調節可能な光学系の１以上の特性を自動的に調節する。使用者は、手動で、オートフォーカスを行うようにカメラを操作しても良い。識別している顔画素は、画像処理装置により自動的に実行しても良いし、顔として検出された１以上の画素群は、１以上の顔としての誤った検出領域に応じて、識別ステップにおける識別された顔よりも少ない顔画像に集中する決定に応じて、手動で取り除いても良い。顔は、顔の識別ステップの感度レベルの増加により、および／又は、相互の視覚方法により取り除かれても良い。内臓ディスプレイの画像取得が、用いられても良い。この集合の個々の被写体における加重平均値は、オートフォーカス処理で用いられても良い。顔を識別するステップは、検出の確かさに関しての相対値を受け入れる画像処理装置により、自動的に実行されても良い。この場合において、加重平均は、検出の確かさに関しての相対値に基づいて計算しても良い。顔の画素を識別することは、検出領域の推定された重要性に関して、相対値を受け入れる画像処理装置によって自動的に実行しても良い。この場合、加重平均は、推定された検出の確かさに関して相対値に基づいて計算しても良い。顔の検出領域の推定された重要性は、キャプチャ画像内で、顔の大きさ、位置、顔の相対的な露出、又は、それらの組み合わせといった、パラメータの分析を含んでも良い。

レンズシステムを有したデジタルカメラ内で、所望の画像パラメータを得るための画像内の顔検出に基づいてデジタル検出された画像のキャプチャパラメータを調節する方法も適用される。この方法は、取得処理の一部としてオートフォーカスレンズに用いられても良い。顔画像の画素の１以上のパラメータは決められている。画素の１以上のパラメータ値は、最初のパラメータと所望のパラメータとの比較に基づいて、自動的に調節しても良い。例えば、レンズシステムの１以上の特性は、フォーカスを調節するための値に基づいて自動的に調節されても良いし、フォーカス領域の表示、又は、調節オプションが提供されても良い。１以上のパラメータは、画像中で顔の大きさ、および／又は、位置のような空間的なパラメータを含んでも良い。

内蔵型フラッシュユニットを備えたデジタル取得装置内で、取得した画像中で、顔検出を用いて取得されたデジタル画像の露光を実行する方法が適用されている。複数の顔画像に対応する画素群は、デジタル取得画像内で識別され、画像特性を画素群に対応するように決める。画素群の対応する特性について、分析が実行される。その後、分析に基づいて内蔵したフラッシュユニットを動作させることを決める。内蔵したフラッシュユニットの強度は、この分析に基づいて決められる。

計算された画像特性の最初のステップは、全体の取得したデジタル画像で実行しても良いし、画像特性は、画素群の画像特性と比較しても良い。画像の特性は、露出を含んでも良い。露出は、絞り、速度、ゲイン（gain）、相対的な感度、又は、それらの組み合わせを含む１以上のパラメータの機能として計算しても良い。顔の画素群は、重み付けの基準に基づいて正確な重み付けが与えられても良い。重み付けの基準は、カメラに対して画素群の距離に基づいて計算しても良い。重み付けの基準は、画素群の相対的な大きさに基づいて計算しても良い。

プリフラッシュは、分析が正確であるか否かを決めるために、計算されたフラッシュ強度に基づいて実行しても良い。第２の分析は、プリフラッシュに基づいて実行しても良い。

シミュレートされたフィルフラッシュの１以上の異なる程度は、手動、半自動、又は、自動調節により作り出しても良い。顔画像の分析は、全体的な露出と識別された顔の周りの露出との比較を含んでも良い。この露出は、ヒストグラムに基づいて計算しても良い。フィルフラッシュのデジタルシミュレーションは、階調再現、および／又は、局所的に鮮鋭度を調節することを含んでも良い。カメラに近づいていると推定された１以上の被写体、又は、高い重要性のあるものは、シミュレートされたフィルフラッシュ上で操作しても良い。カメラに近づいていると判断されたこれらの被写体、又は、高い重要性の被写体は、１以上の識別された顔を含んでも良い。フィルフラッシュや、提示したフィルフラッシュを適用するためのオプションは、自動的に適用されても良い。

デジタルカメラ内で、所望の画像パラメータを得るための顔検出を用いたデジタル画像処理のさらなる方法が適用されている。デジタル画像内で、顔に対応する画素群が識別される。画素群の画素のパラメータにおける第１の初期値が決定される。画素群の画素とは別の画素のパラメータにおける第２の初期値が決定される。第１および第２の初期値を比較する。パラメータの調節値は、第１および第２の初期値の比較、および、少なくとも第１および第２の初期値の一つと対応するパラメータと所望の画像のパラメータとの比較に基づいて決められる。

パラメータは、輝度を含んでも良いし、この方法は、調節値を用いた調節されたデジタル画像を自動的に作り出すことをさらに含んでも良い。この方法は、調節値を用いて、調節したデジタル画像を作り出すオプションを自動的に適用することを、さらに含んでも良い。輝度の調節値は、フィルフラッシュ、又は、デジタルシミュレートされたフィルフラッシュによって求めても良い。

デジタルカメラ内で、所望の輝度のコントラストを得るための顔検出を用いた更なるデジタル画像処理の方法が提供される。デジタル画像内で、顔と対応する画素群を識別する。画素群の画素の輝度における第１の初期値は、決められている。画素群の画素とは、別の第２の輝度の初期値も、決められている。第１および第２の初期値は、最初の輝度のコントラストを決めるために比較される。フィルフラッシュの特性は、最初の輝度のコントラストと所望の輝度のコントラストとの比較に基づいて、少なくともいくつかのデジタル画像の画素として調節された輝度値を適用するために、決定される。

デジタルレンダリング装置内で、所望の画像のレンダリングパラメータを得るために顔検出を用いたデジタル画像処理のさらなる方法が提供されている。デジタル画像内で、顔に対応した画素群が識別される。画素群の画素のパラメータにおける第１の初期値が決められる。上記画素群の画素とは別の画素のパラメータにおける第２の初期値が決められる。第１および第２の初期値を比較する。パラメータの調節値は、第１および第２の初期値の比較、および、少なくとも第１および第２の初期値の１つと対応するレンダリングパラメータと所望の画像レンダリングパラメータとの比較に基づいて決める。

パラメータは、輝度を含んでも良いし、この方法は、調節値を用いた調節したデジタル画像を、自動的に作り出すことを含んでも良い。この方法は、さらに調節値を用いた調節したデジタル画像を作るオプションを自動的に提供することを含んでも良い。輝度の調節値は、インクの適用範囲、ディスプレイの輝度値などを変更することにより提供しても良い。

デジタルレンダリング装置内で、所望のコントラスト、および、色バランスを得るための顔検出を用いたデジタル画像処理のさらなる方法を提供する。デジタル画像内で、顔に対応する画素群を識別する。画素群の画素におけるコントラスト、および／又は、色バランスの第１の初期値が決められている。上記画素群の画素とは別の画素におけるコントラスト、および／又は、色バランスの第２の初期値も決められる。第１および第２の初期値は、最初のコントラスト、および／又は、色バランスを決めるために比較される。このようなツールは、入力、又は、デジタル取得画像、および、出力装置との間で不一致を補っても良い。このような不一致は、色域のミスマッチ、ディスプレイの物理特性、反射、若しくは、制限されたコントラストの輝度自体、周囲環境の影響などによって生じる。

顔を含んだ元のデジタル取得画像を用いた１以上の新しいデジタル画像を作り出す方法を、さらに提供する。元のデジタル取得画像内で、顔に対応する画素群が識別される。元の画像の一部は、この画素群を含むように選択される。選択された部分に基づく１以上の新しい画像の画素値は、自動的に生成され、又は、これらを生成するためのオプションが１以上の新しい画像内で常に顔を含む状態において適用される。

変換は、元のデジタル取得画像、および、１以上の新しい画像の間で徐々に表示しても良い。上記変換パラメータは、元のデジタル取得画像と１以上の新しい画像との間で調節しても良い。元のデジタル取得画像と１以上の新しい画像との間での変換するパラメータは、タイミング、ブレンディング（blending）、又は、それらの組み合わせを含んだ少なくとも１以上の基準から選択しても良い。ブレンディングは、分離、フライング（flying）、旋回、再現、閃き、スクリーニング、又は、それらの組み合わせを含んでも良い。

顔を含んだ画像を用いたスライドショーを作り出す方法は、１以上の新しい画像の生成に従って提供される。画素群は、デジタル取得画像内で顔と対応する画素群が識別される。上記画素群を含む画像の拡大部分が、決められても良い。この画像は、ズームによる顔の拡大を含んだズーム画像を作り出すために自動的にズームしても良いし、ズームされた画像を作り出すためのオプションを適用しても良い。ズームインか、アウトの中央点、又は、ズームインか、アウトの量は、決められても良く、その後に他の画像は、顔のズームバージョンを含むように自動的に作り出されても良い、又は、顔のズームバージョンを含んだ画像を作るオプションが適用されても良い。１以上の新しい画像は、顔に対応する新しい画素群をそれぞれ含むように作られても良いし、１以上の新しい画像を用いて、自動的にパンニングを行っても良い。

顔を含んだ元のデジタル取得画像を用いた１以上の新しいデジタル画像を作り出す方法を、さらに提供する。元のデジタル取得画像内で、２以上の顔に対応する１以上の画素群を識別しても良い。元の画像の部分は、この画素群を含むように選択しても良い。１以上の新しい画像における画素値は、少なくとも１以上の新しい画像内における複数の顔の少なくとも１つ、複数の識別された顔のうち２つの顔間におけるパンニングの中間画像、又はこれらの組み合わせを含む状態における選択部分に基づいて、自動的に生成しても良い。

パンニングは、２以上の識別された顔の間で実行しても良い。パンニングは、第１の顔から２以上の識別された顔の第２の顔になり、第２の顔はその後ズームされても良い。第１の顔は、第２の顔のパンニングよりも前にズームされても良い。第２の顔もズームされても良い。パンニングは、２つの識別された顔の間で、パンニグ方向パラメータを識別することを含んでも良い。パンニングは、識別されたパンニング方向パラメータに従って、２つの識別された顔の間で識別されたパンニング方向に沿って配列することを含んでも良い。

所望の空間的なパラメータを得るために顔検出を用いたデジタル画像処理方法は、デジタル画像内で顔に対応する画素群を識別すること、１以上の顔の特徴に対応する１以上のサブグループの画素を識別すること、１以上のサブグループの画素の１以上のパラメータの画素の初期値を決めること、初期値に基づいてデジタル画像内で顔の最初の空間的なパラメータを決めること、そして、最初の空間的なパラメータと所望の空間的なパラメータの比較に基づいて画像を調節するためのデジタル画像内で、画素の調節値を決めることを含むようにさらに提供される。

最初の空間的なパラメータは、方向を含んでも良い。画素値は、最初の空間的なパラメータを所望の空間的なパラメータに大まかに調節するために、デジタル画像内で自動的に調節しても良い。
デジタル画像内で画素値を調節して、最初の空間的なパラメータを所望の空間的なパラメータに調節するためのオプションを自動的に提供しても良い。

所望の方向を得るための顔検出を用いたデジタル画像処理の方法は、デジタル画像内で、顔に対応する１以上の画素群の識別すること、顔の１以上特徴に対応する１以上のサブグループの画素を識別すること、１以上のサブグループの画素の１以上の画素のパラメータの初期値を決めること、この初期値に基づいてデジタル画像内で顔の最初の方向を決めること、そして、この方向を所望の方向に調節するためのデジタル画像内で調節された画素値を決めることを含むように提供されても良い。

顔の画素群に属するサブグループの画素を決めても良い。この１以上の画素のパラメータの初期値の決定は、１以上の顔の特徴に対応するように１以上のサブグループの空間的な方向に基づいて計算されても良い。１以上の顔の特徴に対応する１以上のサブグループの空間的な方向は、サブグループに適した楕円の軸に基づいて計算されても良い。デジタル画像内で画素の調節値は、９０度の最も近い倍数に四捨五入しても良い。初期値は、画像を調節された方向に方向付けるために、調節値に調節しても良い。１以上の顔の特徴は、１つの目、２つの目、２つの目と１つの口、１つの目、１つの口、ヘアライン、耳、鼻孔、顔の延長としての眉の根元、鼻、それらの組み合わせ、若しくは上記以外のものを含んでも良い。

この方法は、顔の１以上の特徴に対応する画素の１以上のサブグループを識別することを含んでも良い。１以上のサブグループの画素における１以上のパラメータの画素の初期値は決められていても良い。デジタル画像内で顔の最初の空間的なパラメータは、初期値に基づいて決められても良い。最初の空間的なパラメータは、方向、大きさ、そして位置のいずれかを含んでいても良い。

空間的なパラメータが方向であるときは、１以上のパラメータの画素値は、この画像を、調節した方向に再度方向付けるように調節しても良い。１以上の顔の特徴は、１以上の１つの目、１つの口、２つの目、１つの鼻、１つの耳、そして顔の物理的に延びた部分としての首を含む他の特徴を含んでも良い。１以上の顔の特徴は、２以上の特徴を含んでも良いし、この最初の方向は、初期値に基づいて決められた特徴の相対的な位置に基づいて決めても良い。三角形のような形は、例えば２つの目と口の中央の間で作られても良いし、上記のような黄金矩形、若しくは、より一般的に、できるだけ頂点や軸のような３つ以上の特徴に対応する点を持つ多角形を作り出しても良い。

デジタル画像の画素の色や色合いのような１以上の色彩のパラメータの初期値が、決められていても良い。
１以上のパラメータ値は、自動的に調節されても良いし、または、この値を提示した値に調節するオプションが提供されても良い。

顔検出を使ったデジタル画像処理の方法は、識別されたデジタル画像中で、顔に対応する第１の画素群と識別されたデジタル画像内でほかの特徴に対応する第２の画素群で同様に適用される。再構成された画像は、少なくともこの顔と他の特徴の１つとして新しい画素群を含むことを決める。他の特徴は、第２の顔に含まれていても良い。再構成された画像は、自動的に生成されても良いし、または、再構成された画像を生成するためのオプションが適用されても良い。第１および第２の画素群における１以上のパラメータ値と、相対的に調節された値は、再構成される画像を作り出すために決められても良い。

顔を含んだ画像の圧縮方法は、デジタル取得画像内で顔に対応する画素群を識別することを同様に含むように適用される。上記画素群を含む画像における第１の圧縮部分は決められている。この画素群とは別の画像における第２の圧縮部分も決められている。第１の圧縮部分は、顔を含んだ圧縮画像を作り出すための第２の圧縮部分よりも高いグレードの圧縮で自動的に圧縮されても良いし、または、異なるグレードの圧縮を含んだ画像圧縮を適用するオプションが提供されていても良い。

顔を含んだ画像の必要な解像度を決める方法も提供し、デジタル取得画像内で顔と対応する画素群を識別することを含む。画素群を含む画像の第１の解像度の部分は決められている。画素群とは別の画像における第２の解像度の部分も、決められる。第１の解像度の部分は、顔を含んだレンダリング画像を作り出す第２の解像度の部分よりも高い解像度で自動的に圧縮されても良いし、または、この異なったグレードの解像度を含んだ圧縮画像を提供するオプションが提供されても良い。このような方法は、レンダリングの時間や消費（consumables）を節約するために使われても良い。例えば、このような方法は、画像の重要性の高い領域では多くのインクを使い、重要性の低い領域ではあまりインク使わないことを決めても良く、画像を印刷する時に全体的なインクの消費を節約する。

上述したそれぞれの方法は、好ましくは、カメラで、プリンタやディスプレイのようなレンダリング装置、若しくは、外部処理装置のいずれかで、ソフトウェア、および／又は、ファームウェア内で実行される。ソフトフェアは、カメラや画像処理装置にダウンロードされても良い。この意味で、格納された読み取り可能な処理コードを有した１以上の読み取り可能な処理の記憶装置が提供される。この読み取り可能な処理コードは、上記か下記の方法のいずれかで実行する１以上の処理をプログラムしている。

図１aは好ましい実施例を図示したものである。画像は、ブロック１０２でアプリケーションによって開かれる。その後、ソフトウェアは、ブロック１０６で記載されるように顔が写真中にあるかどうかを判別する。顔を検出できなければ、ソフトウェアは、画像を操作するのを止めて、終了する１１０。

また、ソフトウェアが同様に手動モードに切り替えても良く、使用者が、ブロック１１６で、ソフトウェアに顔があることを知らせて、ブロック１１８でそれらに手動でマークをつけても良い。この手動選択は、顔が見つからない場合に自動的に動かしても良いし、１１６、または、使用者に自動的な段階を選ばせた後に任意に動かしても良いし、いくつかのユーザインターフェースを通して、自動セクション１１２で多くの顔を加えるか、顔として自動処理１１８により間違って１１０で識別された領域を取り除く１１４のどちらかを動かしても良い。さらに、使用者は、１０６で定義した処理を起動するオプションを手動で選択しても良い。このオプションは、顔の検出に基づいて、画像の解像度を上げたり、画像を補正したりするのを、使用者が手動で決定する場合に有効である。顔にマークを付ける様々な方法、自動か手動のどちらか、カメラ内かアプリケーションのどちらか、そして画像中で顔を探すコマンドが手動か自動かで行うことは、好ましい実施例に全て含まれる。

他の実施例において、顔検出のソフトウェアは、ブロック１０４で記載するように取得処理の一部としてカメラ内で動作させても良い。この実施例は、図１bでさらに図示されている。この処理では、顔検出部１０６は、リアルタイム又はリアルタイムに近い動作をサポートするために異なって実行しても良い。このような実行は、画像のサブサンプリングや計算が行われたいくつかの画素を減らすための重み付けされたサンプリングを含んでも良い。

他の実施例において、顔検出ソフトフェアは、ブロック１０３で記載したような出力処理の部分としてレンダリング装置内で動作させても良い。この実施例は、図１cでさらに図示する。この処理では、顔検出部１０６は、レンダリング装置内かこのような装置の外部ドライバー内のいずれかで実行しても良い。

顔にタグやマークが付けられた後に、１０６で定義されるような手動または、１１８の自動で、ソフトフェアは顔検出段階によって作られる情報に基づいて画像を操作する準備をする。このツールは、取得、後処理、若しくは、この両方として実行することができる。

ブロック１２０は、顔にズームやパンニングすることを描いている。このツールは、顔を追跡するのを補助し、満足した構図を得るための取得処理の一部分、又は、画像のトリミング又は画像を用いた動作を含むスライドショーの生成のどちからのための後処理段階とすることができる。
このツールについて、図６でさらに説明する。

ブロック１３０は、画像の自動的な方向、後処理取得の技術としてカメラ内で、若しくはホストソフトウェアのどちらかで実行されるツールを示す。このツールについて、図２a-２eにおいてさらに説明する。

ブロック１４０は、顔の肌の色合いに基づいた画像の色を修正する方法を示す。このツールは、画像をRAWセンサデータ形式から、例えばRGB表示などの知られたものに変換するときに、カメラで生じる自動色変換の一部となったり、若しくは、後にホスト上で、画像処理ソフトウェアの一部分となったりする。様々な画像処理オペレーションは、広範囲で、回転処理のように画像全体に影響しても良いし、および／又は、局所的な基準に基づいて選択しても良い。例えば、ブロック１４０で定義されるような選択的な色や露出補正において、好ましい実施例としては、全体画像、空間的なマスク処理された顔領域のみ、若しくは、特定の露光(操作がマスクされた輝度)に対して補正を適用することを含む。このようなマスクは、力を変えることを含むことに注意し、変化の程度は補正を加えることに関連する。これは、画像に良く溶け込むように局所的に処理できる。

ブロック１５０は、より満足のいく構図を作り出すために、画像のトリミングやズームといった提示された構図を描いている。このツール１５０は、ブロック１１２０で描いたものとは異なり、そこでは、顔は、被写体を追跡するか、又は、顔の位置に基づいたカメラの移動を提供するために、しっかりと固定される。

ブロック１６０は、カメラにおいて実行されるデジタルフィルフラッシュのシミュレーション又は、後処理段階として示している。このツールについて、図４a-４eでさらに説明する。デジタルフィルフラッシュの他に、このツールを、ブロック１７０で記載されるように、全体の露光においてフィルフラッシュが必要であるか否かを決めるために、実際のフラッシュセンサとすることができる。この場合において、画像の全体的な露出を決めた後に、画像中で検出された顔が影っていれば、フィルフラッシュを自動的に使う。フィルフラッシュの正確なパワー（それは必ずしもフラッシュの最大パワーとする必要はない）は、全体画像と顔の間の露出の差に基づいて計算されることに注意する。このような計算は、当業者に良く知られており、絞り、露光時間、ゲイン（gain）、そして、フラッシュパワーの間でのトレードオフ（tradeoff）に基づいている。

このツールについて、図４eでさらに説明する。ブロック１８０は、顔にフォーカスしたカメラの性能を示している。これは、カメラにおいて事前取得フォーカスツールとして用いられており、図７において更に説明する。

図１bにおいて、図１aのブロック１０６で前述したように、カメラの取得パラメータを向上させるための顔検出を用いた処理について説明する。この処理において、例えば、シャッタの半押し、カメラの回転などによってカメラを動かす、１０００。次にカメラは、絞り、シャッタースピード、フラッシュパワー、ゲイン（gain）、色バランス、白い点若しくはフォーカスのような補正の取得パラメータを決めるための通常の事前取得段階に移る、１００４。特に、画像中で可能性のある顔と関連した画像特性のデフォルトのセットを読み込む、１００２。このような特性は、全体的な色バランス、露出、コントラスト、方向などとすることができる。

次に画像はセンサでデジタルキャプチャされる、１０１０。このような動作は、連続的にアップデートされても良いし、このようなキャプチャ画像を永久記録媒体に保存することを含めても良いし、含めなくても良い。

画像検出処理、好ましくは、顔検出処理は、この画像中で顔を探すために、キャプチャされた画像に適用される、１０２０。画像が見つからなければ、この処理は終わる。１０３２。また、１０３０の自動検出に加えて、使用者は、例えば、カメラの表示を利用することによって、いくつかの相互作用するユーザインターフェースの機構を用いて、検出する顔を選択することができる、１０３４。また、この処理は、感度や検出処理の閾値を変更することによって視覚的なユーザーインターフェースなしで実行できる。

顔が検出されると、１０４０、これらはマークやラベルを付けられる。１０４０で定義された検出することは、顔が検出されるか否かの二つの選択処理よりも多くなっても良いし、それぞれの顔が、顔の大きさ、フレーム内の位置、ここで記載された他のパラメータなどに基づいて重み付けが与えられる処理の一部として設計しても良いし、それは、検出された他の顔との関係で顔の重要性を定義する。

また、使用者は、手動で、顔を誤って検出したものを除外する領域を選択できる、１０４４。このような選択は、誤って顔が検出されたり、撮影者が主被写体として顔の一つに集中し、他の顔には集中しなかったりすることに応じて、行うことができる。また、１０４６、使用者は、これらの顔が、他の顔に対して演算上で高い重要性を有していることを示すために、１以上の顔を再選択するか、強調しても良い。１０４６で定義される処理では、二進法のものと対立するような連続的な値となる好ましい識別処理がさらに定義される。この処理は、視覚的なユーザインターフェースを利用することや、検出処理の感度を調節することによっても行える。顔が正確に分離された後に、１０４０、それらの特性が、１００２で再定義されたデフォルトの値と比較される、１０５０。このような比較は、同じ値にするために、２つの画像の間で潜在的な変換を決める。次に、変換は、カメラのキャプチャパラメータに書き換えられる、１０７０、そして、画像が取得される、１０９０。

実例としては、キャプチャされた顔が暗すぎる場合に、この取得パラメータを変更して、長秒時露光を行わせたり、絞りを開かせたりすることができる。この画像特性は、この顔の領域にのみ関係している必要はなく、全体的な露出にも関係していることに注意する。例証として、全体的な露出が修正されると、顔は露出不足となるが、このカメラが、図４a-４fで図示されるようなフィルフラッシュモードに切り替えても良い。

図１cに関して、前述した図１aのブロック１０３、のような、出力やレンダリングパラメータを改善するための顔検出を用いた処理について説明する。この処理で、プリンタやディスプレイのようなレンダリング装置(ここで装置と言われている)を動作させる、１１００。このような動作は、例えば、プリンタ内か、代わりにＰＣやカメラのようなプリンタを接続した装置内で実行できる。この後、装置は、階調再現、色の変換のプロファイル、ゲイン（gain）、色バランス、白い点そして解決のような正しいレンダリングパラメータを決めるための通常の事前レンダリング段階(pre- rendering stage)を通る、１１０４。さらに、デフォルトの一連の画像特性、特に画像中の潜在的な顔に関係したものが読み込まれる。このような特性は、全体的な色バランス、露出、コントラスト、方向などになる。この後、画像が装置にデジタルダウンロードされる,１１１０。画像検出処理、好ましくは、顔の検出処理は、画像中で顔を探すために、ダウンロードされた画像に対して適用される、１１２０。画像が見つからなければ、この処理を終了し、１１３２、装置は、通常のレンダリング処理を再開する。また、１１３０の自動検出に加えて、使用者は、手動によって、例えば、装置のディスプレイを使用することによって、いくつかの相互に作用するユーザーインターフェースメカニズムを用いて検出された顔を選択する、１１３４。また、このプロセスは、検出処理の感度又は閾値を変えることによって、視覚的なユーザーインターフェースなしで実行される。顔が検出されると、１０４０、それらに対して印とラベルが付けられる。１１４０で定義した検出は、顔が検知されるかどうかの２つの処理選択よりも多く、それぞれの顔は、顔の大きさ、フレーム内の位置、ここで記載された他のパラメータに基づいて重み付けがそれぞれの顔に与えられる処理の一部として定義されても良く、それは、検出された他の顔との関係で顔の重要性を定義する。

また、さらに、使用者が、手動で顔として誤って検出した領域を除外する、１１４４。このような選択は、顔が誤って検出されたものを修正する場合や、撮影者が、主な被写体としての顔の一つに集中し、他の顔には集中しないようにする場合に有効である。また、１１４６、使用者は、これらの顔が、他の顔に関係し、計算上で高い重要性を示す１以上の顔を再選択するか、強調しても良い。１１４６で定義されるようなこの処理は、さらに２つのものとは対照的に連続した値となる、好ましい識別処理を定義する。この処理は、視覚的なユーザーインターフェースを使うか検出処理の感度を調節することにより行われる。顔が正しく分離された後、１１４０、それらの特性は１１０２で事前に定義されたデフォルトの値、１１５０と比較される。このような比較は、同じ値に一致させるために、２つの画像の間で潜在的な変形を決める。この後、変形は、装置のレンダリングパラメータに変換され、１１７０、画像１１９０が、レンダリングされる。この処理は、複数の画像を含んでいても良い。この場合１１８０、この処理は、レンダリング処理を実行するよりも前に、それぞれの画像に対して繰り返される。実例としては、１つディスプレイの場合で、低解像度の画像の収集である、簡素な生成又は、密着印画がある。。

実例として、顔があまりにも暗く撮影された場合には、レンダリングのパラメータは、階調再現曲線を変えて、顔を明るくさせても良い。この画像特性は、この顔の領域にのみ関係している必要はなく、全体的な階調再現にも関係していることに注意する。

図２a-２eに関して、図１ブロック１３０で強調されるように、顔の位置や方向に基づいて画像の自動回転の発明について説明する。２つの顔の画像は、図２aに示されている。顔は同じ方向ではなくても良く、この顔は隠されても良いことに注意する。

図１aの機能を含んだ、この顔検出段階におけるソフトウェア（ブロック１０８と１１８）は、２１０や２２０のそれぞれの楕円で推定された母と息子の２つの顔に印をつける。楕円の共分散行列のような知られている数学的手段を用いて、ソフトフェアは、２つの顔の主軸を２１２と２２２のそれぞれを決め、同様に第２軸を２１４と２２４を決める。この段階でさえ、単に軸の大きさの比較によって、カメラが、水平である横向き印刷又は、垂直又は時計回りで＋９０℃、または反時計回りで-９０°である縦向き印刷であるとき、ソフトウェアは、画像が９０度方向付けられたと推測する。また、アプリケーションは、任意の回転値として利用しても良い。しかしながら、この情報では、画像を時計回りか反時計回りかどうか決めのに十分ではない。

図２cは、顔の適切な特徴を抽出するステップを示しており、それは、一般的に高く検出される。このような被写体は、目、２１４,２１６と２２４,２２６、そして口、２１８と２２８を含む。２つの目と口の中央の組み合わせで、三角形２３０を作り、それは、顔の方向を決めるのみならず、顔の写真との関係で顔の回転も決める。鼻孔、眉毛、髪の毛、鼻柱、そして顔を物理的に延ばしたような首のようなものを、検出方向として用い、そして、ラベルをつけた画像の他の高い検出可能な部分があることに注意する。この図は、目や唇が、見つけられた目や口の位置に基づいてこのような顔の特徴の例として適用され、この画像は、例えば、反時計回りに回転しても良い。

異なる顔の特徴を位置づけるだけでは十分ではなく、それぞれの特徴を比較する必要がある。例えば、目の色は、一対の目が同じ人間を創造するのを保証するために比較しても良い。他の例は、図２-cと２-dで、ソフトフェアが、２２６、２２４の目と２１８の口を組み合わせれば、正しい方向は、時計回りに決められる。この場合、ソフトウェアは、この口と目の大きさとの関係を比較することによって、正しい方向を検出する。上記の方法は、異なる顔の被写体の位置関係に基づいて画像の方向を決める手段を説明する。例えば、二つの目が、水平に位置づけられ、鼻のラインは、目に対して垂直となり、口は、鼻の下などに位置づけられる。また、方向は、顔の幾何学的な構成自体に基づいて決められても良い。例えば、目は水平に引き伸ばすよう要求されても良いし、それは、ブロック２１４や２１６で描かれるような目に楕円を合わせることを意味し、主軸が水平となる。唇も同じように、楕円を合わせると、主軸が水平となる。また、顔の周りの領域を考慮しても良い。特に、頭につながった連続した肌の色合いのみがある首や肩が、顔の方向や検出の表示となる。

図２-eは、検出した顔の特徴に基づいて正確に方向付けられた画像を示している。全ての顔ではないがいくつかの場合で、同じ方法で方向付けられる。このような場合、ソフトウェアは、画像中で目立つ顔の方向を判別するための他の基準を決めても良い。このような顕著な決定は、顔の大きさ、露出若しくは、閉鎖との関係に基づいている。

異なる顔の構成、および／又は、個人的な構成の方向との関係のように、いくつかの基準が試験されており、全ての結果ではないが、単一の方向に結論付けられる。これは、誤った検出、誤った計算、首や肩を含む顔の塞がれた部分（閉塞部分）や、顔の間のばらつきに依存する。このような場合、統計的な決定は、異なる結果を取り込み、そして、一番好ましい方向に決めるように実行しても良い。このような統計的な処理は、最大の結果（簡単な計算）や、相互関係または主要な要素分析のような高度化され順序付けた統計値が分かっても良いし、そこでは、基本の機能は、方向角度となる。また、さらに、使用者は、目立つ顔や、方向付けられた顔を手動で選んでも良い。選択、又は、計算した目立つ顔の特別な方向は、自動的に決められ、プログラムされ、使用者によって手動で決められても良い。

画像の方向を決めるための処理は、好ましい実施例において、デジタルディスプレイ装置の一部として実行できる。また、この処理は、デジタルプリント装置の一部として、又は、デジタル取得装置内で実行できる。

この処理は、同一ページ若しくは同一スクリーンにおいて、密着印画の表示又は画像の簡素な表示といった、複数画像の表示の一部として実行することもできる。この場合、使用者は、個々に、又は、一気に複数の画像を選択することで、画像の示唆した方向を拒否、又は、認めても良い。この画像配列の場合で、この発明は、前の画像に関して、使用者によって認めた情報に基づいて、画像の方向を決めても良い。

図３a-３fは、顔の位置に基づいて構図を提供する実例となる処理について示している。図１aのブロック１０８と１１８で定義されるように、顔３２０は、この場合、この目３２２と３２４で図示するような１以上の適切な特徴として検出される。次に目の位置は、水平の３３０と垂直線の３４０の位置に基づいて計算される。この場合、この顔が、図３-dで図示されるような水平画像の中央と上部から１/４の垂直とで位置づけられる。

構成と感性の共通の規則に基づいて、例えば、目が、３５０で描かれるような２/３rdの線と３６０で図示したような、１/３左か、１/３右になるような図３-eとして、クローズアップした顔は、より良い位置になるように考慮しても良い。他の似たような規則は、顔としての黄金比（golden-ratio）や、画像中で顔の様々な部分に与えるような感性の規準に基づいて目や唇のような顔の様々な部分の位置と顔全体の位置としても良い。

図３cは、特に制限のない写真で生じる、他の観点での顔検出について説明する。この顔は、カメラの焦点面で正面向きにそろえる必要はない。この図で、被写体は、顔の正面部分や、側面部分の露光面に向ける。このような場合、このソフトウェアは、使うことや、顔の中心を選んでも良いし、それは、この場合、被写体の左目で並べても良い。被写体が、全体的に正面の位置ならば、ソフトウェアは、鼻柱の周りを顔の中心と決める。顔の中心は、長方形、楕円の中心、顔のアウトラインを一般的に決める他の形状、十字線の交点、若しくは当業者によって理解されるような他のもので決めても良い。（参照、例、図２b-２eの楕円２１０、図３bの楕円３２０、図３cの楕円３３０、図３eの十字線３５０,３６０）

目、唇、鼻、そして耳のような適切な特徴や顔の情報に基づいて、ソフトウェアは、自動的、又は、使用者に次の動作を要求するようなユーザインターフェースや、このような構成に達するための画像の集合部分のどれかを通して出来る。この特定の画像としては、ソフトウェアが、下の領域３７０と右の部分３８０を削除する。画像の再構成処理は、主観的である。このような場合、この発明は、潜在的に少数のものから最も満足するオプションを決めるのに使用者を案内または、補助として動く。このような場合、提案した構図の多数は、表示され、使用者が、それらのうちの一つを選択するために提供される。

他の実施例では、画像を再構築する処理は、画像を取る処理（事前キャプチャ、事前取得か後の取得段階のどちらかで）の一部として画像取得装置内で実行される。この処理で、この取得装置が、この表示で、提案された画像の再構図を表示しても良い。このような再構図は、図３fに似た表示やビューファインダ装置で表示し、あるいは３５２や３５４のようなトリミングのガイド線で表示しても良い。このようなユーザーインターフェースは、元の構成した画像や、提案したものを使用者に選択形式を可能にする。同様の機能は、後の取得の一部分として提供したり、そうでなければ、再生モードに付託することができる。

さらなる実施例では、感性の実線、例えば１/３の線３５０と３５０は、正しい構成を決める補助として、この使用者に同様に表示しても良い。図４a-４fに関しては、顔の情報は、使用者に自動的な効果で作るか、そうでなければ、フィルフラッシュにより作るかを補助する。フィルフラッシュは、主な照明が自然光である場所でフラッシュとして使われる。この場合、このフラッシュは、画像中で影を減らすのを補助する。特に、フィルフラッシュは、前景で被写体が影にあるような画像で使われている。このような場合は、例えば太陽がカメラの前にあるような時で、前景の被写体に影ができる。多くの場合、この被写体は、背景の前で、ポーズする人々を含んでいる。

図４aはこのような画像を図示したものである。全体の画像が、水で太陽の光りを反射したため明るくなっている。このため前景にあるものは、影になっている。

全体の露出を計算する正しい実施例は、露出のヒストグラムを用いて行われる。この技術に慣れたものは、露出を決める他の手段で決めても良いし、それらのいつくかは、他の実施例に従って用いても良い。図４-bで画像の輝度のヒストグラムを見ると、様々な部分に対応する三つの識別された露光領域がある。このヒストグラムは、Y軸４１６とX軸４１８で定義されるような異なるグレイレベルの機能として、画素の濃度を描く。画素の高さは、特定のグレイレベル（Y軸の高さの値）に値する。領域４１０は、主に母親の影である。領域４１２の真ん中の色合いは、主に前景の水と赤ちゃんの影である。ハイライト４１４は水である。しかしながら、全ての影が前景になるわけではなく、全てのハイライトが背景になるわけでもない。このヒストグラムに基づいた露出補正は、不自然な補正となる。

図４-cで説明した顔検出を適用すると、、図４-dのヒストグラムは、実質的に明確になる。このヒストグラムで、領域４４０は、影のある顔を描く。図４-cで図示されるような顔の実際の部分は、２成分のマスクだけではなく、境界がぼかされるか、徐々に変化するグレイスケールマスクとなる。さらに、形が似ているものにも関わらず、顔の領域４４０は、例えば、図４bの領域４１０で定義されるような、画像全体の影の領域と一致しなくても良い。画像に参照テーブル４-fを適用するといった、図４eで図示するような顔の領域に露出補正を加えると、この効果は、背景には影響を与えずに、前景を明るくするフラッシュの一つと同じようなものである。顔の周辺を徐々にぼかすマスクを行うことの利点は、このような補正を、強調せずに、気づかれないことである。図４eは手動で実行することができ、使用者は、シミュレートしたフィルフラッシュの効果を変化させることができる。また、ソフトフェアは、使用者が形式を選ぶ異なる領域や階調再現の曲線に基づいた選択補正を使用者に示しても良い。

しかしながら、露光や階調再現は、フィルフラッシュに似せた最も好ましい処理としても良く、他の修正は、選択領域のシャープさ、コントラストの処理、色補正のようなものを与えても良い。さらに有利な修正は、写真の画像で物理的なストロボ効果でひたしまれている。

また、図４gのフローチャートに示すように、同様の方法が、事前取得段階で利用されており、フィルフラッシュが必要であるか否かを決める。フィルフラッシュが用いられるコンセプトは、画像を明るくする２つの種類の光源があるとの前提に基づいている。利用可能な外部若しくは、周囲の光源、そしてそれは、ゲイン（gain）、シャッタースピードと絞り、そして、絞りによる影響とフラッシュパワーのみにより制御されるフラッシュによって制御される。絞りに対するシャッタースピードを修正することで、カメラは、全体的な露光を維持している間、フラッシュ効果を高めるか弱められるかどちらかできる。使用者がブロック１０４で、図１aで定義されるようにカメラを動かすと、カメラは、全体的な露出を計算する４８２。このような計算は、当業者に知られたもので、必要なものと同じくらい高性能化できる。ブロック１０８で、カメラは、画像中で顔の存在を探す。次に、顔に属するものと定義された領域に対する露出を計算する、４８６。４８４で決められた全体的な露出とこの顔との間の不均衡は、４８６で計算される。この顔の領域が、全体的な露出よりも実質的に暗ければ４８６、次にカメラは、フィルモードになりフラッシュを動かす４９０、必要なフラッシュパワー、絞り、シャッタースピードを計算し４９２、この画像４９４にフィルフラッシュを加えて取得する。このフラッシュパワー、絞り、そしてシャッタースピードとの関係は、同じように定式化され、写真の技術で親しまれているものとして知られている。このような計算については、米国特許第６,１５１,０７３号（Steinberg等）を参照できる。

また、異なる実施例４９６、このアルゴリズムは、顔の情報や露出に基づいた全体的な露出を簡単に決めるのに用いられても良い。４９６で計算されたものとして、顔に対する最良な露出に基づいて、この画像が次に撮影される４８８.多くのカメラは、露出計算のマトリックスタイプを有し、そこでは、異なる領域が、全体的な露出の貢献に応じて、異なる重み付けをつける。このような場合、このカメラは、今を除いた同様の露光アルゴリズムを実行し続け、それらにおける顔の領域は、このような計算に対する重要性で、大きな重み付けを付ける。

好ましい実施例に従った技術は、デジタル画像における顔検出を含む。それぞれの検出された顔の肌の色合い、および／又は、輝度が決められている。好ましくは、それぞれの顔がデジタル画像内でセットされたのに対する背景の輝度、色および／又は色合いが決定される。それぞれの決定は、それぞれの特定の顔の輝度、および／又は、色合いに基づいた特定量によって、それぞれ検出される顔の輝度を調節し、および／又は、検出される顔に対してフィルフラッシュを適用するために行われる。

図４iは、異なる肌の色合いの２つの顔を含んだデジタル写真を示し、そこでは、黒っぽい肌の色合いの顔が、同じ様に黒い背景に対して写っている。図４jは、図４iのデジタル写真に明るい肌の色合いの顔よりも黒い肌の色合いの顔にたくさんのフィルフラッシュを適用したものを示す。

図４kは、異なる肌の色合いの２つの顔を含んだデジタル写真を示す、そこでは、黒い肌の色合いの顔は、同じ様に明るい背景に対して写っている。図４Iは、図４kのデジタル写真に明るい肌の色合いの顔よりも黒い肌の色合いの顔に多くのフィルフラッシュを適用したもの示す。

アドビフォトショップは、明るい顔に与えたものと比較して暗い顔にさらにフィルフラッシュを適用したものとして用いられている。しかしながら、この製品は、総計で、それぞれの顔にフィルフラッシュを与えることや、顔の肌の色合いや顔を検出するための出願人の有利なモジュールを含まなく、それぞれの顔の検出された肌の色合いに依存する。出願人のモジュールでは、画像中で設定された各顔に対する背景を考慮することができる。図４iは、暗い背景に対しての２つの黒い顔を含んでおり、一方、図４kは、明るい背景に対しての黒い顔である。それぞれの場合で、暗い背景としての図４jと明るい色の背景としての図４ｌで、黒い顔は、明るい顔よりも多くのフィルフラッシュを加えることで補正され、顔の背景は、２つの画像中で２つの顔の輝度に合うように計算される。

この有利な方法は、特に異なる民族の集団の人々の集合写真として良い質の写真を作り出す。異なる民族の集団の人々の集合した画像が撮られると、異なる肌の色合いのため、ある顔は、他の人に比べて見えなくなる。(参照、図４iと４k)画像を「補正する」ために、できるだけ画像中の顔を検出される。他の実施例では、それぞれの顔が属する民族のグループを決めても良い。例えば、それぞれの入力は、それぞれの検出した顔として使用者によって提供されても良いし、若しくは、この顔は、既に入力された民族の同じ人の違う顔画像と合わせても良い。特に民族の集団の顔として平均的な輝度調節の情報に基づいて、フィルフラッシュ、若しくは、輝度の調節が適用される。適した局所的な補正は、それぞれの顔がより見えるように作られる。

図４mは、好ましい実施例に従った方法を示している。１つの顔が識別されたり、複数の顔が４９７aにおいてデジタル画像中で識別されたりする。それぞれの顔として、肌の色合いは、４９８aで検出される。それぞれの顔に対応する画素のパラメータは、４９９aにおいて、肌の色合いに基づいて調節されたり、適用されたりする。

図４nは、好ましい実施例に基づく更なる方法を示している。１つの顔が識別されたり、４９７bにおいて、複数の顔がデジタル画像中で識別されたりする。それぞれの顔として、輝度が４９８bで検出される。フィルフラッシュを適用するか、そうでなければ４９９bで検知された輝度に基づいてそれぞれの顔に合せて輝度を調節する。

図５において、画像中で、顔の情報の他の有用な使用について説明する。この例では、顔の情報は、画像表示の質を向上するのに役立てられる。画像５１０は、スライドショーソフトウェアに挿入される。顔は、次に目や口のような顔の重要な特徴の位置を含んだ、図１ブロック１０４で定義されたものとして検出される。

次にこの使用者は、顔のズームインに対する顔のズームアウのようないくつかのオプションとしっかりとクローズアップしたズームレベル５２０との間で、規則的にクローズアップする５２０、又は、結合した箱によって図示されたようなクローズアップ媒体５４０を選択できる。次にソフトウェアは、必要なパン、傾き、そして始めと終わりの状態との間の滑らかで徐々に切り替わるのに必要なズームを自動的に計算する。１以上の顔が見つかる場合は、このソフトウェアは、１つの顔から最後の顔まで、パンとズームの組み合わせを生成することもできる。

より一般的な規則で、このアプリケーションは、分解したような選択効果内で形式を提供でき、図６は、似たような機能だが装置の中を図示したものである。カメラは、ビューファインダーによって図示されたように静止画や動画であろうとなかろうと６１０、自動追跡モードの場合６００、この画像中で顔を検出し、次にフルワイド画像６３０からズームした画像６４０に移るようにズーム、パンそして傾きのデジタルの組み合わせを示唆する。このような表示は、使用者に表示するような６３２のズームよりも前のビューファインダを同じように示しても良いし、それは、次に使用者が、自動ズームを動かすか動かさないかを実際の時間で決める。この機能性に対して、カメラが画像中で顔の位置を連続的に追跡する追跡機能を加えることもできる。さらに、カメラは、この顔検出に基づいて、正しい露出やフォーカスを維持することもできる。

図７aは、画像中で、顔の位置に基づいたカメラのオートフォーカスの能力を示している。ブロック７１０は、カメラのビューファインダで見られるような画像のシュミレーションである。中心重み付けタイプのオートフォーカスを実行すると,７１８, 十字７１２によって描かれるような、１７フェートの先で、画像が芝生にフォーカスされるのが分かる。しかしながら、この発明で描かれるように、カメラが事前取得モードであれば、１０４で顔を検出し、７１４、任意の中央よりも、顔にフォーカスし、このカメラは、次にフォーカスする場所を使用者に示す、７２２そして、このレンズは顔との距離を調節する、この例では、７２８で見られるような元は１７ftに対して１１ftになる。

この処理は、いくつかの加重平均を適用して、一人の顔のみならず複数の顔をサポートすることを当業者によって広げられている。このような平均は、顔、距離そして大きさの間の不均衡さに基づいている。

図７bは、図７aのビューファインダを通して図示された作業工程処理を示す。顔のオートフォーカスモードを動かすと、７４０、カメラは常に顔を探す、７５０。カメラ内のこの操作は実際の時間で実行されて、このように最適化される必要がある。顔を検出しないと、７６０、このカメラは、代わりにフォーカスモードに切り替わる、７６２。顔が検出されると、カメラは、１又は、複数の顔に印をつける。また、カメラは、ビューファインダーやLCD上で顔の位置を表示しても良い７７２。次に使用者は写真を撮ると、７９０、そこで顔がフォーカスされる。

また、使用者のリクエストを通じて、顔の追跡モードをセットすると、このカメラは自動に移る７８０。このモードでは、カメラは、顔の位置の追跡を続け、顔の位置に基づいてフォーカスを常に調節する。

他の実施例では、カメラは、顔を探し、図７２２における十字線と同様に、印をそれらにつける。次に、撮影者が、例えばシャッタを半押しすることにより、被写体にフォーカスをロックすることができる。被写体に対してフォーカスをロックすることは、次に被写体が動くことによって、フォーカスをロックするのとは異なり、カメラは、選択された被写体へのフォーカスを補正することにより正しいフォーカスを維持する。

図８において、画像の異なる区分の関連する構成比率を決めるために顔の位置と大きさについての情報の使用について説明する。画像８００は、水平線のグリッド８３０と垂直線のグリッド８２０を使ったタイルで区切られる。顔の情報の全部、又は、一部を含むタイルは、印を付けられる８５０。圧縮に際して、８５０の領域は、この領域の外部において画像８００のタイルとは異なる圧縮でされても良い。圧縮の度合いは、使用者によって、事前に決められたり、事前に調節されたり、相互作用の処理として決めても良い。画像中で複数の検出した顔の場合、使用者は同じように画像中で顔の重要性に基づいて異なる質の値、若しくは圧縮比を割り当てても良い。このような重要性は、主観的な相互作用の処理を用いることや、画像中での顔の大きさに関係したもの、露出や他の被写体との関係で顔の位置のような主観的なパラメータを用いて決めても良い。

可変圧縮の他の方法は、画像の可変な解像度を含む。これに基づいて、図８を用いて説明した方法は、可変の解像度を作り出すのに使われる、顔の領域は、通常、画像の重要な領域となり、画像中の他の領域よりも高い全体の解像度で維持される。この方法によれば、図８で言及するように、ブロック８５０で定義された顔の領域は、８５０の部分ではない画像８００における領域よりも高い解像度を極力維持される。

画像は、特定の領域が、低い圧縮比と等しい高い質の圧縮を有するように局所的に圧縮できる。あるいは、および／又は、対応して、画像の特定の領域は、多かれ少なかれそれらに関係がある情報を有しても良い。この情報は、JPEGやWavelet暗号のような周波数に基づいた方法（frequency-based）や時間に基づいた方法（temporal-based）で暗号化される。あるいは、空間的なドメインでの圧縮は、画像の解像度で変化を同様に含んでも良い。したがって、局所的な圧縮は、特定のエリアで、画像の調節可能な可変的解像度を定義することにより同様に得られる。そうすることで、重要な選択領域や決定領域は、画像中で重要性の低いまたは、選択されていない領域を決めた領域と比較して低い圧縮、又は、高い解像度で維持しても良い。

顔検出や顔の追跡技術、特にここで説明した好ましい実施例や他の実施例に従ったデジタル画像処理アプリケーションは、当業者によって理解されるように、引用文献での説明や参照することにより組み込まれたものとして、そして、他の下記のものとして上記方法やシステムの様々な修正に従ってさらに有利となる。例えば、このような技術は、特にこの検出が実際の時間で実行されるときに、ビデオ配列中で、顔を識別するのに用いられても良い。電気の構成回路、および／又は、ソフトウェアかファームウェアは、ビデオ信号における検出するフラッシュトーン（flesh-tone）領域としての実施例、この領域での人の顔を識別することや、露光、ゲイン設定（gain setting）、オートフォーカス、および／又は、ビデオカメラとしての他のパラメータを利用したものとしての実施例に従うことを含んでも良い(米国特許第５４８８４２９号と第５６３８１３６号(Ｋｏｊｉｍａ等))参照)。他の実施例において、輝度の信号、および／又は、色の違いの信号は、ビデオ画像で、フラッシュトーン（fleshtone）領域を検出すること、および／又は画像中で、フラッシュトーン（flesh tone）領域の存在を示すための検出信号を作るのに用いられても良い。さらなる実施例では、エレクトロニクス、および／又は、ソフトフェア若しくはファームウェアは、ビデオ信号中で顔を検出したり、ビデオ信号中で同じ位置で「格納された」顔画像を置き換えたりしても良い、そしてそれは、例えば、ビデオフォンの低帯域幅の実施に有利である。(例えば、米国特許第５,８７０,１３８号、(Smith等)参照)

他の実施例に従って、人間の顔は、ビデオ配列において、人の顔を実際の時間での追跡に合わせた画像内で位置づけても良い。(例えば、米国特許第６,１４８,０９２号と第６,３３２,０３３号(Qian)参照)画像は、複数の画素を含くむことを提供しても良く、そこでは、変形やそれぞれの画素のフィルタリングは、画素が、人間の肌の色合いに関連した色を持つように決めることを実行する。２つの別の方向で肌の色合いの統計的分布は、計算されても良いし、画像内の顔の位置は、これら２つの区分から計算されても良い。

他の実施例では、電気的、および／若しくは、ソフトウェア、若しくは、ファームウェアの構成は、複数の人がいるビデオの配列からの画像中で人の顔の追跡をするように適用しても良い(例えば、米国特許第６,４０４,９００号同様に(Qian)参照)。フィルターされた画像の投射ヒストグラムは、フィルター画像中での追跡した顔の位置、および／又は、大きさの出力として用いられても良い。画像中で顔のような領域は、自動で立体的な形の観察者の追跡表示に情報を適用することで同じように検出しても良い。（例えば、米国特許第６,５０４,９４２号、(Hong等)参照）

別の実施例に従った装置は、顔検出に近い固有ベクトルを用いた画像で特定の特徴の検出や認識を適用しても良い(例えば、米国特許第５,７１０,８３３号、(Moghaddam等)参照)。追加の固有ベクトルは、追加的、若しくは、あるいは主な固有ベクトルの構成要素、例えば、全ての固有ベクトルが用いられているなどを使っても良い。固有ベクトルの使用は、複雑な複数の特徴のある被写体を検出する装置の精度を増やすものでも良い。

別のアプローチは、モデルグラフを用いたビデオ画像内で、および／又は、特に有利に広い様々なポーズアングル上で人の顔を認識するグラフの束(bunch graphs) を識別や認証した被写体に基づいても良い（米国特許第６,３０１,３７０号、(Steffens等)参照）。さらなるアプローチは、被写体の識別、例えば、固有ベクトル技術を用いることに基づいても良い(例えば、米国特許第６,５０１,８５７号、(Gotsman等)参照)。このアプローチは、ゼロマッチ(matches)付近になるように作り出す滑らかで弱いベクトルを用いるか、あるいは、システムは、マッチを検出するために、強いベクトルの閾値を用いても良い。この技術は、複雑な背景で顔検出や顔認識するのに有利であっても良い。

顔検出のためのアプリケーションの他の領域、および／又は、追跡技術、特にここでの好ましい実施例や他の実施例に従ったデジタル画像処理は、顔の特徴から決められたデータに関係する年齢、性別、他のカテゴリーに基くお客の分類若しくは、人の追跡や、バイオメトリックデータの集合を許容して、顔の特徴を抽出する。エレクトロニクス、および／若しくは、ソフトウェア、若しくは、ファームフェアに基づいた情報は、デジタル画像中で人間の顔の年の分類や自動的な顔検出を提供するのに用いても良い（例えば、米国特許第５,７８１,６５０号（Lobo＆Kwon）参照）。顔検出と顔の抽出は、テンプレートに基づいても良い(米国特許第５,８３５,６１６号(Lobo＆Kwon)参照)。バイオメトリックに基づいた顔の特徴の抽出のためのシステム、および／又は、方法は、関心領域における顔の特徴としての座標を決めるための不一致な関数、境界検出、そして、フィルタリングの組み合わせを使うことが用いられても良い（例えば、米国特許第６,５２６,１６１号(Yan)参照）。自動検出と個々の追跡方法は、使用者の顔や頭を追跡するモジュールを利用しても良い(例えば、米国特許第６,１８８,７７７号参照)。例えば、深さの概算モジュール、色の分節モジュール、および／若しくは、パターンの分類モジュールが用いられても良い。これらのモジュールのそれぞれからのデータは、使用者の識別を補助するのを組み合わせて、このシステムは、実際の時間で使用者の頭や顔に追跡して、対応できる。

好ましい実施例と他の実施例は、デジタル写真の分野で適用しても良い。例えば、写真の画像における主な被写体の自動決定は、実行しても良い(例えば、米国特許第６,２８２,３１７号(Luo等)参照)。任意の形や大きさの領域は、デジタル画像から抽出されても良い。これらは、物理的に密着した被写体に対応した大きなセグメントグループとなる。この後、確率的な推論エンジンは、画像の主な被写体に最も好ましい領域を判断しても良い。

顔は、複雑な視覚の場面、および／又は、顔検出システムに基づいたニューラルネットワーク、特にここでの好ましい実施例や他の実施例に従ったデジタル画像処理で検出しても良い（例えば、米国特許第６,１２８,３９７号(Baluja＆Rowley;と“Neural Network-Based Face detection”)、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. ２０, No. １, ２３〜２８ページ １月 １９９８年 同じ著作者、参照）。さらに、画像は、検出に基づいたニューラルネットワークの成功率を最適化するためのニューラルネットワークの分析のアプリケーションより前に回転しても良い(例えば、米国特許第６,１２８,３９７号参照)。この技術は、顔が垂直に方向付けるときに、特に有利になる。好ましい実施例や他の実施例に従った顔検出、そして、複雑な背景を含んだときにそれは特に有利で、１以上の肌の色の検出、スパニングツリー（spanning tree）の最小限 および／又は、誤検出の除去を発見的に用いても良い(例えば、米国特許第６,２６３,１１３号(Abdel-Mottaleb等)参照)。

広範囲の技術は、好ましい実施例と他の実施例に従った画像操作、および／又は、画像処理に適用されており、自動、半自動、および／若しくは、手動の操作を含んでも良いし、そして、アプリケーションのいくつかの範囲で適用する。以下は、それぞれの議論のために下位区分のグループかされたいくつかの議論を含む。(i)コントラストの正規化や画像の鮮鋭化。(ii)画像の集合、ズームと回転、(iii)画像の色の調節と色合いのスケーリング(iv)露出の調節とデジタルフィルフラッシュをデジタル画像に適用されたもの(v)色の空間マッチングを伴う明るさの調節；そして、画像処理を伴うAuto―Gamma決定(vi)自動的／バッチの画像処理を決めるための入力／出力装置の特徴づけ(vii)インカメラの画像処理そして(viii)画像処理に基づいた顔

(i)コントラストの正規化と画像の鮮鋭化
この領域は、デジタル画像を調節すること、キャプチャの後に、画像の鮮鋭度、コントラストを改善し、および／若しくは主な被写体に改善されたフォーカスで潜在的に似た関係となる。画像は、画像の表現を周波数ドメイン表現に変換することによって、そしてスケーリング要素を画像の確かな周波数ドメインの特徴に選択的に適用させることによって鮮鋭化しても良い（例えば、米国特許第６,４２１,４６８号(Ratnakar等)参照）。この修正された周波数のドメイン表現は、空間的なドメインに背景変換され、元の画像の鮮鋭化したバージョンを提供しても良い。この画像の鮮鋭化の効果は、全画像に適用しても良い。(参照、特に(Ratnakar 等)、上記) 画像の鮮鋭化は、ここでの具体化に従った画像内で特に空間的な領域を選択することを同じように適用しても良い。

画像の自動コントラストの処理は、大きなねじれを引き起こさず画像内で色合いのレベルのダイナミックレンジを増加するこによって提供しても良いし、または、画像の色マップを動かす。（例えば、米国特許第６,３９３,１４８号(Bhaskar)参照）この処理は、画像内で全体の画像か、１以上の特別な空間的な領域に選択的で有利なものを適用しても良い。さらに、全画像の補正は、人間の顔領域のような、この画像内で特別な空間的な領域の特徴から選択的に引き出しても良い。

デジタルフォト終了システムは、場面のバランス、画像の鮮鋭化、および／又は、コントラストの正規化を提供する画像処理を含んでも良い(例えば、米国特許第６,０９７,４７０号(Buhr等)参照)。アルゴリズムは、印刷媒体で最適化され、この全体画像に適用しても良い。

（ii）デジタル画像をトリミングする、ズームする、回転する。
元の画像以上の改善された構造におけるデジタル画像部分の選択は、「トリミング」によって画像処理の形式を再表示する。同じような技術は、元の画像のサブ領域を選択することと、この画素間で挿入することによりこのサブ領域の解像度を上げることを含む。これは、画像のデジタルズーム形式を表示して、正しく適用すれば元の画像の改善を提供できる。画像を空間的に変える三番目の手段は、画像を回転するによって画像の方向を変えることにある。これは、例えば、画像のアスペクトを横長から縦長に変えるために直線に対して９０°か２７０°回転し、逆も同様である、若しくは、例えば、目の線のレベルになるように任意の角度に回転することを含んでも良い。（上記参照）

電気システム、ソフトウェア若しくはファームウェアは、写真画像の部分の画像が、自動的に作り出されるように適用しても良い。これは、「ビリーフマップ（belief map）」として知られた技術を利用しても良い（例えば、米国特許出願第２００２/０１１４５３５号(Luo)、この原理画像内の確かな領域は、主な関心領域となる可能性を決めることについて、参照）。主な被写体は、画像内で自動的に決められても良い(例えば、米国特許第６,２８２,３１７（Luo等）参照)。任意の形、および／又は、大きさの領域は、デジタル画像から抽出されても良い。これらの領域は、物理的に密着した被写体に対応する大きなセグメントの集合にしても良い。主な被写体の検出のための確率的な推論エンジンは、この画像の主な被写体に最もなりうる領域を同じように判断しても良い。この技術は、調節可能な、広げられる、ブリーフマップ（belief map）を作り出すために確立ネットワークを通してフィルタリングされる、元の画像からの特徴の抽出のセットを含んでも良い。他の実施例では、確率的な「ブリーフマップ（belief map）」は、主な被写体の検出エンジンによって作り出される。

ブリーフマップ（belief map）の生成を含んだ上記システムの他の実施例は、計算の複雑性のある度合いを一般的に含んでいても良い。好ましい実施例によれば、画像中における顔の検出、および／又は、顔の存在から得られた情報は、画像中で関心ある１つの領域か複数の領域を決めるのに有利に用いられ、一般的に複雑な計算の減少や、資源に制限のある部分のアプリケーションや非常に所望の組み込まれたシステムを作ることを含む。

システム、ソフトウェア、および／若しくは、ファームウェアは、プリントするための自動回転、トリミング、デジタル画像スケーリングを適用しても良い(例えば、米国特許第６,４５６,７３２号(Kimbell等)参照)。この実施例において、最適ないくつかのデジタル画像は、プリンタで定義した大きさの紙のシートに合うようにすると良い。システムは、それらの画像を改善すること含んでも含まなくても良いし、および／若しくは、プリント形式における元の画像の質を保存することを供する１以上の構成要素を含んでも良い。好ましい実施例に従って、回転、トリミング、および／若しくは、画像のスケーリングの動作は、この画像上で顔に関連する情報のようなものを、全体画像から抽出したものとは別の基準に基づいても良い。

自動画像のトリミングを含む実施例は、強度のレベルにおける、多くのバリエーションを有するものから、一定の強度のレベルでの画像の領域を分けるために局所的な強度バリエーションを用いると良い(例えば、米国特許第５,９７８,５１９号(Bollman等)参照)。縦長書式、例えば、パスポート写真の例のような一定の背景からトリミングしても良い。実施例において、縦長書式は、より複雑な背景から抽出されても良い。自動トリミングは、画像中で強度、および／又は、質感のバリエーションの領域に基づいても良い。顔検出は、自動トリミングとして画像内で、領域を決めるための有利な手段としてできるだけ使われている。

自動的な画像回転、画像の方向、画像中で青い空を検出する電気的、ソフトウェア、および／若しくは、ファームウェアの構成を含んだ実施例が含まれても良い（例えば、米国特許第６,５０４,９５１号(Ｌｕｏ等)参照）。この特徴は、一度青い空の領域を決めために画像を方向付けると、画像を位置づけて、分析する。他の実施例において、他の画像のアスペクトは、青い空の検出や分析で組み合わるのに同じように用いられ、そして、画像中で特に顔の領域の存在や、画像の正しい方向を決めるために分析する。

(iii) デジタル画像の色の調節と色合いのスケーリング
画像の部分は、比色分析のパラメータに従って緩和しても良い(例えば、米国特許出願公開第２００２/０１０５６６２号(Patton等)参照)。このような画像補正は、画像で肌の色合いを表した領域を識別すること、肌の色合いのための複数のレンダリングを表示すること、レンダリングのうちの１つの選択、および／若しくは、例えば、使用者による選択、ソフトウェア、および／若しくは、ファームウェアを用いた自動的、若しくは、半自動的な選択として、肌の色合いのレンダリングに従った画像での肌の色合いの領域のレンダリングの１つの選択、および／若しくは、補正することを含んでも良い。画像の特別な領域からの肌の色合いの情報は、この画像を処理するのに用いられても良い。好ましい実施例ににおいて、画像処理が、自動的または半自動的に実行されたものに基づいて、顔の領域は、画像中で検出される。

他の実施例において、デジタルカラー画像のコントラストを調節するときに画像の色を補っても良い（例えば、米国特許第６,４３８,２６４号(Galleagher等)参照）。これは、色合いのスケール機能を受け、デジタル画像のそれぞれの画素としての色合いのスケール機能の局所的な傾斜を計算すること、デジタルカラー画像から色の彩度の信号を計算すること、および／若しくは局所的な色合いのスケール傾斜に基づいた色の画像のそれぞれの画素として色の彩度の信号を調節することを含む。画像処理は、全体画像に適用されても良いし、および／又は全体的な色合いのスケール機能に基づいても良い。好ましい実施例に従って、このような処理は、顔の領域のような関心領域に適用しても良い。画像の領域の特性は、全体の画像に対して自動処理を適用するのに用いられる。あるいは、全体画像の特性や、全体的な特性の機能は、顔の領域のような、画像の選択領域に対して自動処理を適用するのに用いることができる。

空間的なはっきりしない、および／又は、元の画像のサブサンプルバージョンは、統計的な特性の場面、又は、元の画像に関する情報を得るのに用いられる(例えば、米国特許第６,２４９,３１５号(Holm)参照)。この情報は、階調再現曲線と出力装置の他の特性、又は、デジタル画像の出力を最大限にするための処理手順を提供するメディアを組み合わせても良い。この処理は、自動的、若しくは、簡単にでき、使用者により手動で直感的に調節できる。

(iv) 露出調節とデジタルフィルフラッシュ。
デジタル写真においてフィルフラッシュに似たシステム、ソフトウェア、ファームウェア、若しくは、方法は、ここでは、好ましい実施例や他の実施例に従って適用されても良い(米国特許出願第２００３/００５２９９１号（Stavely等）参照)。デジタルカメラは、様々な焦点距離で一連の写真の場面を撮るのに用いられても良い。これらの画像は、この場面で異なる被写体の距離を決めるのにこの後に分析しても良い。これらの写真の領域は、前述の距離の計算に基づいてそれらの明るさを選択的に調節し、次に、単一の写真の画像を形成するのに組み合わせても良い。好ましい実施例に従って、画像中で顔の存在する領域に関する情報は、例えば、特に選択的に顔の領域の明るさを調節するのに用いられる。さらに、単一の画像での自動処理は、好ましい実施例で有利に実行されても良い。単一の画像で、このような処理を行うことは、カメラが複数の画像をキャプチャするのに必要となる速度を減らす。あるいは、いくつかの画像は、１つを形成するために組み合わせても良い。画像の多様性は、カメラの動き無しで、デジタルカメラによって、この他の実施例でキャプチャされても良いし、一般的には、とても早い画像キャプチャ処理をするカメラを含む。

他の実施例では、明るさや測距マッピングを用いた風景認識方法やシステムを含む(例えば、米国特許出願公開第２００１/００３１１４２号（Whiteside）参照)。自動で並べること、および／又は、明るさを測ることは、背景、および／又は、前景の被写体が、デジタル画像内で正しい輝度となるように画像の露出を調節するのに用いても良い。自動的な画像の露出調節は、画像をキャプチャする前に実行され、又は、画像がキャプチャされた後に実行されても良い。

好ましい実施例において、デジタル画像内で領域の補正と処理は、全体の画像部分を形成する全体の顔や顔の一部をできるだけ含むように実行される。これは、画像中に表れる複数の顔の１つや複数の選択した顔を含んでも良い。これらの好ましい補正および処理として、フィルフラッシュが好適に用いられる。あるいは、画像の補正と処理は、デジタル画像全体で実行しても良い。これは、画像の露光や色合いのスケールの補正を含んでも良い。（例えば、米国特許第６,４７３,１９９号(Gilman等)、そして米国特許第５,９９１,４５６号(Rahman等)参照）

画像の強度、又は、露出レベルの領域分析と領域調節は、好ましい実施例や他の実施例に従って実行されても良い。方法、又は、装置は、エリアの選択的な露出調節に用いられて良い(例えば、米国特許第５,８１８,９７５号（Goodwin等）参照)。デジタル画像は、場面を２つの領域（高い明るさレンジのものと低い明るさレンジのもの）に分けることによる出力装置の利用可能なダイナミックの明るさ範囲に適するように減らした場面の輝度のダイナミックレンジを有する。輝度の変更は、第１の領域の輝度を減らすことと第２の領域の輝度を増やす両方の領域を引き出しても良い、出力装置のための元の画像の処理バージョンを改良する両方の領域とを再結合しても良い。

他の実施例で、画像の輝度調節は、デジタル場面分析を用いる(例えば、米国特許第５,７２４,４５６号(Boyack等)参照)。画像は、ブロックと大きなグループのブロックで区切られても良く、それは、セクターと言われている。平均的な輝度のブロックの値は、決められていても良い。違いは、１以上のセクターとしての最大と最小のブロックの値との間で決められても良い。この違いが事前に決めた閾値を超えると、このセクターはアクティブに印をつけても良い。平均の輝度のセクターの値に対するアクティブセクターの重み付け計算のヒストグラムは、同様にプロットされ、関心の平均的な輝度のセクターの値は、目的のアプリケーションや出力装置の色合いの再現能力に対応する目的のウィンドウ内に入るようにヒストグラムが事前に決められた基準を用いるように移る。このヒストグラムは、事前に決められた基準を用いることを変えても良い。好ましい実施例において、画像内の領域は、できるだけ用いられ、画像内で、人の１つや複数の顔の領域の存在や情報は、画像処理、および／若しくは、補正した領域、若しくは、全体の画像に決めること、および／又は、適用するのに用いられる。

(v)明るさ調節;色の空間の一致、自動ガンマ
顔検出と画像処理を含んださらなる好ましい実施例や他の実施例は、色の空間との間で輝度調節や色を一致させることを含んでも良い。例えば、画像データは、色の空間に依存した装置から色の空間に依存しない装置に移動し、再び戻っても良い（例えば、米国特許第６,４５９,４３６号(Kumada等)参照）。画像データは、入力装置に依存した色の空間表現で最初にキャプチャされても良く、後に装置の独立した色の空間に変換されても良い。Gamut関数(色の再生)は、装置の独立した色の空間で実行しても良く、この画像データは、次に第２の装置に依存した色空間にもどり、出力装置に送られるように作られても良い。

システム、ソフトウェア、および／若しくは、ファームウェアは、デジタル色画像で正しい輝度やクロミナンスデータを適用しても良い(例えば、米国特許第６,２６８,９３９号(Klassen等)参照)。この実施例で、変形は、サブサンプルの輝度やクロミナンスデータを適用することによって色空間に依存した装置とそれと独立した装置との間で最適化しても良い。他の実施例で、印刷された画像の質の改善は、画像のガンマを自動的に決めて、次に画像のそれと対応するようにプリンタのガンマを調節するように実行しても良い(米国特許第６,１９２,１４９号（Eschback等）参照)。デジタル画像の印刷された質は、それによって処理されて、できるだけデジタル画像自体が、この方法で同じように処理されても良い。他の実施例では、ソフトウェアかファームウェアは、デジタル画像のガンマを自動的に決めることを提供する。この情報は、画像ガンマを直接的に調節すること、又は、好ましい実施例に従って顔検出に基づいた画像処理のような元のデジタル画像に他の処理を適用するための基礎として用いられても良い。さらに、RGB画像信号のグラデーションの補正は、画像の色合いや彩度の影響なしで画像の明るさを調節するように実行しても良い(例えば、米国特許第６,１０１,２７１号(Yamashita等)参照)。

(vii)インカメラ画像処理
好ましい実施例と他の実施例において、デジタル画像の改善は、使用者に示唆し、この後、画像が、カメラによって、取得やキャプチャされても良い(例えば、米国特許第６,５１６,１５４号(Parulski等)参照)。これらの実施例において、使用者は、写真を保存する前、又は、写真の再保存、若しくは、消去を決める前のいずれかで、トリミング、大きさ再調整、および／若しくは、色バランスを調節しても良い。使用者は、カメラで異なるセッティングを用いて写真を再び撮るように選択しても良い。改良のための提案は、カメラ・ユーザ・インターフェースにより作られても良い。

(viii) 顔に基づく画像処理
ここでの好ましい実施例で、デジタル画像で顔の画像のような自動的、および／又は、手動での検出に基づいた画像中で、顔の外観を自動的、又は、半自動的に改善することは、有利な特徴である(米国特許出願公開第２００２／０１７２４１９号（Lin等）参照)。画像の明るさコントラストと色のレベルの補正は、良い結果を作るために実行されても良い。さらに、方向を検出するためのこのような情報や他の情報を用いること、インカメラの取得処理の一部として補助を提供すること、および／又は、構成中での補助や、このような情報に基づいたスライドショーを提供することは、ここでは、好ましい実施例や他の実施例の特徴となる。このアプリケーションは、自動的に顔を検出することや、使用者によって確認や選択としての顔に対応する画像の部分を示唆し、そして、ソフトウェアやファームウェアが、ソフトウェアの自動的若しくは半自動的な処理によって検出されない顔と対応するように追加的な画像部分を、使用者に選択させるのを可能にしても良い。ここでの好ましい実施例や他の実施例に従った画像処理は、１つ、又は、複数の顔の領域のみに適用され、若しくは、この処理は、全体的な画像に適用され、若しくは、この処理を全体画像に適用しても良く、選択的で特別な補正は、画像中の顔の存在する情報および／又は、青空のような他の画像領域、または、他の検出された特徴に基づいて、背景や前景の領域の両方、特に顔の領域に適用しても良い。

オートーフォーカス
好ましい実施例において、画像中での複数の顔の中で主な顔や顔の検出は、画像処理システムのソフトウェアおよび／又はファームフェアの能力を向上させる。カメラ内部やカメラ外部では、適した被写体に正確なフォーカスができるために有利に使われている。被写体への距離は、判断されても良く、自動的若しくは手動での決定は、主な被写体がどこにあるかに関して作られても良い。

システム、ソフトウェアおよび／又はファームウェアは、露出の調節、および／若しくは、フォトダイオード配列（Mos 画像センサ）、若しくはCCD(電荷結合素子)のような画像センサを使って検出した特徴への露出調節、および／又は、フォーカスを含んでも良い(例えば、米国特許第４,０４７,１８７号とRe３１３７０、(Mashimo等)参照)。一般的に好ましく実施例や他の実施例に関して、装置配列の光検出器は、画像処理のための画像検出、特に複数の顔や１つの顔の検出、若しくは、この画像が、画像処理として取得、および／若しくは、キャプチャされ、そして格納された形式を含むのに用いても良い。システムは、調節されたエネルギービームが、そこから検出器配列に向けた方向に反射したエネルギーでフォーカスされた被写体に対して投影されたアクティブオートフォーカスシステムが定義されても良い。ビデオやスチルカメラとしてのオートフォーカス回路が、オートフォーカスのための赤外線信号の反射を使わないパッシブシステムを同様に含んでも良い(例えば、米国特許第４，６３８，３６４号とRE３３６８２、参照)。このようなシステムは、高い周波数の情報か、あるいは局所的なコントラスト計算に基づいてのどちらかでの、画像の分析に基づいても良い(例えば、米国特許第４,６３８,３６４号、日本特許第５,２６０,３６０号、参照。)。

顔の領域のような、画像の被写体は、中央重点の定式(center-weighted formula)に基づいても良い。また、カメラは、ビューファインダが調べた目の指している方向に基づいて被写体にフォーカスされても良い(例えば、米国特許第５,２９１,２３４号、参照)。このような他のシステムは、一般的にカメラのビュファインダで特別な追加的なハードウェアをさらに含んでも良い。１以上の主な顔の大きさ、および／又は、位置に基づいてオートフォーカスを決めるためのソフトウェア、および／又は、ファームウェアを一般的に利用し、そして顔を検出する好ましい実施例のシステムは、目の動きは、撮影者が、彼の／彼女の凝視した静止点のみに固定するのではなく、撮影者が、自分の凝視したいくつかの点の間を素早く移動させる眼球運動を含んだ他のハードウェアに基づいてオートフォーカスするシステム上で有利である。同様に好ましい実施例に従って、電子検出、取得、および／若しくは、電気回路のキャプチャ、ソフトフェアそしてファームウェアは、使用者に選択形式に選択を適用させるものとして、自動的若しくは半自動的に、画像の中心の分析に基づいて、そして、特に画像の様々な領域間で最重要と思われる画像を消去する位置に基づいて、画像のフォーカスを検出および／若しくは補正を強化する。

関心領域の選択
さらなる実施例では、様々な案は、電気的なキャプチャ画像、できるだけ１つの顔や複数の顔を含んだ領域から、１つや複数の関心領域を選択するのに用いられても良い(英国特許出願第GB００３１４２３.７号、タイトル「automatic cropping of electronic images」 参照)。関心領域は、選択信号に応じて画像中で自動的、又は、半自動的に選択されても良い(例えば、米国特許出願公開第２００３/００２５８１２号、参照)。画像をパンニングすることは、表示した１つや複数の選択した顔のような選択領域を出来るだけ保持するように実行されても良い。画像の処理システムは、パンニング方法を出来るだけ使用しても良い。他の実施例のビデオカメラシステムは、カメラによって目的物とされた被写体との関係で、追跡、および／若しくは、ズームを実行しても良い(例えば、米国特許第５,８１２,１９３号、参照)。例えば、使用者が、カメラに被写体の表示を示すことによって、カメラに知らせても良く、このようなカメラは、次に表示内に被写体が入り続けるようにトラッキングモータを制御して探しても良いし、および／又は、画像全体に関して被写体の大きさのようなズームモータは、カメラが学習した領域に補正する。さらなる実施例では、人の頭のモデルは、カメラが、画像の範囲内で、識別された頭や、他のようなものを補正できるように適用しても良い。このようにして、装置は、ターゲットを固定し続けるように探す。このようなものは、機械的、または、カメラ内で提供されたソフトウェアおよび／又はファームウェアに従って動いても良い。有利に、複数の顔や顔領域のような複数のターゲットを、追跡および／又はズームすることができ、好ましくは、例えば、美的考慮の観点からデジタル処理を行うことができる。

（代替実施例）
下記のいずれかは、好ましい実施例と組み合わさって、若しくは、他の実施例を提供するための好ましい実施例の要素の代わりとしても良い。１以上の所望の画像処理パラメータを得るための画像内で、顔検出を用いたデジタル画像分析や処理方法が適用されている。このようなパラメータは、取得パラメータ、レンダリングパラメータ、若しくはそれらの組み合わせとなり得る。画素群は、デジタル画像内で顔画像に対応して識別される。デフォルトの値は、少なくともデジタル画像のある部分の１以上のパラメータを決められている。１以上のパラメータ値は、デフォルトの値や顔の画像を含んだデジタル画像分析に従った、デジタル検出画像内で調節される。

デジタル画像は、デジタルで取得され、および／又は、デジタルキャプチャされる。顔検出に基づいたデジタル画像処理のための解決は、１以上のパラメータの選択、および／又は、デジタル画像内で１以上のパラメータ値を調節することは、自動的、半自動的、又は、手動で実行しても良い。

１以上のパラメータは、方向、色、色合い、大きさ、輝度、相対的な露出、相対的な空間位置、階調再現、鮮鋭度、フォーカス、若しくは、それらの組み合わせを含めても良い。１以上のパラメータは、１以上のパラメータが有効な場所で１以上の領域を定義するマスクを含んでも良い。マスクは、前記１以上の領域の異なるサブ領域内で、連続的なプレゼンテーションの変化する力を含んでも良い。１以上のパラメータは、前記マスクに基づいた値で同じパラメータと異なるものを含んでも良い。

２以上のパラメータは、単一のパラメータをつなげても良い。デジタル画像は、１以上のパラメータ値に基づいて変形されても良い。操作リストは、１以上のパラメータ値に基づいてデジタル画像として作り出されても良い。操作リストは、デジタル画像内に組み込まれたり、デジタル画像の外部に設けたりすることができる。

方向の値は、デジタル画像としての回転や値が決められたものとなるように調節しても良い。色、色合い、大きさ、輝度、相対的な露出の値は、デジタル画像のフィルフラッシュのバランス、色、色合い、大きさ、輝度のそれぞれを操作することを含むように調節しても良い。相対的な空間位置の値は、少なくとも一つのデジタル画像に関係した顔の画像の空間的な位置を調節することを含むように調節されても良い。フォーカスの値は、デジタル画像内で、顔画像のフォーカスを強化するためにフォーカスの値を調節することを含むように調節しても良い。シミュレートされたフィルフラッシュの１以上の異なる度合いは、手動、半自動、若しくは、自動調節により作り出しても良い。顔画像の分析は、全体的な露出と識別された顔の周りの露出の比較を含んでも良い。露出は、ヒストグラムに基づいて計算しても良い。フィルフラッシュのデジタルシミュレーションは、階調再現、および／又は、局所的に鮮鋭度を随意に調節することを含んでも良い。

カメラや、高い重要性に近づくように判断された１以上の被写体はシミュレートされたフィルフラッシュで操作しても良い。これらの被写体は、カメラに近づくように決められ、若しくは、それの高い重要性は、１以上の識別された顔を含んでも良い。フィルフラッシュ、若しくは、示唆されたフィルフラッシュを適用するためのオプションは、自動的に提供されていても良い。フィルフラッシュや示唆したフィルフラッシュを提供するためのオプションは、自動的に提供されていても良い。

この方法は、デジタル取得装置、デジタルレンダリング装置、若しくは外部装置、若しくはそれらの組み合わせで実行しても良い。顔画素は識別され、画像内で誤った表示の他の顔は、取り除かれても良いし、そして、顔の表示は、使用者によってそれぞれ手動で、半自動、自動で画像処理装置を用いて、画像内に加えても良い。顔画素を識別することは、画像処理装置によって自動的に実行され、そして、画像内で少なくとも一つの顔を補正検出の手動の確認が適用されても良い。

所望の画像パラメータを得るための顔検出を用いたデジタル画像処理の方法は、デジタル検出された画像内で顔画像に対応した画素群を識別することを含むようにさらに適用する。少なくともある画素の１以上のパラメータの初期値が決められている。デジタルで検出された画像の初期パラメータは、初期値に基づいて決められている。デジタル検出された画像内で１以上のパラメータの画素値は、初期パラメータと所望のパラメータとの比較や、自動的に提供された値を調節するためのオプションに基づいて自動的に調節される。

デジタル検出された画像は、デジタル取得、および／又は、デジタルキャプチャ画像を含んでも良い。デジタル検出された画像の初期パラメータは、顔画像の初期パラメータを含んでも良い。１以上のパラメータは、方向、色、色合い、大きさ、輝度、そして、フォーカスを含んでも良い。この方法は、事前取得段階の部分としてのデジタルカメラ内で、キャプチャ画像の後処理の部分としてのカメラ内で、若しくは、外部処理装置内で実行される。手動で顔の誤った表示を取り除くオプションや、画像内で、誤った顔の表示を加えることが含まれても良い。手動で無視するオプション、システムの自動示唆、いずれにせよ、顔が検出されることを含んでも良い。

この方法は、１以上の顔の特徴に対応する１以上のサブグループの画素を識別することを含んでも良い。１以上のサブグループの画素の１以上のパラメータの画素の初期値は、決められていても良い。デジタル画像内で顔の初期の空間的なパラメータは、初期値に基づいて決められても良い。初期の空間的なパラメータは、方向、大きさ、そして、位置のいずれかを含んでいても良い。

空間的なパラメータが、方向であるときは、画素の１以上のパラメータ値は、画像を調節された方向になるように方向付けるように調節しても良い。１以上の顔の特徴は、１以上の目、口、２つの目、鼻、耳、そして、他の顔の特徴を含んでも良い。このような特徴は、首や肩に関連したすぐ近くの肌の位置も同様に含む。顔の拡張としての首（および／若しくは、他の特徴、以下参照）は、顔や体の方向の表示としても同様に用いられる。１以上の顔の特徴は、２つ以上の特徴を含んでいても良く、最初の方向は、初期値に基づいて決められた特徴の関係的な位置に基づいて決めても良い。三角形のような形は、例えば２つの目と口の中心との関係、上で描かれるようなゴールデンリクタングル（golden rectangle）や、より一般的に、頂点や軸のような望ましい３つ以上の特徴に対応する点を有する多角形を作り出しても良い。

デジタル画像の画素の色や色合いのような、１以上の色彩のパラメータの初期値は決められていても良い。１以上のパラメータ値は、自動的に調節されたり、値を示唆した値に調節するオプションが設けられたりしていても良い。

多くの代替手段は、それぞれの検出した顔の輝度や独立した肌の色合いに基づいたデジタル画像中で検出された顔と対応する画素のパラメータを調節する。ここで描かれた他の画像補正技術は、肌の色合いや輝度に基づいて調節されても良い。デジタル画像中で、他の特徴や被写体は、輝度、色、および／若しくは、色合いに基づいて別々に調節される。ズーム、トリミング、フォーカス、パンニング、方向付けのような技術、および／又は、他の技術は、特別な輝度、色、色合いおよび／若しくは、肌の色合い、および／若しくは、民族性の検出に基づいてデジタル画像中でそれぞれ顔や他の被写体の特徴を与えても良い。

本発明における例示的な図面や特定の実施例について説明したが、本発明は、上述した実施例に限るものではない。このようにして、実施例は、制限的になるよりは、実例とみなされ、バリエーションは、以下や構造物や機能的に同等物としてのクレームで説明された本発明の範囲から離れない当業者によってそれらの実施例を作るようにしても良い。

さらに、方法で、ここで以下のクレームおよび／若しくは好ましい実施例に従って実行される方法、このオペレーションは、選択的な活版印刷（typographical sequence）の順序で描かれる。しかしながら、この配列は選択され、活版印刷（typographical sequence）の便宜のためや、オペレーションを実行するためのいずれかの特別な命令を暗示するのを意図しない。特定の命令が、必要としている当業者によって、明確に提供されたり理解されるまで。

ここで引用された全ての参照は、特許や、特許出願、公開、非公開、記事、若しくは、他の出版物や製品を含むことは、ここで、参照することにより組み込まれる。発明の背景と要約は、好ましい実施例の代わりとなる他の実施例と要素を公表するような詳細な記載部分を参照することにより組み込まれる。

Claims (36)

1. １以上の所望の画像処理パラメータを得るための顔検出を用いたデジタル画像処理方法であって、
   (a)前記デジタル画像内で、顔画像に対応する画素群を識別し、
   (b)前記画素群に対して、１以上のデフォルトの色や、色合いの値、又は、これらの組み合わせを決めることによって、前記顔画像の肌の色合いを検出し、
   (c)前記検出された肌の色合いに基づいて、前記顔の画像に対応する画素群に対して、１以上のパラメータ値を調節することを特徴とする方法。
2. 前記調節において、肌の色合いに基づいた量で、前記顔画像に対してフィルフラッシュを適用することを特徴とする請求項１に記載の方法。
3. 前記第１の顔画像とは異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、前記調節を繰り返し行い、前記調節において、前記色合いに応じた異なる相対量で、前記２つの顔画像にフィルフラッシュを適用することを特徴とする請求項１に記載の方法。
4. 前記調節において、前記肌の色合いに応じて、前記顔画像の輝度を調節することを特徴とする請求項１に記載の方法。
5. 前記第１の顔画像とは、異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、前記調節を繰り返し行い、前記調節において、異なる肌の色合いに応じた異なる相対量で、前記２つの顔画像の画素の輝度値を調節することを特徴とする請求項１に記載の方法。
6. 前記画素群の色や色合いの値は、１以上の平均的な色や色合いの値であることを特徴とする請求項１に記載の方法。
7. 前記色や色合いの値は、前記顔画像における複数の領域に対して決定された複数の色や色合い、若しくは、これらの組み合わせであることを特徴とする請求項６に記載の方法。
8. １以上の所望の画像処理パラメータを得るための顔検出を用いたデジタル画像処理方法であって、
   (a)前記デジタル画像内で、顔画像に対応した画素群を識別し、
   (b)前記画素群に対して、１以上のデフォルトの輝度値を決めることによって、前記顔画像の輝度を検出し、
   (c)前記検出された輝度に基づいた前記顔画像に、フィルフラッシュを適用する
   ことを特徴とする方法
9. (d)前記デジタル画像内で、第２の顔に対応する第２の画素群を識別し、
   (e)前記第１の顔画像の輝度とは異なる前記第２の顔画像の輝度を検出し、
   (f)前記第１の顔画像に適用されるものとは異なるフィルフラッシュを前記第２の顔画像に適用する
   ことを特徴とする請求項８に記載の方法。
10. 前記２つの顔画像における補正された輝度は、前記２つの画像における元の輝度と比べて、互いに近づいていることを特徴とする請求項９に記載の方法。
11. 前記２つの顔画像における補正された輝度は、実質的に等しいことを特徴とする請求項９に記載の方法。
12. (d)前記画素群に対して１以上のデフォルトの色や色合いの値、又は、これらの組み合わせを決めることにより前記顔画像の肌の色合いを検出し、
    (e)前記検出した肌の色合いに基づいて、前記顔画像に対応した前記画素群に対する１以上のパラメータ値を調節する
    ことを特徴とする請求項８に記載の方法。
13. 結像光学系、デジタル画像検出器、および、記録媒体を有し、１以上の所望の画像処理パラメータを得るための顔検出を用いたデジタル画像処理方法を、１以上の処理装置に実行させるプログラムが、前記記憶媒体に格納された画像取得装置であって、
    前記方法において、
    (a)前記デジタル画像内で、顔画像に対応した画素群を識別し、
    (b)前記画素群に対して、１以上のデフォルトの色や色合いの値、又は、これらの組み合わせを決めることによって、前記顔画像の肌の色合いを検出し、
    (c)前記検出した肌の色合いに基づいて、前記顔画像に対応する前記画素群に対して、１以上のパラメータ値を調節する
    ことを特徴とする方法。
14. 前記調節において、前記肌の色合いに応じた量で、顔画像にフィルフラッシュを適用することを特徴とする請求項１３に記載の装置。
15. 前記方法において、さらに
    前記第１の顔画像とは異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、および、前記調節を繰り返し行い、前記調節において、前記異なる肌の色合いに応じた異なる相対量で、前記２つの顔画像にフィルフラッシュを適用することを特徴とする請求項１３に記載の装置。
16. 前記調節において、前記肌の色合いに応じて、前記顔画像の輝度を調節することを特徴とする請求項１３に記載の装置。
17. 前記方法において、さらに、
    前記第１の顔画像とは異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、および、前記調節を繰り返し行い、前記調節において、前記異なる肌の色合いに応じた異なる相対量で、前記２つの顔画像の画素の輝度値を調節することを特徴とする請求項１３に記載の装置。
18. 前記画素群における色や色合いの値は、１以上の平均的な色や色合いであることを特徴とする請求項１３に記載の装置。
19. 前記色や色合いの値は、前記顔画像における複数の領域で決定された複数の色や色合い、又は、これらの組み合わせであることを特徴とする請求項１８に記載の装置。
20. 結像光学系、デジタル画像検出器、および、記録媒体を有し、１以上の所望の画像処理パラメータを得るための顔検出を用いたデジタル画像処理方法を、１以上の処理装置に実行させるプログラムが、前記記憶媒体に格納された画像取得装置であって、
    前記方法において、
    (a)前記デジタル画像内で、顔画像に対応する画像群を識別し、
    (b)前記画像群に対して１以上のデフォルトの輝度値を決めることによって、前記顔画像の輝度を検出し、
    (c)前記検出した輝度に基づいて、前記顔画像にフィルフラッシュを適用する
    ことを特徴とする方法。
21. 前記方法において、さらに
    (d)前記デジタル画像内で、第２の顔に対応する第２の画素群を識別し、
    (e)前記第１の顔画像の輝度とは異なる前記第２の顔画像の輝度を検出し、
    (f)前記第１の顔画像に対して適用したものとは異なるフィルフラッシュを、前記第２の顔画像に適用する
    ことを特徴とする請求項２０に記載の装置。
22. 前記２つの顔画像において補正された輝度は、前記２つの顔画像における元の輝度に比べて、お互いに近づいていることを特徴とする請求項２１に記載の装置。
23. 前記２つの顔画像において補正された輝度は、実質的に同じであることを特徴とする請求項２１に記載の装置。
24. 前記方法において、さらに、
    (d)前記画素群に対して、１以上のデフォルトの色や色合いの値、又は、これらの組み合わせを決めることによって、前記顔画像の肌の色合いを検出し、
    (e)前記検出した肌の色合いに基づいて、前記顔画像に対応する前記画素群に対して１以上のパラメータ値を調節する
    ことを特徴とする請求項２０に記載の装置。
25. １以上の所望の画像処理パラメータを得るために、顔検出を用いたデジタル画像処理方法を、１以上の処理装置に実行させるプログラム命令が格納された１以上のデジタル記憶装置であって、
    前記方法において、
    (a)前記デジタル画像内で、顔画像に対応する画素群を識別し、
    (b)前記画素群に対して、１以上のデフォルトの色や色合いの値、又は、これらの組み合わせを決めることによって、前記顔画像の肌の色合いを検出し、
    (c)前記検出した肌の色合いに基づいて、前記顔画像に対応する前記画素群に対して、１以上のパラメータ値を調節する
    ことを特徴とする方法。
26. 前記調節において、前記肌の色合いに応じた量で、前記顔画像にフィルフラッシュを適用することを特徴とする請求項２５に記載の１以上の記憶装置。
27. 前記方法において、さらに
    前記第１の顔画像とは異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、および、前記調節を繰り返し行い、
    前記調節において、前記２つの顔画像に対して前記異なる肌の色合いに応じた異なる相対量で、フィルフラッシュを適用することを特徴とする請求項２５に記載の１以上の記憶装置。
28. 前記調節において、前記肌の色合いに応じて顔画像の輝度を調節することを特徴とする請求項２５に記載の１以上の記憶装置。
29. 前記方法において、さらに、
    前記第１の顔画像と異なる肌の色合いを有する第２の顔画像に対して、前記識別、前記検出、および、前記調節を繰り返し行い、前記調節において、前記異なる肌の色合いに応じた異なる相対量で、前記２つの顔画像の画素の輝度値を調節することを特徴とする請求項２５に記載の１以上の記憶装置。
30. 前記画素群の色や色合いの値は、１以上の平均的な色や色合いであることを特徴とする請求項２５に記載の１以上の記憶装置。
31. 前記色や色合いの値は、前記顔画像の複数の領域で決定された複数の色や色合い、又は、これらの組み合わせであることを特徴とする請求項３０に記載の１以上の記憶装置。
32. １以上の所望の画像処理パラメータを得るために、顔検出を用いたデジタル画像処理方法を１以上の処理装置に実行させるためのプログラム命令が、格納された１以上のデジタル記憶装置であって、
    前記方法において、
    (a)前記デジタル画像内で、顔画像に対応する画素群を識別し、
    (b)前記画素群に対して、１以上のデフォルトの輝度値を決めることによって、前記顔画像の輝度を検出し、
    (c)前記検出した輝度に基づいて、前記顔画像にフィルフラッシュを適用する
    ことを特徴とする方法。
33. 前記方法において、さらに
    (d)前記デジタル画像内で、第２の顔に対応する第２の画素群を識別し、
    (e)前記第１の顔画像の輝度とは異なる前記第２の顔画像の輝度を検出し、
    (f)前期第１の顔画像に適用されたものとは異なるフィルフラッシュを前記第２の顔画像に適用する
    ことを特徴とする請求項３２に記載の１以上の記憶装置。
34. 前記２つの顔画像における前記補正された輝度は、前記２つの顔画像における元の輝度と比べてお互いに近づいていることを特徴とする請求項３３に記載の１以上の記憶装置。
35. 前記２つの顔画像における前記補正された輝度は、実質的に同じであることを特徴とする請求項３３に記載の１以上の記憶装置。
36. 前記方法において、さらに、
    (d)前記画素群に対して、１以上のデフォルトの色や色合いの値、又は、これらの組み合わせを決めることによって、前記顔画像の肌の色合いを検出し、
    (e)前記検出された肌の色合いに基づいて、前記顔画像に対応する前記画素群に対して、１以上のパラメータ値を調節することを特徴とする請求項３２に記載の１以上の記憶装置。

Images