JP2012528506A - 背景から前景の頭頂部を分離するための方法および装置 - Google Patents

Abstract

あるシーンのデジタル画像の前景領域と背景領域を自動的に互いに区別する。前景画素を背景画素と区別する２値画像マップ内に、前景オブジェクトを識別する。前景オブジェクトから、主要な前景オブジェクトを識別する。識別した主要な前景オブジェクトの中で、主要な前景オブジェクトの頭領域の場所を特定する。頭領域の中で、頭頂部領域を示す前景画素および背景画素のパターンを識別する。頭頂部領域の中で、実際は主要な前景オブジェクトの部分を示す、背景画素として識別される画素を前景画素に変換することによって、２値画像マップの精度を向上させることができる。

Description

発明の分野
本発明は概してデジタル画像処理に関し、特に、撮像したデジタル画像内の周囲の背景から、当該撮像デジタル画像の前景内のオブジェクトを分離するための技術に関する。

背景
この節で述べる方策は、追求され得るが、これまでに着想または追求されたことがあるとは限らない方策である。したがって、特に記載のない限り、この節で述べる方策のいずれも、単にこの節に含まれているというだけで先行技術であると見なされると仮定されるべきでない。

デジタル画像のセグメント化は、いくつかの定義済みの判定基準に基づいて画像内の領域を識別することを含む。これらの判定基準は、コンテクスト、数、形状、サイズ、および／または色関連、勾配関連などであり得る。背景／前景セグメント化画像は、被写界深度を向上させるために背景からの前景内のサブジェクトの分離を向上させるため、背景を向上させるか完全に削除するため、または画像から顔や人物などのオブジェクトを抽出するためのアルゴリズムなどの、多数のデジタル画像処理アルゴリズムに用いられ得る。背景／前景セグメント化画像はさらに、画像向上、色補正、および／またはオブジェクトベースの画像分析を含む、多数の画像処理動作にも用いられ得る。

フィルムなしのデジタル画像取得システムは、デジタル画像を撮像するための装置、撮像時に照明を提供するためのフラッシュ部、およびセグメント化ツールを含み得る。セグメント化ツールは、撮像したデジタル画像の前景内の人物などのオブジェクトと、当該撮像デジタル画像の背景を区別し得る。セグメント化を実行するための１つの技術は、フラッシュを用いて撮影した画像をフラッシュを用いずに撮影した画像と比較することを含む。たとえば、非フラッシュ画像はフラッシュ画像の直前に撮影され得、非フラッシュ画像は装置性能を向上させるためにより低い解像度で撮影され得る。画像の前景は、フラッシュ画像の部分と非フラッシュ画像の対応部分との間の強度の変化を特定することによって決定され得る。フラッシュに近接しているため、画像の前景内のオブジェクトはフラッシュを用いて撮像された場合、背景内のオブジェクトよりも強度の変化が大きい。

しかし、フラッシュ画像の部分と非フラッシュ画像の部分との間の強度の変化を測定する技術にはいくつかの制限がある。たとえば、デジタル画像では、人物の頭頂部から光が反射する角度のために、頭がフラッシュによって適切に照らされないことがよくある。代わりに、人物の頭が太陽などの周辺照明によって強く照らされることによってその特定区域（頭頂部）において強度差が発生し、当該特定区域の強度は当該人物の他の区域よりも低いため、画像の前景オブジェクトの一部であったとしても背景の一部であることを示すことがよくある。

本発明の実施例が実現され得るデジタル画像取得装置のブロック図である。 本発明の技術を採用した方法のフローチャートを示す図である。 図２に示す方法のある段階における２値画像マップの例を示す図である。 図２に示す方法のある段階における２値画像マップの例を示す図である。 図２に示す方法のある段階における２値画像マップの例を示す図である。 図２に示す方法のさまざまな段階における２値画像マップのさらなる例を示す図である。 本発明の実施例が実現され得るコンピュータ機器のブロック図である。

詳細な説明
以下の説明では、説明上、本発明の完全な理解を提供するために多数の具体的な詳細を述べる。しかし、本発明はこれらの具体的な詳細なしで実施され得ることが明らかになるであろう。他の例では、本発明を不要に不明瞭にするのを避けるために、周知の構造および装置をブロック図の形態で示す。

概要
本発明の実施例は、あるシーンのデジタル画像の前景領域と背景領域とを区別する方法を含む。１つ以上の前景オブジェクトが、前景画素と背景画素とを区別する２値画像マップ内に識別され得る。１つ以上の前景オブジェクトから、主要な前景オブジェクトが識別され得、識別された主要な前景オブジェクトに一部基づいて、主要な前景オブジェクトの頭領域が推定され得る。頭領域の中に、頭頂部領域を示す前景画素および背景画素のパターンが識別され得る。頭頂部領域の中に、実際は主要な前景オブジェクトの部分を示す、背景画素として識別される画素が前景画素に変換されることによって、２値画像マップの精度を向上させることができる。本発明のさまざまな実施例は、添付の請求項に記載の特徴を有する。

デジタル画像取得システム
図１は、好ましい実施例に従って動作するデジタル画像取得装置２０のブロック図を示す。本実施例では携帯型デジタルカメラであり得るデジタル画像取得装置２０は、プロセッサ１２０を含む。当該デジタルカメラにおいて実現される処理の多くは、「プロセッサ」とラベル付されたブロック１２０として一括して示されるマイクロプロセッサ、中央処理装置、コントローラ、デジタル信号プロセッサおよび／または特定用途向け集積回路（ＡＳＩＣ）内で動作するソフトウェアにおいて実現され得るか、当該ソフトウェアによって制御され得る。一般的に、ユーザインターフェイス、およびボタンやディスプレイなどの周辺構成要素の制御は、マイクロコントローラ１２２によって制御される。

プロセッサ１２０は、シャッターボタンの半押下（撮像前モード３２）などの１２２におけるユーザ入力に応答して、デジタル写真処理を開始および制御する。フラッシュを使用するか否か自動的に決定するため、光センサ４０を用いて周辺露光量を求める。画像の焦点を撮像構成要素６０に合わせる合焦手段５０を用いて、サブジェクトまでの距離を求める。フラッシュを使用する場合、プロセッサ１２０は、シャッターボタンが完全に押下されると、撮像構成要素６０による画像の記録と実質的に同時にフラッシュ７０に写真用フラッシュを発生させる。

撮像構成要素６０は、カラー画像をデジタル方式で記録する。撮像構成要素６０は当業者にとって公知であり、デジタル記録を容易にするためのＣＣＤ（電荷結合素子）またはＣＭＯＳを含み得る。フラッシュは、光センサ４０に応答して、またはカメラのユーザからの手動入力７２によって、選択的に発生し得る。撮像構成要素６０によって記録された画像Ｉ（ｘ，ｙ）は、ダイナミックＲＡＭまたは不揮発性メモリなどのコンピュータメモリを含み得る画像記憶構成要素８０に記憶される。カメラには、プレビューおよびポストビュー画像のための、ＬＣＤなどのディスプレイ１００が設けられている。

シャッターボタンが半押下された状態の撮像前モード３２で生成されるプレビュー画像Ｐ（ｘ，ｙ）の場合、ディスプレイ１００は、ユーザが画像を構成するのを助け得、合焦および露光を決定するために用いられ得る。一時記憶空間８２が、１つまたは複数のプレビュー画像を記憶するために用いられ、画像記憶手段８０の一部または別個の構成要素であり得る。プレビュー画像は通常、撮像構成要素６０によって生成される。プレビュー画像のパラメータは、周辺条件を最終画像と等しくする際に後で用いるために記録され得る。または、パラメータは、その結果として撮像された最大解像度画像のパラメータと一致するように決定され得る。速度およびメモリ効率の理由により、汎用プロセッサ１２０または専用ハードウェアまたはそれらの組合せの一部であり得るソフトウェア１２４を用いて生の撮像画像をサブサンプリングすることによってプレビュー画像が生成され得、その後、プレビュー画像が表示および記憶される。サブサンプリングは水平方向、垂直方向またはこれら２つの組合せであり得る。このハードウェアサブシステムの設定に依存して、取得前画像処理は、プレビュー画像を記憶する前にいくつかの予め定められた試験判定基準を満たし得る。そのような試験判定基準は時系列であり得、たとえば、シャッターボタンの完全押下によって最終の最大解像度画像Ｉ（ｘ，ｙ）を撮像するまで撮像前モード３２時に０．５秒ごとに、以前に保存したプレビュー画像を新たに撮像したプレビュー画像に常に置き換えることなどである。より高度な判定基準は、プレビュー画像内容の分析、たとえば、画像に変化があるかどうかの試験、または画像内の顔を検出してから、以前に保存した画像を新たなプレビュー画像に置き換えるか否か決定することを含み得る。他の判定基準は、鮮明度、目の検出などの画像分析、または露光条件、フラッシュを焚くか否か、および／もしくはサブジェクトまでの距離などのメタデータ分析に基づき得る。

試験判定基準が満たされない場合、カメラは現在のプレビュー画像を保存せずに次のプレビュー画像を撮像し続ける。この処理は、シャッターボタンを完全に押下することによって最終の最大解像度画像Ｉ（ｘ，ｙ）を取得して保存するまで継続される。

複数のプレビュー画像を保存可能である場合、ユーザが最終の写真を撮影するまで、新たなプレビュー画像が時系列の先入れ先出し（ＦＩＦＯ）スタック上に置かれる。複数のプレビュー画像を記憶する理由は、最後の画像、またはいずれの単一の画像も、最終の最大解像度画像との比較用の最良の参照画像ではないかもしれないからである。複数の画像を記憶することによって、より良い参照画像を達成することができ、位置合せ段階においてプレビュー画像と最終撮像画像とのより接近した位置合せを達成することができる。複数の画像を撮像する他の理由は、単一の画像は動きのためにぼやけることがあり、焦点が定まらないことがあり、および／または露光が設定されないことがあるからである。

代替実施例では、複数の画像は、主要な最大解像度画像の前に撮像した画像であるプレビュー画像と、当該主要画像の後に撮像した画像であるポストビュー画像との組合せであり得る。１つの実施例では、複数のプレビュー画像は、より高い解像度を用いることによって、または複数の画像からの異なる領域の異なる部分を撮影することによって、単一のより高品質の参照画像を作成するのを助け得る。

セグメント化フィルタ９０は、記憶した画像Ｉ（ｘ，ｙ）の前景および背景特徴を分析した後、当該画像をその前景／背景セグメント化情報９９とともに、さらなる処理または表示のために転送する。フィルタ９０はカメラ２０と一体型であり得るか、デスクトップコンピュータ、ハンドヘルド装置、携帯電話ハンドセットまたはサーバなどの外部処理装置１０の一部であり得る。本実施例では、セグメント化フィルタ９０は、最大解像度画像記憶装置８０から撮像画像Ｉ（ｘ，ｙ）を受信する。セグメント化フィルタ９０はさらに、一時記憶部８２から１つまたは複数のプレビュー画像Ｐ（ｘ，ｙ）を受信する。

撮像され、セグメント化され、および／またはさらに処理された画像Ｉ（ｘ，ｙ）は、画像ディスプレイ１００に表示され、内部にあり得るかＣＦカード、ＳＤカード、またはＵＳＢドングルなどの取外し可能記憶装置であり得る永続記憶装置１１２に保存され得るか、有線もしくは無線であり得る画像出力構成要素１１０を介してパーソナルコンピュータ、サーバまたはプリンタなどの別の装置にダウンロードされ得る。セグメント化データ９９はさらに、別ファイルとして画像ヘッダに記憶され得るか、この情報を画像操作のために用いる別の機能に転送され得る。

セグメント化フィルタ９０がデスクトップコンピュータなどの別個の装置１０内の外部アプリケーションにおいて実現される実施例では、８２に一時的に記憶されるようなプレビュー画像の表現とともにブロック８０に記憶される最終撮像画像Ｉ（ｘ，ｙ）は、修正前に記憶装置１１２に記憶され得るか、後でセグメント化フィルタ９０によって処理されるように、画像出力構成要素１１０を介して外部装置１０にともに転送され得る。スプライト画像とも称されるプレビュー画像または複数の画像は、圧縮率を向上させ、画像同士の間の冗長データを除去し、圧縮データを位置合せしたり色をつけるために、記憶前に前処理され得る。

例示的な方法
図２は、本発明の実施例に係る方法を示すフローチャートである。図１に示す画像取得装置２０（本開示内容では「カメラ」と称されることもある）のセグメント化フィルタ９０は、記憶画像Ｉ（ｘ，ｙ）の前景／背景セグメント化情報９９を用いて、前景（ＦＧ）画素および背景（ＢＧ）画素を有する２値マップを生成し得る（ブロック２１０）。２値マップはたとえば、２値マップに対応する画像が前景画像を黒で示し、背景を白で示すように、背景画素に第１の値を割当て、前景画素に第２の値を割当て得る。２００５年８月３０日に出願された、「差分露光計算を用いたデジタル画像における前景／背景セグメント化（Foreground/Background Segmentation In Digital Images With Differential Exposure Calculations）」と題された米国特許出願公開第２００６／００３９６９０号は、その全文が引用によって本明細書に援用される。本発明の１つの実施例では、２値マップを改良して、デジタル画像の背景からの前景オブジェクトのセグメント化の品質を向上させる。

カメラの利用可能な特徴に依存して、記憶画像Ｉ（ｘ，ｙ）の配向を示す変数が記憶され得る（ブロック２１５）。記憶画像Ｉ（ｘ，ｙ）の配向は、当該画像が人物画像であるか風景画像であるかを識別し得る。したがって、配向は、画像のどの側が画像の頂部を構成し、どの側が画像の右側を構成するかなどを示す。カメラが上下逆さまである間は画像は撮像されなかったと仮定することができるため、配向は３つの考えられる配向（すなわち、カメラは撮像時に回転しなかった、カメラは右に９０度回転した、またはカメラは左に９０度回転した）から求めることができる。変数は、どのように配向を求めたかに依存して、確定配向（OrCert）または不確定配向（OrUncert）のいずれか一方を示し得る。たとえば、ユーザが画像配向を特定する場合、または画像取得装置が、撮像時の画像取得装置の回転を検出可能な動き検知技術を含む場合は、OrCertが記憶され得、当該配向が高い信頼度で正確であると思われることを示す。または、最高平均強度を有する画像の側が画像の頂部であると仮定することなどによって取得画像の分析から配向を求める場合は、OrUncertが記憶され得、当該配向が同一程度の精度を保証できない推定に基づいていることを示す。OrUncertの値が記憶される場合、配向を確かめるために、付加的な情報または顔検出アルゴリズムなどの付加的なアルゴリズムが用いられ得る。

画像の配向を求めた後、２値画像マップ上の前景画素群がラベル付けされ得、主要な前景オブジェクトを構成する群が識別され得る（ブロック２２０）。前景画素の各連続領域に、一意のラベルが与えられ得る。その後、ラベル付けされた領域はフィルタ処理され、どの連続領域が主要な前景オブジェクトを構成しているかが判断され得る。最大画素面積を有する前景画素の連続領域が主要な前景オブジェクトであるとして識別され得、最大画素面積を有しない前景画素の連続領域は主要な前景オブジェクトではないとして識別され得る。これらの小さいほうの領域が、背景画素に変換される。

いくつかの実施例では、最大画素面積を有する前景画素の連続領域は主要な前景オブジェクトであるとして自動的に識別されず、代わりにさらに分析され得る。たとえば、最大画素面積を有する前景画素の連続領域が、記憶した配向によって決定されるような画像の底部に接しない場合は、当該領域は、前景画素の２番目に大きい連続領域のために捨てられ得る（ブロック２２５、「ｎｏ」の経路）。２番目に大きい領域が画像の底部に接する場合は、２番目に大きい領域が主要な前景オブジェクトであることが確かめられ得る（ブロック２２５、「ｙｅｓ」の経路）。画像の底部に接する領域が識別されるまで、さらなる領域が分析され続け得る。画像の底部に接する領域がない場合は、当該技術は終了する。

ラベル付けおよびフィルタ処理（ブロック２２０および２２５）の後、２値画像マップは主要な前景オブジェクトのみを含む。主要な前景オブジェクトを含む２値画像マップから、外接矩形に対応する境界の第１のセットが求められ得る（ブロック２３０）。境界の第１のセットの左側の境界は、前景オブジェクトの最左端の前景画素に対応し得る。境界の第１のセットの右側の境界は、主要な前景オブジェクトの最右端の前景画素に対応し得る。境界の第１のセットの上部境界は、主要な前景オブジェクトの最上部の前景画素に対応し得、下部境界は、典型的に画像の底縁となる、主要な前景の最下部の画素に対応し得る。図３ａは、単一の前景オブジェクト（３１０）および境界の第１のセットに対応する外接矩形（３２０）を含む２値画像マップの例を示す。

主要な前景オブジェクトを識別し（ブロック２２０および２２５）、境界の第１のセットを求めた（ブロック２３０）後、主要な前景オブジェクトの穴が埋められ得る（ブロック２３５）。たとえば、衣服や別のオブジェクトなどの暗い無反射面によって、ある画素が、主要な前景オブジェクトを表しており、したがって２値画像マップ上で前景画素として識別されるべきであったとしても、背景画素として識別されてしまうことがある。図３ａは、主要な前景オブジェクトの穴３１５の例を示す。図３ｂでは、穴が埋められている。

穴は、１つ以上の判定基準を満たす背景画素の領域を識別することによって識別され得る。たとえば、前景画素によって完全に囲まれており、かつ図３ａの外接矩形３２０によって識別される境界の第１のセットのいずれにも接していない背景画素の連続領域はいずれも穴として識別され得る。穴として識別された背景画素群は、前景画素に変更され得る。変換すべきでない背景画素の領域を誤って変換することを避けるため、本発明の１つの実施例は、穴の構成割合が閾値面積量未満である場合、たとえば全画像面積の一定の割合未満、前景画素の全面積の一定の割合未満、または背景画素の全面積の一定の割合未満である場合にのみ、穴を前景画素に変換することを含む。一定の割合は、たとえば１．５パーセントと一般的に低く、たとえば撮像時に人物が自身の頭に触れることによって穴を形成するなどの状況に起因し得る大きな背景領域を変換するのを予防するために選択され得る。

穴を埋めた後、前景オブジェクトの頭領域を規定している可能性がある頭領域ボックスに対応する境界の第２のセットが規定され得る（ブロック２４０）。境界の第２のセットは、デジタル画像の配向、および外接矩形に対応する境界の第１のセットに基づいて規定され得る。たとえば、外接矩形の８分の１が頭ボックスの左にあり、外接矩形の８分の１が頭領域ボックスの右にあるように、頭ボックスの幅は外接矩形の幅の４分の３に規定され得、外接矩形の中央に位置合せされ得る。頭ボックスはさらに、外接矩形の高さの４分の１に規定され得、外接矩形の頂部に位置合せされ得る。または、頭ボックスの境界は、１つ以上の顔検出アルゴリズムによって求められる顔の推定位置に基づいて規定され得る。図３ｂは、頭ボックス３３０を有する２値画像マップの例を示す。

再帰的頂部検出および穴埋めモジュール（ＲＣＤＦモジュール）が、頭ボックス３３０内の各行をパースして、各行がＦＧ−ＢＧ−ＦＧトリオを含むか否か判断することによって、頭ボックス３３０内の頂部を識別し得る（ブロック２４５）。ＦＧ−ＢＧ−ＦＧトリオは、背景画素群の左に第１の前景画素群を有し、背景画素群の右に第２の前景画素群を有する、１本または複数の水平線である。ＲＣＤＦモジュールは、頭領域ボックス３３０の最上行を分析して最上行がＦＧ−ＢＧ−ＦＧトリオを含むか否か判断し得、含まない場合は、ＲＣＤＦは最上行から２番目の行を分析してその行がＦＧ−ＢＧ−ＦＧトリオを含むか否か判断し得る。この処理は、ＦＧ−ＢＧ−ＦＧトリオを含む最上行からの最初の行が識別されるまで繰返され得る。ＦＧ−ＢＧ−ＦＧトリオを含む最上行からの最初の行は、トリオ線３４０と称され得る。図３ｂは、トリオ線３４０を有する２値マップの例を示す。頭領域ボックス３３０内にトリオ線が見つからない場合は、アルゴリズムは終了し得る。

頭頂部ではない画像の部分を頭頂部として誤って識別することを避けるため、トリオ線３４０を識別する際にさらなるパラメータが用いられ得る。たとえば、ＲＣＤＦモジュールは、ＦＧ画素の左および／または右の群が少なくとも５画素の幅であるＦＧ−ＢＧ−ＦＧトリオのみを見つけるように構成され得る。このような検索判定基準によって、ＲＣＤＦモジュールが、たとえばほつれ毛などによって生じる画像内の細部を頂部を表しているとして識別することを防止することができる。また、ＲＣＤＦは、ＢＧ画素群がたとえば５０画素などの一定の幅よりも小さいＦＧ−ＢＧ−ＦＧトリオのみを識別するように構成され得る。このような判定基準によって、ＲＣＤＦが、たとえば上げた手などの頭とは無関係のオブジェクトを頭頂部の始まりを表しているとして識別することを防止することができる。

トリオ線３４０を用いて、新たな対象ボックス（頂部ボックスとも称される）に対応する境界の第３のセットが識別され得、頂部ボックスの中に、背景領域が識別され得る（ブロック２５０）。頂部ボックスの左、右、および底部は、頭領域ボックス３３０の左、右、および底部と同じ境界に対応し得るが、頂部ボックスの上部はトリオ線３４０によって規定され得る。頂部ボックスの中で、一意の背景領域の各々に一意のラベルが割当てられ得る。図３ｂでは、これらのラベルはＢＧ１，ＢＧ２およびＢＧ３として示される。分析に基づいて、どの識別済のＢＧ領域が頂部領域を表しており、どれが実際の背景を表しているかが求められ得る（ブロック２５５）。たとえば、ＢＧ１およびＢＧ３などの頂部ボックスの側または底部に接するＢＧ領域は実際の背景領域として識別され得るが、ＢＧ２などの頂部ボックスの側または底部に接していない１つまたは複数の領域は頂部領域として識別され得る。

いくつかの実施例では、図３ｂのＢＧ２などの、頂部領域の一部である可能性があるとして識別される領域は、当該領域が実際の頂部領域を実際に表しているか否か確認するためのさらなる試験を受け得る（ブロック２６０）。たとえば、頂部領域の平均発光が、周囲の前景画像内の前景画素群の平均発光と比較され得る。この比較は、フラッシュを用いて得たグレースケール画像に対してなされ得る。画素が前景画素であるか背景画素であるかの決定は２値であり、フラッシュ画像と非フラッシュ画像との間の発光の変化が一定値よりも大きいか否かに基づく。したがって、頂部領域内の背景画素と隣接する前景画素との間の発光の差は、前景画素および実際の背景画素と比べると比較的小さくなると仮定することができる。

識別済の頂部領域がさらなる試験に通った場合は（ブロック２６０、ｙｅｓの経路）、頂部領域を含む画素が背景画素から前景画素に変換され得る（ブロック２６５）。識別済の頂部領域がさらなる試験に通らなかった場合は（ブロック２６０、ｎｏの経路）、識別済の頂部領域は試験済の印を付けられ得、画素は背景画素から前景画素に変換されない。識別済の頂部領域がさらなる試験に通らなかったことに応答して（ブロック２６０、ｎｏの経路）、別のトリオ線が識別され得、処理が反復され得る（ブロック２４５，２５０，２５５および２６０）。

さらなる試験に通った識別済の頂部領域を穴埋めした後（ブロック２６０および２６５）、エッジ検出を用いて、穴埋めされた識別済の頂部領域の上方（すなわちトリオ線の上方）にあり得る頂部の頂点が識別され得る（ブロック２７０）。頂部の頂点の上方の領域は、対象領域３５０として識別され得る。図３ｃは、頂部領域が穴埋めされた図３ｂの画像を示す。図３ｃはさらに、対象領域３５０に対応するボックスを示す。対象領域３５０は、トリオ線３４０上方の予め定められた最大高さである線によって頂部の境界をつけられ得、対象領域３５０がＦＧ−ＢＧ−ＦＧトリオ内の最左端のＦＧ画素によって左の境界をつけられ、ＦＧ−ＢＧ−ＦＧトリオ内の最右端のＦＧ画素によって右の境界をつけられるように、ＦＧ−ＢＧ−ＦＧトリオの幅によって左右の境界をつけられ得る。

対象領域３５０の中に、始点が規定され得る。始点はたとえば、トリオ線３４０の１つ上の画素内に存在し得、対象領域３５０の左右両側から等距離であり得る。規定された始点から開始して、領域成長アルゴリズムが実行され得、対象領域の縁に達すると、またはエッジが求められると、成長は停止し得る。プレウィット（Prewitt）エッジ検出アルゴリズムなどの当該技術で公知の任意のエッジ検出アルゴリズムを用いて、頭部のエッジが求められ得る。

エッジ検出アルゴリズムによって求められたエッジの正確度が確認され得る。たとえば、検出されたエッジが対象領域３５０を越える場合は当該エッジは不正確であるとして識別され得、検出されたエッジが対象領域内にある場合は当該エッジは正確であるとして識別され得る。検出されたエッジが正確であると決定されたことに応答して、検出されたエッジによって境界をつけられる区域が前景マップに追加され得、検出されたエッジが正確でないと決定されたことに応答して、検出されたエッジによって境界をつけられる区域は前景マップに追加されない。

本発明の技術は、可能性のある誤った穴埋めを検出するための警告モジュールをさらに含み得る。誤った穴埋めの検出は、撮像画像に関連付けられるメタデータとして記憶され得、頂部の穴埋めが行なわれたことをユーザに知らせるために用いられ得る。ユーザに知らせるメッセージは、画像取得直後に画像取得装置上でユーザに与えられ得るか、たとえばパーソナルコンピュータ上で起こり得る取得後の処理時にユーザに与えられ得る。または、カメラは、可能性のある誤った穴埋めが検出された場合、頂部が穴埋めされた画像ではなく、変更されていない画像をユーザに提示するようにプログラムされ得る。

このような警告は、穴埋めが行なわれるたびに、または一定の状況下でのみ、ユーザに提示され得る。たとえば、警告モジュールは、オブジェクトの面積に対するオブジェクトの周囲の比率が一定値よりも大きい場合にのみユーザに警告を与え得る。低い周囲−面積比率は、誤った穴埋めに起因し得る、当該オブジェクトに対する細部の欠如を示している場合がある。

図４は、図２の方法のさまざまな段階における２値画像マップのグラフィック例を示す。図４ａは、頂部を有する単一の前景オブジェクトを示す。図４ａはたとえば、図２のブロック２３５に示した穴埋め後の２値画像マップの表現であり得る。図４ｂは図４ａと同じであるが、頂部が穴埋めされた画像を示す。図４ｂはたとえば、図２のブロック２６５の頂部穴埋め後の２値画像マップの表現であり得る。図４ｃは図４ｂと同じであるが、さらなる背景がいくらか加えられた画像を示す。

単一の頂部領域を有する単一の前景オブジェクトを有する画像を用いて本発明の局面を説明したが、本発明の技術は、単一の前景オブジェクト内の複数の頂部領域の検出および穴埋め、または２つ以上の前景オブジェクト内の１つ以上の頂部領域の検出および穴埋めを含むように拡張可能であることが明らかであるべきである。

本発明の実施例は、あるシーンのデジタル画像の前景領域と背景領域とを区別する方法を含み、当該方法は、（ａ）１つ以上の前景オブジェクトを含む２値画像マップ内に主要な前景オブジェクトを識別するステップと、（ｂ）主要な前景オブジェクトの頭領域を分析してトリオ線を識別するステップとを含み、トリオ線は、背景画素群の左に１つ以上の前景画素の第１の群、および背景画素群の右に１つ以上の前景画素の第２の群を含み、当該方法はさらに、（ｃ）トリオ線に少なくとも一部基づいて、２値画像マップの頂部領域を識別するステップと、（ｄ）２値画像マップの頂部領域内の背景画素を前景画素に変換するステップとを含む。

本発明の実施例は、あるシーンのデジタル画像の前景領域と背景領域とを区別する方法を含み、当該方法は、（ａ）前景（ＦＧ）画素および背景（ＢＧ）画素を識別するセグメント化画像を記憶するステップと、（ｂ）セグメント化画像の配向を求めるステップと、（ｃ）連続した前景画素の１つ以上の群を画像内に識別するステップと、（ｄ）連続した前景画素の１つ以上の群から、候補の主要な前景オブジェクトを識別するステップと、（ｅ）候補の主要な前景オブジェクトに対してさらなる分析を行なって、候補の主要な前景オブジェクトが主要な前景オブジェクトであるか否か判断するステップと、（ｆ）主要な前景オブジェクトに少なくとも一部基づいて、境界の第１のセットを求めるステップとを含み、境界の第１のセットは、主要な前景オブジェクトの最左端画素、主要な前景オブジェクトの最右端画素、主要な前景オブジェクトの最上部画素、および主要な前景オブジェクトの最下部画素を含み、当該方法はさらに、（ｇ）主要な前景オブジェクトの穴を埋めるステップと、（ｈ）境界の第１のセットに少なくとも一部基づいて、主要な前景オブジェクト内の頭である可能性がある領域に対応する境界の第２のセットを求めるステップと、（ｉ）境界の第２のセット内にＦＧ−ＢＧ−ＦＧトリオを識別するステップと、（ｊ）境界の第２のセットおよび識別済のＦＧ−ＢＧ−ＦＧトリオに少なくとも一部基づいて、境界の第３のセットを求めるステップと、（ｋ）境界の第３のセット内に、連続した背景画素の１つ以上の群を識別するステップと、（ｌ）連続した背景画素の１つ以上の群から、候補の頂部領域を識別するステップと、（ｍ）候補の頂部領域に対してさらなる分析を行なって、候補の頂部領域が実際の頂部領域であるか否か判断するステップと、（ｎ）頂部領域内の背景画素を前景画素に変換するステップと、（ｏ）エッジ検出アルゴリズムを実行するステップとを含み、エッジ検出アルゴリズムの始点は、ＦＧ−ＢＧ−ＦＧトリオに少なくとも一部基づいて決定される。

本発明の実施例はさらに、本願に記載の方法の１つ以上のステップを実行するための手段を含む、写真フィルムを有しないデジタル画像取得システムを含む。本発明の代替実施例は、１つ以上のコンピュータ機器によって実行されると、本願に記載の方法の１つ以上のステップを実行させる命令を記憶する、１つ以上の機械読取可能記憶媒体を含む。

ハードウェア概要
１つの実施例によると、本明細書に記載の技術は１つ以上の特定目的コンピュータ機器によって実現される。特定目的コンピュータ機器は、図１に示すデジタル画像取得装置に組込まれ得るか、図１に示すデジタル画像取得装置とは別個であり得る。

特定目的コンピュータ機器は、当該技術を実行するために結線で接続され得るか、当該技術を実行するように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子装置を含み得るか、ファームウェア、メモリ、他の記憶装置、もしくは組合せ内のプログラム命令に従って当該技術を実行するようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含み得る。そのような特定目的コンピュータ機器はさらに、カスタム結線接続ロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組合わせて当該技術を達成し得る。特定目的コンピュータ機器は、デスクトップコンピュータシステム、携帯型コンピュータシステム、ハンドヘルド装置、ネットワーキング装置、または当該技術を実現するための結線接続および／もしくはプログラムロジックを組込んだ任意の他の装置であり得る。

たとえば、図５は、本発明の実施例が実現され得るコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２または他の通信メカニズムと、バス５０２に結合されて情報を処理するためのハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、たとえば汎用マイクロプロセッサであり得る。

コンピュータシステム５００はさらに、バス５０２に結合されて、プロセッサ５０４によって実行される情報および命令を記憶するための、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置などのメインメモリ５０６を含む。メインメモリ５０６は、プロセッサ５０４によって実行される命令の実行中に一時的な変数または他の中間情報を記憶するためにも用いられ得る。そのような命令は、プロセッサ５０４にとってアクセス可能な記憶媒体に記憶されると、コンピュータシステム５００を、命令に規定されている動作を実行するようにカスタム化された特定目的機械にする。

コンピュータシステム５００はさらに、バス５０２に結合されて、プロセッサ５０４のための静的情報および命令を記憶するための読出専用メモリ（ＲＯＭ）５０８または他の静的記憶装置を含む。磁気ディスクまたは光ディスクなどの記憶装置５１０が提供され、バス５０２に結合されて情報および命令を記憶する。

コンピュータシステム５００はバス５０２を介して、コンピュータユーザに情報を表示するための陰極線管（ＣＲＴ）などのディスプレイ５１２に結合され得る。英数字キーおよび他のキーを含む入力装置５１４がバス５０２に結合されて、情報および指令選択をプロセッサ５０４に通信する。別の種類のユーザ入力装置は、方向情報および指令選択をプロセッサ５０４に通信するため、ならびにディスプレイ５１２上のカーソルの動きを制御するためのマウス、トラックボール、またはカーソル方向キーなどのカーソル制御部５１６である。この入力装置は典型的に、当該装置が平面上の位置を特定することを可能にする、第１の軸（たとえばｘ）および第２の軸（たとえばｙ）の２つの軸における二自由度を有する。

コンピュータシステム５００は、当該コンピュータシステムと組合されて、コンピュータシステム５００を特定目的機械にするかプログラムする、カスタム化された結線接続ロジック、１つ以上のＡＳＩＣもしくはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを用いて、本明細書に記載の技術を実現し得る。１つの実施例によると、本明細書中の技術は、プロセッサ５０４がメインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。そのような命令は、記憶装置５１０などの別の記憶媒体からメインメモリ５０６に読出され得る。メインメモリ５０６に含まれる命令のシーケンスの実行によって、プロセッサ５０４が当該明細書に記載の処理ステップを実行する。代替実施例では、結線接続された回路構成がソフトウェア命令の代わりに、またはソフトウェア命令と組合せて用いられ得る。

本明細書中に用いられる「記憶媒体」という用語は、機械を特定の態様で動作させるデータおよび／または命令を記憶する任意の媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、たとえば、記憶装置５１０などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。記憶媒体の一般形態は、たとえば、フロッピィディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップもしくはカートリッジを含む。

記憶媒体は、伝送媒体とは別個であるが、伝送媒体とともに用いられ得る。伝送媒体は、記憶媒体同士の間の情報の伝送に加担する。たとえば、伝送媒体は、バス５０２を含むワイヤを含む同軸ケーブル、銅線および光ファイバを含む。伝送媒体はさらに、電波および赤外線データ通信時に発生するような音波または光波の形態を取り得る。

１つ以上の命令の１つ以上のシーケンスを実行するためにプロセッサ５０４に搬送する際に、さまざまな形態の媒体が含まれ得る。たとえば、命令は当初、リモートコンピュータの磁気ディスクまたは固体ドライブ上に搬送され得る。リモートコンピュータは当該命令を自身のダイナミックメモリにロードし得、当該命令をモデムを使って電話回線で送信し得る。コンピュータシステム５００に局所的なモデムは電話回線上のデータを受信し得、赤外線送信機を用いて当該データを赤外線信号に変換し得る。赤外線検出器が当該赤外線信号内に搬送される当該データを受信し得、適切な回路構成が当該データをバス５０２上に置き得る。バス５０２は当該データをメインメモリ５０６に搬送し、そこからプロセッサ５０４が命令を取出して実行する。メインメモリ５０６が受信する命令は任意に、プロセッサ５０４による実行前または実行後に記憶装置５１０に記憶され得る。

コンピュータシステム５００はさらに、バス５０２に結合された通信インターフェイス５１８を含む。通信インターフェイス５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に双方向のデータ通信結合を提供する。たとえば、通信インターフェイス５１８は、統合サービスデジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応する種類の電話回線にデータ通信接続を提供するためのモデムであり得る。別の例として、通信インターフェイス５１８は、適合ＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。無線リンクも実現可能である。いずれのそのような実現例においても、通信インターフェイス５１８は、さまざまな種類の情報を表すデジタルデータストリームを搬送する電気、電磁または光信号を送受信する。

ネットワークリンク５２０は典型的に、１つ以上のネットワークを介してデータ通信を他のデータ装置に提供する。たとえば、ネットワークリンク５２０は、ローカルネットワーク５２２を介して、ホストコンピュータ５２４またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって動作するデータ設備への接続を提供し得る。ＩＳＰ５２６は次に、現在では「インターネット」５２８と一般に称されるワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は両方とも、デジタルデータストリームを搬送する電気、電磁または光信号を用いる。コンピュータシステム５００とデジタル信号を授受する、さまざまなネットワークを介した信号、およびネットワークリンク５２０上の通信インターフェイス５１８を介した信号は、伝送媒体の例示的な形態である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０および通信インターフェイス５１８を介して、プログラムコードを含むメッセージを送信可能であり、プログラムコードを含むデータを受信可能である。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２および通信インターフェイス５１８を介して、アプリケーションプログラム用の要求コードを送信し得る。

受信したコードはプロセッサ５０４によって受信した状態で実行され得、および／または後で実行するために記憶装置５１０もしくは他の不揮発性記憶装置に記憶され得る。

拡張および代替例
本説明では、一定の処理ステップが特定の順序で述べられ、一定のステップを識別するためにアルファベットおよび英数字のラベルが用いられ得る。本説明中に特に記載のない限り、本発明の実施例はそのようなステップを実行するいずれの特定の順序にも限定されるとは限らない。特に、ラベルはステップを便利に識別するために用いているに過ぎず、そのようなステップを実行する特定の順序を特定または必要とすることを意図していない。

上記の明細書では、実現例ごとに異なり得る多数の特定的な詳細を参照して本発明の実施例を説明した。したがって、発明であるもの、および出願人によって発明であると意図される唯一の排他的な指標は、本出願から生じる請求項の組であり、すべてのその後の訂正を含む、当該請求項が生じる特定的な形態にある請求項の組である。そのような請求項に含まれる用語について本明細書中に明示したいずれの定義も、請求項中で用いられるような用語の意味を支配するものとする。したがって、請求項中に明示していない限定、要素、特性、特徴、利点または属性のいずれも、そのような請求項の範囲をいずれの意味でも限定すべきでない。したがって、明細書および図面は、限定的ではなく例示的に見なされるものとする。

Claims (31)

1. 記憶装置から、第１の照明量で撮像したシーンの第１の画像を読出すステップと、
   前記記憶装置から、前記第１の照明量とは異なる第２の照明量で撮像した前記シーンの第２の画像を読出すステップと、
   前記第１の画像と前記第２の画像との比較に基づいて、前記シーンの前景部と前記シーンの背景部を区別するステップと、
   前記シーンの中に、人物の頭部の頂部を含む頂部領域を識別するステップと、
   前記前景部ではなく前記背景部に属するとして誤って識別された前記頂部領域の部分を識別するステップと、
   誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを備え、
   前記ステップは自動式装置によって実行される、方法。
2. 前記頂部領域を識別するステップは、
   前記背景部の最大隣接領域を識別することによって、主要な前景オブジェクトを識別するステップと、
   前記主要な前景オブジェクトの外部の前記前景部のすべての部分を、前記前景部ではなく前記背景部に属すると再び特徴付けるステップとを含む、請求項１に記載の方法。
3. 前記頂部領域を識別するステップは、
   前記前景部の最大隣接領域を識別するステップと、
   前記最大隣接領域が、前記第１の画像または前記第２の画像のいずれか一方である特定的な画像の底部と接触しているか否か判断するステップと、
   前記最大隣接領域が前記特定的な画像の前記底部と接触していないという判断に応答して、前記前景部の中に、主要な前景オブジェクトとして、（ａ）前記最大隣接領域ほど大きくなく、（ｂ）前記特定的な画像の前記底部と接触している、２番目に大きい隣接領域を識別するステップと、
   前記主要な前景オブジェクトの外部の前記前景部のすべての部分を、前記前景部ではなく前記背景部に属すると再び特徴付けるステップとを含む、請求項１に記載の方法。
4. 前記頂部領域を識別するステップは、
   前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
   前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
   前記サブ領域が前記矩形のいずれの部分とも接触していないという判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１に記載の方法。
5. 前記頂部領域を識別するステップは、
   前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
   前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
   前記サブ領域が特定の区域の特定の割合未満を占めるか否か判断するステップと、
   （ａ）前記サブ領域が前記矩形のいずれの部分とも接触しておらず、（ｂ）前記サブ領域が前記特定の区域の特定の割合未満を占める、という判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１に記載の方法。
6. 前記頂部領域を識別するステップは、
   主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
   前記主要な前景オブジェクトの最上、最下、最左および最右の範囲と接触する側を有する外接矩形を識別するステップと、
   前記外接矩形の中に、（ａ）前記外接矩形の幅の特定の分数である幅、および（ｂ）前記外接矩形の高さの特定の分数である高さ、を有すると規定される頭ボックスを識別するステップとを含む、請求項１に記載の方法。
7. 前記頂部領域を識別するステップは、
   主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
   顔検出アルゴリズムに少なくとも一部基づいて、前記主要な前景オブジェクトの顔領域を識別するステップと、
   前記顔領域の最上、最下、最左および最右の範囲と接触するエッジを有する頭ボックスを識別するステップとを含む、請求項１に記載の方法。
8. 前記頂部領域を識別するステップは、
   前記人物の頭の境界をつける頭ボックスを識別するステップと、
   前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
   （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
   前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記頂部ボックスのいずれの側にも接しない、１つ以上のサブ領域を識別するステップと、
   前記１つ以上のサブ領域の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１に記載の方法。
9. 前記頂部領域を識別するステップは、
   前記人物の頭の境界をつける頭ボックスを識別するステップと、
   前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
   （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
   前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記第１の画像と前記第２の画像との間で発光が特定の量よりも多く変化する、１つ以上の画素を識別するステップと、
   前記１つ以上の画素の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１〜８のいずれかに記載の方法。
10. 誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けた後、前記記憶装置に、前記シーンから前記背景部が省略された第３の画像を記憶するステップをさらに備える、請求項１〜９のいずれかに記載の方法。
11. 揮発性または不揮発性コンピュータ読取可能記憶媒体であって、１つ以上のプロセッサによって実行されると、前記プロセッサに、
    記憶装置から、第１の照明量で撮像したシーンの第１の画像を読出すステップと、
    前記記憶装置から、前記第１の照明量とは異なる第２の照明量で撮像した前記シーンの第２の画像を読出すステップと、
    前記第１の画像と前記第２の画像との比較に基づいて、前記シーンの前景部と前記シーンの背景部を区別するステップと、
    前記シーンの中に、人物の頭部の頂部を含む頂部領域を識別するステップと、
    前記前景部ではなく前記背景部に属するとして誤って識別された前記頂部領域の部分を識別するステップと、
    誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを実行させる命令を記憶している、コンピュータ読取可能記憶媒体。
12. 前記頂部領域を識別するステップは、
    前記背景部の最大隣接領域を識別することによって、主要な前景オブジェクトを識別するステップと、
    前記主要な前景オブジェクトの外部の前記前景部のすべての部分を、前記前景部ではなく前記背景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
13. 前記頂部領域を識別するステップは、
    前記前景部の最大隣接領域を識別するステップと、
    前記最大隣接領域が、前記第１の画像または前記第２の画像のいずれか一方である特定的な画像の底部と接触しているか否か判断するステップと、
    前記最大隣接領域が前記特定的な画像の前記底部と接触していないという判断に応答して、前記前景部の中に、主要な前景オブジェクトとして、（ａ）前記最大隣接領域ほど大きくなく、（ｂ）前記特定的な画像の前記底部と接触している、２番目に大きい隣接領域を識別するステップと、
    前記主要な前景オブジェクトの外部の前記前景部のすべての部分を、前記前景部ではなく前記背景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
14. 前記頂部領域を識別するステップは、
    前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
    前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
    前記サブ領域が前記矩形のいずれの部分とも接触していないという判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
15. 前記頂部領域を識別するステップは、
    前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
    前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
    前記サブ領域が特定の区域の特定の割合未満を占めるか否か判断するステップと、
    （ａ）前記サブ領域が前記矩形のいずれの部分とも接触しておらず、（ｂ）前記サブ領域が前記特定の区域の特定の割合未満を占める、という判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
16. 前記頂部領域を識別するステップは、
    主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
    前記主要な前景オブジェクトの最上、最下、最左および最右の範囲と接触する側を有する外接矩形を識別するステップと、
    前記外接矩形の中に、（ａ）前記外接矩形の幅の特定の分数である幅、および（ｂ）前記外接矩形の高さの特定の分数である高さ、を有すると規定される頭ボックスを識別するステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
17. 前記頂部領域を識別するステップは、
    主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
    顔検出アルゴリズムに少なくとも一部基づいて、前記主要な前景オブジェクトの顔領域を識別するステップと、
    前記顔領域の最上、最下、最左および最右の範囲と接触するエッジを有する頭ボックスを識別するステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
18. 前記頂部領域を識別するステップは、
    前記人物の頭の境界をつける頭ボックスを識別するステップと、
    前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
    （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
    前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記頂部ボックスのいずれの側にも接しない、１つ以上のサブ領域を識別するステップと、
    前記１つ以上のサブ領域の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
19. 前記頂部領域を識別するステップは、
    前記人物の頭の境界をつける頭ボックスを識別するステップと、
    前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
    （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
    前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記第１の画像と前記第２の画像との間で発光が特定の量よりも多く変化する、１つ以上の画素を識別するステップと、
    前記１つ以上の画素の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項１１に記載のコンピュータ読取可能記憶媒体。
20. 誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けた後、前記記憶装置に、前記シーンから前記背景部が省略された第３の画像を記憶するステップをさらに備える、請求項１１〜１９のいずれかに記載のコンピュータ読取可能記憶媒体。
21. （ａ）第１の照明量でシーンの第１の画像を撮像し、（ｂ）前記第１の照明量とは異なる第２の照明量で前記シーンの第２の画像を撮像する撮像モジュールと、
    前記第１の画像と前記第２の画像との比較に基づいて、前記シーンの前景部と前記シーンの背景部を区別する前景識別モジュールと、
    （ａ）前記シーンの中に、人物の頭部の頂部を含む頂部領域を識別し、（ｂ）前記前景部ではなく前記背景部に属するとして誤って識別された前記頂部領域の部分を識別し、（ｃ）誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付ける、頂部識別モジュールとを備える、デジタルカメラ。
22. 前記頂部領域の識別は、
    前記前景部の最大隣接領域を識別するステップと、
    前記最大隣接領域が、前記第１の画像または前記第２の画像のいずれか一方である特定的な画像の底部と接触しているか否か判断するステップと、
    前記最大隣接領域が前記特定的な画像の前記底部と接触していないという判断に応答して、前記前景部の中に、主要な前景オブジェクトとして、（ａ）前記最大隣接領域ほど大きくなく、（ｂ）前記特定的な画像の前記底部と接触している、２番目に大きい隣接領域を識別するステップと、
    前記主要な前景オブジェクトの外部の前記前景部のすべての部分を、前記前景部ではなく前記背景部に属すると再び特徴付けるステップとを含む、請求項２１に記載のデジタルカメラ。
23. 前記頂部領域の識別は、
    前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
    前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
    前記サブ領域が前記矩形のいずれの部分とも接触していないという判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項２１に記載のデジタルカメラ。
24. 前記頂部領域の識別は、
    前記前景部によって完全に囲まれている前記背景部のサブ領域を識別するステップと、
    前記サブ領域が、前記前景部の少なくとも一部を含む区域の境界をつける矩形のいずれかの部分と接触しているか否か判断するステップと、
    前記サブ領域が特定の区域の特定の割合未満を占めるか否か判断するステップと、
    （ａ）前記サブ領域が前記矩形のいずれの部分とも接触しておらず、（ｂ）前記サブ領域が前記特定の区域の特定の割合未満を占める、という判断に応答して、前記サブ領域のすべての部分を前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項２１に記載のデジタルカメラ。
25. 前記頂部領域の識別は、
    主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
    前記主要な前景オブジェクトの最上、最下、最左および最右の範囲と接触する側を有する外接矩形を識別するステップと、
    前記外接矩形の中に、（ａ）前記外接矩形の幅の特定の分数である幅、および（ｂ）前記外接矩形の高さの特定の分数である高さ、を有すると規定される頭ボックスを識別するステップとを含む、請求項２１に記載のデジタルカメラ。
26. 前記頂部領域の識別は、
    主要な前景オブジェクトが前記前景部の最大隣接領域であることに少なくとも一部基づいて、前記前景部の中の前記主要な前景オブジェクトを識別するステップと、
    顔検出アルゴリズムに少なくとも一部基づいて、前記主要な前景オブジェクトの顔領域を識別するステップと、
    前記顔領域の最上、最下、最左および最右の範囲と接触するエッジを有する頭ボックスを識別するステップとを含む、請求項２１に記載のデジタルカメラ。
27. 前記頂部領域の識別は、
    前記人物の頭の境界をつける頭ボックスを識別するステップと、
    前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
    （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
    前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記頂部ボックスのいずれの側にも接しない、１つ以上のサブ領域を識別するステップと、
    前記１つ以上のサブ領域の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項２１に記載のデジタルカメラ。
28. 前記頂部領域の識別は、
    前記人物の頭の境界をつける頭ボックスを識別するステップと、
    前記頭ボックスの中に、前記前景部からの画素、その後に前記背景部からの画素、その後に前記前景部からの画素を含む最上の画素行であるトリオ線の場所を特定するステップと、
    （ａ）前記頭ボックスの最左、最右、および最下の側である最左、最右、および最下の側を有し、（ｂ）前記トリオ線である最上の側を有する、頂部ボックスを識別するステップと、
    前記頂部ボックスの中に、（ａ）前記背景部に属し、（ｂ）前記第１の画像と前記第２の画像との間で発光が特定の量よりも多く変化する、１つ以上の画素を識別するステップと、
    前記１つ以上の画素の各々を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを含む、請求項２１に記載のデジタルカメラ。
29. 前記頂部識別モジュールは、誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けた後、前記記憶装置に、前記シーンから前記背景部が省略された第３の画像を記憶する、請求項２１〜２８のいずれかに記載のデジタルカメラ。
30. 請求項１に記載の方法のステップを実行するためのコンピュータ実行可能命令を備える、コンピュータプログラム。
31. 記憶装置から、第１の照明量で撮像したシーンの第１の画像を読出すステップと、
    前記記憶装置から、前記第１の照明量とは異なる第２の照明量で撮像した前記シーンの第２の画像を読出すステップと、
    前記第１の画像と前記第２の画像との比較に基づいて、前記シーンの前景部と前記シーンの背景部を区別するステップと、
    前記シーンの中に、人物の頭部の頂部を含む頂部領域を識別するステップと、
    前記前景部ではなく前記背景部に属するとして誤って識別された前記頂部領域の部分を識別するステップと、
    誤って識別された前記頂部領域の前記部分を、前記背景部ではなく前記前景部に属すると再び特徴付けるステップとを備え、
    前記ステップは自動式装置によって実行される、コンピュータ実行方法。

Images