JP2014526738A - 光源検出を利用したイベント分類方法 - Google Patents

Abstract

デジタル画像のためのイベント分類を決定するための方法であって、１以上のデジタル画像を受け取るステップと、１以上のデジタル画像内の１以上の人工光放射源を検出するステップと、１以上のデジタル画像内の検出された人工光放射源の空間的配置の解析に応答するイベント分類を自動的に決定するデータプロセッサを使用するステップと、決定されたイベント分類に、１以上のデジタル画像のそれぞれを関連付けたメタデータをプロセッサアクセス可能なメモリに格納するステップとを含む、方法。

Description

本発明は、画像処理及びデータ解析の分野、そして、より具体的には、デジタル画像における、人工光放射源の検出に基づくイベント分類の自動決定に関する。

デジタルカメラ及びスキャナーの激増は、デジタル画像の爆発的増加につながり、大きな個人的な画像データベースを生み出している。画像及びビデオの整理及び検索は、すでに典型的な消費者の問題となっている。現在、典型的な消費者のデジタル画像コレクションによる時間の広がりはたかだか数年に過ぎない。整理及び検索の問題は、平均的なデジタル画像及びビデオのコレクションによる時間の広がりが延びるにつれて、大きくなり続けるであろう。そして、効率的な画像のインデックス作り及び検索のための自動化ツールが必要とされるであろう。

人々の生活におけるイベントは、デジタル画像を撮るための最も一般的な動機の一つである。しばしば、これらのイベントの中心的テーマは、さまざまな種類のお祝いである。したがって、お祝いの種類を特定することは、デジタル画像のインデックス作り及び検索のために非常に有益な、鍵となる意味的情報項目を提供する。

イベントの種類に従って画像を分類するアルゴリズムの開発は、活発な研究分野である。ダス（Das）他による「消費者画像コレクションにおける重要なイベントの検出」と題する米国特許出願２０１０／０３２２５２４において、デジタル画像のコレクションに関連するイベントが重要か否かを判断する方法が教示されている。この方法は、時系列にわたって撮られた画像の数を評価して、イベントが重要か否かを判断する。

ギャラガー（Gallagher）他による「特定のイベントに伴うコレクション画像の特定」と題する米国特許出願２０１０／０２４５６２５において、デジタル画像を特定のイベントと関連させる方法が教示されている。この方法は、日付のついた日誌の項目と画像撮影時とを、特定のイベントのための画像を判断するための情報源として利用する。この方法では、画像における画素だけからイベントの種類を判断することはできない。

ルイ（Loui）他による「デジタルコンテンツ記録のための意味論的（semantic）イベント検出」と題する米国特許出願２００９／０２９７０３２は、意味論的イベント分類のための方法を教示している。この方法は、画像における視覚的特徴を利用して意味論的に画像を分類する。

アブナブ・ガプタ（Abinav Gupta）及びアミタバ・ムカジー（Amitabha Mukerjee）による論文「オブジェクト検出及び認識のための計算モデル」において、「場面の中の誕生日ケーキとキャンドルの検出は、誕生日ビデオの要約において有益であろう。」と示唆している。

ジャン（Jiang）他による論文「消費者写真及びビデオコレクションのための意味論的イベント検出」（IEEE International Conference on Multimedia and Expo, pp. 313-316 2008）において、あるイベントにおける画像の１コレクションが撮影され、次の仕事として、「結婚」、「クリスマス」、「誕生日」を含む２１のイベントカテゴリーの中の１つをそのイベントのカテゴリーとして分類する場合の画像において、イベント検出の問題が説明されている。一般的な特徴が判断され、そのイベント内の画像を表すために使用され、そして、１つの分類子がそのイベントからの画像に対して適用され、判断がなされる。

本発明はデジタル画像のためのイベント分類を決定するための方法を表しており、１以上のデジタル画像を受け取るステップと、１以上のデジタル画像内の１以上の、人工光放射源を検出するステップと、１以上のデジタル画像において検出される人工光放射源の空間的配置の解析に応答してイベント分類を自動的に決定するために、データプロセッサを使用するステップと、決定したイベント分類と１以上のデジタル画像のそれぞれとを関連付けるメタデータをプロセッサアクセス可能なメモリに格納するステップと、を含む。

本発明には、祝日ライト等の人工光放射源はしばしば多くのお祝い事や祝日と関連しており、その結果、人工光放射源の空間的配置は、適切なイベント分類の重要な表示を提供するという利点がある。

本発明には、デジタル画像すべてが人工光放射源を含むとは限らないにもかかわらず、決定したイベント分類は、関連するデジタル画像の集合におけるデジタル画像のすべてに対して適用することができるという更なる利点がある。

本発明の一実施例に従った、デジタル画像の集合のためにイベント分類を決定するためのシステムの構成要素を表すハイレベルな図 本発明に従った、イベント分類を決定するための方法を説明するフローチャート 一実施例に従った、図２のイベントインジケータ検出ステップのための追加の詳細を示すフローチャート 一実施例に従った、図３の人工光放射源検出ステップのための追加の詳細を示すフローチャート 一実施例に従った、図４の候補フレーム画像領域特定ステップのための追加の詳細を示すフローチャート キャンドルフレーム閾値マップの一例を示す図 一実施例に従った、図３のケーキ特徴検出ステップの追加の詳細を示すフローチャート キャンドルが点灯された誕生日ケーキを含むデジタル画像を示す図 図８Aからの誕生日ケーキのキャンドルが点灯していない別の図を含むデジタル画像を示す図 図８Ｂのケーキ表面領域に対して平行化変換（rectification transformation）を施すことによって決定した、修正されたケーキ表面領域を示す図 一実施例に従った、図２のイベントインジケータ解析ステップの追加の詳細を示すフローチャート 降臨キャンドル配置（advent candle arrangement）を含むデジタル画像を示す図 ハヌカキャンドル配置（Hanukah candle arrangement）を含むデジタル画像を示す図 結婚式のユニティキャンドル（wedding unity candle）を含むデジタル画像を示す図 クリスマスツリーを含むデジタル画像を示す図 祝日ライトで飾られた家を含むデジタル画像を示す図 祝日ライトのハローウィンディスプレイを含むデジタル画像を示す図 クリスマス祝日ライトの複雑なディスプレイを含むデジタル画像を示す図 図１２Ａのデジタル画像に対応する点源マップを示す図 図１２Ａのデジタル画像に対応する最小全域木（minimal spanning tree）を示す図 花火ディプレイで撮影されたデジタル画像シーケンスを示す図 花火ディプレイで撮影されたデジタル画像シーケンスを示す図 ネオンライトを含むデジタル画像を示す図

以下の記載において、本発明のいくつかの実施例が、ソフトウェアプログラムとして通常実現されるであろうという観点で説明される。当業者は、そのようなソフトウェアの等価物がまた、ハードウェアにおいて構築され得ることを認識する。画像操作アルゴリズム及びシステムはよく知られているので、本説明は特に、本発明に従った方法の一部を形成する、または、より直接的に本発明と協力関係にある、アルゴリズム及びシステムに向けられるであろう。そのようなアルゴリズムやシステムの他の観点は、そのようなアルゴリズムやシステムに関連する画像信号の生成やさもなければ処理のためのハードウェアやソフトウェアとともに、本明細書内では特には示されたり説明されたりしないが、従来技術において周知のシステム、アルゴリズム、構成要素、およびエレメントから選択され得る。以下において本発明に従ってシステムが説明されると仮定すれば、本発明の実装にとって役に立つソフトウェアであって明細書内で具体的に示されたり、示唆されたり、説明されたりしないソフトウェアは、従来型であり、従来技術における通常の技術の範囲内のものである。

本発明は、明細書内で説明される実施例の組合せを含む。「特定の実施例」等の参照は、本発明の少なくとも一つの実施例の中に存在する特徴を参照する。「一実施例」または「特定の実施例」等の個別の参照は、必ずしも同じ実施例を参照するものではない。しかしながら、そのような実施例は、特にそのように示されるか、当業者にとって明らかにそうとわかるのでない限り、相互に排他的ではない。方法等を参照する際の単数形、複数形の使用は、限定的なものではない。なお、「または」という語は、そのように明示的に示されない限り、あるいは文脈から要求されない限り、本開示において、非排他的な意味で用いられる。

本明細書で使用される「デジタル画像ファイル」というフレーズは、デジタルスチル画像あるいはデジタルビデオファイル等、いかなるデジタル画像ファイルを参照する。

図１は、本発明の一実施例に従った、関連するデジタル画像の集合のためにイベント分類を決定するためのシステムの構成要素を表すハイレベルな図である。システムは、データ処理システム１１０、周辺システム１２０、ユーザインターフェイスシステム１３０、および、データ格納システム１４０を含む。周辺システム１２０、ユーザインターフェイスシステム１３０、および、データ格納システム１４０は、データ処理システム１１０と通信可能に接続されている。

データ処理システム１１０は、本明細書内で説明される例示の処理を含む様々な本発明の実施例の処理を実現する１以上のデータ処理装置を含む。「データ処理装置」や「データプロセッサ」というフレーズは、例えば、中央処理ユニット（「ＣＰＵ」）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、パーソナルデジタルアシスタント、ブラックベリー（Blackberry）（登録商標）、デジタルカメラ、セルラー電話、または、データを処理、データを管理、またはデータを扱うための他のいかなる装置−電気的、磁気的、光学的、生物学的な構成要素、あるいはそれ以外で実現されていようと−いかなるデータ処理装置をも含むことを意図している。

データ格納システム１４０は、本明細書内で説明される例示の処理を含む、本発明の様々な実施例の処理を実行するために必要な情報を含む情報を格納するように構成された、１以上のプロセッサアクセス可能なメモリを含む。データ格納システム１４０は、分散したプロセッサアクセス可能なメモリシステムであり得、複数のコンピュータや装置を介してデータ処理システム１１０に通信可能に接続された複数のプロセッサアクセス可能なメモリを含む。一方、データ格納システム１４０は、分散したプロセッサアクセス可能なメモリシステムである必要はなく、したがって、単独のデータプロセッサまたは装置内に置かれた１以上のプロセッサアクセス可能なメモリを含み得る。

「プロセッサアクセス可能なメモリ」というフレーズは、いかなるプロセッサアクセス可能なデータ格納装置をも含むことを意図しており、揮発性であっても不揮発性であっても、電気的であっても、磁気的であっても、光学的であっても、あるいはそれ以外であってもよく、そしてまた、レジスタ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、およびＲＡＭを含むがこれに限定されない。

「通信可能に接続」というフレーズは、いかなるタイプの接続をも含むことを意図しており、有線であっても、無線であっても、データが通信され得る装置間であっても、データプロセス間であっても、またはプログラム間であってもよい。「通信可能に接続」というフレーズは、単一のデータプロセッサ内の装置間またはプログラム間の接続と、異なるデータプロセッサ間に置かれた装置間またはプログラム間の接続と、そして、データプロセッサ内に全く置かれていない装置間の接続とを含むことを意図している。この点において、データ格納システム１４０はデータ処理システム１１０から離れて示されているが、データ格納システム１４０は、完全に又は部分的に、データ処理システム１１０の中に納められ得ることを当業者は認めるであろう。さらにこの点において、周辺システム１２０およびユーザインターフェイスシステム１３０は、データ処理システム１１０から離れて示されているが、これらのシステムの片方又は両方は、完全に又は部分的に、データ処理システム１１０の中に納められ得る。周辺システム１２０は、データ処理システム１１０に対してデジタルコンテンツ記録を提供するように構成された１以上の装置を含み得る。例えば、周辺システム１２０は、デジタルスチルカメラ、デジタルビデオカメラ、セルラー電話、または他のデータプロセッサを含み得る。データ処理システム１１０は、周辺システム１２０内の装置からデジタルコンテンツ記録を受信すると、そのようなデジタルコンテンツ記録をデータ格納システム１４０内に格納し得る。

ユーザインターフェイス１３０は、マウス、キーボード、他のコンピュータ、または、いかなる装置または装置の組合せを含み得、これらの装置からデータがデータ処理システム１１０に入力される。この点において、周辺システム１２０はユーザインターフェイスシステム１３０から離れて示されているが、周辺システム１２０は、ユーザインターフェイスシステム１３０の一部として含まれ得る。

ユーザインターフェイスシステム１３０はまた、表示装置、プロセッサアクセス可能なメモリ、または、いかなる装置または装置の組合せをも含み得、データ処理システム１１０によって、これらの装置へデータが出力される。この点において、もし、ユーザインターフェイスシステム１３０がプロセッサアクセス可能なメモリを含むなら、たとえ図１においてユーザインターフェイスシステム１３０とデータ格納システム１４０とが別々に示されていても、そのようなメモリはデータ格納システム１４０の一部であり得る。

有利なイベント分類方法を提供するために利用できる重要な情報項目として、発明者は、誕生日祝い、周年記念の祝い、宗教的セレモニーおよび祝日等の多くの種類のイベントのための画像において、キャンドルが現れることに気が付いた。デジタル画像におけるキャンドルの存在、種類、外観、および位置が、しばしば、イベントの種類について重要な手がかりを提供する。キャンドル自体は多くの形、多くのサイズで売られているが、キャンドルの炎は、お互いに比較的似ており、コンピュータアルゴリズムによって容易に検出可能である。本発明は、灯されたキャンドルを検出し、キャンドルに関する様々な属性を分析することにより、改善されたイベント分類方法を提供する。

本発明の好ましい一実施例が今、図２を参照して説明される。デジタル画像コレクション２００における関連するデジタル画像の集合を識別するステップであって、関連デジタル画像識別ステップ２０５に、デジタル画像コレクション２００が提供される。好ましい一実施例において、関連デジタル画像識別ステップ２０５は、デジタル画像コレクション２００におけるデジタル画像を、または、デジタル画像に関連するメタデータを、自動的に解析して、単独のイベントで撮影されたデジタル画像の部分集合を識別することによって実行される。

関連デジタル画像識別ステップ２０５は、関連するデジタル画像２０１の集合を識別するために、当業者によって知られているいかなる種類の解析をも使うことができる。好ましい一実施例において、関連デジタル画像の集合２１０は、デジタル画像コレクション２００におけるデジタル画像のための画像撮影時刻を示す画像撮影時刻メタデータを解析することにより識別される。1つの実装では、デジタル画像は、互いの画像撮影時刻の時間差が、事前に設定された閾値（例：３０分）よりも小さいならば、お互いに関係しているとして識別される。他の実施例においては、一時的クラスター化アルゴリズムがイベントクラスターを識別するために使用される。本発明に従って使用されることのできるそのような一時的クラスター化アルゴリズムが、「画像を自動的にイベントに分類する方法」と題するルイ（Loui）他への米国特許６，６０６，４１１において開示されている。この方法は、似通った画像撮影時刻を有するデジタル画像のクラスターを識別するために、２手段クラスター化アルゴリズムを適用することを伴う。いくつかの実施例においては、デジタル画像はまた、隣接するクラスターがより大きなイベントクラスターを形成するために結合されるべきか否かを決定するために、画像類似測定基準を使って、解析される。

他の実施例において、関連デジタル画像識別ステップ２０５は、関連デジタル画像の集合２１０を識別するために、画像撮影時刻以外のデジタル画像の別の観点を解析することができる。例えば、画像ファイル名は、連続する画像シーケンス番号を有するデジタル画像を識別するために解析されることができる。他の実施例において、ユーザによって提供される（user-supplied）メタデータタグ（metadata tags）が、同じタグ値を共有する関連するデジタル画像を識別するために解析されることができる。他の実施例において、画像のコンテンツが、同じような外観を有するデジタル画像を識別するために解析されることができる。他の実施例において、関連デジタル画像の集合２１０は、デジタル画像コレクション２００を整理するために使われたフォルダー構造を解析することによって識別されることができる。例えば、あるアプリケーションは、デジタル画像を、画像撮影年月日に基づいて、階層型ファイル構造に入れて整理する。階層の最も低いレベルに該当するいかなるデジタル画像も、関係するデジタル画像であるとして指定され得る。

代替の実施例において、関連デジタル画像の集合２１０をユーザが手動で指定できるようにするために、ユーザインターフェイスが供給され得る。例えば、デジタル画像コレクション２００におけるデジタル画像のそれぞれのために、サムネイル画像が示され得る。そしてユーザは、互いに関係する個々の画像をクリックして、関連デジタル画像の集合２１０を指定することができる。他の実施例において、ユーザは、関連デジタル画像の集合２１０におけるサムネイル画像の周りにボックスをドラッグすることができる。他の実施例において、ユーザは、関連するデジタル画像を入れたフォルダーの中に、デジタル画像コレクション２００を手動で整理することにより、関連デジタル画像の集合２１０を指定することができる。

次に、関連デジタル画像の集合２１０を解析し、イベントの種類の決定において役に立つ情報を提供するイベントインジケータの集合２２０を検出するために、イベントインジケータ検出ステップ２１５が利用される。

図３は、好ましい一実施例に従った、イベントインジケータ検出に関する追加の詳細を示す。関連デジタル画像の集合２１０を解析し、デジタル画像の中に含まれているなんらかの人工光放射源についての人工光放射源情報３０５を決定するために、人工光放射源検出ステップ３００が利用される。本発明の文脈の中で、人工光放射源は、場面を照らすために、または、装飾的な目的のために、光エネルギーを放出することを意図して人工的に製造された物を参照する。例えば、人工光放射源は、様々な大きさ、スタイル、および色の電球（白熱灯、蛍光灯、ガス放電、ネオン、ＬＥＤ、およびＯＬＥＤライトを含む）、キャンドル、花火、および、道路フレア（road flares）を含むであろう。しかし、太陽や月や星などの自然光源は含まないであろう。

人工光放射源検出ステップ３００は、関連デジタル画像の集合２１０の中の個別のデジタル画像の中のどれが、人工光放射源を含むかを判定するステップを含む。人工光放射源を含むと判定された個々のデジタル画像のそれぞれに対して、検出された人工光放射源の番号、種類、空間的場所及び記述的な特徴が決定される。人工光放射源は、祝日ライトやネオンライト等の様々な種類の電気的光源とともに、灯されたキャンドルを含むことができる。灯されたキャンドルが検出された場合に対して、記述的な特徴は、好ましくは、キャンドルの炎とそれに対応するキャンドルに関する情報を含む。人工光放射源検出ステップ３００に関する追加の詳細が、図４を参照して以下で議論される。

空間的配置解析ステップ３１０は、人工光放射源情報３０５によって特定されている検出された人工光放射源の空間的配置を解析して、空間的配置情報３１５を決定するために使用される。検出された人工光放射源の空間的配置は、人工光放射源情報３０５の中の空間的位置によって与えられる。空間的配置情報３１５は、検出された人工光放射源の空間的配置を解析することによって決定される様々な特徴を含むことができる。人工光放射源の空間的配置を特徴付けるために決定されることができるいくつかの適切な特徴の例が、図９の議論を参照しながら以下議論される。

ある場合には、検出された人工光放射源の空間的配置は、検出された人工光放射源のいくつか、またはすべてが、おそらく偽陽性（false-positive）であることを示し得る。例えば、もし、空間的配置の特徴が示すには、検出された人工光放射源が、意図的な方法で配置されている代わりに、ランダムな態様で散らばっているならば、これはそのような場合かもしれない。この場合には、人工光放射源情報３０５は、それ相応に更新されることができる。

各デジタル画像内の人工光放射源に関する空間的配置情報３１５は、典型的には、関連デジタル画像の集合２１０に関連するイベントの種類についての貴重な手がかりを含むであろう。例えば、灯されたキャンドルの空間的配置は、お祝いのケーキ（例：誕生日ケーキ、または、周年祝いのケーキ）の存在を検出するために、あるいは、特定のセレモニーや祝日に関連するキャンドル配置のパターン（例：結婚式のユニティキャンドル、クリスマスの降臨キャンドル、または、ハヌカのメノーラ（Hanukkah menorahs））を検出するために使用されることができる。祝日の光装飾と一致する、点光源の空間的配置（例：祝日ライトの文字列）は、クリスマス、ハローウィン、または、新年のお祝いを、代わる代わる示唆することができる。時には、祝日ライトの文字列はまた、結婚式、パーティ、プロム（prom）等のイベントのための装飾として使われる。さらにまた別の、人工光放射源の空間的配置は、花火ディスプレイと一致し、したがって、独立記念日や元日等の祝日を示唆し得る。

人工光放射源情報３０５及び空間的配置情報３１５は、ケーキ検出ステップ３２０によって、デジタル画像が光源に関連するケーキ（例：灯されたキャンドル付き誕生日ケーキ）を含むか否かを決定するために使用される。もし、ケーキが検出されたならば、ケーキ検出ステップ３２０は、ケーキに関連するケーキ情報３２５を決定する。ケーキ検出ステップ３２０の追加の詳細と、決定されるケーキ情報３２５とが、図７を参照して以下で議論される。

イベントインジケータ検出ステップは、イベントインジケータの集合２２０を提供する。好ましい一実施例において、イベントインジケータは、人工光放射源情報３０５と、空間的配置情報３１５と、および、ケーキ情報３２５とを含む。いくつかの実施例において、イベントインジケータ２２０はまた、他の情報項目を含むことができる。例えば、関連デジタル画像の集合２１０は、顔を検出し、顔情報３４５を生成するための顔情報検出ステップ３３０によって処理され得る。顔情報検出ステップ３３０は、顔検出器、顔特徴発見器、顔分類器、または、顔認識器を用い得る。顔情報３４５は、関連するデジタル画像の集合の中で発見された各顔の、デジタル画像、場所、ポーズ、表情、推定年齢、および、性別あるいは氏名に関する情報を含み得る。顔認識検出ステップは、顔認識器によって認識されるべき人々の顔に関する所定の顔認識情報３４０に依存し得る。代替の一実施例において、ユーザインターフェイスが用いられ、関連デジタル画像の集合２１０の中の顔の位置および氏名をユーザが指定できるようにし得る。

ある実施例において、撮影メタデータ抽出ステップ３５０を使って抽出することができる、関連デジタル画像の集合２１０に関連付けられた撮影メタデータ３５５を、イベントインジケータ２２０は含み得る。好ましい一実施例において、撮影メタデータ３５５は、ＸＭＰ（アドビ社の拡張メタデータプラットフォーム（Extensible Metadata Platform））あるいはＥＸＩＦ（交換可能画像ファイルフォーマット（Exchangeable Image File Format））等の標準ファイルフォーマットに格納されたメタデータから抽出される。撮影メタデータ３５５の例は、撮影日／時刻、ＧＰＳ座標、場面輝度レベル、露出時間、レンズ口径、または、カメラモード設定を含むであろう。撮影メタデータ３５５は、人工光放射源情報３０５とともに、関連デジタル画像の集合２１０についてのイベント分類を決定するために役立つ情報を提供することができる。例えば、解析された、デジタル画像に関連付けられた撮影日／時刻は、イベントインジケータ解析ステップ２２５（図２）によって決定される結果の正確性を改善するために役立つ追加情報を提供するために使用することができる。例えば、もし、ある特定のデジタル画像の撮影日が、降臨の月に当たるならば、これは、あるキャンドル配置が降臨キャンドル配置である可能性を高くする。同様に、もし、ある特定のデジタル画像の撮影日がハヌカの８日間に当たるならば、これは、キャンドル配置がハヌカキャンドル配置である可能性を高くする。

ある祝日（例：バレンタインデー）は毎年同じ日になるが、他の祝日（例：復活祭、感謝祭、および、ハヌカ）は、毎年違う日になり得る。オプションのイベントカレンダー３７０が、与えられたカレンダー年における様々な祝日に関連付けられた日付、あるいは日付の範囲を提供するために使用される。セレモニーは、典型的には特定の日付とは関連付けられていない。しかし、ある実施例においては、イベントカレンダー３７０は、デジタル画像コレクション２１０の所有者に関連付けられたイベントを含むことができる。例えば、イベントカレンダー３７０は、ユーザのコンピュータ上に格納されたアポイントメントカレンダーと結び付けられることができる。この場合、イベントカレンダーはしばしば、結婚式および洗礼等の重要なセレモニーのための登録を含むであろう。

ある実施例において、イベントインジケータ２２０は、補助情報検出ステップ３６０によって提供される補助情報３６５を含むことができる。多くのイベントは、イベントの分類において役立つ装飾を含む。例えば、多くの誕生日パーティは「Happy Birthday（誕生日おめでとう）」という語を含む装飾を有している。そのような場合、文字列認識アルゴリズムは、適切なイベント分類の直接的な表示を提供することができる。別の例として、「Happy Anniversary（ハッピーアニバーサリー）」あるいは「Congratulations Graduate（卒業おめでとう）」の文字列の検出は、それぞれイベントを、周年祝い、卒業として識別する。他の場合では、文字列は、より曖昧であり得る。例えば、「Congratulations John（おめでとうジョン）」の文字列は、イベントが、誕生日のお祝い、卒業のお祝い、または何か他のイベント（例：受賞セレモニー、または、婚約パーティ）であることと一貫性がある。

しばしば、認識された文字列はまた、イベント分類２３０を決定し、イベントに関連する情報を提供するために役立つ他の重要な情報を含むことができる。例えば、認識された文字列は、お祝いにおける主賓を特定する１以上の名前を含み得る。認識された文字列はまた、誕生日をお祝いする人物の年齢、周年を祝うカップルの結婚年数、あるいは、卒業年、等の情報を提供する数字を含み得る。

装飾的特徴の種類はまた、イベント分類についての役立つ手がかりを提供することができる。例えば、ケーキの上のベルの存在は典型的に結婚式あるいは周年祝いに関連付けられるであろう。同様に、卒業帽は一般的に卒業を示すであろう。

ある実施例において、補助情報３６５は、イベントの分類において役立つ他の手がかりを含み得る。そのような一つの例は、室内または屋外の場面を描くものとしての画像の分類である。祝日ライトの場面はしばしば屋外で撮られる。一方、誕生日のお祝いは典型的には屋内で行われる。

図４は、一実施例に従った図３の人工光放射源検出３００に関する追加の詳細を示す。候補炎画像領域識別ステップ４００は、関連デジタル画像の集合２１０におけるデジタル画像のそれぞれの中の、キャンドルの炎のための可能性の高い候補である候補炎画像領域４０５を識別するために使用される。好ましい一実施例において、候補炎画像領域４０５は、関連デジタル画像の集合２１０におけるデジタル画像のそれぞれにおける画素を解析することによって識別される。画素カラーに基づいて画像に閾値を施し、連結構成要素解析を行うことにより、候補画像領域４０５は識別されることができる。

図５は、一実施例に従った候補炎画像領域識別ステップ４００に関する追加の詳細を示す。キャンドルの炎は、通常、デジタル画像の最も明るい部分である。加えて、キャンドルの炎はしばしば、その周囲に赤みを帯びたハロー（halo）領域を持って現れる。候補炎画像領域４０５を識別するために、画像閾値ステップ５００が、閾値の２つの組を用いてデジタル画像に閾値を施してキャンドル炎閾値マップ０５を生成するために使用される。（閾値のそれぞれの組は、デジタル画像の各カラーチャネル（color channel）のための閾値を含む。）
図６は、キャンドル炎を含む画像の一部に対して画像閾値ステップ５００を適用した結果である、キャンドル炎閾値マップ５０５の一例を示す。閾値の第１の組は、非常に明るい画素だけが、その第１の閾値より高くなるように選択される。これらの画素は、明るい画素６１０としてラベル付けされる。閾値の第２の組は、より明るくない、赤みを帯びた画素が、その第２の閾値より高くなるように選択される。第２の閾値より高いが、第１の閾値よりは高くない画像画素は、ハロー画素６２０としてラベル付けされる。閾値のいずれの組も超えない画素は、背景画素６００としてラベル付けされる。

再び図５を参照して、連結構成要素解析ステップ５１０が、キャンドル炎閾値マップ５０５に対して実行され、連結構成要素マップ５１５を生成する。連結構成要素解析ステップ５１０は、画素の連結された集合を識別するために、従来技術において周知のいかなる方法も使うことができる。連結構成要素マップ５１５は、連結構成要素解析ステップ５２０を使って解析され、明るい領域とともに隣接するハロー領域を含むなんらかの候補画像炎領域４０５を識別する。

図４の議論に戻って、候補炎画像領域４０５のそれぞれから炎画像の特徴４１５の集合抽出するために、炎画像特徴抽出ステップ４１０が使用される。好ましい一実施例において、各候補炎画像領域４０５は、２つの部分：明るい画素６１０（図６）を含むブライト領域、および、明るい画素６１０と隣接するハロー画素６２０の両方を含む組合せ領域（図６）、において考慮される。次に、これらの領域のそれぞれに対して炎画像特徴４１５が決定される。炎画像特徴４１５は、ブライト領域の大きさ、位置、楕円率、および主軸角と；組合せ領域の大きさ、位置、楕円率、および主軸角と；ブライト領域の大きさの、組合せ領域の大きさに対する比率と；ブライト領域と組合せ領域との重心における差と；ブライト領域と組合せ領域との主軸における差と、を含むが、これらに限定されない。

灯されたキャンドル存在テスト４２０は、各候補炎画像領域４０５について炎画像特徴４１５を解析し、候補炎画像領域４０５がキャンドル炎を含むか否かを判定するために使用される。好ましい一実施例において、この判定は、訓練された分類器を用いて行われる。この訓練された分類器は、機械学習の技術分野の当業者に周知のいかなる方法によって構築されることができる。訓練された分類器は、各候補炎画像領域４０５について炎画像特徴４１５を評価し、灯されたキャンドルが存在するか否かを判定する。

検出された各灯されたキャンドルについて、キャンドル情報抽出ステップ４２５が実行され、人工光放射源情報３０５として提供されるキャンドル情報が決定される。キャンドル情報は、好ましくは、検出されたキャンドルについての他の情報とともに、炎画像特徴４１５を含む。ある実施例において、デジタル画像内のキャンドル炎の向きは、各炎を生成するキャンドルのおおよその位置を決定するために使用される。次にキャンドル領域を記述する特徴が抽出され、炎画像特徴４１５と組み合わされ、人工光放射源情報３０５として返される。キャンドル領域を記述する特徴は、キャンドルの端、キャンドルの向き、およびキャンドルの色情報等の様々な項目の情報を含むことができる。

同様の処理が、なんらかの点光源（すなわち、電気祝日ライト等の小さな人工光放射源）を検出し、対応する点源情報を決定するために使用されることができる。多くのデジタル画像は、これらの光放射源の種類を特徴として持ち、しばしば、イベント分類２３０についての重要な手がかりを提供することができる。例えば、電気祝日ライトは一般に、祝日時期の頃に家や建物（室内および屋外）を飾るために使用される。クリスマスは、アメリカ合衆国において、装飾照明を使用するための最もよく知られている祝日であり、家の上に（屋根のラインや、私道や歩道を埋め尽くすように）、木の上に（家の中も家の外も、特に常緑樹）、そして他の装飾の上に（例：点灯されたアニメーション化されたトナカイ）、祝日ライトが置かれていることは一般的である。より低い（しかし、場合によってはより高くなる）程度に、装飾照明が、バレンタインデーやハローウィンや元日等の他の祝日にも使用される。そのような祝日ライトはしばしば、電気コードに沿って複数の小さな電気的光源（例：５０個のＬＥＤ）が吊るされるという形で見られる。一連の祝日ライトは、しばしば、大きな距離にわたって連続して配線される。

従来技術で知られている、いかなる点光源検出の処理も、本発明に従って利用されることができる。一般的に、点光源は、周囲の画素より著しく明るい画像画素によって特徴付けられる。この事実は、デジタル画像においてなんらかの点光源を識別するために使用されることができる。好ましい一実施例において、候補点光源位置識別ステップ４３０が、まず、候補点源位置４３５を識別するために使用される。

好ましい一実施例において、候補点光源位置識別ステップ４３０は、まず、周囲よりも所定の閾値Ｔ_１（例：Ｔ_１＝５０）だけ大きい画素の位置を識別することにより、候補点源位置４３５を識別する。すなわち、Ｉ（ｘ，ｙ）が画素値を表す場合に、画素位置（ｘ，ｙ）のすべての周囲（ｘ_ｎ、ｙ_ｎ）について、
Ｉ（ｘ，ｙ）−Ｔ_１＞Ｉ（ｘ_ｎ、ｙ_ｎ） （１）
であるような画素位置の集合を見つけることによる。位置（ｘ，ｙ）の周囲を定義するために、いかなる演算子を用いることもできる。好適な実施例において、（ｘ，ｙ）の周囲は、｜ｘ_ｎ−ｘ｜＝２且つ｜ｙ_ｎ−ｙ｜＝２であるようなすべての画素位置である。加えて、選択された画素位置は、所定の閾値Ｔ_２（例、Ｔ_２＝１５０）より大きい画素値を持っていなければならない。なお、この処理は、画像の各色チャネル（例、赤、緑、および、青）に対して適用することができ、人工光源の色は容易に決定することができる。なお、さらに、隣接する画素位置のグループが要求を満たすとき、そのグループは、好ましくは、連結構成要素アルゴリズムを使ってクラスター化され、グループ化された画素位置の重心に対応する画素位置に位置する、単一の候補点源位置４３５であるとみなされる。

点源特徴抽出ステップ４４０は、候補点源位置４３５のそれぞれに対して適切な点源特徴４４５を抽出するために使用される。好ましい一実施例において、点源特徴４４５は、以下のものを含む：
・候補点源位置（３次元）の赤、緑、および青の値；
・各色チャネルに対する、候補点源位置の７×７隣接画素内の中央および平均の画素値（６次元）；
・候補点源位置におけるビン化ローカル勾配（binned local gradients）（水平および垂直）（８次元）；
・各チャネルに対する、ガウシアンフィルタ（Gaussian filter）（例：５×５画素のサイズを持ち、シグマ＝１．０）による正規化相互相関（normalized cross correlation）（３次元）。
各候補点源位置４３５は、前述の２０個の点源特徴４４５によって記述される。

点源存在テスト４５０は、点源特徴４４５を解析することにより、候補点源位置４３５が点源を含むか否かを判定するために使用される。好ましい一実施例において、点源存在テスト４５０は、機械学習の技術分野の当業者に周知のいかなる方法によって構築された、訓練された分類器を利用する。好ましくは、訓練された分類器は、点源であることが知られている候補点源位置と、そうでないことが知られている候補点源位置（すなわち、非点源）の例について訓練された分類器である。好ましい一実施例において、分類器はアダブースト（AdaBoost）アルゴリズムを実装する。アダブーストアルゴリズムは、従来技術において周知である。しかし、いかなる分類器（例えば、サポートベクタマシン（support vector machine）、ニューラルネットワーク、あるいはベイジアンネットワーク（Bayesian network））をも使用することができる。

点源存在テスト４５０は、候補点源位置４３５が人工光源であると考えられるか否かを示す。点源であると識別されたそれらの候補点源位置に対して、人工光放射源情報３０５として提供されるべき関連情報を抽出するために、点源情報抽出ステップ４５５が使用される。関連情報は、好ましくは、点源の画素位置、および、点源の特徴に関する情報（例：色、および、点源の輝度）を含む。

同様に、人工光源の他の種類（例：ネオン光、または、花火）に関する情報もまた決定することができる。候補他源領域識別ステップ４６０は、候補となる他の源の領域４６５を識別するために使用される。これは、候補炎画像領域識別ステップ４００のために説明された上記の処理と類似する処理を用いて実行することができる。他源特徴抽出ステップ４７０は、候補他源領域４６５から適切な他源特徴４７５を抽出するために使用される。他源存在テスト４８０は、他源特徴４４５を解析することにより、候補他源領域４６５が他の光源を含むか否かを決定するために使用される。好ましい一実施例において、他源存在テスト４８０は、機械学習の技術分野の当業者に周知のいかなる方法によって構築され、異なる光源の種類（例、ネオンライト源、花火の光源）に対応した、１以上の、訓練された分類器を使用する。最後に、人工光放射源情報３０５として提供されるべき検出された光源についての情報を抽出するために、光源情報抽出ステップ４８５が使用される。

ある実施例において、候補炎画像領域識別ステップ４００、候補点光領域識別ステップ４３０、および、候補他源領域識別ステップ４６０のいずれか、またはすべては、手動で実行することができる。この場合、デジタル画像におけるいかなるキャンドル炎、点源、または他の源の位置をユーザが指定することを可能にするユーザインターフェイスが提供されることができる。例えば、ユーザは、各光源をクリックしたり、または、各光源のまわりを箱でドラッグすることができる。ある実施例においては、ユーザは、光源種別（例：キャンドル炎、または、点源）を特定することができる。この場合、灯されたキャンドル存在テスト４２０、電灯存在テスト４５０、および他光源存在テスト４８０は、実行される必要がない。他の実施例において、示された領域は、自動的に解析され、光源種別を決定することができる。

図７は、位置実施例に従った図３のケーキ検出ステップ３２０の追加の詳細を示している。人工光放射源情報３０５と空間配置情報３１５が、人工光放射源の種類および配置がお祝いケーキと一致するか否かを評価する、ケーキ的キャンドル配置テスト７００に提供される。好ましい一実施例において、ケーキ的キャンドル配置テスト７００は、局部的な領域における１以上の灯されたキャンドルを探す。もし、ケーキ的キャンドル配置テスト７００が、特定のデジタル画像がケーキ的キャンドル配置を持っていると判定すると、ケーキが置かれていると予想される、デジタル画像における対応する候補ケーキ領域７１５を識別するために、候補ケーキ領域決定ステップ７１０が使用される。ある実施例において、候補ケーキ領域７１５は、検出された灯されたキャンドルを取り囲む多角形の、ある距離内にある画像画素を含むように定義される。候補ケーキ領域７１５におけるデジタル画像の内容は、候補ケーキ特徴抽出ステップ７２０を使って解析され、候補ケーキ特徴７２５が抽出される。候補ケーキ特徴７２５は、従来技術における周知のいかなる特徴抽出方法を使って決定することができる。候補ケーキ特徴７２５は、好ましくは、他の画像における他の適合するケーキ領域を見つけるために、そして、ケーキが存在するか否かを決定するために分類器が評価するために役に立つ、特徴の集合である。

ひとたび候補ケーキ特徴７２５が識別されると、それは、他の画像において、同じケーキを発見するために使用されることができる。一致候補ケーキ領域発見ステップ７３０は、候補ケーキ領域７１５の各々に一致するであろう、他のデジタル画像における一致候補ケーキ領域７３５を識別するために使用される。一致候補ケーキ領域７３５の集合は、関連デジタル画像の集合２１０（図２）における他のデジタル画像において識別された領域を、ケーキ的キャンドル配置を含んでいなかったであろう他のデジタル画像の領域（例：灯されていないキャンドルを持つケーキの画像）とともに含み得る。例えば、関連デジタル画像の集合２１０（図２）は、誰かがキャンドルを消す時系列のデジタル画像を含み得る。または、複数の視点から撮影されたケーキのデジタル画像を含みうる。

このアプローチを使うことにより、ケーキ画像のいくつかについてはケーキ上のキャンドルは灯されていないときでさえも、関連ケーキ画像の集合が識別されることができる。しばしば、識別された関連ケーキ画像は、より信頼性の高いイベント分類２３０（図２）を提供するために役立つ追加情報を提供し得る。例えば、灯されたキャンドルの空間的配置を解析することによって識別された候補ケーキ領域７１５は、ケーキ上の単語をはっきりとみせていない視点からのものであり得る。しかし、関連ケーキ画像は、文字列がはっきり読める、ケーキの上からのビューを示し得る。もし、上からのビュー画像が、灯されたキャンドルを含んでいなかったら、ケーキ的キャンドル配置テスト７００を使って、それを候補ケーキ画像として識別することはできなかったであろう。

ある実施例において、一致候補ケーキ領域７３５は、スケール不変特徴変換（Scale-Invariant-Feature-Transform）（ＳＩＦＴ）オブジェクト認識技術を使って一致候補ケーキ領域７３５を識別する。この手法では、候補ケーキ特徴７２５は、ＳＩＦＴアルゴリズムを用いて決定されたＳＩＦＴ特徴である。ＳＩＦＴ特徴は、スケールや回転にたいして不変であるという特徴がある。オブジェクト認識アプリケーションにおいてＳＩＦＴ特徴を利用することは、画像処理技術において周知である。本発明に従って利用することのできるＳＩＦＴオブジェクト認識技術は、「スケール不変というキーポイントからの独特の画像特徴」という論文（Internal Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004）において、ロー（Lowe）によって説明されている。ローによって説明されているＳＩＦＴ技術は、画像のスケールに関係なく、そして、画像の多くの異なる変換に関係なく（例、異なるスキャン方向や解像度）、正確に識別できる画像の位置として特徴点を識別する。ＳＩＦＴ技術は、カスケードフィルタリング手法（cascade filtering approach）を使用して、候補特徴点を識別する。ＳＩＦＴ技術は次に、各候補特徴点に対して、位置、スケール、および主曲率について、近傍のデータとの詳細なフィット（detailed fit）を実行する。低コントラストを持つ候補特徴点や、エッジに沿って不十分にローカライズされた（poorly localized）候補特徴点は、典型的に却下される。ＳＩＦＴ技術は次に、各特徴点に対するローカル画像記述（すなわち、「特徴」）を生成する。特徴は、向きに不変となり、特徴点の周辺の領域における各画像サンプルの勾配強度および向きをまず計算することによって決定される。これらの値は次に、４×４の領域にわたる内容をまとめた方向ヒストグラムに蓄積される。ある実施例においては、方向ヒストグラムは、異なる向きを表す８つのビン（bins）を持ち、その結果、１２８（４×４×８）の特徴ベクトルで表される特徴となる。

関連デジタル画像の集合２１０（図２）における画像の候補ケーキ領域７１５から決定されたＳＩＦＴ特徴の比較は、最近傍探索アルゴリズムを用いて実行することができる。２つの候補ケーキ領域が一致するか否かの決定は、一致した特徴の量に基づいて決定することができる。画像の特徴点および特徴点の特徴を識別するために、また、特徴の一致を評価するために、他の技術を使用し得ることを当業者は理解するであろう。

ひとたび、一致候補ケーキ領域７３５の集合が決定されると、候補ケーキ領域のよりよい推定を提供するセグメント化候補ケーキ領域７４５を決定するために、候補ケーキ領域セグメント化ステップ７４０が使用されることができる。好ましい一実施例において、セグメント化候補ケーキ領域は、一致候補ケーキ領域７３５の全てからの情報を使ってデジタル画像をセグメント化することによって得られる。このセグメント化を実行するために使用することができる方法は、ギャラガー（Gallagher）他による、「人認識のための衣類の共通セグメンテーション」と題する論文（IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8 2008）において説明されている。ギャラガー他は、同じ衣類を着ている同じ人物であると考えられる１以上の画像から学習された衣類モデルに基づくグラフカット（graph cuts）を使って、各画像における衣類領域をセグメント化する方法を教示している。検討中の衣類領域は、同じ人物であると考えられる顔と関連付けられる。本発明においては、顔に関連付けられた衣類領域をセグメント化するよりも、灯されたキャンドル及びＳＩＦＴ特徴に関連付けられたケーキ表面がセグメント化される。候補ケーキ領域セグメント化ステップ７４０の結果は、セグメント化候補領域７４５の集合である。

ケーキ存在テスト７５０が、セグメント化候補ケーキ領域７４５がお祝いケーキであるらしいか否かを決定するために使用される。好ましい一実施例においては、ケーキ特徴の集合が、セグメント化候補ケーキ領域７４５から抽出され、訓練された分類器を使って評価される。訓練された分類器は、機械学習の技術分野における当業者に周知のいかなる方法によって構築されることができる。ケーキ特徴は、ケーキ及びキャンドルに関連する他の特徴とともに、ＳＩＦＴ特徴を含むことができる。例えば、多くのお祝いケーキは、製菓材料と共に食料品店で一般に見つけることのできるキャンドルを使用する。

もし、ケーキ存在テスト７５０が、ケーキが存在すると判断するならば、イベント分類２３０（図２）の決定において役立つことのできるケーキについてのケーキ情報３２５を抽出するために、ケーキ情報抽出ステップ７５５が使用される。ケーキ情報の種類は、ケーキのサイズ、形、および色；ケーキの上の記載から抽出された文字列；ケーキ上の装飾的特徴に関する情報；キャンドルの種類、色および分布；そして、キャンドル炎のサイズおよび分布を含むことができる。

ケーキ上の記載は、しばしば、イベントあるいは主賓を識別するための多くの重要な手がかりを提供する。ある実施例においては、ケーキ情報抽出ステップ７５５は、ケーキの表面から文字列を抽出するために文字列認識を採用することができる。これは、まず、１以上のケーキ画像内のケーキ表面領域を特定することで行うことができる。次に、ケーキ表面領域内において、文字列領域が特定されることができ、そして、ケーキの表面上に書かれた文字列の特徴を特定するために、英数字文字列認識アルゴリズムが使用されることができる。文字列認識アルゴリズムは従来技術において周知であり、本発明に従ったいかなる適切な方法を使用することができる。多くの場合、文字列認識アルゴリズムを実行する前に、ケーキ表面領域に平行化変換を適用することは、撮影された画像におけるなんらかの射影歪みを矯正するために役立つことができる。これは、文字列認識処理の信頼性を向上させることに役立つことができる。平行化変換は、画像処理技術において周知である。ある実施例においては、ケーキ表面領域の四隅のための座標が特定され、ケーキ表面領域を四角形に変換するための、平行化変換のためのパラメータの組が決定される。

「重力の方向に基づく画像処理」と題するギャラガーに対する米国特許７，５８３，８５８は、遠近法ワープ化場面四角形（perspective-warped scene rectangle）（この場合、ケーキの表面）の平行化（rectification）を提供する一方法を記載している。この方法は、場面四角形の両方の直交方向に関連付けられた消失点を見つけることにより機能する。次に、消失点は、平行化変換のためのパラメータを決定するために利用される。

ある実施例において、平行化変換のためのパラメータは、炎の大きさは物理的に同じようなサイズであり、また、キャンドル炎は、（平面の）ケーキ表面からすべてほぼ等しい距離にある、という前提に基づいて決定されることができる。次に、パラメータは、ケーキ表面の画像に対して平行化変換が適用されたとき、変換された画像におけるキャンドル炎が同じようなサイズになるように、（例：最小二乗回帰技術を使って）決定することができる。この手法は、四辺形でないケーキに対して使用することができるという利点がある。

例えば米国特許６，６５２，８９７において記載されているように、食用インクジェットインク及びレシーバ媒体の出現により、多くのケーキが、主賓の画像を特徴として持っている。例えば、周年祝いケーキは、ケーキの表面上に結婚式の写真の複製を特徴として持ち得る。同様に、卒業祝いケーキは、卒業写真を特徴として持ち得る。このような場合、ケーキ情報抽出ステップ７５５は、ケーキの上に現れた顔と関連デジタル画像の集合２１０（図２）の中で見つかる他の顔と、または、デジタル画像コレクション２００（図２）の中の他の画像の中に現れる顔と、一致させるために、顔認識技術を採用することができる。このように、ある実施例において、先に図３を参照して説明した顔情報検出ステップ３３０において採用された方法と同じ方法で、ケーキの表面から顔情報が抽出され得る。先に議論した文字列検出においてそうであったように、顔情報の抽出はまた、ケーキの表面の画像に対して平行化変換をまず適用することによって、利益を得られる。

誕生日ケーキ８０５を含むデジタル画像８００の例が図８Aに示されている。誕生日ケーキは、主賓８１５とともに、７本の灯された誕生日キャンドルの集合８１０を含んでいる。この場合、人工光放射源情報３０５（図３）は、灯されたキャンドル８１０についての情報と、灯されたキャンドル８１０の空間的配置を記載する空間的配置情報３２５（図３）とを含むであろう。この情報は、ケーキ的キャンドル配置テスト７００（図７）によって、デジタル画像８００における対応する候補ケーキ領域７１５（図７）を決定するために使用されることができる。そして、候補ケーキ領域７１５から、候補ケーキ特徴７２５（図７）が抽出される。

図８Ｂは、同じ誕生日ケーキ８０５をやはり含む別の関連デジタル画像８２０を示す。今回は、誕生日キャンドル８２５は灯されていない。一致候補ケーキ領域発見ステップ７３０（図７）を使用することができ、デジタル画像８２０を、一致候補ケーキ領域７３５（図７）を含むものとして識別する。デジタル画像８２０において示された視点からは、誕生日ケーキ８０５の詳細がよりはっきりと見ることができ、年齢８３５（すなわち「７」））と一緒に文字列メッセージ「Happy Birthday John（誕生日おめでとう、ジョン)」を含む文字列領域８３０とともに、装飾的特徴８４０が含まれている。デジタル画像８２０は、長方形のケーキが台形に見える射影歪みを含むことが見てとれる。平行化変換が、この射影歪みを矯正するために使用されることができ、図８Ｃにおいて示されるような平行化されたケーキ表面領域８４５を生成する。平行化されたケーキ表面領域８４５は、イベント分類２３０の決定において役立つケーキ情報３２５（図７）を決定するために、より高い信頼性をもってケーキ情報抽出ステップ７５５を使って解析されることができる。例えば、文字列認識、顔検出、および顔認識アルゴリズムが、一般に、歪んでいない文字列や画像に対してより良く機能する。

図２の議論に戻って、先行する議論では、関連デジタル画像の集合２１０から抽出され、イベントインジケータ２２０において与えられる多種多様な情報について取り上げてきた。イベントインジケータ解析ステップ２２５は、決定したイベントインジケータ２２０を解析することにより、イベント分類を決定するために使用されることができる。ある実施例において、イベントインジケータ解析ステップ２２５は、オプションとして、関連デジタル画像の集合２１０に関連する画像メタデータ２４５の他の様々な項目を決定することができる。

イベントインジケータ解析ステップ２２５は、イベント分類２３０および画像メタデータ２４５をイベントインジケータ２２０から決定するために、従来技術における周知のいかなる方法を使うことができる。図９は、一実施例に従ったイベントインジケータ解析ステップ２２５の追加の詳細を示すフローチャートを示す。この例では、関連するイベント分類を絞り込むために決定木方式が使われている。他の代替実施例において、イベントインジケータ解析ステップ２２５は、他の方式を利用することができる。例えば、分類器は、機械学習の技術分野におけるいかなる周知の方法を利用して、イベントインジケータ２２０に直接働きかけるように訓練されることができる。

図９に示された方法に従って、イベントインジケータ２２０によって示されているとして、デジタル画像の中に存在する人工光放射源の種別をまず決定するために、光源種別テスト９１０が使用される。光源種別は、最も確からしいイベント分類２３０を決定するために役立つ貴重な情報を提供する。

もし、光源種別テスト９１０が、デジタル画像がキャンドルを含むと判定するならば、一連の追加のテストが、イベント分類のオプションをさらに絞り込むために使用されることができる。キャンドルを含む多くのデジタル画像は、灯されたキャンドルの集合を含むお祝いケーキ画像である。ケーキがデジタル画像の中に存在するか否かを判定するために、ケーキ存在テスト９２０が使用されることができる。ある実施例において、ケーキ存在テスト９２０は、図７のケーキ存在テスト７５０と同一であることができる。好ましい一実施例において、デジタル画像がお祝いケーキを含むとき、イベントインジケータ２２０は、図７を参照して議論されたような方法を使って決定されたケーキ情報３２５（図３）を含む。この場合、ケーキ存在テスト９２０は、ケーキ情報３２５が存在するか否かを決定するために、単純にイベントインジケータ２２０を調べることができる。

ケーキの検出は、ケーキが普通に見られるような、お祝いのある種別を強く示すものである。お祝いの種類は、誕生日、結婚式、周年祝い、卒業、退職を含むが、これに限定されない。もし、ケーキ存在テスト９２０が、お祝いケーキが存在すると判断するならば、イベントインジケータ２２０に応答する、対応するイベント分類２３０を決定するために、ケーキイベントクラス決定ステップ９２５が使用される。

お祝いケーキを含むデジタル画像のためのイベント分類２３０を決定するために、ケーキイベントクラス決定ステップ９２５は、従来技術においていかなる周知の方法を使うことができる。好ましい一実施例において、ケーキイベントクラス決定ステップ９２５は、イベントインジケータ２２０に格納された様々な項目の情報を使用してイベント分類２３０を決定する。図３を参照して議論されたように、イベントインジケータ２２０は、検出された光源（人工光放射源情報３０５によって表される）と、光源の空間的配置（空間的配置情報３０５によって表される）とに関する情報を含む。ある実施例において、イベントインジケータ２２０はまた、いかなる検出されたお祝いケーキに関する情報（ケーキ情報３２５によって表される）、画像の中にいると検出された人物に関する情報（顔情報３４５によって表される）、画像撮影日（撮影メタデータ３５５から決定された）に、またはその近くで起こった周知のイベント（イベントカレンダー３７０から）に関する情報、または、他の関連情報（補助情報３６５によって表される）を含むことができる。

多くの場合、文字列認識アルゴリズムによって認識されたいかなる文字列は、イベント分類の直接の表示を提供することができる。文字列は、ケーキの表面から抽出され、ケーキ情報３２５に格納されたものであり得、または、場面の中（例えば横断幕上）で検出され、補助情報３６５において表されたものであり得る。例えば、ケーキの表面上、あるいは、デジタル画像の集合の中の飾り付け上での文字列「Happy Anniversary（周年おめでとう）」の検出は、イベント分類２３０を「周年イベント」として直接識別するために使用されることができる。同様に、文字列「Happy Birthday（誕生日おめでとう）」の検出は、イベント分類を「誕生日イベント」として識別する、あるいは、文字列「Congratulations Graduate（卒業おめでとう）」の検出は、イベント分類を「卒業イベント」として識別する。他の場合では、文字列はより曖昧であり得る。例えば、文字列「Congratulations John（おめでとう、ジョン）」は、イベント分類２３０が誕生日イベント、卒業イベント、または、何か他のイベント（例：受賞セレモニー、または、婚約パーティイベント）であることと一致するであろう。

しばしば、認識された文字列はまた、イベント分類２３０を決定するのに役立つことができる他の重要な情報を含むことができ、画像メタデータ２４５として格納されることができるイベントに関連する情報を提供する。例えば、認識された文字列は１以上の名前を含み得、お祝いにおける主賓を識別する。認識された文字列はまた、誕生日を祝う人の年齢や、周年を祝うカップルの結婚年数や、卒業年等の情報を提供する数を含み得る。ケーキ上の、または、関連デジタル画像の集合２１０のどこかの、装飾的特徴の種類はまた、イベント分類についての役に立つ手がかりを提供することができる。（装飾的特徴についての情報は、ケーキ情報３２５、あるいは、補助情報３６５において表され得る。）例えば、ケーキ上のベルの存在は、典型的に、ウェディングケーキ、または、周年祝いケーキと関連付けられる。同様に、卒業帽は、一般に卒業ケーキを表す。

ケーキの形および色（ケーキ情報３２５に表されるような）はまた、イベント分類２３０の表示を提供することができる。例えば、白い階段状のケーキは、典型的に、結婚式と関連付られ、一方、色付きのフロスティング（colored frosting）を伴う丸い層状ケーキは、よりしばしば誕生日と関連付けられる。同様に、キャンドルの大きさ、種類、色、およびパターン（人工光放射源情報３０５、および、空間的配置情報３１５によって表される）は、ケーキ種別の、従ってイベント分類２３０の、追加的表示を提供することができる。１本から２０本の間の、ケーキを横切って分散された小さくて色のついたキャンドルは、典型的に誕生日ケーキと関連付けられる。ここで、キャンドルの数は一般的に、主賓の年齢を表す。数字に似た形のキャンドルは、しばしば、より年配の主賓のための誕生日ケーキのため、または、時には周年祝いケーキのために使用される。この場合、年齢または周年は、数字から直接決定され、画像メタデータ２４５の中に格納されることができる。

ある実施例において、ケーキイベントクラス決定ステップ９２５はまた、ケーキ領域以外にデジタル画像の他の部分から引き出された特徴の解析を含むことができる。例えば、顔情報３４５は、自動顔検出アルゴリズムが、お祝いケーキを含むデジタル画像の中に顔を検出したことを示し得る。もし、お祝いケーキの近くに１以上の顔が検出されるならば、これは、イベント分類２３０を決定するための役に立つ手がかりを提供することができる。例えば、お祝いケーキのすぐ後ろの位置に1つの顔が検出されたならば、これは、ケーキが誕生日ケーキであることと一貫性がある。特に、もし、関連デジタル画像の集合２１０（図３）が、キャンドルの灯が消された同じケーキを含む画像が後に続く、灯されたキャンドルと一緒のケーキを含む画像を含むならば、ケーキが誕生日ケーキであることと一貫性がある。もし、一対の顔がお祝いケーキのすぐ後ろに検出されるならば、これは、ケーキが周年祝いケーキであることと一貫性があるであろう。加えて、関連デジタル画像の集合内の画像シーケンスが解析され、１以上の顔が他よりもより顕著に特徴付けられているか否かを決定することができる。ある実施例において、イベントカレンダー３７０からの情報は、イベント分類２３０および画像メタデータ２４５を決定するために役立つ追加情報を提供するために使われることができる。イベントカレンダー３７０は、解析中の特定のデジタル画像の画像撮影日時（撮影メタデータ３５５において表される）とともに、イベントについてさらなる情報を決定するために使用されることができる。例えば、もし、イベント分類２３０が「誕生日」で、イベントカレンダー３７０が、画像撮影日の、または、画像撮影日頃の、特定の人物の誕生日を示すならば、イベント分類２３０は、単に一般的な誕生日イベント分類を提供するよりも、特定の人物のための誕生日（例、「ジョンの誕生日」）のためであることができる。代わりに、一般的な「誕生日」分類がイベント分類２３０のために使用され、主賓はジョンであるという表示が画像メタデータ２４５に格納されることができる。

顔検出アルゴリズムが、デジタル画像における１以上の人物を検出するために使用された場合に対して、人物識別情報（例、文字列認識、あるいは、イベントカレンダーを使用して決定された）が、名前と特定の顔とを関連付けるために使用されることができる。これは、他のデジタル画像における同じ人物を認識するように顔認識アルゴリズムを訓練するための役立つ情報を提供することができる。例えば、もし、顔が誕生日ケーキのすぐ近くにおいて検出されるならば、そして、画像が、ジョンの誕生日に撮影されたと決定されるためにイベントカレンダー３７０が使用されるならば、検出された顔はおそらくジョンであると推測されることができる。この情報は、他のデジタル画像においてジョンを認識するように顔認識アルゴリズムを訓練するために使用することができる。

ある場合には、ケーキイベントクラス決定ステップ９２５は、適切なイベント分類のいかなる明確な表示も検出し得ないかもしれない（例、もし、イベント特徴が、予期されるケーキ特徴と一貫性がないならば）。この場合、決定したイベント分類２３０は、「不明イベント」と設定されることができる。

祝日やセレモニーの多くの種類が、関連付けされたキャンドルを持っている。キャンドルの種別や空間的配置についての情報は、祝日またはセレモニーの種別についての重要な手がかりを提供するために使用されることができる。もし、ケーキ存在テスト９２０が、ケーキが存在しないことを示すならば、キャンドルが、祝日またはセレモニーに関連付けられるキャンドルとして認識可能な配置に対応するか否かを判定するために、祝日／セレモニーテスト９３０が使用される。もし、そうであるならば、関連するイベント分類を決定するために、祝日／セレモニークラス決定ステップ９３５が使用される。

祝日に関連付けられるキャンドルの認識可能な配置の例は、降臨キャンドル配置（advent candle arrangement）であり、これは、クリスマス祝日と関連付けられるであろう。図１０Aは、灯されたキャンドルの配置を伴ったクリスマス降臨リース１００５を含むデジタル画像１０００の例を示している。降臨リースのために使用されるキャンドルは、しばしば、お祝いケーキの上に見られるものよりもずっと大きい。降臨キャンドル配置は、典型的に、降臨リース１００５の周囲に分散した４本の降臨キャンドル１０１０を含む。降臨キャンドル配置のあるものは中央キャンドル１０１５を含み、中央キャンドル１０１５はしばしば、外側の４本の降臨キャンドル１０１０よりも背が高いかまたは幅広い。降臨キャンドル１０１０の中の１本が、降臨（クリスマス）シーズンの最初の週の間灯される。追加の降臨キャンドル１０１０は、続く週の間灯され、その結果、降臨リースのデジタル画像は、いつデジタル画像が撮影されたかに応じて、1本、２本、３本、または４本の灯されたキャンドルを持つ。ある実施例において、もし、祝日／セレモニーイベントクラス決定ステップ９３５が、特定のデジタル画像が１本から５本の灯されたキャンドルのグループを含むと判定したならば、さらに解析が実行されて、キャンドル配置が降臨キャンドル配置に対応するか否かを判定する。例えば、分類器は、人工光法放射源情報３０５、空間的配置情報３１５、およびデジタル画像から決定された他の特徴（例、ＳＩＦＴ特徴）に応答して、降臨キャンドル配置を認識するように訓練されることができる。

祝日と関連付けられるキャンドルの認識可能な配置の他の例は、ハヌカのユダヤ教の祝日を祝うキャンドルを持つために使われるメノーラ（menorah（燭台））である。ハヌカを祝うために使用されるメノーラは一般に、対称のパターンに配置された９本のキャンドルを含む。これらのキャンドルはまた、典型的に、お祝いケーキキャンドルとは非常に異なっている。図１０Ｂは、９本の灯されたメノーラキャンドル１０３０の配置とともにメノーラ１０２５を含むデジタル画像１０２０の一例を示す。しばしば、中央のメノーラキャンドル１０３０は、他のキャンドルよりも高いレベルに置かれ得る。降臨キャンドル配置についてと同じように、メノーラキャンドル１０３０は、ハヌカ祝日の期間徐々に灯される。その結果、メノーラを含む画像は、様々な数の灯されたキャンドルを含み得る。ある実施例において、もし、祝日／セレモニーイベントクラス決定ステップ９３５が、特定のデジタル画像が１本から９本の灯されたキャンドルのグループを含むと判定されたならば、特定のデジタル画像が、メノーラキャンドル配置を含むか否かを判定するために、さらに解析が実行されることができる。例えば、分類器は、メノーラキャンドル配置を認識できるように訓練されることができる。

セレモニーに関係付けられたキャンドルの認識可能な配置の一例は、多くの結婚式に関連付けられるユニティーキャンドル配置である。ユニティーキャンドル配置は、典型的に、新郎新婦を象徴する一対のキャンドルと、および結婚の結合を象徴するより大きな中央キャンドルとを含む。図１０Ｃは、ユニティキャンドル配置を含むデジタル画像１０４０の一例を示す。この例において、新郎１０４５は、灯された新郎キャンドル１０５０を持っており、新婦１０５５は、灯された新婦キャンドル１０６０を持っている。この例において、新郎新婦は丁度中央のユニティキャンドル１０６５に灯をつけたところである。結婚式で撮影されたデジタル画像において、灯されたユニティーキャンドルの異なる配置が、結婚式セレモニーの間の異なる時点で見られる。典型的に、セレモニーの始まりでは、新郎キャンドル１０５０と新婦キャンドル１０６０は、キャンドルホルダー１０７０の中に位置している。次に、新郎１０４５と新婦１０５５の両親が、それぞれ新郎キャンドル１０５０と新婦キャンドル１０６０に灯をともすであろう。次に、セレモニーの間の適切な時に、新郎１０４５と新婦１０５５は、図１０Cに示されるように、各々のキャンドルを使って中央のユニティキャンドルに灯をともすであろう。次に新郎新婦は、新郎キャンドル１０５０と新婦キャンドル１０６０を吹き消し、キャンドルホルダー１０７０に戻す。従って、ユニティキャンドル配置を含むデジタル画像は、セレモニーのどの時点で画像が撮影されたかに応じて、２本、３本、または、１本の灯されたキャンドルを持ち得る。ある実施例において、もし、祝日／セレモニーイベントクラス決定ステップ９３５が、特定のデジタル画像が１本から３本の灯されたキャンドルを含むと判定したならば、特定のデジタル画像がユニティキャンドル配置を含むか否かを判定するために、さらに解析が実行されることができる。例えば、分類器は、ユニティキャンドル配置を認識できるように訓練されることができる。

祝日およびセレモニーであって、しばしば関連付けられるキャンドルを持つものの他の例は、バレンタインデー、洗礼、コンファメイション（confirmations）を含む。祝日／セレモニーイベントクラス決定ステップ９３５は、これらの、または他の祝日及びセレモニーに関連付けられるキャンドル配置を検出する、と一般化されることができる。

ある実施例において、祝日／セレモニーイベントクラス決定ステップ９３５は、祝日／セレモニーテスト９３０と統合される。この場合、祝日／セレモニーテスト９３０は、一連の分類器（すなわち、祝日／セレモニーイベントクラス決定ステップ９３５によって使用される分類器の集合）を使ってイベントインジケータ２２０を解析することによって機能し、キャンドル配置が、周知の祝日またはセレモニーに対応するか否かを判定する。もし、分類器の１つが、キャンドル配置が、特定の祝日またはセレモニーに対応すると判定するならば、それに応じてイベント分類２３０が設定される。もし、いずれの分類器もプラスの応答を生成しないならば、祝日／セレモニーテスト９３０は、キャンドル配置が周知の祝日またはセレモニーに対応しないことを表す値を返す。もし、祝日／セレモニーテスト９３０が、キャンドル配置が周知の祝日またはセレモニーに対応しないと判定するならば、イベント分類２３０を決定するために、他キャンドルイベントクラス決定ステップ９４０が呼び出される。ある実施例において、他キャンドルイベントクラス決定ステップ９４０は、単にイベント分類を「不知（unknown）」と設定し、オプションとして、キャンドル配置についての情報を画像メタデータ２４５に格納する。他の実施例において、他キャンドルイベントクラス決定ステップ９４０は、従来のイベント分類方法（例、キャンドルの存在に関係しない方法）を使って、画像を解析しイベント分類２３０を推定する。

次に、光源種別テスト９１０が、デジタル画像が点源を含むという表示をイベントインジケータ２２０が提供していると判断した場合について検討する。点源の配置は、効果的なイベント分類のために利用できる大量の情報を含む。図９に示される例示の実施例において、点源の配置が祝日ライトの集合と一致するか否かを判定するために、祝日ライトテスト９５０が使用される。ある実施例において、祝日ライトテスト９５０は、１以上の訓練された分類器を用いて、光源の空間的配置に関係する特徴の集合を解析する。好ましい一実施例において、特徴の集合は以下のものを含む：
・各検出された点源の（ｘ，ｙ）画素位置、画素位置の平均および分散とともに；
・検出された点源の数；
・検出された点源についての「コンパクト」値（例、すべての（または、すべてより小さいある数の）検出された点源の凸包（convex full）の領域の、デジタル画像の領域に対する割合）；
・Ｄ：検出された点源に対して計算されたドロネー三角形分割の辺（edges）の合計（この特徴について、各検出された点源は、周知のドロネー三角形分割を使って形成される、グラフＧにおける頂点と見なされる）；
・Ｍ：検出された点源について計算された最小全域木（minimal spanning tree）の枝（edges）の合計（最小全域木は、各頂点とそのＫ＝１の最近接隣接との間に枝が確立される、頂点全体にわたって形成されるＫ最近接隣接グラフである。）；典型的に、最小全域木における枝は、照明配置の構築に使用される実際の物理的電気配線またはコードのトレース（traces）に従う；
・Ｍ／Ｄ：上述の２つの量の比率（人工の点源配置は、典型的に、検出された点源が実際は偽陽性であるとき−例えば、森における木の枝／葉の間のスカイライト（skylight）の小さな断片等は、画像全体にランダムに分散する可能性が高い−に比べて低いＭ／Ｄ比率を持つ。）；および
・光源についての向きのヒストグラム（一実施例において、各光源について主軸または向きが見つかる。そして、主軸または向きは、−πからπまでの間の角度を表す１６のビン（bins）へ量子化される。）；向きのヒストグラムは、光の向きの方向（orientation direction）の分散を表し、点源についての情報を得るために役立つ（例、クリスマスツリー上のクリスマスライトは、典型的に、電球の向きのランダムな配置を持つ。）。

なお、向きのヒストグラムはまた、灯されたキャンドルの空間的配置を解析するためにも役立つ特徴である。人工の光放射源がキャンドル炎であるとき、向きのヒストグラムは、（慣習的に誕生日の主賓によって行われるように）灯されたキャンドルが吹き消されつつある場合の画像を検出するために使用することができる。キャンドルが吹き消されるとき、キャンドルの炎はゆらゆらする（すなわち、ランダムに近い向きをとる）か、または、「風」の方向に従う（すなわち、主賓の息に従う）。対照的に、静止した空気の環境においては、キャンドル炎は、縦方向に引き伸ばされる。こうして、向きのヒストグラムは、誕生日イベントにおける「キャンドルの吹き消し」に関する副イベント分類を決定するために役立つ。さらに、この特徴はまた、キャンドルが吹き消される瞬間はしばしば誕生日イベントの望ましい代表的な瞬間であるので、関連デジタル画像の集合２１０（図２）から強調画像を選択するために役立つ。選択された強調画像は、例えば、いろいろな応用において、目立つ位置（position of prominence）を与えられる。例えば、強調画像のより多くのハードコピー印刷が印刷されることができ、強調画像は、他の画像よりもより大きく印刷されることができ、複数の画像のレイアウトにおいて（例、ソフトコピーの表示上）より多くのスペースが強調画像に割り当てられることができ、あるいは、強調画像は、他の画像と比較してより長い時間の間表示されることができる。

ある場合には、さらにもっと洗練された空間的処理が可能である。例えば、もし、祝日ライトが、電気コードに等間隔でぶら下がっているならば、各ライトの三次元の位置を再構築することができる。これは、例えば、人工光放射源が建物や家の屋根ラインや壁の隅に沿って位置しているときに、役に立つ。更に、もし、各人工光放射源の物理的な大きさがおおよそ等しいならば、画像における点源の大きさ（例、画素の数によって測定される）は、カメラから光放射源までの距離に関係する。光放射源が小さく見えれば見えるほど、光放射源はカメラからより遠くにある。

もし、祝日ライトテスト９５０が、点源の配置が祝日ライトの集合と一致すると判定するならば、イベントインジケータ２２０に対応するイベント分類２３０を決定するために、そしてオプションとして、関連する画像メタデータ２４５を提供するために、祝日イベントクラス決定ステップ９５５が使用される。祝日イベント分類を決定するために、いかなる周知の方法が使われることができる。イベントインジケータ２２０において表された画像の多くの観点は、人工光放射源情報３０５、空間的配置情報３１５、補助情報３６５、撮影メタデータ、およびイベントカレンダー３７０を含め、祝日を識別するために重要な手がかりを提供することができる。

ある実施例において、祝日イベントクラス決定ステップ９５５は、個々の検出された祝日ライトの色を解析する。例えば、祝日ライトの紐のあるものは、色が交互に変わる電球を含む（例、赤−白−赤−白）；この色のパターンは、検出された人工光がクリスマスイベントに関連付けられることの表示を提供することができる。同様に、オレンジ色はしばしば、ハローウィンに関連付けられる。ある実施例において、祝日イベントクラス決定ステップ９５５はまた、撮影メタデータ３５５からのデジタル画像の撮影日と、予め決められていることができる、または、イベントカレンダー３７０から決定されることができる周知の祝日の日付とを比較する。

もし、オレンジ色の祝日ライトを含むデジタル画像が、遅い１０月の撮影日を有しているならば、デジタル画像はハロウィーンイベント分類に対応する可能性が高い。同様に、もし、祝日ライトの配置を含むデジタル画像が１２月の撮影日を有しているならば、デジタル画像はクリスマスイベント分類に対応する可能性が高い。

ある実施例において、祝日イベントクラス決定ステップ９５５は、イベントインジケータ２２０に応答して異なるイベント種別を認識するように訓練された分類器（例、支援ベクトルマシン分類器（support vector machine classifier））の集合を利用する。例えば、図１１Aは、複数の電気祝日ライト１１０４を有する祝日ライトストリング１１０６で飾られたクリスマスツリー１１０２を含むデジタル画像１１００を示す。検出される人工光放射源は点源であり、そして、コンパクトな空間的配置において発生している（すなわち、人工光放射源は、木の領域の周囲に高密度に押し込められている。）。加えて、空間的配置の解析は、顕著な光のストリングを顕在化させることができる。この情報は、画像撮影日等の他の情報とともに、イベント分類２３０は「クリスマスイベント」であるべきであるとの結論が出されるに、訓練された分類器によって利用されることができる。ある実施例において、また、より細かい、副イベント分類が提供されることができる（例、木の上のクリスマスライト）。

図１１Ｂには、家１１２２のデジタル画像１１２０が示されており、家１１２２は、窓には電気キャンドル１１２４が含まれ、家の隅１１２６と屋根のライン１１２８に沿って電灯１１０４のストリングが含まれている。この構造は、光の空間的解析によってとらえられ、そして、訓練された分類器を使って解析されて、イベント分類２３０は「クリスマスイベント」であるべきとの結論が出される。ある実施例において、より細かい、副イベント分類がまた、提供され得る（例、「家の上のクリスマスライト」）。

図１１Ｃは、祝日ライト１１０４のストリングによって灯された装飾的かぼちゃ提灯（jack-o-lantern）１１４２を含む、家１１２２のデジタル画像１１４０を示している。祝日ライト１１０４の空間的配置および色、そして、画像撮影日等の特徴が、訓練された分類器によって利用され、イベント分類２３０は「ハローウィンイベント」であるべきとの結論が出される。ある実施例において、より細かい、副イベント分類が提供されることができる（例、ハローウィンのかぼちゃ提灯）。

ある場合には、人工光源は語句や文字を構築するように配置される。図１２Aは、点灯された語句１２０５（すなわち、「PEACE ON EARTH」）を含む多くの異なる要素を含む複雑な祝日ライトディスプレイのデジタル画像１２００を示している。このような場合、なんらかの英数字を検出および解読するために、空間処理が使われることができる。図１２Ｂは、点源マップ１２１０を示しており、点源１２１５の集合のために決定された関連するドロネーグラフ１２２０とともに、図１２Ａのデジタル画像１２００から決定された、検出された点源１２１５の集合を示している。図１２Ｃは、検出された点源１２１５に対して上述の方法を使って決定された最小全域木１２３０を示す。最小全域木１２３０は、最寄の点源１２１５を接続する枝１２３５を含む。明らかに、点源１２１５は、良く知られたクリスマスの挨拶である「PEACE ON EARTH」が書かれた英数字を形成している。若干の不完全さはあるものの、光学的文字認識（ＯＣＲ）技術が、なんらかの英数字または他のシンボルを認識するために、検出された点源１２１５（および、関連するグラフ及び特徴）に対して適用されることができる。識別された文字及びシンボルは、イベントインジケータ２２０に含まれることができ、そして、祝日イベントクラス決定ステップ９５５（または、図９における他の分類ステップのいずれか）によって使用されることができ、イベント分類２３０の決定の助けとなる。例えば、デジタル画像１２００における語句「PEACE ON EARTH」の検出は、イベント分類２３０が「クリスマス」であるべきとの強い表示を提供するであろう。

図９の議論に戻って、もし、祝日ライトテスト９５０が、検出された点源は祝日ライトではないと判断するならば、イベント分類２３０を決定するために、他点源イベントクラス決定ステップ９６０が使用される。ある実施例において、他点源イベントクラス決定ステップ９６０は、単にイベント分類を「不知」と設定し、オプションとして、点源の配置についての情報を画像メタデータ２４５に格納する。他の実施例において、他点源イベントクラス決定ステップ９６０は、従来のイベント分類方法（例、人工光放射源の存在に関係しない方法）を使って、画像を解析しイベント分類２３０を推定する。

もし、光源種別テスト９１０が、人工光放射源がキャンドルでなく、点源でもないと判断するならば（すなわち、種別が「他の源」であるならば）、様々なテストが源種別を判定するために適用されることができる。図９の例において、人工光放射源が花火か否かを決定するために、1つの花火テスト９８０だけが示されている。ネオンライト、テーブル／フロアランプ、車のライト、および道路フレア（road flares）等の光放射源の他の種別を識別するために、同様のテストが使用されることができることは、当業者によって理解されるであろう。

花火は、一般的に、中心点から始まる弧状の経路を進み、良く知られた花火のパターンを形成する大量の点源で構成される。しかし、花火の画像を撮影するために使用される露出時間は、一般に、個々の点源が解像できず、むしろ、一緒に弧となってぼやけるのに十分な程度に長い。花火テスト９８０は、花火のディスプレイに典型的なパターンを識別するように訓練された分類器を利用することができる。図１３Ａおよび１３Ｂは、第１のデジタル画像１３００（第１の時間に撮影された）と、第２のデジタル画像（直後に撮影された）を含む、デジタル画像の時間シーケンスを示している。両デジタル画像は、花火１３０５を描いている。第２のデジタル画像１３１０において、花火１３０５は、中心からさらに外へ延びている。ある場合には、人工光放射源の空間的解析は、時間経過にともなう光源の外観の変化を特徴付ける特徴記述を含むことができる。例えば、時間シーケンス内の光源を囲む凸包のサイズは、花火画像を識別するために役に立つことができる。典型的に、光輝く花火粒子が、最初の爆発位置から進むに従って、凸包のサイズは大きくなる。

図９の議論に戻って、もし、花火テスト９８０が、人工光放射源が花火であると判定するならば、イベント分類２３０を決定し、さらにオプションとして、画像メタデータ２４５を提供するために、花火イベントクラス決定ステップ９８５が使用される。ある場合には、イベント分類２３０は、単純に、「花火ディスプレイ」と設定されることができる。花火ディスプレイは、典型的には、独立記念日や元日等の祝日と関連付けられる。撮影された画像に関連付けられた画像撮影日は、しばしば、対応する祝日の表示を提供することができる。この場合、副イベント分類が定義されることができる（例、「独立記念日花火ディスプレイ」）。

もし、花火テスト９８０が、人工光放射源は花火でないと判定するならば、イベント分類２３０を決定するために他源イベントクラス決定ステップ９９０が使用される。ある実施例において、他源イベントクラス決定ステップ９９０は、人工光放射源の他の種別を識別するために、分類器を適用することができる。例えば、デジタル画像におけるネオンライト源を識別するために、ネオンライトテストが使用されることができる。図１３Ｃは、ネオンライトの配置１３３０を有するネオンサイン１３２５を含むデジタル画像１３２０の一例を示している。これらのライトの存在を検出することは、ときには、適切なイベント分類２３０についての貴重な手がかりを提供することができる。例えば、ネオンサイン１３２５における文字列は、ＯＣＲ技術を使って解析され、語句「WELCOME To Fabulous LAS VEGAS（素晴らしいラスベガスへようこそ）」を認識することができる。これは、デジタル画像１３２０のための適切なイベント分類２３０が「ラスベガス休暇」であることの強力な表示を提供するであろう。

ある実施例において、他源イベントクラス決定ステップ９９０は、単にイベント分類を「不知」と設定し、オプションとして、人工光放射源についての情報を画像メタデータ２４５に格納する。他の実施例において、他源イベントクラス決定ステップ９９０は、従来のイベント分類方法（例、人工光放射源の存在に関係しない方法）を使って、画像を解析しイベント分類２３０を推定する。図２の議論に戻って、イベント分類２３０の表示と画像メタデータ２４５を関連デジタル画像の集合２１０に関連付けられたメタデータとしてプロセッサアクセス可能なメモリに格納するイベント分類及び画像メタデータ格納ステップ２３５に対して、イベント分類２３０が、およびオプションとして画像メタデータ２４５が、提供される。これによって、関連デジタル画像の分類された集合２４０が提供される。イベントインジケータ解析ステップ２２５によって決定された情報のあるものは、関連デジタル画像の集合２１０のメンバーのすべてに適用され得るが、一方、他の情報は、関連デジタル画像の集合２１０の部分集合にだけ適用され得る。例えば、イベント分類２３０は、一般的に、関連デジタル画像の集合２１０のメンバーのすべてと関連付けられる。一方、画像のいくつかだけが、お祝いケーキ等の認識された要素を含み得る。後者の場合、お祝いケーキを伴う画像だけが、その情報に関連するメタデータタグを受け取るであろう。ある実施例において、各デジタル画像において検出された人工光放射源に関連するメタデータ（例、人工光放射源情報３０５および空間的配置情報３１５）は、その特定のデジタル画像に関連付けられたメタデータとして格納される。

イベント分類２３０及び画像メタデータ２４５は、当業者に周知のいかなるフォーマットを利用して格納されることができる。ある実施例において、イベント分類２３０は、ＸＭＰ（アドビー社の拡張メタデータプラットフォーム（Extensible Metadata Platform））、あるいは、ＥＸＩＦ（交換可能画像ファイルフォーマット（Exchangeable Image File Format））に関連するように標準的なメタデータフォーマットを使用するデジタル画像ファイル内のメタデータタグを使用して格納されることができる。イベント分類２３０はまた、コダック社のギャラリー（Gallery）やフリッカー（Flickr）等のオンライン写真共有ウェブサイトにおけるタグを介して、関連デジタル画像の集合２１０におけるデジタル画像と関連付けられることができる。他の実施例において、イベント分類２３０及び画像メタデータ２４５は、デジタル画像コレクション２００におけるデジタル画像のいくつかまたはすべてと関連付けられた別のファイル（例、データベース）の中に格納されることができる。

図２を参照して議論された方法は、関連デジタル画像識別ステップ２０５によって識別された関連デジタル画像の集合２１０のそれぞれに対して繰り返されることができる。ある場合には、ある特定の関連デジタル画像の集合２１０におけるデジタル画像の中に人工光放射源が含まれるものが1つもないであろう。このような場合、周知の他の方法がイベント分類を決定するために使用されることができる。使用されることのできる、そのようなイベント分類の１つの方法が、「イベントに基づいた意味的分類のための方法」と題するダス（Das）他への米国特許出願２０１０／０１２４３７８において開示されている。ある実施例において、本発明の方法は、正確な分類の確からしさを改善するために、イベント分類を決定するための他の方法と組み合せられることができる。

ひとたびイベント分類２３０が、関連デジタル画像の集合２１０のために決定されると、この情報は、様々な目的のために使用されることができる。ある実施例において、イベント分類２３０は、様々な画像整理及び検索タスクを可能にするために使用されることができる。例えば、特定のイベント分類に関連付けられたデジタル画像のためのユーザの検索を可能にするために、検索ツールが提供されることができる。

ある実施例において、イベント分類２３０は、他のユーザと共有されることのできるデジタル画像のコレクションを形成するために使用されることができる。例えば、誕生日インベントに関連付けられた画像は、主賓のファミリーメンバーによって共有されるようにすることができる。イベント分類２３０はまた、イベント分類２３０に関連付けられた写真製品（例、フォトブック、または、フォトカレンダー）を製造する処理の間に使用されることができる。例えば、結婚式イベントとして分類された関連デジタル画像の集合２１０におけるデジタル画像のいくつか、またはすべてを含むフォトブック（例、ウェディングアルバム）が製造されることができる。そのフォトブックは、結婚したカップルのために製造されることができる。または、結婚したカップルによって、カップルの両親に対してプレゼントされることができる。同様に、結婚式イベントからのデジタル画像のセレクションを含み、結婚の周年祝いにおいて、結婚したカップルにプレゼントされることができるフォトカレンダーが製造されることができる。

ある実施例において、フォト整理プログラム、または、コダック社のギャラリー（Gallery）のようなオンラインフォト共有ウェブサイトは、決定されたイベント分類２３０に関連付けられたフォト製品を自動的に用意し、それを、デジタル画像コレクション２００の所有者に対して、または、そのデジタル画像コレクション２００が共有されている他のユーザに対して、販売のために提供することができる。

コンピュータプログラム製品は、１以上のコンピュータが本発明に従った方法を実行するための命令を有するコンピュータプログラムを格納するために用いられる、例えば、磁気ディスク（フロッピー（登録商標）ディスク等）または磁気テープ等の磁気記憶媒体；光ディスク、光テープ、または機械可読バーコード等の光学的記憶媒体；ランダムアクセスメモリ（ＲＡＭ）、あるいは、リードオンリーメモリ（ＲＯＭ）等の固体電子記憶装置；あるいは他のいかなる物理装置または媒体等の、１以上の非一時的で有形のコンピュータ可読記録媒体を含むことができる。

１１０ データ処理システム
１２０ 周辺システム
１３０ ユーザインターフェイスシステム
１４０ データ格納システム
２００ デジタル画像コレクション
２０５ 関連デジタル画像識別ステップ
２１０ 関連デジタル画像の集合
２１５ イベントインジケータ検出ステップ
２２０ イベントインジケータ
２２５ イベントインジケータ解析ステップ
２３０ イベント分類
２３５ イベント分類及び画像メタデータ格納ステップ
２４０ 分類された関連デジタル画像
２４５ 画像メタデータ
３００ 人工光放射源検出ステップ
３０５ 人工光放射源情報
３１０ 空間的配置解析ステップ
３１５ 空間的配置情報
３２０ ケーキ検出ステップ
３２５ ケーキ情報
３３０ 顔情報検出ステップ
３４０ 顔認識情報
３４５ 顔情報
３５０ 撮影メタデータ抽出ステップ
３５５ 撮影メタデータ
３６０ 補助情報検出ステップ
３６５ 補助情報
３７０ イベントカレンダー
４００ 候補炎画像領域識別ステップ
４０５ 候補炎画像領域
４１０ 炎画像特徴抽出ステップ
４１５ 炎画像特徴
４２０ 灯されたキャンドル存在テスト
４２５ キャンドル情報抽出ステップ
４３０ 候補点源位置識別ステップ
４３５ 候補点源位置
４４０ 点源特徴抽出ステップ
４４５ 点源特徴
４５０ 点源存在テスト
４５５ 点源情報抽出ステップ
４６０ 候補他源領域識別ステップ
４６５ 候補他源領域
４７０ 他源特徴抽出ステップ
４７５ 他源特徴
４８０ 他光源存在テスト
４８５ 光源情報抽出ステップ
５００ 画像閾値ステップ
５０５ キャンドル炎閾値マップ
５１０ 連結構成要素解析ステップ
５１５ 連結構成要素マップ
５２０ 連結構成要素解析ステップ
６００ 背景画素
６１０ 明るい画素
６２０ ハロー画素
７００ ケーキ的キャンドル配置テスト
７１０ 候補ケーキ領域決定ステップ
７１５ 候補ケーキ領域
７２０ 候補ケーキ特徴抽出ステップ
７２５ 候補ケーキ特徴
７３０ 一致候補ケーキ領域発見ステップ
７３５ 一致候補ケーキ領域
７４０ 候補ケーキ領域セグメント化ステップ
７４５ セグメント化候補ケーキ領域
７５０ ケーキ存在テスト
７５５ ケーキ情報抽出ステップ
８００ デジタル画像
８０５ 誕生日ケーキ
８１０ 灯された誕生日キャンドル
８１５ 主賓
８２０ デジタル画像
８２５ 灯されていない誕生日キャンドル
８３０ 文字列領域
８３５ 年齢
８４０ 装飾的特徴
８４５ 平行化されたケーキ表面領域
９１０ 光源種別テスト
９２０ ケーキ存在テスト
９２５ ケーキイベントクラス決定ステップ
９３０ 祝日／セレモニーテスト
９３５ 祝日／セレモニーイベントクラス決定ステップ
９４０ 他キャンドルイベントクラス決定ステップ
９５０ 祝日ライトテスト
９５５ 祝日イベントクラス決定ステップ
９６０ 他点源イベントクラス決定ステップ
９８０ 花火テスト
９８５ 花火イベントクラス決定ステップ
９９０ 他源イベントクラス決定ステップ
１０００ デジタル画像
１００５ 降臨リース
１０１０ 降臨キャンドル
１０１５ 中央キャンドル
１０２０ デジタル画像
１０２５ メノーラ
１０３０ メノーラキャンドル
１０４０ デジタル画像
１０４５ 新郎
１０５０ 新郎キャンドル
１０５５ 新婦
１０６０ 新婦キャンドル
１０６５ ユニティーキャンドル
１０７０ キャンドルホルダー
１１００ デジタル画像
１１０２ クリスマスツリー
１１０４ 祝日ライト
１１０６ 祝日ライトストリング
１１２０ デジタル画像
１１２２ 家
１１２４ 電気キャンドル
１１２６ 家の隅
１１２８ 屋根のライン
１１４０ デジタル画像
１１４２ 装飾的かぼちゃ提灯
１２００ デジタル画像
１２０５ 点灯された語句
１２１０ 点源マップ
１２１５ 点源
１２２０ ドロネーグラフ
１２３０ 最小全域木
１２３５ 枝
１３００ 第１のデジタル画像
１３０５ 花火
１３１０ 第２のデジタル画像
１３２０ デジタル画像
１３２５ ネオンサイン
１３３０ ネオンライト

Claims (19)

1. デジタル画像のためのイベント分類を決定するための方法であって、
   １以上のデジタル画像を受け取るステップと、
   前記１以上のデジタル画像内の１以上の人工光放射源を検出するステップと、
   前記１以上のデジタル画像における検出された人工光放射源の空間的配置の解析に応答して自動的にイベント分類を決定するデータプロセッサを使うステップと、
   前記の決定されたイベント分類と、前記１以上のデジタル画像のそれぞれとを関連付けるメタデータをプロセッサアクセス可能なメモリに格納するステップと、を備える方法。
2. 請求項１に記載の方法であって、前記検出された人工光放射源の空間的配置が解析されて、特定の祝日、セレモニー、またはお祝いと関連付けられたパターンを検出する、方法。
3. 請求項１に記載の方法であって、前記１以上の人工光放射源は、電気祝日ライトの集合を含む、方法。
4. 請求項３に記載の方法であって、前記電気祝日ライトの集合は、電気コードに沿ってぶら下げられている、方法。
5. 請求項３に記載の方法であって、前記電気祝日ライトの集合は、クリスマスツリー上に配置されている、方法。
6. 請求項３に記載の方法であって、前記電気祝日ライトの集合は、住居の外側上に配置されている、方法。
7. 請求項３に記載の方法であって、前記電気祝日ライトの集合は、１以上の電気キャンドルを含む、方法。
8. 請求項３に記載の方法であって、前記電気祝日ライトの前記空間的配置を解析することにより決定される前記イベント分類は、クリスマスイベント分類、ハヌカイベント分類、新年イベント分類、結婚式イベント分類、または、ハローウィンイベント分類である、方法。
9. 請求項１に記載の方法であって、前記１以上の人工光放射源は、１以上の灯されたキャンドルを含む、方法。
10. 請求項１に記載の方法であって、前記１以上の人工光放射源は、ネオンライトを含む、方法。
11. 請求項１に記載の方法であって、前記１以上の人工光放射源は、花火を含む、方法。
12. 請求項１に記載の方法であって、前記１以上の人工光放射源は、１以上の英数字を描くように配置され、前記検出された人工光放射源の前記空間的配置は、解析され、前記１以上の英数字を認識する、方法。
13. 請求項１２に記載の方法であって、前記の認識された英数字は、前記イベント分類の前記決定において使用される、方法。
14. 請求項１２に記載の方法であって、前記の認識された英数字は、前記１以上のデジタル画像と関連付けられてメタデータとして格納される、方法。
15. 請求項１に記載の方法であって、前記検出された人工光放射源の前記空間的配置の前記解析は、前記１以上のデジタル画像内の、前記検出された人工光放射源の前記相対的位置を解析することを含む、方法。
16. 請求項１に記載の方法であって、前記検出された人工光放射源の前記空間的配置の前記解析ステップは、検出された人工光放射源の対の間の距離を解析するステップを含む、方法。
17. 請求項１に記載の方法であって、前記検出された人工光放射源の色が決定され、イベント分類の決定において使用される、方法。
18. 請求項１に記載の方法であって、前記の決定されたイベント分類は、前記１以上のデジタル画像と関係があると決定された少なくとも１つの追加のデジタル画像を分類するために使用される、方法。
19. 請求項１に記載の方法であって、１以上の前記デジタル画像を使って、前記決定されたイベント分類に関連付けられたフォト製品を作るステップをさらに含む、方法。

Images