JP2003085190A

JP2003085190A - 音声注釈を使用した、画像におけるイベントを区分及び識別するための方法及びシステム

Info

Publication number: JP2003085190A
Application number: JP2002160316A
Authority: JP
Inventors: Alexander C Loui; シールイアリグザンダー; Amanda J Stent; ジェイステントアマンダ
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2001-06-01
Filing date: 2002-05-31
Publication date: 2003-03-20
Anticipated expiration: 2022-05-31
Also published as: US7120586B2; EP1262883A2; EP1262883A3; EP1262883B1; US20040260558A1; US20030059112A1; JP3936243B2; US6810146B2; JP2007102819A

Abstract

(57)【要約】【課題】デジタル化された写真画像を音声注釈に基づ
いたイベントに自動的に編成するための方法を提供す
る。【解決手段】本方法は、少なくとも幾つかの写真画像
に対応する音声注釈に基づく自然言語のテキストを提供
するステップ、画像の注釈を特徴付ける自然言語のテキ
ストから所定の情報を抽出するステップ、イベント間の
境界を示す所定の情報カテゴリの存在について注釈のそ
れぞれを調べることにより、デジタル化された写真画像
をイベントに区分するステップ、情報カテゴリからイベ
ント記述子を作成することにより、イベントのそれぞれ
を識別するステップを備えている。本発明は、写真アル
バムのような適切なやり方でイベント記述子を選択及び
配列することにより、イベントのそれぞれを要約するス
テップをさらに備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理の分野に
関し、より詳細には、写真を写真アルバムに自動的に編
成するための写真の処理に関する。

【０００２】

【従来の技術】自動的アルバム作成は、それ自身の目的
又は他の応用における使用向けのいずれかとしての写真
の自動的な編成であり、近年の研究の主題となってきて
いる。比較的洗練された画像コンテンツの分析技法は、
画像の索引付け及び編成のために使用されている。簡単
なテキスト分析技法は、画像の索引付け及び検索アプリ
ケーションのために、テキスト又は個々の写真に関連し
た音声注釈で使用されている。

【０００３】最近の研究は、写真から自動的にアルバム
を作成するための多数の技法及びツールを含んでおり、
以下の処理を含んでいる。・カメラからの日付及び時間情報を使用して、イベント
の区分を実行する。・画像のコンテンツを分析して、イベントの区分を実行
し、また、画像の不良を識別する。・ブラウジングの目的のために、ビデオフレームを分析
する。・テキストキーワードを使用して、画像又はビデオセグ
メントを検索する。

【０００４】ここで記載される研究は、音声注釈から所
定の情報タイプを抽出することにより、又は写真に関連
する音声注釈のトランスクリプションを抽出することに
より、アルバム作成のアプリケーションの機能を拡張
し、次いで、結果を使用して以下の処理を実行する。・イベント区分：どの位多くのイベントが１本のフィル
ムにあるか、及びどの写真がどのイベントに属するかを
判定する。・イベント識別：１本のフィルムにおけるイベントのそ
れぞれのタイプ（たとえば、誕生日、結婚式、休日）を
判定する。・要約：関連する人、物体及び行動と共に、イベントの
日付、時間及び位置を識別し、様々なやり方でこの情報
を要約する。

【０００５】この場合、自然言語（又は自然言語に基づ
いたテキスト）が処理されて、所望の情報が抽出され、
結果的に抽出された情報は、イベントを識別及び記述す
るために処理される。

【０００６】概して、自然言語の処理に依存して、情報
検索、情報抽出及び自然言語の構文解析という３つの異
なるフィールドが現在存在する。情報検索では、タスク
は、テキスト問い合わせに基づいて、データベースから
特定の項目を検索することを含む。

【０００７】たとえば、学会論文に関連するキーワード
は、ユーザがそれらのキーワードを使用して質問を尋ね
るときに、それら学会論文を検索するために使用するこ
とができる。画像に関連するテキストは、同じ単語が別
のテキストに現れたときに、画像を検索するために使用
することができる。ビデオ系列で発見されたテキスト
は、記事における同じテキストをクリックしたときに、
それら系列を検索するために使用することができる。

【０００８】これらアプリケーションに関連するテキス
ト処理は、あったとしても非常に少ない。たとえば、係
属中の米国特許出願シリアル番号09/685,112“An Agent
forIntegrated Annotation and Retrieval of Image
s”では、単語頻度手段が使用されて、キーワードを識
別して画像データベースにおいて検索する。しかし、部
分的な構文解析技法をタイプ入力された問合せに適用し
て、注釈された写真のデータベースからの検索を改善す
ることができる幾つかの研究が示されている。

【０００９】情報抽出（IE）は、考え方は、テキストか
ら予め決定された情報を抽出することである。Gaizausk
as及びWilks（R.Gaizauskas 及びY. Wilksによる“Info
rmation extraction :Beyond document retrieval”，C
omputations Linguistics and Chinese Language Proce
ssing, 3(2),1998）は、「IEは、構造化されていない、
すなわちフリーテキストの情報源から構造化された情報
源（すなわちデータベース）を構築する行為として見る
ことができる。」のように言及している。

【００１０】アプリケーションは、分析、データマイニ
ング、要約及び索引付けを含んでいる。記載されたニュ
ースリポートからの自動的な情報抽出における研究の長
い歴史が存在する（J.Hobbs, D.Appelet, J.Bear, D.Is
rael, M.Kameyma, M.Stickel, and Tyson.“FATUS: A C
ascaded Finite-State Transfer for Extracting Infor
mation from Natural-Language Text”in Roche and Sh
abes, editors, Finite State Devices for Natural La
nguage Procesing, MIT Press, Cambridge, MA, 1996を
参照されたい）。幾つかの最近の研究は、音声注釈から
の情報抽出を調査し始めている。

【００１１】情報検索及び情報抽出の両者は、入力テキ
ストの一部のみを使用して、他の構造又は関連する成分
を無視するという点で最小限の処理アプローチである。
自然言語の構文解析は、テキストの一部又は音声のセグ
メントの詳細な分析を含み、構造及びその一部の意味を
発見し、可能であれば、その発生の背後の意味を識別
し、可能であれば、大きな会話の他の部分に関連付け
る。自然言語の構文解析は、言語的な動機を与えるルー
ルに基づいた構文解析及び統計的な構文解析を含んでい
る。部分的な構文解析は、入力テキストの選択された部
分の統語的な構造を分析することが可能である。

【００１２】

【発明が解決しようとする課題】本発明について、完全
な自然言語の構文解析を使用することは、理論的に可能
であるが、実際には実施不可能であり、不必要である。
リアルタイム又は非リアルタイムで一般的なテキスト入
力をロバストに処理するために十分に汎用な既存の構文
解析はない。流動的であって多様な音声注釈を処理しよ
うする構文解析はほとんどない。さらに、自然言語の構
文解析は、（注釈における項目の統語分類で）必要とさ
れる情報を必然的に作り出すことなしに、不必要な情報
を生成する（入力の統語的構造に関する詳細情報）。

【００１３】自動アルバム作成のための写真注釈の使用
は、情報抽出のための理想的なアプリケーションであ
る。典型的に、写真に関連する注釈に含まれる情報にお
いて関心が存在するが、その全てにおいてではなく、た
とえば、写真の品質又はその時の写真家の感性は、写真
家がそれらの事柄を議論するために選択したとしても、
一般に関心があるものではない。

【００１４】さらに、使用される言語の基礎となる豊富
な意味論及び語用論の全てにおいて関心がない。言い換
えれば、しばしば注釈の非常に簡単な理解で足りること
がある。最後に、情報抽出技法のロバストさは、写真家
が不完全な文、又は「1998年8月釣り旅行 adrian mike
及びcharles」におけるような句を使用する状況では、
特に魅力的である。

【００１５】過去において、情報抽出技法は、ニュース
ワイヤテキストで主に使用されてきている。これらは、
テキストで比較的短く書かれているが、典型的な写真の
注釈よりもずっと長く書かれる。さらに、（付属のマイ
クロフォンを有するデジタルカメラの使用を特に増加す
る）写真の注釈は、慎重に編成されたテキストではな
く、書かれたものよりはむしろ音声である場合がある。
これは、写真注釈に基づく抽出は、所定の情報抽出技法
が強く依存する幾つかの逐語的な手掛り（句読点、大文
字化）に依存することができないことを意味している。

【００１６】

【課題を解決するための手段】本発明は上述した課題の
１つ以上を解決することに向けられる。簡単に要約する
と、本発明の１態様によれば、デジタル化された写真画
像を音声注釈に基づいたイベントに自動的に編成するた
めの方法は、写真画像の少なくとも幾つかに対応する音
声注釈に基づく自然言語のテキストを提供するステッ
プ、画像の注釈を特徴付ける自然言語のテキストから所
定の情報を抽出するステップ、イベント間の境界を示す
所定の情報カテゴリの存在について注釈のそれぞれを調
べることにより、デジタル化された写真画像をイベント
に区分するステップ、及び情報カテゴリからイベント記
述子を作成することにより、イベントのそれぞれを識別
するステップを備えている。本発明は、消費者の画像向
けに特別な抽出ステップにおいて有名な地名辞書の利用
と同様に、写真アルバムのような、適切なやり方でイベ
ント記述子を選択及び配列することにより、イベントの
それぞれを要約するステップをさらに備えている。

【００１７】本発明の利点は、本発明により、偶然の音
声注釈として提供されるユーザの示唆をイベント区分の
ためのガイドにすることが可能である点である。テキス
ト分析技法を使用して、画像編成及び索引付けアプリケ
ーションに対する結果を適用するという目標により、比
較的構造化されていない消費者の注釈から情報を抽出す
ることが可能である。

【００１８】本発明のこれら及び他の態様、目的、機能
及び効果は、添付図面を参照して、特許請求の範囲及び
好適な実施の形態の以下に詳細な記載を精査することか
ら明らかに理解される。

【００１９】

【発明の実施の形態】一般的な自動アルバム作成及び関
連する画像処理は知られているので、本実施の形態で
は、本発明のよる方法及びシステムの一部を形成する属
性、又はより直接に組み合わされた属性に特に向けられ
る。特に図示されていない属性、又は本実施の形態で記
載されていない属性は、公知の技術から選択される場合
がある。以下の記載では、本発明の好適な実施の形態
は、ソフトウェアプログラムとして通常は実現される
が、当業者であれば、かかるソフトウェアに等価な構成
をハードウェアで構築する場合があることを容易に認識
することができる。

【００２０】以下のマテリアルにおいて、本発明により
記載される方法及びシステムが与えられると、本発明の
実現のために有効な本実施の形態が提案及び記載され
る、特に図示されないソフトウェアは、当該技術分野に
おける通常の技術の範囲内である。本発明がコンピュー
タプログラムとして実現される場合、該プログラムは、
従来のコンピュータ読取り可能な記録媒体に記憶される
場合があり、該記録媒体は、たとえば、磁気ディスク
（フロプティカルディスク又はハードディスクドライ
ブ）又は磁気テープのような磁気記憶媒体、光ディス
ク、光テープ又はマシン読取り可能なバーコードのよう
な光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は
リードオンリメモリ（ＲＯＭ）のような固体電子記憶素
子、或いはコンピュータプログラムを記憶するために使
用される他の物理的な装置又は媒体を含んでいる。

【００２１】本発明のより詳細な理解のための図面を参
照して、図１は、本発明による自動アルバム作成方法及
びシステムの基本機能に関する概略図を示している。画
像及び入力音声（又は音声に対応するテキスト）は、取
得ステージ１０において取得される。音声がステージ１
０において取得されると、この入力音声は、従来の音声
−テキスト変換アルゴリズム（たとえば、ＩＢＭ社から
入手可能なViaVoice,2000、及びhttp://htk.eng.cam.a
c.uk/でケンブリッジ大学工学部からWebで入手可能なS.
Young P.WoodlandによるHidden Markov Model toolkit
(HTK)）を使用して、音声−テキスト変換ステージ１２
においてテキストに変換され、テキストがはじめに取得
されると、次いで、このステージがバイパスされる場合
がある。

【００２２】つぎに、情報抽出ステージ１４におけるテ
キストから情報が導出される。イベントの数及びどの写
真がどのイベントに属するかは、イベント区分ステージ
１６で判定される。それぞれのイベントのタイプ（たと
えば、誕生日、結婚式、休日）は、イベント識別ステー
ジ１８において、それぞれのイベントについて判定さ
れ、イベントの特徴（たとえば、日付、時間、位置、並
びに人、物体及び行動の識別）は、イベント要約ステー
ジ２０において、それぞれのイベントについて要約され
る。

【００２３】本方法の生成物は、ステージ１６からのイ
ベント境界、ステージ１８からの識別されたイベント、
又はイベント要約ステージ２０からのイベントの命令さ
れた要約である場合がある。好適な実施の形態では、生
成物は、写真アルバム２２であり、このアルバムは、ア
ルバム作成手法の最終出力であるか、又は完成前のユー
ザレビューのために選択的に提供される場合がある。

【００２４】本方法及びシステムの基本構造は、有限状
態マシンのシーケンスを使用し、該マシンのそれぞれ
は、特定の機能を実行する（たとえば、Hobbs等により
記載されたＦＡＴＵＳシステムを参照されたい。参照に
より、本実施の形態に組み込まれる）。

【００２５】それぞれのマシンは、幾つかの情報をテキ
ストに加え、幾つかのマシンは、情報を取り去る。加え
られる情報は、ＸＭＬ（Extensible Markup Language）
タグの形式である。使用するタグのセットは、これらタ
グの目的は若干異なるがA.Mikheev, C.Grover及びM.Moe
nsによる“XML tools and architecture for named ent
ity recognition”in Markup Languages: Theory and P
ractice, 1(3)，1999,pp.89-113で使用されるタグに類
似している。ＸＭＬ文書構造は、添付Ａにおいて見るこ
とができる。入力文書がＸＭＬ文書構造に従う限り、有
限状態マシンは、独立に実行することができる。

【００２６】図２は、本発明を実施するために使用され
る場合があるコンピュータシステムを示している。シス
テムは、各種標準的なコンピュータ又はデータプロセッ
サのいずれかであるコンピュータ１１０を含んでいる。
コンピュータのサイズ及び能力は、アクセスされるデー
タベースのサイズにつれて、及び各種動作を実行するた
めにプロセッサに必要とされるスピードに関して、ある
範囲に変化する場合がある。

【００２７】以下の記載のために、本発明の限定として
意図されるものではないが、自然言語のテキストから情
報を抽出して、画像をイベントに区分し、イベントを識
別及び要約して、注釈されたイベントを記憶するため
に、同じコンピュータ１１０が利用されると仮定する。
たとえば、自然言語の抽出のために（たとえば、デスク
トップＰＣ）、及びデータベースのために（たとえば、
インターネットを介してデスクトップＰＣに接続される
リモートサーバ）、個別のプロセッサが利用される場合
がある。

【００２８】コンピュータ１１０は、サーチされる画像
及び／又はデータベースに記憶される大容量のメモリ１
１２を含んでいる。代替的に、又はメモリ１１２に加え
て、コンピュータ１１０は、ネットワークインタフェー
ス１１４を介して、画像及び／又はデータベースが記憶
されるリモートサーバ１１６と相互接続される場合があ
る。相互接続しているネットワーク１１８は、たとえ
ば、専用ネットワーク又はインターネットのような公衆
網とすることができる。

【００２９】これらのメモリは、様々なタイプの大容量
ハードディスクドライブ、又は光ディスクドライブのよ
うないずれかの種類の大容量のメモリである場合があ
る。コンピュータ１１０は、本実施の形態で記載される
ような本発明の方法を実現するためのソフトウェアを典
型的に記憶するＲＯＭのような内部メモリ１２０をさら
に含む。メモリ１１２及び１２０は、個別のメモリであ
るか、又は同じ記憶装置の各種のセクションである場合
がある。

【００３０】多数の標準的な入力装置１２２は、情報及
びデータをコンピュータ１１０に提供するために利用可
能である場合がある。これらの装置は、制約なしに、キ
ーボード装置、マウス、イメージスキャナ等を含む場合
がある。特定の入力装置は、（デジタルカメラが画像を
オフロードする）メモリカードから画像を取得するため
のメモリカードリーダ１２４、及び相互接続ネットワー
ク１１８を通して、電子メールのようなネットワークソ
ースからの画像を取得するためのネットワークインタフ
ェース１２６を含んでいる。

【００３１】選択的な入力装置は、マイクロフォンを有
する音声認識モジュール１２８であり、該モジュール１
２８は、システムに表題、意味論的情報、又は注釈を入
力するか、又はアルバム作成システムの仮の結果を訂正
するために利用される。

【００３２】また、多数の標準的な出力装置１３０は、
表示装置１３２、プリンタ１３４及び相互接続ネットワ
ーク１１８を通してネットワークインタフェース１３６
に接続される出力装置１３８のような、コンピュータに
接続される場合がある。説明のために個別に図示されて
いるが、ネットワークインタフェース１１４，１２６及
び１３６は、同じインタフェースであるか、又は各種態
様の同じインタフェースである場合がある。新たに捕獲
された画像又は処理された画像は、索引付け及び記憶の
ために、データベースメモリ１１２又はサーバ１１６に
送出することができる。

【００３３】はじめに情報抽出ステージ１４に戻り、情
報抽出処理のシーケンスは、有限状態マシンから構成さ
れるステージのシーケンスとして図３に例示されてお
り、該有限状態マシンのそれぞれは、以下に要約するこ
とができる固有の機能を実行する。・区分及びフィルタリング（ステージ３０）：入力され
るトランスクリプションを（関連する句読点が存在する
場合）単語、文に分解し、（１人以上の話者が存在する
場合）ターンに分解する。新たなイベントの有無を合図
する場合がある手掛りとなるキーワードを識別する。後
の処理のために、役に立たない単語及び句を除く。・番号付け（ステージ３２）：簡単な数及び複雑な数を
識別する。・分類（ステージ３４）：辞書／地名辞典を適用して重
要な単語を分類する。・日付、時間、金及びパーセンテージ（ステージ３
６）：日付、時間、金及びパーセンテージを識別する表
現を識別する。・人、位置、イベント及び物体（ステージ３８）：名前
付けされた入力、及び人、位置、イベント及び物体に対
する他の参照を識別する。・句（ステージ４０）：基本的な句及び複雑な句、並び
にそのタイプを識別する。・相互参照による分類（ステージ４２）：注釈の参照内
部、及び注釈の参照間を分類する。

【００３４】この順序は、絶対的なものではなく、たと
えば、番号付けステージ３２及び分類ステージ３４を困
難なしに再整理することができる。分類ステージ３４、
日付、時間、金及びパーセンテージステージ３６及び
人、位置、イベント及び物体ステージ３８を再整理する
ことができる。結果は、日付、時間、位置、人、行動及
び物体がデータベースへの挿入のために抽出される良好
に特定されたＸＭＬ文書４４である。

【００３５】ここで、それぞれのステージは、例として
以下の典型的なタイプの（図３にも示されるような）音
声注釈４８を使用して、より詳細に記載される。 “the smith and me ah june ninety eight at the gla
ss museum in corning new york”

【００３６】［区分及びフィルタリングステージ３０］
区分及びフィルタリングステージ３０への入力は、記録
されていないテキストである。ステージ３０の出力は、
単語、句読点、文及びターンが記録されているテキスト
である。ある明細事項は、以下のように、できるだけ近
くに続いている。

【００３７】・所有格は分離される。たとえば、“sall
y’s”は、“<w>sally</w><w>’s</w>”となる。・略記は展開される。たとえば、“dr.”は、“<w>doct
or</w>”となる。・短縮は展開される。たとえば、“can’t”は、“<w>c
an</w><w>not</w>”となる。

【００３８】<ターン(TURN)>タグは、現在のデータセッ
トにおける全ての注釈が音声のトランスクリプトであ
り、トランスクリプトの幾つかが複数の話者（複数のタ
ーン）を含むために、ＸＭＬ仕様に追加される。注釈に
おいて句読点が存在しない場合、区分アルゴリズムは、
入力内の文を識別しようとしない。これは、注釈が典型
的に１つ又は２つのみの短い発生であるので、このアプ
リケーションのために機能し、開始するために文構造を
有する必要がないので、該文構造を構築することが実現
可能である。

【００３９】またステージ３０において、進行中のイベ
ントを合図することができる手掛りが識別されて記録さ
れる。かかる手掛りの例は、以下を含んでいる。 “this is another picture of” “more of” “the third try at” かかる進行中のイベントの手掛りのリストは、カスタマ
の基礎的な研究及びカスタマの写真から得ることができ
る。

【００４０】最後に、ステージ３０は、フィルタリング
を実行する。後の処理に役に立たない入力テキストの要
素、及び後の処理を妨害する場合がある入力テキストの
要素は、除かれる。例は、つなぎ語（“um”，“ah”，
“er”）、及び人々がしばしば使用する句（“this i
s”、“a nice picture of”、“here we have”）を含
んでいる。

【００４１】この例の文について、ステージ３０からの
出力は、以下に示される。 <CAPTION><PHR><W>the</W><W>smiths</W><W>and</W> <W>me</W><W>june</W><W>ninety</W><W>eight</W> <W>at</W><W>the</W><W>glass</W><W>museum</W> <W>in</W><W>corning</W><W>new</W> <W>york</W></PHR></CAPTION>

【００４２】［簡単な番号及び複雑な番号付けステージ
３２］この番号付けステージ３２は、２つの有限状態マ
シンを含んでいる。第１の有限状態マシンは、“firs
t”、“three million and twenty-two”及び“43.5”
のような数値表現の要素を識別する。第２の有限状態マ
シンは、“fifths”が続く“thirty-three”のような数
値表現の一部を形成する要素を結合する。この例の文に
ついて、このステージからの出力は、以下に示される。 <CAPTION><PHR><W>the</W><W>smiths</W><W>and</W> <W>me</W><W>june</W><PHR C=’NUM’>ninety eight</PHR> <W>at</W><W>the</W><W>glass</W><W>museum</W> <W>in</W><W>corning</W><W>new</W> <W>york</W></PHR></CAPTION>

【００４３】［分類ステージ３４］殆どの情報抽出シス
テムは、重要な用語を含み、典型的には適切な名前のリ
スト、会社名のリスト、国名及び通過のリストを含んで
いる幾つかの辞典（非常に簡単な辞典）を使用する分類
ステージを使用する。

【００４４】システムにおいて、本実施の形態のかかる
分類ステージは、書かれたテキストよりはむしろ音声を
処理し、大文字により提供される手掛りを利用すること
ができないため、かかる辞典はより重要になる。消費者
の写真のジャンルは、各種領域をカバーし、それらの分
野の殆どは、従来カバーされている分野に類似していな
いので、消費者の画像向けに特別な辞典が作成される。

【００４５】結果として、本発明の特別な機能によれ
ば、分類ステージ３４は、既存の辞典からのある種の典
型的な索引、及び以下のような消費者の写真向けに特別
に開発された特別な辞書の代表となるある種の特別な索
引を含む特別な辞典を含んでいる。

【００４６】・固有名称：一般に使用される名及び姓の
リスト。これらは、たとえば、ＣＲＬ単語リストのよう
な一般に利用可能な名前リストから、及びたとえば、幾
つかの大学の結合された学生辞典からの辞典の結合から
得られる場合がある。ストップ語句（たとえば、“bu
t”）又は動詞は、最初の名称又は最後の名称としてリ
ストに列挙される場合、名称の列挙をやめる。あるとし
ても、トレイニングデータにおいて言及されるデータは
殆どないので、会社名は含まれない。

【００４７】・場所：世界中からの場所に加えて、観光
スポットを含むことが望ましい。好適な地名のリスト
は、以下を含んでいる。・国。・アメリカ合衆国における州及びカナダにおける地方。・国家の領土及び領地。・アメリカ合衆国におけるそれぞれの州の主要都市、及
びカナダにおけるそれぞれの地方の主要都市。・世界における主要都市：首都、大都市及び有名都市の
リスト。・観光地：観光で有名な国及び都市のリスト、現代世界
の「不思議」のリストと共に古代世界の７不思議のリス
ト、保護された財産であるユネスコの世界遺産のリスト
のような可能性のある観光地のリスト。・祝賀、教育、又は「レストラン」、「映画館」、「美
術館」、「学校」のような家族のイベントのために人々
が一般に行く場所。

【００４８】・通貨名：たとえば、ニューヨークタイム
から取得される通貨名（単数の形式のみ）。通貨のシン
ボルは、注釈が音声であるので、本実施の形態では重要
ではない。数種の通過について、包含される複数の形式
が与えられ、さもなければ、複数の形式が正規のもので
あると仮定される。

【００４９】・機能又はストップ語句：代名詞、接続
詞、前置詞及び限定詞のリスト。・不規則動詞の形式：過去時制及び現在分詞と共に、約
２００の不規則動詞のリスト。・規則動詞：英語における６００の最も一般的な規則動
詞のリスト。

【００５０】・ランク付けされていない技術的及び専門
的学校並びにサービス学校と同様に、私立及び公立の両
者について、全ての４つの階層における総合大学、単科
大学及び高校を含む単科大学及び総合大学。他のアメリ
カの単科大学及び総合大学は、知られていないように思
われ、識別し易くするための指示“college”又は“uni
versity”を含むフルネームにより言及される。殆どの
外国の総合大学は、その位置について名前付けされてお
り、したがって、識別し易い。・イベント：たとえば、“americaid”、“wild west t
our”のような名前付けされたイベント、及び“誕生
日”、“クリスマス”のようなカレンダーのイベントの
両者である。

【００５１】地名辞典は、操作の容易さのために、幾つ
かのカテゴリに固有なファイルに記憶されている。それ
ぞれの単語は、そのタイプ（たとえば、代名詞PRONOU
N、名FIRST_NAME）と共に記憶される。好適な実施の形
態では、27000を超えるユニークなペア（単語／句、タ
イプ）が辞典にある。システムを実行する前に、ファイ
ルが１つのファイルにマージされ、アルファベット順に
エントリがソートされ、これにより、サーチが非常に高
速になる。

【００５２】分類器は、有限状態マシンではなく、地名
辞典における単語及び句を見て、整合するエントリを発
見したとき、全ての関連するタイプを入力単語又は句に
付属させる。分類器は、簡単な阻止器を使用して、関連
するエントリのためのサーチにおいて補助する。

【００５３】本実施の形態の注釈について、分類器は、
以下の出力を与える。 <CAPTION><PHR><WC＝’DET’>the</W><WC=’COLLEGE/LASTNAME’> smiths</W><WC=’CONJ’>and</W> <WC=’PRO’>me</W><WC=’FIRSTNAME/LASTNAME’>june</W> <PHR C=’NUM’>ninety eight</PHR><WC=’PREP’>at</W> <WC=’DET’>the</W><W>glass</W><WC=’LOCATION’>museum</W> <WC=’PREP’>in</W><WC=’CITY’>corning</W> <WC=’CITY/STATE’>new york</W></PHR></CAPTION>

【００５４】［日付、時間、金及びパーセンテージステ
ージ３６］ステージ３６は、番号識別ステージ３２を即
座に続けることができ、このステージ３６は、入力にお
いて金銭の表現が存在しない場合、分類ステージ３４が
高速に実行されることを必要としない。このステージで
は、様々な日付及び時間の表現がラベル付けされる。識
別される表現のタイプは、以下（例）を含んでいる。

【００５５】・この来たる月曜。・明日・1992年8月31日（しかし1992年2月31日ではない）・31/08/92 ・1993年の春・感謝祭・30分過ぎ。・3:45 この例について、このステージからの出力は、以下に示
される。 <CAPTION><PHR><WC＝’DET’>the</W><WC=’COLLEGE/LASTNAME’> smiths</W><WC=’CONJ’>and</W><WC=’PRO’>me</W><TIME TYPE= ’DATE’>june ninety eight</TIMEX><WC=’PREP’>at</W><WC=’DET’>the </W><W>glass</W><WC=’LOCATION’>museum</W><WC=’PREP’>in</W> <WC=’CITY’>corning</W><WC=’CITY/STATE’>new york</W></PHR> </CAPTION>

【００５６】［人、位置、イベント及び物体ステージ３
８］ステージ３８は、名前付けされたエンティティを含
む人、位置、イベント及び物体への参照を識別する。殆
どの名前付けされたエンティティ抽出システムよりも一
般的となるように慎重に設計される。固有名詞、とりわ
け関連する指示詞（たとえば、“boss”、“friend”、
“grandma”）、及び名前付けされていない位置（たと
えば、“college”、“school”）ではない多くの参照
を認識する。

【００５７】この例について、このステージからの出力
は、以下に示される。 <CAPTION><PHR><WC＝’DET’>the</W><ENAMEX TIPE=’PERSON_NAME’>smiths</E NAMEX><WC=’CONJ’>and</W><ENAMEX TIPE=’PERSON＿PRONOUN’>me</ENAMEX><T IMEX TYPE=’DATE’>june ninety eight</TIMEX><WC=’PREP’>at</W><WC=’DET ’>the</W><ENAMEX TYPE=’LOCATION_NAME’>glass museum</ENAMEX><WC=’PREP ’>in</W> <ENAMEX TYPE=’LOCATION_NAME’>corning new york</ENAMEX></PHR></CAPTION>

【００５８】［簡単な句及び複雑な句のステージ４０］
このステージ４０は、２つの有限状態マシンを組み込ん
でいる。第１の有限状態マシンは、以下の基本的な句を
識別する。

【００５９】・名詞句：“Samantha”、“the green ca
ts”、“fifteen years”。これらは、人、位置、物
体、日付又は時間を言及するかに従いサブカテゴリに分
類される。・動詞句：“will happy go”、“was to be eaten”。
これらは、それらのタイプ（たとえば、能動、受動）に
ついて記録される。

【００６０】前置詞句は明示的に記録されないが、前置
詞に続く名詞句／動詞句は記録され、前置詞自身は、こ
れらの句のタイプに制約を課す。

【００６１】第２の有限状態マシンは、基本的な句をよ
り複雑な句に結合する。たとえば、“the door”と“of
the house”を結合し、又は“september6”と“at10p.
m.”を結合する。

【００６２】この例の注釈について、このステージから
の出力は、以下に示される。 <CAPTION><PHR><PHR CAT＝’NP’ TIPE=’PERSON’><PHR CAT=’NP’ TYPE=’PE RSON’><WC=’DET’>the</W><ENAMEX TYPE=’PERSON_NAME’>smiths</ENAMEX></ PHR><WC=’CONJ’>and</W><PHR CAT=’NP’ TYPE=’PERSON><ENAMEX TIPE=’PER SON＿PRONOUN’>me</ENAMEX></PHR></PHR><PHR CAT=’NP’ TYPE=’DATE’><TIM EX TYPE=’DATE’>june ninety eight</TIMEX></PHR><WC=’PREP’>at</W><PHR CAT=’NP’ TYPE=’LOCATION’><WC=’DET’>the</W><ENAMEX TYPE=’LOCATION_ NAME’>glass museum</ENAMEX></PHR><WC=’PREP’>in</W><PHR CAT=’NP’ TYP E=’LOCATION’<ENAMEX TYPE=’LOCATION_NAME’>>corning new york</ENAMEX>< /PHR></PHR></CAPTION>

【００６３】［相互参照ステージ４２］複雑さを変化さ
せる多くの相互参照アルゴリズムが存在する。このシス
テムでは、相互参照ステージ４２は、非常に簡単な最新
性に基づいたアルゴリズムを実現する。

【００６４】システムは、それぞれの名詞句を順次取得
する。名詞句が不明確な名詞句である場合、その名詞句
は、該名詞句により言及される項目の最初の記述である
と仮定する。名詞句が定義済みの名詞句である場合、そ
のルートを共有してそのタイプに整合する名詞句を発見
することができるかを調べるために、前に記述された名
詞句を通してサーチが行われる。名詞句が略記である場
合、該略記に整合する固有名詞についてサーチが行われ
る。

【００６５】名詞句が代名詞である場合、番号及び人の
特徴並びに代名詞のタイプに一致しない名詞句を発見す
ることができるかを調べるために、前に記述された名詞
句を通してサーチが行われる。最後に、名詞句が固有名
詞である場合、この固有名詞の別の（可能であれば短
い）記述を発見することができるかを調べるために、前
に記述された名詞句を通してサーチが行われる。

【００６６】このサーチは、最新性により厳密であるの
で、文の位置及び他の参照の手掛りは使用されず、アル
ゴリズムは、文の位置及び他の参照の手掛りがないため
に生じるエラーの数を制限するために、相互参照のため
にそのサーチにおいて慎重に保守的である。

【００６７】これは、１つの写真よりはむしろ写真の系
列に関して動作する唯一のステージである。参照ステー
ジにおいて、サンプルとなる文に対して変更がなされな
い。

【００６８】図３に示されるこのプロセスのそれぞれ
は、できるだけ他のステージのそれぞれから独立である
ように設計される。ステージは、別のステージに直接的
又は間接的に参照又はコールしない。ＸＭＬ文書構造
は、それぞれのステージからの入力及び出力を指定する
ＡＰＩとしての役割を果たす。これは、それぞれのステ
ージが独立なモジュールとして本質的に動作することを
意味する。

【００６９】それぞれのステージは、主にスタンドアロ
ン型のプログラムへのコンピュータ言語向けの辞書アナ
ライザを編集するプログラムであるＦｌｅｘ（V.Paxson
等によるＦｌｅｘバージョン2.5）、を使用して編集す
ることができる。又は、それぞれのステージは、ツール
のフレームワーク内で実行するために編集することがで
きる。これは、開発及びメンテナンスを容易にする一方
で、大幅な影響及び性能を有する。

【００７０】最も重要なことは、それぞれのステージ
は、全体の入力ストリングを通して読まれなければなら
ない。あるステージが入力ストリングの一部に関して他
を「コール」することが可能である場合（たとえば、第
１の数値表現識別子が、識別したそれら数値表現のみに
関する第２の数値表現識別子をコールする場合）、これ
は必要ではない。それにも関わらず、システムは、ほぼ
リアルタイムで個々の注釈を処理しようとする。

【００７１】この異なるステージの厳密な区別は、別な
影響を有する。順序に依存して、ステージはならし運転
し、僅かに異なる出力を得ることができる。これは、句
“june california”における単語“june”を考慮する
ことにより、知ることが容易である。日付識別ステージ
が名前付けされたエンティティステージの前に実行され
る場合、“june”は日付として記録される。名前付けさ
れたエンティティステージがはじめに実行される場合、
“june”は人の名前として識別される。理論的に、全て
のステージからの全てのルールを１つに結合することは
可能である。値上げは、どのルールがはじめに適合する
かになお依存する。

【００７２】システムは、抽出された項目の分類に対す
る最小限度の委託アプローチを使用する。このアプロー
チは、不確かな可能性の分離をラベル付けし、多くの項
目“PERSON/OBJECT”又は“PERSON/OBJECT/LOCATION”
にラベル付けする。記載された評価技術は、これらオプ
ションのうちの１つが採用され、他が廃棄されることを
必要とする。結果として、多くの項目は、実際に複数の
カテゴリでラベル付けされるOBJECTカテゴリに落ち着
く。

【００７３】ここで、図１に示されるイベント区分ステ
ージ１６を参照して、本発明の仮説は、個々の写真につ
いて、注釈における情報がその点でのイベントの境界が
存在する証明、又は存在しない証明を提供する場合があ
る。スコアは、情報抽出ステージ１４の出力を使用し
て、注釈においてどの人、物体、位置、イベント、日付
／時間及び行動が記載されているかを表すそれぞれの注
釈について計算することができる。

【００７４】これらのスコアは、その点でのイベントの
途切れである可能性、該余切れではない可能性に関する
基準を提供する。結果的に、これらのスコアは、イベン
トの境界の位置を推定するために使用される。消費者が
写真の内容を論議することを制限して、その注釈にかな
り直接的である場合、スコアは、イベントの境界に関す
る正確な情報を与える。

【００７５】図４には、イベント区分アルゴリズムが示
されている。アルゴリズムは、写真が撮影された順序で
注釈のそれぞれを調べる。それぞれの注釈について、好
適な実施の形態では、イベント、位置、行動、日付／時
間、人及び物体といった情報のカテゴリが調べられる。
イベントを記述する他の情報のカテゴリもまた、本発明
の精神の範囲内である。

【００７６】基本的なアプローチは、写真の注釈及び
（そのイベントにおける他の写真の注釈からの情報を含
む）イベントに関するある情報が与えられると、注釈に
含まれる情報は、イベントに関して知られている情報に
比較される。アルゴリズムは、表１に示されるように、
イベントの途切れである証明（「正の証明」すなわちＰ
Ｅ）、及びイベントの途切れではない証明（「負の証
明」すなわちＮＥ）を計算する。（これらの発見は、実
験的に識別され、発明に関する限定として見られるべき
ではない。）その点でのイベントの途切れである証明がイベントの途
切れではない証明に勝る場合、アルゴリズムは、イベン
トの途切れを記録し、新たなイベントについての証明に
関する新たな収集を開始する。他方で、イベントの途切
れではない証明がイベントの途切れである証明に勝る場
合、アルゴリズムは、現在の注釈からの情報を現在のイ
ベントにおける他の注釈からの情報に加える。

【００７７】正の証明についてのスコアが負の証明につ
いてのスコアに等しい場合、又は両者が０である場合、
イベントの途切れは作成されない。より詳細には、実際
に、ある写真について、以下に示すように、負の証明に
関連する正の証明の所望のレベル（“LEVEL”）が存在
する。（ＰＥ−LEVEL）＜ＮＥ現在の写真はマージされ、既存のイベントになる。さも
なければ、新たなイベントが作成される。

【００７８】

【表１】ときに、シリーズにおける１つの注釈が誤り導く証明を
与えることがあるか、又は、シリーズにおける１つのピ
クチャが全体のイベントに関連していないことがある。
これを処理するために、アルゴリズムは、「ギャップ考
慮」を使用する。

【００７９】写真フレームFRAMExが、前の写真フレーム
FRAMEyび距離gap内に収まる場合（すなわち、y<ｘ及びx
-y<gap）、証明は、フレームFRAMEyと同じイベントに属
するフレームFRAMExのためのものであり、フレームFRAM
Exと、フレームFRAMExとFRAMEyの間の全ての写真は、フ
レームFRAMEyと同じイベントに含まれる。１から１０ま
での様々なギャップ距離での実験において、２であるギ
ャップが、殆どのデータにおいて誤り導く注釈に注意す
ることが発見されている。

【００８０】図４に示されるように、区分アルゴリズム
への入力は、マークアップmarkupを有するｎフレームの
注釈、正の証明（ＰＥ）の所望のレベル及び所望の「メ
モリ」（ギャップ）からなるセットである。ギャップは
２であることが好ましく、現在のフレームFRAME_(j)は、
好適なギャップgap=2について、既存のフレームの前に
２つのフレームが位置される（すなわち、２つの並んだ
フレームがgap=1を有し、１つのフレームにより分離さ
れた２つのフレームはgap=2を有する）前のフレームFRA
ME_(j-gap)と比較される。

【００８１】アルゴリズムがgap>1を処理する場合（ス
テップ５０）、どのイベントフレームが属するかを判定
する実際のプロセスは、以下のように示される。１．フレームFRAMExからの距離gapでピクチャが存在
し、gap>0である場合、フレームFRAMEx-gapと同じイベ
ントに属するフレームFRAMExである証明及びフレームFR
AMExでない証明を計算する（ステップ５２）。ａ．そのイベントに属するフレームFRAMExである証明が
フレームFRAMExではない証明に勝る場合（ステップ５
４）、全てのフレームをそのイベントにおけるxとgap-x
の間に配置する（ステップ５６）。ｂ．さもなければ、gapから１を引いて（ステップ５
８）、ステップ５０に戻る。

【００８２】２．さもければ（gap=1のとき）、フレー
ムFRAMEx-1と同じイベントに属するフレームFRAMExであ
る証明及びフレームFRAMExではない証明を計算する（ス
テップ６０）。ａ．そのイベントに属するフレームFRAMExである証明
が、フレームFRAMExではない証明に勝る場合（ステップ
６２）、フレームFRAMEx及びFRAMEx-1をそのイベントに
配置する（ステップ６４）。ｂ．さもなければ、フレームFRAMExについて新たなイベ
ントを作成する（ステップ６６）。フレームがフレーム
のセット(ｊ＝０)における最初である場合（ステップ６
８）、新たなイベントが即座に確立される（ステップ６
６）。

【００８３】このアルゴリズムにより、システムのユー
ザは、イベントの途切れである証明のための閾値（すな
わち「レベル」）を指定することができる。正の証明の
スコアがこの閾値よりも小さい場合、正の証明のスコア
が減少される。この閾値の使用は、情報の減少固有のカ
テゴリの作用を有する。すなわち、閾値が１に設定され
ている場合、前に記述されていない物体はイベントの途
切れである証明としてカウントされる。

【００８４】つぎに、イベント識別ステージ１８を参照
して、写真がイベントに区分されるとき、それぞれの注
釈からの全ての情報が収集される。これは、それぞれの
イベントの記述となる。好適な実施の形態では、かかる
記述は、以下に示される。・記録及び記録されていないその注釈を有し、カメラか
ら取得された他の情報（たとえば、日付／時間情報）を
有する、そのイベントにおける写真のリスト。・それぞれの情報カテゴリ（たとえば、位置、行動）に
ついて、そのイベントについての注釈から得られたその
カテゴリにおける全てのデータからなるリスト。・イベントセグメンテーションのためのスコア。

【００８５】イベント識別のタスクは、（ステージ３８
から生じる）「イベント」リストにおけるイベント記述
が存在するかをチェックするために減少される。存在し
ない場合、他のカテゴリから集めようとする。多くのル
ールは、イベント識別を実現するために使用される場合
があるのに対し、以下のルールは、先のルールが後のル
ールを引き継いで、満足なものとなる。

【００８６】１．イベントが記述されている場合、その
イベントを与える。２．イベントが１つの写真のみを含んでいる場合、その
写真についての注釈を与える。３．位置が記述されている場合、その位置を与える。４．人が記述されている場合、その人を与える。５．イベントにおける最初の写真についての注釈を与え
る。

【００８７】イベント区分及び識別の後に、それぞれの
イベントは、そのイベントについての注釈において記述
された人、位置、物体、日付／時間、行動及びイベント
の収集を備える。イベント要約ステージ２０では、イベ
ントについての要約の作成は、適切なやり方で、この情
報を選択及び配列することである。

【００８８】異なるタイプの要約は、異なるタイプのア
プリケーションに適している。情報検索アプリケーショ
ンについて、好適な要約は、おそらく、副本が除かれて
（しかし、おそらく、たとえば、“my son”及び“joh
n”といった同じ事柄への参照を変化せずに）、イベン
トにおける全ての記述された項目からなるリストであ
る。

【００８９】自動アルバム作成について、良好な要約
は、たとえば、関連するイベント自身、位置、日付／時
間及び人といったイベントにおける重要な情報を識別す
る文又は短いパラグラフである。異なるパラグラフ要約
のためのテンプレートを作成することができ、その幾つ
かは、異なるタイプのイベントに固有にすることができ
る（たとえば、結婚式、ハロウィン、旅行）。

【００９０】データを見ることから、イベントについて
全ての注釈を簡単に結合することは、共用可能な文／パ
ラグラフ要約とはならない。代わりに、文の要約は、以
下のように構築される（全ての適用可能なルールが使用
される）。・５以下の人が記述される場合、該人をリストに列挙す
る。・イベントが記述される場合、該イベントを与える。・位置が記述される場合、該位置を与える。・日付／時間が記述される場合、該日付／時間を与え
る。

【００９１】別の可能性は、要約のリストのタイプであ
り、すなわち、おそらく副本が除かれるが、同じ項目を
言及する句を含んで、それぞれのイベントに関連する全
ての情報は、カテゴリによりプリント出力される場合で
ある。それぞれの種類の要約の例は、写真の２つの典型
的なイベントグループ分けについて、表２及び表３に与
えられている。

【００９２】

【表２】

【００９３】

【表３】

【００９４】

【表４】

【図面の簡単な説明】

【図１】本発明による方法及びシステムの機能に関する
ブロック図である。

【図２】本発明を実現するためのコンピュータシステム
に関するブロック図である。

【図３】図１に示される情報抽出機能に関するフローシ
ーケンス図である。

【図４】図１に支援されるイベント区分機能に関するフ
ローシーケンス図である。

【符号の説明】

１０：取得ステージ１２：音声−テキスト変換ステージ１４：情報抽出ステージ１６：イベント区分ステージ１８：イベント識別ステージ２０：イベント要約ステージ２２：写真アルバム３０：区分及びフィルタリングステージ３２：番号付けステージ３４：分類ステージ３６：日付、時間、金及びパーセンテージステージ３８：人、位置、イベント及び物体ステージ４０：句ステージ４２：相互参照による分類ステージ４４：ＸＭＬドキュメント４８：注釈５０：ギャップチェックステップ５２：計算ステップ５４：証明チェックステップ５６：マージステップ５８：ギャップインクリメントステップ６０：計算ステップ６２：証明チェックステップ６４：マージステップ６６：新たなイベントステップ６８：最初のフレームチェックステップ１１０：コンピュータ１１２：大容量メモリ１１４：ネットワークインタフェース１１６：リモートサーバ１１８：ネットワーク１２０：内部メモリ１２２：入力装置１２４：メモリカードリーダ１２６：ネットワークインタフェース１２８：音声認識モジュール１３０：出力装置１３２：ディスプレイ装置１３４：プリンタ１３６：ネットワークインタフェース１３８：出力装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者アマンダジェイステントアメリカ合衆国ニューヨーク 14605 ロチェスターギッブス・ストリート 125 Ｆターム(参考） 5B075 ND08 ND14 NK06 NR05 NR15 NS01

Claims

【特許請求の範囲】

【請求項１】デジタル化された写真画像を、写真アル
バムの編成に役立つ音声注釈に基づいたイベントに自動
的に編成するための方法であって、写真画像の複数のフレームに対応する音声注釈に基づく
自然言語のテキストを提供するステップと、画像の注釈を特徴付ける前記自然言語のテキストから所
定の情報を抽出するステップと、イベント間の境界を示す所定の情報カテゴリの存在につ
いて注釈のそれぞれを調べることにより、前記デジタル
化された写真画像をイベントに区分するステップと、前記情報カテゴリからイベント記述子を作成することに
より、イベントのそれぞれを識別するステップと、を備
える方法。
【請求項２】適切なやり方で前記イベント記述子を選
択及び配列することにより、イベントのそれぞれを要約
するステップをさらに備える、請求項１記載の方法。
【請求項３】前記イベント記述子は、写真アルバムと
して適切なやり方で選択及び配列される、請求項１記載
の方法。
【請求項４】前記自然言語のテキストを提供する前記
ステップは、音声注釈を取得するステップと、前記音声注釈を自然言語のテキストに変換するステップ
とを備える、請求項１記載の方法。
【請求項５】前記自然言語のテキストから所定の情報
を抽出する前記ステップは、前記自然言語のテキストを単語及び文に区分するステッ
プと、複数の辞書及び地名辞典を前記単語及び文に適用して、
可能性のあるイベントを示す重要な単語を分類するステ
ップとを備える、請求項１記載の方法。