JP2005317004A - デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体 - Google Patents

デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP2005317004A
JP2005317004A JP2005123677A JP2005123677A JP2005317004A JP 2005317004 A JP2005317004 A JP 2005317004A JP 2005123677 A JP2005123677 A JP 2005123677A JP 2005123677 A JP2005123677 A JP 2005123677A JP 2005317004 A JP2005317004 A JP 2005317004A
Authority
JP
Japan
Prior art keywords
photo
information
situation
photos
feature value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005123677A
Other languages
English (en)
Inventor
Sang-Kyun Kim
金　相　均
Chien Kin
智 淵 金
Young-Su Moon
永 秀 文
Yong Man Ro
勇 滿 魯
Seungji Yang
勝 智 梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information & Comm Univ Res &
Samsung Electronics Co Ltd
Information and Communications University Research and Cooperation Group
Original Assignee
Information & Comm Univ Res &
Samsung Electronics Co Ltd
Information and Communications University Research and Cooperation Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050029960A external-priority patent/KR100624465B1/ko
Application filed by Information & Comm Univ Res &, Samsung Electronics Co Ltd, Information and Communications University Research and Cooperation Group filed Critical Information & Comm Univ Res &
Publication of JP2005317004A publication Critical patent/JP2005317004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 ユーザーが容易に写真グループをアルバムに保存し、他のユーザーとグループ化された写真を共有することが可能なデジタル写真アルバムの状況基盤クラスタリング装置を提供する。
【解決手段】 クラスタリング装置は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部１１０と、デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部１２０と、写真記述情報及びアルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツール１３０と、アルバムツール１３０の出力から所定の写真グループ記述情報を生成する写真グループ情報生成部１４０と、写真記述情報及び写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部１５０と、を備えている。
【選択図】 図１

Description

本発明は、デジタル写真アルバムに関し、特に、デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体に関する。
最近、デジタルカメラの使用が広まっている。このことは、デジタルカメラがアナログカメラとは違ってフィルムおよびフィルム印画過程を必要とせず、デジタルメモリ装置を使用することによっていつでもコンテンツを保存及び削除できるという長所によるものであると考えられる。デジタルカメラ技術の発展により、デジタルカメラの性能が強化されると共にサイズも小型化しているため、ユーザーはいつでもどこでもデジタルカメラを持ち運び写真を撮ることができるようになった。デジタル映像（画像）処理技術の発展により、デジタルカメラ映像はアナログカメラの画質に近づいており、デジタルコンテンツの保管及び伝送がアナログコンテンツよりも容易であるため、複数のユーザーがより自由にコンテンツを共有することができるようになった。したがって、デジタルカメラの使用が増え、このことがカメラの価格低下を引き起こし、結果的にデジタルカメラの需要がさらに増加している。
特に、近年のメモリ技術の発展により、今では高容量メモリが広く使用されている。そして、画質をあまり犠牲にしないデジタル映像圧縮技術の発展により、ユーザーは、一つのメモリ装置に数百枚から数千枚もの写真を保存できるようになった。結果的には、多くのユーザーが複数の写真を管理するための道具としてデジタル写真アルバムを使用している。
一般的に、デジタル写真アルバムは、ユーザーによって撮影された写真をデジタルカメラまたはメモリカードからユーザーのローカル保存装置に移し、それらの写真を便利に管理するために使用される。ユーザーは、デジタル写真アルバムを使用することによって、複数の写真を撮影時刻順またはイベント順に閲覧したり、他のユーザーと写真を共有したりする。
しかし、多くのユーザーが、既存のデジタル写真アルバムを利用して写真を管理するのに不便さを感じている。それは、既存のアルバムのほとんどは、写真をグループ化（grouping）してラベルリングする作業をユーザーに任せているためである。写真の枚数が多くなるほど、ユーザーが一枚ずつクラスタリングするのは困難になるため、ユーザーの不便さは更に増大する。したがって、ユーザーに所望の写真をより簡単且つ迅速に発見させることができ、複数の写真からなる所望のグループを生成させることができる手段がより望まれている。
非特許文献１では、多くのユーザーを対象とした調査を通じて、ユーザーによって要求されるデジタル写真アルバムの機能が調べられている。調査対象となったほとんどの人は、生涯の写真をアルバムに保存することを価値ある作業と考えていた。しかし、彼らは、複数の写真を一枚ずつグループ化することにかかる時間及び労力を不便だと感じており、他の人と写真を共有することに困難さを感じていた。
初期の関連研究及びシステムでは、写真は、撮影時刻に関する時刻情報のみを使用することによってグループ化されていた。代表的な研究として、非特許文献２に開示されたものが挙げられる。前記非特許文献２に開示された研究のように、撮影時刻に関する時刻情報のみを利用することによって、写真は大雑把にグループ化される。しかし、この手法は、時刻情報を記憶することなく写真が撮られたり、撮影後において写真編集過程中に時刻情報が紛失されたりした場合には使用できない。さらに、複数のカメラを使用することによって、同一時間帯に相異なる状況で撮影された写真が一度にグループ化される場合には、所望しないグループ化の結果が得られる可能性が非常に高い。
非特許文献３では、時刻情報を利用して写真を整列できる機能を有する写真アルバムが開発され、ユーザーを対象として開発されたシステムの実用性が調査されている。前記非特許文献３には、写真を撮影時刻順に整列するだけでも、ユーザーがアルバムを構成するのに非常に役立つことが開示されている。しかし、前記非特許文献３には、ユーザーの要求をより忠実に満足させるには、内容基盤検索（content-based search：「内容に基づく検索」ともいう。以下、本明細書において、「ＡＡに基づくＢＢ」を「ＡＡ基盤ＢＢ」と記載する。）、または、イベント基盤写真クラスタリング機能が追加されなければならない旨が追記されている。
前記したように、時刻情報のみを使用した写真グループ化の問題点を解決するための手法として、写真の内容基盤特徴値を利用する手法がある。今までも、写真の時刻情報と内容基盤特徴値とを共に利用した研究が幾つかあった。しかし、ほとんどの場合には、写真の色情報のみ内容基盤特徴値として使用されている。最も代表的な手法として、非特許文献４には、写真の時刻情報と色情報とを利用することによって、写真列をイベント基盤クラスタリングする手法が提案されている。しかし、非特許文献４に開示された手法は、内容基盤特徴値として写真の色ヒストグラム情報のみが使用されているため、明度の変化に非常に敏感であり、質感及び形状の変化を感知し難いという問題を有している。
最近では、デジタル写真ファイルのほとんどは、Ｅｘｉｆ（Exchangeable Image File）形式に適合している。Ｅｘｉｆは、ＪＥＩＤＡ（Japan Electronic Industry Development Association：社団法人 日本電子工業振興協会）によって作成されたファイル形式の標準規格である。Ｅｘｉｆファイルは、写真のピクセル情報だけでなく、写真が撮影されたときの時刻に関する情報などの撮影情報及びカメラ状態情報を記憶している。
また、ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１は、ＭＰＥＧ−７という名前で、内容基盤検索に必要な要素技術を、記述子と、記述子及び記述構造間の関係と、を表現するための記述インタフェースを用いて標準化している。色、質感、形状、動きなどの内容基盤特徴値を抽出する手法が、記述子として提案されている。記述構造は、内容をモデリングするために、二以上の記述子と記述構造との関係を定義すると共に、データがどのように表現されるかを定義している。
したがって、写真ファイルから得られた多様な情報と内容基盤特徴値が共に使用される場合には、より効率的な写真グループ化及び検索が実行可能である。したがって、そのような多様な情報を統合的に表現するための記述構造と、かかる構造を用いた写真グループ化及び検索を提供する写真アルバムが望まれている。
David Frohlich，「Requirement for photoware」，ACM CSCW，２００２年 Adrian Graham，「Time as essence for photo browsing through personal digital libraries」，ACM JCDL，２００２年 Kerry Rodden，「How do people manage their digital photographs」，ACM CHI，２００３年 Alexander C Loui，「Automated event clustering and quality screening of consumer pictures for digital albuming」，IEEE Transaction on Multimedia，vol.5，no.3，pp.390-401，200-3
本発明は、前記問題点を解決するために創案されたものであり、デジタルカメラなどのデジタル撮影装置によって撮影された写真ファイルに保存された基本的な写真情報と、写真の内容から抽出された多様な内容基盤特徴値情報と、を利用して、写真を撮影した状況に基づいて写真をクラスタリングするために、デジタル写真の状況変化を検出することが可能なデジタル写真の状況変化検出装置及び方法を提供することを課題とする。
また、本発明は、デジタルカメラなどのデジタル撮影装置によって撮影された写真でアルバムを構成するために、前記デジタル写真の状況変化検出装置及び方法を利用して写真を撮影した状況に基づいて写真をクラスタリングすることで、ユーザーが容易に写真グループをアルバムに保存し、他のユーザーとグループ化された写真を共有することが可能なデジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体を提供することを課題とする。
前記した技術的課題を解決するため、本発明に係るデジタル写真の状況変化検出装置は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値を取得する時刻特徴値取得部と、前記連続した二枚の写真のそれぞれについて所定の内容基盤特徴値を抽出する内容基盤特徴値抽出部と、前記連続した二枚の写真のそれぞれについて前記時刻特徴値に所定の時刻特徴値の重要度を反映し、かつ、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映することによって、前記連続した二枚の写真間の非類似度を測定する非類似度測定部と、前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出する状況変化検出部と、を備えていることを特徴とする。
本発明における「写真」は、デジタル写真である。
また、本発明における「時刻」は、写真撮影時点を示すものであり、例えば、写真が撮影された「年、月、日、時、分、秒」によって表される。この「時刻」表示の細かさは、適宜変更可能であり、例えば、「月、日、時、分」によって表されても良い。
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることが好ましい。
また、前記した技術的課題を解決するため、本発明に係るデジタル写真の状況変化検出方法は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値と所定の内容基盤特徴値とを取得するステップと、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出するステップと、を含むことを特徴とする。
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
前記時刻特徴値の重要度及び内容基盤特徴値の重要度は、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることが好ましい。
前記した他の技術的課題を解決するため、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部と、デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部と、少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツールと、前記アルバムツールの出力から所定の写真グループ記述情報を生成する写真グループ情報生成部と、前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部と、を備えていることを特徴とする。
前記写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
前記アルバムツール記述情報生成部は、写真をクラスタリングする前に写真を整列するための項目を生成する整列キー生成部、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント生成部、及び、写真クラスタリングに使用される情報の重要度を生成する重要度生成部のうち、少なくとも一つを備えていることが好ましい。
前記整列キー生成部の写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。
前記状況基盤クラスタリングヒント部の状況基盤クラスタリングヒントは、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことが好ましい。
前記重要度生成部の重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことが好ましい。
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことが好ましい。
前記アルバムツールは、デジタル写真データを状況に基づいてクラスタリングする状況基盤写真クラスタリングツールを備えていることが好ましい。
前記状況基盤写真クラスタリングツールは、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記写真記述情報生成部から時刻特徴値を取得する時刻特徴値取得部と、前記連続した二枚の写真のそれぞれについて、前記写真記述情報生成部から内容基盤特徴値を抽出する内容基盤特徴値抽出部と、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値取得部から取得された時刻特徴値に前記アルバムツール記述情報生成部から取得された時刻特徴値の重要度を反映して、前記内容基盤特徴値抽出部から抽出された内容基盤特徴値に前記アルバムツール記述情報生成部から取得された内容基盤特徴値の重要度を反映して前記二枚の写真間の非類似度を測定する非類似度測定部と、前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出する状況変化検出部と、を備えていることが好ましい。
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、前記アルバムツール記述情報生成部の状況基盤クラスタリングヒントを参照して決定されることが好ましい。
前記写真グループ情報生成部の写真グループ記述情報は、少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、前記状況基盤写真グループは、
状況を識別するための状況識別子と、写真識別子により定められる複数の写真から構成される写真列と、写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、を含むことが好ましい。
前記した他の技術的課題を解決するため、本発明に係るデジタル写真アルバムの状況基盤クラスタリング方法は、（ａ）写真を撮影したカメラに関するカメラ情報、写真の撮影情報、及び写真の内容基盤特徴値のうち、少なくとも一つを抽出して写真記述情報を生成するステップと、（ｂ）デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するステップと、（ｃ）少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うステップと、（ｄ）状況基盤クラスタリングされた結果を利用して写真グループ記述情報を生成するステップと、（ｅ）前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成するステップと、を含むことを特徴とする。
前記（ａ）ステップの写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
前記（ｂ）ステップのアルバムツール記述情報は、写真をクラスタリングする前に写真を整列するための整列キー、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことが好ましい。
前記整列キーは、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。
前記状況基盤クラスタリングヒントは、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことが好ましい。
前記重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことが好ましい。
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことが好ましい。
前記（ｃ）ステップは、状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、撮影時間順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記時刻特徴値及び所定の内容基盤特徴値を取得するステップと、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出するステップと、を含むことが好ましい。
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、状況基盤クラスタリングヒントを参照して決定されることが望ましい。
前記（ｄ）ステップの写真グループ記述情報は、少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、前記状況基盤写真グループは、状況を識別するための状況識別子と、写真識別子により定められる複数の写真から構成される写真列と、写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、を含むことが好ましい。
そして、本発明は、前記したデジタル写真の状況変化検出方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体を提供する。
さらに、本発明は、前記したデジタル写真アルバムの状況基盤クラスタリング方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体を提供する。
本発明によれば、写真から抽出可能な情報を効率的に記述するための記述構造と、写真の状況基盤クラスタリング機能を適切に行うためのパラメータと、が定義され、前記パラメータを記述するための効果的な記述構造を提供することができる。
また、写真に保存されたカメラ情報及びファイル情報のように、基本的に写真から得られる項目に加えて、写真の内容から得られる色、質感、形状などの内容基盤特徴値情報を利用して、状況基盤写真クラスタリングが行われる。
それにより、デジタル写真について記述された情報を利用することによって、多くの写真で便利かつ容易にアルバムを構成でき、大容量の写真データをより速く、より効率的にアルバム化できる。
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。
図１は、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置の構成を示すブロック図である。図１に示すように、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置（apparatus for situation-based clustering in digital photo album：以下、単に「クラスタリング装置」と記載する。）は、写真記述情報生成部１１０、アルバムツール記述情報生成部１２０、アルバムツール１３０、写真グループ情報生成部１４０及び写真アルバム情報生成部１５０を備えている。そして、クラスタリング装置は、写真入力部１００を更に備えることが好ましい。
写真入力部（photo input unit）１００は、デジタルカメラの内部メモリ装置または携帯用メモリ装置から写真列が入力される。
写真記述情報生成部（photo description information generation unit）１１０は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する。より具体的には、写真記述情報生成部１１０は、入力された写真のそれぞれから写真ファイル内に保存されたカメラ情報及び撮影情報の有無を確認し、該当情報が写真ファイル内に存在する場合には、情報が抽出され、写真記述構造によって表現される。同時に、内容基盤特徴値が写真の画素情報から抽出され、写真記述構造によって表現される。写真記述情報は、写真をグループ化するための写真アルバムツール１３０に入力される。
アルバムツール記述情報生成部（albuming tool description information generation unit）１２０は、生成された多様な写真記述情報を利用して写真をより効率的に検索してグループ化するために、状況基盤写真クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成する。図２は、アルバムツール記述情報生成部１２０を示す詳細ブロック図である。図２に示すように、アルバムツール記述情報生成部１２０は、整列キー生成部２００、状況基盤クラスタリングヒント生成部２２０及び重要度生成部２４０のうち、少なくとも一つを備えている。
整列キー生成部（sort key generation unit）２００は、写真がクラスタリングされる前に、写真を整列するための項目（写真整列項目）を生成する。写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。状況基盤クラスタリングヒント生成部（situation-based clustering hint generation unit）２２０は、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する。重要度生成部（importance generation unit）２４０は、写真クラスタリングに使用される情報の重要度を生成する。
図１に示すように、アルバムツール（albuming tool）１３０は、少なくとも写真記述情報及びアルバムツール記述情報を利用して状況基盤写真クラスタリングを通じて写真アルバム化（photo albuming）を行うものであり、状況基盤クラスタリングツール１３５を備えている。状況基盤クラスタリングツール（situation-based clustering tool）１３５は、デジタル写真の状況変化を判断して検出するデジタル写真の状況変化検出装置（apparatus for detecting situation change of digital photo）である。
状況基盤クラスタリングツール１３５は、デジタル写真データを状況に基づいてクラスタリングする。図３は、本発明に係る状況基盤クラスタリングツールの構成を示すブロック図である。図３に示すように、状況基盤クラスタリングツール１３５は、写真整列部３００、時刻特徴値取得部３２０、内容基盤特徴値抽出部３４０、非類似度測定部３６０及び状況変化検出部３８０を備えている。
写真整列部（photo sort unit）３００は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する。時刻特徴値取得部（time feature value obtaining unit）３２０は、撮影時刻順に整列された写真のうち、連続した二枚の写真のそれぞれについて、写真記述情報生成部１１０から時刻特徴値を取得する。内容基盤特徴値抽出部（content-based feature value extraction unit）３４０は、連続した二枚の写真のそれぞれについて、写真記述情報生成部１１０から内容基盤特徴値を抽出する。非類似度測定部（dissimilarity measuring unit）３６０は、連続した二枚の写真のそれぞれについて、時刻特徴値取得部３２０から取得された時刻特徴値に、アルバムツール記述情報生成部１２０から取得された時刻特徴値の重要度を反映し、内容基盤特徴値抽出部３４０で抽出された内容基盤特徴値に、アルバムツール記述情報生成部１２０から取得された内容基盤特徴値の重要度を反映して、二枚の写真間の非類似度を測定する。状況変化検出部（situation change detection unit）３８０は、非類似度の値の変化量を利用して状況変化を判断して検出する。
図１に示すように、写真グループ情報生成部（photo group information generation unit）１４０は、アルバムツール１３０の出力から所定の写真グループ記述情報を生成する。写真アルバム情報生成部（photo albuming information generation unit）１５０は、写真記述情報及び写真グループ記述情報を利用して所定の写真アルバム情報を生成する。
図４は、写真記述情報生成部１１０で生成される写真記述情報の構造を説明するための図である。写真記述情報は、デジタルカメラの内部メモリ装置または携帯用メモリ装置から入力された写真から、ファイル内に保存されたカメラ情報及び撮影情報と写真の内容から抽出された内容基盤特徴値情報を表現する。図４に示すように、前記写真記述情報４０は、各写真を識別するための写真識別子（Photo ID）４００と、写真を撮影した作者（撮影者）を表すための項目（Author）４２０と、写真ファイルに保存されたファイル情報を表すための項目（File information）４４０と、写真ファイルに保存されたカメラ情報及び撮影情報を表すための項目（Camera information photographing information）４６０と、内容基盤特徴値を表すための項目（Content-based information）４８０と、を含む。
また、写真ファイルに保存されたファイル情報４４０を表すための細部項目として、前記ファイル情報４４０は、写真ファイルの名前を表すための項目（File name）４４２と、写真ファイルの形式を表すための項目（File format）４４４と、写真ファイルの容量をバイト単位で表すための項目（File size）４４６と、写真ファイルが作成された日時を表すための項目（File creation date/time）４４８と、を含む。
また、写真ファイルに保存されたカメラ情報及び撮影情報４６０を表すための細部項目として、前記カメラ情報および撮影情報４６０は、写真ファイルがＥｘｉｆ情報を含んでいるか否かを表すための項目（IsExifInformation）４６２と、写真を撮影したカメラモデルを表すための項目（Camera model）４６４と、写真が撮影された日時を表すための項目（Taken date/time）４６６と、写真が撮影された位置をＧＰＳ（Global Positioning System）により取得された情報で正確に表すための項目（GPS information）４６８と、写真の幅情報を表すための項目（Image width）４７０と、写真の高さ情報を表すための項目（Image height）４７２と、写真を撮るためにカメラフラッシュが使用されたか否かを表すための項目（Flash on/off）４７４と、写真の明度情報を表すための項目（Brightness）４７６と、写真のコントラスト情報を表すための項目（Contrast）４７８と、写真の画質（鮮明度）情報を表すための項目（Sharpness）４７９と、を含む。
また、写真から抽出された内容基盤特徴値を表すための項目４８０は、ＭＰＥＧ−７ビジュアル記述子を利用して抽出された色、質感及び形状の特徴値を表すための項目（Visual descriptor（s））４８２と、ＭＰＥＧ−７オーディオ記述子を利用して抽出された音声特徴値を表すための項目（Audio descriptor（s））４８４と、を含む。
図５は、図４の写真記述情報４０を利用して写真の状況基盤クラスタリングを行う過程において、効率的な写真クラスタリングのために必要なパラメータを表すための記述構造を示すブロック図である。時刻情報と単一の内容基盤特徴値とのみで十分なクラスタリング性能を達成することは困難であるため、本発明では時刻情報と多重の内容基盤特徴値情報とが共に使用される。
さらに、より高い内容基盤クラスタリング性能を達成するために、内容基盤クラスタリングヒント情報が定義され、各写真のヒントに従い、写真クラスタリングに使用する特徴情報の重要度が適宜設定される。図５に示すように、効率的な写真クラスタリングのためのパラメータ５０として、パラメータ（アルバムツール記述子）５０は、写真をクラスタリングする前に写真を整列するための項目（Sort key）５００と、写真が有する状況基盤クラスタリングヒントを表すための項目（Situation-based clustering hint）５２０と、写真クラスタリングに使用される情報の重要度を表すための項目（Feature importance）５６０と、を含む。
写真を整列するための項目５００は、写真を名前順に整列するための項目（File name）５０２と、写真を撮影日時順に整列するための項目（Taken date/time）５０４と、写真ファイルを作成日時順に整列するための項目（File creation date/time）５０６と、を含む。
写真が有する上位概念の意味情報を表すためのクラスタリングヒント項目５２０の細部項目として、状況基盤クラスタリングヒント項目５２０は、写真の全体的な明度に関する情報を表すための項目（Brightness）５２２と、写真の複雑度を表すための項目（Level of detail）５２４と、写真の均一な質感に関する情報を表すための項目（Homogeneous texture）５２６と、写真のエッジに関する情報（写真の不均一な質感に関する情報）を表すための項目（Heterogeneous texture）５２８と、写真が白黒写真であるか否かを表すための項目（Monochromatic）５３０と、写真の色表現の華やかさ程度（彩度）を表すための項目（Colorfulness）５３２と、写真に表された全体色の凝集度を表すための項目（Color coherence）５３４と、写真の色の色温度を表すための項目（Color temperature）５３６と、写真ファイルが撮影時刻情報を含んでいるか否かを表すための項目（Taken time）５３８と、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表すための項目（Time overlap）５４０と、写真撮影時に写真と共に保存されたユーザーの音声情報をオーディオクリップファイルとして含まれているか否かを表すための項目（Audio clip）５４２と、写真のオーディオファイルで認識された音声単語及び文章列を表すための項目（Recognized speech）５４４と、を含む。
写真の全体的な明度を表すための項目（Brightness）５２２の値は、写真の各画素から抽出された画素強度（pixel intensity）を平均することによって測定でき、写真の複雑度を表すための項目（Level of detail）５２４の値は、写真の画素情報から測定されたエントロピー、または、各写真の実複雑性（actual complexity）を判断する要素である「isopreference curve」から推定できる。写真の均一な質感に関する情報を表すための項目（Homogeneous texture）５２６の値は、ＭＰＥＧ−７ビジュアル記述子のうち、質感閲覧記述子（Texture Browsing descriptor）の特徴値から質感の均質さ（regularity）、方向（direction）及びサイズ（scale）を利用して測定できる。写真のエッジに関する情報（写真の不均一な質感に関する情報）を表すための項目（Heterogeneous texture）５２８の値は、写真からエッジ情報を抽出して、抽出されたエッジの強度を正規化することによって測定できる。色情報のない、すなわち、写真が白黒写真であるか否かを表すための項目（Monochromatic）５３０の値は、写真の各画素に割り当てられたビット数によって決定できる。写真の色表現の華やかさ程度（彩度）を表すための項目（Colorfulness）５３２の値は、色ヒストグラムから各色値のヒストグラム高さと、全体色値の配分値と、を正規化することによって測定できる。写真に表された全体色の凝集度を表す項目（Color coherence）５３４の値は、ＭＰＥＧ−７ビジュアル記述子のうち、主要色記述子（Dominant Color descriptor）を利用して測定でき、また、色ヒストグラムから各色値のヒストグラム高さと、全体色値の配分値と、を正規化することによっても測定できる。写真の色の色温度を表すための項目（Color temperature）５３６の値は、ＭＰＥＧ−７ビジュアル記述子のうち、色温度記述子（Color Temperature descriptor）を利用して測定された色温度値を正規化することによって測定できる。写真ファイルが撮影時刻情報を含んでいるか否かを表すための項目（Taken time）５３８は、写真ファイルのＥｘｉｆ情報から抽出できる。同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表すための項目（Time overlap）５４０は、一の写真を中心とした任意の長さのスライディングウィンドウを配置し、このスライディングウィンドウに属する写真のカメラモデル情報を比較することによって得られる。写真撮影時に写真と共に保存されたユーザーの音声情報をオーディオクリップファイルとして含まれているか否かを表すための項目（Audio clip）５４２は、写真のファイルと同じファイル名であって、拡張子が音声ファイルを表すｗａｖ、ｍｐ２／３などであるファイルの存否を検査することによって得られる。写真のオーディオファイルで認識された音声単語及び文章列を表すための項目（Recognized speech）５４４に関しては、認識された音声は、ＬＰＣケプストラム、ＰＬＰケプストラム、フィルターバンクエネルギー（filter bank energy）、ＭＦＣＣ（Mel Frequency Cepstral Coefficient）などを利用して抽出された音声特徴値に対し、ＨＭＭ（Hidden Markov Model）、ニューラルネットワーク（Neural Network）、ＤＴＷ（Dynamic Time Warping）などの方法を使用することによって得られる。
前記方法は、状況基盤クラスタリングヒント情報５２０を得るための方法の好ましい一実施形態であり、その他の方法を使用してもよい。
写真クラスタリングに使用される情報の重要度を表すための項目（Feature importance）５６０の細部項目として、項目５６０は、撮影時刻情報の重要度を設定するための項目（Taken time）５６２と、写真の内容基盤特徴値に関する情報の重要度を設定するための項目（Low-level feature）５６６と、を含む。
撮影時刻情報の重要度を設定するための項目（Taken time）５６２は、対応する重要度値を表すための項目（Importance value）５６４を含む。写真の内容基盤特徴値に関する情報の重要度を設定するための項目（Low-level feature）５６６は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための項目（Visual descriptor）５６８と、対応する重要度値を表すための項目（Importance value）５７０と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための項目（Audio descriptor）５７２と、対応する重要度値を表すための項目（Importance value）５７４と、を含む。重要度値は、０.０〜１.０の範囲内の値を有する。
図６は、写真をクラスタリングした後の写真グループ情報を表すための記述構造６０００を示すブロック図である。写真グループは、状況基盤写真クラスタリングによる写真グループ６１００を含み、各写真グループ６１００は、いくつかの状況による下位グループ（Photo series）６４００を含む。各写真グループ６１００は、いくつかの写真を写真識別子（Photo ID（s））６４１０として含む。また、各写真グループ６１００は、状況識別子（Situation ID（s））６２００を有する。グループ内の写真のうち、一枚以上の代表写真（Key photo ID）６３００が、写真識別子により設定できる。
図７は、本発明に係る写真情報記述構造をＸＭＬスキーマで表現したブロック図である。写真ファイル内に保存されたカメラ情報及び撮影情報と、写真の内容から抽出された内容基盤特徴値情報とを表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
<complexType name="PhotoType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Author" type="mpeg7:TextualType"/>
<element name="FileInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<choice>
<element name="FileName" type="mpeg7:TextualType"/>
<element name="FileFormat" type="mpeg7:TextualType"/>
<element name="FileSize" type="nonNegativeInteger"/>
<element name="CreationDateTime" type="mpeg7:timePointType"/>
</choice>
</extension>
</complexContent>
</complexType>
</element>
<element name="CameraInfomation">
<complexType>
<choice>
<element name="IsEXIFInfomation" type="boolean"/>
<choice>
<element name="CameraModel" type="mpeg7:TextualType"/>
<element name="ImageWidth" type="nonNegativeInteger"/>
<element name="ImageHeight" type="nonNegativeInteger"/>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="BrightnessValue" type="integer"/>
<element name="GPSInfomation" type="nonNegativeInteger"/>
<element name="Saturation" type="integer"/>
<element name="Sharpness" type="integer"/>
<element name="Contrast" type="integer"/>
<element name="Flash" type="boolean"/>
</choice>
</choice>
</complexType>
</element>
<element name="ContentInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<choice>
<element name="VisualDescriptor" type="mpeg7:VisualDType"/>
<element name="AudioDescriptor" type="mpeg7:AudioDType"/>
</choice>
</extension>
</complexContent>
</complexType>
</element>
</sequence>
<attribute name="PhotoID" type="ID" use="required"/>
</extension>
</complexContent>
</complexType>
図８は、本発明に係る写真アルバム化のためのパラメータ記述構造をＸＭＬスキーマで表現したブロック図である。効率的な写真クラスタリングのために必要なパラメータを表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
<complexType name="PhotoAlbumingToolType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SortKey" type="mpeg7:PhotoSortType"/>
<element name="SituationBasedClusteringHint" type="mpeg7:SituationBasedClusteringHintType"/>
<element name="Features" type="mpeg7:FeatureType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedClusteringHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="Brightness" type="mpeg7:zeroToOneType"/>
<element name="LevelOfDetail" type="mpeg7:zeroToOneType"/>
<element name="HomogeneousTexture" type="boolean"/>
<element name="HeterogeneousTexture" type="boolean"/>
<element name="Monochromatic" type="boolean"/>
<element name="Colorfulness" type="mpeg7:zeroToOneType"/>
<element name="ColorCoherence" type="mpeg7:zeroToOneType"/>
<element name="ColorTemperature" type="mpeg7:zeroToOneType"/>
<element name="TakenTime" type="boolean"/>
<element name="TimeOverlap" type="boolean"/>
<element name="AudioClip" type="boolean"/>
<element name="SpeechRecognition" type="mpeg7:TextualType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="FeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="LowLevelFeature" type="mpeg7:LowLevelFeatureType"/>
</choice>
</sequence>
<attribute name="ImportanceValue" type="mpeg7:zeroToOneType" use="optional"/>
</extension>
</complexContent>
</complexType>
<complexType name="LowLevelFeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="AudioDescriptor" type="mpeg7:AudioDType"/>
<element name="VisualDescriptor" type="mpeg7:VisualDType"/>
</sequence>
</extension>
</complexContent>
</complexType><complexType name="PhotoAlbumingToolType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SortKey" type="mpeg7:PhotoSortType"/>
<element name="SituationBasedClusteringHint" type="mpeg7:SituationBasedClusteringHintType"/>
<element name="Features" type="mpeg7:FeatureType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedClusteringHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="Brightness" type="mpeg7:zeroToOneType"/>
<element name="LevelOfDetail" type="mpeg7:zeroToOneType"/>
<element name="HomogeneousTexture" ="mpeg7:zeroToOneType"/>
<element name="HeterogeneousTexture" ="mpeg7:zeroToOneType"/>
<element name="Monochromatic" type="boolean"/>
<element name="Colorfulness" type="mpeg7:zeroToOneType"/>
<element name="ColorCoherence" type="mpeg7:zeroToOneType"/>
<element name="ColorTemperature" type="mpeg7:zeroToOneType"/>
</sequence>
</extension>
</complexContent>
<complexType name="PhotoSortType">
<simpleContent>
<restriction base="NMTOKEN">
<enumeration value="FileName"/>
<enumeration value="TakenDateTime"/>
<enumeration value="CreationDateTime"/>
</restriction>
</simpleContent>
</complexType>
<complexType name="FeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="LowLevelFeature" type="mpeg7:LowLevelFeatureType"/>
</choice>
</sequence>
<attribute name="ImportanceValue" type="mpeg7:zeroToOneType" use="optional"/>
</extension>
</complexContent>
</complexType>
<complexType name="LowLevelFeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="VisualDescriptor">
<simpleType>
<restriction base="NMTOKEN">
<enumeration value="HomogeneousTexture"/>
<enumeration value="ColorStructure"/>
<enumeration value="ColorLayout"/>
<enumeration value="IlluminationInvariantColor"/>
</restriction>
</simpleType>
</element>
</choice>
</sequence>
</extension>
</complexContent>
</complexType>
図９は、本発明に係る写真グループ記述構造をＸＭＬスキーマで表現したブロック図である。写真をクラスタリングした後の写真グループ情報を表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
<complexType name="PhotoGroupType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SituationBasedPhotoGroup" type="mpeg7:SituationBasedPhotoGroupType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedPhotoGroupType">
<complexContent>
<extension base="mpeg7:PhotoGroupType">
<sequence>
<element name="PhotoSeries">
<complexType>
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoID" type="IDREF" maxOccurs="unbounded"/>
</sequence>
</extension>
</complexContent>
</complexType>
</element>
<element name="KeyPhotoID" type="IDREF" minOccurs="0"/>
</sequence>
<attribute name="SituationID" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
図１０は、本発明に係るデジタル写真アルバム化のための全体記述構造をＸＭＬスキーマで表現したブロック図である。デジタル写真アルバム化のための全体記述構造をＸＭＬ形式で表現したものを以下に示す。
<schema targetNamespace="urn:mpeg:mpeg7:schema:2001" xmlns="http://www.w3.org/2001/XMLSchema" xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001" elementFormDefault="qualified" attributeFormDefault="unqualified">
<annotation>
<documentation>
This document contains visual tools defined in ISO/IEC 15938-3
</documentation>
</annotation>
<include schemaLocation="./mds-2001.xsd"/>
<complexType name="PhotoAlbumDSType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoAlbumDescription" type="mpeg7:PhotoAlbumType"/>
<element name="AlbumingToolDescription" type="mpeg7:PhotoAlbumingToolType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="PhotoAlbumType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Photo" type="mpeg7:PhotoType"/>
<element name="PhotoGroup" type="mpeg7:PhotoGroupType"/>
</sequence>
</extension>
</complexContent>
</complexType>
</schema>
一方、図１１は、本発明に係るデジタル写真の状況基盤クラスタリング方法を示すフローチャートである。図１１を参照して、本発明に係るデジタル写真の状況基盤クラスタリング装置の動作を説明する。
本発明に係るデジタル写真の状況基盤クラスタリング装置及び方法は、前記した記述情報を利用し、デジタル写真データのデジタル写真アルバム化を効率的に実行する。したがって、まず、デジタル写真が写真入力部１００を通じて入力されると（ステップ１１００）、写真を記述する情報であり、少なくとも写真識別子を含む写真記述情報が生成される（ステップ１１１０）。
また、デジタル写真クラスタリングのための所定のパラメータを含むアルバムツール記述情報が生成される（ステップ１１２０）。それから、入力写真、写真記述情報及びアルバムツール記述情報を利用することによって、写真が状況基盤クラスタリングされる（ステップ１１３０）。続いて、状況基盤クラスタリングされた結果が、所定の写真グループ記述情報として生成される（ステップ１１４０）。続いて、写真記述情報及び写真グループ記述情報を利用することによって、所定の写真アルバム情報が生成される（ステップ１１５０）。
図１２は、図１１のステップ１１１０で実行される動作を示す詳細フローチャートである。以下、図１２を参照して、写真記述情報の生成について説明する。まず、写真ファイルから、写真を撮影したカメラに関するカメラ情報及び写真撮影に関する撮影情報が抽出される（ステップ１２００）。続いて、写真の画素情報から所定の内容基盤特徴値が抽出される（ステップ１２２０）。続いて、抽出されたカメラ情報、撮影情報及び内容基盤特徴値を利用することによって、所定の写真記述情報が生成される（ステップ１２４０）。内容基盤特徴値は、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含む。写真記述情報は、写真識別子、写真を撮影した作者に関する作者情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも写真識別子を含む。
ステップ１１２０のアルバムツール記述情報は、図５に示すように、デジタル写真をクラスタリングする前に写真を整列する整列キー、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことが好ましい。整列キーは、ファイル名、写真撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含む。状況基盤クラスタリングヒントは、写真の全体的な明度情報（Brightness）、写真の複雑度情報（Level of detail）、写真の均一な質感情報（Homogeneous texture）、写真のエッジ情報（写真の不均一な質感情報）（Heterogeneous texture）、写真が白黒写真であるか否かに関する情報（Monochromatic）、写真の色表現の華やかさ程度（彩度）を表す情報（Colorfulness）、写真に表された全体色の凝集度を表す情報（Color coherence）、写真の色の色温度を表す情報（Color temperature）、写真ファイルが撮影時刻情報を含んでいるか否かを表す項目（Taken time）と、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報（Time overlap）と、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報（Audio clip）、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報（Recognized speech）のうち、少なくとも一つを含む。
重要度は、撮影時刻情報の重要度を設定する情報（Taken time）、及び、写真の内容基盤特徴値に関する情報の重要度を設定する情報（Low-level feature）のうち、少なくとも一つを含む。写真の内容基盤特徴値に関する情報の重要度を設定する情報（Low-level feature）は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定する情報（Visual descriptor）と、ＭＰＥＧ−７オーディオ記述子の重要度を設定する情報（Audio descriptor）と、を含む。
図１３は、図１１のステップ１１３０で実行される動作を示す詳細フローチャートである。以下、図１３を参照して、状況基盤クラスタリングのためのデジタル写真の状況変化検出方法について説明する。まず、状況基盤クラスタリングしようとする写真が、撮影時刻順に整列される（ステップ１３００）。続いて、撮影時刻順に整列された写真のうち、連続した二枚の写真のそれぞれから、時刻特徴値及び所定の内容基盤特徴値が取得（抽出）される（ステップ１３２０）。続いて、連続した二枚の写真のそれぞれについて、時刻特徴値に所定の時刻特徴値の重要度を反映し、内容基盤特徴値に内容基盤特徴値の重要度を反映する（ステップ１３４０）。続いて、二枚の写真間の非類似度が測定される（ステップ１３６０）。続いて、非類似度値の変化量を利用することによって、状況が変化しているか否かが判断され、状況変化が検出される（ステップ１３８０）。
本発明は、前記した情報を利用することによって、大容量のデジタル写真データをより速く、より効率的にデジタル写真アルバム化するための方法を提供するものであり、デジタル写真データを、写真を撮影した状況に基づいて自動的にクラスタリングする方法を含む。図１４は、図１３に示すステップ１１３０の一実施形態を示す図であり、デジタル写真データを、写真が撮影された状況に基づいて自動的にクラスタリングする方法を示すフローチャートである。
図１４において、１番目ないしＮ番目の写真が時刻順に並べられたとき、（ｉ）番目の写真で状況変化が発生したか否かは、（ｉ）番目の写真の特徴値と（ｉ−１）番目の写真の特徴値とを比較することによって判断される。本発明では、撮影日時情報と多重の内容基盤特徴値とを利用して、任意の写真列における状況変化地点を検出する方法が提案されている。
まず、（ｉ）番目の写真から相異なるＮ種類の内容基盤特徴値が抽出されたときには、（ｉ）番目の写真の内容基盤特徴値Ｆcontent（ｉ）は、式（１）によって表される。
Figure 2005317004
 ここで、（ｉ）番目の写真から抽出されたＦk（ｉ）は、それぞれの特徴値ベクトルを表しており、色、質感または形状特徴値である。
（ｉ）番目の写真の時刻特徴値Ｆtime（ｉ）は秒単位まで抽出され、式（２）によって表される。
Figure 2005317004
 ここで、ｆyear，ｆmonth，ｆday，ｆminute，ｆsecondは、それぞれ写真が撮影された年、月、日、時、分、秒を表す。
前記したように、本発明では、より高いクラスタリング性能を達成するために、写真に含まれるより上位概念である意味情報が、状況基盤クラスタリングヒント情報として表され、各写真のヒントに従い、写真クラスタリングに利用される特徴値の重要度が適宜設定される。
各内容基盤特徴値の重要度Ｖcontent（ｉ）は、与えられた状況基盤クラスタリングヒントによって決定され、式（３）によって表される。
Figure 2005317004
 ここで、ｖk（ｉ）は特徴値Ｆk（ｉ）の重要度を表し、０.０から１.０の範囲内の値を有することができ、与えられた状況基盤クラスタリングヒントに従い、式（４）によって表される。
Figure 2005317004
 ここで、functionk（・）は特徴値Ｆk（ｉ）の重要度測定関数を表しており、状況基盤クラスタリングヒントを変数とする関数値を有する。
なお、特徴値の種類による測定関数が使用される。
また、内容基盤特徴値の重要度と時刻特徴値の重要度との合計は、１.０になるようにする。したがって、撮影時刻の重要度Ｖtime（ｉ）は、式（５）を満たす値に設定される。
Figure 2005317004
前記のように決定された特徴値重要度を反映した内容基盤特徴値Ｆ'content（ｉ）及び時刻特徴値Ｆ'time（ｉ）は、式（６）によって表される。
Figure 2005317004
 次いで、（ｉ）番目の写真と（ｉ−１）番目の写真との非類似性を決定するために、まず、各特徴値の類似度の比較が、式（７）及び式（８）によって行われる。
時刻特徴値についての類似度の比較Ｄtime（ｉ）は、式（７）によって表される。
Figure 2005317004
 ここで、Φは、小さな時間間隔に対する感度を高めるために、時間差をスケーリングする関数であり、例えば、ログ関数などが使用できる。時刻情報がそのまま使用される場合において、二枚の写真間の時間間隔が小さい場合には、その差分値の変化が微小であり、時間間隔の増大に伴い差分値が急激に増大する。したがって、スケーリングが必要である。
内容基盤特徴値についての類似度の比較Ｄcontent（ｉ）は、式（８）によって表される。
Figure 2005317004
 ここで、Ｄk（ｉ）は、それぞれの特徴値ベクトルについての類似度の比較を表しており、色、質感または形状特徴値についての類似度の比較である。
（ｉ）番目の写真と（ｉ−１）番目の写真との間の最終的な非類似度Ｄtotal（ｉ）は、時刻特徴値の重要度及び内容基盤特徴値の重要度によって、式（９）によって表される。
Figure 2005317004
 ここで、Ｄtime＿maxは、対応するクラスタにおける最大時刻類似度値（maximum time similarity value）を表しており、状況変化が発生した写真で０に初期化され、次の状況変化が発生するまで、対応する状況クラスタにおける最大時刻類似度値が常に維持される。Ｄtime＿maxは、（ｉ）番目の写真と（ｉ−１）番目の写真との時間間隔が小さいほど値が小さくなる。指数関数及びαの値は、最終非類似度値が小さい値では変化量が小さく、大きい値では変化量を大きくするための役割を行う。αの値が大きいほど、最終非類似度値が小さな値における変化量と、最終非類似度値が大きい値における変化量との差は大きい。
最後に、（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生したか否かが、（ｉ−１）番目の写真と（ｉ−２）番目の写真との非類似度値と、（ｉ）番目の写真と（ｉ−１）番目の写真の非類似度値と、（ｉ＋１）番目の写真と（ｉ）番目の写真との非類似度値とを共に利用することによって判断される。
（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生したか否かは、隣接写真の非類似度値間の変化量によって決定される。図１５Ａは、一枚以上の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図であり、図１５Ｂは、一枚の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。
図１５Ａに示す例のように、（ｉ）番目の写真で状況変化が発生している場合には、相異なる状況で撮影された（ｉ）番目の写真と（ｉ−１）番目の写真との非類似度値は大きく、一方、互いに同じ状況で撮影された（ｉ＋１）番目の写真と（ｉ）番目の写真との非類似度値は小さい。
そのようなパターンを適用することによって、（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生しているか否かは、式（１０）によって求められる。
Figure 2005317004
 ここで、
ΔＤtotal（ｉ）＝Ｄtotal（ｉ）−Ｄtotal（ｉ−１）＋Ｄtotal（ｉ）−Ｄtotal（ｉ＋１）
であり、βは、状況変化が発生しているか否かを決定するための非類似度差分値の閾値を決める任意の定数である。
式（１０）で表された状況変化が発生しているか否かの検出方法は、一枚の写真から構成された状況クラスタを検出できない。一枚の写真から構成された状況クラスタの場合、図１５Ａで示すパターンではなく、図１５Ｂで示すパターンを有する。したがって、一枚の写真から構成された状況クラスタを検出できるようにするために、式（１１）のような方法が使用される。
Figure 2005317004
 ここで、
ΔＤ'total（ｉ）＝Ｄtotal（ｉ）−Ｄtotal（ｉ−１）
であり、γは、一枚の写真に状況変化が発生しているか否かを決定するための非類似度差分値の閾値を決める任意の定数である。
。
本発明は、コンピュータ読取可能な記録媒体に記録されたコンピュータ（情報処理機能を有するあらゆる装置を含む）読取可能なコードとして具現することが可能である。コンピュータ読取可能な記録媒体は、コンピュータシステムによって読取可能なデータを保存可能なあらゆる種類のデータ記録装置を含む。コンピュータ読取可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。
以上、本発明の好適な実施形態について詳細に説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。前記した実施形態は、当業者が本発明を容易に理解して実施できるようにするためのものであって、本発明の権利範囲を限定するためのものではない。したがって、当業者は、本発明の権利範囲内で多様な変形または変更が可能であるということに注目しなければならない。本発明の権利範囲は、原則的には特許請求の範囲によって決まる。
本発明は、デジタル写真について記述された情報を利用して、多くの写真で便利且つ容易にアルバムを構成することによって、大容量の写真データをより速く、より効率的にアルバム化するデジタル写真アルバムに有用に適用可能である。
本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置の構成を示すブロック図である。 アルバムツール記述情報生成部１２０を示す詳細ブロック図である。 本発明に係る状況基盤クラスタリングツールの構成を示すブロック図である。 写真記述情報生成部１１０で生成される写真記述情報の構造を説明するための図である。 図４の写真記述情報４０を利用して写真の状況基盤クラスタリングを行う過程において、効率的な写真クラスタリングのために必要なパラメータを表すための記述構造を示すブロック図である。 写真をクラスタリングした後の写真グループ情報を表すための記述構造６０００を示すブロック図である。 本発明に係る写真情報記述構造をＸＭＬスキーマで表現したブロック図である。 本発明に係る写真アルバム化のためのパラメータ記述構造をＸＭＬスキーマで表現したブロック図である。 本発明に係る写真グループ記述構造をＸＭＬスキーマで表現したブロック図である。 本発明に係るデジタル写真アルバム化のための全体記述構造をＸＭＬスキーマで表現したブロック図である。 本発明に係るデジタル写真の状況基盤クラスタリング方法を示すフローチャートである。 図１１のステップ１１１０で実行される動作を示す詳細フローチャートである。 図１１のステップ１１３０で実行される動作を示す詳細フローチャートである。 図１３に示すステップ１１３０の一実施形態を示す図であり、デジタル写真データを、写真が撮影された状況に基づいて自動的にクラスタリングする方法を示すフローチャートである。 一枚以上の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図であり、図１５Ｂは、一枚の写真より構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。 一枚の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。
符号の説明
１００ 写真入力部
１１０ 写真記述情報生成部
１２０ アルバムツール記述情報生成部
１３０ アルバムツール
１３５ 状況基盤クラスタリングツール
１４０ 写真グループ情報生成部
１５０ 写真アルバム情報生成部
１６０ アルバムデータベース

Claims (29)

  1. 状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、
    撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値を取得する時刻特徴値取得部と、
    前記連続した二枚の写真のそれぞれについて所定の内容基盤特徴値を抽出する内容基盤特徴値抽出部と、
    前記連続した二枚の写真のそれぞれについて前記時刻特徴値に所定の時刻特徴値の重要度を反映し、かつ、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映することによって、前記連続した二枚の写真間の非類似度を測定する非類似度測定部と、
    前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出する状況変化検出部と、
    を備えていることを特徴とするデジタル写真の状況変化検出装置。
  2. 前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１に記載のデジタル写真の状況変化検出装置。
  3. 前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
    写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１または請求項２に記載のデジタル写真の状況変化検出装置。
  4. 写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部と、
    デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部と、
    少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツールと、
    前記アルバムツールの出力から所定の写真グループ記述情報を生成する写真グループ情報生成部と、
    前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部と、
    を備えていることを特徴とするデジタル写真アルバムの状況基盤クラスタリング装置。
  5. 前記写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、
    前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項４に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  6. 前記アルバムツール記述情報生成部は、
    写真をクラスタリングする前に写真を整列するための項目を生成する整列キー生成部、
    写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント生成部、
    及び、写真クラスタリングに使用される情報の重要度を生成する重要度生成部のうち、少なくとも一つを備えていることを特徴とする請求項４または請求項５に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  7. 前記整列キー生成部の写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことを特徴とする請求項６に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  8. 前記状況基盤クラスタリングヒント部の状況基盤クラスタリングヒントは、
    写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことを特徴とする請求項６または請求項７に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  9. 前記重要度生成部の重要度は、
    写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことを特徴とする請求項６から請求項８のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  10. 前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことを特徴とする請求項９に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  11. 前記アルバムツールは、デジタル写真データを状況に基づいてクラスタリングする状況基盤写真クラスタリングツールを備えていることを特徴とする請求項４から請求項１０のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  12. 前記状況基盤写真クラスタリングツールは、
    状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、
    撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記写真記述情報生成部から時刻特徴値を取得する時刻特徴値取得部と、
    前記連続した二枚の写真のそれぞれについて、前記写真記述情報生成部から内容基盤特徴値を抽出する内容基盤特徴値抽出部と、
    前記連続した二枚の写真のそれぞれについて、前記時刻特徴値取得部から取得された時刻特徴値に前記アルバムツール記述情報生成部から取得された時刻特徴値の重要度を反映して、前記内容基盤特徴値抽出部から抽出された内容基盤特徴値に前記アルバムツール記述情報生成部から取得された内容基盤特徴値の重要度を反映して前記二枚の写真間の非類似度を測定する非類似度測定部と、
    前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出する状況変化検出部と、
    を備えていることを特徴とする請求項１１に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  13. 前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
    前記アルバムツール記述情報生成部の状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１２に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  14. 前記写真グループ情報生成部の写真グループ記述情報は、
    少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、
    前記状況基盤写真グループは、
    状況を識別するための状況識別子と、
    写真識別子により定められる複数の写真から構成される写真列と、
    写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、
    を含むことを特徴とする請求項４から請求項１３のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
  15. 状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、
    撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値と所定の内容基盤特徴値とを取得するステップと、
    前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、
    前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出するステップと、
    を含むことを特徴とするデジタル写真の状況変化検出方法。
  16. 前記内容基盤特徴値は、
    写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１５に記載のデジタル写真の状況変化検出方法。
  17. 前記時刻特徴値の重要度及び内容基盤特徴値の重要度は、
    写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１５または請求項１６に記載のデジタル写真の状況変化検出方法。
  18. （ａ）写真を撮影したカメラに関するカメラ情報、写真の撮影情報、及び写真の内容基盤特徴値のうち、少なくとも一つを抽出して写真記述情報を生成するステップと、
    （ｂ）デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するステップと、
    （ｃ）少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うステップと、
    （ｄ）状況基盤クラスタリングされた結果を利用して写真グループ記述情報を生成するステップと、
    （ｅ）前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成するステップと、
    を含むことを特徴とするデジタル写真アルバムの状況基盤クラスタリング方法。
  19. 前記（ａ）ステップの写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、
    前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１８に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  20. 前記（ｂ）ステップのアルバムツール記述情報は、
    写真をクラスタリングする前に写真を整列するための整列キー、
    写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、
    及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことを特徴とする請求項１８または請求項１９に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  21. 前記整列キーは、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことを特徴とする請求項２０に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  22. 前記状況基盤クラスタリングヒントは、
    写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことを特徴とする請求項２０または請求項２１に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  23. 前記重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことを特徴とする請求項２０から請求項２２のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  24. 前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことを特徴とする請求項２３に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  25. 前記（ｃ）ステップは、
    状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、
    撮影時間順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記時刻特徴値及び所定の内容基盤特徴値を取得するステップと、
    前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、
    前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出するステップと、
    を含むことを特徴とする請求項１８から請求項２４のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  26. 前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
    状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項２５に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  27. 前記（ｄ）ステップの写真グループ記述情報は、
    少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、
    前記状況基盤写真グループは、
    状況を識別するための状況識別子と、
    写真識別子により定められる複数の写真から構成される写真列と、
    写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、
    を含むことを特徴とする請求項１８から請求項２６のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
  28. 請求項１５から請求項１７のいずれか一項に記載のデジタル写真の状況変化検出方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
  29. 請求項１８から請求項２７のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
JP2005123677A 2004-04-21 2005-04-21 デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体 Pending JP2005317004A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040027578 2004-04-21
KR1020050029960A KR100624465B1 (ko) 2004-04-21 2005-04-11 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2005317004A true JP2005317004A (ja) 2005-11-10

Family

ID=34940911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005123677A Pending JP2005317004A (ja) 2004-04-21 2005-04-21 デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体

Country Status (3)

Country Link
US (1) US20050280719A1 (ja)
EP (1) EP1589444A3 (ja)
JP (1) JP2005317004A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213573A (ja) * 2006-02-06 2007-08-23 Samsung Electronics Co Ltd コンテンツを検索するためのユーザインターフェース、ユーザインターフェース提供方法、およびコンテンツ検索装置
JP2007257464A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 画像分類装置および方法並びにプログラム
CN101569478B (zh) * 2008-04-28 2012-03-28 鸿富锦精密工业（深圳）有限公司 在数码相框上制作数码相册的方法

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068309B2 (en) * 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
GB2438882A (en) * 2006-06-09 2007-12-12 Alamy Ltd Assignment of a display order to images selected by a search engine
US7801907B2 (en) 2006-06-13 2010-09-21 Alamy Limited Assignment of a display order to images selected by a search engine
US7917853B2 (en) 2007-03-21 2011-03-29 At&T Intellectual Property I, L.P. System and method of presenting media content
JP5034706B2 (ja) * 2007-06-19 2012-09-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20090052014A (ko) * 2007-11-20 2009-05-25 삼성디지털이미징 주식회사 인물별 자동분류 패킹 서비스를 제공하는 방법 및 이를제공하는 키오스크
US8239387B2 (en) * 2008-02-22 2012-08-07 Yahoo! Inc. Structural clustering and template identification for electronic documents
CN101667384A (zh) * 2008-09-05 2010-03-10 鸿富锦精密工业（深圳）有限公司 电子相框及其图片播放方法
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8385952B2 (en) 2008-10-23 2013-02-26 Microsoft Corporation Mobile communications device user interface
KR20100052676A (ko) * 2008-11-11 2010-05-20 삼성전자주식회사 컨텐츠 앨범화 장치 및 그 방법
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
TWI552608B (zh) 2008-12-19 2016-10-01 湯姆生特許公司 旨在保護存取於儲存機構上所記錄視聽文件之顯示裝置及方法
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8269736B2 (en) 2009-05-22 2012-09-18 Microsoft Corporation Drop target gestures
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
CN102207966B (zh) * 2011-06-01 2013-07-10 华南理工大学 基于对象标签的视频内容快速检索方法
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US9230340B2 (en) * 2012-05-04 2016-01-05 Semiconductor Components Industries, Llc Imaging systems with programmable fixed rate codecs
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
KR102298602B1 (ko) 2014-04-04 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
CN103997604B (zh) * 2014-04-29 2017-03-01 小米科技有限责任公司 照片同步方法及装置
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
CN106662891B (zh) 2014-10-30 2019-10-11 微软技术许可有限责任公司 多配置输入设备
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139995A (ja) * 1994-11-11 1996-05-31 Canon Inc 動画像のシーン変化点検出方法
JPH11345340A (ja) * 1998-04-22 1999-12-14 Nec Corp 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置
JP2003108975A (ja) * 2001-09-04 2003-04-11 Eastman Kodak Co 自動画像グループ分け方法及びシステム
JP2003233624A (ja) * 2001-12-26 2003-08-22 Eastman Kodak Co デジタル画像化システムで情緒的な情報を生成及び使用する方法
JP2003281163A (ja) * 2002-03-26 2003-10-03 Canon Inc 画像処理装置及び画像処理方法、記憶媒体
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004118573A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324545B1 (en) * 1997-10-15 2001-11-27 Colordesk Ltd. Personalized photo album
JP4056026B2 (ja) * 1998-11-09 2008-03-05 キヤノン株式会社 画像管理装置、画像管理方法及び記憶媒体
US7415662B2 (en) * 2000-01-31 2008-08-19 Adobe Systems Incorporated Digital media management apparatus and methods
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
US20020040375A1 (en) * 2000-04-27 2002-04-04 Simon Richard A. Method of organizing digital images on a page
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
US7076503B2 (en) * 2001-03-09 2006-07-11 Microsoft Corporation Managing media objects in a database
US20020154147A1 (en) * 2001-04-20 2002-10-24 Battles Amy E. Photo ranking system for creating digital album pages
US6832006B2 (en) * 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
JP4902936B2 (ja) * 2002-11-20 2012-03-21 ホットアルバムコム株式会社 コピー機能付きプログラムを記録した情報記録媒体
US7362919B2 (en) * 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
US7327347B2 (en) * 2002-12-23 2008-02-05 Fuji Xerox Co., Ltd. Image classifying systems and methods
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US7437005B2 (en) * 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
US20050212944A1 (en) * 2004-03-23 2005-09-29 Gideon Guy Digital photograph storage and viewing device
KR100738069B1 (ko) * 2004-10-04 2007-07-10 삼성전자주식회사 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및시스템
WO2006075902A1 (en) * 2005-01-14 2006-07-20 Samsung Electronics Co., Ltd. Method and apparatus for category-based clustering using photographic region templates of digital photo
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139995A (ja) * 1994-11-11 1996-05-31 Canon Inc 動画像のシーン変化点検出方法
JPH11345340A (ja) * 1998-04-22 1999-12-14 Nec Corp 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置
JP2003108975A (ja) * 2001-09-04 2003-04-11 Eastman Kodak Co 自動画像グループ分け方法及びシステム
JP2003233624A (ja) * 2001-12-26 2003-08-22 Eastman Kodak Co デジタル画像化システムで情緒的な情報を生成及び使用する方法
JP2003281163A (ja) * 2002-03-26 2003-10-03 Canon Inc 画像処理装置及び画像処理方法、記憶媒体
WO2004012105A2 (en) * 2002-07-29 2004-02-05 Hewlett-Packard Development Company, L.P. Presenting a collection of media objects
JP2004118573A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213573A (ja) * 2006-02-06 2007-08-23 Samsung Electronics Co Ltd コンテンツを検索するためのユーザインターフェース、ユーザインターフェース提供方法、およびコンテンツ検索装置
JP4536738B2 (ja) * 2006-02-06 2010-09-01 三星電子株式会社 コンテンツを検索するためのユーザインターフェース提供方法、およびコンテンツ検索装置
JP2007257464A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 画像分類装置および方法並びにプログラム
CN101569478B (zh) * 2008-04-28 2012-03-28 鸿富锦精密工业（深圳）有限公司 在数码相框上制作数码相册的方法

Also Published As

Publication number Publication date
US20050280719A1 (en) 2005-12-22
EP1589444A2 (en) 2005-10-26
EP1589444A3 (en) 2008-03-12

Similar Documents

Publication Publication Date Title
JP2005317004A (ja) デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体
US7756334B2 (en) Method, medium, and apparatus for person-based photo clustering in digital photo album, and person-based digital photo albuming method, medium, and apparatus
Tuffield et al. Image annotation with photocopain
US20060153460A1 (en) Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
US7107520B2 (en) Automated propagation of document metadata
US7120586B2 (en) Method and system for segmenting and identifying events in images using spoken annotations
US8473525B2 (en) Metadata generation for image files
US20060074771A1 (en) Method and apparatus for category-based photo clustering in digital photo album
US20080155422A1 (en) Automated production of multiple output products
CN101568969B (zh) 故事共享自动化
KR20090091311A (ko) 스토리 테마를 생성하는 컴퓨터로 구현되는 방법 및 이러한 방법을 수행하기 위한 프로그램 저장 디바이스와 스토리 구성 시스템
JP2008165303A (ja) コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
US20110137910A1 (en) Lazy evaluation of semantic indexing
US20060294096A1 (en) Additive clustering of images into events using capture date-time information
Sandhaus et al. Semantic analysis and retrieval in personal and social photo collections
JP2006216026A (ja) ディジタル写真の時間的イベント・クラスタリングのための有効な方法
JPWO2004034282A1 (ja) コンテンツ再利用管理装置およびコンテンツ再利用支援装置
US7578441B2 (en) Data retrieval method and apparatus
EP1805684A1 (en) Method, medium, and apparatus for person-based photo clustering in digital photo album, and person-based digital photo albuming method, medium, and apparatus
KR100624465B1 (ko) 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치
JP2001357045A (ja) 画像管理装置，画像管理方法および画像管理プログラムの記録媒体
KR20120064577A (ko) 부가정보를 이용한 자동 사진분류방법 및 장치
Chen Storyboard-based accurate automatic summary video editing system
JP2002288178A (ja) マルチメディア情報収集管理装置およびプログラム
Kim et al. User‐Friendly Personal Photo Browsing for Mobile Devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050829

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061114

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080407

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080407

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110628