JP2003016448A - 前景／背景セグメント化を用いた画像のイベント・クラスタリング - Google Patents

前景／背景セグメント化を用いた画像のイベント・クラスタリング

Info

Publication number
JP2003016448A
JP2003016448A JP2002089703A JP2002089703A JP2003016448A JP 2003016448 A JP2003016448 A JP 2003016448A JP 2002089703 A JP2002089703 A JP 2002089703A JP 2002089703 A JP2002089703 A JP 2002089703A JP 2003016448 A JP2003016448 A JP 2003016448A
Authority
JP
Japan
Prior art keywords
images
foreground
image
background
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002089703A
Other languages
English (en)
Other versions
JP4139615B2 (ja
Inventor
Alexander C Loui
シー ルイ アリグザンダー
Matthieu Jeanson
ジャンソン マティユ
Zhaohui Sun
サン ジャオホォイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2003016448A publication Critical patent/JP2003016448A/ja
Application granted granted Critical
Publication of JP4139615B2 publication Critical patent/JP4139615B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 画像を前景及び背景などの粗い領域へセグメ
ント化し、前景領域と背景領域との間の類似性からの全
体的な類似性度合を導くシステムを提供すること。 【解決手段】 イベント・クラスタリング方法は、前景
及び背景セグメント化を用いて、画像を一グループから
類似のイベントへクラスタリングする。最初、各画像は
複数のブロックへ分割され、よってブロック・ベースの
画像が提供される。ブロック毎の比較によって、各ブロ
ック・ベースの画像は、少なくとも前景及び背景を有す
る複数の領域へセグメント化される。１以上の光度、
色、位置、及びサイズ特徴が領域から抽出され、この抽
出された領域はグループ内の連続画像中の前景及び背景
を有する領域の類似性を評価・比較するのに利用され
る。次いで、連続画像間の全体の類似性の度合が計算さ
れることによって連続画像間の画像相違度合が提供さ
れ、この画像相違度合からイベント・クラスタの範囲が
定められる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、概して、消費者が
取り込んだ画像の自動アルバム化の分野に係り、特に、
イベントの類似性によって消費者が取り込んだ画像を分
類するシステムに関する。
【０００２】
【従来の技術】画像は、それらを抽出したり、閲覧した
り、アルバム化したりする際の便宜のために、特定のイ
ベントや主題などによって分類される場合が多い。通
常、これは、手動で画像をセグメント化することによっ
て達成されるか、或いは、似た視覚的コンテンツのグル
ープに画像を分けるために画像を色、形状、テクスチャ
によってグループ化する自動化された方法によって達成
される。コンテンツの正確な判断はこの仕事を容易にす
る。イベント分類に向けられたものではないが、コンテ
ンツに基づく画像抽出及び画像のコンテンツ描写に取り
組んだ従来技術は存在する。いくつかの典型的な参考文
献を以下に説明する。
【０００３】米国特許第６，０７２，９０４号：「Ｆａ
ｓｔ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ
ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅ ｒｅｐｒｅｓｅｎｔ
ａｔｉｏｎ ｏｆ ｉｍａｇｅｓ」において、画像抽出
技術は、マルチスケール・エッジ特性を利用する。デー
タベースの目標画像及び各画像は各画像内のエッジ特性
ベクトルによって特徴付けられる。抽出は、画像自体で
はなく、この特性ベクトルの比較によって達成される。
米国特許第５，９１１，１３９号：「Ｖｉｓｕａｌ ｉ
ｍａｇｅ ｄａｔａｂａｓｅ ｓｅａｒｃｈ ｅｎｇｉ
ｎｅ ｗｈｉｃｈ ａｌｌｏｗｓ ｆｏｒ ｄｉｆｆｅ
ｒｅｎｔ ｓｃｈｅｍａ」において、コンテンツに基づ
く検索及び視覚的オブジェクトの抽出のための視覚情報
抽出エンジンが開示されている。該エンジンは、視覚的
オブジェクト上で作動するために普遍的なプリミティブ
群を用い、類似性スコアを生成するために異種比較を実
行する。米国特許第５，８５２，８２３号：「Ｉｍａｇ
ｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｔｒ
ｉｅｖａｌ ｓｙｓｔｅｍ ｕｓｉｎｇ ａ ｑｕｅｒ
ｙ−ｂｙ−ｅｘａｍｐｌｅ ｐａｒａｄｉｇｍ」は、例
ごとの照会による画像分類及び抽出についてのパラダイ
ムを教える。この方法は、意味論をベースとし、言語学
的に検索可能な入力画像の所定のグループの数値記述子
を生成する。この記述子は、特に個別の画像を自動的に
分類するシステムにおいて有益的である。
【０００４】
【発明が解決しようとする課題】上記３つの特許によっ
て取り組まれたタスクは、画像抽出の一種であり、すな
わちデータベースから類似の画像を見つけるものであ
る。これは、消費者画像に対する写真アルバム組織化な
どの消費者画像に対するイベント・クラスタリングのタ
スクとは異なる。上記特許に開示された記述子はイベン
ト・クラスタリングのために前景及び背景のセグメント
化を用いることを示唆していない。より重要なことに、
画像を前景及び背景へセグメント化が、画像類似性度合
として考慮されていない。
【０００５】同一人に譲渡された米国特許第６，０１
１，５９５号：「Ｍｅｔｈｏｄ ｆｏｒ ｓｅｇｍｅｎ
ｔｉｎｇ ａ ｄｉｇｉｔａｌ ｉｍａｇｅ ｉｎｔｏ
ａｆｏｒｅｇｒｏｕｎｄ ａｎｄ ａ ｋｅｙ ｃｏ
ｌｏｒ ｒｅｇｉｏｎ」（発行日：２０００年１月４
日、発明者：Ｔ．Ｈｅｎｄｅｒｓｏｎ， Ｋ．Ｓｐａｕ
ｌｄｉｎｇ，及びＤ．Ｃｏｕｗｅｎｈｏｖｅｎ）は、前
景領域及び主要色背景領域の画像セグメント化を教え
る。しかし、画像の類似性を比較するのに前景／背景の
分離は用いられていない。
【０００６】同一人に譲渡された米国特許出願（シリア
ル番号０９／１６３，６１８）：「Ａ ｍｅｔｈｏｄ
ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｃｌａｓｓｉｆ
ｙｉｎｇ ｉｍａｇｅｓ ｉｎｔｏ ｅｖｅｎｔｓ」
（出願日：１９９８年９月３０日、発明者：Ａ．Ｌｏｕ
ｉ，及びＥ．Ｐａｖｉｅ）、及び、同一人に譲渡された
米国特許出願（シリアル番号０９／１９７，３６３）：
「Ａ ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｍａｔｉｃａｌ
ｌｙ ｃｏｍｐａｒｉｎｇ ｃｏｎｔｅｎｔ ｏｆ ｉ
ｍａｇｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ
ｉｎｔｏ ｅｖｅｎｔｓ」（出願日：１９９８年１１月
２０日、発明者：Ａ．Ｌｏｕｉ，及びＥ．Ｐａｖｉｅ）
は、技術的アプローチは異なるが、消費者画像に対する
イベント・クラスタリングのより良いシステムを構築す
るための継続的な努力を表す。シリアル番号：０９／１
６３，６１８は、データ及び時刻情報を用いたイベント
・クラスタリングについて開示している。シリアル番
号：０９／１９７，３６３は、データ及び時刻情報が使
用不可能である場合に用いられ得る、画像イベント・ク
ラスタリングのためのブロック・ベースのヒストグラム
補正方法について開示している。この方法は、比較のた
めに（固定された四角形のセグメント化によって実現さ
れる）主題エリアを用いることを教えるが、固定された
四角形よりも正確な前景／背景セグメント化を自動的に
実行する方法については何ら提案していない。
【０００７】Ａ．Ｌｏｕｉ，及びＡ．Ｓａｖａｋｉｓに
よる「Ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ｅｖｅｎｔ
ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｑｕａｌｉｔｙ
ｓｃｒｅｅｎｉｎｇ ｆｏｒ ａｌｂｕｍｉｎｇ ａｐ
ｐｌｉｃａｔｉｏｎｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ Ｉ
ＥＥＥ ＩＣＭＥ２０００，Ｎｅｗ Ｙｏｒｋ，２００
０年８月）、及び、Ｊｏｈｎ Ｐｌａｔｔによる「Ａｕ
ｔｏＡｌｂｕｍ：Ｃｌｕｓｔｅｒｉｎｇ ｄｉｇｉｔａ
ｌ ｐｈｏｔｏｇｒａｐｈｓ ｕｓｉｎｇ ｐｒｏｂａ
ｂｉｌｉｓｔｉｃ ｍｏｄｅｌ ｍｅｒｇｉｎｇ」（Ｐ
ｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ
ｏｎ Ｃｏｎｔｅｎｔ−ｂａｓｅｄ Ａｃｃｅｓｓ ｏ
ｆ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｌｉｂｒａｒｉ
ｅｓ，２０００）の両文献は、特に、消費者画像のイベ
ント・クラスタリングに関する。しかし、上記２文献の
方法は、いずれも画像領域を調査しておらず、前景／背
景分離の利点を活かしていない。Ｌｏｕｉ及びＳａｖａ
ｋｉｓは、データ及び時刻情報と全般的な画像コンテン
ツとに基づくイベント・クラスタリング・スキームを教
える。Ｐｌａｔｔは、確率的画像マージングに基づくク
ラスタリング・スキームを教える。上記方法はいずれも
前景／背景分離に取り組んでいない。
【０００８】必要とされているものは、画像を前景及び
背景などの粗い領域へセグメント化し、前景領域と背景
領域との間の類似性からの全体的な類似性度合を導くシ
ステムである。更に、このようなシステムは、消費者画
像の不必要なディテール及び無関係なクラスタによって
混乱されるべきではない。
【０００９】
【課題を解決するための手段】本発明は、上記問題の１
以上を克服することに向けられている。簡単にまとめる
と、本発明の一態様によれば、イベント・クラスタリン
グ方法は、前景及び背景セグメント化を用いて、画像を
一グループから類似のイベントへクラスタリングする。
最初、各画像は複数のブロックへ分割され、よってブロ
ック・ベースの画像が提供される。ブロック毎の比較に
よって、各ブロック・ベースの画像は、少なくとも前景
及び背景を有する複数の領域へセグメント化される。１
以上の光度、色、位置、及びサイズ特徴が上記領域から
抽出され、この抽出された領域はグループ内の連続画像
中の前景及び背景を有する領域の類似性を評価・比較す
るのに利用される。次いで、連続画像間の全体の類似性
の度合が計算されることによって連続画像間の画像相違
度合（ｉｍａｇｅ ｄｉｓｔａｎｃｅ）が提供され、こ
の画像相違度合からイベント・クラスタの範囲が定めら
れる。
【００１０】本発明は、更に、自動アルバム化に用いる
ことができ、画像管理及び組織化タスクに関連する、前
景／背景セグメント化を用いた消費者画像のイベント・
クラスタリング・システムを含む。開示されるシステム
の目標は、複数の消費者写真ロールを、前景及び背景の
分離に注目し、画像コンテンツに基づいて、複数のイベ
ントへ分類することである。このシステムの重要な態様
は、前景及び背景セグメント化に基づき、画像間のより
良い一致と改善された性能をもたらす自動イベント・ク
ラスタリングである。本発明の他の利点は、セグメント
化にブロック・ベースのアプローチを用いることであ
る。これは、ピクセル・ベースのセグメント化スキーム
よりも計算力の効率が良い。
【００１１】本発明の上記及び他の態様、目的、特徴、
及び利点は、添付図面を参照して以下の好ましい実施形
態の詳細な説明及び付属の請求項を読むことによってよ
り明らかとなる。
【００１２】
【発明の実施の形態】以下の説明において、通常はソフ
トウェア・プログラムとして実施されるであろう本発明
の好ましい実施形態を説明する。このようなソフトウェ
アと等価なものはハードウェアでも構築できることは当
業者には明らかである。画像取扱アルゴリズム及びシス
テムはよく知られているため、本説明は本発明に係るシ
ステム及び方法の一部を形成する又はより直接的に協働
するアルゴリズム及びシステムに特に向けられる。この
ようなアルゴリズム及びシステムの他の態様、及び、こ
こに具体的に図示又は説明されていないが、それと共に
含まれる画像信号を生成又は処理するハードウェア及び
／又はソフトウェアは、既知のシステム、アルゴリズ
ム、部品、及び要素から選択されてもよい。以下の説明
において本発明に従って説明されるシステムに対して、
本発明の実施に対して有益的であるとここに具体的に図
示又は説明されていないソフトウェアは従来通りであ
り、当業者の範囲内である。
【００１３】更に、ここで用いられるように、コンピュ
ータ・プログラムはコンピュータ可読記録媒体に記録さ
れてもよい。このコンピュータ可読記録媒体には、例え
ば、磁気ディスク（ハードディスクやフロッピィ・ディ
スク（Ｒ）など）や磁気テープなどの磁気記録媒体、光
ディスク、光テープなどの光記録媒体、機械可読バーコ
ード、ランダム・アクセス・メモリ（ＲＡＭ）やリード
・オンリ・メモリ（ＲＯＭ）などの固体半導体電子記録
装置、及び、コンピュータ・プログラムを記録するのに
採用されるあらゆる他の物理的装置若しくは媒体が含ま
れる。
【００１４】本発明は、自動アルバム化に用いられ、画
像管理及び組織化タスクに関連する、前景／背景セグメ
ント化を用いた消費者画像のイベント・クラスタリング
・システムについて開示する。消費者画像をいかなるコ
ンテンツ描写も無しに意味的に意味の有るイベントへ自
動的に組織化することはやりがいのあるタスクである。
ここで開示するシステムの目標は、複数の消費者写真ロ
ールを、前景及び背景の分離を強調し、画像コンテンツ
に基づいて複数のイベントへ分類することである。本開
示の重要な態様は、画像間により良い類似性の一致をも
たらし、性能を向上させた、前景／背景セグメント化に
基づく自動イベント・クラスタリングである。
【００１５】まず図１を参照する。本発明に係るイベン
ト・クラスタリング・システムが画像グループについて
作動する（８）。これら画像は、フィルム・ロールから
スキャンされた画像であってもよく、画像データベース
などの他のソースから提供された画像であってもよい。
これら画像は、通常、消費者画像である。なぜなら、そ
れはより多くのイベント・クラスタリングに対する価値
が見出され得る場所だからである。しかし、上記画像は
このような画像に限られる必要はない。本イベント・ク
ラスタリング・アルゴリズムは、以下のような４つの主
要なモジュールから構成される。 ・第一のモジュール１０は、グループ内の各画像を前景
及び背景を含む複数の領域へセグメント化する。 ・第二のモジュール１２は、光度、色、位置、サイズな
どのローレベルな特徴を上記前景及び背景を含む複数の
領域から抽出する。 ・第三のモジュール１４は、前景及び背景のすべての領
域を考慮し、他方でメモリのフレーム順を利用して、連
続画像間の相違度合（ｄｉｓｔａｎｃｅ）（非類似性）
を計算する。 ・第四のモジュール１６は、クラスタの範囲を定めるた
めに、連続画像及びより相違度合（ｄｉｓｔａｎｃｅ）
の大きい分離された画像を含むグループ内の画像間の最
大相違度合を決定する。本発明は、イベント・クラスタ
リングと考えられ得るため、前述のモジュールのそれぞ
れは、該方法を実行することによって実現される工程と
考えられ得る。
【００１６】前景及び背景の細かく正確なセグメント化
は難しく、多くの計算力が必要となるため、前景及び背
景の粗いセグメント化が好ましく、それで十分に目的に
役立つ。したがって、第一のモジュール１０において、
画像はブロックへ分割され、図２Ａ及び２Ｂに示すよう
に、領域を形成するための異なるブロック・トゥ・ブロ
ック分離を接続するために、隣接ブロック間の非類似性
が計算される。より具体的に言えば、画像は、まずグリ
ッド線２０について四角形ブロックへ分割される。次い
で、各四角形ブロック２２に対して、第二のモジュール
１２と関連して後述する特徴を用いて、その隣接ブロッ
クに対する相違度合（非類似性）が計算される。（式
（３）及び（４）において計算された相違度合（ｄｉｓ
ｔａｎｃｅ）がブロック対ブロックの非類似性を確立す
るのに用いられることが好ましい。）次いで、最大相違
度合が識別され、この最大相違度合が四角形ブロック間
の初期の分離境界を確立するのに用いられる。
【００１７】この初期の分離境界が互いに又は画像境界
から分離されると、次いで、すべての分離境界が接続さ
れ、複数の領域２８ａ、２８ｂ、・・・２８ｅが形成さ
れるまで、それらは、（図２Ａに矢印接続２６によって
示す）最大残留相違度合の間に存在するブロック境界に
沿って、互いに又は画像境界に接続される。次いで、こ
れら領域は、すべての領域２８ａ、２８ｂ・・・２８ｅ
間の相違度合（ｄｉｓｔａｎｃｅ）を計算し、最小相違
度合を有する領域をマージすることによって２つずつマ
ージされる。これは、領域の２つの組み合わせが残るま
で繰り返される。次いで、サイズ、位置、画像境界との
接触などの異なる領域特性が、前景から背景を区別する
ために用いられる。例えば、中心に位置する大きな領域
の組み合わせは前景である場合が多く、その外側に位置
する残りの組み合わせは背景である場合が多い。図２Ｂ
に示すように、これは、最適なことに、２つの別の領域
組み合わせ：背景３０を有する領域２８ａ及び２８ｅの
組み合わせ、及び、前景３２を有する領域２８ｂ、２８
ｃ、及び２８ｄの組み合わせをもたらす。実際の画像の
一例として、図３は、前述のブロック・ベースのアプロ
ーチを用いて、灯台の画像のおおよその前景及び背景セ
グメント化を示す。
【００１８】特定の状況において、特に画像中のある小
さい領域が該画像の残りの領域と全く異なる場合におい
て、上記ブロック・ベースのセグメント化処理は、数個
のブロックについてのみ前景若しくは背景を提供しても
よい。これら数個のブロックは、正確な背景／前景セグ
メント化には十分でないかもしれない。この結果を避け
るために、このセグメント化処理において形成された所
定数の領域がそれぞれ所定サイズより小さい場合、その
前景は固定サイズ及び位置の四角形によって近似され
る。（上記所定数は経験的に決定されてもよい。）直感
的に、この四角形の位置は、左端と右端との間の中心で
あり、上端と下端との間の中心の少し下である。図８と
の関連で後述するように、これら特定の状況に対して主
たるセグメント化処理からの修正を許容することによ
り、改善された結果を提供することができる。
【００１９】このブロック・ベースのセグメント化は簡
素化及び効率化のために好ましいが、他の自動セグメン
ト化技術が用いられてもよい。例えば、ここに参考文献
として組み込まれる、Ｊ．Ｌｕｏらの名で１９９８年１
２月３１日に出願された、共通して譲り受けられた同時
係属米国特許出願第０９／２２３，８６０号：「Ｍｅｔ
ｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｒｍｉ
ｎａｔｉｏｎ ｏｆＭａｉｎ Ｓｕｂｊｅｃｔｓ ｉｎ
Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ」において
採用されているセグメント化方法が用いられてもよい。
但し、この方法は計算の複雑さがある程度必要である。
このセグメント化方法は、以下の２つのレベルのセグメ
ント化を提供する。 ・均一の複数の領域から構成される第一のレベル ・上記第一のレベルからの領域を前景、背景、及び中間
領域を形成するためにグループ化する第二のレベル 加えて、特定の状況においては、上記ブロック・ベース
のセグメント化処理は、他の領域からの相違度合（ｄｉ
ｓｔａｎｃｅ）が背景に関連付けるにも前景に関連付け
るにも十分に明確でないために中間領域として分類する
のが最適である不確実な領域に出くわすこともある。
【００２０】第一のモジュール１０において画像がセグ
メント化された後、第二のモジュール１２において、光
度、色、位置、及びサイズなどの１又は複数のローレベ
ル特徴が前景３０及び背景３２を有する領域から抽出さ
れる。この段階において、各特徴抽出アルゴリズムは、
自由に使えるセグメント化の結果として作成されたオリ
ジナルの画像情報及びマスクを有し、これらを前景及び
背景画像情報を分離するのに用いる。光度に対する特徴
抽出アルゴリズムは、ＹＵＶ変換用の式：
【００２１】
【数１】 に基づく。ここで、Ｙは輝度であり、ＲＧＢは画像の個
々のピクセルから得られた色情報を表す。平均輝度は、
前景及び背景を有する領域に対して計算される。２つの
異なる領域間の相違度合（ｄｉｓｔａｎｃｅ）は、単純
に、これら平均値の差の絶対値である。この特徴に基づ
いて、画像は、例えば、屋外画像、よくハイライトされ
た画像、及び、夜、屋内、又は暗い環境で撮られた画像
へ分離される。
【００２２】領域の色特徴を計算するために、まず、色
相（Ｈ）、強度（Ｉ）、及び彩度（Ｓ）が、式：
【００２３】
【数２】 を用いて量子化される。画像のすべての領域は色群によ
って表される。２つの色群ｃ０及びｃ１間の相違度合を
計算するために、まず相違度合（ｄｉｓｔａｎｃｅ）が
計算され、次いで該領域の異なるサイズを考慮するため
の成分が加えられる。よって、各成分はより強調又はよ
り非強調される。２つの色群成分ｍ０＝（ｈ０，ｉ０，
ｓ０）及びｍ１＝（ｈ１，ｉ１，ｓ１）を与えると、そ
の相違度合は、
【００２４】
【数３】 として計算される。ここで、ｈｃｏｅｆｆ、ｉ
ｃｏｅｆｆ、及びｓｃｏｅｆｆはユーザが決定してよ
い。次いで、この２つの色群ｃ０及びｃ１間の相違度合
は、
【００２５】
【数４】 によって決定される。ここで、ｎ０及びｎ１は領域０及
び１のピクセル数であり、ｃ［ｍ］はレベルｍに対する
色群ｃのピクセル数である。
【００２６】異なる領域の位置特徴及びサイズ特徴を考
慮することはより望ましい。例えば、より高い重み付け
を画像の中心領域に割り当ててもよい。
【００２７】これらローレベル特徴及び相違度合が抽出
され、前景及び背景を有する領域が各画像に対して決定
されると、図４に示すように、同じグループからの異な
る画像４０及び４２の（セグメント化によって生じた）
異なる領域間の相違度合がモジュール１４において計算
される。この工程の目標は、各画像のすべての領域を考
慮し、異なる画像間の相違度合を計算することである。
ここで、相違度合メトリックはブロック・ベースのセグ
メント化に対して用いられたもの（例えば、光度相違度
合、及び／又は、色群相違度合）である。
【００２８】各画像に対して、前景及び背景を有する異
なる領域と、更には、おそらく中間エリアを有する領域
が存在する。目標は、同じタイプの領域を比較（例え
ば、前景対前景、背景対背景）することである。但し、
中間エリアの場合を除く。ここで、これらは互いに比較
されると共に、背景及び前景を共に有する領域とも比較
される。より具体的には、図４を参照し、画像４０の前
景を有する３つの領域４４ａ、４４ｂ、４４ｃは、画像
４２の前景を有する２つの領域４６ａ及び４６ｂと比較
される。同様に、別々の並べられていないが、画像４０
の背景を有する（チェック・マークによって示されてい
る）３つの領域は、画像４２の背景を有する（同じくチ
ェック・マークによって示されている）単一の領域と比
較される。図４は、更に、中間エリアの状況を示す。こ
こで、画像４０及び４２の中間エリアを有する２つの領
域は、互いに比較されると共に、これら２つの画像の前
景及び背景を有する領域とも比較される。
【００２９】連続画像において前景及び背景を有する異
なる領域間の相違度合が計算されると、これら画像間の
全体の相違度合が、モジュール１４において、調和平均
式：
【００３０】
【数５】 を用いて計算される。ここで、ａｉは個々の画像におい
て前景及び背景を有する個別の領域間の非類似性（相違
度合）である。
【００３１】連続画像間の全体の非類似性がモジュール
１４において決定されると、モジュール１６において、
個々の画像の画像相違度合に応じてイベント・クラスタ
リングが決定される。所定の連続画像間の相違度合に対
して閾値を選らび、この閾値を上回るすべての相違度合
は異なる別のイベント・クラスタであると決定されても
よい。逆に言えば、この閾値を下回る相違度合は、別の
イベントとして扱われない。このような画像は同じイベ
ントに属する。この閾値は、一定数であってもよく、相
違度合分布の統計的特性（最大相違度合、平均相違度
合、分散など）の関数であってもよく、所望クラスタ数
であってもよく、全分布のエントロピィ（エントロピィ
閾値処理については、Ｎ．Ｒ．Ｐａｌ及びＳ．Ｋ．Ｐａ
ｌ「Ｅｎｔｒｏｐｉｃ Ｔｈｒｅｓｈｏｌｄｉｎｇ」、
Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、１６、９７〜１
０８頁、１９８９に記載されている）であってもよい。
好ましい実施において、この閾値は画像グループにおけ
る平均及び最大相違度合の関数である。
【００３２】明らかに同じイベントに属する複数の画像
が年代順に並び、すべては合間の１の（又は２〜３の）
画像を除いて似ているという場合も時々ある。画像が年
代順に並んでいることを活かすために、連続した（すな
わち、隣接する）画像間の相違度合（ｄｉｓｔａｎｃ
ｅ）を計算するためだけでなく、より距離的に離れた画
像間の相違度合を計算するためにもメモリが採用され得
る。図５Ａ、５Ｂ、及び５Ｃに示すように、イベントの
切れ目が存在すると判断されると、隣接する画像５０
（メモリ無し）が比較されるか（図５Ａ）、他のすべて
の画像５２（１画像メモリ）が比較されるか（図５
Ｂ）、又は、他の画像が２画像ずつ（２画像メモリ）比
較される（図５Ｃ）。より具体的には、調和平均によっ
て測定された全体の相違度合は、画像グループが見かけ
上のイベントに属するか否かを判断するために個々の画
像間において取られてもよい。
【００３３】前景及び背景分離を用いて、複数の画像に
ついてのイベント・クラスタリング例を調べることは本
発明の理解を容易にする。図６は、４つの典型的な消費
者画像に対する前景及び背景分離の一例を示す。２つの
イベントの切れ目が検知される。一方は、画像２及び３
の間の切れ目６０であり、他方は、画像３及び４の間の
切れ目６２である。画像の一行目は上記４つの画像を示
す。二行目及び三行目は、１レベル及び２レベルの前景
及び背景セグメント化の結果を示す。図６は、更に、ブ
ロック・ベースのアプローチを用いて、前景及び背景分
離を行った結果を示す。これら画像間の前景及び背景を
有する領域は、図７に示すように類似性について比較さ
れ、それら個々の相違度合がイベント・クラスタリング
に用いられる。
【００３４】イベント・クラスタリング・アルゴリズム
を評価するのに適合率−再現率プロットが用いられる。
再現率及び適合率は、
【００３５】
【数６】 として定義される。ここで、再現率はどれだけ多くのイ
ベントの切れ目が見過ごされたかを示し、適合率はどれ
だけ多くのイベントの切れ目がイベントの切れ目が無い
にもかかわらず誤って検知されたか示す。数字は０〜１
の間である。数が大きいほど、システム性能が良い。
【００３６】このイベント・クラスタリング・アルゴリ
ズムは、２６００の典型的な消費者画像に対してテスト
された。メモリ無しの再現率／適合率性能を図８に示
す。基本型アプローチは、ブロック・ベースの前景及び
背景分離を用いた。改良型アプローチは、ブロック・ベ
ースの前景／背景セグメント化と、前述の特定の状況に
対する固定された四角形の前景／背景分離との組み合わ
せを示す。ここで、上記セグメント化は、前景の固定さ
れた四角形によって単に置き換えられる。このために、
本システムは、２画像面メモリを用いた２６００の消費
者画像のイベント・クラスタリングに対して、適合率５
８％及び再現率５８％を実現した。
【００３７】本発明の主題は、ディジタル画像理解技術
に関する。この技術は、ディジタル画像を認識し、人間
にとって理解可能なオブジェクト、属性、又は状態に対
して有意義な意味を割り当て、その後、該ディジタル画
像の更なる処理で得られた結果を利用するためにディジ
タルに処理することを意味することは明らかである。
【００３８】本発明を特定の好ましい実施形態を特に参
照して説明したが、本発明の意図及び範囲内で変形及び
修正が可能であることは明らかである。例えば、イベン
ト・クラスタリングに対して前景及び背景セグメント化
を用いるアイディアは、複数の領域を用いることに対し
ても同様に拡張され得る。
【００３９】
【発明の効果】本発明によれば、画像を前景及び背景な
どの粗い領域へセグメント化し、前景領域と背景領域と
の間の類似性からの全体的な類似性度合を導くシステム
を提供することができる。
【図面の簡単な説明】
【図１】本発明に係るブロック・ベースの前景／背景セ
グメント化を用いたイベント・クラスタリングのブロッ
ク図である。
【図２Ａ】図１に示すブロック・ベースのセグメント化
技術の詳細、特に領域を形成するためのブロック境界分
離の結合を示す図である。
【図２Ｂ】図１に示すブロック・ベースのセグメント化
技術の詳細、特に領域を形成するためのブロック境界分
離の結合を示す図である。
【図３】本発明に係る前景／背景セグメント化の一例を
示す図である。
【図４】２つの画像において前景及び背景を有する領域
について生成された相違度合（非類似性）の比較を表す
図である。
【図５Ａ】連続的で且つ相違度合の大きい画像の時系列
における各画像間の相違度合を計算するためのメモリの
使用を示す図である。
【図５Ｂ】連続的で且つ相違度合の大きい画像の時系列
における各画像間の相違度合を計算するためのメモリの
使用を示す図である。
【図５Ｃ】連続的で且つ相違度合の大きい画像の時系列
における各画像間の相違度合を計算するためのメモリの
使用を示す図である。
【図６】４つの消費者画像に対する前景及び背景分離の
一例を示す図である。
【図７】図６に示す４つの画像の前景領域と背景領域と
の間の類似性比較を示す図である。
【図８】前景／背景セグメント化を用いたイベント・ク
ラスタリングの性能を示す適合率／再現率プロットであ
る。
【符号の説明】
１０ 第一のモジュール １２ 第二のモジュール １４ 第三のモジュール １６ 第四のモジュール ２０ グリッド線 ２２ 四角形ブロック ２４ 初期の分離 ２６ 矢印延長 ２８ 領域 ３０ 背景 ３２ 前景 ４０ 画像 ４２ 画像 ４４ａ・・・ 前景を有する領域 ４６ａ・・・ 前景を有する領域 ５０ 隣接する画像 ５２ すべての他の画像 ５４ すべての他の２画像 ６０ 第一のイベントの切れ目 ６２ 第二のイベントの切れ目
───────────────────────────────────────────────────── フロントページの続き (72)発明者 マティユ ジャンソン アメリカ合衆国 カリフォルニア 95132 サンノゼ サマーヴュー・ドライヴ 1050 (72)発明者 ジャオホォイ サン アメリカ合衆国 ニューヨーク 14623 ロチェスター リチャードソン・ロード 299 Ｆターム(参考） 5B075 ND06 NR12 5L096 AA02 FA14 FA15 FA59 JA03 JA11 MA07

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 画像を一グループから類似のイベントへ
    クラスタリングする、前景及び背景セグメント化を用い
    たイベント・クラスタリング方法であって、 （ａ） 各画像を少なくとも前景及び背景を有する複数
    の領域へセグメント化し、 （ｂ） 前景及び背景を有する前記領域から、該領域の
    光度、色、位置、及びサイズのうちの少なくとも一を含
    む特徴の１以上を抽出し、 （ｃ） この特徴を利用して、前記グループの連続画像
    の前景及び背景を有する前記領域の類似性を計算し、 （ｄ） 連続画像間の全体としての類似性の度合を計算
    して連続画像間の画像相違度合を提供し、 （ｅ） この画像相違度合から、同じイベントに関連す
    る画像グループを含むようにイベント・クラスタの範囲
    を定めることを特徴とする方法。
  2. 【請求項２】 請求項１記載の方法であって、 前記工程（ｃ）は、前記特徴を利用し、前記領域間の類
    似性若しくは非類似性を示す相違度合を生成することを
    特徴とする方法。
  3. 【請求項３】 請求項１記載の方法であって、 前記工程（ａ）において形成された所定数の領域がそれ
    ぞれ所定サイズより小さい場合に、前記前景用の固定領
    域が生成されることを特徴とする方法。
  4. 【請求項４】 請求項１記載の方法であって、 前記画像グループは年代順に並べられ、 前記工程（ｃ）は、更に、前記特徴と利用し、該グルー
    プの他のすべての画像の前景及び背景を有する領域の類
    似性を評価・比較し、 前記工程（ｄ）は他のすべての画像間の全体としての類
    似性度合を計算して連続画像と他のすべての画像との間
    の画像相違度合を提供することを特徴とする方法。
  5. 【請求項５】 請求項１記載の方法であって、 前記画像グループは年代順に並べられ、 前記工程（ｃ）は、更に、前記特徴と利用し、該グルー
    プの他のすべての２画像の前景及び背景を有する領域の
    類似性を評価・比較し、 前記工程（ｄ）は他のすべての２画像間の全体としての
    類似性度合を計算して連続画像と他のすべての２画像と
    の間の画像相違度合を提供することを特徴とする方法。
JP2002089703A 2001-03-28 2002-03-27 前景／背景セグメント化を用いた画像のイベント・クラスタリング Expired - Fee Related JP4139615B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/819,385 US6915011B2 (en) 2001-03-28 2001-03-28 Event clustering of images using foreground/background segmentation
US819385 2001-03-28

Publications (2)

Publication Number Publication Date
JP2003016448A true JP2003016448A (ja) 2003-01-17
JP4139615B2 JP4139615B2 (ja) 2008-08-27

Family

ID=25228005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002089703A Expired - Fee Related JP4139615B2 (ja) 2001-03-28 2002-03-27 前景／背景セグメント化を用いた画像のイベント・クラスタリング

Country Status (3)

Country Link
US (1) US6915011B2 (ja)
EP (1) EP1246085A3 (ja)
JP (1) JP4139615B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668394B2 (en) 2005-12-21 2010-02-23 Lexmark International, Inc. Background intensity correction of a scan of a document
WO2010024265A1 (ja) 2008-08-26 2010-03-04 ソニー株式会社 画像処理装置および方法、学習装置および方法、並びにプログラム
WO2012147256A1 (ja) * 2011-04-25 2012-11-01 パナソニック株式会社 画像処理装置
US9098775B2 (en) 2012-05-31 2015-08-04 Casio Computer Co., Ltd. Multi-class identifier, method, and computer-readable recording medium
US9639624B2 (en) 2014-05-07 2017-05-02 International Business Machines Corporation Extracting color schemes of pages written in a markup language
JP2017529110A (ja) * 2014-06-24 2017-10-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄレンダリングに対する医療データセットの視覚的な匿名化

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076101B2 (en) * 2002-02-14 2006-07-11 Sun Microsystems, Inc. Method and apparatus for local image quantification verification
US6961468B2 (en) * 2002-03-29 2005-11-01 Sun Microsystems, Inc. Method and apparatus for adaptive local image quantification verification
US7092572B2 (en) * 2002-03-29 2006-08-15 Sun Microsystems, Inc. Method and apparatus for global image quantification verification
US7092571B2 (en) * 2002-03-29 2006-08-15 Sun Microsystems, Inc. Method and apparatus for regional image quantification verification
US7206450B2 (en) 2002-04-25 2007-04-17 Microsoft Corporation Compression of bi-level images with explicit representation of ink clusters
US7224735B2 (en) * 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8189927B2 (en) 2007-03-05 2012-05-29 DigitalOptics Corporation Europe Limited Face categorization and annotation of a mobile phone contact list
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7747625B2 (en) * 2003-07-31 2010-06-29 Hewlett-Packard Development Company, L.P. Organizing a collection of objects
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20060153460A1 (en) * 2005-01-10 2006-07-13 Samsung Electronics Co., Ltd. Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
JP4588642B2 (ja) 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
GB2431793B (en) * 2005-10-31 2011-04-27 Sony Uk Ltd Image processing
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
CN100536523C (zh) * 2006-02-09 2009-09-02 佳能株式会社 用于图像分类的方法、设备
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
WO2008023280A2 (en) 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
US20080002864A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Using background for searching image collections
WO2008015586A2 (en) 2006-08-02 2008-02-07 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR100813170B1 (ko) * 2006-09-27 2008-03-17 삼성전자주식회사 사진 의미 인덱싱 방법 및 그 시스템
US20080085055A1 (en) * 2006-10-06 2008-04-10 Cerosaletti Cathleen D Differential cluster ranking for image record access
US7869658B2 (en) * 2006-10-06 2011-01-11 Eastman Kodak Company Representative image selection based on hierarchical clustering
CN100464693C (zh) * 2006-10-11 2009-03-04 哈尔滨工业大学 基于像素的舌苔舌质颜色提取及分类方法
US7856380B1 (en) * 2006-12-29 2010-12-21 Amazon Technologies, Inc. Method, medium, and system for creating a filtered image set of a product
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
WO2008104549A2 (en) 2007-02-28 2008-09-04 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR101247147B1 (ko) 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
US8401312B2 (en) * 2007-05-17 2013-03-19 Superfish Ltd. Method and a system for organizing an image database
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8045800B2 (en) * 2007-06-11 2011-10-25 Microsoft Corporation Active segmentation for groups of images
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
US8150098B2 (en) 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8326029B1 (en) * 2008-03-21 2012-12-04 Hewlett-Packard Development Company, L.P. Background color driven content retrieval
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
US20090297045A1 (en) * 2008-05-29 2009-12-03 Poetker Robert B Evaluating subject interests from digital image records
JP5043767B2 (ja) * 2008-07-08 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
WO2010012448A2 (en) 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
JP2010074342A (ja) * 2008-09-17 2010-04-02 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、及びプログラム
KR20100052676A (ko) * 2008-11-11 2010-05-20 삼성전자주식회사 컨텐츠 앨범화 장치 및 그 방법
US8611677B2 (en) 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
KR20100084338A (ko) * 2009-01-16 2010-07-26 삼성전자주식회사 이미지 드로잉 방법 및 장치
US8340436B2 (en) 2009-06-19 2012-12-25 Eastman Kodak Company Detecting significant events in consumer image collections
US8270731B2 (en) * 2009-08-19 2012-09-18 Eastman Kodak Company Image classification using range information
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US8718386B2 (en) * 2010-02-23 2014-05-06 Intellectual Ventures Fund 83 Llc Adaptive event timeline in consumer image collections
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US8406460B2 (en) 2010-04-27 2013-03-26 Intellectual Ventures Fund 83 Llc Automated template layout method
US8406461B2 (en) 2010-04-27 2013-03-26 Intellectual Ventures Fund 83 Llc Automated template layout system
US8634662B2 (en) 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
TWI495354B (zh) * 2010-10-06 2015-08-01 Univ Nat Cheng Kung 影像優化裝置及影像優化方法
WO2012084362A1 (en) * 2010-12-21 2012-06-28 Ecole polytechnique fédérale de Lausanne (EPFL) Computerized method and device for annotating at least one feature of an image of a view
US8699852B2 (en) * 2011-10-10 2014-04-15 Intellectual Ventures Fund 83 Llc Video concept classification using video similarity scores
US8867891B2 (en) * 2011-10-10 2014-10-21 Intellectual Ventures Fund 83 Llc Video concept classification using audio-visual grouplets
CN103077423B (zh) * 2011-10-25 2015-09-30 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
US8915440B2 (en) * 2011-12-23 2014-12-23 Konica Minolta Laboratory U.S.A., Inc. Four dimensional (4D) color barcode for high capacity data encoding and decoding
US8931700B2 (en) 2011-12-23 2015-01-13 Konica Minolta Laboratory U.S.A., Inc. Four dimensional (4D) color barcode for high capacity data encoding and decoding
KR20130091441A (ko) * 2012-02-08 2013-08-19 삼성전자주식회사 물체 추적 장치 및 그 제어 방법
JP5662962B2 (ja) * 2012-04-19 2015-02-04 富士フイルム株式会社 画像処理装置、方法及びプログラム
US9330550B2 (en) * 2012-07-13 2016-05-03 Walter Kidde Portable Equipment, Inc. Low nuisance fast response hazard alarm
US8928772B2 (en) 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
US8724919B2 (en) 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
US8897556B2 (en) 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9177226B2 (en) * 2013-03-15 2015-11-03 Google Inc. Object detection in images based on affinity determinations
WO2014177756A1 (en) * 2013-05-03 2014-11-06 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in images
US11080318B2 (en) 2013-06-27 2021-08-03 Kodak Alaris Inc. Method for ranking and selecting events in media collections
CN103871050B (zh) * 2014-02-19 2017-12-29 小米科技有限责任公司 图标分割方法、装置和终端
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters
CN105117683B (zh) * 2015-07-22 2019-01-15 北方工业大学 一种公共场所密集人群检测及预警方法
US9684842B2 (en) 2015-10-29 2017-06-20 The Nielsen Company (Us), Llc Methods and apparatus to extract text from imaged documents
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
EP3654290A1 (en) 2016-09-23 2020-05-20 Apple Inc. Avatar creation and editing
TWI610571B (zh) * 2016-10-26 2018-01-01 緯創資通股份有限公司 顯示方法及其系統與電腦可讀取記錄媒體
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
CN113780424A (zh) * 2021-09-13 2021-12-10 四川新网银行股份有限公司 一种基于背景相似度的照片实时在线聚类方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982944A (en) * 1991-09-27 1999-11-09 E. I. Du Pont De Nemours And Company Adaptive vision system using dual thresholding
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US6064770A (en) * 1995-06-27 2000-05-16 National Research Council Method and apparatus for detection of events or novelties over a change of state
US5911139A (en) 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
US5852823A (en) 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US6011595A (en) 1997-09-19 2000-01-04 Eastman Kodak Company Method for segmenting a digital image into a foreground region and a key color region
US6072904A (en) 1997-12-31 2000-06-06 Philips Electronics North America Corp. Fast image retrieval using multi-scale edge representation of images
DE19817720A1 (de) * 1998-04-21 1999-10-28 Heidelberger Druckmasch Ag Verfahren zur Bilddatenkomprimierung für Zwei-Farben-Bilder
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6351556B1 (en) 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668394B2 (en) 2005-12-21 2010-02-23 Lexmark International, Inc. Background intensity correction of a scan of a document
WO2010024265A1 (ja) 2008-08-26 2010-03-04 ソニー株式会社 画像処理装置および方法、学習装置および方法、並びにプログラム
WO2012147256A1 (ja) * 2011-04-25 2012-11-01 パナソニック株式会社 画像処理装置
US9008438B2 (en) 2011-04-25 2015-04-14 Panasonic Intellectual Property Corporation Of America Image processing device that associates photographed images that contain a specified object with the specified object
JP5848336B2 (ja) * 2011-04-25 2016-01-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置
US9098775B2 (en) 2012-05-31 2015-08-04 Casio Computer Co., Ltd. Multi-class identifier, method, and computer-readable recording medium
US9639624B2 (en) 2014-05-07 2017-05-02 International Business Machines Corporation Extracting color schemes of pages written in a markup language
US10319112B2 (en) 2014-05-07 2019-06-11 International Business Machines Corporation Extracting color schemes of pages written in a markup language
US10600212B2 (en) 2014-05-07 2020-03-24 International Business Machines Corporation Extracting color schemes of pages written in a markup language
JP2017529110A (ja) * 2014-06-24 2017-10-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄレンダリングに対する医療データセットの視覚的な匿名化

Also Published As

Publication number Publication date
EP1246085A3 (en) 2006-01-04
US20020168108A1 (en) 2002-11-14
US6915011B2 (en) 2005-07-05
JP4139615B2 (ja) 2008-08-27
EP1246085A2 (en) 2002-10-02

Similar Documents

Publication Publication Date Title
JP4139615B2 (ja) 前景／背景セグメント化を用いた画像のイベント・クラスタリング
JP4976608B2 (ja) 画像をイベントに自動的に分類する方法
CN107346409B (zh) 行人再识别方法和装置
Shivakumara et al. A laplacian approach to multi-oriented text detection in video
JP4553650B2 (ja) 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体
JP4907938B2 (ja) 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
US8548256B2 (en) Method for fast scene matching
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
US8467611B2 (en) Video key-frame extraction using bi-level sparsity
US20010026633A1 (en) Method for detecting a face in a digital image
Varnousfaderani et al. Weighted color and texture sample selection for image matting
US8320664B2 (en) Methods of representing and analysing images
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
JP2004361987A (ja) 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
Shi et al. Adaptive graph cut based binarization of video text images
Zeeshan et al. A newly developed ground truth dataset for visual saliency in videos
Singh et al. Multiresolution superpixels for visual saliency detection
Kiranyaz et al. Perceptual Color Descriptors
Mary et al. Content based image retrieval using colour, multi-dimensional texture and edge orientation
CN112836578B (zh) 一种基于表观特征的货架缺货检测方法
Alnihoud Image retrieval system based on color global and local features combined with GLCM for texture features
Anthimopoulos et al. Detecting text in video frames
Chen et al. A novel framework for fast scene matching in consumer image collections
Ganesh et al. Extraction of Text from Images of Big Data
Loui et al. Event clustering of consumer pictures using foreground/background segmentation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080609

R150 Certificate of patent or registration of utility model

Ref document number: 4139615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees