JP2010519659A - 見本画像に基づく画像の検索 - Google Patents
見本画像に基づく画像の検索 Download PDFInfo
- Publication number
- JP2010519659A JP2010519659A JP2009551663A JP2009551663A JP2010519659A JP 2010519659 A JP2010519659 A JP 2010519659A JP 2009551663 A JP2009551663 A JP 2009551663A JP 2009551663 A JP2009551663 A JP 2009551663A JP 2010519659 A JP2010519659 A JP 2010519659A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- metadata
- search
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
保存された画像のそれぞれが異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって:
(a) 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ;
(b) 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ;そして
(c) ユーザが1つ又は2つ以上の特定の検索画像の組を選択するステップ
を含んで成る方法を開示する。
(a) 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ;
(b) 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ;そして
(c) ユーザが1つ又は2つ以上の特定の検索画像の組を選択するステップ
を含んで成る方法を開示する。
Description
本発明は概ねデジタル画像処理の分野に関し、そして具体的には、見本画像に基づいて、保存された画像を検索する方法に関する。
デジタルカメラ及びスキャナの急増は、デジタル画像の激増をもたらし、大規模な個人画像データベースを作り出している。画像及びビデオの系統化及び検索は、典型的な消費者にとって既に問題である。目下のところ、典型的な消費者のデジタル画像収集歴は数年に過ぎない。平均的なデジタル画像及びビデオの収集歴が長くなるのに伴って、系統化及び検索の問題は増大し続けることになり、効率的に画像索引付け及び検索を行うための自動ツールが必要となる。
低レベル特徴(feature)、例えば色及びテクスチャに基づく多くの画像分類法が、内容基準画像検索に用いるために提供されている。低レベル内容基準技術の概要(“Content-based Image Retrieval at the End of the Early Years”, A. W. M. Smeulders他 IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(12), 2000年12月)が、内容基準画像検索のために用いることができる関連方法の包括的なリストを提供する。一般的に記される低レベル特徴は、色、方向色導関数(directional color derivatives)及び尺度空間表現(scale space representations)から導出される局所的形状特徴、画像テクスチャ、画像変換係数、例えばJPEGコードにおいて用いられるコサイン変換、及び画像セグメンテーションから導出される特性、例えば形状、輪郭及び幾何学的不変量を含む。例えば、2002年11月5日付けで発行された米国特許第6,477,269号明細書には、ユーザが、見本画像を使用することにより色又は形状に基づいて類似の画像を見出すことを可能にする方法が開示されている。2002年11月12日付けでZhu及びMehrotraに発行された米国特許第6,480,840号明細書には、低レベル特徴、例えば色、テクスチャ及び色組成を用いた内容基準画像検索が開示されている。これらの特徴は効率的に計算して容易にマッチングすることができるが、これらは通常、意味的画像内容と相関しにくい。
画像から意味的レベル特徴を計算する試みも行われている。2001年5月25日付けで発行された国際公開第01/37131号パンフレットの場合、画像を分類するために、顕著な画像領域の視覚的特性が使用される。視覚的特性の数値的測定に加えて、意味的用語、例えば「空」及び「皮膚」を使用して領域のうちのいくつかを分類するために、ニューラル・ネットワークが使用される。コレクション中の画像の領域ベースの特徴を索引付けすることにより、所与の見本画像の特徴とマッチングするその他の画像を見出すこと を容易にする。2001年5月29日付けで発行された米国特許第6,240,424号明細書には、クラスタリング中心として画像内の一次オブジェクトを使用して画像の分類及び問い合わせを行う方法が開示されている。所与の未分類画像をマッチングさせる画像は、所与の画像内の一次オブジェクトに基づいて好適な問い合わせを作成することにより、見いだされる。2003年10月16日付けで発行された米国特許出願公開第2003/0195883号公報では、考えられ得るカテゴリ、例えば「都市景観」の所定の組から画像のカテゴリを計算する。日時情報に基づいて画像をイベント及びサブイベントに自動的にグループ分けする方法が、Loui及びPavieに発行された米国特許第6,606,411号明細書に記載されている。2003年8月12日付けでCooperに発行された米国特許第6,606,398号明細書には、画像内に存在する人物を認識することに基づいて画像を目録化する方法が記載されている。
関連技術のこれらの部分は利用可能であるにもかかわらず、専門家でないユーザに対して有意義な検索能力を可能にするという課題は解決されていない。重要な理由のうちの1つは、システムが、見本画像を与えても、ユーザの意図を推論できないことである。ユーザが見本画像とマッチングするコレクション中の他の画像を見いだすために画像又は画像の下位部分を選択するときに、どのような種類のマッチングをユーザが探しているのかは明らかでない。それというのも、いくつかの直交次元に従って画像をマッチングさせることができるからである。例えば、ユーザは、見本画像に現れるのと同じ人物の画像、又は見本画像が撮影されたのと同じイベント又は場所からの画像、又は見本画像と同じカラースキームを有する画像、又は上記のもの全ての組み合わせを探している可能性がある。現行のシステムは、見本画像が与えられたときの問い合わせの曖昧さを排除する方法を有してはいない。いくつかのシステムは、ユーザがシステムによって支持された探索次元を強調又は脱強調するのを可能にするために、スライダーバーの複雑な配列(“The QBIC project: Querying images by content using color, texture and shape”、W. Niblack他、Proc. of SPIE Storage and Retrieval for Image and Video Databases、第172-187頁、1994)を提案している。このアプローチは、システムの技術基盤を明らかにし、平均的なユーザに対してシステムの使用を難しくする。
ユーザが完全な探索要件を提供していなくても、ユーザにシンプルなインターフェースが画像コレクションを探索するのを可能にする必要性がある。
本発明の目的は、見本画像との類似性に基づいて、保存画像を検索する効果的な方法を提供することである。
この目的は、保存された画像のそれぞれが、当該画像の内容を表す異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって:
(a) 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ;
(b) 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ;そして
(c) ユーザが1つ又は2つ以上の特定の検索画像の組を選択するステップ
を含んで成る画像を検索する方法によって達成される。
(a) 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ;
(b) 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ;そして
(c) ユーザが1つ又は2つ以上の特定の検索画像の組を選択するステップ
を含んで成る画像を検索する方法によって達成される。
多くの画像検索方法が、種々の異なる特徴に基づいて利用可能である。しかし、見本画像に基づくシンプルなユーザ問い合わせは通常曖昧であり、現行のシステムは、曖昧さを排除する簡単な方法を提供しない。大抵のシステムは、問い合わせの曖昧さを排除するために複雑なユーザ相互作用を選ぶか、又はユーザが探していたものではないおそれのある結果をユーザに提供する。開示された方法では、問い合わせとして使用される見本画像の曖昧さは、有意義な方法で処理され、ユーザに全ての選択肢を提供し、そしてメタデータ・タイプの容易な組み合わせを可能にする。
データベース内に保存された複数の画像の中から、見本画像に関連する画像を検索する方法が記載されており、これらの保存画像のそれぞれは、種々のタイプのメタデータと関連付けられている。見本画像は、画像又はサブ画像の形でユーザによって提供される。この方法は、(a)各タイプのメタデータの類似性に基づいて見本画像とマッチングする画像をデータベースから検索し、(b)各メタデータ・タイプに基づいて、マッチングしたものをユーザに対して有意義にグループ分け提示する、ことから成る。
本発明は、当業者に良く知られているように、コンピュータ・システム内で実施することができる。好ましい態様を具体的に参照しながら本発明を詳細に説明しているが、本発明の思想及び範囲内で変更及び改変を加え得ることは明らかである。
図1を参照すると、処理は、問い合わせ10としての見本画像で始まる。見本画像は、自分のコレクションからユーザによって選択された、又は外部源(例えば公のウェブページ)から得られた1つ又は2つ以上の画像、画像から切り取られたサブ画像、又はビデオからのキーフレームであってよい。見本画像は、ユーザによって明確に提供することができ、或いは単に、表示されている現在の画像であってもよい。見本画像又はサブ見本画像は、ユーザのコレクション中の類似の画像を見いだす数多くの検索エンジン20を通過させられる。各検索エンジンは、類似性を計算するために異なるタイプのメタデータを使用する。異なるタイプのメタデータは、キャプチャ・メタデータ、例えばキャプチャ日時及びGPS位置、導出された低レベル・メタデータ、例えば画像の色及びテクスチャ、導出された高レベル・メタデータ、例えば画像内の識別された人物及びイベント、並びにユーザ中心メタデータ、例えばキャプション又は利用情報を含む。検索エンジンの数は、メタデータを計算しマッチングさせるための技術の利用可能性に依存する。見本画像及び探索コレクションの両方は、種々の方法、例えばデジタルカメラ、スキャナでキャプチャリングされるか、或いはソフトウェアを使用して作成されたデジタル画像を含むことができる。
本発明によれば、各異なるタイプのメタデータと見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に保存画像から画像の組が検索される。各組内の画像は、見本画像との類似性が高い方から順番に順序付けられる(類似性が最も高い画像が最初に来る)。検索された画像の組は、類似性を見いだす際に使用されるメタデータ・タイプによって系統化することによってグループ分けされる(70)。
見本画像の低レベル色・テクスチャ表現30(メタデータ)と、保存画像のメタデータとを比較することにより、1つの画像の組が見いだされる。1つの態様では、色・テクスチャ表現は、2002年11月12日付けでZhu及びMehrotraに発行された同一譲受人による米国特許第6,480,840号明細書に従って得られる。彼らの方法によれば、画像の色特徴ベース表現は、有意なサイズのコヒーレント色領域が知覚的に有意であるという想定に基づいている。従って、有意なサイズのコヒーレント色領域の色が知覚的に有意な色であると考えられる。従って、どの入力画像に関しても、そのコヒーレント色ヒストグラムが先ず計算される。この場合、画像コヒーレント色ヒストグラムは、コヒーレント色領域に属する特定色の画素の数の関数である。画素は、その色が、予め指定された最小数の隣接画素の色と等しいか又は類似している場合に、コヒーレント色領域に属すると考えられる。さらに、画像のテクスチャ特徴ベース表現は、それぞれの知覚的に有意なテクスチャが同じ色推移の多数の反復から成っているという想定に基づいている。従って、頻繁に発生する色推移を識別し、そしてこれらのテクスチャ特性を分析することによって、知覚的に有意なテクスチャを抽出して表現することができる。各塊にされた領域(サブイベントにおける背景領域全てからの画素によって形成される)毎に、その領域を記述する支配的な色及びテクスチャの組が生成される。支配的な色及びテクスチャは、画素全体の(定義された閾値に基づく)有意な割合を占める色及びテクスチャである。2つの画像の類似性は、米国特許第6,480,840号明細書において定義された有意な色及びテクスチャの類似性として計算され、そして閾値を上回る類似性を有する画像だけが検索される。
日時情報及び画像間の色類似に基づいて画像をイベント及びサブイベントに自動的にグループ分けする方法が、Loui及びPavieに発行された同一譲受人による米国特許第6,606,411号明細書に記載されている。イベント・クラスタリング・アルゴリズムは、イベントを検出するためにキャプチャ日時情報を使用する。サブイベントを検出するためには、ブロック・レベル色ヒストグラム類似性が用いられる。見本画像と同じイベントに属する画像の組40が、保存された画像から検索される。
デジタル画像内で人間の顔を特定する目的で使用することができる数多くの周知の顔検出アルゴリズムがある。1つの態様の場合、“Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition”、H. Schneiderman及びT. Kanade, Proc. CVPR 1998, 第45-51頁に記載された顔検出子が使用される。この検出子は、画像画素データを与えられた顔の条件付き確率を概算する保存された確率分布を用いて、最大事後確率(MAP)分類を実施するベイズ分類子を実行する。画像内で検出される人物は、顔認識技術、例えばIdentix, Inc.から入手可能な技術を用いることにより、ユーザの画像コレクション中に現れる通常は少人数のうちの1人として認識することができる。見本画像を与えられると、システムは、見本画像に存在するものと同じ人物を含む保存画像から画像の組50を検索する。
画像がキャプチャリングされた場所は、キャプチャ・メタデータと関連付けられているGPS測定値(利用可能であれば)から検出することができ、或いは、ユーザによって提供することもできる。見本画像60と同様の場所でキャプチャリングされた画像の組を、保存画像から検索することができる。類似の場所は、見本画像の場所から特定の距離以内の場所として定義することができる。画像を比較するために使用することができる考えられ得る次元のいくつかがここに列挙されているが、しかし追加の探索次元をこのメタデータ・タイプ・リストに加えることができ、このような次元も本発明の思想及び範囲に含まれることは明らかである。異なる類似性次元から検索された画像の組は、表示メカニズムに供給され、ここで画像の組は、それぞれが統一テーマを有する別個のグループとして提供される。例えばグループは、見本画像に対して類似又は同一の「イベント」、「人物」、「色」、又は「場所」を示すこともできる。図2及び図3は、グループ分けされた2つの可能な表示メカニズムを示す。
図2では、探索結果(検索された画像の組)は、画像サムネイル110を使用してウィンドウ100内に表示されている。ウィンドウ100は、仕切り120を用いて複数のセクションに分割されている。各セクションは、セクションの左に示されたメタデータ・タイプ(例えば「イベント」)に関して類似性が高い方から順番に、画像を示している。ユーザがセクション内の画像を全て見るのを可能にするように、スクロール矢印130がある。
図3では、探索表示ウィンドウ200の上側は、上に各メタデータ・タイプを示すタブ組210を有している。ユーザがタブを選択したときに、そのタブが強調され(220)、そして探索結果に属する画像サムネイル230は、ウィンドウの残りの領域内に表示される。ユーザが全ての画像を見るのを可能にするように、スクロール・バーがある。
ユーザは、図1のチェックボックス140をクリックすることにより、又は図2の複数のタブを選択すること(シフト又はコントロール・ボタンを押しながらクリックするという一般的な方法によって)により、2つ又は3つ以上のメタデータ・タイプを容易に組み合わせることができる。2つ以上のメタデータ・タイプが選択される場合、ディスプレイは、選択された全てのメタデータ・タイプの検索された組に共通する画像サムネイルだけを示す(データベース用語でジョイン演算を実施する)。このことは、異なるタイプのメタデータを組み合わせることにより探索を精緻化する簡単な方法をユーザに提供する。サムネイルをダブルクリックするとより大きい画像を検索する、また、サムネイル表示からの複数の選択を可能にするという典型的な機能も、このインターフェースにおいて支持されると思われる。
画像の組を示すための2つの表示メカニズムをここで説明してきたが、ユーザが組を組み合わせることを可能にする画像の組を示す追加の表示メカニズムも本発明の思想及び範囲に含まれることは言うまでもない。
なお、図1〜3は、異なるメタデータ・タイプに基づいた探索次元のうちのいくつかを示している。しかし本発明は、探索技術が利用可能になる他の探索次元を含む。これらは、それぞれの探索結果を生成する並列処理経路として図1に加えることができる。図2及び図3において、追加の探索結果行又は探索タブを加えることにより、これらのその他の探索次元に対応する。例えば、それに基づいて探索することが可能なメタデータは、シーン・タイプであり得る。シーン・タイプは、シーン内に存在するオブジェクト、例えば野原、海辺、山、日没などに関する画像内容を記述する。“Learning multi-label scene classification”(Pattern Recognition, Vol. 37, 2004)においてM. Boutell他は、2つ以上のシーン・タイプを含有する画像を含めて、シーン・タイプを自動的に検出する方法を記載している。我々の用途においてこの技術を用いると、見本画像に基づく探索によって、見本画像と同じシーン・タイプを有する他の媒体を検索することができ、またシーン・タイプは、表示された探索結果においてタブ/行のうちの1つとして現れることができる。
本発明は、メタデータ及び見本画像の内容に従って保存画像を系統化することにより、保存画像から画像の組を検索する効果的でしかもシンプルな方法を提供する。種々の有意義なメタデータ次元において類似する画像の組が、保存画像から検索される。加えて、必要に応じて問い合わせの曖昧さを排除するためにユーザによって探索次元を組み合わせることにより、ユーザの見本画像に関連する結果を提供することもできる。
10 問い合わせ
20 マッチング・検索エンジン
50 検索画像の組
60 検索画像の組
70 検索画像の組の系統化及び表示
100 ウィンドウ
110 画像サムネイル
120 仕切り
130 スクロール矢印
140 チェックボックス
200 表示ウィンドウ
210 タブ
220 タブが強調される
230 画像サムネイル
20 マッチング・検索エンジン
50 検索画像の組
60 検索画像の組
70 検索画像の組の系統化及び表示
100 ウィンドウ
110 画像サムネイル
120 仕切り
130 スクロール矢印
140 チェックボックス
200 表示ウィンドウ
210 タブ
220 タブが強調される
230 画像サムネイル
Claims (6)
- 保存された画像のそれぞれが、異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、見本画像に関連する画像を検索する方法であって:
(a) 各異なるタイプのメタデータと該見本画像との類似性に基づいて、各異なるメタデータ・タイプ毎に該保存画像から、画像の組を検索するステップ;
(b) 各異なるタイプのメタデータに従って系統化された該検索画像の組を表示するステップ;そして
(c) ユーザが1つ又は2つ以上の特定の検索画像の組を選択するステップ
を含んで成る。 - ステップ(c)が、ユーザが、該選択された特定の組の画像を目で見て、後の用途のために画像をさらに選択することを含む請求項1に記載の方法。
- メタデータの特定のタイプが、イベント、人物、場所、色、テクスチャ、又はシーンのタイプを含む請求項1に記載の方法。
- 該画像が、画像ファイル及び関連付けられたメタデータを有するデータベース内に保存される請求項1に記載の方法。
- 該保存された画像が、インターネット上のウェブサイト若しくはデジタル・キャプチャ装置又はその組み合わせに由来する請求項1に記載の方法。
- 該見本画像から該異なるタイプのメタデータを計算することをさらに含む請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/679,420 US20080208791A1 (en) | 2007-02-27 | 2007-02-27 | Retrieving images based on an example image |
PCT/US2008/001791 WO2008106003A2 (en) | 2007-02-27 | 2008-02-11 | Retrieving images based on an example image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010519659A true JP2010519659A (ja) | 2010-06-03 |
JP2010519659A5 JP2010519659A5 (ja) | 2012-03-29 |
Family
ID=39432460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009551663A Withdrawn JP2010519659A (ja) | 2007-02-27 | 2008-02-11 | 見本画像に基づく画像の検索 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20080208791A1 (ja) |
EP (1) | EP2126738A2 (ja) |
JP (1) | JP2010519659A (ja) |
WO (1) | WO2008106003A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011164799A (ja) * | 2010-02-05 | 2011-08-25 | Canon Inc | 画像検索装置、制御方法、プログラム及び記憶媒体 |
WO2022054373A1 (ja) * | 2020-09-14 | 2022-03-17 | 富士フイルム株式会社 | 医療画像装置およびその作動方法 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5286732B2 (ja) * | 2007-10-01 | 2013-09-11 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
US8122356B2 (en) * | 2007-10-03 | 2012-02-21 | Eastman Kodak Company | Method for image animation using image value rules |
US20090254515A1 (en) * | 2008-04-04 | 2009-10-08 | Merijn Camiel Terheggen | System and method for presenting gallery renditions that are identified from a network |
JP2010061486A (ja) * | 2008-09-05 | 2010-03-18 | Sharp Corp | 情報検索装置 |
JP5515507B2 (ja) * | 2009-08-18 | 2014-06-11 | ソニー株式会社 | 表示装置及び表示方法 |
WO2012142323A1 (en) | 2011-04-12 | 2012-10-18 | Captimo, Inc. | Method and system for gesture based searching |
KR100970121B1 (ko) * | 2009-12-24 | 2010-07-13 | (주)올라웍스 | 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체 |
US8406461B2 (en) * | 2010-04-27 | 2013-03-26 | Intellectual Ventures Fund 83 Llc | Automated template layout system |
US8406460B2 (en) * | 2010-04-27 | 2013-03-26 | Intellectual Ventures Fund 83 Llc | Automated template layout method |
US20110270824A1 (en) * | 2010-04-30 | 2011-11-03 | Microsoft Corporation | Collaborative search and share |
US9014420B2 (en) * | 2010-06-14 | 2015-04-21 | Microsoft Corporation | Adaptive action detection |
US20120066201A1 (en) * | 2010-09-15 | 2012-03-15 | Research In Motion Limited | Systems and methods for generating a search |
JP2012164064A (ja) * | 2011-02-04 | 2012-08-30 | Olympus Corp | 画像処理装置 |
US8612441B2 (en) * | 2011-02-04 | 2013-12-17 | Kodak Alaris Inc. | Identifying particular images from a collection |
CN102959551B (zh) * | 2011-04-25 | 2017-02-08 | 松下电器(美国)知识产权公司 | 图像处理装置 |
WO2013023063A1 (en) | 2011-08-09 | 2013-02-14 | Path 36 Llc | Digital media editing |
JP2013068981A (ja) * | 2011-09-20 | 2013-04-18 | Fujitsu Ltd | 電子計算機及び画像検索方法 |
US8332767B1 (en) * | 2011-11-07 | 2012-12-11 | Jeffrey Beil | System and method for dynamic coordination of timelines having common inspectable elements |
US9256620B2 (en) * | 2011-12-20 | 2016-02-09 | Amazon Technologies, Inc. | Techniques for grouping images |
US20140324838A1 (en) * | 2011-12-27 | 2014-10-30 | Sony Corporation | Server, client terminal, system, and recording medium |
US20150153933A1 (en) * | 2012-03-16 | 2015-06-04 | Google Inc. | Navigating Discrete Photos and Panoramas |
JP6031924B2 (ja) * | 2012-09-28 | 2016-11-24 | オムロン株式会社 | 画像検索装置、画像検索方法、制御プログラムおよび記録媒体 |
RU2533445C2 (ru) | 2012-10-02 | 2014-11-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Автоматическое распознавание и съемка объекта |
CN104113632B (zh) * | 2013-04-22 | 2016-12-28 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
JP2015041340A (ja) | 2013-08-23 | 2015-03-02 | 株式会社東芝 | 方法、電子機器およびプログラム |
JP6223755B2 (ja) * | 2013-09-06 | 2017-11-01 | 株式会社東芝 | 方法、電子機器、及びプログラム |
US9754159B2 (en) * | 2014-03-04 | 2017-09-05 | Gopro, Inc. | Automatic generation of video from spherical content using location-based metadata |
US20150286729A1 (en) * | 2014-04-02 | 2015-10-08 | Samsung Electronics Co., Ltd. | Method and system for content searching |
US10074013B2 (en) | 2014-07-23 | 2018-09-11 | Gopro, Inc. | Scene and activity identification in video summary generation |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
CN104216956B (zh) * | 2014-08-20 | 2018-05-01 | 北京奇艺世纪科技有限公司 | 一种图片信息的搜索方法和装置 |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
US9679605B2 (en) | 2015-01-29 | 2017-06-13 | Gopro, Inc. | Variable playback speed template for video editing application |
WO2016187235A1 (en) | 2015-05-20 | 2016-11-24 | Gopro, Inc. | Virtual lens simulation for video and photo cropping |
US9721611B2 (en) | 2015-10-20 | 2017-08-01 | Gopro, Inc. | System and method of generating video from video clips based on moments of interest within the video clips |
US10204273B2 (en) | 2015-10-20 | 2019-02-12 | Gopro, Inc. | System and method of providing recommendations of moments of interest within video clips post capture |
US10109319B2 (en) | 2016-01-08 | 2018-10-23 | Gopro, Inc. | Digital media editing |
US9812175B2 (en) | 2016-02-04 | 2017-11-07 | Gopro, Inc. | Systems and methods for annotating a video |
US9838731B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing with audio mixing option |
US9794632B1 (en) | 2016-04-07 | 2017-10-17 | Gopro, Inc. | Systems and methods for synchronization based on audio track changes in video editing |
US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
US10185891B1 (en) | 2016-07-08 | 2019-01-22 | Gopro, Inc. | Systems and methods for compact convolutional neural networks |
US9836853B1 (en) | 2016-09-06 | 2017-12-05 | Gopro, Inc. | Three-dimensional convolutional neural networks for video highlight detection |
US10284809B1 (en) | 2016-11-07 | 2019-05-07 | Gopro, Inc. | Systems and methods for intelligently synchronizing events in visual content with musical features in audio content |
US10262639B1 (en) | 2016-11-08 | 2019-04-16 | Gopro, Inc. | Systems and methods for detecting musical features in audio content |
US10534966B1 (en) | 2017-02-02 | 2020-01-14 | Gopro, Inc. | Systems and methods for identifying activities and/or events represented in a video |
US10127943B1 (en) | 2017-03-02 | 2018-11-13 | Gopro, Inc. | Systems and methods for modifying videos based on music |
US10185895B1 (en) | 2017-03-23 | 2019-01-22 | Gopro, Inc. | Systems and methods for classifying activities captured within images |
US10083718B1 (en) | 2017-03-24 | 2018-09-25 | Gopro, Inc. | Systems and methods for editing videos based on motion |
US10187690B1 (en) | 2017-04-24 | 2019-01-22 | Gopro, Inc. | Systems and methods to detect and correlate user responses to media content |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6121969A (en) * | 1997-07-29 | 2000-09-19 | The Regents Of The University Of California | Visual navigation in perceptual databases |
US6240424B1 (en) * | 1998-04-22 | 2001-05-29 | Nbc Usa, Inc. | Method and system for similarity-based image classification |
US6345274B1 (en) * | 1998-06-29 | 2002-02-05 | Eastman Kodak Company | Method and computer program product for subjective image content similarity-based retrieval |
US6606411B1 (en) * | 1998-09-30 | 2003-08-12 | Eastman Kodak Company | Method for automatically classifying images into events |
US6606398B2 (en) * | 1998-09-30 | 2003-08-12 | Intel Corporation | Automatic cataloging of people in digital photographs |
US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
WO2001031502A1 (fr) * | 1999-10-27 | 2001-05-03 | Fujitsu Limited | Dispositif et procede de classement et de rangement d'informations multimedia |
US7099860B1 (en) * | 2000-10-30 | 2006-08-29 | Microsoft Corporation | Image retrieval systems and methods with semantic and feature based relevance feedback |
US6447269B1 (en) * | 2000-12-15 | 2002-09-10 | Sota Corporation | Potable water pump |
US6804684B2 (en) * | 2001-05-07 | 2004-10-12 | Eastman Kodak Company | Method for associating semantic information with multiple images in an image database environment |
US7043474B2 (en) * | 2002-04-15 | 2006-05-09 | International Business Machines Corporation | System and method for measuring image similarity based on semantic meaning |
US7281218B1 (en) * | 2002-04-18 | 2007-10-09 | Sap Ag | Manipulating a data source using a graphical user interface |
US6920459B2 (en) * | 2002-05-07 | 2005-07-19 | Zycus Infotech Pvt Ltd. | System and method for context based searching of electronic catalog database, aided with graphical feedback to the user |
US20040006559A1 (en) * | 2002-05-29 | 2004-01-08 | Gange David M. | System, apparatus, and method for user tunable and selectable searching of a database using a weigthted quantized feature vector |
US8527874B2 (en) * | 2005-08-03 | 2013-09-03 | Apple Inc. | System and method of grouping search results using information representations |
US7756866B2 (en) * | 2005-08-17 | 2010-07-13 | Oracle International Corporation | Method and apparatus for organizing digital images with embedded metadata |
US7831586B2 (en) * | 2006-06-09 | 2010-11-09 | Ebay Inc. | System and method for application programming interfaces for keyword extraction and contextual advertisement generation |
US7917514B2 (en) * | 2006-06-28 | 2011-03-29 | Microsoft Corporation | Visual and multi-dimensional search |
US20080046410A1 (en) * | 2006-08-21 | 2008-02-21 | Adam Lieb | Color indexing and searching for images |
US8201107B2 (en) * | 2006-09-15 | 2012-06-12 | Emc Corporation | User readability improvement for dynamic updating of search results |
US9183305B2 (en) * | 2007-06-19 | 2015-11-10 | Red Hat, Inc. | Delegated search of content in accounts linked to social overlay system |
-
2007
- 2007-02-27 US US11/679,420 patent/US20080208791A1/en not_active Abandoned
-
2008
- 2008-02-11 JP JP2009551663A patent/JP2010519659A/ja not_active Withdrawn
- 2008-02-11 EP EP08725422A patent/EP2126738A2/en not_active Withdrawn
- 2008-02-11 WO PCT/US2008/001791 patent/WO2008106003A2/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011164799A (ja) * | 2010-02-05 | 2011-08-25 | Canon Inc | 画像検索装置、制御方法、プログラム及び記憶媒体 |
WO2022054373A1 (ja) * | 2020-09-14 | 2022-03-17 | 富士フイルム株式会社 | 医療画像装置およびその作動方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2008106003A3 (en) | 2009-01-29 |
EP2126738A2 (en) | 2009-12-02 |
US20080208791A1 (en) | 2008-08-28 |
WO2008106003A2 (en) | 2008-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010519659A (ja) | 見本画像に基づく画像の検索 | |
Alkhawlani et al. | Text-based, content-based, and semantic-based image retrievals: a survey | |
JP3635368B2 (ja) | 内容基盤イメージ検索システム及びその検索方法 | |
Yildizer et al. | Integrating wavelets with clustering and indexing for effective content-based image retrieval | |
US20090150376A1 (en) | Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases | |
US20170024384A1 (en) | System and method for analyzing and searching imagery | |
Ooi et al. | Fast image retrieval using color-spatial information | |
WO2007137352A1 (en) | Content based image retrieval | |
JP2006508446A5 (ja) | ||
Suh et al. | Semi-automatic image annotation using event and torso identification | |
Mai et al. | Content-based image retrieval system for an image gallery search application | |
Khokher et al. | Content-based image retrieval: state-of-the-art and challenges | |
Indu et al. | Survey on sketch based image retrieval methods | |
Seth et al. | A review on content based image retrieval | |
Khokher et al. | Image retrieval: A state of the art approach for CBIR | |
Kavitha et al. | Content-based image retrieval–a survey | |
Tonge | Content based image retrieval by K-Means clustering algorithm | |
Li et al. | Image content clustering and summarization for photo collections | |
Hladnik et al. | Improving performance of content based image retrieval system with color features | |
Ley Mai et al. | Content-based Image Retrieval System for an Image Gallery Search Application. | |
Das et al. | Event-based location matching for consumer image collections | |
Debole et al. | Enriching image feature description supporting effective content-based retrieval and annotation | |
Kumari et al. | A Study and usage of Visual Features in Content Based Image Retrieval Systems. | |
Rashaideh et al. | Building a Context Image-Based Search Engine Using Multi Clustering Technique | |
JP2000339352A (ja) | 知覚的顕在特徴に基づく画像のアーカイブ及び検索 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110121 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20120605 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120703 |