JP2007323319A - 類似検索処理方法及び装置及びプログラム - Google Patents

類似検索処理方法及び装置及びプログラム Download PDF

Info

Publication number
JP2007323319A
JP2007323319A JP2006152190A JP2006152190A JP2007323319A JP 2007323319 A JP2007323319 A JP 2007323319A JP 2006152190 A JP2006152190 A JP 2006152190A JP 2006152190 A JP2006152190 A JP 2006152190A JP 2007323319 A JP2007323319 A JP 2007323319A
Authority
JP
Japan
Prior art keywords
search
search query
user
similarity
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006152190A
Other languages
English (en)
Inventor
Isao Kondo
功 近藤
Satoshi Shimada
聡 嶌田
Masashi Morimoto
正志 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006152190A priority Critical patent/JP2007323319A/ja
Publication of JP2007323319A publication Critical patent/JP2007323319A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザの検索要求に基づく検索クエリを複数生成し、類似検索処理方法において生じる検索クエリ生成の負荷を抑える。
【解決手段】本発明は、ユーザから検索要求として取得した時刻位置・空間位置に基づいて、ユーザの検索要求と関連する検索クエリを空間位置、面積、時刻位置、時間長などを様々変えることにより複数生成し、検索クエリとデータベースのデータを照合し、類似度を算出し、算出された類似度に基づいて検索結果を表示する。
【選択図】図1

Description

本発明は、類似検索処理方法及び装置及びプログラムに係り、特に、ユーザが所望する画像・映像・音を検索するために、部分画像や映像区間などを検索の手掛りとして用いる類似検索処理方法及び装置及びプログラムに関する。
近年、デジタルカメラやカメラ付携帯電話の普及に伴い、デジタル画像を気軽に撮り溜めることが一般的になっている。また、デジタル放送やケーブルテレビの普及に伴い、様々なジャンルの映像データを入手することが、個人でも容易になっている。加えて、HDD等の蓄積メディアの進歩に伴い、画像・映像データを、ハードディスク、DVD等に大量に蓄積し、個人の都合にあった時間に、視聴・閲覧するスタイルが定着してきている。
その一方で、記録蓄積された画像・映像データが増えれば増えるほど、膨大なデータの中から、画像内の特定の部分領域(例えば、ロゴや人)を探し出すことや、特定のイベントシーンのような、複数の部分映像区間で1つの意味(行為)をなす映像区間を探し出すことは困難となる。それに伴い、大量の映像内容を解析し、ユーザの所望する部分映像や映像の検索を行う技術が注目を集めている。
部分画像・映像の検索方式には、ユーザが所望とする画像や映像の例を具体的に示し、例示された画像・映像自体から自動取得できる特徴量(例えば、色、形、模様、動き)を検索の手掛かりとして利用し、特徴量同士の類似性から所望とする画像・映像を探し出す方法がある。
例示に基づく部分画像検索方式は、ユーザが所望する画像領域例を示し、データベース画像の任意の部分領域を照合する方法である(例えば、非特許文献1参照)。部分画像検索方法を用いることで、画像中のロゴのような特定部分を探し出すことが可能になる。また、画像の部分領域間の類似性に基づいて、画像全体の類似性を判定することで、画像全体の類似検索も可能になる。
一方、例示に基づく映像検索方式は、予めユーザが所望する映像例を明示し、例示映像の特徴量と類似するデータベース映像を探す方法がある。当該技術では、例示映像の持つ時系列特徴(平均色の時系列)を抽出し、時系列特徴が類似する、または、CMのような一致する映像区間を探し出すことができる(例えば、非特許文献2)。また、映像を画像集合と捉え、例示映像から代表的な画像集合を算出し、画像集合同士の類似性により画像を検索できる(例えば、非特許文献3参照)。
木村昭悟、川西隆仁、柏野邦夫「SPIRE:スパースなインデキシングによる画像中の同一部分領域の検出」電子情報通信学会論文誌、D-II、Vol. J88-D-II、No8, 2005 高橋克直、富永英義、杉浦麻貴、横井摩優、寺島信義「特徴的な動画像の画紋を用いた高能率動画像検索法」画像電子学会論文誌、Vol.29, No.6 2000 堀田政二、井上光平、浦浜喜一「画像集合間距離に基づくビデオの類似検索」映像情報メディア学会誌、Vol. 54, No.11, 2000
しかしながら、撮り溜めた写真や映像を閲覧・視聴時に、そのとき見ている部分画像や映像区間と類似するものを探し出したいと想起した際に、ユーザが所望する検索クエリを例示するには手間がかかるという問題がある。
例えば、非特許文献1のように、例示された部分画像を用いて検索するためには、ユーザがある画像内に対して、所望する画像と関連が最も深い部分領域を明示する必要がある。部分画像領域を指定する方法は、ユーザインタフェースにより様々存在するが、少なくとも、位置と大きさを明示する必要がある。例えば、HDDレコーダのように、機能を持つボタン集合からなるリモコンを使って部分画像を示すには、異なるボタン(例えば、位置、大きさ)の組み合わせを駆使して指定しなければならない。また、コンピュータ上で、部分画像領域を示す場合は、マウスを使って位置と大きさを示す必要がある。
また、非特許文献2や非特許文献3のような映像検索方法では、特徴量の算出方式こそ異なるが、いずれも例示する映像中から例示映像区間を明示しなければならない。所望とする映像と関連する映像区間を示すには、例えば、コンピュータの映像再生ソフトで、再生時刻を変更できるシークバーを使って、再生時刻を変えながらそのとき再生される映像を確認するという試行錯誤を繰り返しながら、所望とする映像データの区間を求めることができるが、操作性に難がある。その他、映像を事前にショットと呼ばれる、類似した特徴量を持つ区間が統合された部分映像区間に分割し、各ショットを代表するサムネイル画像を表示させ、それらのサムネイル列を映像と見立てて、ショットのサムネイルを複数選択することで映像区間を示す方法が考えられる。しかし、従来の方法においては、少なくとも例示映像区間の開始点と終了点を示すなどして、映像中の時間位置と時間長を明示しなければならない。
加えて、例示に基づく検索方式では、検索クエリの与え方(例えば、映像検索であればクエリとなる部分映像の時刻位置、時間長、部分画像検索であれば、部分領域の面積・空間位置)によって、得られる検索結果が変化するという性質がある。言い換えれば、検索クエリの与え方が、検索精度を決定する重要な1要素であると言える。しかしながら、従来の例示に基づく手法では、検索クエリが与えられたものとしており、ユーザによる検索要求をシステムに示す負荷については、考慮されていない。
実際に、例示に基づいて部分画像や映像区間を検索するには、事前に部分画像の位置や大きさ、映像における検索クエリの時間位置と時間長を明示しなければならない。しかし、検索クエリの範囲(面積や空間位置等)をシステムに明示するためには、ボタン操作やマウス等の限られたユーザインタフェースを介して示さなければならず、直接、指や手を使って画像・映像に触れて例示するのに比べ、検索クエリを生成する作業はユーザにとって必ずしも楽な作業とは言えない。
本発明は、上記の点に鑑みなされたもので、ユーザの検索要求に基づく検索クエリを複数生成し、類似検索処理方法において生じる検索クエリ生成の負荷を抑えることが可能な類似検索処理方法及び装置及びプログラムを提供することを目的とする。
図1は、本発明の原理を説明するための図である。
本発明(請求項1)は、ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など(以下、検索クエリと呼ぶ)を検索の手掛かりとして用いる類似検索処理方法であって、
検索要求受付手段が、ユーザの検索要求を受け付ける検索要求受付ステップ(ステップ1)と、
検索クエリ生成手段が、ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成ステップ(ステップ2)と、
類似度算出手段が、検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出ステップ(ステップ3)と、
検索結果表示手段が、類似度算出ステップで算出された類似度に基づいて検索結果を表示する検索結果表示ステップ(ステップ4)と、を行う。
また、本発明(請求項2)は、検索要求受付ステップ(ステップ1)において、
検索要求受付手段は、ユーザの検索要求を与えた時刻位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成するステップを行う。
また、本発明(請求項3)は、検索要求受付ステップ(ステップ1)において、
検索要求受付手段は、ユーザの検索要求となる空間位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成するステップを行う。
また、本発明(請求項4)は、検索要求受付ステップ(ステップ1)において、
検索要求受付手段は、ユーザの検索要求として、空間位置と時刻位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、ユーザの指定した空間位置と時刻位置に基づき、検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成するステップを行う。
また、本発明(請求項5)は、検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定するステップと、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成するステップと、を行う。
また、本発明(請求項6)は、検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、検索クエリを生成する範囲を、ユーザの検索要求として取得した時刻位置と、ユーザがシステムへ検索要求を伝えるまでの遅延時間モデルに基づき限定するステップと、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された区間を単位として、1つまたは複数の部分区間から構成される検索クエリを生成するステップと、を行う。
また、本発明(請求項7)は、検索クエリ生成ステップ(ステップ2)において、
検索クエリ生成手段は、生成する複数の検索クエリを、空間位置や時間方向、画像サイズ、時間長などの順序に従って複数表示し、ユーザに検索クエリを一つ、もしくは複数選択させるステップを行い、
検索結果表示ステップ(ステップ4)において、
検索結果表示手段は、ユーザによって選択された検索クエリによる検索結果を一覧表示するステップを行う。
また、本発明(請求項8)は、検索結果表示ステップ(ステップ4)において、
検索結果表示手段は、検索結果を2段階の表示方法により階層的に表示する階層表示ステップを行い、
階層表示ステップは、
第1層において、検索クエリの種類毎に、代表的な検索結果を1つ、もしくは複数提示し、
第2層では、検索クエリの検索結果を詳細表示する。
図2は、本発明の原理構成図である。
本発明(請求項9)は、ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など(以下、検索クエリと呼ぶ)を検索の手掛かりとして用いる類似検索処理装置であって、
ユーザの検索要求を受け付ける検索要求受付手段102と、
ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成手段103と、
検索クエリとデータベース110のデータを照合し、類似度を算出する類似度算出手段105と、
類似度算出手段で算出された類似度に基づいて検索結果を表示する検索結果表示手段106と、を有する。
また、本発明(請求項10)は、検索要求受付手段102において、
ユーザの検索要求を与えた時刻位置を検索クエリ生成手段に転送する手段を含み、
検索クエリ生成手段103において、
時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成する手段を含む。
また、本発明(請求項11)は、検索要求受付手段102において、
ユーザの検索要求となる空間位置を検索クエリ生成手段に転送する手段を含み、
検索クエリ生成手段103において、
ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成する手段を含む。
また、本発明(請求項12)は、検索要求受付手段102において、
ユーザの検索要求として、空間位置と時刻位置を検索クエリ生成手段103に転送する手段を含み、
検索クエリ生成手段103において、
ユーザの指定した空間位置と時刻位置に基づき、検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成する手段を含む。
また、本発明(請求項13)は、検索クエリ生成手段103において、
検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成する手段と、を含む。
また、本発明(請求項14)は、検索クエリ生成手段103において、
検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成する手段と、を含む。
本発明(請求項15)は、類似検索処理装置として利用されるコンピュータに、請求項1乃至8記載の類似検索処理方法の各ステップを実行させる類似検索プログラムである。
上記のように、本発明では、検索クエリを生成するためのユーザの負荷をできる限り抑制するため、類似検索処理装置側において検索クエリを生成する、もしくは、類似検索処理装置側で生成された検索クエリを複数提示し、検索に用いる検索クエリをユーザが選択できるようにした。
上記の請求項1、9により、ユーザは、限られたユーザインタフェースを駆使して検索クエリの範囲を詳細に指定しながら検索クエリを作成するという不慣れな作業を必要とせず、ユーザの検索要求に基づき、類似検索処理装置側で複数の検索クエリが生成されるため、類似検索を行う際の検索クエリの生成に関わる負荷を抑制できる。
また、上記の請求項2,3,4,10,11,12によれば、ユーザの検索要求と大きく異なる検索クエリが多数生成されるという問題を解決できる。例えば、映像中からランダムに生成される検索クエリが、ユーザの検索意図として適切な検索クエリであるとは期待できない。また、適切な検索クエリを作り出そうとして、膨大な数の検索クエリを生成すればするほど、ユーザが検索結果を視認する負荷が高まるという問題は容易に想像される。しかし、本発明では、検索要求を受け付けることで、ユーザの検索要求に基づく検索クエリを生成することができる。
また、請求項5,6,13,14によれば、ユーザの意図に合った範囲に適切に限定できるという効果がある。加えて、視覚的に類似したものが多数生成されてしまう問題を回避できるという効果がある。
前者の効果に関して言えば、例えば、静止画像の部分画像検索であれば、ユーザが指定した空間位置を中心に半径Rの範囲に限定することで、ユーザの検索要求に沿う範囲で検索クエリを生成することができる。また、ユーザが映像視聴中に想起して検索を行う場合(例として部分画像を探す場合について説明する)、例えば、映像再生中の再生装置にマウスクリック等の操作により、検索要求(時刻位置、表示位置)を伝えることで検索処理が実行される。このとき、「ユーザが映像を視聴した時刻から検索したいと想起するまでの時間」並びに、「検索をしたいと想起した時点から、実際に検索要求をマウスクリック等で伝えるまでの人間の反射動作時間」により、数秒程度の遅延時刻Aが生じる。この遅延時刻Aは実用上無視できるものではない。例えば、遅延時刻A以内に、視聴映像内で場面の切り替わりや、被写体の移動が生じると、「類似検索装置で取得したユーザの検索要求時刻の映像フレーム」と「ユーザが検索したいと想起した映像フレーム」とは全く異なり、その結果、所望の検索結果が得られないという問題が生じる。そこで、本発明では、ユーザの検索要求を満たす検索クエリを生成するために、検索クエリを生成する範囲を、ユーザの検索要求時刻周辺に時間的な冗長性を持たせて設定する。加えて、事前に複数ユーザにより遅延時刻Aについて調査し、遅延時刻モデルを構築することにより、検索クエリを生成する範囲をユーザの意図に沿った範囲に効果的に限定することができる。
後者の効果に関して言えば、検索対象が画像であれば検索クエリの面積の多様性、映像・音であればその時間長の多様性が問題となるが、固定閾値を用いて面積や時間長の候補を制限し、生成される検索クエリの総数を絞り込むことができる。また、予め、画像・映像・音をそれぞれのセグメンテーション技術により局所的な特徴が一様である画素・区間を統合した部分領域・区間に分割し、分割された領域・区間を単位に、部分領域・区間を1つもしくは複数包含する検索クエリを生成することで、人間の知覚として同じような領域・区間が多数生成される問題を回避して、検索クエリの総数を絞り込むことができる。
このとき、複数の部分領域・区間から検索クエリを生成する際、隣接する領域及び区間の持つ特徴量の類似性を指標に、類似する領域・区間を優先的に併合することで、セグメンテーション技術におけるパラメータ設定の影響を抑えることができる。さらに、動物体領域抽出技術や顔領域抽出技術を用い、抽出された動物体や顔領域を検索クエリとすることで、人間の認識に近い検索クエリを生成することができる。
また、請求項7によれば、類似検索処理装置側で生成された複数の検索クエリより、人間の優れた認識力を使ってクリック等の簡単な操作で、簡単に適切な検索クエリを設定することができる。また、検索クエリを生成する負担を抑え、かつ、検索クエリの種別毎に検索結果が表示されるため、検索の把握を容易に行うことができる。
また、請求項8によれば、始めに代表的な検索結果のみに絞り込むことで結果全体の一覧性を高め、次にユーザの意図に合う検索結果を与えた検索クエリに関する結果を選択することで、全ての検索結果を見なくとも、ユーザの意図に合った検索結果を見ることができ、把握を効果的に行うことができる。
上記のように、本発明は、ユーザが指定する1つの検索要求から、検索クエリを複数生成し、複数種類の検索結果を同時に一覧できることから、簡単な操作で、短時間にユーザの所望する結果に辿り着くことが期待できる。
また、本発明は、ワンクリックのような簡単な操作でユーザの検索要求を類似検索処理装置に伝えることができるため、従来のように一旦再生を停止し、検索クエリの時刻位置や空間位置を指定するという煩わしい操作を必要としない。そのため、類似検索結果を映像視聴画面と別の画面、もしくは合わせて表示すれば、映像視聴を妨げずに類似検索結果を閲覧することが可能になる。すなわち、検索と視聴という2つの動作を並行して行うことができるため、検索操作がユーザの活動を妨げないという従来に無い利点があるといえる。
上記のように本発明によれば、ユーザが探したいという要求が生じた点(部分画像を探したいのであればその大まかな空間位置を、映像区間であれば、その時刻位置)を検索要求として、ワンクリック等の簡単な操作によりシステムに伝え、ユーザの検索要求に基づく検索クエリを複数生成することで、従来の例示に基づく類似検索処理方法において生じる検索クエリ生成の負荷を抑えることができる。
加えて、本発明は、ユーザが指定する1つの検索要求から、検索クエリを複数生成し、複数種類の検索結果を同時に一覧できることから、簡単な操作で、短時間にユーザの所望する結果にたどり着くことが期待できる。
また、本発明は、ワンクリックのような簡単な操作でユーザの検索要求をシステムに伝えることができるため、従来のように、一旦再生を停止し、検索クエリに当てはまる時間位置や空間位置を指定するというわずらわしい操作を必要としない。そのため、類似検索結果を映像視聴画面と別の画面、もしくは、合わせて表示すれば、映像視聴を妨げずに類似検索結果を閲覧することが可能になる。すなわち、検索と視聴という2つの動作を並行して行うことができるため、検索操作がユーザの活動を妨げないという従来に無い利点があると言える。
以下、図面と共に本発明の実施の形態を説明する。
図3は、本発明の一実施の形態における類似検索処理装置の構成を示す。
本発明の類似検索処理装置100は、ユーザが所望とする画像や映像の例として、ユーザが再生・表示装置111で閲覧・視聴時の画像・映像を検索クエリとして利用するものである。但し、ユーザが検索クエリを生成するには負荷がかかるため、ワンクリック等の簡単な操作でユーザの検索要求を伝えることで、類似検索処理装置100側の検索クエリを生成するものである。具体的には、ユーザが探したいと想起した部分画像が映っていた空間位置や、映像内での時刻位置を検索要求として類似検索処理装置100に伝え、その検索要求に基づき、類似検索処理装置100側では検索クエリを複数生成し、それらの検索クエリの持つ特徴量と類似する部分画像や映像区間をデータベースより検索するものである。
ここでは、類似検索処理装置100は、画像・映像取得部101、検索要求受付部102、検索クエリ生成部103、特徴量算出部104、類似度算出部105、検索結果表示部106から構成される。
なお、情報記憶装置110には、予め画像や映像を配信するサーバやチューナなどの映像受信機を介して画像・映像が蓄積されているものとする。また、画像・映像データの蓄積と同時に画像・映像の特徴量算出部104により同時に算出され、画像・映像とその特徴量が対応付けられて蓄積されているものとする。
図3に示す類似検索処理装置100に設けられた上記の各部は以下に示すような処理を行う。
再生・表示装置111は、例えば、図4に示すように、画像・映像取得部101を介して情報記憶装置110に蓄積された画像・映像等を視聴するものである。ユーザが画像や映像を視聴時に、表示された画像や映像と類似する部分画像や映像区間を見つけたいと想起した場合は、マウス等を用いてワンクリック等の簡単な操作により、検索要求受付部102に検索要求(例えば、時刻位置、空間位置)を入力する。例えば、再生・表示装置111で、静止画像を閲覧しているときは、再生・表示装置111のプレーヤ上に、例示する検索例となる表示部分の1点(あるいは領域)をマウスクリックすることで、検索要求受付部102に検索要求(空間位置)が入力される。また、再生・表示装置111で、映像を視聴中に、表示画面内の部分領域と類似した画像を探したい場合は、映像再生中の再生・表示装置111の表示領域の一点(あるいは領域)をマウスクリックすると、検索要求受付部102に検索要求(時刻位置と空間位置)が入力される。その他、再生・表示装置111で映像を視聴時に類似する映像区間を探したい場合は、図4の右下にある「シーンサーチ」ボタンを押下することで、検索要求(例えば、視聴映像における時刻位置)を検索要求受付部102に入力する。本説明では、検索要求受付部102を、再生・表示装置111自身として説明したが、ボタン操作により別画面に遷移することで、検索要求受付部102を表示・再生装置111と分離することもできる。
検索要求を受け付けた検索要求受付部102は、その検索要求を検索クエリ生成部103に入力する。
検索クエリ生成部103は、画像・映像取得部101を介して、ユーザが検索要求を与えたときに視聴していた視聴データを取得する。加えて、視聴データから、検索要求受付部102から取得した検索要求に基づき、検索クエリを複数生成し、生成された検索クエリとその特徴量を類似度算出部103に入力する(検索クエリの生成方法の詳細については後述する)。このとき、生成された複数の検索クエリを空間配置、時間方向、画像サイズ、時間長等の順序に従ってユーザに提示し、ユーザは検索クエリをチェックボタン等により一つもしくは複数の検索クエリを選択することができる。
特徴量算出部104は、検索クエリ生成部103から取得した各検索クエリに対して、特徴量(例えば、色、形、テクスチャ、動き)を算出するものである。特徴量の算出方法については、前述の非特許文献1〜3や、その他の一般的な方法を用いることができる。
類似度算出部105は、特徴量算出部104で算出した検索クエリの特徴量と情報記憶装置110に格納される検索対象データの特徴量との比較・照合により類似度を算出し、得られた類似度を検索結果表示部106に入力するものである。類似度の算出方法は、予め定めた式により行われる。例えば、検索クエリの特徴量
Figure 2007323319
(例えば、色や模様成分からなるn次元ベクトルであり、また、iは検索クエリの番号を表す)と、検索対象データの特徴量を
Figure 2007323319
(クエリの特徴量と同じn次元ベクトルとし、jはデータベース中の検索対象の番号を表す)とすると、その類似度は、式(1)で定義する重み付き2乗距離和を用いることが可能である。
Figure 2007323319
但し、ωは重み計数(=1)である。
なお、ωは、本実施の形態では1を使用しているが、特徴量同士の偏りを抑制するため、各特長量の標準偏差で正規化してもよい。また、その類似度算出方法は、前述の非特許文献1〜3や、その他一般的な方法を用いることができる。
検索結果表示部106は、検索クエリに基づいて情報記憶装置110を検索し、類似度算出部105で算出した類似度に基づき、複数の検索クエリの検索結果を一覧表示するものである。例えば、図5に示すように、検索結果を検索クエリ毎に、同一の画面上に一覧表示する。また、2階層からなる表示方法により、第1層において、検索クエリ毎に、その代表的な検索結果を一つ、もしくは複数提示し、第2層では、各検索クエリの検索結果を詳細表示することもできる。代表的な検索結果を選出する方法としては、検索クエリとの類似性が高い順に1つまたは複数選出することや、検索結果集合の特徴量をクラスタリングし、クラスに属するクラスタが大きいクラスを1つまたは複数決め、その中心のクラスタを選出し、表示することもできる。
次に、検索クエリ生成部103において、複数の検索クエリを生成する方法について説明する。
図6は、本発明の一実施の形態における検索クエリ生成処理のフローチャートである。
ステップ11) 検索要求受付部102から入力される検索要求(空間位置、時刻位置のうち一つもしくは複数)を受け付け、一時メモリ(図示せず)に格納する。
ステップ12) 画像・映像取得部101からユーザが視聴していた、画像もしくは映像(以下、視聴データと呼ぶ)を取得し、一時メモリ(図示せず)に格納する。
ステップ13) 一時メモリ(図示せず)より、ステップ12で取得した視聴データを読み出し、視聴データが画像であるか否かを判断する。「はい」の場合はステップ14へ、「いいえ」の場合はステップ16へ移行する。
ステップ14) 一時メモリ(図示せず)より、ステップ11で受け付けた検索要求としてユーザが指定した空間位置と、ステップ12で取得した視聴データ(画像)を取得し、視聴データの指定された空間位置を中心に半径Rの範囲を切り出す。このとき切り出された視聴データ(以降、クエリソースと呼ぶ)QRを、一時メモリ(図示せず)に格納する。
ステップ15) 一時メモリ(図示せず)より、ステップ14で求めたクエリソースQRを読み出し、QR内の領域情報を取得し、QR内の領域の組み合わせにより、複数の検索クエリを生成する。
領域情報の取得方法としては、例えば、事前に人手により領域を定義しておき、その情報を外部から取得する。もしくは、QRをNx画素、縦にNy画素の間隔でメッシュ状に分割することで領域を定義することができる。その他、文献1「Y. Deng. and B. S. Manjunath, “Unsupervised segmentation of color-texture regions in images and video, “IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI’01), August 2001」のような画像の領域分割手法により、画像特性に基づく領域を定義することができる。
領域の組み合わせ方法としては、例えば、事前に定義された領域の組み合わせ情報を用いることができる。また、ユーザがクリックした位置から領域番号がわかり、その領域を含む、QR内の領域の組み合わせを検索クエリとすることができる。
ステップ16) 一時メモリ(図示せず)より、ステップ11で受け付けた検索要求を読み出し、検索要求に空間情報が含まれる否かを判定する。「いいえ」の場合、ステップ17へ移行し、「はい」の場合はステップ19へ移行する。
ステップ17) 一時メモリ(図示せず)より、ステップ11で受け付けた検索要求と、ステップ12で取得した視聴データ(映像)を読み出し、検索要求として取得した時刻位置から、ユーザが検索要求を想起して、類似検索処理装置100へ検索要求を伝えるまでの時刻(実験により事前に算出される値)を差し引いた時刻を基点に、時間幅Tを設定し、映像データを切り出す(例えば、基点を中心に時間幅Tを両端にもつ範囲を視聴データから切り出す。その他、基点の片側のみに時間幅Tを設定し、切り出すことができる)。このとき得られた映像区間を、検索クエリを生成する区間となるクエリソースQVとして一時メモリ(図示せず)に格納する。
ステップ18) 一時メモリ(図示せず)からステップ17で得られたクエリソースQVを読み出し、QVに対して、QV内の映像区間情報を取得し、QV内の映像区間の組み合わせにより、複数の検索クエリを生成する。
映像区間情報の取得方法は、例えば、事前に人手により領域を定義しておき、その情報を外部から取得する。または、クエリソースQVを時間的に等間隔に区分することができる。その他、映像分割手法(例えば、特開1999−18028号公報に開示された映像分割手法など)を用いて映像内容の構成が大きく変化する点を検出し、映像を区分することで、映像特性に基づく映像区間を定義することができる。
映像区間の組み合わせ方法は、例えば、事前に定義された映像区間の組み合わせ情報を用いることもできる。また、映像区間情報を機械的に組み合わせることで、複数の検索クエリを生成することができる。さらに、探したいと思った映像が表示されてからユーザが検索要求を想起して類似検索処理装置100へ検索要求を伝えるまでの遅延モデル(その概念図を図7に示す)を予め実験により生成し、その遅延モデルを用い、ユーザが検索を想起した真の映像時刻位置ETを一つもしくは複数推定し、QVから、ETを包含する映像区間を、少なくとも1つ以上含む映像区間の組み合わせを検索クエリとすることができる。
ステップ19) 一時メモリ(図示せず)より、ステップ11で受け付けた検索要求と、ステップ12で取得した視聴データ(映像)を読み出し、ユーザの検索要求時刻周辺から、検索クエリを生成する基となるクエリソースQVRを取得する(QVRは、複数の映像フレームから構成され、その各フレームは、フレーム番号iを用いて表すとQVR(i)と表記する)。クエリソースQVRの取得方法は、例えば、まず、ユーザの検索要求として取得した時間位置を基に、ステップ17の処理を施すことで、検索クエリを生成する範囲を時間的に限定する。さらに、このとき限定された映像区間から、一定時間間隔もしくは、前述の文献1の方法を用いることで、映像特性に基づく時間間隔で、クエリを生成する基となるクエリソースQVR(複数の映像フレーム)を取得することができる。図8の例は、映像をショットと呼ばれる部分区間に予め分割し、ショットのラベルを付与した映像の模式図である。このとき、ユーザが映像中の「E」の位置(a)で検索要求として指示したとすると、例えば、bに示すような検索区間が複数生成される。
ステップ20) 一時メモリ(図示せず)より、ステップ11で受け付けた検索要求と、ステップ19で得られたクエリソースQVRを読み出し、複数の検索クエリ(部分画像)を生成する。例えば、QVRに含まれる一つの映像フレームであるQVR(i)に対し、ステップ14の処理によりユーザの指定した空間位置周辺に限定し、限定された範囲に対してステップ15の処理を施すことで検索クエリ(部分画像)を生成することができる。さらに、これらの処理を、全てのクエリソースQVRに施すことで、複数の検索クエリ(部分画像)が生成できる。
図9は、本発明の一実施の形態における検索クエリ(部分画像)の生成例を示す。
画像の場合は、表示画像の1点(あるいは領域)をユーザが指定すると、画像の特性によって図9のように複数の検索クエリを生成して類似検索する。
例えば、図9の例では、(a)に示すような図に対し、ユーザが画面に図示する位置を検索要求として指示したとすると、図示した位置の近傍を基点に、同図(b)のような検索クエリが複数生成される。
図8は、本発明の一実施の形態における検索クエリ(映像区間)の生成例を示す。
映像の場合は、映像再生中の1点(再生時刻)を指定すると、映像の特性によって図8のように複数の検索クエリを生成して、類似検索する。
例えば、図8の例では、映像をショットと呼ばれる部分区間に予め分割し、ショットのラベルを付与した映像の模式図である。このとき、ユーザが映像中の「E」の位置(a)で検索要求として指示したとすると、例えば、(b)に示すような検索クエリが複数生成される。
本発明は、上記の実施の形態に示した動作をプログラムとして構築し、類似検索処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
また、構築されたプログラムをハードディスクや、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、類似検索処理装置として利用されるコンピュータにインストールする、または、配布することが可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
本発明は、様々な記録媒体に蓄積されている画像・映像・音を検索する技術に適用可能である。
本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における類似検索処理装置の構成図である。 本発明の一実施の形態における検索要求を受け付ける再生・表示装置の例である。 本発明の一実施の形態における複数の検索クエリによる複数の検索結果の一覧表示例である。 本発明の一実施の形態における検索クエリ生成処理のフローチャートである。 本発明の一実施の形態におけるユーザの検索要求を伝えるまでの遅延モデルの概念図である。 本発明の一実施の形態における検索クエリ(映像区間)の生成例である。 本発明の一実施の形態における検索クエリ(部分画像)の生成例である。
符号の説明
100 類似検索処理装置
101 画像・映像取得部
102 検索要求受付手段、検索要求受付部
103 検索クエリ生成手段、検索クエリ生成部
104 特徴量算出部
105 類似度算出手段、類似度算出部
106 検索結果表示手段、検索結果表示部
110 データベース、情報記憶装置
111 再生・表示装置

Claims (15)

  1. ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など(以下、検索クエリと呼ぶ)を検索の手掛かりとして用いる類似検索処理方法であって、
    検索要求受付手段が、ユーザの検索要求を受け付ける検索要求受付ステップと、
    検索クエリ生成手段が、前記ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成ステップと、
    類似度算出手段が、前記検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出ステップと、
    検索結果表示手段が、前記類似度算出ステップで算出された前記類似度に基づいて検索結果を表示する検索結果表示ステップと、
    を行うことを特徴とする類似検索処理方法。
  2. 前記検索要求受付ステップにおいて、
    前記検索要求受付手段は、前記ユーザの検索要求を与えた時刻位置を前記検索クエリ生成手段に転送するステップを行い、
    前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、前記時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成するステップを行う、
    請求項1記載の類似検索処理方法。
  3. 前記検索要求受付ステップにおいて、
    前記検索要求受付手段は、前記ユーザの検索要求となる空間位置を前記検索クエリ生成手段に転送するステップを行い、
    前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成するステップを行う、
    請求項1記載の類似検索処理方法。
  4. 前記検索要求受付ステップにおいて、
    前記検索要求受付手段は、前記ユーザの検索要求として、空間位置と時刻位置を前記検索クエリ生成手段に転送するステップを行い、
    前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、ユーザの指定した前記空間位置と前記時刻位置に基づき、前記検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成するステップを行う、
    請求項1記載の類似検索処理方法。
  5. 前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定するステップと、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成するステップと、
    を行う請求項1乃至4記載の類似検索処理方法。
  6. 前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、前記検索クエリを生成する範囲を、ユーザの検索要求として取得した時刻位置と、ユーザがシステムへ検索要求を伝えるまでの遅延時間モデルに基づき限定するステップと、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された区間を単位として、1つまたは複数の部分区間から構成される検索クエリを生成するステップと、
    を行う請求項1乃至4記載の類似検索処理方法。
  7. 前記検索クエリ生成ステップにおいて、
    前記検索クエリ生成手段は、生成する複数の検索クエリを、空間位置や時間方向、画像サイズ、時間長などの順序に従って複数表示し、ユーザに検索クエリを一つ、もしくは複数選択させるステップを行い、
    前記検索結果表示ステップにおいて、
    前記検索結果表示手段は、ユーザによって選択された検索クエリによる検索結果を一覧表示するステップを行う請求講1乃至6記載の類似検索処理方法。
  8. 前記検索結果表示ステップにおいて、
    前記検索結果表示手段は、検索結果を2段階の表示方法により階層的に表示する階層表示ステップを行い、
    前記階層表示ステップは、
    第1層において、前記検索クエリの種類毎に、代表的な検索結果を1つ、もしくは複数提示し、
    第2層では、前記検索クエリの検索結果を詳細表示する、
    請求項1乃至7記載の類似検索処理方法。
  9. ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など(以下、検索クエリと呼ぶ)を検索の手掛かりとして用いる類似検索処理装置であって、
    ユーザの検索要求を受け付ける検索要求受付手段と、
    前記ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成手段と、
    前記検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出手段と、
    前記類似度算出手段で算出された前記類似度に基づいて検索結果を表示する検索結果表示手段と、
    を有することを特徴とする類似検索処理装置。
  10. 前記検索要求受付手段は、
    前記ユーザの検索要求を与えた時刻位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    前記時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成する手段を含む、
    請求項9記載の類似検索処理装置。
  11. 前記検索要求受付手段は、
    前記ユーザの検索要求となる空間位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成する手段を含む、
    請求項9記載の類似検索処理装置。
  12. 前記検索要求受付手段は、
    前記ユーザの検索要求として、空間位置と時刻位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    ユーザの指定した前記空間位置と前記時刻位置に基づき、前記検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成する手段を含む、
    請求項9記載の類似検索処理装置。
  13. 前記検索クエリ生成手段は、
    前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成する手段と、
    を含む請求項9乃至12記載の類似検索処理装置。
  14. 前記検索クエリ生成手段は、
    前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、1つまたは、複数の領域から構成される検索クエリを生成する手段と、
    を含む請求項9乃至12記載の類似検索処理装置。
  15. コンピュータに、
    請求項1乃至8記載の類似検索処理方法の各ステップを実行させることを特徴とする類似検索プログラム。
JP2006152190A 2006-05-31 2006-05-31 類似検索処理方法及び装置及びプログラム Pending JP2007323319A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006152190A JP2007323319A (ja) 2006-05-31 2006-05-31 類似検索処理方法及び装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006152190A JP2007323319A (ja) 2006-05-31 2006-05-31 類似検索処理方法及び装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2007323319A true JP2007323319A (ja) 2007-12-13

Family

ID=38856078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006152190A Pending JP2007323319A (ja) 2006-05-31 2006-05-31 類似検索処理方法及び装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2007323319A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283542A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム
JP2011223327A (ja) * 2010-04-09 2011-11-04 Sony Corp コンテンツ検索装置および方法、並びにプログラム
EP3067804A1 (en) 2015-03-11 2016-09-14 Fujitsu Limited Data arrangement program, data arrangement method, and data arrangement apparatus
JPWO2016147260A1 (ja) * 2015-03-13 2017-09-28 株式会社日立製作所 画像検索装置、及び画像を検索する方法
JP2019046471A (ja) * 2017-08-30 2019-03-22 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 類似ビデオ捜索方法、装置、設備及びプログラム
JP7135235B1 (ja) 2022-05-19 2022-09-12 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7135236B1 (ja) 2022-05-19 2022-09-12 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172693A (ja) * 1998-12-01 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2000207420A (ja) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体
JP2005182496A (ja) * 2003-12-19 2005-07-07 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2005258695A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 音楽内容検索装置及び方法及び音楽内容検索プログラムおよび音楽内容検索プログラムを格納した記憶媒体
JP2005327304A (ja) * 2005-05-30 2005-11-24 Sony Corp 検索システム、検索装置、検索方法および検索プログラム、ならびに、通信装置、通信方法および通信プログラム
JP2006039753A (ja) * 2004-07-23 2006-02-09 Canon Inc 画像処理装置、画像処理方法
JP2006101076A (ja) * 2004-09-29 2006-04-13 Casio Comput Co Ltd 動画編集方法、動画編集装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207420A (ja) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> 類似画像検索システム,類似画像検索方法および類似画像検索プログラムを記録した記録媒体
JP2000172693A (ja) * 1998-12-01 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体
JP2005182496A (ja) * 2003-12-19 2005-07-07 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2005258695A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 音楽内容検索装置及び方法及び音楽内容検索プログラムおよび音楽内容検索プログラムを格納した記憶媒体
JP2006039753A (ja) * 2004-07-23 2006-02-09 Canon Inc 画像処理装置、画像処理方法
JP2006101076A (ja) * 2004-09-29 2006-04-13 Casio Comput Co Ltd 動画編集方法、動画編集装置及びプログラム
JP2005327304A (ja) * 2005-05-30 2005-11-24 Sony Corp 検索システム、検索装置、検索方法および検索プログラム、ならびに、通信装置、通信方法および通信プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283542A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム
JP2011223327A (ja) * 2010-04-09 2011-11-04 Sony Corp コンテンツ検索装置および方法、並びにプログラム
US8971633B2 (en) 2010-04-09 2015-03-03 Sony Corporation Content retrieval to facilitate recognizing content details of a moving image
EP3067804A1 (en) 2015-03-11 2016-09-14 Fujitsu Limited Data arrangement program, data arrangement method, and data arrangement apparatus
US10133811B2 (en) 2015-03-11 2018-11-20 Fujitsu Limited Non-transitory computer-readable recording medium, data arrangement method, and data arrangement apparatus
JPWO2016147260A1 (ja) * 2015-03-13 2017-09-28 株式会社日立製作所 画像検索装置、及び画像を検索する方法
JP2019046471A (ja) * 2017-08-30 2019-03-22 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 類似ビデオ捜索方法、装置、設備及びプログラム
US10853416B2 (en) 2017-08-30 2020-12-01 Baidu Online Network Technology (Beijing) Co., Ltd. Similar video lookup method and apparatus, device and storage medium
JP7135235B1 (ja) 2022-05-19 2022-09-12 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7135236B1 (ja) 2022-05-19 2022-09-12 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2023170583A (ja) * 2022-05-19 2023-12-01 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2023170551A (ja) * 2022-05-19 2023-12-01 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Similar Documents

Publication Publication Date Title
US10529381B2 (en) Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
US10140575B2 (en) Sports formation retrieval
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
Truong et al. Video abstraction: A systematic review and classification
US7421455B2 (en) Video search and services
JP5691289B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Schoeffmann et al. Video browsing interfaces and applications: a review
US20160103830A1 (en) User interface method and device for searching for multimedia content
Asghar et al. Video indexing: a survey
US20110243529A1 (en) Electronic apparatus, content recommendation method, and program therefor
WO2012020667A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US8068678B2 (en) Electronic apparatus and image processing method
TW200921454A (en) Method and apparatus for video digest generation
JP2007323319A (ja) 類似検索処理方法及び装置及びプログラム
WO2012010510A1 (en) Method and system to organize and visualize media items
WO2006025272A1 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
KR102592904B1 (ko) 영상 요약 장치 및 방법
Münzer et al. lifexplore at the lifelog search challenge 2018
CN113779303A (zh) 视频集合的索引方法、装置和存储介质及电子设备
Lee et al. Automatic video summarizing tool using MPEG-7 descriptors for personal video recorder
JP2007200249A (ja) 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
Gupta et al. A comprehensive study of automatic video summarization techniques
WO1999005865A1 (en) Content-based video access
JP4995770B2 (ja) 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301