JP2007323319A - 類似検索処理方法及び装置及びプログラム - Google Patents

Abstract

【課題】ユーザの検索要求に基づく検索クエリを複数生成し、類似検索処理方法において生じる検索クエリ生成の負荷を抑える。
【解決手段】本発明は、ユーザから検索要求として取得した時刻位置・空間位置に基づいて、ユーザの検索要求と関連する検索クエリを空間位置、面積、時刻位置、時間長などを様々変えることにより複数生成し、検索クエリとデータベースのデータを照合し、類似度を算出し、算出された類似度に基づいて検索結果を表示する。
【選択図】図１

Description

本発明は、類似検索処理方法及び装置及びプログラムに係り、特に、ユーザが所望する画像・映像・音を検索するために、部分画像や映像区間などを検索の手掛りとして用いる類似検索処理方法及び装置及びプログラムに関する。

近年、デジタルカメラやカメラ付携帯電話の普及に伴い、デジタル画像を気軽に撮り溜めることが一般的になっている。また、デジタル放送やケーブルテレビの普及に伴い、様々なジャンルの映像データを入手することが、個人でも容易になっている。加えて、ＨＤＤ等の蓄積メディアの進歩に伴い、画像・映像データを、ハードディスク、ＤＶＤ等に大量に蓄積し、個人の都合にあった時間に、視聴・閲覧するスタイルが定着してきている。

その一方で、記録蓄積された画像・映像データが増えれば増えるほど、膨大なデータの中から、画像内の特定の部分領域（例えば、ロゴや人）を探し出すことや、特定のイベントシーンのような、複数の部分映像区間で１つの意味（行為）をなす映像区間を探し出すことは困難となる。それに伴い、大量の映像内容を解析し、ユーザの所望する部分映像や映像の検索を行う技術が注目を集めている。

部分画像・映像の検索方式には、ユーザが所望とする画像や映像の例を具体的に示し、例示された画像・映像自体から自動取得できる特徴量（例えば、色、形、模様、動き）を検索の手掛かりとして利用し、特徴量同士の類似性から所望とする画像・映像を探し出す方法がある。

例示に基づく部分画像検索方式は、ユーザが所望する画像領域例を示し、データベース画像の任意の部分領域を照合する方法である（例えば、非特許文献１参照）。部分画像検索方法を用いることで、画像中のロゴのような特定部分を探し出すことが可能になる。また、画像の部分領域間の類似性に基づいて、画像全体の類似性を判定することで、画像全体の類似検索も可能になる。

一方、例示に基づく映像検索方式は、予めユーザが所望する映像例を明示し、例示映像の特徴量と類似するデータベース映像を探す方法がある。当該技術では、例示映像の持つ時系列特徴（平均色の時系列）を抽出し、時系列特徴が類似する、または、ＣＭのような一致する映像区間を探し出すことができる（例えば、非特許文献２）。また、映像を画像集合と捉え、例示映像から代表的な画像集合を算出し、画像集合同士の類似性により画像を検索できる（例えば、非特許文献３参照）。
木村昭悟、川西隆仁、柏野邦夫「SPIRE:スパースなインデキシングによる画像中の同一部分領域の検出」電子情報通信学会論文誌、D-II、Vol. J88-D-II、No8, 2005 高橋克直、富永英義、杉浦麻貴、横井摩優、寺島信義「特徴的な動画像の画紋を用いた高能率動画像検索法」画像電子学会論文誌、Vol.29, No.6 2000 堀田政二、井上光平、浦浜喜一「画像集合間距離に基づくビデオの類似検索」映像情報メディア学会誌、Vol. 54, No.11, 2000

しかしながら、撮り溜めた写真や映像を閲覧・視聴時に、そのとき見ている部分画像や映像区間と類似するものを探し出したいと想起した際に、ユーザが所望する検索クエリを例示するには手間がかかるという問題がある。

例えば、非特許文献１のように、例示された部分画像を用いて検索するためには、ユーザがある画像内に対して、所望する画像と関連が最も深い部分領域を明示する必要がある。部分画像領域を指定する方法は、ユーザインタフェースにより様々存在するが、少なくとも、位置と大きさを明示する必要がある。例えば、ＨＤＤレコーダのように、機能を持つボタン集合からなるリモコンを使って部分画像を示すには、異なるボタン（例えば、位置、大きさ）の組み合わせを駆使して指定しなければならない。また、コンピュータ上で、部分画像領域を示す場合は、マウスを使って位置と大きさを示す必要がある。

また、非特許文献２や非特許文献３のような映像検索方法では、特徴量の算出方式こそ異なるが、いずれも例示する映像中から例示映像区間を明示しなければならない。所望とする映像と関連する映像区間を示すには、例えば、コンピュータの映像再生ソフトで、再生時刻を変更できるシークバーを使って、再生時刻を変えながらそのとき再生される映像を確認するという試行錯誤を繰り返しながら、所望とする映像データの区間を求めることができるが、操作性に難がある。その他、映像を事前にショットと呼ばれる、類似した特徴量を持つ区間が統合された部分映像区間に分割し、各ショットを代表するサムネイル画像を表示させ、それらのサムネイル列を映像と見立てて、ショットのサムネイルを複数選択することで映像区間を示す方法が考えられる。しかし、従来の方法においては、少なくとも例示映像区間の開始点と終了点を示すなどして、映像中の時間位置と時間長を明示しなければならない。

加えて、例示に基づく検索方式では、検索クエリの与え方（例えば、映像検索であればクエリとなる部分映像の時刻位置、時間長、部分画像検索であれば、部分領域の面積・空間位置）によって、得られる検索結果が変化するという性質がある。言い換えれば、検索クエリの与え方が、検索精度を決定する重要な１要素であると言える。しかしながら、従来の例示に基づく手法では、検索クエリが与えられたものとしており、ユーザによる検索要求をシステムに示す負荷については、考慮されていない。

実際に、例示に基づいて部分画像や映像区間を検索するには、事前に部分画像の位置や大きさ、映像における検索クエリの時間位置と時間長を明示しなければならない。しかし、検索クエリの範囲（面積や空間位置等）をシステムに明示するためには、ボタン操作やマウス等の限られたユーザインタフェースを介して示さなければならず、直接、指や手を使って画像・映像に触れて例示するのに比べ、検索クエリを生成する作業はユーザにとって必ずしも楽な作業とは言えない。

本発明は、上記の点に鑑みなされたもので、ユーザの検索要求に基づく検索クエリを複数生成し、類似検索処理方法において生じる検索クエリ生成の負荷を抑えることが可能な類似検索処理方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など（以下、検索クエリと呼ぶ）を検索の手掛かりとして用いる類似検索処理方法であって、
検索要求受付手段が、ユーザの検索要求を受け付ける検索要求受付ステップ（ステップ１）と、
検索クエリ生成手段が、ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成ステップ（ステップ２）と、
類似度算出手段が、検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出ステップ（ステップ３）と、
検索結果表示手段が、類似度算出ステップで算出された類似度に基づいて検索結果を表示する検索結果表示ステップ（ステップ４）と、を行う。

また、本発明（請求項２）は、検索要求受付ステップ（ステップ１）において、
検索要求受付手段は、ユーザの検索要求を与えた時刻位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成するステップを行う。

また、本発明（請求項３）は、検索要求受付ステップ（ステップ１）において、
検索要求受付手段は、ユーザの検索要求となる空間位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成するステップを行う。

また、本発明（請求項４）は、検索要求受付ステップ（ステップ１）において、
検索要求受付手段は、ユーザの検索要求として、空間位置と時刻位置を検索クエリ生成手段に転送するステップを行い、
検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、ユーザの指定した空間位置と時刻位置に基づき、検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成するステップを行う。

また、本発明（請求項５）は、検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定するステップと、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成するステップと、を行う。

また、本発明（請求項６）は、検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、検索クエリを生成する範囲を、ユーザの検索要求として取得した時刻位置と、ユーザがシステムへ検索要求を伝えるまでの遅延時間モデルに基づき限定するステップと、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された区間を単位として、１つまたは複数の部分区間から構成される検索クエリを生成するステップと、を行う。

また、本発明（請求項７）は、検索クエリ生成ステップ（ステップ２）において、
検索クエリ生成手段は、生成する複数の検索クエリを、空間位置や時間方向、画像サイズ、時間長などの順序に従って複数表示し、ユーザに検索クエリを一つ、もしくは複数選択させるステップを行い、
検索結果表示ステップ（ステップ４）において、
検索結果表示手段は、ユーザによって選択された検索クエリによる検索結果を一覧表示するステップを行う。

また、本発明（請求項８）は、検索結果表示ステップ（ステップ４）において、
検索結果表示手段は、検索結果を２段階の表示方法により階層的に表示する階層表示ステップを行い、
階層表示ステップは、
第１層において、検索クエリの種類毎に、代表的な検索結果を１つ、もしくは複数提示し、
第２層では、検索クエリの検索結果を詳細表示する。

図２は、本発明の原理構成図である。

本発明（請求項９）は、ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など（以下、検索クエリと呼ぶ）を検索の手掛かりとして用いる類似検索処理装置であって、
ユーザの検索要求を受け付ける検索要求受付手段１０２と、
ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成手段１０３と、
検索クエリとデータベース１１０のデータを照合し、類似度を算出する類似度算出手段１０５と、
類似度算出手段で算出された類似度に基づいて検索結果を表示する検索結果表示手段１０６と、を有する。

また、本発明（請求項１０）は、検索要求受付手段１０２において、
ユーザの検索要求を与えた時刻位置を検索クエリ生成手段に転送する手段を含み、
検索クエリ生成手段１０３において、
時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成する手段を含む。

また、本発明（請求項１１）は、検索要求受付手段１０２において、
ユーザの検索要求となる空間位置を検索クエリ生成手段に転送する手段を含み、
検索クエリ生成手段１０３において、
ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成する手段を含む。

また、本発明（請求項１２）は、検索要求受付手段１０２において、
ユーザの検索要求として、空間位置と時刻位置を検索クエリ生成手段１０３に転送する手段を含み、
検索クエリ生成手段１０３において、
ユーザの指定した空間位置と時刻位置に基づき、検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成する手段を含む。

また、本発明（請求項１３）は、検索クエリ生成手段１０３において、
検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成する手段と、を含む。

また、本発明（請求項１４）は、検索クエリ生成手段１０３において、
検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成する手段と、を含む。

本発明（請求項１５）は、類似検索処理装置として利用されるコンピュータに、請求項１乃至８記載の類似検索処理方法の各ステップを実行させる類似検索プログラムである。

上記のように、本発明では、検索クエリを生成するためのユーザの負荷をできる限り抑制するため、類似検索処理装置側において検索クエリを生成する、もしくは、類似検索処理装置側で生成された検索クエリを複数提示し、検索に用いる検索クエリをユーザが選択できるようにした。

上記の請求項１、９により、ユーザは、限られたユーザインタフェースを駆使して検索クエリの範囲を詳細に指定しながら検索クエリを作成するという不慣れな作業を必要とせず、ユーザの検索要求に基づき、類似検索処理装置側で複数の検索クエリが生成されるため、類似検索を行う際の検索クエリの生成に関わる負荷を抑制できる。

また、上記の請求項２，３，４，１０，１１，１２によれば、ユーザの検索要求と大きく異なる検索クエリが多数生成されるという問題を解決できる。例えば、映像中からランダムに生成される検索クエリが、ユーザの検索意図として適切な検索クエリであるとは期待できない。また、適切な検索クエリを作り出そうとして、膨大な数の検索クエリを生成すればするほど、ユーザが検索結果を視認する負荷が高まるという問題は容易に想像される。しかし、本発明では、検索要求を受け付けることで、ユーザの検索要求に基づく検索クエリを生成することができる。

また、請求項５，６，１３，１４によれば、ユーザの意図に合った範囲に適切に限定できるという効果がある。加えて、視覚的に類似したものが多数生成されてしまう問題を回避できるという効果がある。

前者の効果に関して言えば、例えば、静止画像の部分画像検索であれば、ユーザが指定した空間位置を中心に半径Ｒの範囲に限定することで、ユーザの検索要求に沿う範囲で検索クエリを生成することができる。また、ユーザが映像視聴中に想起して検索を行う場合（例として部分画像を探す場合について説明する）、例えば、映像再生中の再生装置にマウスクリック等の操作により、検索要求（時刻位置、表示位置）を伝えることで検索処理が実行される。このとき、「ユーザが映像を視聴した時刻から検索したいと想起するまでの時間」並びに、「検索をしたいと想起した時点から、実際に検索要求をマウスクリック等で伝えるまでの人間の反射動作時間」により、数秒程度の遅延時刻Ａが生じる。この遅延時刻Ａは実用上無視できるものではない。例えば、遅延時刻Ａ以内に、視聴映像内で場面の切り替わりや、被写体の移動が生じると、「類似検索装置で取得したユーザの検索要求時刻の映像フレーム」と「ユーザが検索したいと想起した映像フレーム」とは全く異なり、その結果、所望の検索結果が得られないという問題が生じる。そこで、本発明では、ユーザの検索要求を満たす検索クエリを生成するために、検索クエリを生成する範囲を、ユーザの検索要求時刻周辺に時間的な冗長性を持たせて設定する。加えて、事前に複数ユーザにより遅延時刻Ａについて調査し、遅延時刻モデルを構築することにより、検索クエリを生成する範囲をユーザの意図に沿った範囲に効果的に限定することができる。

後者の効果に関して言えば、検索対象が画像であれば検索クエリの面積の多様性、映像・音であればその時間長の多様性が問題となるが、固定閾値を用いて面積や時間長の候補を制限し、生成される検索クエリの総数を絞り込むことができる。また、予め、画像・映像・音をそれぞれのセグメンテーション技術により局所的な特徴が一様である画素・区間を統合した部分領域・区間に分割し、分割された領域・区間を単位に、部分領域・区間を１つもしくは複数包含する検索クエリを生成することで、人間の知覚として同じような領域・区間が多数生成される問題を回避して、検索クエリの総数を絞り込むことができる。

このとき、複数の部分領域・区間から検索クエリを生成する際、隣接する領域及び区間の持つ特徴量の類似性を指標に、類似する領域・区間を優先的に併合することで、セグメンテーション技術におけるパラメータ設定の影響を抑えることができる。さらに、動物体領域抽出技術や顔領域抽出技術を用い、抽出された動物体や顔領域を検索クエリとすることで、人間の認識に近い検索クエリを生成することができる。

また、請求項７によれば、類似検索処理装置側で生成された複数の検索クエリより、人間の優れた認識力を使ってクリック等の簡単な操作で、簡単に適切な検索クエリを設定することができる。また、検索クエリを生成する負担を抑え、かつ、検索クエリの種別毎に検索結果が表示されるため、検索の把握を容易に行うことができる。

また、請求項８によれば、始めに代表的な検索結果のみに絞り込むことで結果全体の一覧性を高め、次にユーザの意図に合う検索結果を与えた検索クエリに関する結果を選択することで、全ての検索結果を見なくとも、ユーザの意図に合った検索結果を見ることができ、把握を効果的に行うことができる。

上記のように、本発明は、ユーザが指定する１つの検索要求から、検索クエリを複数生成し、複数種類の検索結果を同時に一覧できることから、簡単な操作で、短時間にユーザの所望する結果に辿り着くことが期待できる。

また、本発明は、ワンクリックのような簡単な操作でユーザの検索要求を類似検索処理装置に伝えることができるため、従来のように一旦再生を停止し、検索クエリの時刻位置や空間位置を指定するという煩わしい操作を必要としない。そのため、類似検索結果を映像視聴画面と別の画面、もしくは合わせて表示すれば、映像視聴を妨げずに類似検索結果を閲覧することが可能になる。すなわち、検索と視聴という２つの動作を並行して行うことができるため、検索操作がユーザの活動を妨げないという従来に無い利点があるといえる。

上記のように本発明によれば、ユーザが探したいという要求が生じた点（部分画像を探したいのであればその大まかな空間位置を、映像区間であれば、その時刻位置）を検索要求として、ワンクリック等の簡単な操作によりシステムに伝え、ユーザの検索要求に基づく検索クエリを複数生成することで、従来の例示に基づく類似検索処理方法において生じる検索クエリ生成の負荷を抑えることができる。

加えて、本発明は、ユーザが指定する１つの検索要求から、検索クエリを複数生成し、複数種類の検索結果を同時に一覧できることから、簡単な操作で、短時間にユーザの所望する結果にたどり着くことが期待できる。

また、本発明は、ワンクリックのような簡単な操作でユーザの検索要求をシステムに伝えることができるため、従来のように、一旦再生を停止し、検索クエリに当てはまる時間位置や空間位置を指定するというわずらわしい操作を必要としない。そのため、類似検索結果を映像視聴画面と別の画面、もしくは、合わせて表示すれば、映像視聴を妨げずに類似検索結果を閲覧することが可能になる。すなわち、検索と視聴という２つの動作を並行して行うことができるため、検索操作がユーザの活動を妨げないという従来に無い利点があると言える。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における類似検索処理装置の構成を示す。

本発明の類似検索処理装置１００は、ユーザが所望とする画像や映像の例として、ユーザが再生・表示装置１１１で閲覧・視聴時の画像・映像を検索クエリとして利用するものである。但し、ユーザが検索クエリを生成するには負荷がかかるため、ワンクリック等の簡単な操作でユーザの検索要求を伝えることで、類似検索処理装置１００側の検索クエリを生成するものである。具体的には、ユーザが探したいと想起した部分画像が映っていた空間位置や、映像内での時刻位置を検索要求として類似検索処理装置１００に伝え、その検索要求に基づき、類似検索処理装置１００側では検索クエリを複数生成し、それらの検索クエリの持つ特徴量と類似する部分画像や映像区間をデータベースより検索するものである。

ここでは、類似検索処理装置１００は、画像・映像取得部１０１、検索要求受付部１０２、検索クエリ生成部１０３、特徴量算出部１０４、類似度算出部１０５、検索結果表示部１０６から構成される。

なお、情報記憶装置１１０には、予め画像や映像を配信するサーバやチューナなどの映像受信機を介して画像・映像が蓄積されているものとする。また、画像・映像データの蓄積と同時に画像・映像の特徴量算出部１０４により同時に算出され、画像・映像とその特徴量が対応付けられて蓄積されているものとする。

図３に示す類似検索処理装置１００に設けられた上記の各部は以下に示すような処理を行う。

再生・表示装置１１１は、例えば、図４に示すように、画像・映像取得部１０１を介して情報記憶装置１１０に蓄積された画像・映像等を視聴するものである。ユーザが画像や映像を視聴時に、表示された画像や映像と類似する部分画像や映像区間を見つけたいと想起した場合は、マウス等を用いてワンクリック等の簡単な操作により、検索要求受付部１０２に検索要求（例えば、時刻位置、空間位置）を入力する。例えば、再生・表示装置１１１で、静止画像を閲覧しているときは、再生・表示装置１１１のプレーヤ上に、例示する検索例となる表示部分の１点（あるいは領域）をマウスクリックすることで、検索要求受付部１０２に検索要求（空間位置）が入力される。また、再生・表示装置１１１で、映像を視聴中に、表示画面内の部分領域と類似した画像を探したい場合は、映像再生中の再生・表示装置１１１の表示領域の一点（あるいは領域）をマウスクリックすると、検索要求受付部１０２に検索要求（時刻位置と空間位置）が入力される。その他、再生・表示装置１１１で映像を視聴時に類似する映像区間を探したい場合は、図４の右下にある「シーンサーチ」ボタンを押下することで、検索要求（例えば、視聴映像における時刻位置）を検索要求受付部１０２に入力する。本説明では、検索要求受付部１０２を、再生・表示装置１１１自身として説明したが、ボタン操作により別画面に遷移することで、検索要求受付部１０２を表示・再生装置１１１と分離することもできる。

検索要求を受け付けた検索要求受付部１０２は、その検索要求を検索クエリ生成部１０３に入力する。

検索クエリ生成部１０３は、画像・映像取得部１０１を介して、ユーザが検索要求を与えたときに視聴していた視聴データを取得する。加えて、視聴データから、検索要求受付部１０２から取得した検索要求に基づき、検索クエリを複数生成し、生成された検索クエリとその特徴量を類似度算出部１０３に入力する（検索クエリの生成方法の詳細については後述する）。このとき、生成された複数の検索クエリを空間配置、時間方向、画像サイズ、時間長等の順序に従ってユーザに提示し、ユーザは検索クエリをチェックボタン等により一つもしくは複数の検索クエリを選択することができる。

特徴量算出部１０４は、検索クエリ生成部１０３から取得した各検索クエリに対して、特徴量（例えば、色、形、テクスチャ、動き）を算出するものである。特徴量の算出方法については、前述の非特許文献１〜３や、その他の一般的な方法を用いることができる。

類似度算出部１０５は、特徴量算出部１０４で算出した検索クエリの特徴量と情報記憶装置１１０に格納される検索対象データの特徴量との比較・照合により類似度を算出し、得られた類似度を検索結果表示部１０６に入力するものである。類似度の算出方法は、予め定めた式により行われる。例えば、検索クエリの特徴量

（例えば、色や模様成分からなるｎ次元ベクトルであり、また、ｉは検索クエリの番号を表す）と、検索対象データの特徴量を

（クエリの特徴量と同じｎ次元ベクトルとし、ｊはデータベース中の検索対象の番号を表す）とすると、その類似度は、式（１）で定義する重み付き２乗距離和を用いることが可能である。

但し、ωは重み計数（＝１）である。

なお、ω_ｉは、本実施の形態では１を使用しているが、特徴量同士の偏りを抑制するため、各特長量の標準偏差で正規化してもよい。また、その類似度算出方法は、前述の非特許文献１〜３や、その他一般的な方法を用いることができる。

検索結果表示部１０６は、検索クエリに基づいて情報記憶装置１１０を検索し、類似度算出部１０５で算出した類似度に基づき、複数の検索クエリの検索結果を一覧表示するものである。例えば、図５に示すように、検索結果を検索クエリ毎に、同一の画面上に一覧表示する。また、２階層からなる表示方法により、第１層において、検索クエリ毎に、その代表的な検索結果を一つ、もしくは複数提示し、第２層では、各検索クエリの検索結果を詳細表示することもできる。代表的な検索結果を選出する方法としては、検索クエリとの類似性が高い順に１つまたは複数選出することや、検索結果集合の特徴量をクラスタリングし、クラスに属するクラスタが大きいクラスを１つまたは複数決め、その中心のクラスタを選出し、表示することもできる。

次に、検索クエリ生成部１０３において、複数の検索クエリを生成する方法について説明する。

図６は、本発明の一実施の形態における検索クエリ生成処理のフローチャートである。

ステップ１１） 検索要求受付部１０２から入力される検索要求（空間位置、時刻位置のうち一つもしくは複数）を受け付け、一時メモリ（図示せず）に格納する。

ステップ１２） 画像・映像取得部１０１からユーザが視聴していた、画像もしくは映像（以下、視聴データと呼ぶ）を取得し、一時メモリ（図示せず）に格納する。

ステップ１３） 一時メモリ（図示せず）より、ステップ１２で取得した視聴データを読み出し、視聴データが画像であるか否かを判断する。「はい」の場合はステップ１４へ、「いいえ」の場合はステップ１６へ移行する。

ステップ１４） 一時メモリ（図示せず）より、ステップ１１で受け付けた検索要求としてユーザが指定した空間位置と、ステップ１２で取得した視聴データ（画像）を取得し、視聴データの指定された空間位置を中心に半径Ｒの範囲を切り出す。このとき切り出された視聴データ（以降、クエリソースと呼ぶ）ＱＲを、一時メモリ（図示せず）に格納する。

ステップ１５） 一時メモリ（図示せず）より、ステップ１４で求めたクエリソースＱＲを読み出し、ＱＲ内の領域情報を取得し、ＱＲ内の領域の組み合わせにより、複数の検索クエリを生成する。

領域情報の取得方法としては、例えば、事前に人手により領域を定義しておき、その情報を外部から取得する。もしくは、ＱＲをＮｘ画素、縦にＮｙ画素の間隔でメッシュ状に分割することで領域を定義することができる。その他、文献１「Y. Deng. and B. S. Manjunath, “Unsupervised segmentation of color-texture regions in images and video, “IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI’01), August 2001」のような画像の領域分割手法により、画像特性に基づく領域を定義することができる。

領域の組み合わせ方法としては、例えば、事前に定義された領域の組み合わせ情報を用いることができる。また、ユーザがクリックした位置から領域番号がわかり、その領域を含む、ＱＲ内の領域の組み合わせを検索クエリとすることができる。

ステップ１６） 一時メモリ（図示せず）より、ステップ１１で受け付けた検索要求を読み出し、検索要求に空間情報が含まれる否かを判定する。「いいえ」の場合、ステップ１７へ移行し、「はい」の場合はステップ１９へ移行する。

ステップ１７） 一時メモリ（図示せず）より、ステップ１１で受け付けた検索要求と、ステップ１２で取得した視聴データ（映像）を読み出し、検索要求として取得した時刻位置から、ユーザが検索要求を想起して、類似検索処理装置１００へ検索要求を伝えるまでの時刻（実験により事前に算出される値）を差し引いた時刻を基点に、時間幅Ｔを設定し、映像データを切り出す（例えば、基点を中心に時間幅Ｔを両端にもつ範囲を視聴データから切り出す。その他、基点の片側のみに時間幅Ｔを設定し、切り出すことができる）。このとき得られた映像区間を、検索クエリを生成する区間となるクエリソースＱＶとして一時メモリ（図示せず）に格納する。

ステップ１８） 一時メモリ（図示せず）からステップ１７で得られたクエリソースＱＶを読み出し、ＱＶに対して、ＱＶ内の映像区間情報を取得し、ＱＶ内の映像区間の組み合わせにより、複数の検索クエリを生成する。

映像区間情報の取得方法は、例えば、事前に人手により領域を定義しておき、その情報を外部から取得する。または、クエリソースＱＶを時間的に等間隔に区分することができる。その他、映像分割手法（例えば、特開１９９９−１８０２８号公報に開示された映像分割手法など）を用いて映像内容の構成が大きく変化する点を検出し、映像を区分することで、映像特性に基づく映像区間を定義することができる。

映像区間の組み合わせ方法は、例えば、事前に定義された映像区間の組み合わせ情報を用いることもできる。また、映像区間情報を機械的に組み合わせることで、複数の検索クエリを生成することができる。さらに、探したいと思った映像が表示されてからユーザが検索要求を想起して類似検索処理装置１００へ検索要求を伝えるまでの遅延モデル（その概念図を図７に示す）を予め実験により生成し、その遅延モデルを用い、ユーザが検索を想起した真の映像時刻位置ＥＴを一つもしくは複数推定し、ＱＶから、ＥＴを包含する映像区間を、少なくとも１つ以上含む映像区間の組み合わせを検索クエリとすることができる。

ステップ１９） 一時メモリ（図示せず）より、ステップ１１で受け付けた検索要求と、ステップ１２で取得した視聴データ（映像）を読み出し、ユーザの検索要求時刻周辺から、検索クエリを生成する基となるクエリソースＱＶＲを取得する（ＱＶＲは、複数の映像フレームから構成され、その各フレームは、フレーム番号ｉを用いて表すとＱＶＲ（ｉ）と表記する）。クエリソースＱＶＲの取得方法は、例えば、まず、ユーザの検索要求として取得した時間位置を基に、ステップ１７の処理を施すことで、検索クエリを生成する範囲を時間的に限定する。さらに、このとき限定された映像区間から、一定時間間隔もしくは、前述の文献１の方法を用いることで、映像特性に基づく時間間隔で、クエリを生成する基となるクエリソースＱＶＲ（複数の映像フレーム）を取得することができる。図８の例は、映像をショットと呼ばれる部分区間に予め分割し、ショットのラベルを付与した映像の模式図である。このとき、ユーザが映像中の「Ｅ」の位置（ａ）で検索要求として指示したとすると、例えば、ｂに示すような検索区間が複数生成される。

ステップ２０） 一時メモリ（図示せず）より、ステップ１１で受け付けた検索要求と、ステップ１９で得られたクエリソースＱＶＲを読み出し、複数の検索クエリ（部分画像）を生成する。例えば、ＱＶＲに含まれる一つの映像フレームであるＱＶＲ（ｉ）に対し、ステップ１４の処理によりユーザの指定した空間位置周辺に限定し、限定された範囲に対してステップ１５の処理を施すことで検索クエリ（部分画像）を生成することができる。さらに、これらの処理を、全てのクエリソースＱＶＲに施すことで、複数の検索クエリ（部分画像）が生成できる。

図９は、本発明の一実施の形態における検索クエリ（部分画像）の生成例を示す。

画像の場合は、表示画像の１点（あるいは領域）をユーザが指定すると、画像の特性によって図９のように複数の検索クエリを生成して類似検索する。

例えば、図９の例では、（ａ）に示すような図に対し、ユーザが画面に図示する位置を検索要求として指示したとすると、図示した位置の近傍を基点に、同図（ｂ）のような検索クエリが複数生成される。

図８は、本発明の一実施の形態における検索クエリ（映像区間）の生成例を示す。

映像の場合は、映像再生中の１点（再生時刻）を指定すると、映像の特性によって図８のように複数の検索クエリを生成して、類似検索する。

例えば、図８の例では、映像をショットと呼ばれる部分区間に予め分割し、ショットのラベルを付与した映像の模式図である。このとき、ユーザが映像中の「Ｅ」の位置（ａ）で検索要求として指示したとすると、例えば、（ｂ）に示すような検索クエリが複数生成される。

本発明は、上記の実施の形態に示した動作をプログラムとして構築し、類似検索処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、類似検索処理装置として利用されるコンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、様々な記録媒体に蓄積されている画像・映像・音を検索する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における類似検索処理装置の構成図である。 本発明の一実施の形態における検索要求を受け付ける再生・表示装置の例である。 本発明の一実施の形態における複数の検索クエリによる複数の検索結果の一覧表示例である。 本発明の一実施の形態における検索クエリ生成処理のフローチャートである。 本発明の一実施の形態におけるユーザの検索要求を伝えるまでの遅延モデルの概念図である。 本発明の一実施の形態における検索クエリ（映像区間）の生成例である。 本発明の一実施の形態における検索クエリ（部分画像）の生成例である。

符号の説明

１００ 類似検索処理装置
１０１ 画像・映像取得部
１０２ 検索要求受付手段、検索要求受付部
１０３ 検索クエリ生成手段、検索クエリ生成部
１０４ 特徴量算出部
１０５ 類似度算出手段、類似度算出部
１０６ 検索結果表示手段、検索結果表示部
１１０ データベース、情報記憶装置
１１１ 再生・表示装置

Claims (15)

1. ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など（以下、検索クエリと呼ぶ）を検索の手掛かりとして用いる類似検索処理方法であって、
   検索要求受付手段が、ユーザの検索要求を受け付ける検索要求受付ステップと、
   検索クエリ生成手段が、前記ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成ステップと、
   類似度算出手段が、前記検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出ステップと、
   検索結果表示手段が、前記類似度算出ステップで算出された前記類似度に基づいて検索結果を表示する検索結果表示ステップと、
   を行うことを特徴とする類似検索処理方法。
2. 前記検索要求受付ステップにおいて、
   前記検索要求受付手段は、前記ユーザの検索要求を与えた時刻位置を前記検索クエリ生成手段に転送するステップを行い、
   前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、前記時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成するステップを行う、
   請求項１記載の類似検索処理方法。
3. 前記検索要求受付ステップにおいて、
   前記検索要求受付手段は、前記ユーザの検索要求となる空間位置を前記検索クエリ生成手段に転送するステップを行い、
   前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成するステップを行う、
   請求項１記載の類似検索処理方法。
4. 前記検索要求受付ステップにおいて、
   前記検索要求受付手段は、前記ユーザの検索要求として、空間位置と時刻位置を前記検索クエリ生成手段に転送するステップを行い、
   前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、ユーザの指定した前記空間位置と前記時刻位置に基づき、前記検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成するステップを行う、
   請求項１記載の類似検索処理方法。
5. 前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定するステップと、
   限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成するステップと、
   を行う請求項１乃至４記載の類似検索処理方法。
6. 前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、前記検索クエリを生成する範囲を、ユーザの検索要求として取得した時刻位置と、ユーザがシステムへ検索要求を伝えるまでの遅延時間モデルに基づき限定するステップと、
   限定された範囲を固定長もしくは可変長の間隔で分割し、分割された区間を単位として、１つまたは複数の部分区間から構成される検索クエリを生成するステップと、
   を行う請求項１乃至４記載の類似検索処理方法。
7. 前記検索クエリ生成ステップにおいて、
   前記検索クエリ生成手段は、生成する複数の検索クエリを、空間位置や時間方向、画像サイズ、時間長などの順序に従って複数表示し、ユーザに検索クエリを一つ、もしくは複数選択させるステップを行い、
   前記検索結果表示ステップにおいて、
   前記検索結果表示手段は、ユーザによって選択された検索クエリによる検索結果を一覧表示するステップを行う請求講１乃至６記載の類似検索処理方法。
8. 前記検索結果表示ステップにおいて、
   前記検索結果表示手段は、検索結果を２段階の表示方法により階層的に表示する階層表示ステップを行い、
   前記階層表示ステップは、
   第１層において、前記検索クエリの種類毎に、代表的な検索結果を１つ、もしくは複数提示し、
   第２層では、前記検索クエリの検索結果を詳細表示する、
   請求項１乃至７記載の類似検索処理方法。
9. ユーザが所望する画像・映像・音を探すために、部分画像や映像区間など（以下、検索クエリと呼ぶ）を検索の手掛かりとして用いる類似検索処理装置であって、
   ユーザの検索要求を受け付ける検索要求受付手段と、
   前記ユーザの検索要求と関連する検索クエリを複数生成する検索クエリ生成手段と、
   前記検索クエリとデータベースのデータを照合し、類似度を算出する類似度算出手段と、
   前記類似度算出手段で算出された前記類似度に基づいて検索結果を表示する検索結果表示手段と、
   を有することを特徴とする類似検索処理装置。
10. 前記検索要求受付手段は、
    前記ユーザの検索要求を与えた時刻位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    前記時刻位置に基づき、検索クエリの先頭を設定し、検索クエリの開始時刻位置と時間長を様々変化させることによって、検索クエリを複数生成する手段を含む、
    請求項９記載の類似検索処理装置。
11. 前記検索要求受付手段は、
    前記ユーザの検索要求となる空間位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    ユーザの検索要求の空間位置に基づき、検索クエリの位置を設定し、該空間位置と面積を様々変化させることによって検索クエリを複数生成する手段を含む、
    請求項９記載の類似検索処理装置。
12. 前記検索要求受付手段は、
    前記ユーザの検索要求として、空間位置と時刻位置を前記検索クエリ生成手段に転送する手段を含み、
    前記検索クエリ生成手段は、
    ユーザの指定した前記空間位置と前記時刻位置に基づき、前記検索クエリを設定し、該空間位置、面積、該時刻位置、時間長を様々変化させることによって検索クエリを複数生成する手段を含む、
    請求項９記載の類似検索処理装置。
13. 前記検索クエリ生成手段は、
    前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成する手段と、
    を含む請求項９乃至１２記載の類似検索処理装置。
14. 前記検索クエリ生成手段は、
    前記検索クエリを生成する範囲をユーザの検索要求として取得した空間位置周辺に限定する手段と、
    限定された範囲を固定長もしくは可変長の間隔で分割し、分割された領域を単位として、１つまたは、複数の領域から構成される検索クエリを生成する手段と、
    を含む請求項９乃至１２記載の類似検索処理装置。
15. コンピュータに、
    請求項１乃至８記載の類似検索処理方法の各ステップを実行させることを特徴とする類似検索プログラム。

Images