JP2004508756A - 記憶媒体上に記憶された情報信号を再生する装置 - Google Patents

Abstract

第１記憶媒体（４）上に記憶された情報信号を再生する装置である。該装置は、上記第１記憶媒体から情報信号を読み取る読取ユニット（２）と、該情報信号を表示ユニットに供給する出力ユニット（６）と、コマンドを入力してユーザが上記情報信号にアクセスするのを可能にするユーザ制御入力ユニット（８）とを有している。上記ユーザ制御入力手段は、或る時点において第１コマンドを入力するようになっている。該装置は、更に、上記第１コマンドに応答して上記読取手段を前記記憶媒体からの情報信号の読み取りを該情報信号における第２位置において開始させるように制御するユニット（１０）を有している。上記第２位置における情報信号は、該情報信号の前記第１コマンドを入力する前記時点において読み取られる第１位置における特徴、又は該時点よりも前に読み取られた情報信号の特徴との類似性を示す。

Description

【０００１】
【発明の属する技術分野】
本発明は、第１記憶媒体上に記憶された情報信号を再生する装置であって、
−　上記第１記憶媒体から上記情報信号を読み取る読取手段と、
−　上記情報信号を表示ユニットに供給する出力手段と、
−　コマンドを入力して、ユーザが上記情報信号にアクセスするのを可能にするユーザ制御入力手段と、
を有するような装置に関する。
【０００２】
更に、本発明は記憶媒体上に記憶された情報信号を再生する方法、コンピュータプログラム、有形媒体及び上記コンピュータプログラムを伝送する信号にも関する。
【０００３】
【従来の技術】
従来、ビデオは基本的なＶＨＳテープ機能、即ち、再生、順方向早送り及び巻き戻しを用いて線形な形で視聴され、アクセスされている。
【０００４】
ハードディスクに基づくビデオレコーダが市場に急速に出現しつつある。これらビデオレコーダは、記憶される情報の量を劇的に増加させ、該情報はランダムにアクセスすることができる。順方向早送り及び巻き戻しのような伝統的なＶＣＲ機能は、このような機能を利用せず、ユーザがビデオ内容（コンテンツ）を高速で閲覧する（ブラウズする）助けもしない。
【０００５】
現在の傾向は、オーディオビデオ情報と一緒に、コンテンツの記述（来るべき国際規格ＭＰＥＧ−７は、マルチメディアコンテンツ用の規格記述子群を作成しようとしている）を設けるというものである。このような記述は、家庭のユーザが、何時間もの記録された番組内で高速で且つ効果的にサーチするのを可能にするように、利用されなければならない。重要な問題は、ユーザとシステムとの対話である。しかしながら、使い易く且つ直感的なツールは、キーワードに基づくサーチを実行することに限られる。
【０００６】
現在までのところ、順方向早送り及び巻き戻しは、テープ又はディスク媒体上に記録されたビデオ題材にアクセスし及び斯かる題材をブラウズするための最も普通な使い易いツールである。しかしながら、これらは、家庭用装置に記憶することが可能なマルチメディアデータの劇的な増加により不十分となってきている。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、何時間もの記録された番組のようなビデオ題材又は写真若しくはスライドショーのような画像を伴うデータベース内で高速且つ効果的にサーチを行うのに適した他の使い易く且つ直感的なツールを提供することにある。
【０００８】
【課題を解決するための手段】
本発明による装置は、前記ユーザ制御入力手段が或る時点において第１コマンドを入力するように構成され、該装置が前記読取手段を前記記憶媒体からの前記情報信号の読み取りを該情報信号における第２位置において開始させるように制御する制御手段を更に有し、前記第２位置における前記情報信号が、前記第１コマンドを入力する前記時点において読み取られる第１位置における前記情報信号、又は該時点よりも前に読み取られた前記情報信号の一部との類似性を示すことを特徴とする。
【０００９】
本発明は下記のような認識に基づくものである。即ち、ニュース番組、トークショー及び天気予報等の多くの番組は、非常に頻繁に放送される。これらの種類の番組において、画像の背景は殆ど同一である。更に、番組においては同一の人物が行動する。ニュース番組においては、ニュース項目の変更の間に、通常、ニュースキャスタが示される。ニュースキャスタがいる画像をサーチすることにより、次のニュース項目にジャンプすることが可能となる。この機能は、ユーザがビデオストリームにおける或る画像から次の（前の）“類似の”ものへとジャンプするのを可能にする。本発明の好ましい実施例においては、類似性の規準（２つの画像の間の類似性のレベルの評価）は、当該ビデオ信号から抽出される低レベルの特徴（カラー、テクスチャ、形状及びエッジのような）、又は手動又は半自動的に発生される高レベル描写のような補助情報に基づくものとすることができる。次の（前の）類似画像へのジャンプ機能は、画像が比較される方法又は使用される類似性の概念とは独立している。内容に基づく画像検索はマルチメディア検索分野では良く知られた技術である。本発明は、その結果を使用すると共に、ユーザにビデオデータをブラウジングするための強力、直感的且つ使い易いツールを与える。本発明の目標は、ビデオ内容に基づくようなビデオデータへのアクセスポイントを可能にすることである。通常の再生の間において、又は例えばキーフレームブラウザのようなビデオ内容にアクセスする他の方法を用いることにより、ユーザは現画像を問い合わせ中の画像として暗黙的に選択し、当該システムは類似の画像を検索するのに要する処理を実行し、“次の（前の）”であるという更なる制限でもって唯一の結果を選択し、最後に当該ビデオストリーム内の対応する位置にジャンプする。この機能は、各サーチ方向につき１つずつの、２つの釦を使用して実施化することができる。このようにして、番組の興味ある部分へジャンプするためにユーザが実行しなければならない唯一の操作は、釦を押すことだけである。従って、本発明は消費者用デジタルビデオレコーダにおいてビデオ題材を介してブラウジングする場合においてエンドユーザを支援するのに特に適している。
【００１０】
本発明の、これら及び他の態様は図面を参照する３つの実施例から明らかとなり、斯かる実施例により解説されるであろう。
【００１１】
【発明の実施の形態】
以下、本発明の実施例を、図面を参照して詳細に説明する。
【００１２】
図１は、本発明による装置の一実施例を示している。該装置は、記憶媒体４上に記憶された情報信号を読み取る読取ユニット２を有している。該装置は、記録媒体を有するビデオレコーダ又はセットトップボックスから既知であるような機能を有することができる。上記情報信号は、事前記録担体（ＣＤ若しくはテープのような）上又はハードディスク装置のような記録装置上に記憶されたＴＶ信号とすることができる。該情報信号は、スクリーン上に表示することができる如何なる種類の情報とすることもできる。好ましい実施例においては、該情報信号は一連の画像を有するビデオ信号である。しかしながら、本発明は記録媒体上に記憶された写真又はスライドショーの収集のような何らかの種類の画像の収集を介してブラウジングを行うために使用することもできる。上記記憶媒体は、ハードディスク装置、光ディスク（ＤＶＤ若しくはＣＤのような）等の着脱可能な記憶媒体、又は固体メモリの形態とすることができる。しかしながら、大量の情報を記憶する如何なる他の好適な記憶媒体も使用することができる。該記憶媒体から読み取られた情報信号は、当該情報を図示せぬ表示ユニットに供給するために、出力ユニット６に供給される。上記表示ユニットは当該装置に含めることもできる。
【００１３】
上記装置は、更に、ユーザが記録された情報信号にアクセスし該情報信号を看取することができるようにするようなコマンドを入力するためのユーザ制御入力ユニット８を有している。このユーザ制御入力ユニットは、好ましくは、リモートコントローラの形態とする。しかしながら、音声制御の使用も同様に好適である。リモートコントローラの形態の制御入力ユニットは、好ましくは、“次の類似画像へジャンプ”なるコマンドを発生するキー及び“前の類似画像へジャンプ”なるコマンドを発生するキーを有するものとする。これらコマンドは制御ユニット１０に供給される。該制御ユニットは読取ユニット２を制御するようになっている。該読取ユニットが通常の再生モードである場合、次の類似のものへのジャンプに従って、上記制御ユニットは、前記記録媒体からの情報信号の読み取りを中止すると共に、該次の類似画像へのジャンプコマンドが入力された際に読み取られた画像と同様の視的記述子を持つ次の画像へジャンプするように構成されている。何が類似画像であるか、及び何が次の又は前の類似画像であるかを決定する方法は、後に詳述する。画像の視的記述子は、画像のカラー情報により特定することができる。しかしながら、例えばＭＰＥＧ−７規格に従うコンテンツの記述のような他の視的記述子も好適である。
【００１４】
当該装置は、更に、次の／前の類似画像を見付けるように構成されたサーチユニット１４も有している。“次／前へスキップ”コマンドの受信後、上記サーチユニットは該コマンドが付与された時点で読み取られた情報信号の視的記述子を先ず決定する。サーチユニットの第１実施例においては、該サーチユニットは、読取ユニット２により読み取られた情報信号に関する視的記述子を、該読み取られた情報信号に対応する視的記述子をデータベースから読み取ることにより決定する。該データベースは上記情報信号と一緒に記憶媒体４に記憶することができる。しかしながら、該データベースは上記サーチユニットによりアクセス可能な何れの適切な記憶媒体上に記憶することもできる。例えば、該データベースはインターネット接続を介してアクセス可能なサーバ上に記憶することもできる。該データベースは、情報信号内の同様の視的記述子を持つ画像及び該情報信号における斯かる画像の位置に関する情報を有している。例えば、当該情報信号が記録されたビデオ番組である場合、上記データベースは該ビデオ番組内の各シーンに関してレコードを持つようなテーブルを有する。更に、各レコードは当該ビデオ番組内の次の同様の視的記述子（読み取り画像）に対するポインタ、及び当該ビデオ番組内の前の同様な視的記述子に対するポインタを有している。このように、“次／前にスキップ”コマンドが入力された場合、上記サーチユニットは現在読まれているシーンに対応するレコードを読み取り、次の／前の画像の位置を読取ユニット２に供給する。該読取ユニットは、サーチユニット４により供給された位置において情報信号の読み取りを開始する。
【００１５】
上記データベースは、例えば電話回線又はケーブル等の何らかの適切な接続を介して、サービス提供者から得ることができる。該データベースは、記録される番組と同時に伝送することもできる。また、該データベースは当該装置内において上記記録媒体上への情報信号の記録と同時に発生することもできる。従って、当該装置は図示せぬ抽出ユニットを有している。上記記録媒体上への情報信号の記録の間に、該情報信号は上記抽出ユニットに供給される。該抽出ユニットは当該情報信号に関する視的記述子を、例えば各シーンに関して発生する。これらの視的記述子は記録媒体上のデータベースに記憶される。この記録媒体は、当該情報信号が記憶される記録媒体と同一である必要はない。これら視的記述子を抽出する方法は後述する。更に、当該装置は、各シーンに関して、どの画像又はシーンが次の及び前の画像と見なされるべきかを決定するユニットも有している。前記画像の位置も当該データベースにおける各ロケーションに記憶される。これら画像を決定する方法も、後に詳述する。
【００１６】
上記データベースは、各エントリが上記情報信号における次の及び／又は前の位置に対するポインタを有するようなリンクされたリストの形態でもよい。しかしながら、該データベースのエントリが、上記位置におけるコンテンツに関する情報を有するようにしてもよく、この場合、１つの位置が当該情報信号の一部の信号画像、例えばシーンとすることもできる。“類似のものへのジャンプ”コマンドに応答して、上記サーチユニットは該データベース内で次の位置をサーチする。内容テーブルの形態の該データベースは、幾つかの適切な態様で編成することができる。該データベースは幾つかのリストを有することができる。各リストは規定された特徴との関係を有する。当該情報信号のうちの同一の特徴を持つ部分の位置は、同一のリストに配置されると共に、好ましくは該情報信号における上記部分の位置により順番に記憶されるようにする。かくして、“次へのジャンプ”コマンドは、リストをサーチすると共に、該リストにおける上記コマンドが入力された時点の読み取り位置に対応するエントリをサーチすることにより実現することができる。該リストにおける次のエントリを取ることにより、上記読取ユニットは、上記の次のエントリに対応する位置において情報信号を読み取るように制御することができる。
【００１７】
上記データベースの他の実施例においては、当該データベースにおける各エントリが当該情報信号における位置に対応する。“次へのジャンプ”コマンドが入力される毎に、内容テーブルが再び並び替えられる。エントリの順番は、コマンドが入力された時点における読み取り位置に対応するエントリの類似性の程度により決定される。この実施例は、ユーザが当該情報信号における最も類似した部分へジャンプするのを可能にする。
【００１８】
図４は、ビデオ番組のような一連の画像を有する情報信号を介してスキップするのに適した、本発明の装置の一実施例を示している。好ましくは、当該情報信号はＭＰＥＧビデオ信号の形態であるとする。この実施例においては、サーチユニットは読取ユニット２から情報信号を入力する入力端子を有している。“次の／前の類似画像へスキップ”コマンドを受信後、該サーチユニットは現在読み取られている情報信号の視的記述子を先ず決定する。次いで、読取ユニット２はサーチモードにされる。このモードにおいては、情報信号の読み取りは通常のモードにおけるよりも速い。情報信号は、記録媒体から完全に読み取られるか、又は例えばＭＰＥＧ信号のＩフレームのように部分的にのみ読み取ることができる。該読み取られた信号はサーチユニット１２に供給され、該サーチユニットは供給された信号から視的記述子を導出すると共に、該導出された視的記述子が、前記コマンドが受信された際に読み取られた情報信号の視的記述子と類似しているか否かを解析する。類似した記述子が見付かるやいなや、読取ユニット２は通常のモードに復帰する。
【００１９】
上記の次の類似画像へのジャンプ機能は、幾つかの役立つ作業に使用することができる。該機能が適用される例の幾つかを以下に示す。
−　放送者が番組とコマーシャルの開始（終了）との間を区別するために静止画像（例えば、全画面のチャンネルのロゴ）を使用する場合は、コマーシャルを跳ばすために使用することができる。
−　ニュース番組においてアンカーマンの画像を用いて次のニュース項目を跳ばすのに非常に有効である。通常、ニュース番組はサブタイトルを用いて放送されるので、これらニュース番組の非常に詳細且つ正確なテキスト的情報を有すると仮定することができる。この仮説を用いれば、ニュース番組に関しては、次の（前の）類似画像へのジャンプ機能の代わりにキーワードによるサーチを使用する方が良いように思われる。何れにせよ、このツールは、ユーザがテキスト情報を読む必要無しに、或るニュースから次の（前の）ニュースへ高速でジャンプすることを可能にする。
−　天気予報へ、又はスポーツニュースへ、又は番組中の固定の見出しを持つ特定の節にジャンプするのを可能にする。
−　自身の固定の提供者の若しくは終了の見出しを有する番組の開始又は終了へジャンプするのに使用することができる。
−　ビデオクリップの集合である音楽番組は最近ではむしろ普通である。次の（前の）類似画像へのジャンプ機能は、或るビデオクリップから次のビデオクリップへジャンプするのに使用することができる。
−　多くのドキュメンタリは、特定のロゴで開始するような異なる話題に関する特別な節を有している。ユーザは、次の主題を示すロゴに、順方向早送りで時間を費やす必要性なしに、直接ジャンプすることができる。
【００２０】
最後の２つの例におけるのと同様にして、次の／前の類似画像へのジャンプ釦は、構造（同一の文字は類似のフレームに対応する）：
ＡＡＡＡＡＡＡＡｂｂｂｂｂｂｂｂｂＡＡＡｃｃｃｃｃｃＡＡＡｄｄｄＡＡＡＡｅｅｅｅｅｅｅｅｅｅｅｅｅｅＡＡＡＡＡＡＡＡＡＡＡＡ…
を有する全ての番組においてＡフレーム間をジャンプするために使用することができる。ニュース番組においては、Ａフレームはニュースを読むアンカーマンに相当する。ドキュメンタリにおいては、Ａフレームはショーマン（又はショーガール）が主題を紹介すると共に、ドキュメンタリ項目の間に介在されるようなシーンに相当する。殆ど同じようなことが、Ａフレームにおいてショーマン（又はショーガール）が行われるイベントを紹介する又は現れるゲストを紹介するようなＴＶショーにおいて発生する。ショーにおけるのと同様に、ショーマン（又はショーガール）は、通常、音楽ビデオクリップを紹介する。確かに、このような構造は通常の放送ＴＶ番組においては極めて普通である。
【００２１】
同様の結果が、ビデオをシーンに構造化し、且つ、次のシーンへのジャンプ釦のみを使用することにより達成することができるように思われる。本発明によるブラウジング機能は、次のシーン又はキーフレームにジャンプするのみならず、次の類似のシーンへ直接ジャンプするのを可能にするので、ビデオを事前に構造化するようなもっと伝統的な階層的方法とは相違する。次の（前の）類似画像へのジャンプ機能は、ビデオの誘導（ナビゲーション）の目的のみならず、写真又はスライドショーを介するブラウジングのためにも使用することができる。
【００２２】
番組の開始部にある場合又はコマーシャルの形である場合、ビデオ番組の予告編も同様に非常に有効である。前者の場合、ユーザは予告編から画像を選択し、一旦放送及び記録されたならば、該番組内の上記と同一の画像にジャンプすることが可能である。このようにして、ユーザは上記画像に対応する位置において上記ビデオ番組を視聴開始することができる。後者（即ち、ニュース番組における見出し）の場合、ユーザは予告編から選択された画像を利用して、当該番組内の興味のある部分にジャンプすることができる。この場合、上記予告編は当該番組の内容テーブルとして見ることができる。
【００２３】
ユーザが幾つかの画像を好きな画像として選択するのを可能にするなら、次の／前の類似画像へのジャンプを、これら好きな画像に基づくものとすることができる。ビデオストリームの画像部分を使用する代わりに、ユーザは一群の好きな画像の間で選択することを可能にされることができる。この所謂好きな画像リストは、例えば下記の筋書きを可能にする：
−　ユーザがニュース番組を視聴しており、そして該ユーザの好みのロックバンドが新たなビデオクリップを作成したことを知る。このニュース番組は該ビデオの１分予告しか含んでいない。該ユーザは該ビデオの或る重要な画像を自身の好み画像リストに保管し、この新ビデオクリップが送信されるであろうことを確信して数時間のビデオクリップを記録する。後の日に、該ユーザは以前に保管された画像を使用することにより、記録題材のなかで当該全ビデオクリップを見付けるべく試みることができる。
−　ユーザがニュース番組を見ており、ハッキネンがマクラレンのＦ１カーで午後に最悪の事故にあったことを知る。該ユーザは全レースを記録したが、今は時間がないので見たくない。該ユーザは、自身の好み画像リスト内の上記ニュース番組からの事故の画像を用いて上記事故の一連場面にジャンプする。
【００２４】
次の（前の）類似画像へのジャンプ機能は、ビデオシーケンスの各画像が次の（前の）最も類似したものに関連付けられていることを要する。通常、２つの連続するフレームは非常に類似している。次の（前の）類似画像へのジャンプにおいては、これらのフレームは破棄されるべきである。１つの解決策は、一群の連続した類似したフレーム内では１つのフレームのみを考慮することである。これは、ビデオをショットにセグメント化し、各ショットに関して代表的な静止画像（キーフレーム）を選択し、次いで、キーフレーム間のみで類似性をサーチすることと等価である。
【００２５】
次の（前の）類似画像へのジャンプ機能は、記述子が得られる方法及び類似性が測定される方法とは独立していることに気付くことが重要である。
【００２６】
好ましい実施化においては、各キーフレームから視的記述子が自動的に抽出される。２つのキーフレームは、これらキーフレームの視的記述子間の距離（ｄｉｓｔａｎｃｅ）が所定の閾よりも小さい場合に類似していると仮定する。次の（前の）類似画像へのジャンプ機能は、当該フレームの類似性のみならず相対位置も考慮に入れる。何故なら、該機能は１つのみの次の（前の）類似画像を取り出さねばならないからである。図２は、当該好ましい実施化により実行されるステップを示している。
【００２７】
ユーザが次の類似画像へのジャンプ釦を押下すると、当該システムは後続のショットの記述子を取り込むと共に、２つのフィルタ処理を実行する。先ず、該システムは問い合わせキーフレームの視的記述子を後続の（先行する）キーフレームの記述と比較する。該問い合わせ対象からの距離が一定の閾より大きいような記述子を持つキーフレームは破棄される。第２のフィルタ処理は、特徴空間における当該問い合わせ対象からの距離に応じて、残りのキーフレームを少なくとも２つのクラスタに分割することである。これら２つのクラスタは、画像を類似性により並び替え、これら画像の問い合わせ対象からの距離の間の順次の差を考慮することにより得られる。これらの差の１つが或る閾を超える場合は、全ての連続する画像は別のクラスタに入れられる。当該問い合わせ対象に最も近い画像のクラスタが時間順に並び替えられ、最初のフレームが上記次の類似画像に対応するものとなる。
【００２８】
以下に、使用することが可能な視的記述子についての幾つかの詳細を説明する。
【００２９】
現在のパターン突き合わせ及び画像理解技術は、依然として、意味的な点で視的内容を解釈するという目標からはほど遠いものである。このように、低レベルの視的特徴に依存する必要がある。カラー、テクスチャ、形状及び動きは、最も普通に使用されている知覚的な視的特徴である。カラー情報は、遮蔽（ｏｃｃｌｕｓｉｏｎ）、画像サイズ及び向きに対して、むしろ強いことが分かっている。テクスチャ記述子は一様なテクスチャパターンを分類するためには強力であるが、自然なシーンにおける不均一な領域を扱うには有効ではない。また、形状記述子も使用することができる。これらの記述子は画像のセグメント化を要し、斯かるセグメント化は大きな計算能力を必要とするので、これら記述子は現在のところ消費者用電子製品にとっては高価過ぎる。更に、現在利用可能な画像セグメント化技術は、一般的な実世界画像に対しては充分に強くはない。
【００３０】
カラーに関する人の知覚は、複雑なプロセスである。ビジュアルデータ及びカラーの表現を扱う場合、幾つかの簡略化の仮定がなされる。カラーの特徴はピクセルレベルで処理され、これはカラーの知覚が周囲のカラーによっては影響されないことを意味する。更に、周囲光、視距離及び表示品質等の看取条件は考慮されない。先ず、ビジュアル事項（ｖｉｓｕａｌ ｉｔｅｍ）の定義がなされる。ビジュアル事項Ｉは、カラー空間ＣＳにおけるピクセル集合として表された、全画像又は画像の任意形状領域（長方形の又は不規則な）である。
【００３１】
下記の段落は、知覚的な視的特徴の量的表現を符号化する一連の記述子を提示する。抽出手順及び関連する類似性突き合わせ規準も提示される。
【００３２】
カラーヒストグラムは、ビジュアル事項の低レベルカラー特性を記述する非常によく知られた方法である。斯かるヒストグラムは、３つの独立したカラー分布として又はカラーチャンネル上の１つの分布として表すことができる。カラーヒストグラムは、所与のビジュアル事項Ｉに関して、カラー空間ＣＳ内にｎ個の別個のカラーが存在するように分離されて定義される。カラーヒストグラムＨ（Ｉ）はベクトル＜Ｈ_１，Ｈ_２，…，Ｈ_ｎ＞であり、ここで、各要素Ｈ_ｊはビジュアル事項Ｉ内のカラーＣ_ｊのピクセルの割合を含む。
【００３３】
カラーヒストグラムは、むしろ、カラー内容の効率の良い表現である。肯定的な面は、カラーヒストグラムの計算は効率的であるということである。更に、カラーヒストグラムは、カメラの回転、ズーミング、解像度の変更及び部分的遮蔽により発生する変動に対してかなり不感的である。しかしながら、カラーヒストグラムは光条件に対して感受的であり、カラー空間量子化によりカラー内容を表現する場合に問題を有し得る。量子化は、知覚的に区別的なカラーが同一の区分け（ビン：ｂｉｎ）に入らないように充分に精細でなければならない。この配慮は、下記の節で提示される全てのヒストグラム型記述子に対して適用することができる。
【００３４】
カラーヒストグラム抽出は、ビジュアル事項内の各ピクセル値に対して量子化された値を計算し、当該ヒストグラムにおける対応するビンを増加させることにより実行される。この場合、ビン内のピクセルの数はビジュアル事項のサイズに従って正規化されるべきである。この最後のステップは、同一の寸法のビジュアル事項を扱う場合は避けることができる。該抽出手順は線形な時間を必要とすることに注意すべきである。
【００３５】
カラーヒストグラムを用いて色的類似性を決定するために、異なる距離測定を使用することができる。これらは、実効性及び計算的複雑さの両方に関して異なる検索性能に繋がる。カラー空間の及びカラー量子化の選択と共に、類似性突き合わせ規準の選択も、視的検索技術の実施化における重大な面である。
【００３６】
カラーヒストグラム用の３つの普通に使用されている類似性測定は、Ｌ_１距離、ユークリッド又はＬ_２距離、及び二次距離（ｑｕａｄｒａｔｉｃ ｄｉｓｔａｎｃｅ）である。Ｈ（Ｉ_ｑ）及びＨ（Ｉ_ｔ）を、各々、問い合わせの及び目標のヒストグラムであるとすると、Ｌ_１距離は、
【数１】

により定義される。
【００３７】
ユークリッド距離、即ちＬ_２距離は、
【数２】

により定義される。
【００３８】
これらの定義において、カラーバケット間の差は一様に重み付けされる。Ｌ_１距離及びＬ_２距離は、共に、類似しているが同一ではないヒストグラム要素を比較はしない。例えば、暗い赤の画像は青の画像に対するのと同様に赤の画像に対しても等しく非類似である。距離計算内でのヒストグラム要素類似性の測定を用いることにより、ヒストグラム突き合わせを改善することが可能である。
【００３９】
二次距離測定は、この問題に対処するもので、
【数３】

により定義される、ここで、Ｗ＝［ａ_ｉｊ］及びａ_ｉｊはインデックスｉ及びｊのカラーの知覚的類似性を示す。この計量（ｍｅｔｒｉｃ）は、全てのヒストグラム要素を比較し、対的重み係数により要素間距離に重み付けをする。相互相関ａ_ｉｊに対する適切な値はａ_ｉｊ＝１−ｄ_ｉｊにより与えられ、ここで、ｄ_ｉｊは当該カラー空間における２つのカラー間の最大距離に対して正規化されたインデックスｉ及びｊのカラー間の距離である。該二次距離はＬ_１及びＬ_２距離よりも計算的には一層高価となる。何故なら、該二次距離は全ての要素間の相互類似性を計算するからである。
【００４０】
ＭＰＥＧ−２規格に採用された圧縮アルゴリズムが使用される場合、低コストで、当該ビデオストリームから部分的復号のみによりＤＣ画像と呼ばれるフレームの再スケール処理されたバージョン（６４倍小さい）を抽出することが可能である。これらは、完全サイズフレームの８ｘ８ブロックの二次元離散コサイン変換の直流係数のみを考慮することにより得られる。直流画像は、フレームの一層小さな再スケール処理された、即ちブロック解像度のバージョンであるから、直流画像は同一の内容を表すと仮定することができる。類似のキーフレームを取り出す目的で、Ｉフレームに関しデジタルビデオストリームにおいて低コストで利用可能であるような直流画像から、視的記述子を直接抽出することが可能である。ＭＰＥＧストリームにおいては、Ｉフレームはキーフレームと見なすことができる。これらの実施化を単純化するために、当該抽出手順は、特定されたカラー空間内のピクセル値のアレイを入力として扱うように設計された。これらを、シーン変化アルゴリズムと組み合わせて、ＭＰＥＧ−２復号を最小必要要件に限定するような記述子の計算を実行することが可能である。
【００４１】
上記カラーヒストグラム記述子は、ＹＣ_ｂＣ_ｒ及びＨＳＶカラー空間の両方に使用することができる。ＹＣ_ｂＣ_ｒカラー空間の方が好ましい。何故なら、該カラー空間はＭＰＥＧ−２規格で使用されているフォーマットであり、ビデオストリームから直接抽出されたカラー情報は更なる変換を要さないからである。更に、厳格には知覚的に一様ではないとしても、この視点からは、ユーザインターフェースにおいてキーフレームを表示するために使用されるＲＧＢカラー空間よりは良好である。
【００４２】
次に、使用することが可能なＹＣ_ｂＣ_ｒカラー空間の３つの異なるカラー量子化を定義する。他の量子化も同様に適していることに注意すべきである。
−　Ｙ、Ｃ_ｂ及びＣ_ｒカラーチャンネルは、各々、１６、４及び４のレベルに線形に量子化された。結果としての記述子は２５６ビンの単一変数ヒストグラムと見ることができる。
−　Ｙ、Ｃ_ｂ及びＣ_ｒカラーチャンネルは、各々、１６、８及び８のレベルに線形に量子化された。結果としての記述子は１０２４ビンの単一変数ヒストグラムと見ることができる。
−　Ｙ、Ｃ_ｂ及びＣ_ｒカラーチャンネルは、各々、１６、１６及び１６のレベルに線形に量子化された。結果としての記述子は４０９６ビンの単一変数ヒストグラムと見ることができる。
【００４３】
ＨＳＶカラー空間も同様に好適である。何故なら、該空間は知覚的に略一様であり、従って適切な量子化を定義することによりカラーの小型且つ完全な集合を得ることができるからである。ＲＧＢからＨＳＶへの変換は下記の式［３６］により達成することができる：
【数４】

ここで、（ｒ，ｇ，ｂ）はＲＧＢ空間内の点であり、（ｈ，ｓ，ν）はＨＳＶ空間における対応する点であり、（ｒ’，ｇ’，ｂ’）は（ｒ，ｇ，ｂ）≠ｍｉｎ（ｒ，ｇ，ｂ）の場合：
【数５】

と定義される。ｒ，ｇ，ｂ∈［０…１］に関しては、該変換はｈ，ｓ，ν∈［０…１］を与える。離散カラーヒストグラムを計算するのに要するカラー空間量子化は、１６６色の小さな集合［５，７，８，１９，２３］を生成するように設計される。色相（ｈｕｅ）が知覚的に一層重要な特徴であると信じて、最も精細な量子化が色相に対して使用された。円柱状ＨＳＶカラー空間の色相円は２０度のステップに分割された。このようにして、３原色並びに黄色、マゼンタ及びシアンは、各々、３つの副分割を用いて表される。彩度（ｓａｔｕｒａｔｉｏｎ）及び明度（ｖａｌｕｅ）は、各々、３つのレベルに量子化され、これらの次元に沿って一層大きな知覚的許容度を生じさせる。１８の色相、３つの彩度、３つの明度に４つの追加のグレイを加えて、１６６の明確なカラーが考慮される（１８ｘ３ｘ３＋４＝１６６）。
【００４４】
３つのＹＣ_ｂＣ_ｒ量子化及びＨＳＶのものを考慮して得られる４つのカラーヒストグラムが、完全サイズ画像及び直流画像の両方から抽出された。このように、各キーフレームは、８つの関連する異なるカラーヒストグラムを有する。
【００４５】
異なる画像のカラーヒストグラムは、Ｌ_１及びユークリッド距離を用いて比較することができる。ＹＣ_ｂＣ_ｒカラー空間における３つの量子化間で、最良の結果が直流画像から導出された２５６ビンのヒストグラムを用いて得られ、Ｌ_１距離と比較された。このように、Ｌ_１距離は、もっと高価なユークリッド距離よりも良好に動作することが分かった。更に、完全サイズのフレームからというよりは直流画像からヒストグラムを抽出することは、この記述子の検索性能を悪化させないことが分かった。
【００４６】
直流画像から抽出されたＨＳＶカラー空間の１６６ビンのヒストグラムがＹＣ_ｂＣ_ｒのものより優れていることが分かった。斯かる結果は、ＨＳＶカラー空間が知覚的に略一様であって、１６６の明確なカラーへの量子化がＹＣ_ｂＣ_ｒカラー空間の２５６分割よりも良好なカラー範囲を提供するという事実によるものである。
【００４７】
カラーヒストグラムにより提供されるもののような包括的なカラー記述は合理的な程度に識別力のあるものであるが、空間的情報の欠如はビジュアル事項の比較において余りに多くの誤った合格（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）を与える可能性がある。知覚された非類似な検索ビジュアル事項が非常に類似したカラーヒストグラムを有する可能性がある。検索の実効性及び確度を改善するためには、カラーの特徴と空間関係の両方を使用することができる。カラー格子ヒストグラム及び下記のヒストグラム型記述子は、空間的情報を同様に考慮に入れることにより、包括的なカラーの特徴を局部的なものに拡張する。
【００４８】
通常のカラーヒストグラムにより表される包括的なカラーの特徴を拡張するための自然な方法は、ビジュアル事項を副ブロックに分割すると共に、これら副ブロックの各々からカラー特徴を抽出することである。カラー格子ヒストグラムは、この方法に従うもので、１０個のヒストグラムからなることができる。その場合、ビジュアル事項は３ｘ３の正方形に区画された格子を用いて９個の領域に分割される。各領域から、通常のカラーヒストグラムが計算される。１０番目のヒストグラムは、全体のビジュアル事項のカラーヒストグラムである。該副ブロック分割は重なり領域を考慮することにより改善することができる。この方法によれば、記述子は小さな領域変化に対しては比較的不感的とすることができる。
【００４９】
該カラー格子ヒストグラム抽出手順は、本質的に、通常のカラーヒストグラム抽出手順と同一である。唯一の相違点は、増加されるべきヒストグラム要素が、当該ビジュアル事項のピクセル値の空間位置にも依存することである。
【００５０】
該カラー格子ヒストグラムは通常のカラーヒストグラムからなるので、ヒストグラムを比較するのに使用するのと同一の距離計量を副ブロックヒストグラムに対しても使用することができる。２つのカラー格子ヒストグラムの間の距離は、副ブロックの距離の総和であろう。更に、副ブロックヒストグラムの間の距離に当該画像内の位置に応じて重み付けすることもできる。例えば、中央のブロックは他のものができるよりも大きく重み付けすることができる。何故なら、殆どのビジュアル事項に関しては、中央の領域が看者の注意を惹き、従って、類似性を判断する場合に人間は画像の中央に大きな重要度を与えるからである。
【００５１】
上記カラー格子ヒストグラム記述子は、完全サイズのキーフレームを３ｘ３の正方形区分格子を用いて９個の領域に分割すると共に、各副ブロックに関して６４ビンのカラーヒストグラムを計算することにより実施される。更に、全体の画像に対して他の６４ビンのヒストグラムが計算される。このように、該記述子は１０個のヒストグラムからなる。
【００５２】
各ヒストグラムはＹＣ_ｂＣ_ｒカラー空間において計算される。Ｙ、Ｃ_ｂ及びＣ_ｒカラーチャンネルは、各々、４つのレベルに線形に量子化されたものである。好ましくは、ＹＣ_ｂＣ_ｒカラー空間が使用される。というのは、ＭＰＥＧ−２ストリームではカラー情報が、このフォーマットで利用可能であるからである。
【００５３】
異なる画像のカラー格子ヒストグラムを比較するために使用される距離は、対応する副領域ヒストグラムの間のＬ_１距離、又はユークリッド距離の和とした。更に、副ブロックヒストグラム間の距離には当該画像内の位置に応じて重み付けを行った。中央のブロックの距離には他のものより２ないし１０倍の重み付けをした。
【００５４】
同一の画像に関して、実験的な試験は、カラー格子ヒストグラムは良好な結果を与えたが、平均では通常のものより良好には動作しないことを示している。距離の計算において異なる重みを使用しても、検索の有効性は、抽出、比較及び記憶の追加のコストを考慮すると充分には改善しなかった。
【００５５】
カラー構造ヒストグラム（文献においては小滴ヒストグラム：ｂｌｏｂ ｈｉｓｔｏｇｒａｍとも呼ばれる）は、ビジュアル事項の局部カラー構造を幾つかのピクセル値からなる構造化要素を用いて表す。通常のカラーヒストグラムは、特定のカラーを持つ単一ピクセル値の相対周波数を特徴付ける。カラー構造ヒストグラムは通常のものとは、特定のカラーを持つピクセルを含むような構造的要素（ｓｔｒｕｃｔｕｒｉｎｇ ｅｌｅｍｅｎｔ）の相対周波数を符号化する点で相違する。斯かるヒストグラムは、通常のカラーヒストグラムから不変性特性を受け継ぐと共に、空間的情報を埋め込むことにより、識別力を著しく増加させる。
【００５６】
ｎ個の明確なカラーが存在するように分割されたカラー空間ＣＳを考える場合、ビジュアル事項Ｉに対するカラー構造ヒストグラムは：
定義２：カラー構造ヒストグラムＨ（Ｉ）は、各要素Ｈ_ｉが、当該ビジュアル事項ＩにおけるカラーＣ_ｊの１以上のピクセルを含む構造的要素の数を含むようなベクトル＜Ｈ_１，Ｈ_２，…，Ｈ_ｍ＞である。
【００５７】
構造的要素の空間的広がりは、ビジュアル事項のサイズに依存するが、構造的要素内のサンプルの数は、ビジュアル事項と構造的要素とを同時にサブサンプリングすることにより一定に維持される。８ｘ８のパターンに配列された構造的要素における６４サンプルなる数を選択すると、このパターンにおける２つのサンプルの間の距離はビジュアル事項のサイズの増加と共に増加する。ビジュアル事項が固定の基本サイズに再寸法化されるなら、同一の８ｘ８構造的要素を使用することができ、さもなければ、サブサンプリング係数並びに構造的要素の幅及び高さを次のように決定することができる。Ｅは元のビジュアル事項Ｉにおける構造的要素の空間的広がりである、即ち当該空間的広がりはＥｘＥであるとする。また、Ｋは適用されるサブサンプリング係数、即ちＫ＝｛１，２，４，８，１６，…｝とし、ここでＫ＝１はサブサンプリングなしを意味し、Ｋ＝２は水平及び垂直方向に２によりサブサンプリングすることを意味し、等々である。Ｋ及びＥは下記のように定義される：

ここで、ｗｉｄｔｈ及びｈｅｉｇｈｔは長方形のビジュアル事項Ｉを示す。ｐ＜０の場合は、ｐ＝０を考える。
【００５８】
カラー構造ヒストグラムは当該ビジュアル事項全てのロケーションを訪問し、各ロケーションに重ねられた構造要素内に含まれる全てのピクセルのカラーを取り出し、対応するビンを増加させることにより計算される。ヒストグラムのビンは、当該手順の最後において構造的要素の数により正規化することができる。図３は８つの異なるカラーのビジュアル事項での抽出手順を示している。
【００５９】
構造的要素３２、即ち４ｘ４ピクセルのサイズの正方形、が当該ビジュアル事項上をスライド窓として通過される。或るロケーションにおいて（図においては当該ビジュアル事項の一部のみしか図示されていない）、当該構造的要素は、カラーＣ_０の４つのピクセルと、カラーＣ_１の６つのピクセルと、カラーＣ_２の６つのピクセルとを含んでいる。次いで、行Ｃ_０、Ｃ_１及びＣ_２のビンが増加される。従って、この場合、構造的要素は、該構造的要素の領域内に存在する各カラーにつき１回ずつ、３回カウントされる。
【００６０】
カラー構造ヒストグラム、カラー・コレログラム、カラー・オートコレログラム、カラー・コヒーレンス・ベクトル及び連結ヒストグラム（ｊｏｉｎｔ ｈｉｓｔｏｇｒａｍｓ）は全てヒストグラム型の記述子であるので、通常のカラーヒストグラム用に提供されるのと同一の類似性突き合わせ規準を、全てのこれら他の視的記述子を比較する場合に適用することができる。異なる特徴空間における距離値は、勿論、比較することはできない。
【００６１】
カラー・コレログラムはカラー対によりインデックスされるテーブルであり、ここで、＜ｉ，ｊ＞に対するｋ番目のエントリはカラーＣ_ｉのピクセルから距離ｋにおいてカラーＣ_ｊのピクセルを見付ける確率を特定する。カラー・コレログラムはカラーの空間的相関が距離と共にどの様に変化するかを表す。
【００６２】
ビジュアル事項Ｉ、及びｎ個の明確なカラーが存在するように分割されたカラー空間ＣＳが与えられたとして、Ｉ（ｐ）がピクセル値ｐ∈Ｉのカラーを示すとする。このように、ｐ∈Ｉ_ｃなる表記は、ｐ∈Ｉ，Ｉ（ｐ）＝ｃと同義である。ピクセル値間の距離はＬ_∞−ｎｏｒｍ、即ちピクセルｐ_１＝（ｘ_１， ｙ_１），ｐ_２＝（ｘ_２， ｙ_２）に対して、
【数６】

と定義する。集合｛１，２，…，ｎ｝を［ｎ］により示す。この表記法により、カラーヒストグラムＨ（Ｉ）は、
【数７】

により
【数８】

と定義される。ビジュアル事項Ｉ内の如何なるピクセル値に対しても、ｈ_ｃｉ（ｉ）は当該ピクセルのカラーがｃ_ｉである確率を与える。距離ｄ∈［ｎ］が演繹的に固定であるとする。この場合、Ｉのカラー・コレログラムは、
【数９】

であるので、
【数１０】

と定義される。当該画像内のカラーｃ_ｉの何れかのピクセルが与えられたとして、
【数１１】

は該所与のピクセルから距離ｋ離れたピクセルがカラーｃ_ｊのものである確率を与える。
【００６３】
ビジュアル事項内の異なるカラーの数が大きい場合、カラー・コレログラムの空間及び時間上の計算的複雑さは増加して、検索性能が低下する。これは、同一のカラーの間の相関のみを考慮することにより部分的に避けることができる。このカラー・コレログラムの特異化は、カラー・オートコレログラムと呼ばれる。Ｉのオートコレログラムは同一のカラーの空間的相関のみを捕捉し、
【数１２】

により定義される。
【００６４】
ビジュアル事項上のカラー分布に関する空間的情報を含めることにより、カラー・コレログラム及びオート・コレログラムは、特に類似のカラーではあるが異なるカラー配置を伴うようなビジュアル事項を扱う場合に、カラー・ヒストグラムよりも大きな識別力を提供する。
【００６５】
ビジュアル事項Ｉのカラー・コレログラムを計算する単純なアルゴリズムは、カラーｃ_ｉの各ｐ_１∈Ｉを考慮し、各ｋ∈［ｄ］に関して、‖ｐ_１−ｐ_２‖＝ｋなるカラーｃ_ｊの全てのｐ_２∈Ｉをカウントすることであろう。残念ながら、これはＯ（ｄ^２Ｓ）倍掛かり、ここでＳはＩのピクセル値の合計数である。この高価な計算をなくすために、１９９９年のインターナショナル・ジャーナル・オブ・コンピュータ・ビジョン、第３５巻、第３号の第２４５〜２６８頁における記事“空間的カラーの指標付け及び用途”には、ダイナミック・プログラミングに基づく効率的なアルゴリズムが記載されている。所要の計算時間はＯ（ｄＳ）に減少される。
【００６６】
検索有効性に関しては、Ｌ_１距離でのカラー・オート・コレログラムの方が通常のヒストグラムよりも良好に動作したことが分かった。それにも拘わらず、該カラー・オート・コレログラムの計算、比較及び記憶の追加コストを考慮に入れると、最良の記述子は安価且つ有効なカラーヒストグラムのままである。
【００６７】
良く知られたカラー・コヒーレンス・ベクトルは、基本的には、カラー分布に関する幾つかの空間的情報を含むように拡張されたカラーヒストグラムである。カラーのコヒーレンスとは、当該カラーのピクセルが、ビジュアル事項Ｉの大きな同様にカラー付けされた領域の要素（ｍｅｍｂｅｒ）である程度として定義されている。ビジュアル事項Ｉを考えると、カラーヒストグラムＨ（Ｉ）の所与のカラーバケットにおける各ピクセルは、大きな同様にカラー付けされた領域の一部であるか否かに基づいてコヒーレントであるか非コヒーレントであるかの何れかとして分類される。カラー・コヒーレンス・ベクトル（ＣＣＶ）は、各カラーにとってのコヒーレントピクセル対非コヒーレントピクセルの割合を記憶する。ｊ番目の区分されたカラーのコヒーレントなピクセルの割合をα_ｊ、非コヒーレントなピクセルの割合をβ_ｊと呼ぶと、カラー・コヒーレンス・ベクトルは、各々の区分されたカラーにつき１つずつ、ベクトル対：
＜（α_１，β_１），…，（α_ｎ，β_ｎ）＞
により表すことができる。記号α_ｊ及びβ_ｊに関して同じ意味を維持することにより、通常のカラーヒストグラムは：
＜α_１＋β_１，…，α_ｎ＋β_ｎ＞
なるベクトルにより表すことができる。カラー・コヒーレンス・ベクトル（ＣＣＶ）は、１つのビジュアル事項内のコヒーレントなピクセルが他のものにおける非コヒーレントピクセルと整合するのを防止する。コヒーレントなピクセルを非コヒーレントなピクセルから分離することにより、ＣＣＶはカラーヒストグラムよりも精細な区別を提供する。
【００６８】
カラー・コヒーレンス・ベクトルを抽出する第１ステップとして、ビジュアル事項Ｉは、小さな局部近隣（典型的には８つの隣接するピクセル）においてピクセル値を平均値と置換することにより、僅かにぼかされる。これは、近隣のピクセル間の小さな変化を除去する。好ましくは、ｎ個の明確なカラーの区分されたカラー空間が使用される。
【００６９】
次のステップは、所与のカラーバケット内のピクセルをコヒーレントか又は非コヒーレントの何れかとして分類することである。コヒーレントなピクセルは同一のカラーの大きなピクセルの群の一部であり、一方、非コヒーレントなピクセルはそうではない。連結された成分を計算することにより、ピクセルの群を決定する。
定義３：連結成分Ｃは、如何なる２つのピクセルｐ，ｐ’∈Ｃに対してもｐとｐ’との間に経路が存在するような最大のピクセルの集合である。
定義４：Ｃ内の経路は、各ピクセルｐ’∈Ｃ及び如何なる２つの順番のピクセルｐ_ｉ，ｐ_ｉ＋１も互いに隣接するような一連のピクセルｐ＝ｐ_１，ｐ_２、…，ｐ_ｎ＝ｐ’である。一方のピクセルが他方の８つの最も近い近隣の間にある場合、２つのピクセルは隣接していると見なす。
所与のカラーバケット内の連結成分のみが計算されることに注意されたい。連結成分の計算が完成したら、各ピクセルは正確に１つの連結成分に属するであろう。ピクセルは、連結成分のピクセルの大きさに従ってコヒーレントであるか非コヒーレントであるかの何れかとして分類する。ピクセルは、該ピクセルの連結成分の大きさが固定の値τを超えたらコヒーレントであり、さもなければ、該ピクセルは非コヒーレントである。τは、通常、ビジュアル事項のサイズの１％に設定される。
【００７０】
１６６カラーに量子化されたＨＳＶカラー空間内のカラー・コヒーレンス・ベクトル（３３２ビンのベクトルとなる）が、Ｌ_１距離と較べて、検索実効性、計算コスト及び応答時間に関してテストされた最良の視的記述子であることが分かった。
【００７１】
通常のカラーヒストグラムと同様に、カラー・コヒーレンス・ベクトルは光条件の変化に対して感応的である。光に依存しないカラー特性を維持する１つの方法は、ＨＳＶカラー記述子において色相及び彩度成分のみを使用するか、又はＲＧＢカラー空間の赤、緑及び青を、それらの和を介して正規化することである。
【００７２】
当業者に良く知られた連結ヒストグラムは、カラー・コヒーレンス・ベクトル及びカラーヒストグラムの発生である。カラーコヒーレンスのみならず一連の局部的ピクセルの特徴を考慮に入れることにより、上記ヒストグラムは多次元ヒストグラムと見ることができる。連結ヒストグラムへのエントリは、特定の特徴値の組合せにより記述された当該画像内の多数のピクセルを含んでいる。もっと正確には、ｌ番目の特徴がｎ_ｌの可能性のある値を有するような、ｋ個の特徴の集合が与えられたとして、連結ヒストグラムは、該連結ヒストグラムへの各エントリが特徴値のｋ組（ｋ−ｔｕｐｌｅ）により記述されるビジュアル事項内のピクセルの割合を含むようなｋ次元のベクトルである。従って、連結ヒストグラムのサイズは、
【数１３】

、即ち各特徴の可能性のある値の組合せの数である。カラーヒストグラムがピクセルカラーの密度を符号化するように、連結ヒストグラムは幾つかのピクセルの特徴の連結密度を符号化する。カラー・コヒーレンス・ベクトルは、特徴としてカラー及びカラーコヒーレンスのみを使用する連結ヒストグラムと見ることができる。カラー格子ヒストグラムは、特徴としてカラーと特定の副領域に属することに関する位置とを使用するような連結ヒストグラムと見ることができる。エッジ密度（ピクセルのエッジ密度は、当該ピクセルを囲む小さな近隣内のピクセルに対するエッジの比である）、テクスチャードネス（ピクセルのテクスチャードネスは、輝度が固定値よりも大きく相違するような近隣のピクセルの数である）、勾配振幅（勾配振幅は、最大の変化の方向に輝度が如何に急速に変化しているかの目安である）、等級（ピクセルｐの等級は、輝度がｐの輝度より小さい局部的近隣におけるピクセルの数として定義される）等のような幾つかの追加の特徴を使用することにより、連結ヒストグラムはカラー・コヒーレンス・ベクトルよりも精細な区別を提供することができる。
【００７３】
ビジュアル事項から連結ヒストグラムを導出する手順は、視的内容を特徴付けるように選択された特徴に依存する。通常、線形な時間で効率的に計算することが可能な特徴が選択される。
【００７４】
連結ヒストグラムと見ることが可能な、カラー格子ヒストグラム及びカラー・コヒーレンス・ベクトルとは別に、特徴として、カラー、カラーコヒーレンス及び平均のテクスチャ的複雑さを使用するような連結ヒストグラムが使用される。平均のテクスチャ的複雑さは、ＭＰＥＧ−２ビデオストリームに組み込まれた圧縮ドメイン情報を利用して推定された。各ブロックの離散コサイン変換の６４個の係数は、固定の閾より大きければ最大値に設定され、該閾より小さければ零に設定された。ブロックは、非零ピクセルの数が他の所定の閾より大きければ“複雑である”と判定された。カラー及びカラーコヒーレンスに加えて、キーフレームの各ピクセルは、当該ピクセルが属するブロックのテクスチャ的複雑さに依存して２つの等級に分類された。
【００７５】
上記連結ヒストグラムの平均検索性能は、カラー・コヒーレンス・ベクトルを使用することにより得られるものと比肩し得るものである。追加のテクスチャ的特徴は識別力を改善させたが、上記特徴を実施化するためのコストは比較的高い。
【００７６】
Ｉフレームが、キーフレームの検索実効性を改善するために使用された。特定の規準によりキーフレームが選択されない場合、近隣のＩフレームの視的記述子の使用により、次の（前の）類似画像へのジャンプ機能の検索有効性が改善され得る。各キーフレームに関して１つの視的記述子を考える代わりに、当該キーフレームに近い一群のＩフレームの全ての視的記述子が計算され、更に、距離が当該問い合わせ中のものに最も近いような記述子を割り当てた。
【００７７】
この技術のもっと正確な説明を以下に示す。各ショットに対して、最初のＩフレームがキーフレームとして選択されると仮定する。ｆ_ｉ∈Ｖがｉ番目のＩフレームであるような、ビデオシーケンスＶ＝［ｆ_０，ｆ_１，…，ｆ_ｎ］が与えられたとして、ｋ_ｑ∈Ｖは問い合わせ中のキーフレームであり、範囲は、それ以上では２つの画像が類似しているとは見なされない最大距離であるとする。
【数１４】

【００７８】
最後に、キーフレームｋ_ｓに対して、Ｉフレームｆ’及び距離値ｄに関連する記述子が割り当てられる。
【００７９】
好ましい実施化においては、Ｎ個の異なる一定値が選択された。更に、各ショットの全てのＩフレーム（この場合、Ｎは当該ショットの長さに依存する）が使用された。
【００８０】
単一の番組のキーフレームにわたって実行された場合、画像類似性サーチが可能であり、非常に有効であることが分かった。異なる番組内で斯かるサーチを実行することも可能であるが、多数のキーフレームが関係するので一層困難となる。数百及び数千の画像の場合、主たる問題は誤った一致と高い応答時間である。
【００８１】
誤った一致は、類似した視的記述子を持つ異なる画像による。画像が多い程、非常に類似したカラーではあるが非常に異なった内容のフレームを発見する確率が高くなる。誤った一致を低減するために、即ちサーチの確度を増加させるために、非常に識別力のある視的記述子を使用することができる。
【００８２】
非常に識別力のある記述子は、計算的複雑さのために応答時間を更に増加させ得る。応答時間を減少させるために、２つの戦略を一緒にしてさえ採用することができる。前置フィルタ処理として知られる第１の戦略は、可能性のある類似画像の第１集合を選択するために粗記述子を利用する。次いで、非常に識別力があり且つ計算的に高価な記述子が、該第１集合内での画像の選択のみに使用され、かくして、一層許容可能な応答時間のみが必要とされるようにする。第２の戦略は記述子を比較する場合に順次走査を避けるようにすることである。Ｒツリー、Ｓツリー又はＭツリーのような良く知られたデータアクセス構造は、全体のデータベースを解析することなしで、関連のある画像のみを保持することが可能となるような方法で記述子を編成することを可能にする。これらの指標は、記述子がベクトル又は距離空間内の点としてモデル化されることを要し、データベース管理システムに対して幾らかの計算的コストを追加することになる。このように、これらは非常に大きなビデオ（画像）データベースに適している。
【００８３】
以上、本発明を好ましい実施例を参照して説明したが、これらは限定することのない例であると理解すべきである。かくして、当業者にとっては、請求項に記載された本発明の範囲から逸脱することなしに、種々の変形例を着想することができる。一例として、記録された題材の特徴を含む内容テーブルは、斯かる記録題材をユーザにとり一層魅力的にするサービスとして、第３者により提供されるようにすることもできる。該内容テーブルがユーザの興味に基づくものであるなら、該ユーザの興味が当該情報信号の部分間の類似性の程度を決定する。
【００８４】
“有する”なる動詞及びその活用の使用は、請求項に記載されたもの以外の構成要素及びステップの存在を排除するものではない。更に、単数表現の構成要素は複数の斯かる構成要素の存在を排除するものではない。請求項において、括弧内の符号は当該請求項の範囲を限定するものと見なすべきではない。本発明は、ハードウェアにより及びソフトウェアにより実施化することができる。幾つかの“手段”は、同一のハードウェア項目により表すことができる。更に、本発明は各及び全ての新規な特徴及び特徴の組合せに存する。
【図面の簡単な説明】
【図１】
図１は、本発明による装置の一実施例を示す。
【図２】
図２は、次の類似画像へのジャンプ機能を実行することができるようにするために取られるべきステップを示す。
【図３】
図３は、８つの異なるカラーを持つビジュアル事項での抽出手順を示す。
【図４】
図４は、本発明による装置の他の実施例を示す。

Claims (12)

1. 第１記憶媒体上に記憶された情報信号を再生する装置であって、該装置が、
   −　前記第１記憶媒体から前記情報信号を読み取る読取手段と、
   −　前記情報信号を表示ユニットに供給する出力手段と、
   −　コマンドを入力して、ユーザが前記情報信号にアクセスするのを可能にするユーザ制御入力手段と、
   を有するような装置において、
   前記ユーザ制御入力手段は或る時点において第１コマンドを入力するように構成され、前記装置は前記読取手段を前記記憶媒体からの前記情報信号の読み取りを該情報信号における第２位置において開始させるように制御する制御手段を更に有し、前記第２位置における前記情報信号は該情報信号の前記第１コマンドを入力する前記時点において読み取られる第１位置における特徴、又は前記時点よりも前に読み取られた情報信号の特徴との類似性を示すような特徴を有していることを特徴とする装置。
2. 請求項１に記載の装置において、前記制御手段は第２記憶媒体からデータ信号を読み取るように更に構成され、該データ信号が前記情報信号における位置及び該情報信号における類似の特徴を有する他の位置に関する情報を有していることを特徴とする装置。
3. 請求項２に記載の装置において、該装置が、前記情報信号から前記特徴を抽出する抽出手段と、該抽出された特徴に従い類似の特徴を持つ位置を決定して前記データ信号を得る手段と、該データ信号を前記第２記憶媒体上に書き込む書込手段とを更に有していることを特徴とする装置。
4. 請求項１に記載の装置において、前記特徴が前記情報信号における位置に対応する画像のカラーヒストグラムとの関係を有していることを特徴とする装置。
5. 請求項１に記載の装置において、前記特徴が前記情報信号における位置に対応する画像のカラー格子ヒストグラムとの関係を有することを特徴とする装置。
6. 請求項１に記載の装置において、前記特徴が前記情報信号における位置に対応する画像のカラー構造ヒストグラムとの関係を有することを特徴とする装置。
7. 請求項１に記載の装置において、前記ユーザ制御入力手段は、前記読取手段が前記情報信号の読み取りを該情報信号の前記時点における位置に後続する位置において開始するように制御する入力手段を有していることを特徴とする装置。
8. 請求項１に記載の装置において、前記ユーザ制御入力手段は、前記読取手段が前記情報信号の読み取りを該情報信号の前記時点における位置よりも先行する位置において開始するように制御する入力手段を有していることを特徴とする装置。
9. 第１記憶媒体上に記憶された情報信号を再生する方法であって、該方法が、
   −　前記第１記憶媒体から前記情報信号を読み取るステップと、
   −　前記情報信号を表示ユニットに供給するステップと、
   −　コマンドを入力して、ユーザが前記情報信号にアクセスするのを可能にするステップと、
   を有するような方法において、
   −　或る時点において第１コマンドを入力するステップと、
   −　前記記憶媒体からの前記情報信号の読み取りを該情報信号における第２位置において開始するステップであって、前記第２位置における前記情報信号が、前記第１コマンドを入力する前記時点において読み取られる第１位置における前記情報信号との類似性を示すか、又は前記時点よりも前に読み取られた前記情報信号の一部との類似性を示すようなステップと、
   を有していることを特徴とする方法。
10. 請求項９に記載の方法をプロセッサに実行させるのを可能にするコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを担持する有形媒体。
12. 請求項１０に記載のコンピュータプログラムを伝送する信号。

Images