JP2005536794A - コンテンツ識別の方法、装置、及びソフトウエア - Google Patents

Abstract

コンテンツ識別方法は、１つ又はそれ以上のサブ署名を含む署名を作成する段階を含む。サブ署名は、コンテンツアイテムの多数のフレーム中の特徴の値の平均をとることによって作成される。電子装置は、記憶手段から第１のコンテンツアイテムの第１の署名を検索し、受信器を用いて第２のコンテンツアイテムを受信することが可能である。装置は、第２のコンテンツアイテムの多数のフレーム中の１つ又はそれ以上の特徴の値を平均し、第２の署名を作成するよう１つ又はそれ以上のサブ署名を用いることが可能な制御ユニットを有する。制御ユニットは、類似する特徴についてサブ署名の類似度を決定することにより２つの署名間の類似度を決定することが可能である。ソフトウエアは、コンテンツアイテム中のフレーム列の多数のフレーム中の特徴の値の平均をとることによりコンテンツアイテムについての署名を作成することが可能である。

Description

本発明は、第１のフレーム列を含む第１のコンテンツ・アイテムに対する第１の署名を作成する段階を有する、コンテンツ識別の方法に関連する。

本発明は更に、第１のフレーム列を有する第１のコンテンツ・アイテムの第１の署名を記憶する記憶手段とインタフェース接続するインタフェースと、第２のフレーム列を有する第２のコンテンツ・アイテムを有する信号を受信することが可能な受信器と、記憶手段から第１の署名を検索するのにインタフェースを使用することが可能であり、第２のコンテンツ・アイテムに対する第２の署名を作成することが可能であり、第１の署名と第２の署名の間の類似度を決定することが可能な、制御ユニットとを有する、電子装置に関連する。

本発明は更に、実行時に、プログラム可能な装置を電子装置として機能させることを可能とするソフトウエアに関連する。

方法の実施例は、特許文献１から公知である。公知の方法は、認識されるべきセグメントの既知の見本からディジタル署名を作成することによりブロードキャストされるセグメントのリアルタイムの連続的なパターン認識を行う。署名は、セグメントをディジタルにパラメータ化し、署名を形成するよう一組の所定の規則に従ってセグメント全体を通じたランダムなフレーム位置から部分を選択し、署名に部分のフレーム位置を関連付けることによって作成される。公知の方法は、費用のかかる並列処理や最もパワフルなコンピュータに頼ることなく、効率的且つ経済的にリアルタイムで、多数のコマーシャルを識別することが可能であるとされている。
欧州特許出願公開第０２４８５３３号明細書

公知の方法の不利な点として、公知の方法は、ランダムなフレームの位置の数が制限されている場合にのみ、経済的にリアルタイムで実行されうる。残念ながら、フレームの位置の数を制限すれば、パターン認識の信頼性も制限される。

本発明は、冒頭の段落に記載の種類の方法であって、比較的高い信頼性でパターン認識を達成しつつ、経済的にリアルタイムで実行されうる方法を提供することを第１の目的とする。

本発明は、冒頭の段落に記載の種類の電子装置であって、比較的高い信頼性でリアルタイムのパターン認識を実行することが可能な電子装置を提供することを第２の目的とする。

本発明は、冒頭の段落に記載の種類のソフトウエアであって、比較的高い信頼性でリアルタイムのパターン認識を達成しつつ、経済的にリアルタイムで実行されうるソフトウエアを提供することを第３の目的とする。

本発明によれば、第１の目的は、第１の署名を作成する段階が、第１の平均値の第１のシーケンスを有するよう第１のサブ署名を作成することを含み、第１の平均値は、第１のフレーム列の多数のフレームの中の特徴の値の平均をとることによって得られることにより達成される。特徴は、例えば、フレーム輝度、フレームの複雑さ、ＭＰＥＧ２符号化器で用いられるような平均絶対差（ＭＡＤ）誤差、又はＭＰＥＧオーディオ符号化器で用いられるようなスケールファクタでありうる。フレームは、オーディオフレーム、ビデオフレーム、又は同期されたオーディオ及びビデオフレームでありうる。

本発明の方法の実施例は、第２のフレーム列を有する第２のコンテンツ・アイテムに対する第２の署名を作成する段階を更に有し、第２の署名を作成する段階は、第２の平均値の第２のシーケンスを有するよう第２のサブ署名を作成することを含み、第２の平均値は、第２のフレーム列の多数のフレームの中の特徴の値の平均をとることによって得られる。実施例は更に、第１の署名と第２の署名の間の類似度を決定する段階を更に有し、第１の署名と第２の署名の間の類似度を決定する段階は、第１のサブ署名と第２のサブ署名の間の類似度を決定することを含む。

第１の署名と第２の署名の間の類似度は、他のストリーム中の短いオーディオ／ビデオシーケンスを識別するのに使用されうる。数十個又は更には数百個の署名のリアルタイムの比較のため、計算努力は低くなくてはならない。新しいコンテンツの署名が生成され、Ｎ個のフレーム毎に署名のデータベースと比較されてもよい。各フレーム毎に署名を比較することは、あまりにも多くの計算を必要とし、時間的に無駄に正確である。パーソナル・ビデオ・レコーダのような装置は高品質のディジタルビデオデータから低品質のアナログ又はＶＨＳ信号に亘る多くの異なった入力源を有しうるため、署名は、ノイズ及び他の歪みに対してロバストでなくてはならない。多数のフレームに亘って平均をとることにより、ノイズ及び他の歪みの効果は減少される。

本発明の方法の実施例によれば、第１の署名と第２の署名の間の類似度を決定する段階は、第１の署名と第２の署名の間の相関の係数を計算し、係数を閾値と比較することを含む。多数のフレームに亘って平均をとることにより、多少は正規化された分布を有するデータセットが得られる。分布の正規性の度合いは、平均をとるのに用いられたフレームの量に依存する。よい類似性の測度は、例えばピアソンの相関を用いて、正規分布を有する２つのデータセットを相関させることによって得られる。或いは、特徴値のシーケンスの第１の平均は、異なった類似性の測度を得るために、特徴値のシーケンスの第２の平均から差し引かれる。類似性の測度を閾値と比較することにより、更なるステップの基礎となりうる肯定的な又は否定的な識別結果を得ることができる。

第１の署名と第２の署名の間の類似度を決定する段階は、第１の平均値のシーケンス中の位置における第１のサブシーケンスと、第２の平均値のシーケンス中の対応する位置の近傍における多数の第２のサブシーケンスとの間の相関の係数を計算することを含みうる。これは、例えばコンテンツ・アイテム中のフレームが欠徐していることが否定的な識別結果を生じさせうるという、時間シフト問題を減少させる。フレームは、より古いＶＨＳ源素材を表示するときに失われうる。あるときは、垂直同期に失敗し、フレームが失われる結果となる。時間シフト問題は、署名が各フレーム毎に作成されるのではなく、複数のフレーム毎に作成される場合にも生じうる。

第１のサブシーケンスと多数の第２のサブシーケンスとの間の相関の係数は重みを用いて計算され、重みは、第２のサブシーケンスが対応する位置に近いと大きく、第２のサブシーケンスが前記対応する位置から遠いと小さい。類似するコンテンツ・アイテム間の時間シフトは、大きいものではなく小さい可能性が高いため、第２の要素が対応する位置から遠隔である場合は、相関は偶発的なものである可能性が高い。より良い識別は、重みを用いて達成されうる。

署名を作成する段階は多数のサブ署名を作成することを含み、第１の署名と第２の署名の間の類似度は多数のサブ署名を用いて決定される。ある場合には署名毎に１つのサブ署名で充分であるが、短いビデオシーケンスの低レベルＡＶ特徴の組み合わせ動作は、このシーケンスにとって一意である可能性が高い。多数のサブ署名を有する署名の一意性は、それが表わす情報の量に依存する。特徴シーケンスが長くなれば長くなるほど、署名はより一意なものとなりうる。また、より多くの異なった種類の特徴が同時に使用され、従って、サブ署名が多くなればなるほど、署名はより一意なものとなりうる。署名の一意性により、単一の所定の識別規準を用いて様々な条件下で多数の署名が一意に識別されうる。サービスプロバイダが署名を与える場合、識別基準は原理的には署名ごとに設計されうる。これは、サービスプロバイダが、事前に大量のコンテンツに対する署名についての識別基準をテストすることが可能だからである。しかしながら、ユーザによって定義される署名の場合、全ての署名に対して単一の所定の識別基準で充分のはずである。

サブ署名を作成することは、平均値の数を減少させることを含みうる。これは、必要な処理の量を減少させる。特徴値の平均がとられるため、有意な情報を失うことなく、サブ署名がサブサンプリングされうる。値の間の大きい差は、小さい差よりも有意である。平均特徴値の間の差は特徴値の間の差よりも小さいため、平均特徴値の量は特徴値の量よりも小さくなりうる。

第２のコンテンツ・アイテムが第３のコンテンツ・アイテム中に含まれ、第１の署名と第２の署名が類似している場合、更なる段階は、第３のコンテンツ・アイテム中の第２のコンテンツ・アイテムを飛ばすことを含みうる。例えば、コマーシャル・ブロックのイントロに対する署名が作成されうる。イントロが識別されると、３分間が飛ばされうる。或いは、署名は、信号が存在しない場合に示される黒又は青の画面に対して作成されうる。飛ばすことは、自動的に行われてもよく、又はユーザは、所定の量のコンテンツを飛ばすためにボタンを押してもよい。

更なる段階は、第２のコンテンツ・アイテムの第１のセグメントと第２のセグメントの間の境界を識別し、他の段階は、第２のコンテンツ・アイテムが第１のセグメントを含み、第１の署名と第２の署名が類似する場合は、第３のコンテンツ・アイテム中の第１のセグメントを飛ばしうる。第１のセグメントは、例えば、コマーシャルでありうる。第２のセグメントは、例えば、他のコマーシャル又は映画の一部でありうる。コマーシャル・ブロックのセグメントは、Ａ／Ｖ領域中のより一般的な弁別部及び分離部を用いて識別されうる。コマーシャル・ブロック内のセグメントは、高い信頼性で検出されえ、セグメント間の境界も識別されうる。検出されたセグメントの署名は、データベース中に格納されうる。新しい入来するコンテンツは、データベース中のセグメントの既存の署名でリアルタイムで相関されえ、相関が余りにも高い場合は、コンテンツはコマーシャル・セグメントとしてタグ付けされる。コマーシャル・ブロックのセグメントは反復的な性質を有し、コマーシャル・ブロック中で位置が変更しうるため、未知のコマーシャルの信頼性の高い署名を学習する良い機会がある。この方法では、コマーシャル・ブロック検出器の精度は、かなり高められ得る。

更なる段階は、第１の署名と第２の署名が類似する場合は、第２のコンテンツ・アイテムを記録することを含みうる。コメディーシリーズのイントロに対して第１の署名が作成されれば、本発明の方法を用いるパーソナル・ビデオ・レコーダ（ＰＶＲ）は、第１の署名と第２の署名が類似することが分かると直ぐに記録を開始しうる。記録はまた、時間シフト機構を用いて、遡及的に開始しうる。これは、シリーズの包括的なイントロが番組の始まりにないときに有用である。第１の署名、第１のコンテンツ・アイテム中の第１のフレームシーケンスの位置に対する記録開始時間及び記録終了時間、並びに、第２の署名に対する操作のための一組のチャネルは、ユーザによって与えられてもよく、又は、サービスプロバイダからダウンロードされてもよい。本発明の方法はまた、データベース中の第２の署名のサーチ、付随する第２のコンテンツ・アイテムのデータベースからの検索、並びに、第２のコンテンツ・アイテムの格納のために使用されうる。

更なる段階は、第１の署名と第２の署名が類似する場合は、警告を発生しうる。本発明の方法を用いるＰＶＲは、アイコン及び／又は音により、ピクチャ・イン・ピクチャ（ＰＩＰ）ウィンドウ内に関心となるコンテンツを示すことによりユーザに警告しうる。ユーザは、遠隔制御装置のボタンを押すことにより識別されたコンテンツへ切り換えること、又は、警告を除去することを決定しうる。ユーザが識別されたコンテンツへ切り換えるとき、ユーザは、時間シフト機構を用いて、遡及的に、コンテンツの始まりから、識別されたコンテンツを生で見ること又は再生することを開始しうる。

本発明によれば、第２の目的は、制御装置が、第１の署名から、第１のフレーム列の多数のフレーム中の特徴の値の第１の平均値のシーケンスを有する第１のサブ署名を作成し、第２のフレーム列の多数のフレームの中の特徴の値の平均をとることにより第２の署名についての第２のサブ署名を作成し、第１のサブ署名と第２のサブ署名の間の類似度を決定し、第１のサブ署名と第２のサブ署名の間の類似度に従って第１の署名と第２の署名の間の類似度を決定することが可能であることによって達成される。本発明の装置は、パーソナル・ビデオ・レコーダ（ＰＶＲ）、ディジタルＴＶ、又は衛星受信器でありうる。制御ユニットは、マイクロプロセッサでありうる。インタフェースは、メモリバス、ＩＤＥインタフェース、又はＩＥＥＥ１３９４インタフェースでありうる。インタフェースは、内部又は外部コネクタを有しうる。記憶手段は、内部ハードディスク又は外部装置でありうる。外部装置は、サービスプロバイダのサイトに配置されうる。

本発明の装置の実施例では、制御ユニットは、第１の署名と第２の署名の間の相関の係数を計算し、係数を閾値と比較することにより、第１の署名と第２の署名の間の類似度を決定することが可能である。

第２のコンテンツ・アイテムが第３のコンテンツ・アイテム中に含まれ、第１の署名と第２の署名が類似であれば、制御ユニットは、更なる記憶手段に、第２のコンテンツ・アイテムなしに第３のコンテンツ・アイテムを記憶させるようにしうる。

制御ユニットは、第１の署名と第２の署名が類似していれば、更なる記憶手段に第２のコンテンツ・アイテムを記憶させうる。

制御ユニットは、第１の署名と第２の署名が類似であれば警告を発生することが可能でありうる。

本発明によれば、第３の目的は、実行時に、プログラム可能な装置を、フレーム列を含むコンテンツ・アイテムについての署名を作成する機能を含む電子装置として機能させることを可能とするソフトウエアであって、機能は、平均のシーケンスを含むサブ署名を作成することを含み、平均はフレーム列の多数のフレームの中の特徴の値の平均をとることによって得られる、ソフトウエアによって達成される。

本発明のソフトウエアの実施例は更に、２つの署名間の相関係数を計算し、係数を閾値と比較することにより２つの署名間の類似度を決定する機能を更に有する。

ソフトウエアは、例えばフレキシブルディスクといった磁気情報担体、又は、例えばＣＤといった光情報担体に格納されうる。

本発明の方法及び装置の上述の及び他の面について、図面を参照して詳述する。図中、対応する要素は同じ参照番号で示される。図１の方法は、第１のフレーム列を有する第１のコンテンツ・アイテムに対する第１の署名を作成するステップ２を有する。ステップ２では、第１の平均の第１のシーケンスを含むよう第１のサブ署名を作成し、第１の平均は、第１のフレーム列の多数のフレームの中の特徴の値の平均をとることで得られる。

図１の方法は、第２のフレーム列を含む第２のコンテンツ・アイテムに対する第２の署名を作成するステップ４と、第１の署名と第２の署名の間の類似度を決定するステップ６とを有する。ステップ４では、第２の平均の第２のシーケンスを含むよう第２のサブ署名を作成し、第２の平均は、第２のフレーム列の多数のフレームの中の特徴の値の平均をとることで得られる。ステップ６では、第１のサブ署名と第２のサブ署名の間の類似度を決定する。

ステップ２及びステップ４では、多数のサブ署名を作成してもよく、第１の署名と第２の署名の間の類似度は多数のサブ署名を用いて決定されてもよい。

第２のコンテンツ・アイテムが第３のコンテンツ・アイテムに含まれており、第１の署名と第２の署名が類似していれば、任意のステップ８は、第３のコンテンツ・アイテム中の第２のコンテンツ・アイテムを飛ばすことを可能とする。更なるステップは、第３のコンテンツ・アイテムの第１のセグメントと第２のセグメントの間の境界を確認することを含みうる。任意のステップ１０は、第２のコンテンツ・アイテムが第１のセグメントを含み、第１の署名と第２の署名が類似していれば第３のコンテンツ・アイテム中の第１のセグメントを飛ばすことを可能とする。任意のステップ１２は、第１の署名と第２の署名が類似していれば第２のコンテンツ・アイテムを記録することを可能とする。任意のステップ１４は、第１の署名と第２の署名が類似していれば警告を発生することを可能とする。

図１に示すステップ２及び４は、いずれも、図２に示すように、３つのステップへ細分化されうる。ステップ２２は（図５も参照）、フレーム列の多数のフレーム中の特徴Ｉ_jから特徴値のシーケンスfeatureSeq(j,k)を作成する。ｋは、フレーム列の一意の識別子である。Content(k)は、フレーム列を含むコンテンツ・アイテムである。Time(k)は、フレーム列の最後のフレームの時点を、content(k)中のフレーム番号で表わしたものである。Feature(C,p,j)は、コンテンツ・アイテムＣ中の時点ｐにおける特徴Ｉ_jの値である。特徴値のシーケンスは、長さＬを有することとなる。

ステップ２４（図５も参照）は、特徴値のシーケンスを用いて第１のサブ署名を作成する。特徴値のシーケンスは、以下の式を用いてＦフレームのフィルタウィンドウ長でウィンドウ平均フィルタリングされる。

フィルタ関数を用いることにより、雑音及び歪みの問題は軽減される。変化する信号条件は又は符号化条件により、特徴シーケンスは多数の方法で歪みうる。歪みは、ビデオシーケンスを失わせること、又はビデオシーケンスの誤った認識を生じさせることがある。

ステップ２４は、サブサンプリングを用いることにより平均の回数を減少させる。特徴値のシーケンスは、ウィンドウ平均フィルタリングされるため、有意な情報を失うことなくサブサンプリングされうる。Ｆ／２周期毎のサブサンプリングは、署名のデータ点の総数がＦ／２倍だけ減少され、より多くの署名を同時に比較することを可能とする。ｒはサブサンプリングレートであり、Ｆは偶数であると仮定するとデフォルト値はＦ／２である。Ｋは、サブサンプリングされたフィルタリングされたシーケンス中のサンプル数である。Ｋは、Ｌ−Ｆ＋１がｒの整数倍でない場合は切り捨てられた自然数である。

サブ署名Sub-signature(j,k)は、特徴Ｉ_jについてのtime(k)におけるフィルタウィンドウ中のcontent(k)中の特徴値のサブサンプリングされフィルタリングされたシーケンスである。

ステップ２２及び２４は、多数の特徴に対して多数のサブ署名を作成するよう数回繰り返されてもよい。ステップ２６は、ステップ２４において作成されたサブ署名を用いて第１の署名を作成する。署名は、Ｍ個のサブ署名から構成される。

一般的な条件下で、提案される署名は、オンライン動作中は非常に効率的に発生されうる。Ｎ番目のフレーム毎に、受信された又は記憶されたコンテンツの新しい署名（ｋ_new）が作成されうる。最初は、完全な署名（ｋ_old）が作成されねばならない。しかしながら、その後、新しい署名（ｋ_new）は、Ｎ個の新しいフレームを用いることにより容易に作成されうる。Ｎがサブサンプリングレートｒの倍数であれば、sub-signature（ｊ，ｋ_new，ｋ_old）はsub-signature（ｊ，ｋ_new）に等しい。Content（ｋ_new）は、content（ｋ_old）を含み、time（ｋ_new）＝time（ｋ_old）＋Ｎである。

図６に示すステップ８２では、FeatureSeq（ｊ，ｋ_new，ｋ_old）は、更新されたフレーム列の多数のフレームの中の特徴Ｉ_jから特徴値の更新されたシーケンスを作成する。

Filter（ｊ，ｋ_new，ｋ_old，Ｐ）は、更新されたフレーム列中の多数のフレーム中の特徴Ｉ_jに対する更新されたフィルタ関数である。

フィルタ（ｊ，ｋ_old，Ｐ）は、予め計算される。Ｎがサブサンプリングレートｒの整数倍であれば、Ｚ＝Ｎ／ｒであり、サブ署名sub-signature（ｊ，ｋ_new，ｋ_old）、ステップ８４参照、は、更新されたサブサンプリングされたフィルタリングされたシーケンスである。サブ署名sub-signature（ｊ，ｋ_old）は、予め計算される。

図１中に示す、第１の署名と第２の署名の間の類似度を決定するステップ６は、図３に示すように、望ましい実施例では６つのステップへ細分化されうる。望ましい実施例では、サブ署名は、全体として比較されるのではなく、コンテキスト・ウィンドウと称される小さいスライディング・ウィンドウ・シーケンスが比較される。コンテキスト・ウィンドウを用いることにより、２つの類似するサブ署名間又は２つの等しいサブ署名間のタイミングのシフトの問題を解決することができる。これらのシフトは、署名がＮフレーム毎にのみ比較されるために生じうる。また、コンテキスト・ウィンドウを用いることにより、欠如しているフレーム又は挿入されたフレームによるシーケンス中の局所的なシフトの問題が解決される。サブ署名のフーリエ・パワー・スペクトルを比較することでもこの問題は解決されうるが、パワー・スペクトルはシフトに対して不変であるため、サブ署名の境界における差は、パワー・スペクトル中に差を生じさせうる。更に、この解法の計算上の努力ははるかに高い。

ステップ４２は、図１に示すステップ４及び６において作成された第１の署名及び第２の署名に対するコンテキスト・ウィンドウを作成する。コンテキスト・ウィンドウは、両方の署名中の各サブ署名中の各値に対して作成され、サブ署名中の位置の付近のサブ署名からの多数の値を有する。サブ署名（ｊ，ｋ₁）に対するコンテキスト・ウィンドウの行列は以下の通りである。

ステップ４４は、第１のサブ署名中の各コンテキスト・ウィンドウと第２のサブ署名中の各コンテキスト・ウィンドウとの間の相関を計算する。計算は、正規化されたコンテキスト・ウィンドウを作成し、コンテキスト相関contextCorr（ｊ，ｋ₁，ｋ₂，ｐ₁，ｐ₂）を計算する。

提案された類似性の測度は、相関に基づく。相関は、署名の平均及び分散とは独立に、−１と１の間で一貫してスケーリングされうる。従って、相関もまた、例えば平均平方誤差よりも、歪みに対してロバストである。コンテキスト相関は、ウィンドウ・シーケンスの内の１つが一定であれば定義されない。コンテキスト・ウィンドウ標準偏差のうちの１つがゼロであれば他の尺度が定義されうるが、これは、全体の署名類似性測度を一貫しないものとする。従って、事実上、一定でない部分のみが比較され、このことは、比較があまり厳密でなくとなるという不利点がある。コンテキスト・ウィンドウの幅を増加させることは、一定でない部分の数を増加させることとなる。しかしながら、このことは、計算上の負荷を増加させる。ステップ４４は、同じ特徴に対して作成される各第１のサブ署名及び各第２のサブ署名に対して繰り返される。

ステップ４６は、第１のサブ署名中の位置ｐにおけるコンテキスト・ウィンドウと、第２のサブ署名中の多数のコンテキスト・ウィンドウの間の相関の係数contextSim（ｊ，ｋ₁，ｋ₂，ｐ）を計算する。サブ署名（ｊ，ｋ₁）中の位置ｐにおける最終コンテキスト・ウィンドウの、サブ署名（ｊ，ｋ₂）中の対応する位置におけるコンテキスト・ウィンドウに対する類似度は、サブ署名（ｊ，ｋ₂）中の近傍の位置ｐ−Ｌ_nからｐ＋Ｌ_nまでおけるコンテキスト・ウィンドウとの最善のコンテキスト相関として定義される。Ｌ_nは、近傍の半径である。Ｑ（ｊ，ｋ₁，ｋ₂，ｐ）はサブ署名（ｊ，ｋ₂）からの一組の位置であり、位置は、サブ署名（ｊ，ｋ₁）からの位置ｐの近傍にある。

ステップ４６は、同じ特徴に対して作成される各第１のサブ署名及び各第２のサブ署名に対して繰り返される。

ステップ４８は、第１のサブ署名（ｊ，ｋ₁）と第２のサブ署名（ｊ，ｋ₂）の間の相関の係数subSigSim（ｊ，ｋ₁，ｋ₂）を計算する。

上記のように、完全なサブ署名類似度は、定義される平均コンテキスト類似度によって定義される。全てのコンテキスト・ウィンドウが一定であれば、サブ署名類似度は定義されない。最後に、完全な署名類似度は、定義されたサブ署名類似度の平均として定義される。ステップ４８は、同じ特徴について作成される各第１のサブ署名及び各第２のサブ署名に対して繰り返される。

ステップ５０は、第１の署名と第２の署名の間の相関の係数signatureSim（ｋ₁，ｋ₂）を計算する。

署名の類似度は、ゼロから１の範囲となるようスケーリングされるが、必ずしもそうされる必要はない。尚、極端な状況では、署名の類似度は、署名のうちの一方又は両方が完全に一定である場合は定義されえない。

ステップ５２は、係数を閾値と比較する。係数が閾値よりも高い場合、第１の及び第２の署名、従って第１の及び第２のコンテンツ・アイテム、例えばオーディオ／ビデオシーケンスは、等しいとして識別されうる。署名があまりにも簡単である場合、即ち、十分に特異性がないとき、良い閾値は存在しない。署名の特異性を高めるために変化されうる多数の署名発生パラメータがある。識別の質は、多数の時点において、例えば時点（ｋ）、時点（ｋ）＋Ｇ、時点（ｋ）＋２Ｇにおいて、オーディオ／ビデオシーケンスについての多数の署名を生成することによって更に改善されうる。シーケンスを識別するために、大きな割合の生成された署名が肯定的に識別されるべきである。このことは、識別機構のロバストさ及び質を改善させる。

重みは、ステップ４６において、第２の署名の第１のサブ署名中の位置ｐと第２のサブ署名中の多数のコンテキスト・ウィンドウの間の相関係数contextSim（ｊ，ｋ₁，ｋ₂，ｐ）を計算するのに使用されえ、重みは、第２のサブ署名中のコンテキスト・ウィンドウが対応する位置ｐに近ければ大きくなり、第２の要素が対応する位置ｐから遠ければ小さくなる。ContextSim（ｊ，ｋ₁，ｋ₂，ｐ）は、重みｗ（ｐ，ｑ）を組み込むよう以下の式により再定義される。

重み関数ｗ（ｐ，ｑ）は、対応するｐの近傍にある第２のサブ署名の全てのコンテキスト・ウィンドウが等しい重みを有する場合は、ブロック関数である。この重み関数を用いて、既に定義した元の式が保たれる。

重み関数ｗ（ｐ，ｑ）は、対応する位置ｐから遠いコンテキスト・ウィンドウの重要性が低くなるよう重みが用いられる場合は、三角関数である。

２Ｌ_wは、三角形の底辺の長さである。

類似度は、オンライン動作中に効率的に評価されうる。各Ｎフレーム毎に、受信された又は記憶されたコンテンツの新しい署名が作成され、多数の参照署名と比較される。各参照サブ署名（ｊ，ｋ₁）に対して、サブ署名（ｊ，ｋ₂）中に全てのコンテキスト・ウィンドウを有するサブ署名（ｊ，ｋ₁）の各コンテキスト・ウィンドウのコンテキスト相関を含むコンテキスト相関行列ＣＣ（ｊ，ｋ₁，ｋ₂）が維持される。

コンテキスト類似度は、近傍重み行列Ｗを用いて計算される。

コンテキスト類似度行列は、以下の通りである。

（外１）

の演算は、
（外２）

の列ｍ毎に最大を見つける。

（外３）

の全てのＮａＮ要素は、最大についての演算から棄却される。列の全ての要素がＮａＮであれば、その列についての最大値はＮａＮである。「．＊」演算子は、要素毎の行列乗算演算子である。SubSigSim（ｊ，ｋ₁，ｋ₂）及びsignatureSim（ｋ₁，ｋ₂）は、コンテキスト類似度行列を用いて計算されうる。

Time（ｋ_2new）からtime（k_2old）を差し引いたものがＮである更新された署名（ｋ_2new）がサブ署名の終わりにおいてＺ（＝Ｎ／ｒ）のみを含むため、Ｚ個の新しい正規化されたコンテキスト・ウィンドウのみが計算される。サブ署名（ｊ，ｋ_2new）中のＺ個の新しいコンテキスト・ウィンドウについて、サブ署名（ｊ，ｋ₁）の（Ｋ−Ｗ＋１）コンテキスト・ウィンドウとのコンテキスト相関が計算される。これらの相関値は、コンテキスト相関行列ＣＣ（ｊ，ｋ₁，ｋ₂）：＝ＣＣ（ｊ，ｋ₁，ｋ_2new）を更新するのに用いられる。サブ署名（ｊ，ｋ₁）中のＺ個の新しい正規化されたコンテキスト・ウィンドウは、以下の通りである。

新しいコンテキスト相関行列は、以下の通りである。

ＮａＮを用いたいかなる線形演算も、ＮａＮの結果を生じさせると想定される。従って、正規化されたコンテキスト・ウィンドウの一方又は両方が一定であれば、結果として得られるコンテキスト相関はＮａＮである。更新されたコンテキスト相関行列を用いることにより、全ての新しい類似度が計算されうる。

図４の電子装置６２は、第１のコンテンツ・アイテムの第１の署名を記憶する記憶手段６６とのインタフェース接続を行うインタフェース６４を有し、第１のコンテンツ・アイテムは、第１のフレーム列を有する。装置６２は更に、第２のコンテンツ・アイテムを含む信号を受信することが可能な受信器６８を有し、第２のコンテンツ・アイテムは第２のフレーム列を有する。装置６２はまた、記憶手段６６から第１の署名を検索するためにインタフェース６４を使用することが可能であり、且つ、第２のコンテンツ・アイテムについての第２の署名を作成することが可能であり、且つ、第１の署名と第２の署名の間の類似度を決定することが可能な制御ユニット７０を有する。制御ユニット７０は、第１の署名から第１のサブ署名を作成することが可能であり、第１のサブ署名は、第１のフレーム列の多数のフレームの中の特徴の値の平均値の第１のシーケンスを有する。第１のサブ署名は、第１の署名から抽出されてもよく、又は、第１の署名が生データを有する場合、例えば特徴値のシーケンスを有する場合、第１のサブ署名は、第２のサブ署名と同じ方法で計算されてもよい。第１の署名はまた、第１のサブ署名を作成するよう他の方法で処理される必要がありうる。制御ユニット７０は、第２のフレーム列の多数のフレームの中の特徴の値の平均をとることにより、第２の署名についての第２のサブ署名を作成することが可能である。制御ユニット７０は、第１の署名と第２の署名の間の類似度を決定することが可能である。制御ユニット７０は、第１のサブ署名と第２のサブ署名の間の類似度に基づいて第１の署名と第２の署名の間の類似度を決定することが可能である。記憶手段６６は、装置６２の中に含まれてもよく、又は、外部装置であってもよい。記憶手段６６は、例えば、ハードディスク又は光記憶媒体でありうる。受信器６８は、ケーブル７６を用いて信号を受信しうる。受信器６８は、例えば、ケーブル・オペレータから又は衛星放送受信アンテナから信号を受信しうる。

制御ユニット７０は、第１の署名と第２の署名の間の相関係数を計算し、係数を閾値と比較することにより、第１の署名と第２の署名の間の類似度を決定することが可能であり得る。第２のコンテンツ・アイテムが第３のコンテンツ・アイテム中にあり、第１の署名と第２の署名が類似していれば、制御ユニット７０は、更なる記憶手段７２に、第２のコンテンツ・アイテムなしに第３のコンテンツ・アイテムを記憶させることが可能であり得る。制御ユニット７０は、第１の署名と第２の署名が類似であれば、更なる記憶手段７２に第２のコンテンツ・アイテムを記憶させることが可能であり得る。更なる記憶手段７２は、装置６２内にあってもよく、外部装置であってもよい。更なる記憶手段は７２は、例えば、ハードディスク又は光記憶媒体を有しうる。更なる記憶手段７２及び記憶手段６６は、同じハードウエアの物理的に又は論理的に異なる部分であってもよい。制御ユニット７０は、更なる記憶手段７２からデータを検索するために更なるインタフェース７８を使用することが可能であってもよい。インタフェース６４及び更なるインタフェース７８は、同じハードウエアの物理的に又は論理的に異なる部分であってもよい。

制御ユニット７０は、第１の署名と第２の署名が類似であれば、警告を発生することが可能であり得る。警告は、ディスプレイ７４を用いて表示されうる。警告は、可聴であってもよい。装置６２がディジタル・テレビジョンであれば、ディスプレイ６４は、装置６２内にあってもよい。装置６２がパーソナル・ビデオ・レコーダ（ＰＶＲ）であれば、ディスプレイ７４は、外部装置であってもよい。ディスプレイ７４は、例えば、ＣＲＴ、ＬＣＤ、又はプラズマディスプレイでありうる。ユーザは、第１の署名の作成を開始する責任を負ってもよい。ユーザは、番組の包括的なイントロが示された瞬間にＰＶＲの遠隔制御装置上の「署名生成」ボタンを押してもよい。ボタンが押された後、ＰＶＲは、ユーザに、第１の署名と第２の署名が類似である場合に、何をすべきかを問う。ユーザが、番組を記録することを望む場合は、ユーザは関係のある開始時間及び終了時間だけでなくスキャンすべき一組のチャンネルも指定することが可能であり得る。例えば、ＡＢＣ、ＣＢＳ、及びＮＢＣでの−３分００秒から＋３０分００秒である。ユーザが警告されることを望むときは、ユーザは、スキャンすべき一組のチャンネルを指定することが可能であってもよい。ユーザはまた、ユーザが再生中のコンテンツへジャンプすること又はコンテンツを飛ばすことを可能とするよう、類似する署名の発生についてデータベースに記憶されることを指示することが可能であってもよい。

ＰＶＲはまた、記憶されたコンテンツの集合の中から第１の署名に類似する第２の署名を探し、第２の署名が見つかれば第２のコンテンツ・アイテムを再生することが可能であってもよい。このようにして、ユーザは、１つの記憶されたエピソードの始まりから同じシリーズ中の他の記憶されたエピソードの始まりへジャンプすることができる。ジャンプする他の方法は、所定の署名を有することである。ユーザは、署名のリストから特定の第１の署名を選択することが可能であり得る。ボタンが押されると、ユーザは、イントロの次の時点へジャンプしうる。リストを用いる代わりに、署名の小さい集合が、ユーザにより遠隔制御装置によってプログラムされうる。ユーザが、特定のニュース番組又は特定のＴＶコメディーを見ることを常に好む場合、ユーザは、所定の署名を用いてこれらの番組へリンクするよう、遠隔制御装置上の包括的なボタンをプログラムしてもよい。ユーザが、記憶されたコンテンツを再生し、特定のニュース番組にリンクする包括的なボタンを押すと、ＰＶＲは、特定のニュース番組の次に識別されるイントロへジャンプする。ボタンが再び押されると、ＰＶＲは次の識別されるイントロへ再びジャンプする。第２のコンテンツ・アイテムが記憶されたコンテンツの集合内に記憶されている間に、第１の署名及び第２の署名が比較されうる。

本発明について、望ましい実施例に関して説明したが、上述した原理内での本発明の変更は当業者によって明らかであり、従って本発明は、望ましい実施例に限られるものではなく、かかる変更を包含することが意図されることが理解されよう。本発明は、各新規な特徴及び各特徴の組合せに関する。請求項の参照符号は、保護の範囲を制限するものではない。「有する」、「含む」という動詞及びそれらの活用形の使用は、請求項に記載の要素以外の要素の存在を排除するものではない。単数形で記載された要素は、かかる要素が複数個存在する場合を排除するものではない。

「手段」の用語は、当業者によって明らかであるように、特定の機能を、単独で、又は他の機能と共に、独立して、又は他の要素と協働して行うよう動作を行うよう又は設計されたいかなるハードウエア（例えば別個の又は集積された回路又は電子要素）又はソフトウエア（プログラム又はプログラムの部分）を含むものを意味する。本発明は、いくつかの別個の要素を含むハードウエアによって、及び、適切にプログラムされたコンピュータによって実現されうる。いくつかの手段を列挙した装置クレームでは、これらの手段のうちの幾つかは、同一のハードウエアアイテムによって具現化されうる。「ソフトウエア」は、フレキシブルディスク等のコンピュータ読み取り可能な媒体上に格納された、又は、インターネット等のネットワークを介してダウンロード可能な、又は、任意の他の手段で市場に流通可能ないかなるソフトウエア製品をも意味すると理解されるべきである。

方法の望ましい実施例を示すフローチャートである。 図１の第１及び第２のステップを詳細に示すフローチャートである。 図１の第３のステップを詳細に示すフローチャートである。 電子装置の実施例のブロック図である。 図２の２つのステップの図式的な表現である。 図５の２つのステップの変形例を示す図式的な表現である。

Claims (19)

1. 第１のフレーム列を有する第１のコンテンツ・アイテムに対する第１の署名を作成する段階を有する、コンテンツ識別の方法であって、
   前記第１の署名を作成する段階は、第１の平均値の第１のシーケンスを有するよう第１のサブ署名を作成することを含み、第１の平均値は、前記第１のフレーム列の多数のフレームの中の特徴の値を平均をとることによって得られることを特徴とする方法。
2. 第２のフレーム列を有する第２のコンテンツ・アイテムに対する第２の署名を作成する段階を更に有し、
   前記第２の署名を作成する段階は、第２の平均値の第２のシーケンスを有するよう第２のサブ署名を作成することを含み、前記第２の平均値は、第２のフレーム列の多数のフレームの中の特徴の値の平均をとることによって得られ、
   前記方法は、前記第１の署名と前記第２の署名の間の類似度を決定する段階を更に有し、
   前記第１の署名と前記第２の署名の間の類似度を決定する段階は、前記第１のサブ署名と前記第２のサブ署名の間の類似度を決定することを含むことを特徴とする、請求項１記載の方法。
3. 前記第１の署名と前記第２の署名の間の類似度を決定する段階は、前記第１の署名と前記第２の署名の間の相関の係数を計算し、前記係数を閾値と比較することを含むことを特徴とする、請求項２記載の方法。
4. 前記第１の署名と前記第２の署名の間の類似度を決定する段階は、前記第１の平均値のシーケンス中の位置における第１のサブシーケンスと、前記第２の平均値のシーケンス中の対応する位置の近傍における多数の第２のサブシーケンスとの間の相関の係数を計算することを含むことを特徴とする、請求項２記載の方法。
5. 前記第１のサブシーケンスと前記多数の第２のサブシーケンスとの間の相関の係数は重みを用いて計算され、重みは、第２のサブシーケンスが前記対応する位置に近いと大きく、第２のサブシーケンスが前記対応する位置から遠いと小さいことを特徴とする、請求項４記載の方法。
6. 前記署名を作成する段階は多数のサブ署名を作成することを含み、前記第１の署名と前記第２の署名の間の類似度は前記多数のサブ署名を用いて決定されることを特徴とする、請求項２記載の方法。
7. サブ署名を作成することは、前記平均値の数を減少させることを含むことを特徴とする、請求項２記載の方法。
8. 前記第２のコンテンツ・アイテムが第３のコンテンツ・アイテム中に含まれ、前記第１の署名と前記第２の署名が類似している場合、前記第３のコンテンツ・アイテム中の前記第２のコンテンツ・アイテムを飛ばす更なる段階を有することを特徴とする、請求項２記載の方法。
9. 第２のコンテンツ・アイテムの第１のセグメントと第２のセグメントの間の境界を識別する更なる段階を有し、前記第２のコンテンツ・アイテムが前記第１のセグメントを含み、前記第１の署名と前記第２の署名が類似する場合は、前記第３のコンテンツ・アイテム中の前記第１のセグメントを飛ばす他の段階を有することを特徴とする、請求項２記載の方法。
10. 前記第１の署名と前記第２の署名が類似する場合は、前記第２のコンテンツ・アイテムを記録する更なる段階を有することを特徴とする、請求項２記載の方法。
11. 前記第１の署名と前記第２の署名が類似する場合は、警告を発生する更なる段階を有することを特徴とする、請求項２記載の方法。
12. 第１のフレーム列を有する第１のコンテンツ・アイテムの第１の署名を記憶する記憶手段とインタフェース接続するインタフェースと、
    第２のフレーム列を有する第２のコンテンツ・アイテムを有する信号を受信することが可能な受信器と、
    前記記憶手段から前記第１の署名を検索するのに前記インタフェースを使用することが可能であり、前記第２のコンテンツ・アイテムに対する第２の署名を作成することが可能であり、前記第１の署名と前記第２の署名の間の類似度を決定することが可能な、制御ユニットとを有する、電子装置であって、
    前記制御装置は、
    前記第１の署名から、前記第１のフレーム列の多数のフレームの中の特徴の値の第１の平均値のシーケンスを有する第１のサブ署名を作成し、
    前記第２のフレーム列の多数のフレームの中の前記特徴の値の平均をとることにより前記第２の署名についての第２のサブ署名を作成し、
    前記第１のサブ署名と前記第２のサブ署名の間の類似度を決定し、
    前記第１のサブ署名と前記第２のサブ署名の間の類似度に従って前記第１の署名と前記第２の署名の間の類似度を決定することが可能であることを特徴とする、電子装置。
13. 前記制御ユニットは、前記第１の署名と前記第２の署名の間の相関の係数を計算し、前記係数を閾値と比較することにより、前記第１の署名と前記第２の署名の間の類似度を決定することが可能であることを特徴とする、請求項１２記載の装置。
14. 前記第２のコンテンツ・アイテムが第３のコンテンツ・アイテム中に含まれ、前記第１の署名と前記第２の署名が類似であれば、前記制御ユニットは、更なる記憶手段に、前記第２のコンテンツ・アイテムなしに前記第３のコンテンツ・アイテムを記憶させるようにすることが可能であることを特徴とする、請求項１２記載の装置。
15. 前記制御ユニットは、前記第１の署名と前記第２の署名が類似していれば、更なる記憶手段に前記第２のコンテンツ・アイテムを記憶させることが可能であることを特徴とする、請求項１２記載の装置。
16. 前記制御ユニットは、前記第１の署名と前記第２の署名が類似であれば警告を発生することが可能であることを特徴とする、請求項１２記載の装置。
17. 実行時に、プログラム可能な装置を、フレーム列を含むコンテンツ・アイテムについての署名を作成する機能を含む電子装置として機能させることを可能とするソフトウエアであって、前記機能は、平均のシーケンスを含むサブ署名を作成することを含み、平均は前記フレーム列の多数のフレームの中の特徴の値の平均をとることによって得られる、ソフトウエア。
18. ２つの署名間の相関係数を計算し、前記係数を閾値と比較することにより２つの署名間の類似度を決定する機能を更に有することを特徴とする、請求項１７記載のソフトウエア。
19. 記録担体上に記憶されることを特徴とする、請求項１７記載のソフトウエア。

Images