JP2013255249A - オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測 - Google Patents

Abstract

【課題】従来技術の限界を避けることの出来るビデオ及びオ−ディオ信号の間の同期を維持し又は再確立することを提供する。
【解決手段】特徴が互いに既知の時間的関係をもつビデオ及びオーディオ内容から抽出される。抽出された特徴はビデオ及びオーディオ署名を生成するために用いられ、該署名は時間的関係の指標とともに同期署名構築に組み入れられる。前記構築は離れた目的地で受領されたビデオ及びオーディオ内容の間の同期誤差を算出するために使用しても良い。処理を最適化し、算出された同期誤差の信頼性の指標を提供するために信頼性の基準が離れた目的地で生成される。
【選択図】 図１

Description

本発明は一般的にはビデオ及びオ−ディオ信号を処理しそして分配するシステム及び方法に関し、より詳しくはビデオ及びオ−ディオ信号の相対的時間アラインメント又は同期に関する情報を搬送するデータを生成し、伝送し又は使用する応用に関する。本明細書を通して「ビデオ信号」は視角によって認識される内容を伝送する信号を指し、「オ−ディオ信号」は聴覚により認識される内容を伝送する信号を指す。ある応用においては、あるシステムは、信号によって伝送される内容の処理及び分配中に失われたビデオ及びオ−ディオ信号の間の適切な同期を再構築するための本発明の特徴を用いる。

関連出願との相互参照
本出願は２００８年８月２１日に出願された米国仮出願番号61/189,659に基づく優先権を主張するものであり、本出願の内容は参照により本明細書に組み入れられる。

ビデオ及びオ−ディオ信号の相対的時間アラインメントはオ−ディオービデオ内容の知覚される品質中の重要なファクターである。「リップシンク」（lip sync)と呼ばれる、ある良く知られた例に、人の唇の動く画像とその人が話す言葉による音の間の相対的時間アラインメントがある。種々の研究により、もし音が動く画像に関係する場合、観察する人は通常、画像と音の相対的時間アラインメントのずれがある範囲にある場合は、それに気付かないか又は寛容であることが知られている。ITU-R Recommendation BT.1359-1「放送における、音と画像の相対的適時選択（タイミング）」によると、もし音が関連する視覚事象に約２０ミリ秒を超えない短い時間で先行し、又は関連する視覚事象に約９５ミリ秒を超えない時間の範囲で遅れた場合には、時間アラインメントの差は通常感知されない。もし音が関連する視覚事象より９０ミリ秒より大きい範囲で先行し、又は関連する視覚事象に約１８５ミリ秒より大きい時間の範囲で遅れた場合には、時間アラインメントでのこの差は知覚され、通常受容し難いものとなる。本明細書において、もし相対的アラインメントの差が広い範囲の観察者により認識されないか又は少なくとも受容されるかのいずれかの場合、ビデオ及びオ−ディオ信号は適正な時間アラインメントを持つ又はお互いに同期していると見做される。

残念なことに、オ−ディオービデオ内容を処理し、分配し及び送り出す方法及びシステムの多くはしばしば適正な同期を失わせる機構を含んでいる。例えば、放送において、ビデオ及びオ−ディオ信号はスタジオにいる場合の様に信号を捕捉した時点で通常同期されるが、これらの信号は放送により伝送される前にしばしば処理され、この処理は同期を失わせる原因となり得る。例えば、アナログビデオ及びオ−ディオ信号は、その内容を伝送するために必要なビットレート又は帯域幅（バンド幅）を減少させるためにデジタル形式に変換され、そして知覚符号化方法により処理されることがある。クロマキーイング（chroma keying）の様なプロセスが複数ビデオ信号からの画像を融合させるために用いられることがある。補助オ−ディオ信号が元のオ−ディオ信号と混合され又はそれに置き換えられることもある。これらの及び他のプロセスの多くは信号プロセシング経路に遅延を導入している。もし処理の遅延がビデオ信号プロセシング経路とオ−ディオ信号プロセシング経路において厳密に等しくない場合は同期を失うことは避けられない。さらに、ビデオ及びオ−ディオ信号が異なるチャンネルを通して独立に分配される場合、同期はしばしば失われる。

これらの問題を避けるために、種々の技術が提案され、そして受領したビデオ/オ−ディオ内容及び同期することが知られている参照ビデオ/オ−ディオ内容の間のマッチングを探求し、アラインメントとの関係で受領したビデオ/オ−ディオ内容と参照内容との間の時間アラインメントの変化を算出し、そして同期を再確立するために受領したビデオ内容又は受領したオ−ディオ内容を遅延させる技術が用いられる。他の知られた技術の限界は、アラインメントにおけるマッチングの信頼性又は算出された変化の信頼性を明らかにしないことである。

本発明の一つの目的は従来技術の限界を避けることの出来るビデオ及びオ−ディオ信号の間の同期を維持し又は再確立することを提供する。本発明の他の目的はビデオ‐オ−ディオ内容の同定及び確認及び他の信号のビデオ及びオ−ディオ信号への同期を含む種々の応用に用いることのできるビデオ及びオ−ディオ信号の署名を提供することにある。

本発明は、ビデオ内容の一以上の特徴を表す一以上のビデオ署名、オ−ディオ内容の一以上の特徴を表す一以上のオーディオ署名、及びビデオ及びオ−ディオ内容の間の時間アラインメントを伝えるオ−ディオ/ビデオ（A/V）同期署名構築を提供する。

本発明は独立請求項において規定される。ある有利な実施上の特徴は従属請求項に規定される。本発明及び好ましい実施の形態は以下の議論及び添付図面を参照することにより、より良く理解されるであろう。以下の議論の内容及び図面は例として記載するものであり、本発明の範囲を限定するものと解してはならない。

図１は、リアルタイムに配給される放送信号の様なビデオ及びオ−ディオ信号の間の同期を再確立する本発明の特徴を組み入れた代表的システムの略ブロック図である。 図２は、非リアルタイムに配給することの出来る録音された信号の様なビデオ及びオ−ディオ信号の間の同期を再確立する本発明の特徴を組み入れた代表的システムの略ブロック図である。 図３は、ビデオ及びオ−ディオ信号の同期署名構築を生成する代表的機器を表す。 図４は、ビデオ署名生成器のある実施の態様の略ブロック図である。 図５Ａ−５Ｃは、２つのフレームのビデオ内容の間の差を表す相違の基準を生成するために使用されるプロセスの略ブロック図である。 図６Ａ−６Ｂは、低分解能における一組の中間値の略ブロック図である。 図７はオ−ディオ署名生成器のある実施の態様の略ブロック図である。 図８は、オ−ディオ内容のあるセグメントの時間周波数表示を生成するために使用されるプロセスの略ブロック図である。 図９は、低時間分解能時間周波数表示の一組の中間値の略ブロック図である。 図１０は、ビデオ及びオ−ディオ信号及び同期署名構築のための代表的な分配ネットワークの略ブロック図である。 図１１はビデオ及びオ−ディオ信号の同期を検出するための同期署名構築を使用する代表的な装置の略ブロック図である。 図１２は、ビデオ/オ−ディオ流れのタイミングの遅れを表す略ブロック図である。 図１３は、一致の信頼性（確度）の基準を計算するための予測モデルを用いた代表的な技術の略ブロック図である。 図１４は、ビデオ又はオ−ディオ内容のコピー検出のための署名データベースを管理する装置の略ブロック図である。 図１５は、本発明の種々の特徴を実施するために使用される装置の略ブロック図である。

概観
図１及び２は本発明の特徴を組み入れた代表的システムの略ブロック図であり、同システムはビデオ及びオ−ディオ信号の間の同期を検出しそして再確立するために使用することができる。これらの各システムは同期署名構築を生成し、分配し及び適用する機能を組み入れ、この構築はビデオ及びオ−ディオ内容、及びこの内容の間の時間アラインメントを表すデータの論理構造である。この構築は必要な情報を伝送することの出来る実質的な任意のデータ構造によって実施しても良い。これらの機能をここで紹介し、以下でより詳細に説明する。

図１に示すシステムは、放送信号による伝送される内容の様なリアルタイムに分配されるビデオ及びオ−ディオ内容に使用しても良い。リアルタイム分配にはリアルタイム提供又は再生含む。図２に示すシステムはマルチメディアサーバーにより受信され、保存される内容の様なリアルタイムに分配されるものでないビデオ及びオ−ディオ内容の場合に使用しても良い。非リアルタイム分配は、内容のリアルタイム提供又は再生を含んでも良く又は含まなくても良い。この場合、「リアルタイム」の用語は、ビデオ及びオ−ディオ内容が生成され、又は保存され及びその後再生される速度（rate)を言う。「非リアルタイム」の用語はリアルタイムよりも早い又は遅い割合を言う。

何れの図面には示されていないが、あるシステムは、非リアルタイムで操作される装置で操作するためにリアルタイムで操作される装置を使用するように構成しても良い。例えば、図１に示すリアルタイムA/V同期署名生成器により生成される同期署名構築は、記録された内容を非リアルタイムで読み取りそして処理する装置により使用することができる様に構成しても良い。他の例として、図２に示す非リアルタイムA/V同期署名生成器により生成される同期署名構築は、リアルタイムで内容を処理する内容編集器又は送信機により使用しても良いように構成することができる。

１． リアルタイムシステム
図１に示すリアルタイムシステムはリアルタイムに同期署名構築を生成し及び分配する。本発明のリアルタイムシステムで実施をするためには、非リアルタイムシステムで使用で考えられるものより低い、計算の複雑さ、メモリー及びバッファー要求での処理を必要とすることもある。図１を参照すると、A/V同期署名生成器はビデオ及びオ−ディオ信号の内容を検討し、分析し、ビデオ及びオ−ディオ署名を生成するために一以上の内容の特徴を抽出する。これらの２つの署名は同期署名構築に組み立てられる。署名生成器はリアルタイムでビデオ及びオ−ディオ信号を受領し、ビデオ及びオ−ディオ信号は続いてリアルタイムで分配される。したがって、署名生成器はリアルタイムで同期署名構築を生成する。殆どの実施の態様において、A/V同期署名生成器により検知されたビデオ及びオ−ディオ信号はお互いに所望の時間アラインメントを持つと予想されるが、これは原則として必要とされない。もし望むならば、A/V同期署名生成器のある実施の態様においては、実際の時間アラインメントの同期署名構築での明確な指標を含むことによりビデオとオ−ディオ信号の間のアラインメントでの知られたシフトを説明することができる。この明確な指標は、同期署名構築が生成された場合に恰も２つの信号が所望のアラインメントを持っている様に、同じ結果を達成するために必要な、あらゆる調整を行う続く処理において使用することができる。もしビデオ信号及びオ−ディオ信号が適正なアラインメントにあると判明している場合、明確な情報は必要でなく、そして２つの信号の相対的時間アラインメントを暗示的に伝送することができる。

好ましくは特徴の選択又はそれを得るための抽出プロセスは、ビデオ内容、オ−ディオ内容又は同期署名構築を伝送する信号を続いて修飾するプロセスに対抗し又は許容するものが良い。これらのプロセスの例の幾つかについて以下に述べる。ビデオ信号、オ−ディオ信号及び同期署名構築を伝送する信号はまた、信号分配での種々に変わる遅延に曝されることもある。例えば、知覚的符号化の様な信号処理は、信号プロセスシング経路での遅延を生じさせる。

A/V同期検出器に送られるビデオ及びオ−ディオ内容は、以下に述べる理由により同期署名構築を生成するために使用されるビデオ及びオ−ディオ内容と異なることもある。この違いを明確にするために、A/V同期検出器に存在する信号、内容及び署名を同定するために必要に応じて、「目的地」の用語が使用され、A/V同期署名生成器に存在する信号、内容及び署名を同定するため、必要に応じて本明細書で「参照」の用語が用いられる。

A/V同期検出器は目的地ビデオ及びオ−ディオ内容を伝送するビデオ及びオ−ディオ信号を受領する。それはまた同期署名信号を伝送する信号を受領する。それは目的地ビデオ署名を生成する一以上の特徴を抽出するために、受領したビデオ及びオ−ディオ信号及び目的地オ−ディオ署名の目的地内容を調査し、分析し、同期署名構築から参照ビデオ署名及び参照オ−ディオ信号得て、目的地ビデオ署名を参照ビデオ署名と比べ、そして目的地オ−ディオ信号を参照オ−ディオ署名と比較し、そして、受領したビデオ信号及び目的地オ−ディオ信号の時間アラインメントを、同期署名構築が生成されたときに存在した時間アラインメントと比べて、受領したビデオ及び目的地オ−ディオ信号の相対的時間アラインメントでのシフトがあったかどうかを決定する。アラインメント中の任意のシフトはメーター又は他のディスプレイにより表しても良く、そして、それは２つの信号を適切な時間アラインメントに収めるために、受領した目的地ビデオ及び目的地オ−ディオ信号の何れか一つ又は両方に計算された遅延を課することにより訂正しても良い。A/V同期検出器は目的地ビデオ及び目的地オ−ディオ信号をリアルタイムに受領し、そして目的地ビデオ及び目的地オ−ディオ信号の相対的時間アラインメントがリアルタイムに調整され、したがって、A/V同期検出器は目的地ビデオ及び目的地オ−ディオ信号をリアルタイムに生成する。

２． 非リアルタイムシステム
図２に示す非リアルタイムシステムは、非リアルタイムにビデオ及びオ−ディオ信号を分配するファイルベースシステムの例であり、リアルタイムに同期署名構築を生成し、そして分配する必要はない。その結果この非リアルタイムシステムの本発明の実施では、リアルタイムで実際に用いることの出来るものより極めてより高度の、複雑な計算、メモリー及びバッファー要求を持つプロセスで使用することができる。

図２を参照すると、ビデオ及びオ−ディオ内容は、一以上のサーバーに記憶される一以上のファイルに記録される。記述を容易にするために、これらの一以上のファイルサーバーは参照ファイルサーバーと呼ぶ。ビデオ及びオ−ディオ内容は参照サーバーから読み出すが、それはA/V同期署名生成器がビデオ-オ−ディオ内容がお互いに同期するように受領するように読み出す。

A/V同期署名生成器はビデオ及びオ−ディオ内容を検査し又は解析し、内容の一以上の特徴を抽出して、ビデオ署名及びオーディオ署名を生成する。これらの２つの署名は同期署名構築に組み立てられる。署名生成器は非リアルタイムにビデオ及びオ−ディオ信号を受領し、非リアルタイムに同期署名構築を生成しても良い。同期署名構築は参照ファイルサーバー又は異なるファイルサーバーにより記憶される一以上のファイルに記録しても良い。

上に示すリアルタイムシステムと同様に、これらを得るために使用される特徴又はプロセスは好ましくはビデオ内容、オ−ディオ内容、又は同期署名構築に対抗する又はそれを許容するものであるのが良い。この非リアルタイムシステムの典型的な応用では、ビデオ内容、オ−ディオ内容、又は同期署名構築を伝送する信号は信号処理及び分配の種々異なる遅れを受ける。図で示す例では、これらの信号はネットワークを通して分配され、そして信号が伝送する目的地内容及び目的地署名は、本明細書で目的地ファイルサーバーと呼ばれる一以上のファイルサーバー上に記憶される一以上のファイルに記録される。

目的地ビデオ及び目的地オ−ディオ内容及び同期署名構築は、目的地ビデオ-オ−ディオ内容の間の同期が確認出来ない様な方法で、目的地ファイルサーバーから読み出され、そしてA/V同期検出器に配送される。A/V同期検出器は読み出された目的地ビデオ及び目的地オ−ディオ内容を検査し又は解析し内容の一以上の特徴を抽出して。目的地ビデオ署名及び目的地オ−ディオ署名を生成する。A/V同期検出器は回収された同期署名構築から参照ビデオ署名及び参照オ−ディオ署名を得て、目的地ビデオ署名を参照ビデオ署名と比べ、目的地オ−ディオ署名を参照オ−ディオ署名と比べ、そして目的地サーバーから読み出された目的地ビデオ及び目的地オ−ディオ内容の違いの相対的時間アラインメントが、同期署名構築が生成された場合に存在する相対的時間アラインメントと異なるかを決定する。アラインメントでの全ての相違はメーター又は他のディスプレイにより表しても良く、読み出された目的地ビデオ及び目的地オ−ディオ内容の何れか又は両方を遅延され又は先行させることにより訂正しても良い。もし望むならば、目的地署名の生成及び回復された目的地ビデオ及び目的地オ−ディオ内容の相対的時間アラインメントの調整はリアルタイムに実施しても良い。

もし同期を回復するために必要な調整が、続く使用のために一以上のファイルに記録することの出来る場合は、A/V同期検出器はビデオ及びオ−ディオ目的地署名をリアルタイムに生成する必要はない。

Ｂ．署名生成
図３は同期される参照ビデオ信号及び参照オ−ディオ信号の特徴を抽出することにより同期署名構築を生成する代表的機器を示す。同期署名構築は参照ビデオ信号の一以上の特徴を表す一以上の参照ビデオ署名、参照オ−ディオ信号の一以上の特徴を表す一以上の参照オ−ディオ署名、及び参照署名を生成するために使用されるビデオ及びオ−ディオ特徴の相対的時間アラインメントの指標を含む。

同期署名構築に含まれるビデオ及びオ−ディオ署名は、以下に説明する制御信号に反応して適合化される。同期署名構築は相対的時間アラインメントを暗示的又は明示的に伝送しても良い。

１．ビデオ及びオ−ディオ署名
一以上のビデオ署名が、ビデオ内容から抽出される一以上のビデオ特徴に反応して生成される。一以上のオ−ディオ署名がオ−ディオ内容から抽出される一以上のオ−ディオ特徴に反応して生成される。ビデオ及びオ−ディオ署名は、その内容と異なる署名を生成することのできる実質的に任意のプロセス又は変換を用いる内容から生成され又はそれに由来するものであっても良い。署名を表すために必要なデータ量は、その内容を表すために必要なデータ量よりも少ない。署名は、好ましくは、署名を表すために必要なデータ量が、対応する参照及び目的地内容を十分に高い信頼性で関連付けるために求められる以上でない程度に生成されるのが良い。

原則として、実質的に任意の所望のプロセス又は変換が、ビデオ及びオ−ディオ署名を生成するために任意のタイプの特徴に適用しても良い。しかし、好ましい実施においては、どの様な特徴が選択されどの様なプロセス又は変換が使用されるかについて幾つかの影響を考慮する。

その一つは、選択された特徴は署名を生成するために使用されるビデオ及びオ−ディオ内容にとり非定常であるべきであることである。この考慮は処理され得る種類の内容に適用される。静止又は定常内容から抽出される特徴から生成される同期署名構築は、通常対応する参照及び目的地内容を関係づけるために使用することはできない。しかし、このタイプの信号は任意の同期の問題を通常表していないため、本発明の実施は、通常静止的内容の信号を取り扱うことができる。もし、画像及び音声がある期間変化しない場合、同期されるべきものはない。

他の考慮は、選択された特徴は、適用に必要な時間分解能を提供することが求められることである。内容の再同期には、時間分解能は約２０ミリ秒よりも長くてはならない。内容の同定又は確認のためには、時間分解能は１０秒、１分又はさらにそれより長くても良い。実施の多くの場合において、ビデオ内容はフレームで配置され、ビデオ署名は個々のフレームから抽出される特徴から生成される。共通のフレームレートは約３０Ｈｚであり、これは約３０ミリ秒の時間分解能を提供する、同期に必要な分解能はビデオフレームレートより２又は３倍高い一定のレートでオ−ディオ特徴を抽出することにより提供することができる。もし、代わりにビデオ及びオ−ディオの特徴が内容におけるある事象の検出に反応して抽出される場合は、事象の検出プロセスの分解能は意図する応用を支持するに十分である必要がある。

さらに他に考慮されるべき点は、ビデオ及びオ−ディオ署名を生成するために使用される選択される特徴及び変換は、ビデオ内容、オ−ディオ内容又は同期署名構築を修飾するプロセスに対抗し又は許容するものであるべきである。これらのプロセスの例は以下に述べる。この対抗は、もとの修飾されない内容から生成される署名に同一でないとしても類似する、修飾された内容から検出署名を生成させることができる。

他の考慮は、特徴の種類、数及び変換又はプロセスの選択は、同期署名構築、同期署名構築を分配するために使用される通信チャンエルの特徴、及び計算上の複雑さへの要求又は制限を使用する応用の必要に従い決定されるべきである。

一方通行変換はビデオ及びオ−ディオ署名の一方又は両方を生成するために使用しても良い。本明細書においては、「一方通行変換」の用語は署名からのヒトが認識可能な内容のバージョンの回復が、ある逆変換により不可能又は計算上実際的でない様に、内容から署名を作り出し又は生成する変換を言う。本明細書の目的から、逆変換が存在するとした場合、それは、もし計算上の複雑さが、前進又は一方通行変換の計算上の複雑さより少なくとも２桁大きい場合は、計算上現実的でないと看做される。好ましい実施の態様で使用されるビデオ及びオ−ディオ内容の一方通行変換の例は、２００７年１１月２９日出願の、国際出願番号PCT/US2007/024744のRegunathan Radhakrishnan他による発明「信頼できる信号の同定を提供するためのビデオ及びオ−ディオ信号内容の特徴の抽出」（Extracting Features of Video and Audio Signal Content to Provide a Reliable Identification of the Signals）に記載されている。これについては以下にさらに詳細に検討する。

ビデオ及びオ−ディオ署名を生成するために使用される変換及び特徴の選択方法は変わらず又はその選択は適応させることが可能である。例えば、ビデオ信号により伝送される画像に可也の動きがある場合、あるビデオの特徴又は変換は良く作動する。しかし、動きが殆どない場合、他の特徴又は変換がより良く作動することもある。同様に、あるオ−ディオの特徴又は変換は、話す言葉には良く働きが、他は話す言葉以外によりよく適合する。特徴又は変換は図３に示す制御信号に反応するように選択され又は修飾しても良い。好適な制御信号は上に述べた画像の動きの検出又は話す言葉の検出の様なビデオ及びオ−ディオ内容の分析に由来するものであっても良く、MPEG-2ビデオ運動ベクトル又はドルビーデジタルオ−ディオサブバンド指数の様なビデオ及びオ−ディオ内容を持つメタデータを特定する信号フォーマットの表示に由来するもの、署名の意図された応用での表示、又は署名生成の後のビデオ又はオ−ディオ内容を修飾する同様のプロセスの表示に由来するものであっても良い。制御信号はまたある応用又は信号修飾プロセスの効果を最適にする特徴及び変換を選択するように適用しても良く、その場合種々の信号処理条件を刺激し、これらの条件下で異なる署名を効果を測定し、そして最も効果のある署名を同定する方法を採るのが良い。

ビデオ及びオ−ディオ署名生成器の好ましい実施の態様を以下に説明する。これらの特定の実施の態様では、ビデオ及びオ−ディオ内容の個々の署名はビデオ/オ−ディオ信号のセグメントに対応する。ビデオ/オーディオ信号の各セグメントはビデオ内容のフレーム及びオーディオ内容のセグメントを伝送する。ビデオ及びオ−ディオの各セグメント、ビデオフレーム、オ−ディオセグメント及び署名の間のこの特定の対応は単に一つの例として示すものであり、他の配列も可能であり、それは時には好ましい。

a) ビデオ署名発生器
図４はビデオ署名発生器１００の好ましい実施の態様の略ブロック図である。相違度測定プロセッサー１２０は一連のビデオフレーム内での２つのビデオフレーム1a, 1bの内容を検査して、２つのフレームの全て又はその一部の間の一以上の相違の程度を表す中間値を生成する。もし各ビデオフレームの内容が例えば、個々の画像要素又はピクセルの強度を表す配列で示される場合、中間値はピクセル群の強度の平均又は標準偏差値の間の差の配列であっても良い。ビデオ署名プロセッサー１７０がハッシュ関数を中間値に適用し、ビデオフレーム内容を同定するビデオ署名(SV) 199bを生成する。

ビデオ署名発生器１００の成分は種々の方法で実施され得る。好ましい実施の態様では知覚により殆ど又は全く感知されないビデオ内容の修飾に比較的反応しない署名を生成する。もしビデオ内容の修飾が知覚された画像に本質的な重要な影響を与えない場合は、好ましくはこれらの修飾はまた生成された署名に重要な効果を与えないのが良い。２つのビデオ署名の間に存在するある違いは署名が生成される２つの内容の間の違いの程度に釣り合うものである。

幾つかの代表的な実施の態様を以下に説明する。
以下に説明する実施の態様ではビデオフレームの間の一以上の相違の程度を表す中間値を計算する。その理由は相違の程度は生成された署名の元の内容における、動き及び他の変化に対する感度を増大させるが、輝度又はコントラストの変化、異なる色空間の間の変換、又は色彩訂正の応用の様な続くプロセスでの修飾に対する感度を除去し又は減少させるからである。

中間値はビデオ内容の任意の２つのフレーム1a, 1bについて計算しても良い。この２つのフレームは一連のフレーム中の隣接するビデオフレームであっても良く、又はこれらはその間に一以上のフレームが挿入されることにより離れているものであっても良い。もし２つのフレームが特定の数の中間に挿入されるフレームではなく、むしろ特定の時間間隔により分離されている場合は、これらの２つのフレームについて計算された中間値は、ビデオフレームレートを変化させる符号化プロセスにより起きる修飾に対して通常より抵抗力がある。

（１） 相違測定プロセッサー
相違測定プロセッサー１２０の幾つかの代表的な例を図５Ａ〜５Ｃに示す。図５Ａを参照すると、成分１２２aはビデオフレーム1aの一以上のピクセルグループを形成し、成分124aはこれらのピクセルグループ各々から一以上の特徴を抽出し、各特徴を表す値Ｒを計算する。成分122bはビデオフレーム1bの一以上のピクセルグループを形成し、成分124bはこれらのピクセルグループの各々から一以上の特徴を抽出し、各特徴を表す値Ｒを計算する。成分126は、２つのビデオフレーム1a, 1b中の、対応する特徴及び対応するピクセルグループの、値Ｒの間の相違度を表す中間値Ｑを計算する。

（a） ピクセルグループ形成
成分122a及び122bは、所望の実質的に任意の方法でピクセルグループを形成しても良く、以下に幾つかのその代替例を説明する。所望ならば、ビデオ署名を生成するために使用されるビデオフレー中の情報は、画像の端又はコーナーにレターボックス又はグラフィックスを追加する任意のプロセスにより起きる変化を排除するために、全体の画像の一部に限定しても良い。これは種々の方法で実行しても良く、例えば、特徴の抽出に先立ち画像をトリミングすることにより、計算された後に抽出された特徴を表す値Ｒの配列をトリミングすることにより、又は値Ｒから算出された相違値の配列をトリミングすることによる等である。好ましくはこれは特徴の抽出前に画像にトリミングすることで実現するのが良い。

テレビ等におけるビデオでの応用では、好ましいトリミングは画像の中央部分を選択し、画像の端に近いビデオ内容に挿入されたロゴ又は他の図形対象が抽出された特徴に影響しないようにする。トリミングはまた順次走査及びインターレース走査フォーマットの間の変換、高分解能（ＨＤ）と標準分解能（ＳＤ）フォーマットの間の変換による画像への修正を除去しても良い。ある特定のＨＤ及びＳＤフォーマット変換のトリミングは以下の段落で説明する。

もし、分解能が1080 x 1920ピクセルのＨＤフォーマットでのビデオ内容が、分解能480 x 640ピクセルのＳＤフォーマットに変換される場合、例えば、元の画像は、変換された画像に残る元の画像の中央部分を選択するようにトリミングしても良い。適当なトリミングにより左端から240ピクセルを除去し、元のＨＤフォーマット画像の右端から240ピクセルを除去してＳＤフォーマット画像と同じ縦横比を持つ1080 x 1440ピクセルの分解能の画像を得る。トリミングされた領域は、上に述べたロゴ又は図形対象により修飾される追加の画像領域を除去するように調整しても良い。

ピクセルの配列はまた、ビデオフレームが異なるフォーマットの間で変換される場合に起きうる修飾に対する感度を低減させるためにダウンサンプルしても良い。例えば、テレビジョンでの応用では、画像は120 x 160ピクセルの分解能にダウンサンプルされ、これはＨＤ及びＳＤフォーマットにとって、及び順次走査及びインターレース走査フォーマットにとって都合の良い選択である。このダウンサンプルは、ビデオフレームで伝送される画像の水平及び垂直分解能を決定するためにビデオ内容で伝送されるパラメーター又は他のメタデータを検査することにより、これらの分解能に反応する要素を選択することにより、そしてその要素に等しい量の画像をダウンサンプルすることにより実施しても良い。ここで議論する例では、９に等しい要素がトリミングされたＨＤフォーマット画像のために選択され、４に等しい要素がＳＤフォーマット画像のために選択される。

例えば、元のビデオ信号の内容が分解能1080 x 1920ピクセルのＨＤフォーマットであるとする。この内容は上に述べた1080 x 1440ピクセルの分解能を持つ画像にトリミングしても良く、そして９の要素により120 x 160の分解能にダウンサンプルされる。この低分解能画像から特徴を抽出することができる。さらに、元のビデオ信号が480 x 640ピクセルの分解能を持つＳＤフォーマットに変換される。この変換された画像は４の要素により120 x 160ピクセルの分解能にダウンサンプルしても良く、これは元の信号についてそうであった様に、実質的に同じ特徴が変換された信号から抽出されることを可能にする。同じダウンサンプルされたものは、ＳＤからＨＤフォーマットへ及び順次走査及びインターレース走査フォーマット間の変換をするために使用することができる。もし適当なダウンサンプルされたものが使用される場合は、特徴抽出プロセス及び続く署名生成プロセスはフォーマット間の変換から生じる修飾に反応しない。

もしビデオ信号が、ビデオフレームが２つの場で配置されるインターレース走査フォーマットにより内容を伝送する場合、特徴を抽出する前に順次走査フォーマットに変換しても良い。代替的に、走査フォーマットの選択に影響されないようにするためには、インターレース走査フレームの唯一の場から特徴を抽出することで可能となる。例えば、特徴はフレーム中の第一の場のみから、又はフレームの第二の場のみから抽出することができる。他の場のビデオ内容は無視されるであろう。このプロセスは、抽出する前に順次走査フォーマットへの変換を不要とするものである。

ある実施の態様において、ピクセルグループは120 x 160の分解能を持つダウンサンプルされた画像に形成される。例えば、図６Ａを参照して説明すると、ピクセルグループはそのサイズが均一であり、幅がＧＸであり、高さがＧＹである。グループの水平方向のサイズＧＸはK・GX= RHとなる様に選択され、そしてグループの垂直サイズＧＹがL・GY= RVとなる様に選択される。RH及びRVは各ビデオフレームの画像の水平及び垂直方向のサイズである。一つの選択される好適な値はGX=8, GY=8, K=１５及びL=20である。これは15 x 20配置のグループを示すものであり、各グループはダウンサンプル画像において8 x 8ピクセルのサイズを持っている。

同様の結果は、ビデオフレーム中の画像のフォーマットに反応して調整されるサイズを持つ元の画像にピクセルグループを形成することにより得ることができる。上に述べた例についてさらに述べると、ＨＤフォーマット画像は1080 x 1440ピクセルのサイズにトリミングされ、ピクセルグループは72 x 72ピクセルのサイズを持つトリミングされた画像に形成される。これにより15 x 20配列のピクセルグループを得る。ＳＤフォーマットでの画像においては、ピクセルグループは32 x 32ピクセルサイズを持つ元の画像において形成され、これにより15 x 20配列のピクセルグループを得る。

図６Ｂはそのサイズが均一でないピクセルグループを表す。6 x 4配列のより小さいピクセルグループが画像の中心を構成する。一組のより大きいピクセルグループは中心部分のグループを取り囲む。このタイプの配置は、知覚的により重要である各画像の中心部分に内容を持つビデオフレーム情報とともに有利に用いることができる。

ピクセルグループは本質的に任意のサイズ又は形であって良い。例えば、図６Ｂに示す画像の中央部分は、より太い線で示した矩形により囲まれているが、これは単一ピクセルグループを構成することもでき、画像の残りの部分は他のピクセルグループを構成しても良い。

好ましくは、このピクセルはローパスフィルターろ過され、ビデオ内容修飾の結果として起きるピクセルグループアラインメントでのあらゆる変異により引き起こされる変化に対する反応を低減させる。フィルターによるろ過はピクセルグループ形成プロセスの間に一度以上実施しても良い。例えば、上で述べたダウンサンプル操作の前に、ダウンサンプル操作のすぐ後に、及び/又はピクセルグループの形成のすぐ後に、ピクセルはローパスフィルターろ過しても良い。フィルターのサイズは、一方でのアラインメントにおける変化に対する抵抗と他方におけるビデオ内容での変化に対する反応の程度の間の均衡を考慮して選択されるべきである。より大きいフィルターはアラインメントの変化に対する抵抗を増大させ、より小さいフィルターはビデオ内容での変化に対する反応の程度を増大させる。もしローパスフィルターが上で述べた120 x 160のダウンサンプル画像に適用される場合、経験的な知見に依れば、良好な結果は全てのフィルタータップ係数が１に等しい3 x 3二次元フィルターを用いることにより得ることができる。特徴抽出についての以下の議論は図６Ａに示す代表的なグループ化に関するものである。

（ｂ）特徴抽出
成分124a及び124bは、各ピクセルグループから一以上の特徴を抽出し、そして各特徴を表す値Ｒを算出する。もし各ビデオフレームが単色画像を伝送する場合、特徴は、個々のピクセルの強度を表すデータeから抽出しても良い。もし各ビデオフレームが例えば、赤、緑及び青（ＲＧＢ）により表されるピクセルを含む色彩画像を伝送する場合は、個々の特徴は赤、緑及び青のピクセル成分の各々を表すデータeから抽出しても良い。代替的に、特徴は、赤、緑及び青の成分を表すデータに由来のピクセル輝度又は明るさを表すデータeから抽出しても良い。抽出される一つの特徴は平均ピクセル強度であっても良い。この特徴を表す値R_AVEは以下の式から得られる：

式中
R_AVE(k, l)＝ピクセル(k, l)グループ中のピクセルの平均強度
e(i,j) =グループ内のピクセル (i,j)の強度；
GX= 多くのピクセルで表わされるピクセルグループの幅
GY＝多くのピクセルで表わされるピクセルグループの高さ
K =多くのピクセルで表わされる画像の水平分解能
L =多くのピクセルで表わされる画像の垂直分解能
抽出される他の特徴はピクセル強度の標準偏差である。代替的に、標準偏差の分散又は二乗を用いても良い。標準偏差を表す値R_SDは以下の式から得ることができる：

式中R_SD（k, l）=ピクセル(k, l)のグループ中のピクセル強度の標準偏差
抽出される他の特徴はピクセル強度のヒストグラムである。この特徴を表す一組の値R_HISTは、可能な強度の範囲内の各強度について特定の強度を持つピクセルの数を数えることにより得ることができる。

さらに他の特徴はスペクトルの幅及び/又は相である。スペクトルを表す一組の値R_SPECTRUMがピクセル強度のグループに２次元フーリエ変換を適用することにより得ることができる。特定の特徴は本発明に決定的なものではない。しかし、経験的な知見に依れば、ピクセル強度の平均及び標準偏差は多くの応用に適用するのに良い選択である。もし望むならば、抽出された特徴を表す値Ｒは続く処理のため、グループに分けて配置しても良い。例えば、その一組の値R_SPECTRUMにより表されるスペクトル特徴は周波数又は相に従ってグループに組織化しても良い。さらに、特徴は計算された値Ｒから抽出しても良い。例えば、平均強度値R_{A VE}の、又はスペクトル値R_SPECTRUMの標準偏差を算出しても良い。

（ｃ）相違度計算
成分126は相違Ｅの度合を種々の方法で表す中間値Ｑを算出することができる。測定値の選択は本発明にとり原則として決定的でないが、成分124a及び124bにより抽出される特徴によってはより良く機能することもある。経験的に見て、適した選択をする必要がある。しかし、以下に述べる２つの測定値が広い応用範囲において良い結果を生むことが分かった。

相違の一つの度合を示すものは２つの異なるフレームの対応するピクセルグループの対応する特徴を表す値Ｒの差の絶対値である。この度合は以下の式より算出しても良い：

式中
E(k, l, f1, f2)=ピクセルグループ(k, l)中のフレームf1及びf2の間の相違
R(k, l, x)＝フレームｘのピクセルグループ(k, l)の抽出された特徴を表す値
もし、抽出された特徴がスペクトル特徴を表すR_SPECTRUM中の振幅の様な２以上の要素を持つ値により表される場合、相違の度合は、２つの異なるフレームの対応するピクセルグループの対応する特徴を表す値Ｒ中の要素の間の差の絶対値の合計から算出しても良い。この度合は以下の式より算出しても良い：

式中
R(k, l, z, x)=フレームｘ中のピクセルグループ（k, l）の値Ｒの要素ｚ
もし、望む場合は、フレーム中の２以上のピクセルグループの相違度合の合成値が以下の同様な式から算出される：

式中
E(f1, f2)＝フレームf1及びf2の間の複合相違度
K及びlの合計の限界は所望のグループを含むように選択される。この特定の例では、値Ｒは一以上の要素を含むと想定される。もし、値が一つの要素であれば、ｚより大きい合計は省略される。

他の相違度は、２つの異なるフレームの対応するピクセルグループの対応する特徴を表す値Ｒの間の差の２乗である。この度合は以下の式から算出しても良い：

もし抽出された特徴が２以上の要素を持つ値により表される場合、相違の度合は２つの異なるフレームの対応するピクセルグループの対応する特徴を表す値Ｒの要素の間の差の２乗の合計から得ても良い。この度合は以下の式から算出しても良い：

もし、望む場合は、フレーム中の２以上のピクセルグループの複合相違度合は以下の式から算出しても良い：

式中k及びlの合計の限界は所望のグループを含むように選択される。この特定の例は、値Ｒは一以上の要素を含むと想定される。もし、値が一つの要素であれば、ｚより大きい合計は省略される。

ある実施の態様においては、中間値Ｑは算出された相違の度合Ｅに等しく設定される。代替的な実施の態様を以下に説明する。
（ｄ）代替的実施の態様
平均ピクセル強度の間の差が署名生成に用いられる相違度測定のみである場合は、相違度合測定プロセッサー１２０は図５Ｂ及び５Ｃに示す様に実施しても良い。これらの実施の態様では、ピクセル強度又は平均強度はビデオフレーム1a及び1bから抽出され、抽出された特徴の間の相違の度合が算出され、そして相違の度合は続く署名生成のためのグループに形成される。図５Ｂ及び５Ｃに示す代表的な実施の態様では、ビデオ内容のフレームは個々のピクセルの配列により表され、相違度測定プロセッサー１２０は、微分要素の配列Δを各々含む差分画像を２つのビデオフレームの対応するピクセルの間の差を計算することによって得る。もし各ビデオフレームが赤、緑及び青（ＲＧＢ）値により示されるピクセルを含むカラー画像を伝送する場合、微分要素は対応するピクセルについての赤、緑及び青（ＲＧＢ）値の間の差から算出しても良い。好ましくは、微分要素は赤、緑及び青（ＲＧＢ）値に由来する対応するピクセルの輝度又は明るさの間の絶対的差から算出するのが良い。もし、各ビデオフレームが単色画像を伝送する場合は、微分要素は対応するピクセルの強度の間の差から算出しても良い。

もし望む場合は、微分要素はレターボックス、又は図形を画像の端又はコーナーに加える任意のプロセスにより生成される変化を避けるために、全画像の一部のみに限定しても良い。これは、微分要素を計算する前に画像をトリミングすることにより、又はそれが計算された後に、微分要素の配列をトリミングすることにより達成しても良い。

又は、差分画像の分解能はまたピクセルグループの形成について上に述べた様に変化させても良い。これは微分要素を計算する前にビデオフレーム中のデータを修飾することにより、又はそれが計算された後に、微分要素を修飾することにより達成しても良い。

図５Cに示す実施の態様を参照すると、成分１２３はビデオフレーム1a及びビデオフレーム1b中の対応するピクセルの値の差を算出し、そして、成分１２５はピクセルの差の絶対値から一組の微分要素Δを得る。成分１２７はトリミング及びダウンサンプリングを実施する。トリミング操作は、差分画像の頂点、底、右手及び左手の端の近くの微分要素を除去することにより、差分画像の中央部分のみを維持する。ダウンサンプル操作はトリミングされた差分画像をダウンサンプルし、入力ビデオフレームの形式に関わらず特定のサイズ120 x 160ピクセルを持つ微分要素の配列を生成する。この特定のサイズは単に代表的例として挙げたものである。成分１２８は微分要素Δをグループに形成し、各グループの微分要素の平均値を算出する。望むならば、ダウンサンプル及びグループ形成操作は上に述べた様に組み合わせても良い。

差を算出し、ダウンサンプルし、トリミングし、グループを形成する操作は他の順序で実施しても良い。例えば、微分要素Δは、まず、２つのビデオフレームの内容をダウンサンプルし、２つのダウンサンプルされた画像をトリミングし、ピクセルグループをトリミングされた画像に形成し、各グループのピクセルの平均強度を算出し、そして、２つの画像の対応する平均強度の間の差を計算することにより算出しても良い。

図５Cに示すグループ形成操作１２８を参照すると、微分要素Δは、各領域がGX要素の幅及びGY要素の高さである差分画像の領域にグループ化される。
中間値Qは、各領域の要素の平均強度を算出することにより、微分要素Δの強度から得られる。これらの中間値は、K x Lの分解能の中間値を持つ低分解能差分画像を構成する。

これは上で検討し、図５A及び５Bに示すピクセルグループの形成に類似する。以下の段落に記載の代表的な実施の態様では、図５Aに示すピクセルグループと同じ方法で配置された要素を持つ低分解能画像を使用する。

中間値は以下の式から得ることもできる：

式中
Q(k, l) =低分解能画像中の中間値
GX=要素の数で表わされる微分要素グループの幅
GY=要素の数で表わされる微分要素グループの高さ
K=低分解能画像の水平分解能
L=低分解能画像の垂直分解能
Δ（i, j)＝微分要素
グループの水平サイズGXは以下の様に選択される。すなわち、K・GX= RHとなる様に、及びグループの垂直サイズGYはL・GY = RVとなる様に選択され、式中RH及びRVは差分画像の水平及び垂直分解能である。上に説明した120 x 160の分解能を持つダウンサンプルされた差分画像中の要素を生成する代表的な実施の態様では、グループのある好適なサイズは8 x 8ピクセルであり、これは120/8 x 160/8 = 15 x 20の分解能を持つ低分解能画像を提供する。より分解能の高い微分要素よりも、ビデオ署名を生成する低分解能中間値Qを用いることにより、生成されたビデオ署名はビデオ信号内容の詳細を変えるプロセスに対して、より感度は低いが平均的強度を維持する。

（２） ビデオ署名プロセッサー
以下の段落に記載のビデオ署名プロセッサー１７０の実施の態様では、図６Aに示す値Rの配列又は図５Cに示すプロセッサーに関連する上記の微分要素ΔのK x L配列から得られる中間値QのK x L配列からビデオ署名を生成する。

ビデオ署名プロセッサー１７０は中間値QのK x L配列にハッシュ関数を適用して一組のNハッシュビットを生成する。これらのハッシュビットはビデオフレームの内容を同定するビデオ署名（ＳＶ）を構成する。好ましくはハッシュ関数は中間値の変化に相対的に反応しないが、使用される任意のハッシュキーの変化に反応することがある。入力の単一ビットに対する変化によってさえその出力が本質的に変化する典型的な暗号学的ハッシュ関数と異なり、本発明での好ましいハッシュ関数は入力中間値での小さい変化に対して小さい変化しか受けない出力を提供する。これにより、生成されたビデオ署名がビデオ署名内容に対する小さな変化によりほんの僅か変化する。

ある好適なハッシュ関数は一組のＮベースマトリクスを用いて、一組のＮハッシュビットを生成する。ベースマトリクスP₁からP_Nはランダム値マトリクス要素のK x L配列である。各ベースマトリクスP_nのこのマトリクス要素は次の式から得ることができる：

式中p_n(k, l) =ベースマトリクスP_nのマトリクス要素(k, l)
RNG =ランダム数生成器の出力、及び
P_n（上付きバー）=各暫定マトリクスのＲＮＧにより生成される数の平均値
生成器ＲＮＧは[0, 1]の範囲に均一に分布した乱数値又は疑似乱数値を生成する。生成器の最初の状態はハッシュキーによって初期値に設定しても良く、それによってハッシュ関数及び生成されたビデオ署名を暗号学的により安全にする。その一組のＮハッシュビットはまず、暫定値Ｑを以下の式で表わされるＮベースマトリクスの各値に投影することにより得られる。

式中H_n=暫定値をベースマトリクスP_nへ投影したもの
ハッシュビットは各投影値を全ての投影の中央値と比べそして、もし投射が閾値に等しいか又はそれを超える場合は、ハッシュビット第一の値に設定し、もし投射が閾値より小さい場合は、ハッシュビットを第二の値に設定することで得られる。これは次の様に表すことができる：

sgn(x)=0, x<0の場合及び
sgn(x)=1, x≧0の場合
H(上付きバー)＝全ての投射Ｈnの中央値
b) オ−ディオ署名生成器
図７はオ−ディオ署名生成器２００の好ましい実施の態様の略ブロック図である。時間周波数表示プロセッサー２１０は一連のセグメント内のオ−ディオセグメント２ｂの内容を調査してセグメント中のオ−ディオ内容の全ての又はその一部のスペクトル成分を表すスペクトル値を生成する。もし、例えば、セグメントのオ−ディオ内容が個々のサンプルの振幅を表す値で表示される場合、スペクトル値は時間領域から周波数領域への変換ブロックにより生成される時間周波数表示内の一組の係数であっても良い。中間値プロセッサー２５０はグループのスペクトル値を調査して各グループのスペクトル値の強度を導出する。オ−ディオ署名生成器２７０は中間値にハッシュ関数を適用してオ−ディオセグメントの内容を同定するオ−ディオ署名（SA）２９９ｂを生成する。

オ−ディオ署名生成器２００の成分は種々の方法で実施しても良い。好ましい実施の態様では知覚効果が殆ど又は全くないオ−ディオ内容の修飾に対して比較的反応しない署名を生成する。もしオ−ディオ内容に対する修飾が知覚される音に対して重大な効果を持たない場合、好ましくはこれらの修飾はまた生成された署名に対して重大な効果を持たないのが良い。２つのオ−ディオ署名の間の差の程度は署名が生成される２つの内容の間の差の程度に釣り合っている。好適な実施の態様の幾つかについて以下に説明する。

（１） 時間周波数表示プロセッサー
オ−ディオ信号のセグメントが個々のサンプルの増幅を表す値により表示される代表的実施の態様においては、時間周波数表示プロセッサー２１０は、時間領域から周波数領域変換を各セグメント中のオ−ディオサンプルの一連の重なるブロックに適用することにより生成される変換係数から一組のスペクトル値を得る。もし望むならば、スペクトル値は、オ−ディオ内容のスペクトルの形を変える任意のプロセスにより生成される変化を避けるために、オ−ディオ内容の全バンド帯域幅の一部のみに限定しても良い。例えば、限定された表示は、最低周波数及び最高周波数スペクトル成分を表す変換により生成されるこれらの変換係数を除外し、又は変換を適用する前にオ−ディオ内容をバンドパスフィルターろ過することにより得ても良い。

時間周波数表示プロセッサー２１０の代表的実施の態様により実行される操作の概略を図８に示す。この実施の態様では、オ−ディオ内容２aのセグメントは一連のT個の重複するブロック「ブロックー１」から「ブロックーT」に分割される。

各セグメントの長さはLSサンプルに示し、各ブロックの長さはLBサンプルで示す。隣接するブロックの各開始時の間の相殺はブロックステップサイズとして示す多くのZBサンプルとして示す。一組のスペクトル値を生成するためにブロック変換が各ブロックサンプルに適用される。図８は変換２０により一つのブロックー２（BLOCK-2）を一組のスペクトル値２５aに変換する場合を示している。この特定の実施の態様の例では、セグメント２aの全てのTブロックが各組のスペクトル値に変換された後に次のセグメント２ｂのブロックの処理が続く。隣接するセグメントの開始の間の相殺はセグメントステップサイズと呼ぶ多くのサンプルZSである。

時間周波数表示の時間分解能はセグメントの長さ、ブロック長さ及びブロックステップサイズの関数であり、次のように表すことができる：

式中
T=時間分解能又は各セグメント中のブロック数
LS=サンプル中の各セグメントの長さ
ZS=サンプル中の各ブロックの長さ
ZB=ブロックステップサイズ
周波数分解能は通常ブロックの長さ又はスペクトル値を生成するために使用される変換の長さにより決定される。ビデオ及びオ−ディオ内容を同期させる以下に議論するある応用例では、オ−ディオ内容は３つのビデオフレームの長さに等しいセグメントに分割される。あるテレビジョンでの応用では、３つのビデオフレームに亘る時間間隔は約１００ミリ秒である。もしオ−ディオサンプルの周波数が４８ｋHZとすると、オ−ディオセグメントの長さは4,800サンプルとなる。ブロックの長さは256サンプルとなる様に選択され、ブロックスステップサイズは３２サンプルとなる様に選択される。これを実施するために、各オ−ディオセグメントはT= 142ブロックを持ち、したがって、時間周波数表示の時間分解能は１４２に等しくなる。２５６点高速フーリエ変換が１２９スペクトル値を生成するためにサンプルの各ブロックに適用される。したがって、時間周波数表示の周波数分解能は１２９に等しい。セグメントステップサイズは５１２サンプルとなる様に選択され、又はこれは１０．７ミリ秒である。

（２） 中間値プロセッサ
中間値プロセッサ２５０はスペクトル値のグループを検査し、各グループのスペクトル値の強度から中間値を導出する。

代表的な実施の態様では、スペクトル値Sは時間―周波数領域にグループ化する。各領域はGFスペクトル値の幅及びGTブロック長さである。中間値Qはスペクトル値の強度から、各領域におけるスペクトル値の平均強度を算出することにより導出される。これらの中間値はK x L中間値の分解能を持つ低分解能の時間―周波数表示を構成する。図９にその概略を示す。中間値は以下の式より得ることができる：

式中
Q(k, l) =低分解能表示の中間値
GF =多くの値で示すスペクトル値グループの幅
GT=多くのブロックで示すスペクトル値グループの長さ
K =低分解能表示の周波数分解能
L =低分解能表示の時間分解能、及び
S(i, j) =スペクトル値
グループのGFのサイズはK・GF = RTとなるよう、及びグループのGTのサイズはL・GT= RTとなる様に選択され、RF及びRTそれぞれ低分解能表示の周波数及び時間分解能である。上で検討した及び以下で検討するように代表的な実施の態様では、グループに適するある好適なサイズはGF=6及びGT=１４であり、この場合129/6 x 142/14≒20 x 10の中間値の低分解能表示を与える。

オ−ディオ署名を生成するために、より高度の分解能の時間―周波数表示よりもむしろより低分解能中間値Qを用いることにより、生成されたオ−ディオ署名は、スペクトル内容の詳細を変更するプロセスにあまり反応しないが平均スペクトルレベルを維持する。

時間―周波数表示及び中間値を算出するための操作は他の方法により実施しても良い。例えば、より低周波数分解能を持つ一組のスペクトル値は、ブロック長さを低減させ、長さを変換し、スペクトル値グループのGT長さを増大させることにより得ても良く、同じ時間分解能がえられる。もし望むなら、グループのGF幅はスペクトルに渡り変化させても良い。もし高い周波数スペクトル成分が、生成された署名にとりより低周波数よりも重要でないと見做される場合は、この相対的な重要度はより高い周波数のグループの幅を増大させることで実現することができる。

（３） オ−ディオ署名プロセッサ
オ−ディオ署名プロセッサ２７０は中間値QのK x L配列にハッシュ関数を適用して一組のNハッシュビットを生成する。これらのハッシュビットはオ−ディオセグメントの内容を同定するオ−ディオ署名（SA）を構成する。これはビデオ署名について上で議論したと同様の方法で行っても良い。

２． 相対的時間アラインメント
同期署名構築はまたビデオ及びオ−ディオ署名に対応するビデオ及びオ−ディオ信号の相対的時間アラインメントを伝送する。ビデオ及びオ−ディオ署名が生成される場合、もしビデオ及びオ−ディオ信号が同期するときは、これらの信号の相対的時間アラインメントは、あるデータ構築又は信号の対応するビデオ及びオ−ディオ署名を関連させることにより、黙示的に伝送することができる。相対的時間アラインメントはまた明示的に伝送することもできる。例えば、ビデオ及びオ−ディオ署名を生成するために特徴が抽出された場合、ある値が、オ−ディオ信号がビデオ信号に先行し又は遅れる量を表す同期署名構築中に含まれることもある。

同期署名構築は所望の任意の量で生成しても良い。３つの方法が以下で検討される。第一の方法は署名を定まった速度で生成する。第二の方法は一以上の事象を検出することに対応して可変速度で署名を生成する。第三の方法は第一の方法及び第二の方法のハイブリッド（混合）である。

a) 一定の速度
第一の方法は特徴を抽出して、一定速度で同期署名構築を生成する。署名は、一定速度で送ることができるブロックに組み立てられる。もし特徴を選択することが採用される場合は、特徴が何ら抽出されないためブロックは署名を伝送しないか、又は一以上の特徴から導出された一以上の署名を伝送することがあり得る。

署名の時間分解能は明確でないか、又はブロックが分解能の明確な指標を含んでも良い。もし、ある特定の時間間隔に亘る内容から抽出された特徴から生成される場合、署名の時間分解能は時間間隔に等しい。この分解能は時間間隔を同定する任意の情報により明示的に伝送することもできる。例えば、もし、ビデオ署名が一連のビデオフレーム中の各フレームから抽出された特徴から生成される場合、ビデオ署名の時間分解能は隣接するフレームの間の間隔に等しい。この分解能はフレームレートを同定する任意の情報により伝えることができる。もしオ-ディオ署名が、各ビデオフレームに関連するオ−ディオ内容から抽出されるオ−ディオ特徴から生成される場合は、ビデオ及びオ−ディオ署名の時間分解能は同じである。

もしより高い時間分解能を望む場合は、その時間間隔内に抽出された特徴の相対的時間が把握され署名とともに送られる。
この方法では、ビデオ特徴及びオ−ディオ特徴の間の時間的関係は、ビデオ内容のフレーム及びオ−ディオ内容のブロックの構造及び時間関係により明らかにされる。もし署名がしばしば起きる多数の特徴から生成される場合、この一定速度の方法は好ましいであろう。ビデオ及びオ−ディオ信号の間の相対的時間関係が伝送される方法は、所望の時間分解能のレベルのみならず使用される特徴及びフレーム/ブロックの長さから決定することもできる。もしフレーム及びブロックの長さ又はレートが一定でない場合であり明示的に知られていない場合、同期署名構築体又は関連するデータ構造はこれらの長さ又はレートを特定するある情報を含む場合もある。

b) 導出される事象
第２の方法は特徴を抽出して、そして、例えば、場面変化又はプログラムの境界（program boundary）の様な全体の画像での大きな変化、又は一過性のオ−ディオ特徴又は音声セグメント中の急激な変化の様な、ある事象に反応して署名を生成する。

この方法では、同期署名構築は、署名を生成するために使用される特徴のタイミング情報を含むべきである。この情報は絶対時間、相対時間又は事象の間の時間間隔を特定することもある。例えば、もしビデオ署名が、ある時間t₀に抽出されたビデオ特徴から生成され、そしてオ−ディオ署名が時間t₀＋１５ミリ秒に抽出されたオ−ディオ特徴から生成される場合、これらのビデオ及びオ−ディオ署名を含む同期署名構築又はある関連するデータ構築はその１５ミリ秒相殺を特定するある指標を含むこともある。もし署名が、比較的まれに発生する僅かな特徴から生成される場合、この方法はより好ましいかもしれない。同期署名構築の時間分解能は抽出された特徴の分解能及びタイミング情報の分解能により制限される。

c) ハイブリッド
第３の方法は一定速度及び上に述べた導出される事象の方法のハイブリッドである。この方法では、署名は一定速度で生成されるが、各署名は署名を生成するために使用される特徴の時間をより高い分解能で特定する情報を含む。例えば、ビデオ内容が一連のフレームに配置されており、関連するオ−ディオは一連のブロックで配置されている場合で、各ブロックは各フレームをアラインされ関連付けられているとする。この例では、ビデオ特徴は各ビデオフレームについて一度抽出され、そしてオ−ディオ特徴は各オ−ディオブロックについて一度抽出される。

隣接するフレーム及びブロックの間の時間間隔は知られており、そのため明示的なタイミング情報は必要ない。しかし、もしある事象がブロックの一部のみから特定のオ−ディオ特徴を抽出する契機となる場合は、オ−ディオ特徴のより高い時間分解能が所望されることもある。これは、例えば、ブロック内のオ−ディオ特徴の時間の相殺を特定する同期署名構築中に情報を含むことで実行することができる。このハイブリッドアプローチによりある特徴は低い一定レートで、他の特徴はある事象に反応して抽出することが可能となる。

C.署名分配
図１０は、ビデオ及びオ−ディオ信号が修飾され、そしてビデオ内容、オ−ディオ内容及び同期署名構築が遅延した場合のパス（経路）を含む代表的な分配ネットワークの概略図である。このネットワークは上で述べたリアルタイム及び非リアルタイムシステムに適用される。ネットワークの他の実施の態様においては、２以上の信号が処理され同じパスにより伝送される。ビデオ内容、オ−ディオ内容及び同期署名構築は、所望される実質的に任意の方法により分配することができる。例えば、ビデオ及びオ−ディオ内容及び同期署名構築は一つのデータ流に組み合わせられそして一緒に分配され、種々の組み合わせにより２つの流れにされることもあり、その流れの各々は独立に分配され、又は全てがお互いに独立に分配されても良い。

図に示す様に、ビデオ及びオ−ディオ内容及び同期署名構築は意図的ではない破損又は修飾を受けることもある。意図的ではない修飾の例は伝送路及び記憶媒体中にノイズが挿入され又は追加される場合である。

ビデオ及びオ−ディオ内容はまた意図的な修飾を受けることもある。
ビデオ信号に意図して改変を加える例として、コントラスト/明るさ調整、ガンマ修正、輝度ヒストグラム平坦化、彩度調整、及び白色平衡化のための色彩修正の様な輝度及び色彩調整を含み、画像のトリミング及びサイズの再変更、画像の回転及び反転、分解能拡大・縮小、フレームレート変換、引き伸ばし、シミの除去、不鮮明化、明確化及び輪郭強調を含み、及びそれらには非可逆圧縮、彩度キーイング及びロゴの挿入を含む。

オーディオ信号の意図的修飾の例として、増幅、均等化（equalization）、ダイナミックレンジ修正、サンプルレート変換、チャンネルアップミキシング（channel up-mixing）、チャンネルダウンミキシング（channel down-mixing）、タイムスケール修正、帯域幅削減、ピッチシフト、ボイス・オーバー及び他の種類のミキィシング、反響音の挿入、スペクトル形成及び非可逆データ圧縮（lossy data compression）を含む。

図に示す遅延要素は、信号符号化及びフォーマット化、内容の記憶及び転送及び送信の様な処理を実行するために必要な時間を表す。
これらの遅延はリアルタイムシステムにおいて非常に重要である。その理由は遅延は同期を回復するために使用される装置に求められる要求を増大させるからである。これらの信号の任意の２つの分配での遅延の差は、情報を記憶するために必要な記憶量又はバッファーリング（buffering）を増大させる。リアルタイムシステムでは、一般的に、同期署名構築を対応するビデオ及びオ-ディオ内容が配送される前に、同時に又はその直後に配送することが重要であり、それにより、ビデオ及びオ−ディオ内容を記憶させるために必要なバッファーリングスペースの量を減少させ、又は内容の最終的は配送の遅延を減少させることができる。同期署名構築の分配の遅延は非リアルタイムシステムにおいてさえ重要であり得る。ある実施の態様において、ビデオ及びオ−ディオ内容の全体の流れでの同期署名構築は、応用処理が開始される前に受領されねばならない。

分配ネットワークのある特定の特徴又は構造は原則として本発明にとり決定的なものではないが、実際の実施の態様では影響が出ることもある。
分配ネットワーク中の通信経路及び処理経路の特徴はビデオ及びオ−ディオ署名の生成方法及び同期署名構築の分配方法に影響することもある。経路（path）帯域幅の制限はビデオ及びオ−ディオ署名を生成するためにどの特徴及び幾つの特徴が使用されるかに影響する。その理由は特徴の選択及びその数は、署名を表示するために必要なデータの量又はビットの数に影響することがあるからである。

分配ネットワークの構造は同期署名構築の構造を制限する場合もある。逆に同期署名構築の構造に課される応用での要件の何れも分配ネットワークの構造に制限を課することがあり得る。原則として、同期署名構築はビデオ信号、オ−ディオ信号、ある他の信号と組み合わされ、又はそれらの信号中で別々に分配されても良い。

リアルタイムシステムでは、例えば、同期署名構築はビデオ信号と組み合わされて垂直付属（ＶＡＮＣ）データにより搬送されても良く、
この場合、署名はフレームベースパケット（frame-based packet）の構成を取ることが必要であることもある。代替的に、同期署名構築はステガノグラフィー技術又は透かし（watermaking）技術によりビデオ信号と組み合わせても良く、これらの技術は署名を表すために使用することの出来るデータ量を極めて大きく制限することもある。

非リアルタイム又はファイルベースシステムでは、例えば、同期署名構築はビデオ内容又はオ−ディオ内容とともに又は他の種類の内容とともにファイルに埋め込まれ、又はそれ自身のファイルに入れられる。

Ｄ．署名の検出
上で検討した同期署名構築は、上に述べたビデオ及びオ−ディオ信号の間の同期の訂正の様な種々の応用に用いることができる。これらの応用のいくつかの代替的な実施の態様について以下に説明する。

１． 同期
a) 概観
図１１に示す装置は図１及び２に示すA/V（オ−ディオ/ビデ）同期検出器（A/V Sync Detector）に対応する。これは、図１及び２に示す、あるリアルタイム又は非リアルタイムソースより受領した目的地ビデオ内容及び目的地オ−ディオ内容の間の同期を検出しそして訂正するために使用しても良い。

図１１を参照すると、A/V同期検出器の署名パーサー（signature parser）は同期署名構築を受領し、それを解析し、そして参照ビデオ信号の一以上のビデオ特徴を表す一以上の参照ビデオ署名、参照オ−ディオ信号の一以上のオ−ディオ特徴を表す一以上の参照オ−ディオ署名、及びこれらのビデオ及びオ−ディオ特徴の相対的時間アラインメントの指標を得る。この相対的時間アラインメントは同期署名構築により暗示的又は明示的に伝えても良い。

図１１に示すA/V同期検出器は、目的地内容を解析することにより、一以上の目的地ビデオ署名及び一以上の目的地オ−ディオ署名を生成し、同期署名構築を生成するために参照内容から抽出されたビデオ及びオ−ディオ特徴の全て又は一組のサブセットを抽出する。目的地署名を生成するために使用されるプロセスは通常参照署名を生成するために使用されるこれらのプロセスと同じ又はそのサブセットである。目的地ビデオ署名は、目的地ビデオ内容から抽出される一以上のビデオ特徴に反応して生成される。目的地オ−ディオ署名は、目的地オ−ディオ内容から抽出される一以上のオ−ディオ特徴に反応して生成される。

ある実施の態様において、A/V同期検出器の「比較成分」（Compare components）は、厳格に一致する又はほぼ一致する（match）対象に近いものを探して目的地内容の範囲の目的地署名と参照内容の範囲の参照署名を比較する。目的地ビデオ署名は参照ビデオ署名と比較され、目的地オ−ディオ署名は参照オ−ディオ署名と比較される。もし望むならば、一連の参照署名を、一連の目的地署名と比較して、その配列の間の高い相関関係をサーチすることもできる。この比較の目的は、参照署名を生成するために使用される参照ビデオ内容及び参照オ−ディオ内容に対応する目的地ビデオ内容及び目的地オ−ディオ内容を同定することにある。そして、対応する目的地ビデオ及び目的地オ−ディオ内容の時間アラインメントが同期署名構築から得られる相対的時間アラインメントの指標と比較することができる。相対的アラインメント中の差は同期での誤差を示す。

比較成分により決定される一致の正確度にはある不確定な要素がある。その理由は、もし特徴の全てが抽出されているという訳ではない場合、又は目的地内容が参照内容と異なる場合には目的地署名は対応する参照署名と同一でないからである。

不確定性はまた、長時間に渡り静止しているビデオ又はオ−ディオ内容の様なある内容についても起こることもある。もしA/V同期検出器が、例えば、携帯電話の様な非常に限定された計算用資源を持つものにより実行された場合、参照署名を生成するために使用された特徴のサブセットのみを使用する目的地署名を生成することが望ましい。もし複数の特徴が参照署名を生成するために使用される場合は、これらの特徴のサブセットのみの使用が比較の信頼性と実施の態様の複雑性との妥協点を表すからである。システムを適正に設計することによりこれらの署名の間の差を十分小さくして信頼できる比較結果を生み出すことができる。比較成分は、一致（match）の度合を示す「一致の確度」（match confidence)の基準を算出することができる。これらの基準を算出する技術を以下に説明する。

比較成分により実行される比較の結果、同期の誤差の指標及び算出された同期誤差中の信頼性の基準を導出するために結果算出部により必要とされる情報を提供される。信頼性のこの基準は比較機能により決定される一致確度の測定結果から導出することができる。

もし望む場合は、同期の誤差は、目的地内容の一以上の署名を用いて決定することができる。目的地内容の署名の種類は参照内容の署名の生成について上で検討したと同様の方法により選択することができる。例えば、ビデオ署名は目的地オーディオ内容に多くの動きが存在するか否か、またオ−ディオ署名は、目的地ビデオ内容に話し言語が存在するか否かを基準に選択しても良い。目的地内容について生成される署名の種類は、同期署名構築で伝送される署名の種類と同じか、又は少なくともそれに比較しうるものであるべきである。

もし意図した応用において、単に不整合（misalignment）を検出し、又は同期を確認する場合は、図１１に示すA/V同期検出器は同期誤差の計算結果及び関連する信頼性の度合をディスプレイ又はある種のメーターに表示することができる。もし意図した応用において、同期が回復する場合、同期誤差の計算結果及び関連する信頼性の度合が、A/V同期修正器（A/V Sync Corrector）の可変遅延成分（Variable Delay components）を制御するために用いられる。これらの遅延は図１及び２に示すビデオ信号、オ−ディオ信号又はその両者に適用される。例えば、もし算出された同期誤差が、目的地オ−ディオ内容が目的地ビデオ内容に７００ミリ秒先行することを示す場合、オ−ディオ信号を７００ミリ秒遅らせることにより、又はビデオ内容をｘミリ秒遅らせ、そしてオ−ディオ信号を７００＋ｘ ミリ秒遅らせることにより適正な同期を達成することができる。

本発明の種々の特徴を組み入れる装置及びシステムは、ビデオ及びオ−ディオ内容の全処理コースを通して変化する同期誤差を検出し、訂正することができる。
あるリアルタイムシステムでは、A/V同期検出器は目的地内容から連続的に特徴を抽出し及びリアルタイムに目的地署名を生成する。A/V同期検出器は参照署名及び目的地署名の一連の履歴を保持して、数秒又はそれ以上に亘る内容の比較をすることができる。現在の同期誤差がある十分信頼に値するレベルで算出されると、A/V同期修正器信号中の可変である遅れが調整され同期を回復することができる。可変の遅れが目的地内容の不整合（misalignment）中の変化を補償するように変える速度は、ビデオーオ−ディオ表示の知覚される品質を改善し又は維持するように所望に応じて制御される。

もし同期署名構築がリアルタイムシステムでビデオ及びオ−ディオ内容よりも遅れて到達する場合は、同期を回復するために要する時間は、目的地内容がA/V同期修正器により処理される以前に十分長い時間バッファリング（buffer）されない限り、受容不可能なレベルに増大することもある。

この問題は非リアルタイム及びファイルベースシステムにおいては起こらないであろう。例えば、ファイルベースシステムにおいては、全ての内容及び全ての同期署名構築にアクセスすることができる。同期誤差の量は全体の内容を分析した後に算出しても良い。誤差について単一値が算出され又は幾つかの値が内容の異なるセグメントについて算出されても良い。

ｂ）アラインメント誤差の算出
ビデオ及びオ−ディオ内容の時間不整合（misalignment）を算出する一つの方法について以下の段落で説明する。

目的地ビデオ内容の流れが符号δvで示す処理遅れを課する信号処理経路を通して受領されるとする。さらに、目的地オ−ディオ内容の流れが、符号δ_Aで示す処理遅れを課する信号処理経路を通して受領されるとする。A/V同期検出器のさらに一つの比較成分が参照ビデオ署名SV_REFと目的地ビデオ署名SV_DESTを比較する。そして、これらの比較成分は、もしビデオ比較加重成分（Video Comparison Weighting component)が存在する場合はこれとともに、ビデオ処理遅延推量値εvを生成する。参照及び目的地ビデオ流れの間の相対的なタイミングの差は遅延推量値εvから得ることができる。A/V同期検出器のさらにもう一つの比較成分は参照オ−ディオ署名SA_REF及び目的地署名SA_DESTを比較し、そしてこれらの比較成分は、もしオ−ディオ比較加重成分（Audio Comparison Weighting component)が存在する場合はこれとともに、オ−ディオ処理遅延の推量値ε_Aを生成する。参照及び目的地オ−ディオ流れの間の相対的タイミングの差は遅延推量値ε_Aから得ることができる。

処理の遅延を推量するために使用される一つの技術については以下に説明する。ビデオ処理遅延推量値εv及びオ−ディオ処理遅延推量値ε_Aは同じように算出することができるため、ビデオとオ−ディオの間に違いを設けることはしない。

内容の遅延の算出では２組の署名を受領する。一組は｛S_REF(i)｝で表わす一連の参照署名であり、第二の組は｛S_DEST(i)｝で表わす一連の目的地署名である。相関器は２つの一連の署名の各範囲に渡り、それらの一連の署名が最も高い相関を示す窓を探す。これはまず以下の点数を計算することにより実施した：
式中

D(m, i) =流れの間の特定のアラインメントについて算出された点数
HD[r,c] =署名r 及びcの間のハミング距離
F = 一組の参照署名中の署名数
U = 相関器関係の調査範囲
W= 署名の数により表される相関窓の長さ
ハミング距離は２つの署名が異なるビット位置の数に等しい。

推定処理遅延は、相関窓内での参照及び目的地署名の間の最も近い一致が見られるｍの値から得ることができる。これは次の式で表わすことができる：

もし処理の遅延がない場合は、ε_i = iである。もし推量遅延が３フレーム又は３セグメントである場合は、ε_i =i + 3である。署名S_REF(i)に対応するフレーム又はセグメントの相対的タイミングの差はε_iとiの相殺分である。ビデオフレームiの相対的タイミングの差はdv(i)と表され、オ−ディオセグメントiの相対的タイミングの差はda(i)と表す。

テレビジョンについてのある実施の態様において、W= 10 及びU=45がビデオフレームについて、W=23及びU=47がオ−ディオセグメントについて使用される。ビデオ及びオ−ディオ遅延の計算で使用されるＦの値は参照流れ中の各ビデオフレーム及びオ−ディオセグメントの数である。

ビデオ及びオ−ディオの相対的遅延の計算では、適切な同期を達成するために一方の又は両方の目的地流れの遅延の量を計算するビデオ及びオ−ディオ流れの相対的タイミングの差を用いる。これについては図１２に概略図で表わしている。参照ビデオ流れ１の参照ビデオフレーム１ｂオ−ディオ参照オ−ディオ流れ２の参照オ−ディオセグメント２ｂは同期していることを示す。ビデオ流れ１の信号処理８１及びオ−ディオ流れ２の信号処理８２は２つの流れに異なる遅延を導入している。その結果、目的地ビデオ流れ３１の目的地オーディオフレーム１ｂ及び目的地オ−ディオ流れ３２中の目的地オ−ディオセグメント２ｂは最早同期していない。目的地ビデオフレーム１ｂはdvだけ遅れており、目的地オ−ディオセグメント２ｂはdaだけ遅れている。同期を回復させるために必要なadjだけ遅延させる調整量は(dv - da)に等しい。もし図に示す様にdvがdaより大きい場合は、オ−ディオセグメントをadjだけ遅延させる調整により同期は回復させることができることもある。もしdvがdaより小さい場合は、ビデオフレームをadjだけ遅延させる調整により同期を回復させることができることもある。

流れは、実質的に所望の任意の方法で遅延させることができる。しかし、一つの方法は遅延に対して調整を提供する十分な容量を持つ先入れ先出し（ＦＩＦＯ）バッファー中の流れの内容を保存しそして取出すことがある。

ｃ）信頼性の基準の算出
一致の信頼性の基準は種々の本質的で算出することができる。そのいくつかの技術を以下の段落に示す。

一致の信頼性（確度）（match confidence）の基準の算出のための一つの技術はアラインメント誤差を予測する予測モデルを用いて計算し、計算されたアラインメント誤差が予測された誤差にどの程度一致しているかより一致の確度の基準を算出することである。図１３は一致の確度の基準を算出する予測モデルを用いた代表的な技術についての概略図である。この技術では、最も新しく計算された一連のアラインメント誤差E₀とそれ以前の幾つかの計算されたアラインメント誤差E₁, E₂, ..., Evがバッファーに記憶される。線形予測フィルターが記憶された一連の計算されたアラインメント誤差に適用され、予測されたアラインメント誤差E_Pを導出する。一致の確度R_Pの基準が予測されたアラインメント誤差と最も期近に計算されたアラインメント誤差の間の絶対値差異から算出される。この基準を算出する一つの方法は以下の式で表わされる：

式中
E_MAX=予測誤差を持つ最大期待差異。予測アラインメント誤差及び算出されたアラインメント誤差が等しい場合は、この一致の確度の基準は１に等しい。予測された不整合E_P及び最も期近に計算された不整合E₀の間の差異が最大期待差異E_MAXに近づく場合、この程度は０に減少し、もしこの差異が最大期待差異を超える場合は、マイナスとなる。

線形予測モデルの使用は、同期誤差は一定か又は時間の変化に連れて線形に変化するとの想定をベースにする。もし同期誤差がある時間の間一定であったとすると、誤差は一定となると思われる。もしその代わりに、同期誤差がある時間の間に増加し又は減少する場合は、誤差は同じ割合で変化すると思われる。アラインメントでの算出された誤差は、もしそれが予測誤差に近い場合は、より信頼度が高いと思われる。

算出された誤差が予測された誤差から大幅に外れている場合は、その逸脱はランダム誤差か又は内容中のつなぎ合わせにより引き起こされる同期中の実際の変化により起こされると思われる。この点での逸脱では、一致の確度の基準は非常に低い。もし逸脱がランダム誤差の場合、算出されたアラインメント誤差は正確ではなく無視しても良いと思われる。しかし、もし逸脱がアラインメント中の実際の変化による場合は、算出された誤差は正しいが、それは未だ信頼に欠ける。この状態は、算出されたアラインメント誤差が一定になり、又は線状に変化する状態となるに連れて矯正される。この方法により得られた確度の基準はランダム誤差の効果を除去し又は緩和するために低パスフィルターろ過される。

予測モデルはビデオ内容及びオ−ディオ内容に独立に又は共同して算出されたアラインメント誤差に適用しても良い。もしアラインメント誤差がビデオ及びオ−ディオ内容に独立に計算され、これらの２つの誤差が同じ割合で増大する場合は、この状態は、一定のままであるビデオ及びオ−ディオ内容について共通に算出されたアラインメント誤差と本質的に同じである。

（２） 統計モデル
一致の確度の基準を算出する他の技術は計算されたアラインメント誤差の確立を決定する統計モデルを用いる。このモデルはアラインメント誤差の理論的又は経験的に決定される統計に基づくこともある。もし統計モデルが算出されたアラインメント誤差があると思われることを示す場合は、その算出された誤差の確度の基準はより高い。

ある単純な統計モデルは、アラインメント誤差は通常数百ミリ秒と言うよりも数ミリ秒でしかないことを示す経験的データに基づく。この方式では、非常に大きなアラインメント誤差よりも、小さいアラインメント誤差の可能性が大きい。このモデルより得られる確度の基準は、続く処理において、異常値を除外し又は極端に大きい誤差を除外するために使用することができる。

（３） 信号‐内容モデル
一致の確度の基準を算出する他の技術は信号‐内容モデルを用いて算出されたアラインメント誤差の確実性を決定する。このタイプのモデルは内容自体に当てはめても良く、署名を生成するために使用される内容から抽出される特徴又は署名自信に適用しても良い。

ある信号‐内容モデルはビデオ及びオ−ディオ内容の定常性を決定する活動検出器の使用である。もしビデオ又はオ−ディオ内容が例えば、数百ミリ秒変わらない場合は、その内容は活動を殆ど伝えず、そしてその内容の一致の確度の基準は小さいであろう。

他の信号‐内容モデルは、ある特徴が存在するか否かを決定する内容を分析する。例えば、ビデオ内容は、背景の詳細の変化の様な重要な活動を伝送するが前景の対象物で重要な動きに欠けることもある。上で述べた活動検出器は背景の詳細の変化から重要な活動を示すが、動きがない場合は対比させることがより難しくなる。動きが殆ど又は全くない場合、一致の確度の基準は低い値に設定しても良い。他の例として、話し言語がオ−ディオ内容中に存在する場合は、正確な一致がより実現可能であることもある。一致の確度の基準は、もし言語が検出された場合は、高い値に設定しても良い。

（４） 攻撃‐予測モデル
一致の確度の基準を算出する他の技術は、参照署名が生成された後に異なるプロセスにより修飾され又は「攻撃された」内容と正しい一致の可能性を予測するモデルを用いる。ある特徴に基づく署名は種々のタイプの修飾に反応する。攻撃‐予測モデルはどの種類の内容の修飾が起きたかを決定することを試みる。これは、参照及び目的地内容の両者が得られる場合は、参照及び目的地内容の間の差異を分析することにより、又は参照及び目的地署名の間の差異を分析することにより実施しても良い。ビデオ内容修飾の例にはトリミング、空間分解能の変化、フレームレートの変化、画像反転及び知覚的符号化を含む。オ−ディオ内容修飾の例には、帯域幅削減、サンプルレートの変化及び知覚的符号化を含む。

この決定により、特定の署名タイプに基づく一致の確度の基準が、生じた内容修飾に対して署名タイプが持つ抵抗レベルから導出することができる。もし特定の署名タイプがあるタイプの内容の修飾に対して反応せず、これらのタイプの修飾のみが起こったと見做される場合、この署名タイプに基づく一致の確度の基準は高い値に設定される。他方、もし特定の署名タイプがある種の内容修飾に反応し、これらのタイプの修飾が起こったと見做される場合は、この署名に基づく一致の確度の基準はより低い値に設定される。

（５） オペレーター入力
一致の確度の基準を算出する他の技術はオペレーター入力を用いることである。オペレーター入力は一致の確度を直接に特定することができるか又は上で議論したモデルの一つへの入力を提供することができる。例えば、オペレーター入力はビデオ内容中に動きが存在し又は存在しない、又はオ−ディオ内容中に話し言語が存在し又は存在しない様な内容の特徴を同定することができ、又は参照署名の生成から起こった信号の修飾又は攻撃タイプを特定することができる。他のタイプの入力も可能である。

（６） 伝達誤差
一致の確度の基準を算出するための他の技術は伝達誤差の検出に基づく。もし矯正不可能な伝達誤差が目的地内容又は同期署名構築中に存在することが知られている場合、このデータに基づく一致は、これらの誤差を持たないデータに基づく一致よりも信頼性は低いであろう。一致の確度の基準は、伝達誤差が起きた場合はより低い値に設定することができる。もし多くの矯正不可能な誤差が起きた場合には、基準はさらに低い値に設定することができる。しかし、伝達誤差が存在しないこと自体は、一致の確度の基準が高くあるべきであるとすることを意味しない。伝達誤差の検出は、以下に述べる他の方法から算出される基準値にシーリングを設定するために使用してもよい。

ｄ）確度の基準を用いる
一致の確度の基準は、同期の誤差及びその関連する信頼度の基準を算出するために使用することができる一以上のタイプのプロセス又はフィルタを用いて実施しても良い。一致の確度の基準は、算出された同期誤差中の短期の逸脱の効果を除外し又は最小化する種々のプロセスで使用しても良い。ある一つの代表的なプロセスは過去の同期誤差の３つのタイプのモデルを用いる。第１のタイプのモデルは一定である一連の誤差を表す。第２のタイプのモデルは線形速度（linear rate）で増大又は減少する一連の誤差を表す。第３のタイプのモデルは値が急激にジャンプし又は変化することを含む一連の誤差を表す。代表的なプロセスでは過去の同期誤差の間隔を分析し、そして３つのタイプのモデルのいずれが最もこの配列を良く表しているかを選択する。選択されたモデルのパラメーターは生成されたモデルの出力と過去の誤差の値との差を最小にする様に導出される。モデルのタイプ及びそのパラメーターの選択はバッファーに保存される。好ましくは上で述べた予測モデル技術が選択されたモデル中の一致の確度の基準を算出するために使用され、選択されたモデルのタイプは、確度の基準が閾値より大きい場合に限り、関連する一致の確度の基準とともにバッファーに保存される。もし望むならば、追加のフィルターを異常誤差値を生成するバッファーから選択されたモデルを除外するために使用してもよい。記憶されたモデルのバッファーは、一致の確度の基準が閾値より低い、時間の間隔の現在の同期誤差を予測するために用いても良い。幾つかの方法について本明細書で説明がなされている。

一つの方法は現在の同期誤差を予測するために最も高い一致の確度の基準を持つ記憶されているモデルを使用することである。第２の方法は記憶されたモデルのモデルパラメーターの平均値を計算して、平均化されたパラメーターから新しいモデルを導出し、そしてこの新しい導出されたモデルを用いて現在の同期誤差を予測することである。第３の方法は３つのモデルタイプの何れが最もしばしばバッファーに記憶されるかを同定し、このモデルタイプを現在の同期誤差を予測するために使用することである。

もし、所望ならば、第２のタイプのモデルの出力はモデル出力と最も期近な同期誤差の間の予測誤差を算出することによって更に確認することができる。このモデルは信頼することができると見做され、その出力は、予測誤差が閾値より低い場合にのみ使用される。もし予測誤差が閾値より高い場合は、モデルは信頼性に欠けると見做され、バッファーに記憶された最も期近な信頼に値するモデルが、現在の同期誤差を予測するために使用される。

あるタイプのフィルターは個々の算出されたアラインメント誤差の加重合計を算出する。もし複数の署名が使用される場合は、アラインメント誤差は各署名について算出され、そして単一の同期誤差が個々に算出されたアラインメント誤差から得られる。例えば、もし３つの異なる署名が比較のために利用可能であるとすると、各アラインメント誤差E₁, E₂及びE₃は各署名について決定することができ、各一致の確度の基準R₁, R₂及びR₃が各アラインメント誤差に対して算出される。同期誤差Ｅは対応する一致の確度の基準に従い加重された算出されたアラインメント誤差の合計からえられる。この合計は以下の式で表わされる：

他のタイプのフィルターは、最も高い一致の確度の基準を持ち、同期誤差をこのアラインメント誤差に等しく設定する、算出されたアラインメント誤差を選択する。

他のタイプのフィルターは、もし関連する一致の確度の基準が閾値より低い場合は、上に記載のフィルターで算出されたアラインメント誤差を除外する。ゲートフィルターは上に記載の他のフィルタータイプとカスケード配置で使用しても良い。このゲートフィルターは同期誤差の算出された信頼度の基準が閾値より大きいかを示す２進値出力信号を生成する。

この信号は続く処理を制御するために使用しても良い。例えば、もしこのフィルターが算出された同期誤差が信頼できるものでないことを示す場合は、A/V同期修正器は、同期誤差の修正を抑制しても良い。

もし複数署名が同期誤差を算出するために使用される場合、個々のアラインメント誤差の一致の確度の基準から算出された誤差の信頼性の基準を得るために異なる方法を使用しても良い。例えば、信頼性の全体の基準は一致の確度の測定値の最大、最小、平均又は中央値に等しく設定しても良い。

２． 他の応用
同期署名構築は多くの他の応用で使用することができる。一つの応用では補助的情報の同期を維持する。同期署名構築中の参照ビデオ及び参照オ−ディオ署名はビデオ及びオ−ディオ信号と知られた時間の関係を有する特徴をベースとするため、これらの参照署名は補助的情報をビデオ及びオ−ディオ信号の何れか一つ又は両方に同期させるために用いることができる。この補助的情報はビデオ・オ−ディオ内容に関連づけられた時間依存の情報を伝送する実質的に任意の種類のデータを含む。幾つかの例には字幕情報、SMPTE標準１２Ｍに記載のタイムコード及び機器制御信号を含む。この応用は、この補助的情報を同期署名構築とある方法で結びつける、例えば、それを署名中に含める、同期署名構築とインターリブする、又は同期署名構築をあるより大きなデータ構築中の補助的情報と組み合わせる等により実現することができる。他の応用ではビデオ・オ−ディオ内容を同定する。同期署名構築中の参照ビデオ及び参照オ−ディオ署名はビデオ・オ−ディオ内容から抽出された特徴に基づくため、これらの一連の参照署名はある与えられたビデオ・オ−ディオプログラムにとってユニークであると思われる。これは同期署名構築中の参照ビデオ及び参照オ−ディオ署名は内容を同定するために使用することができることを意味する。この応用のある実施の態様では、一連の目的地署名は目的地内容から生成され、この目的地署名の配列は参照署名の配列と比較される。もし目的地署名の列と一致する一連の参照署名が見つかる場合は、これは目的地署名の列が参照署名の特定の列と十分近似すると見做されることを意味し、そして目的地内容が特定に参照署名の列に対応する内容のコピーであると同定される。

ビデオ及びオ−ディオ内容は一緒に又は単独でサーチすることができる。さらに、もし、それが、上に述べた様に、それを修飾する種々のプロセスに付される場合においても、その内容を正確に同定することができる。

図１４は内容を同定するために使用することの出来るシステムのブロック略図である。ビデオ署名生成器１００及びオ−ディオ署名生成器２００は、経路３１から受領した内容の参照ビデオ/オ−ディオ流れから参照ビデオ署名及び参照オ−ディオ署名を生成する。生成された参照ビデオ署名はビデオ-署名データベース(VSIG DB) 180に保存され、生成された参照オ−ディオ署名はオ−ディオー署名データベース(ASIG DB) 280に保存される。参照署名はその応用の実施を容易にする他の情報とともに保存しても良い。例えば、参照署名は下層の内容自身又はその内容に関する情報、例えば、内容のオーナー、内容のライセンス条件、内容の名前、又は内容のテキスト記述を同定するデータとともに保存してもよい。各参照署名はデータベースサーチキーを持つ。このキーは所望の任意の方法によることができる。好ましくはこのキーは参照署名自身に基づくもの又はそれに由来するものである。

任意の特定のビデオ内容又はオ−ディオ内容の身元（identity)はビデオ及びオ−ディオデータベースに保存された情報により表される参照内容に対して照合しても良い。その身元が照合される内容はここではテスト内容と呼ぶ。

テストビデオ内容の身元は、ビデオ署名生成器１０１に経路３３から受領したテストビデオ内容からテストビデオ署名を生成させ、そしてテストビデオ署名をビデオサーチエンジン１８５に送らせることにより照合される。

ビデオサーチエンジン１８５はテストビデオ署名に厳密に一致又は近い一致をするビデオー署名データベース１８０中に参照ビデオ署名を見出だすことを試みる。
テストオ−ディオ内容の身元がオ−ディオ署名生成器２０１に経路３３から受領したテストオ−ディオ内容からテストオ−ディオ署名を生成させ、そしてテストオ−ディオ署名をオ−ディオサーチエンジン２８５に送らせる。

オ−ディオサーチエンジン２８５はテストオ−ディオ署名に厳密に一致又は近い一致をするオ−ディオー署名データベース２８０中に参照オ−ディオ署名を見出だすことを試みる。

ある実施の態様において、サーチエンジンはデータベースに保存されているテスト署名及び参照署名の間のハミング距離を計算し、そして一連のテストビデオ署名に最も近い一連の参照署名をサーチする。上の式１０及び１１中に示す計算式又はそれらのある変形はサーチを実行するために使用しても良い。

もし、２つの一連の署名の間の距離がある閾値より小さい場合、一連のテスト署名に関連するテスト内容は一連の一致する参照署名に関連する参照内容の厳密な又は修飾されたコピーと見做される。経験の教えるところでは、良好な結果は約２秒間の内容を表す一連の署名を用いる種々のビデオ及びオ−ディオ内容について得ることができる。

更に他の応用は内容確認及び品質のモニターである。参照署名と、目的地内容から生成される目的地署名の間の高い相関は目的地内容は参照内容と同一又は少なくとも実質的に同一であることを示す。低い相関は目的地及び参照内容の間に実質的な相違があることを示す。これらの相違は、内容が異なる又は内容の符号化の品質における実質的な相違によることもある。参照署名は内容の同定について上で議論したと同様な方法で使用することができる。この応用のある実施の態様において、一連の目的地署名が一連の参照署名のデータベースと比較される。もし目的地署名の列と一致する参照署名の列が見つかった場合、目的地内容は参照署名のある特定の列に対応する内容と照合しても良い。同期署名構築は、同期署名構築が何時、何処でそして誰により生成されたかを示すデータを含んでも良い。またそれは目的地内容が参照内容と同一であることを確認するために使用することの出来るデジタル署名を含むこともある。

Ｅ．実施
本発明の種々の特徴を組み入れた装置は種々の方法で実施することができ、それにはコンピュータで実行されるソフトウェア又は汎用コンピュータに見られると同様な構成物に連結されたデジタル信号プロセッサ（ＤＳＰ）回路の様なより専用化された構成物を含む他の装置を含む。図１５は本発明の特徴を実施するために使用される装置７０の略ブロック図である。プロセッサ７２はコンピューティング資源を提供する。ＲＡＭ７３は処理のためのプロセッサ７２により用いられるシステムランダムアクセスメモリー（ＲＡＭ）である。ＲＯＭ７４は、装置７０を動かすために必要なプログラム及びおそらく本発明の種々の特徴を実行するための読み出し専用メモリー（ＲＯＭ）の様なある形式の永続記憶装置を表す。入出力(I/O)制御７５は通信チャネル７６，７７により信号を受信及び送信するためのインターフェイス回路を表す。本明細書に示す実施の態様では、全ての主要なシステム要素はバス７１に連結され、バス７１は一以上の物理的又は論理的バスであっても良い。しかし、バス構造は本発明を実施するために必要とはされない。

汎用コンピュータシステムにより実行されるある実施の態様において、追加の構成要素が、キーボード又はマウス及びディスプレイの様な装置へのインターフェイスのために及び磁気テープ又はディスク、又は光媒体の様な記憶媒体を持つ記憶装置７８を制御するために含まれても良い。記憶媒体はオペレーティングシステム、ユーティリティ、及びアプリケーションのための指示プログラムを記録するために使用しても良く、本発明の種々の特徴を実行するためのプログラムを含んでも良い。

本発明の種々の特徴を実行するためも必要な機能は種々の方法で実施される構成要素により実行することができ、それらの要素には個別論理要素、集積回路、一以上のＡＳＩＣ及び/又はプログラム制御プロセッサを含む。これらの要素が実行される方法は本発明にとり重要ではない。

本発明のソフトウエアの実施は、ベースバンド又は超音波から紫外線周波数を含むスペクトルを通して変調通信経路（path）の様な種々の機械可読媒体により、 又は磁気テープ、カード又はディスク、光学カード、又はディスク及び紙を含む媒体上の検出可能なマークを含む本質的に任意の記録技術により搬送しても良い。

Claims (8)

1. 目的地ビデオ内容及び目的地オーディオ内容の間の同期誤差を算出する方法であって、
   参照ビデオ信号の一以上のビデオ特徴を表す参照ビデオ署名、参照オーディオ信号の一以上のオーディオ特徴を表す参照オーディオ署名、及びビデオ及びオーディオ特徴の相対的時間アラインメントの指標を受領する；
   目的地ビデオ内容から抽出された一以上のビデオ特徴に応答して一以上の目的地ビデオ署名を生成する；
   目的地オーディオ内容から抽出された一以上のオーディオ特徴に応答して一以上の目的地オーディオ署名を生成する；
   一連の目的地ビデオ署名を一連の参照ビデオ署名と比較し、目的地ビデオ内容と、参照ビデオ署名を生成するために用いられる参照ビデオ内容の間の一致を探す；
   一連の目的地オーディオ署名を一連の参照オーディオ署名と比較し、目的地オーディオ内容と、参照オーディオ署名を生成するために用いられる参照オーディオ内容の間の一致を探す；
   同定された目的地ビデオ内容と同定された目的地オーディオ内容の間の時間的不整合を、参照ビデオ信号及び参照オーディオ信号のビデオ及びオーディオ特徴の相対的時間アラインメントと比較して算出することにより、目的地ビデオ内容と目的地オーディオ内容の間の同期誤差を算出し；
   過去の同期誤差を分析し、過去の同期誤差を最も適切に表す過去の同期誤差のモデルを選択し、ここでモデルは、一定である一連の同期誤差を表すモデル、又は線形割合で増大又は減少する一連の同期誤差を表すモデル、又は値が突然変化するものを含む一連の同期誤差を表すモデルから選択しても良く、そして選択されたモデルのパラメータは選択されたモデルの出力と過去の同期誤差の差を最小にするように導出され；
   選択されたモデル及びそのパラメータを選択してバッファーに保存し；
   算出された時間不整合及び一連の事前に算出された時間不整合から得られた予測された不整合の間の差から同期誤差の信頼性の基準を導出し；
   その選択されたモデルの最も高い信頼性の基準をもつモデル、バッファーに保存されたモデルパラメータの平均から導出されたモデル、またはバッファーに最もしばしば保存されるモデルを用いて、信頼性の基準が閾値より小さい場合の間隔の同期誤差を予測し；及び
   同期誤差を表示し、又は同期誤差を、目的地ビデオ及び目的地オーディオの一つ又は両方を遅延させてそれらを適正な時間アラインメントになるようにすることを含む方法。
2. 目的地ビデオ内容及び目的地オーディオ内容の間の同期誤差を算出する方法であって、
   参照ビデオ信号の一以上のビデオ特徴を表す参照ビデオ署名、参照オーディオ信号の一以上のオーディオ特徴を表す参照オーディオ署名、及びビデオ及びオーディオ特徴の相対的時間アラインメントの表示を受領し；
   目的地ビデオ内容から抽出された一以上ビデオ特徴に応答して一以上の目的地ビデオ署名を生成し；
   目的地オーディオ内容から抽出された一以上オーディオ特徴に応答して一以上の目的地オーディオ署名を生成し；
   一連の目的地ビデオ署名を一連の参照ビデオ署名と比較し、目的地ビデオ内容と、参照ビデオ署名を生成するために用いられる参照ビデオ内容の間の一致を探し、目的地ビデオ信号と参照ビデオ信号の間の相対的ビデオタイミングの差を得る；
   一連の目的地オーディオ署名を一連の参照オーディオ署名と比較し、目的地オーディオ内容と、参照オーディオ署名を生成するために用いられる参照オーディオ内容の間の一致を探し、目的地オーディオ信号と参照オーディオ信号の間の相対的オーディオタイミングの差を得る；
   目的地ビデオ信号と参照ビデオ信号の間の相対的タイミングの差及び目的地オーディオ信号と参照オーディオ信号の相対的タイミングの差から目的地ビデオ内容と目的地オーディオ内容の間の同期誤差を、参照ビデオ信号及び参照オーディオ信号のビデオ及びオーディオ特徴の相対的時間アラインメントと比較して算出する；
   目的地ビデオ内容及び参照ビデオ内容の間に見出された一致の信頼性の程度を表すビデオ−一致の信頼性の基準（video-match confidence measure)を、過去の相対的ビデオタイミングの差を分析することにより、及び過去の相対的ビデオタイミングの差を最も良く表すモデルを選択することにより算出し、ここでモデルは、一定である一連のタイミングの差を表すモデル、又は線形割合で増大又は減少する一連のタイミングの差を表すモデル、又は値が突然変化するものを含む一連のタイミングの差を表すモデルから選択しても良く、そして選択されたモデルのパラメータは選択されたモデルの出力と過去の相対的ビデオタイミングの差を最小にするように導出される；
   目的地オーディオ内容及び参照オーディオ内容の間に見出された一致の信頼性の程度を表すオーディオ‐一致の信頼性の基準（video-match confidence measure)を、過去の相対的オーディオタイミングの差を分析し、そして過去の相対的オーディオタイミングの差を最も良く表す予測モデルを選択することにより算出し、ここでモデルは、一定である一連のタイミングの差を表すモデル、又は線形割合で増大又は減少する一連のタイミングの差を表すモデル、又は値が突然変化する一連のタイミングの差を表すモデルから選択しても良く、そして選択されたモデルのパラメータは選択されたモデルの出力と過去の相対的オーディオタイミングの差を最小にするように導出される；
   選択されたモデル及びそのパラメータを選択してバッファーに保存し；
   ビデオ−一致の信頼性の基準及びオーディオ−一致の信頼性の基準から、同期誤差中の信頼性の基準を導出し；
   その選択されたモデルの最も高い信頼性の基準をもつモデル、バッファーに保存されたモデルパラメータの平均から導出されたモデル、またはバッファーに最もしばしば保存されるモデルを用いて、信頼性の基準が閾値より小さい場合の間隔の同期誤差を予測し；及び
   同期誤差を表示し、又は同期誤差を、目的地ビデオ及び目的地オーディオの一つ又は両方を遅延させてそれらを適正な時間アラインメントになるようにすることを含む方法。
3. 請求項１又は２に記載の方法であって、
   同期誤差の統計モデルから同期誤差の確率を導出し；及び
   保存されたモデルのバッファーを用いて同期誤差の確率が閾値より低い間隔の同期誤差を予測すること
   を含む方法。
4. 請求項１又は２に記載の方法であって、
   選択されたモデルの信頼性の基準を算出し；及び
   選択されたモデルの選択とともに、選択されたモデルの信頼性の基準をバッファーに保存することを含む方法。
5. 選択されたモデルの信頼性の基準が閾値より大きい場合、選択されたモデルを選択しバッファーに保存することを含む、請求項４に記載の方法。
6. 請求項２に記載の方法であって、
   ビデオタイミングの差の加重合計を算出し、ビデオタイミングの差は各ビデオ−一致の信頼性の基準により加重され；
   オーディオタイミングの差の加重合計を算出し、オーディオタイミングの差は各オーディオ−一致信頼性の基準により加重され；
   ビデオタイミングの差の加重合計及びオーディオタイミングの差の加重合計から同期誤差を算出する、
   ことを含む方法。
7. 請求項１乃至６の何れか１項に記載の方法のステップを実施する手段を含む装置。
8. 指示プログラムを伝送する媒体であり、前記媒体は、請求項１乃至６の何れか１項に記載の方法を実行するための指示プログラムを実行する装置により読み取られる、媒体。