JP2009533920A - オーディオ／ビデオ同期遅延測定方法及び装置 - Google Patents

Abstract

オーディオ及びビジュアル信号の間の遅延を求める方法であり、この方法は、視覚的に符号化された複数の一連のタイムスタンプを有するビデオ信号を供給し、対応し聴覚的に符号化された複数のタイムスタンプを有するオーディオ信号を供給し、オーディオ及びビデオの信号が互いに同期しており、オーディオ及びビデオの信号を符号化して、符号化されたオーディオ及びビデオのデータ・ストレージをデジタル的に発生し、符合されたビデオ及びオーディオのデータ・ストレージを分析して、聴覚的及び視覚的に符号化されたタイムスタンプを抽出し、対応するビデオ及びオーディオのタイムスタンプの受信時点の間の任意の遅延を測定する。

Description

発明の詳細な説明

オーディオ・ビジュアル・コンテンツの分野において、そのコンテンツをデジタル・データとして提供することは一般的である。一般的な条件は、例えばテレビジョン・プログラムの放送であるデジタル・オーディオ・ビジュアル・データの放送伝送の前に、デジタル・データを１つ以上の符号化処理に渡すことである。コード化処理は、データ圧縮と、オーディオ信号を処理のためにデジタル・オーディオ・フィルタの利用とを常習的に必要とする。符号化処理も、複数の別個のデータ・ストリームを互いにマルチプレクスすることを典型的に必要とする。これは、一般的に、オーディオ・データをビデオ・データと異なって処理する場合であり、符号化処理における異なる段階の各々がデジタル・データ信号に時間遅延を潜在的に導入するため、全体的な符号化処理は、オーディオ及びビデオのデータの間の同期を損なうことを潜在的に導入し、これが話文字のビデオ画面でのリップ・シンクの損失として最も顕著となる。人間の脳は、ビデオ及びオーディオのデータの間の非常にわずかな時間遅延であっても知覚することができ、オーディオ信号がビデオ信号よりも進んでいる状況が最も目立つ。この理由のため、適用可能な符号化及び伝送標準は、オーディオ及びビデオのデータの間の最大時間遅延を規定している。例えば、いくつかの標準によれば、オーディオ信号は、対応するビデオ信号よりも、４０ｍｓより長い時間遅延に及んで進んではいけない。

したがって、任意所定の符号化システムがオーディオ・ビジュアル・プログラムのオーディオ及びビデオの信号の間に生じるかもしれない時間遅延の正確な量を予め測定できることが有利である。

本発明の第１の概念によれば、本発明は、オーディオ及びビジュアルの信号の間の遅延を測定する方法であって、
視覚的に符号化された複数の一連のタイムスタンプを有するビデオ信号を供給すると共に、聴覚的に符号化された対応する複数のタイムスタンプを有するオーディオ信号を供給し、上記オーディオ及びビデオ信号が互いに同期しており、
上記オーディオ及びビデオ信号を符号化して、デジタル的に符号化されたオーディオ及びビデオ・データ・ストリームを発生し、
上記符号化されたビデオ及びオーディオ・データ・ストリームを分析して、上記聴覚的及び視覚的に符号化されたタイムスタンプの各々を抽出し、
対応するビデオ及びオーディオのタイムスタンプの受信時点の間の遅延を測定することを具えている。

好適実施例において、オーディオ及びビデオのタイムスタンプは、２進コード、例えば、グレー・コードとして符号化される。

各視覚的に符号化されたタイムスタンプは、好ましくは、複数の表示セグメントを具えており、各セグメントの色又は影は、２進状態を表す。好ましくは、表示セグメントは、マクロ・ブロックの部分を具えている。

聴覚的に符号化された各タイムスタンプは、好ましくは、複数の所定周波数成分を有するオーディオ・トーンを具え、周波数成分の存在が２進状態を表す。

好ましくは、各符号化されたタイムスタンプは、フレーム・カウントを具える。

本発明の第２の概念によれば、本発明は、デジタル的に符号化されたオーディオ及びビデオの信号の間の遅延を測定する装置であって、上記ビデオ信号は、視覚的に符号化された複数の連続的なタイムスタンプを有し、上記オーディオ信号は、聴覚的に符号化された対応する複数のタイムスタンプを有し、上記オーディオ及びビデオの信号が互いに同期され、
上記符号化されたビデオ信号に符号化されたタイムスタンプの各々を検出し、上記タイムスタンプを復号化し、上記ビデオ・タイムスタンプの受信の実際の時間を表す第１時間信号を提供するように配置されたビデオ・タイムスタンプ検出器と、
上記符号化されたオーディオ信号に符号化された上記タイムスタンプの各々を検出し、上記タイムスタンプを復号化し、上記オーディオ・タイムスタンプの実際の時間を表す第２時間信号を提供するように配置されたオーディオ・タイムスタンプ検出器と、
上記第１及び第２の時間信号を受け、これらの受信時点の間の遅延を測定するように配置されたタイムスタンプ比較器とを具える。

例としてのみ示す添付図を参照して、本発明の実施例を以下に説明する。

本出願人による出願中の同じ名称の特許出願において詳述された時間分析スキームによれば、本来利用可能なオーディオ及びビデオのデータに対して実施された符号化処理に続くオーディオ及びビデオのデータの間の任意の時間遅延は、既存の時間特性を有する所定ビデオ・シーケンスを用いて測定する。非圧縮データ・フォーマット、又は、例えばＭＰＥＧ−２ビデオ又はオーディオの如き標準符号化データ・フォーマットのいずれかにより、ビデオ／オーディオ・データ・シーケンスを提供する。所定のオーディオ／ビデオ・シーケンスは、所定の継続時間と、各フラッシュ間の時間間隔を有する一連の可視「フラッシュ」から成る。また、このシーケンスは、対応する数の可聴トーンも具え、その継続時間とトーン間の時間間隔とは、可視フラッシュの発生に正確に対応する。可視及び可聴の信号用の適切なタイミング図の例を図１に図的に示す。

図１において、上側の信号トレース２は、可視信号の二進レベルを示し、この信号は、可視の状態にて全体として黒又は全体として白のいずれかである。下側の信号トレース４は、可聴信号を表し、上側の信号レベルが可聴トーンの発生を示し、下側の信号レベルがトーンの不在を示す。図１から判る如く、可視フラッシュが発生せず、可聴トーンも発生しない期間である１単位の初期時間周期、例えば、１秒の後、１単位の継続時間の可視フラッシュ及び可聴トーンが続いて発生される。この後に、可視フラッシュも可聴トーンも生じない期間である更なる時間周期が続き、この第２時間周期が２単位の継続時間を有する。この後に、図１に示すシーケンスにおいて、２単位の継続時間の可視フラッシュ及び可聴トーンの発生が続き、３単位の非可視フラッシュ又は可聴トーンなどが続く。総合シーケンスは、可視フラッシュ及び可聴トーンが生じる期間の５周期を有し、各周期が前の周期よりも長い１時間単位だけ続き、可視フラッシュ又は可聴トーンが生じない期間の間に、対応して時間周期が増加する。よって、図示の例において、全体のシーケンスは、総合で３０時間単位にわたって続くが、これは典型的には３０秒である。全体のシーケンスは、好ましくは連続的に繰り返す。

この分析スキームの好適配置において、可視フラッシュは、少なくともマクロ・ブロック又は少なくともその整数倍内で生じるが、これは、表示スクリーンの左上隅に示される。好ましくは、４×４ブロック配列、即ち、３２×３２ピクセルを用いて、可視フラッシュを符号化する。当業者には理解できるように、表示されたイメージを発生する走査方法により、表示スクリーンのこの部分を表すデジタル・データが関連データ・ストリーム内に非常に早く生じ、その結果、実際には常に正確に符号化されるので、この位置が注意深く選択される。３２×３２ピクセル領域としての可視フラッシュの選択も、このビデオ・データの正確な符号化を確実にする傾向がある。同様に、可視フラッシュ用のクロック及び白の影のみを用いることは、ビデオ・データが正しく符号化される見込みを最大とする。これは、これらが、符号化処理で好ましくなく劣化する「基本」デジタル値であるためである。同様な様式において、オーディオ・トーンは、例えば、１０ＫＨｚ又はいくつかの他の単一周波数である単一周波数成分のみのトーンとして提供される。単一周波数成分のみをオーディオ・トーン用に用いるので、それを、被試験符号化システム内に含まれる任意のオーディオ・エンコーダにより忠実に符号化できる。

さらなるビジュアル・データ、例えば、可視フラッシュの大量のビジュアル表現を、例えば、一連の回転循環セグメントとして、ユーザに提供してもよく、各セグメントが単一の時間単位を表すので、完全なシーケンスには、多数のセグメントを通しての完全な「回転」が要求される。勿論、かかるビジュアル協調は、単に人間の操作者の便宜のためであり、本発明の必要部分ではないことが明らかである。

この分析スキームによれば、所定のオーディオ・ビジュアル・シーケンスは、被試験符号化システムを通過し、符号化されたデジタル・データ・ストリームがその後に分析される。この分析処理は、３２×３２ピクセル・マクロ・ブロック完全体が「黒」から「白」に、又はその逆に変化する符号化されたデータ・ストリーム内で、時間的なポイントを検出することにより、可視フラッシュの１つの開始及び終了の一方又は両方を検出することである。表示がフレーム毎にリフレッシュされるだけなので、これが生じた時点は、ビジュアル・データの１フレームの継続時間内で正確である。典型的なフレーム・レートは、１秒当たり２５フレームである。よって、符号化されたオーディオ信号を分析して、オーディオ・トーンの開始及び終了の一方又は両方を求める。オーディオ・トーンの開始又は終了を検出する好ましい方法は、「トーン」から「トーンなし」又はその逆の各遷移が生じる程度に、との急激な立ち上がり又は立ち下がり振幅を検出することである。よって、分析処理は、ビデオ及びオーディオの「事象」（立ち上がり又は立ち下がりのオーディオ又はビデオ信号エッジである事象）の間の任意の時間遅延を求めることができる。好適実施例において、１つ以上の伝送標準により設定される如き所定組のパラメータの外となる任意所定の遅延により、警告が自動的に発生される。

符号化されたデータ・ストリーム内のビデオ／オーディオ同期が任意に損なわれたことを求める本願出願人による出願中の分析スキームによるシステムが図２に図的に示される。上述の如き符号されていない状態の所定ビデオ・ストリーム１０は、ハードディスク１２の如きデータ蓄積媒体に蓄積され、被試験符号化システム１４に入力として供給される。この符号化システムは、分離されたビデオ１６及びオーディオ１８のストリームに分解できる符号化データ・ストリームを一般的に出力する。ビデオ及びオーディオのストリームの各々は、分析エンジン２０の入力として、また、分離したビデオ及びオーディオの事象検出ユニット２２、２４の入力として供給される。これらビデオ及びオーディオのストリームが分析エンジンへの個別の入力として図２にビデオ及びオーディオのストリームとして示されるが、符号化システム１４により供給された符号化データ・ストリームの分解は、分析エンジン内で、例えば、ラッパー・デマルチプレクサにより均等に達成されることが理解できよう。図１に関連して上述したように可視「フラッシュ」及びオーディオ・トーンの開始又は終了若しくは両方である、符号化されたテスト・データ・ストリームの関連するビデオ又はオーディオの「事象」を検出し、各事象が生じた時を示す出力信号を供給するように、各事象検出ユニットが配置されている。オーディオ及びビデオの事象検出ユニット２２、２４カラーの出力信号は、時間比較ユニット供給される。この時間比較ユニットは、事象検出ユニットからの出力信号の間に存在する任意の時間間隔と、オーディオ及びビデオの「事象」の発生の間で遅れているか又は進んでいる任意の時間間隔とを測定するように配置される。この時間間隔データは、時間比較ユニット２６から出力インタフェース・ユニット２８に供給され、この出力インタフェース・ユニットは、時間間隔データを適切なユーザ・インタフェースに供給されるように配置されている。好ましくは、出力インタフェース・ユニット２８もオーディオ及びビデオの信号の間の任意の時間遅延を定義済み最大許容遅延と比較するように配置される。この定義済み最大許容遅延は、更なるデータ蓄積領域３０に蓄積されてもよいし、又は、内部的に出力インタフェース・ユニットに蓄積されてもよい。検出された時間間隔が所定値を超えると、警告信号を供給するように出力インタフェース・ユニットを配置してもよい。

図１を参照して上述した如く、可視フラッシュ及び可聴トーンのシーケンスは、各「事象」の間の時間間隔が延びた「事象」を具えている。これは、ビデオ及びオーディオの信号の間の時間遅延をビデオ事象の１つに対して充分に長くして、オーディオ事象と確実に一致させ、分析エンジンに報告又は警告を発生させない「誤った」同期は、ビデオ及びオーディオの事象の次のアセンブリにて維持されない。これは、図３にて図的に示され、上側のトレース３２は、ビデオ事象信号を表し、下側のトレース３４は、オーディオ事象信号を表す。図３から判る如く、符号化処理により、オーディオ事象信号は、矢印Ａで示すように、３時間単位、例えば、３秒の時間周期だけ、ビデオ信号に対して遅延される。よって、第２ビデオ事象３６の開始は、第１オーディオ事象３８の開始と同じ時点で生じる。これらが分析エンジンにより検出された第１ビデオ及びオーディオの事象ならば、オーディオ及びビデオのストリームの間の同期についての誤った報告がなされるかもしれない。しかし、事象が均等に相隔たっておらず一定時間間隔でないので、次のビデオ事象４０の開始にて、オーディオ・ストリームが非同期であることがわかる。よって、分析エンジンは、実際に、ビデオ及びオーディオのストリームが同期していないかを判断できる。分析エンジンがビデオ及びオーディオの事象の開始及び終了の両方を検出すると、同期が損なわれることが直ぐに検出される。これは、両方の事象の開始が一致しても、第１オーディオ事象３８の終了が第２ビデオ事象３６の終了前に生じるためである。この場合、１時間単位、例えば１秒の間に、分析エンジンによりオーディオ及びビデオのストリームの間の同期が損なわれたことが検出される。

しかし、上述のスキームを用いることにより、同期が任意に損なわれたことを単に求めることができ、また、同期の全体が損なわれたことにより、ビデオ及びオーディオの事象の間に「ミス・マッチ」が生じると、オーディオ又はビデオの事象が生じるときが最良で且つ図３に関連して上述したように、遅延が測定され、同期が損なわれたかを判断するのに必要な時間を多数の時間単位にできることが理解できよう。オーディオ・ビジュアル・データの各２次が典型的にはデータの２５フレームを具えているので、これは、システム資源の無駄である。すなわち、同じデータが１秒間に２５回だけ処理される。本発明の実施例によれば、分析スキームを提供して、オーディオ及びビデオのデータ・ストリームの間の時間遅延を求めることが改良できる。各フレームの識別を可能にするオーディオ及びビジュアルのデータを含む被試験符号化システムにて復号化すべき所定のオーディオ・ビジュアル試験シーケンスを提供することにより、これを達成できる。

好適実施例において、２進コードを表す黒及び白のシーケンスのパターンを用いて、ビジュアル符号化を達成する。グレー・コードの既知の特性は、２進ワードのたった１つのビットが一度に変化するので、好適な２進コードはグレー・コードである。黒及び白の矩形の可能なシーケンスの例を図４に示す。ここでは、オーディオ・ビジュアル・データの３つの連続フレームに対する矩形にシーケンスが示されている。最初の５つの矩形シーケンスは、グレー・コード００１０１である１０進法の７を表す。よって、これを用いて、フレーム番号７としてのフレームを識別する。第２及び第３シーケンスは、夫々１０進法の８及び９である００１００及び０１１００を表す。図４では、単に明瞭にするためだけの目的で、５ビット・ワードを示しており、試験シーケンスのフレームの数に応じて任意の長さのワードを選択できることが明らかであろう。上述のスキームと同様に、本発明の実施例において、個別の矩形が３２×３２ピクセルの３２×３２ブロックの如くマクロ・ブロックの完全な部分又は別々のブロックとして、個別のシーケンスが符号化されて、矩形のシーケンスの信頼性エラーのない符号化を容易にする。よって、符号化されたフレーム識別コードを、信頼性をもって維持する。

ビデオ信号のどのフレームかを識別するためのタイミング・シーケンスによりオーディオ信号も符号化され、オーディオ・データの特定部分と同期される。本発明の特定実施例において、これは、多くの分離した個別の周波数を作るオーディオ・トーンを含むことにより、成し遂げられる。データ・ワードの１ビットを、グレー・コードの単一ビットを表すビデオ・コードの各シーケンシャルを各周波数がアナログ方法にて表す。これにより、フーリエ分析技術を用いて、符号化されたトーンを分析して、個別の周波数成分及びトーンが表す２進コードが存在するかそうでないかを判断できる。かかる符号化されたトーンの周波数分析の例を図５に図的に示す。水平軸は、検出した周波数成分の周波数をＫＨｚで表す一方、垂直軸は、その成分のパワーを表す。図５に示す例において、２つの周波数成分４０は、９ＫＨｚ及び１２ＫＨｚで示される。選択されたコードが５ビット・コードで、３ＫＨｚを中心とする周波数成分が最上位ビットを表し、１５ＫＨｚが最下位ビットならば、図５に示す周波数スペクトルは、グレー・コードで２進ワード００１０１、即ち、１０進法の７を表す。符号化されたタイミング・ワードの個別ビットを表すために選択される周波数成分の選択においては、配慮が必要である。これは、オーディオ・エンコーダにとっては、人間の耳に聞こえる及び聞こえない周波数が何かの分析に基づいて信号のある周波数成分を捨てるということが一般的な方法のためである。したがって、タイミング・ワード用に選択された周波数成分は、かかる符号化技術により捨てられないものでなければならない。

本発明の他の実施例において、オーディオ・コードを所定時間間隔における一連の短いオーディオ・トーンとして符号化してもよく、この一連での各トーンがタイミング・ワード内のビットを表し、トーンが存在するか否かがビットの２進状態を表す。また例としては、一連の８つのオーディオ・トーンを用いて、８ビット２進ワードを表す。オーディオ・トーンの周波数は、予め選択されてこれらの検出を容易にする。

図６は、被試験符号化システムにより符号化した後に、本発明の実施例により上述のフォーマットの試験オーディオ・ビジュアル・データ・ストリームを分析する分析エンジンを図的に示している。基本的なコンポーネントは、図２に示すシステム用と同じである。個別のビデオ及びオーディオのデータ・ストリーム６１６、６１８は、各時間コード検出ユニット６２２、６２４への入力として供給される。各時間コード検出ユニットは、埋め込みビデオ及びオーディオの時間コードを識別し復号化するように配置されている。その結果、好適実施例において、コード化された黒及び白の矩形のシーケンスを探し、特定のシーケンスが表す２進コードを求め、個別のフレーム番号を識別するように、ビデオ時間コード検出ユニット６２２が配置される。各フレームが受信される時間的ポイントも求まる。同様に、埋め込みオーディオ時間コードの必要な周波数分析を行って、現在の周波数成分及びそれを表す２進コードを求めるように、オーディオ時間コード検出ユニット６２４を好適には配置する。時間コード検出ユニットからの関連した出力信号を時間比較ユニット６２６に供給する。この時間比較ユニットは、関連埋め込み時間コードが識別するように、データ・ストリームの対応部分の受信時点に基づいて、オーディオ及びビデオのデータ・ストリーム間の任意の時間遅延を求めるように配置されている。任意の時間遅延を報告及び／又は警告ユニット６２８への入力として供給する。このユニット６２８は、例えば、ローカル・データ・ストレージ６３０にルックアップ・テーブルとして蓄積されてもよいある所定パラメータを時間遅延が超えたかを判断するように配置されている。

符号化されたオーディオ・ビジュアル・データ・ストレージの各フレームは、その各埋め込み時間コードにより個別に識別されるので、本出願人の継続中の出願で説明したスキームによる場合のままで、
分析エンジンは、単一フレームのスペース内で分離したオーディオ及びビデオのデータ・ストリームの相対部分を求めることができると共に、各ビデオ／オーディオ「事象」のみのための遅延情報とは対照的に、各フレームのオーディオ／ビデオ時間遅延情報を提供できる。その結果、本発明の装置及び方法は、改善された速度で、遅延情報と、この遅延情報の改善された分解能とを提供できる。

図１は、可能な試験信号内に含まれるオーディオ及びビデオの事象のタイミング及び継続時間を図的に示す。 図２は、図１に示すオーディオ及びビデオの信号の間の時間遅延を測定する時間遅延分析システムを図的に示す。 図３は、図１に示す如きオーディオ及びビデオの信号の相対時間を図的に示し、オーディオ及びビデオの信号の間に遅延が存在する。 図４は、本発明の実施例によりタイムスタンプを視覚的に符号化する方法を図的に示す。 図５は、本発明の実施例によりタイムスタンプをオーディオ符号化する方法を図的に示す。 図６は、図４及び図５に示す種類の符号化されたタイムスタンプを有するオーディオ及びビデオの信号の間の時間遅延を測定する本発明の実施例による時間遅延分析システムを図的に示す。

Claims (9)

1. オーディオ及びビジュアルの信号の間の遅延を測定する方法であって、
   視覚的に符号化された複数の一連のタイムスタンプを有するビデオ信号を供給すると共に、聴覚的に符号化された対応する複数のタイムスタンプを有するオーディオ信号を供給し、上記オーディオ及びビデオ信号が互いに同期しており、
   上記オーディオ及びビデオ信号を符号化して、デジタル的に符号化されたオーディオ及びビデオ・データ・ストリームを発生し、
   上記符号化されたビデオ及びオーディオ・データ・ストリームを分析して、上記聴覚的及び視覚的に符号化されたタイムスタンプの各々を抽出し、
   対応するビデオ及びオーディオのタイムスタンプの受信時点の間の遅延を測定することを具え、
   各視覚的符号化されたタイムスタンプは、複数の表示セグメントを具え、各セグメントの色又は影が２進状態で表されて、上記視覚的に符号化されたタイムスタンプが２進コードの視覚的表現を提供し、上記２進コードが上記ビデオ信号の各フレーム用のフレーム・カウントを具え、
   各聴覚的に符号化されたタイムスタンプは、複数の所定周波数成分を有するオーディオ・トーンを具え、周波数成分の存在が２進状態の表現であって、上記聴覚的に符号化されたタイムスタンプが２進コードのオーディオ表現を提供し、上記２進コードが上記ビデオ信号の各フレーム用のフレーム・カウントを具えることを特徴とする方法。
2. 上記ビデオ及びオーディオのタイムスタンプの各々が異なる継続時間を有することを特徴とする請求項１の方法。
3. 上記タイムスタンプの上記継続時間が上記シーケンスを通じて順次増加することを特徴とする請求項２の方法。
4. 上記オーディオ及びビデオのタイムスタンプの各々が時間周期で分離された間隔であり、各夫々の時間周期が異なる継続時間を有することを特徴とする先行する任意の請求項の方法。
5. タイムスタンプの間の上記時間周期が上記タイムスタンプのシーケンスを通じて順次増加することを特徴とする請求項４の方法。
6. 各ビデオ・タイムスタンプは、所定の表示セクタを明るくすることを具えることを特徴とする先行する任意の請求項の方法。
7. 各オーディオ・タイムスタンプが聴覚的なトーンを発生することを具えることを特徴とする先行する任意の請求項の方法。
8. 上記表示セグメントが複数のマクロ・ブロックを具えることを特徴とする請求項６の方法。
9. デジタル的に符号化されたオーディオ及びビデオの信号の間の遅延を測定する装置であって、上記ビデオ信号は、視覚的に符号化された複数の連続的なタイムスタンプを有し、上記オーディオ信号は、聴覚的に符号化された対応する複数のタイムスタンプを有し、上記オーディオ及びビデオの信号が互いに同期され、
   上記符号化されたビデオ信号に符号化されたタイムスタンプの各々を検出し、上記タイムスタンプを復号化し、上記ビデオ・タイムスタンプの受信の実際の時間を表す第１時間信号を提供するように配置されたビデオ・タイムスタンプ検出器と、
   上記符号化されたオーディオ信号に符号化された上記タイムスタンプの各々を検出し、上記タイムスタンプを復号化し、上記オーディオ・タイムスタンプの実際の時間を表す第２時間信号を提供するように配置されたオーディオ・タイムスタンプ検出器と、
   上記第１及び第２の時間信号を受け、これらの受信時点の間の遅延を測定するように配置されたタイムスタンプ比較器とを具え、
   各視覚的符号化されたタイムスタンプは、複数の表示セグメントを具え、各セグメントの色又は影が２進状態で表されて、上記視覚的に符号化されたタイムスタンプが２進コードの視覚的表現を提供し、上記２進コードが上記ビデオ信号の各フレーム用のフレーム・カウントを具え、
   各聴覚的に符号化されたタイムスタンプは、複数の所定周波数成分を有するオーディオ・トーンを具え、周波数成分の存在が２進状態の表現であって、上記聴覚的に符号化されたタイムスタンプが２進コードのオーディオ表現を提供し、上記２進コードが上記ビデオ信号の各フレーム用のフレーム・カウントを具えることを特徴とする装置。

Images