JP2005101782A - 映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法 - Google Patents

Abstract

【課題】外部に映像音声遅延測定用の信号発生器を必要とすることなく、映像音声遅延を測定可能な映像音声遅延確認回路を提供する。
【解決手段】映像テスト信号発生部１３はテスト映像信号を生成して出力し、音声テスト信号発生部１４はテスト音声信号を生成して出力する。信号切替器１６は入力映像信号とテスト映像信号との切替えを行い、切替え後の映像信号は映像符号化部１８に入力されて映像符号化データに変換される。信号切替器１７は入力音声信号とテスト音声信号との切替えを行い、切替え後の音声信号は音声符号化部１９に入力されて音声符号化データに変換される。変換された映像符号化データ及び音声符号化データは多重化部２０に送られて多重され、ＴＳデータとして出力される。符号化開始制御部１５は上記の切替え制御と符号化開始制御とを行う。
【選択図】図１

Description

本発明は映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法に関し、特にビデオコーデックにおける映像音声遅延の確認方法に関する。

従来、ビデオコーデックを構成するビデオエンコーダにおいては、映像音声遅延を測定する場合、図４に示すように、専用の外部テスト信号発生器（映像信号源）４からの映像信号と音声信号とをビデオエンコーダ３の映像入力部３１と音声入力部３２とに入力し、映像符号化部３４及び音声符号化部３５で符号化した後に多重化部３６で多重化してＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）ストリームとして出力される。

ビデオエンコーダから出力されたＴＳストリームはビデオデコーダ（図示せず）に入力され、ビデオデコーダで映像音声遅延差が測定されている。尚、図４において、符号化開始制御部３３は符号化開始信号が入力されると、映像符号化信号を映像符号化部３４に出力し、音声符号化信号を音声符号化部３５に出力している。

特開平１１−２５２０５８号公報

しかしながら、上述した従来のビデオコーデックでは、映像・音声テスト信号発生部がビデオエンコーダの外部にあるため、ビデオコーデックの映像音声遅延差を確認する場合、専用のテスト信号発生器を用意し、ビデオエンコーダの入力信号として入力する必要がある。

つまり、従来のビデオコーデックでは、映像音声遅延測定用の信号を用意してビデオエンコーダに入力しないと、映像音声遅延を測定することができないという問題がある。

そこで、本発明の目的は上記の問題点を解消し、外部に映像音声遅延測定用の信号発生器を必要とすることなく、映像音声遅延を測定することができる映像音声遅延確認回路及びそれに用いる映像音声遅延確認方法を提供することにある。

本発明による映像音声遅延確認回路は、映像信号を符号化する映像符号化手段と、音声信号を符号化する音声符号化手段とを含むビデオエンコーダと、前記映像信号及び前記音声信号を復号化するビデオデコーダとからなるビデオコーデックにおいて前記映像信号と前記音声信号との遅延を確認する映像音声遅延確認回路であって、
映像のテスト信号を発生する映像テスト信号発生手段と、
前記映像の映像のテスト信号に同期した音声のテスト信号を発生する音声テスト信号発生手段と、
映像フレーム単位に異なる信号を出力するように前記映像テスト信号発生手段及び前記音声テスト信号発生手段を制御しかつ前記映像符号化手段及び前記音声符号化手段各々の符号化開始点が前記映像フレームに同期するよう制御する符号化開始制御手段とを前記ビデオエンコーダに内蔵し、
前記ビデオデコーダにおいて復号化された映像信号及び音声信号各々の変化点を観測して前記映像信号と前記音声信号との相対遅延差を測定している。

本発明による映像音声遅延確認方法は、映像信号を符号化する映像符号化手段と、音声信号を符号化する音声符号化手段とを含むビデオエンコーダと、前記映像信号及び前記音声信号を復号化するビデオデコーダとからなるビデオコーデックにおいて前記映像信号と前記音声信号との遅延を確認する映像音声遅延確認方法であって、
映像のテスト信号を発生する映像テスト信号発生手段と、前記映像の映像のテスト信号に同期した音声のテスト信号を発生する音声テスト信号発生手段とを前記ビデオエンコーダに内蔵し、
前記映像テスト信号発生手段及び前記音声テスト信号発生手段を映像フレーム単位に異なる信号を出力するように制御するとともに、前記映像符号化手段及び前記音声符号化手段各々の符号化開始点が前記映像フレームに同期するよう制御し、
前記ビデオデコーダにおいて復号化された映像信号及び音声信号各々の変化点を観測して前記映像信号と前記音声信号との相対遅延差を測定している。

すなわち、本発明の映像音声遅延確認回路は、映像信号及び音声信号各々の符号化及び復号化を行うビデオコーデックにおいて、コーデックを通過した映像信号と音声信号との相対遅延差を測定する手段を内蔵している。

より具体的に説明すると、本発明の映像音声遅延確認回路では、ビデオコーデックを構成するビデオエンコーダ内に、それぞれ同期した映像・音声のテスト信号を発生する映像テスト信号発生部及び音声テスト信号発生部が配設されている。

これら映像テスト信号発生部及び音声テスト信号発生部は符号化開始制御部によって映像フレーム単位に異なる信号を出力するように制御されている。また、符号化開始制御部では映像テスト信号発生部及び音声テスト信号発生部からそれぞれ出力される信号が映像符号化部及び音声符号化部で符号化される際に、それらの符号化開始点が映像フレームに同期するように制御している。

本発明の映像音声遅延確認回路では、この制御によって符号化開始時に映像符号化データと音声符号化データとに同じ時刻情報が付けられてそれぞれの符号化部から出力される。また、本発明の映像音声遅延確認回路では、音声符号化の方式に依存するが、およそ２０秒程度に１回程度同じ時刻情報を持った映像・音声符号化データを生成することが可能である。

ビデオデコーダに送られたＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）ストリームは復号化され、映像・音声信号として出力される。出力される映像と音声信号との変化点を観測することによって、映像と音声との相対遅延差を正確に測定することが可能となる。

本発明は、以下に述べるような構成及び動作とすることで、外部に映像音声遅延測定用の信号発生器を必要とすることなく、映像音声遅延を測定することができるという効果が得られる。

次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例によるビデオエンコーダの構成を示すブロック図である。図１において、ビデオエンコーダ１は映像入力部１１と、音声入力部１２と、映像テスト信号発生部１３と、音声テスト信号発生部１４と、符号化開始制御部１５と、信号切替部１６，１７と、映像符号化部１８と、音声符号化部１９と、多重化部２０とから構成されている。

映像テスト信号発生部１３はテスト映像信号を生成して出力し、音声テスト信号発生部１４はテスト音声信号を生成して出力する。信号切替器１６は入力映像信号とテスト映像信号との切替えを行う。切替え後の映像信号は映像符号化部１８に入力され、映像符号化部１８で映像符号化データに変換される。信号切替器１７は入力音声信号とテスト音声信号との切替えを行う。切替え後の音声信号は音声符号化部１９に入力され、音声符号化部１９で音声符号化データに変換される。

映像符号化部１８及び音声符号化部１９でそれぞれ変換された映像符号化データ及び音声符号化データは多重化部２０に送られ、多重化部２０で多重されてＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）データとして出力される。符号化開始制御部１５はテスト映像信号及びテスト音声信号の切替えと、映像符号化部１８及び音声符号化部１９に対する符号化開始制御とを行う。

図２は図１の符号化開始制御部１５の構成を示すブロック図である。図２において、符号化開始制御部１５はカウンタ２１と、デコード部２２と、ＡＮＤ（アンド）回路２３と、符号化開始判定部２４とから構成されている。

符号化開始制御部１５には入力映像信号のフレーム同期信号を示すフレーム同期信号及び映像信号同期クロックと、制御部（図示せず）から送られる符号化開始を示すフラグ信号に相当する符合化開始信号と、映像・音声入力かまたはテスト信号を選択するかを示すテスト選択信号（図２ではテスト未選択時の信号及びカウンタ値「１」）とが入力される。

符号化開始制御部１５は上記の入力信号を基に、信号切替器１６，１７へのテスト切替信号（図２ではテスト映像信号選択及びテスト音声信号選択）と、映像符号化部１８及び音声符号化部１９各々への符号化開始信号（図２では映像符号化開始信号及び音声符号化開始信号）とを出力する。

カウンタ２１はテスト信号を選択するテスト選択信号（カウンタ値「１」）が入力されると、映像信号同期クロックによってフレームのカウントを開始し、フレームカウント値をデコード部２２に送る。以後、カウンタ２１はデコード部２２からの信号（ｄｅｃ＿８０）を基に「１」〜「８０」までのカウントを行い、映像・音声入力を選択するテスト選択信号（テスト未選択時の信号）が入力されると、そのカウント値がリセットされる。

デコード部２２はカウンタ２１からのフレームカウント値をデコードし、信号（ｄｅｃ＿８０）をカウンタ２１にフィードバックするとともに、テスト切替信号（テスト映像信号選択及びテスト音声信号選択）を信号切替器１６，１７へ出力する。

ＡＮＤ回路２３はフレーム同期信号と符合化開始信号との論理積演算を行い、その演算結果をカウンタ２１に出力する。符号化開始判定部２４はフレーム同期信号と符合化開始信号と映像信号同期クロックとから符号化開始を判定し、映像符号化開始信号及び音声符号化開始信号を映像符号化部１８及び音声符号化部１９各々へ出力する。

尚、上記の映像入力部１、音声入力部２、映像符号化部５、音声符号化部６各々は当業者にとってよく知られており、また本発明とは直接関係しないので、その構成についての説明は省略する。

図３は図２の符号化開始制御部１５の動作を示すタイムチャートである。これら図１〜図３を参照して符号化開始制御部１５の動作について説明する。

符号化開始制御部１５はテスト信号が選択され、かつ符号化開始が選択されると、映像信号入力のフレーム信号にしたがってカウンタ２１を動作させる。カウンタ２１はテスト信号が選択され、かつ符号化開始が選択された場合以外、“０”にリセットされ、フレーム信号にしたがってカウントアップする。

カウンタ２１は「１」〜「８０」までサイクリックに変化する。カウンタ２１は「１」から「５」の時に、映像テスト信号発生部１３に対して「カラーバー」を出力するように指定し、音声テスト信号発生部１４に対して「１ｋＨｚの正弦波」を出力するように指定する。

カウンタ２１は「６」から「８０」の時に、映像テスト信号発生部１３に対して「クロ」を出力するように指定し、音声テスト信号発生部１４に対して「無音（レベル０）」を出力するように指定する。

符号化開始判定部２４はテスト信号が選択され、かつ符号化開始が選択された後、始めてフレーム同期信号が入力された直後、映像符号化部１５及び音声符号化部１６へそれぞれ符号化開始信号（映像符号化開始信号及び音声符号化開始信号）を出力する。

この動作によって、本実施例では、符号化開始時、映像音声の符号化データにつけられる時刻情報を一致させることができる。また、８０フレーム単位で映像音声のテスト信号を変化させることによって、符号化開始時以外でも映像・音声の符号化単位を一致させることができる。

８０フレーム周期で映像信号を切替える理由は、放送の分野で広く一般に使われている映像フレーム周波数２９．９７Ｈｚ、音声サンプリング周波数４８ｋＨｚで、音声符号化形式がＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）３０２Ｍ、ＭＰＥＧ１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ １）−Ｌａｙｅｒ２、ＭＰＥＧ２−ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）の場合、次の周期で、映像と音声との符号化単位を一致させることによる。

ＳＭＰＴＥ３０２Ｍでは音声信号を映像１フレーム単位で符号化するので、「１６０２」か「１６０３」サンプル単位で符号化される。ＭＰＥＧ１−Ｌａｙｅｒ２では「１１５２」サンプル単位に符号化され、ＭＰＥＧ２−ＡＡＣでは「１０２４」サンプル単位に符号化される。

これらの符号化形式において、映像フレームと音声符号化単位とが一致する周期は、ＳＭＰＴＥ３０２Ｍの場合に１フレーム（１６０１，１６０２音声サンプル）、ＭＰＥＧ１−Ｌａｙｅｒ２の場合に７２０フレーム（１１５３１５２音声サンプル）、ＭＰＥＧ２−ＡＡＣの場合に６４０フレーム（１０２５０２４音声サンプル）になる。この条件の中で、全ての符号化形式に対応することができるテスト信号発生の周期は７２０フレームと６４０フレームとの最大公約数に相当する８０フレームになる。この条件によって、本実施例では、テスト信号の切替え周期を８０フレームとしている。

このように、本実施例では、映像テスト信号発生部１３及び音声テスト信号発生部１４をビデオエンコーダ１に内蔵しているので、ビデオエンコーダ１の外部に映像音声遅延測定用の信号発生器を必要とすることなく、映像音声遅延を測定することができる。

また、本実施例では、ビデオエンコーダ１から出力されるＴＳストリームにおいて映像データの時刻データと音声データの時刻データとが一致しているので、ビデオデコーダの試験信号として使用することができる。

本発明では、映像フレーム周期として２９．９７Ｈｚについて述べているが、映像フレーム周期が２９．９７Ｈｚ以外の信号系列においても、テスト信号を発生させる周期を変更することで、適用させることが可能である。

また、本発明はＭＰＥＧ２ビデオコーデック、ＳＮＧ（Ｓａｔｅｌｌｉｔｅ Ｎｅｗｓ Ｇａｔｈｅｒｉｎｇ）、ディジタルＦＰＵ（Ｆｉｅｌｄ Ｐｉｃｋｕｐ Ｕｎｉｔ）にも適用可能である。

本発明の一実施例によるビデオエンコーダの構成を示すブロック図である。 図１の符号化開始制御部の構成を示すブロック図である。 図２の符号化開始制御部の動作を示すタイムチャートである。 従来例によるビデオエンコーダの構成を示すブロック図である。

符号の説明

１ ビデオエンコーダ
１１ 映像入力部
１２ 音声入力部
１３ 映像テスト信号発生部
１４ 音声テスト信号発生部
１５ 符号化開始制御部
１６，１７ 信号切替部
１８ 映像符号化部
１９ 音声符号化部
２０ 多重化部
２１ カウンタ
２２ デコード部
２３ ＡＮＤ回路
２４ 符号化開始判定部

Claims (6)

1. 映像信号を符号化する映像符号化手段と、音声信号を符号化する音声符号化手段とを含むビデオエンコーダと、前記映像信号及び前記音声信号を復号化するビデオデコーダとからなるビデオコーデックにおいて前記映像信号と前記音声信号との遅延を確認する映像音声遅延確認回路であって、
   映像のテスト信号を発生する映像テスト信号発生手段と、
   前記映像の映像のテスト信号に同期した音声のテスト信号を発生する音声テスト信号発生手段と、
   映像フレーム単位に異なる信号を出力するように前記映像テスト信号発生手段及び前記音声テスト信号発生手段を制御しかつ前記映像符号化手段及び前記音声符号化手段各々の符号化開始点が前記映像フレームに同期するよう制御する符号化開始制御手段とを前記ビデオエンコーダに内蔵し、
   前記ビデオデコーダにおいて復号化された映像信号及び音声信号各々の変化点を観測して前記映像信号と前記音声信号との相対遅延差を測定することを特徴とする映像音声遅延確認回路。
2. 前記符号化開始制御手段は、前記映像符号化手段及び前記音声符号化手段各々で符号化された信号に同じ時刻情報を付けて出力させることを特徴とする請求項１記載の映像音声遅延確認回路。
3. 入力映像信号と前記映像のテスト信号とを切替える映像切替手段と、入力音声信号と前記音声のテスト信号とを切替える音声切替手段とを前記ビデオエンコーダに含み、
   前記符号化開始制御手段は、映像音声遅延を確認する際に前記映像のテスト信号及び前記音声のテスト信号への切替えを行うように前記映像切替手段及び音声切替手段を制御することを特徴とする請求項１または請求項２記載の映像音声遅延確認回路。
4. 映像信号を符号化する映像符号化手段と、音声信号を符号化する音声符号化手段とを含むビデオエンコーダと、前記映像信号及び前記音声信号を復号化するビデオデコーダとからなるビデオコーデックにおいて前記映像信号と前記音声信号との遅延を確認する映像音声遅延確認方法であって、
   映像のテスト信号を発生する映像テスト信号発生手段と、前記映像の映像のテスト信号に同期した音声のテスト信号を発生する音声テスト信号発生手段とを前記ビデオエンコーダに内蔵し、
   前記映像テスト信号発生手段及び前記音声テスト信号発生手段を映像フレーム単位に異なる信号を出力するように制御するとともに、前記映像符号化手段及び前記音声符号化手段各々の符号化開始点が前記映像フレームに同期するよう制御し、
   前記ビデオデコーダにおいて復号化された映像信号及び音声信号各々の変化点を観測して前記映像信号と前記音声信号との相対遅延差を測定することを特徴とする映像音声遅延確認方法。
5. 前記映像符号化手段及び前記音声符号化手段各々で符号化された信号に同じ時刻情報を付けて出力させることを特徴とする請求項４記載の映像音声遅延確認方法。
6. 入力映像信号と前記映像のテスト信号とを切替える映像切替手段と、入力音声信号と前記音声のテスト信号とを切替える音声切替手段とを前記ビデオエンコーダに内蔵し、
   前記映像切替手段及び音声切替手段を映像音声遅延を確認する際に前記映像のテスト信号及び前記音声のテスト信号への切替えを行うように制御することを特徴とする請求項４または請求項５記載の映像音声遅延確認方法。
   

Images