JP2013514034A - オーディオ信号及びビデオ信号の同期化誤差の補正方法及び装置 - Google Patents

Abstract

本発明は、複数の動画を結合する時に発生するビデオ信号とオーディオ信号間の同期化誤差を補正する同期化誤差の補正装置及び方法を開示する。本発明は、互いに異なる動画コンテンツを結合するにあたって、結合される動画の最初のビデオ信号とオーディオ信号間の同期化誤差を格納し、複数の動画コンテンツを結合する時、既存にビデオ信号とオーディオ信号とが互いに同期化するように設定された最初の同期化誤差が維持されるように結合することで、従来技術が画一的にビデオ信号とオーディオ信号とを結合して誤差を変更することで、ビデオ信号とオーディオ信号とが非同期化されて不自然な動画が表現されるという問題点を解消した。
【選択図】図２

Description

本発明は、動画同期化誤差の補正装置に関し、さらに具体的には、オーディオ信号とビデオ信号間の同期化誤差を補正する方法及び装置に関する。

連続する映像（ライブ放送映像）をＷｉｎｄｏｗ Ｍｅｄｉａ Ｅｎｃｏｄｅｒのようなエンコードソフトウェアを通じてリアルタイムでエンコードして放送する場合は、次のような多様な場合が存在する。

第一、キャプチャデバイスから直接的なエンコード方式が存在し、第二、キャプチャデバイスから間接的なエンコード方式が存在する。

第一の方式の場合、デバイスからＡ／Ｖの誤差が補正された数値が既にストリーミングデータに含まれているため問題にならないが、第二の方式の場合、Ａ／ＶのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）値をＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）によって数値的な計算で処理する過程における誤差が存在する。

例えば、３０ＦＰＳは、秒当たり３０回のＦｒａｍｅが画面に出力されるという意味を有するが、これを数値で表現すると、（１００００００００．０ｎａｎｏｓｅｃ／３０．０）＝３３３３３３３．３３３３３３…となり、これをＡｖｇＴｉｍｅＰｅｒＦｒａｍｅという。

ＡｖｇＴｉｍｅＰｅｒＦｒａｍｅは、ＰＴＳを決定することに重要な役割をし、映像がどれぐらい画面に表示されなければならないかを決める数値となる。

計算されたＡｖｇＴｉｍｅＰｅｒＦｒa ｍｅで秒当たり３０Ｆｒａｍｅを計算する場合、（３３３３３３３＊３０）＝９９９９９９９０で処理されて、１０ｎａｎｏｓｅｃの誤差が存在する。

また、映像専用のキャプチャデバイスの場合は、３０ＦＰＳに合わせて３０Ｆｒａｍｅの画面がキャプチャされるが、ウェブカメラのようなパーソナルキャプチャデバイスの場合は、秒当たり３０ＦＰＳに設定されているとしても、秒当たり３０Ｆｒａｍｅがキャプチャされず、３０ＦＰＳ未満にキャプチャされて、前記の誤差がさらに大きくなる短所がある。即ち、設定されたＦＰＳとキャプチャされるＦＰＳとの数が一致しない場合が存在する。

このような過程でこのような数値誤差は、長時間エンコードされてストリーミングされる過程で、映像と音声の誤差で表れてサービスに困難が発生し得る。

このような誤差の問題点は、動画を生成するキャプチャリングデバイスと、これを符号化して転送するエンコード装置間に、互いに異なるＦＰＳで動画コンテンツ（ビデオ信号とオーディオ信号とを含む、以下同一）を処理する場合に特に深刻な問題点として台頭される。

それだけでなく、一つの動画コンテンツに他の動画コンテンツを挿入する場合は、各動画ごとにビデオ信号とオーディオ信号間の同期化誤差が互いに異なり、一つの動画の途中に他の動画を挿入する場合に、画面は出るが無音で処理されるか、音は聞こえるが画面が出ない状況が発生する。

このような場合は、地上波放送で途中に広告動画を挿入する場合に特に問題となるが、スポーツ中継の途中に広告動画を挿入する場合に、映像のみが表示されて音声が聞こえない場合や、音声は聞こえるが映像が表示されずにブラックスクリーンなどで表示される場合は、視聴者が拒否感を感じるという問題点が発生する。

本発明が解決しようとする課題は、動画コンテンツを途中に挿入するか、複数の動画コンテンツを結合する場合に、互いに異なる動画間のオーディオ信号とビデオ信号間の同期化誤差を補正して、自然な動画の再生が可能な同期化誤差の補正方法及び装置を提供することである。

また、本発明が解決しようとする他の課題は、ビデオ信号とオーディオ信号間の同期化誤差を補正しながら、動画のＦＰＳを再設定することができる同期化誤差の補正方法及び装置を提供することである。

前述した課題を解決するための本発明の一実施例による同期化誤差の補正装置は、ビデオ信号とオーディオ信号で構成される動画コンテンツを複数の動画ソースから入力を受けて出力するソース選択部と、複数の動画コンテンツのそれぞれに対してビデオ信号とオーディオ信号間に事前に設定された最初の同期化誤差を抽出する誤差補正部と、複数の動画コンテンツのビデオ信号及びオーディオ信号のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を複数の動画が結合された後に生成される結合動画コンテンツのＰＴＳに対応するように再設定して前記複数の動画コンテンツを結合し、結合された各動画コンテンツ領域の前記オーディオ信号とビデオ信号間の前記最初の同期化誤差が維持されるようにＰＴＳを再設定するＰＴＳ調節部とを含む。

また、第１動画コンテンツの途中に第２動画コンテンツが挿入される場合に、前記ＰＴＳ調節部は、前記第１動画コンテンツの途中に前記第２動画コンテンツが結合され、前記第２動画コンテンツの末端に前記第１動画コンテンツの残余部分が結合されるようにＰＴＳを調節し、前記第１動画コンテンツの残余部分が結合される時、前記第１動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差が維持されるようにビデオ信号とオーディオ信号のＰＴＳを設定する。

また、前述した本発明の一実施例による同期化誤差の補正装置は、エンコーダから入力された設定情報に含まれたＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）設定情報に従って、結合された動画コンテンツのビデオ信号のＦＰＳを調節するＦＰＳ調節部をさらに含む。

また、前記ＦＰＳ調節部は、前記ＦＰＳ設定情報に従ってＦＰＳが調節された後の各映像フレームの時間上の位置を設定し、ＦＰＳ調節前の前記結合動画コンテンツのビデオ信号を構成する各映像フレームのうち、前記ＦＰＳ設定情報に従って設定された各映像フレームの時間上の位置の直前の映像フレームを利用して、結合動画コンテンツのビデオ信号のＦＰＳを調節する。

また、前述した本発明の一実施例による同期化誤差の補正装置は、エンコーダから入力された設定情報に含まれた画面の割合設定情報に従って、前記ＦＰＳが調節された結合動画コンテンツのビデオ信号の画面の割合を調節する割合調節部をさらに含む。

また、前述した本発明の一実施例による同期化誤差の補正装置は、エンコーダから入力された設定情報に含まれたリサンプリング設定情報に従って、ＰＴＳが調節されたオーディオ信号をリサンプリングするリサンプリング部をさらに含む。

一方、前述した課題を解決するための本発明の一実施例による同期化誤差の補正方法は、複数の動画ソースから入力された複数の動画コンテンツのビデオ信号とオーディオ信号間の同期化誤差を補正して複数の動画コンテンツを結合して出力する同期化誤差の補正装置で行われる同期化誤差の補正方法であって、（ａ）動画ソースから第１動画コンテンツを受信するステップと、（ｂ）動画ソースから前記第１動画コンテンツに結合される第２動画コンテンツを受信して前記第２動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差を抽出して最初の同期化誤差情報を生成するステップと、（ｃ）前記第２動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差が維持されるように前記最初の同期化誤差情報に従って前記第２動画コンテンツを前記第１動画コンテンツに結合するステップとを含む。

また、前記第１動画コンテンツの途中に前記第２動画コンテンツが挿入される場合に、前記（ａ）ステップにおいて、前記同期化誤差の補正装置は、前記第１動画コンテンツの最初の同期化誤差を抽出し、前記（ｃ）ステップにおいて、前記同期化誤差の補正装置は、前記第１動画コンテンツの途中に、前記第２動画コンテンツの最初の同期化誤差が維持されるように前記第２動画コンテンツを結合し、（ｄ）前記第２動画コンテンツの結合が完了した後、前記第１動画コンテンツの最初の同期化誤差が維持されるように前記第２動画コンテンツの末端に前記第１動画コンテンツを結合するステップをさらに含む。

また、前記同期化誤差の補正装置は、前記第１動画コンテンツ及び前記第２動画コンテンツのＰＴＳを、前記第１動画コンテンツ及び前記第２動画コンテンツが結合されて生成される結合動画のＰＴＳに対応するように再設定することで、前記第１動画コンテンツ及び前記第２動画コンテンツを結合する。

また、前記同期化誤差の補正装置は、エンコーダから受信したＦＰＳ設定情報及びリサンプリング設定情報に従って、結合動画コンテンツのビデオ信号のＦＰＳを変換して、オーディオ信号をリサンプリングして出力する。

また、前記同期化誤差の補正装置は、前記ＦＰＳ設定情報に従ってＦＰＳが調節された後の結合動画コンテンツの各映像フレームの時間上の位置を設定し、ＦＰＳ調節前の前記結合動画コンテンツのビデオ信号を構成する各映像フレームのうち、前記ＦＰＳ設定情報に従って設定された各映像フレームの時間上の位置の直前の映像フレームを利用して、結合動画コンテンツのビデオ信号のＦＰＳを調節する。

また、前記同期化誤差の補正装置は、ＦＰＳが変換された結合動画コンテンツのビデオ信号を前記エンコーダから受信した画面の割合設定情報に従って映像フレームの割合を調節して出力する。

また、前述した本発明の一実施例による同期化誤差の補正方法は、請求項７または８の同期化誤差の補正方法をコンピューターで読み取ることができ、実行可能なプログラムコードで記録した記録媒体で提供される。

本発明は、互いに異なる動画コンテンツを結合するにあたって、結合される動画に対してビデオ信号とオーディオ信号が互いに最適に同期化されるように設定された最初の同期化誤差を格納し、複数の動画コンテンツを結合する時、既存の最初の同期化誤差が維持されるように結合することで、従来技術が画一的にビデオ信号とオーディオ信号を結合して同期化誤差が変更されることで、ビデオ信号とオーディオ信号が非同期化され、不自然な動画が表現される問題点を解消した。

また、本発明は、エンコーダから入力されたＦＰＳ設定情報に従ってＦＰＳが調節された後の結合動画コンテンツの各映像フレームの時間上の位置を設定し、ＦＰＳ調節前の前記結合動画コンテンツのビデオ信号を構成する各映像フレームのうち、前記ＦＰＳ設定情報に従って設定された各映像フレームの時間上の位置の直前の映像フレームを利用して、結合動画コンテンツのビデオ信号のＦＰＳを簡便に調節することができる。

本発明の好ましい実施例によるオーディオ信号及びビデオ信号の同期化誤差の補正装置が動画ソース及びエンコーダと連結された全体構成を示す図面である。 本発明の好ましい実施例による同期化誤差の補正装置の細部構成を示す図面である。 本発明の好ましい実施例によって、ＰＴＳ調節部がビデオ信号とオーディオ信号間の同期化誤差情報を考慮してＰＴＳを調節する過程を説明する図面である。 ビデオ映像フレームのＦＰＳを調節する一例を示す図面である。 好ましい実施例によるオーディオ信号及びビデオ信号の同期化誤差の補正方法を説明するフローチャートである。

以下、添付した図面を参照して本発明の好ましい実施例を説明する。

図１は、本発明の好ましい実施例によるオーディオ信号及びビデオ信号の同期化誤差の補正装置２００が動画ソース１００−１〜１００−ｎ及びエンコーダ３００と連結された全体構成を示す図面である。

図１を参照すると、本発明のオーディオ信号及びビデオ信号の同期化誤差の補正装置２００（以下、「同期化誤差の補正装置」と略称する）は、多数の動画ソース１００−１〜１００−ｎから動画コンテンツ（最初の同期化誤差によって互いに同期化されたビデオ信号及びオーディオ信号を含む、以下同一）の入力を受ける。

図１で動画ソース１００−１〜１００−ｎは、ウェブカメラのように実際に直接動画コンテンツを生成するデバイスであってもよく、事前にコンピューターに格納された動画ファイルをデコーディングしたプログラムであってもよく、デジタル放送を受信してデコーディングして出力するデコーダなどであってもよい。即ち、本発明の動画ソース１００−１〜１００−ｎは、動画コンテンツを同期化誤差の補正装置２００に出力することができれば、そのハードウェア的な構成またはソフトウェア的な構成に制限がない。

また、同期化誤差の補正装置２００は、結合されたオーディオ信号及びビデオ信号間の同期化誤差を補正し、エンコーダ３００が要請したＦＰＳに合うように動画コンテンツのビデオ信号のＦＰＳを再設定し、ビデオ信号のＦＰＳに対応するようにオーディオ信号をリサンプリングしてエンコーダ３００に出力する。

特に、同期化誤差の補正装置２００は、複数の動画ソース１００−１〜１００−ｎから入力される動画コンテンツを一つに結合してエンコーダ３００に出力する。この時、互いに異なる動画ソース１００−１〜１００−ｎから入力される動画コンテンツは、互いに異なるビデオ信号とオーディオ信号間の同期化誤差を有し、互いに異なるＦＰＳを有するので、同期化誤差の補正装置２００は、互いに異なる動画ソース１００−１〜１００−ｎから入力された動画コンテンツを互いに結合しながら、オーディオ信号とビデオ信号間の同期化誤差を補正した後、ビデオ信号のＦＰＳを変換し、ビデオ信号のＦＰＳに対応するようにオーディオ信号をリサンプリングする。以下では、スポーツ中継のようなリアルタイム動画に中間広告動画を挿入する場合のように、一つの動画の途中に他の動画を挿入する場合を例示的に説明する。

一方、エンコーダ３００は、同期化誤差の補正装置２００に自分が所望のＦＰＳ設定情報、リサンプリング設定情報及び画面の割合設定情報などを含む設定情報を転送し、同期化誤差の補正装置２００から受信される動画コンテンツをエンコードして外部ネットワークに転送するか、圧縮して格納する。

図２は、本発明の好ましい実施例による同期化誤差の補正装置２００の細部構成を示す図面である。

図２を参照すると、好ましい実施例による同期化誤差の補正装置２００は、動画選択部２１０、ＰＴＳ調節部２２０、誤差補正部２３０、ＦＰＳ調節部２４０、割合調節部２５０、及びリサンプリング部２６０を含んで構成される。

先ず、動画選択部２１０は、複数の動画ソース１００−１〜１００−ｎのうち使用者または管理者が選択した動画ソースから動画の入力を受けてＰＴＳ調節部２２０及び誤差補正部２３０に出力する。例えば、動画選択部２１０は、スポーツ中継放送信号である動画ソース１（１００−１）を選択して動画コンテンツを出力する途中に、野球のイニングが変わるか、プロバスケットボールのクオーターが変わる場合に、事前に用意された広告動画ソース（１００−２〜１００−ｎのいずれか一つ）を選択して広告データを出力し、広告データが終了するか、または再びスポーツ中継が再開されると、再び動画ソース１（１００−１）を選択してスポーツ中継動画を出力する。

ソース選択部２１０から出力された動画コンテンツは、ＰＴＳ調節部２２０に入力され、誤差補正部２３０は、ＰＴＳ調節部２２０に入力される動画コンテンツのビデオ信号とオーディオ信号間の同期化誤差情報を抽出してＰＴＳ調節部２２０に出力する。この時、誤差補正部２３０は、各動画コンテンツ別にビデオ信号とオーディオ信号間の最初の同期化誤差情報を抽出してＰＴＳ調節部２２０に出力する。

ＰＴＳ調節部２２０は、各動画別に事前に定義されたＰＴＳを複数の動画が結合されて生成された動画のＰＴＳで調節する。この時、ＰＴＳ調節部２２０は、誤差補正部２３０から入力された最初の同期化誤差情報を共に考慮して、ビデオ信号のＰＴＳとオーディオ信号のＰＴＳとの別個で調節することで、結合された動画のＰＴＳを調節する。

図３は、本発明の好ましい実施例によって、ＰＴＳ調節部２２０がビデオ信号とオーディオ信号間の最初の同期化誤差情報を考慮してＰＴＳを調節する過程を説明する図面である。図３に示した例では、ビデオ信号を基準として動画コンテンツを結合すると説明したが、オーディオ信号を基準とする場合も同一の方式が適用されることを注意しなければならない。即ち、図３において、図面符号３０１及び４０１はビデオ信号であり、図面符号３０２及び図面符号４０２はオーディオ信号であるとそれぞれ表示されるが、図面符号３０１及び４０１がオーディオ信号で、図面符号３０２及び図面符号４０２がビデオ信号の場合も、同一の方式で動画コンテンツが結合されることができることを注意しなければならない。

図３を参照して、誤差補正部２３０とＰＴＳ調節部２２０との動作を説明する。

ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）は、各動画コンテンツでビデオ信号を構成する各映像フレームがどれだけの時間の間に画面に表示されるかを表し、オーディオ信号の一単位データがどれだけの時間の間に出力されなければならないかを表すもので、時間の流れに対応するように累積的な値で表示される。ビデオ信号の各映像フレームは、開始ＰＴＳと終了ＰＴＳ値を有し、該当ビデオ映像フレームは、開始ＰＴＳに対応する時間から終了ＰＴＳに対応する時間まで使用者に表示される。

例えて概念的に説明すると、動画ソース１（１００−１）から同期化誤差の補正装置２００に入力されるスポーツ中継動画（Ｃｏｎｔｅｎｔ（Ａ））を構成するビデオ信号の第一のフレームの開始ＰＴＳが０から始まり、１単位で増加し、最後の映像フレームの終了ＰＴＳが１０００であり、他の動画ソース（１００−２〜１００−ｎのいずれか一つ）から同期化誤差の補正装置２００に入力される広告動画（Ｃｏｎｔｅｎｔ（Ｂ））を構成するビデオ信号の第一のフレームの開始ＰＴＳが０から始まり、増加単位が１であり、最後の映像フレームの終了ＰＴＳが１００と仮定する。

そして、動画ソース１（１００−１）から入力されたスポーツ中継動画がＰＴＳ基準として５００になる時点（Ｓ時点）で前半戦が終了し、広告動画が同期化誤差の補正装置２００に入力されれば、同期化誤差の補正装置２００は、Ｓ時点で広告動画をスポーツ中継動画と結合してエンコーダ３００に出力し、広告動画が終了すれば（Ｅ時点）、同期化誤差の補正装置２００が再びスポーツ中継動画の入力を受けて広告動画直後に結合してエンコーダ３００に出力すると仮定する。

この場合、スポーツ中継動画と広告動画とは、それぞれ自分の時間基準に従って設定されたＰＴＳを有し、これに対して、同期化誤差の補正装置２００から出力されるスポーツ中継動画と広告動画とが結合された動画は、一つの時間を基準としてＰＴＳが設定されなければならない。

即ち、スポーツ中継動画と広告動画とが結合されてエンコーダ３００に出力される動画（以下、「結合動画」と称する）は、基準時間０から始まりカウントされなければならない。ところが、スポーツ中継動画の前半戦が終了した後、結合動画のＰＴＳは５００からカウントされるが、新規に挿入される広告動画のＰＴＳは、自分が最初に有していたＰＴＳ値である０から始まるので、これを５００と初期値を変更しなければならない。

また、広告動画が結合された後、結合動画のＰＴＳは６００まで設定されたが、中断してから再開されるスポーツ中継動画（Ｃｏｎｔｅｎｔ（Ａ））は、５００から始まることができる（スポーツ中継動画が事前に録画され、広告動画の結合時点で中断され、それ以上進行されない場合）。この場合は、５００に設定されたスポーツ中継動画のＰＴＳを６００と再設定しなければならない。

また、広告動画が結合される時間の間、スポーツ中継動画がリアルタイムで転送し続けられたが、単に、同期化誤差の補正装置２００に入力されない場合は、スポーツ中継動画のＥ時点におけるＰＴＳは５００以上になり、スポーツ中継動画のＰＴＳと結合動画のＰＴＳとの時間設定が相互合わないので、スポーツ中継動画の各映像フレームのＰＴＳが結合動画のＰＴＳに対応するように変換する作業が必要である。このため、ＰＴＳ調節部２２０は、各動画のＰＴＳを結合動画のＰＴＳと再定義する。

但し、ＰＴＳ調節部２２０は、各動画コンテンツのビデオ信号及びオーディオ信号間の最初の同期化誤差が維持されるようにＰＴＳを再設定しなければならない。図３を再び参照すると、最初にＣｏｎｔｅｎｔ（Ａ）であるスポーツ中継動画のビデオ信号とオーディオ信号間にはＡほどの誤差が存在する。これは、ビデオ信号が先に表示され、ＰＴＳ基準としてＡほどの時間が流れた後にオーディオ信号が出力されればこそ、ビデオ映像とオーディオ信号とが一致して自然な動画が出力されるという意味であり、この誤差が途中で変更されると、画面に表示される様子と実際の音とは互いに同期化されず、視聴者に不便を引き起こす。先ず、ビデオ信号を結合する過程を説明し、同期化誤差を考慮してオーディオ信号を結合する過程は後述する。

図３に示した例において、ＰＴＳ調節部２２０は、広告動画が結合される時点であるＳ時点でＣｏｎｔｅｎｔ（Ａ）のビデオ信号が終了する瞬間（即ち、ＰＴＳ値が５００に対応する時点）を基準として、広告動画であるＣｏｎｔｅｎｔ（Ｂ）の最初ＰＴＳ０を５００と再設定して、Ｃｏｎｔｅｎｔ（Ａ）とＣｏｎｔｅｎｔ（Ｂ）とを結合させる。従って、Ｃｏｎｔｅｎｔ（Ｂ）の最後のフレームの終了ＰＴＳは、６００と再設定される。

また、広告動画が終了し、スポーツ中継動画が再び始まる時点であるＥ時点で、同期化誤差の補正装置２００に再び入力されるＣｏｎｔｅｎｔ（Ａ）のビデオ信号の第一の映像フレームの開始ＰＴＳは６００と再設定され、Ｃｏｎｔｅｎｔ（Ｓ）の最後のフレームの終了ＰＴＳは１１００と再設定される。

前述した方式によって、ビデオ信号は簡便にＰＴＳを再設定して結合されることに対し、オーディオ信号に対するＰＴＳは、各動画コンテンツのビデオ信号との誤差を考慮して再設定される。

図３を参照すると、Ｃｏｎｔｅｎｔ（Ａ）は、最初にビデオ信号とオーディオ信号間にＡほどの誤差が存在し、Ｃｏｎｔｅｎｔ（Ｂ）は、最初にビデオ信号とオーディオ信号間にＢほどの誤差が存在した。これは、Ｃｏｎｔｅｎｔ（Ａ）は、ビデオ信号が出力され、ＰＴＳ時間基準としてＡほどが経過した時点でオーディオ信号が出力されればこそビデオとオーディオとが一致した自然な動画が出力されるということを意味する。同様に、Ｃｏｎｔｅｎｔ（Ｂ）は、ビデオ信号が出力され、ＢほどＰＴＳを基準とした時間が経過した時点でオーディオ信号が出力されればこそ自然な動画が再生されるということを意味する。

ところが、ＰＴＳ調節部２２０がオーディオ信号に対しても、ビデオ信号と同様にＳ時点で、Ｃｏｎｔｅｎｔ（Ａ）のオーディオ信号が終了する時点でＣｏｎｔｅｎｔ（Ｂ）のオーディオ信号を結合すれば、結果的に、Ｃｏｎｔｅｎｔ（Ｂ）に対しては、本来維持しなければならない同期化誤差Ｂを維持することができず、Ｃほどの時間が早まるという結果をもたらし、オーディオ信号が共に出力されなければならないビデオ信号より先に出力されるという問題点が発生する。

このような問題点を解決するために、誤差補正部２３０は、各動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差情報（Ａ及びＢ）を格納し、最初の同期化誤差情報をＰＴＳ調節部２２０に出力する。

誤差情報の入力を受けたＰＴＳ調節部２２０は、ビデオ信号のＰＴＳ再設定とは別個として、オーディオ信号のＰＴＳを再設定する場合は、原本ビデオ信号との最初の同期化誤差が維持されるようにＰＴＳを再設定する。図３の例において、ＰＴＳ調節部２２０は、Ｃｏｎｔｅｎｔ（Ｂ）のオーディオ信号のＰＴＳをＣｏｎｔｅｎｔ（Ｂ）のビデオ信号の再設定されたＰＴＳである６００から最初の同期化誤差であるＢほどが加わった６００＋ＢでＰＴＳを再設定する。

一方、広告動画であるＣｏｎｔｅｎｔ（Ｂ）が終了した時点でも、ＰＴＳ調節部２２０は、Ｃｏｎｔｅｎｔ（Ｂ）のオーディオ信号と復帰したＣｏｎｔｅｎｔ（Ａ）のオーディオ信号とが直ちに結合されるように、Ｃｏｎｔｅｎｔ（Ｂ）のオーディオ信号のＰＴＳを再設定せず、ビデオ信号とオーディオ信号間の最初の同期化誤差を考慮してＰＴＳを再設定する。

図３に示すように、Ｃｏｎｔｅｎｔ（Ａ）の復帰時点であるＥ時点で、Ｃｏｎｔｅｎｔ（Ａ）のビデオ信号とオーディオ信号間には、Ａ"の同期化誤差が発生する。しかし、この同期化誤差は、動画が生成されて圧縮され、再びデコーディングされる複雑な過程で累積した誤差が反映されたものであり得るので、ＰＴＳ調節部２２０は、Ｅ時点で、オーディオ信号のＰＴＳを現在のＣｏｎｔｅｎｔ（Ｂ）のビデオ信号とオーディオ信号間の同期化誤差であるＡ"を反映せず、Ｃｏｎｔｅｎｔ（Ａ）の最初の同期化誤差であるＡを反映して再設定する。従って、図３の示した例において、復帰されたＣｏｎｔｅｎｔ（Ａ）のオーディオ信号の第一のフレームのＰＴＳは、『６００＋Ａ』と再設定される。

一方、ＰＴＳ調節部２２０は、ビデオ信号及びオーディオ信号のＰＴＳ再設定が完了すれば、ＰＴＳ再設定が完了したビデオ信号をリアルタイムでＦＰＳ調節部２４０に出力し、オーディオ信号は、リサンプリング部２６０に出力する。

ＦＰＳ調節部２４０は、既存の互いに異なるＦＰＳに設定された動画コンテンツをエンコーダ３００で要請したＦＰＳに変換する機能を行う。例えば、既存のスポーツ中継動画であるＣｏｎｔｅｎｔ（Ａ）及び広告動画であるＣｏｎｔｅｎｔ（Ｂ）がそれぞれ３０ＦＰＳに設定されており、エンコーダ３００は、１５ＦＰＳである動画コンテンツを要請した場合に、ＦＰＳ調節部２４０は、ＰＴＳ調節部２２０から入力される動画コンテンツのＦＰＳを調節して割合調節部２５０に出力する。

ＦＰＳを変換する方式は多様に適用されることができるが、ＦＰＳ調節部２４０は、事前にエンコーダ３００が要請したＦＰＳに適合するように映像フレームの開始ＰＴＳ及び終了ＰＴＳを設け、ＰＴＳ調節部２２０から入力される一連の映像フレームの中から一つずつ選択して割り当てることで、フレームレートを変換する。

例えば、ビデオ映像フレームのＦＰＳを調節する一例を示す図４において、出力されるビデオ信号の開始ＰＴＳ及び終了ＰＴＳ（次のフレームの開始ＰＴＳと同一であると仮定）は既に設定されており、ＰＴＳ調節部２２０から入力される動画のＦＰＳがエンコーダ３００が要請したＦＰＳより高ければ、出力映像フレームの事前に設定された開始ＰＴＳの直前に位置した、入力映像フレームを出力映像フレームの該当開始ＰＴＳに割り当てて出力する。従って、図４において、（ａ）映像フレームは捨てられ、（ｂ）映像フレームが出力映像フレームに割り当てられて出力される。

もし、ＰＴＳ調節部２２０から出力されるビデオ信号のＦＰＳよりエンコーダ３００が要請したＦＰＳがさらに大きければ、一つの入力映像フレームが重複して複数の出力映像フレームに割り当てられて出力され、この場も、事前に設定された出力映像フレームの直前に位置した映像フレームが出力映像フレームに割り当てられる。

ＦＰＳ調節部２４０から出力された映像フレームは、割合調節部２５０に入力され、割合調節部２５０は、エンコーダ３００で要請した画面の割合に従って、画面を４：３，１６：１０，１６：９ほどの多様な割合に変換する。

一方、ＰＴＳ調節部２２０からオーディオ信号の入力を受けたリサンプリング部２６０は、エンコーダ３００の要請に従って、オーディオ信号をリサンプリングしてエンコーダ３００に出力する。この時、リサンプリング間隔は、ＦＰＳ調節部２４０でフレームレートを変化させる割合と一致することが好ましい。

今まで本発明の好ましい実施例による同期化誤差の補正装置２００に対して説明した。以下では、本発明の好ましい実施例によるオーディオ信号及びビデオ信号の同期化誤差の補正方法を説明するフローチャートである図５を参照して、本発明のオーディオ信号及びビデオ信号の同期化誤差の補正方法を説明する。

但し、本発明の同期化誤差の補正方法は、前述した同期化誤差の補正装置２００の機能を説明した内容と大部分重畳するので、その流れのみを簡単に説明する。

先ず、同期化誤差の補正装置２００は、エンコーダ３００から設定情報を受信し、複数の動画ソース１００−１〜１００−ｎのうち、原本ソース動画（他の動画コンテンツが結合される動画）を出力する動画ソースを選択する（Ｓ５００）。設定情報は、複数の動画コンテンツが結合されて生成される結合動画のＦＰＳ情報、リサンプリング周期情報（リサンプリング情報）及び画面の割合情報などを含む。

動画ソース１００−１〜１００−ｎのうちいずれか一つが選択されれば、選択された動画ソースから動画コンテンツが同期化誤差の補正装置２００に入力され、同期化誤差の補正装置２００の誤差補正部２３０は、入力される動画コンテンツのビデオ信号とオーディオ信号との最初の同期化誤差情報を抽出する（Ｓ５０２）。

その後、同期化誤差の補正装置２００は、原本動画のビデオ信号及びオーディオ信号のＰＴＳを、複数の動画コンテンツが結合された後に生成される動画コンテンツのＰＴＳに対応するように再設定し、エンコーダ３００から受信された設定情報に従ってビデオ信号のＦＰＳを変換して割合を変更し、オーディオ信号をリサンプリングする（Ｓ５１０）。

一方、同期化誤差の補正装置２００は、上述した第Ｓ５０２ステップ〜第５１０ステップが行われる間に原本動画に結合される新規動画コンテンツの動画ソースが選択されたかを調査し、新規動画ソースが選択されなければ、原本動画に対して上述した第Ｓ５１０ステップを繰り返して行う（Ｓ５１２）。

第Ｓ５１２ステップにおいて、原本動画コンテンツに結合される新規動画コンテンツソースが選択されて動画コンテンツが入力されれば、同期化誤差の補正装置２００は、新規動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差情報を抽出し（Ｓ５２０）、最初の同期化誤差情報に従ってＰＴＳを再設定して、新規動画コンテンツを原本動画コンテンツに結合する（Ｓ５２２）。第Ｓ５２２ステップにおいては、上述したように、結合される新規動画コンテンツのビデオ信号とオーディオ信号間の誤差を維持しながら、新規動画のビデオ信号及びオーディオ信号のＰＴＳを再設定することで、新規動画を原本動画に結合する。

その後、第Ｓ５００ステップでエンコーダ３００から入力された設定情報に従って、結合される動画のビデオ信号のＦＰＳを変換して画面の割合を調整し、オーディオ信号のリサンプリングを行う（Ｓ５２４）。

一方、同期化誤差の補正装置２００は、また他の新規動画が結合されるか否かを調査して、また他の新規動画が結合される場合は第Ｓ５２０ステップに進行し、新規動画が結合されなければ第Ｓ５４０ステップに進行する（Ｓ５３０）。

新規動画が結合されない場合、同期化誤差の補正装置２００は、以前に入力された動画が復帰されるか否かを調査する（Ｓ５４０）。例えば、上述した例において、途中に結合された動画（広告動画）が終了し、第Ｓ５００ステップで入力された原本動画（スポーツ中継動画）が再び入力されるか否かを調査する。

また、第１動画が原本動画として入力され、第２動画が第１動画に結合された後、再び第３動画が第２動画に結合された後、第２動画が復帰される場合もこれにあたる。

以前の動画が復帰されると、同期化誤差の補正装置２００は、復帰される動画コンテンツから抽出された最初の同期化誤差情報に従って、ビデオ信号とオーディオ信号との最初の同期化誤差が維持されるように、ビデオ信号及びオーディオ信号のＰＴＳを再設定する（Ｓ５４２）。

その後、同期化誤差の補正装置２００は、復帰された動画のビデオ信号のＦＰＳを変換して割合を調整し、オーディオ信号をリサンプリングしてエンコーダ３００に出力した後、第Ｓ５３０ステップに進行する（Ｓ５４４）。

第Ｓ５３０ステップに進行したが、新規に結合される動画がなく、復帰される動画がない場合は、ビデオ信号とオーディオ信号との同期化誤差の補正過程は終了する。

本発明は、またコンピューターで読み取ることができる記録媒体にコンピューターが読み取ることができるコードとして具現することが可能である。コンピューターが読み取ることができる記録媒体は、コンピューターシステムによって読み取られることができるデータが格納される全種類の記録装置を含む。コンピューターが読み取ることができる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピディスク、光データ格納装置などがあり、また、キャリアウエーブ（例えば、インターネットを通じた転送）の形態で具現されることも含む。また、コンピューターが読み取ることができる記録媒体は、ネットワークで連結されたコンピューターシステムに分散され、分散方式でコンピューターが読み取ることができるコードが格納されて実行されることができる。

今まで本発明に対してその好ましい実施例を中心として検討した。本発明が属する技術分野で通常の知識を持った者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることができることが理解できるであろう。従って、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されなければならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に表れており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されなければならない。

１００−１〜１００−ｎ：動画ソース
２００：同期化誤差の補正装置
２１０：ソース選択部
２２０：ＰＴＳ調節部
２３０：誤差補正部
２４０：ＦＰＳ調節部
２５０：割合調節部
２６０：リサンプリング部
３００：エンコーダ

Claims (14)

1. ビデオ信号とオーディオ信号とで構成される動画コンテンツを複数の動画ソースから入力を受けて出力するソース選択部と、
   複数の動画コンテンツのそれぞれに対してビデオ信号とオーディオ信号間に事前に設定された最初の同期化誤差を抽出する誤差補正部と、
   複数の動画コンテンツのビデオ信号及びオーディオ信号のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を複数の動画が結合された後に生成される結合動画コンテンツのＰＴＳに対応するように再設定して前記複数の動画コンテンツを結合し、結合された各動画コンテンツ領域の前記オーディオ信号とビデオ信号間の前記最初の同期化誤差が維持されるようにＰＴＳを再設定するＰＴＳ調節部とを含むことを特徴とする同期化誤差の補正装置。
2. 第１動画コンテンツの途中に第２動画コンテンツが挿入される場合に、
   前記ＰＴＳ調節部は、前記第１動画コンテンツの途中に前記第２動画コンテンツが結合され、前記第２動画コンテンツの末端に前記第１動画コンテンツの残余部分が結合されるようにＰＴＳを調節し、前記第１動画コンテンツの残余部分が結合される時、前記第１動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差が維持されるようにビデオ信号とオーディオ信号とのＰＴＳを設定することを特徴とする請求項１に記載の同期化誤差の補正装置。
3. エンコーダから入力された設定情報に含まれたＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）設定情報に従って、結合された動画コンテンツのビデオ信号のＦＰＳを調節するＦＰＳ調節部をさらに含むことを特徴とする請求項１に記載の同期化誤差の補正装置。
4. 前記ＦＰＳ調節部は、
   前記ＦＰＳ設定情報に従ってＦＰＳが調節された後の各映像フレームの時間上の位置を設定し、ＦＰＳ調節前の前記結合動画コンテンツのビデオ信号を構成する各映像フレームのうち、前記ＦＰＳ設定情報に従って設定された各映像フレームの時間上の位置の直前の映像フレームを利用して、結合動画コンテンツのビデオ信号のＦＰＳを調節することを特徴とする請求項３に記載の同期化誤差の補正装置。
5. エンコーダから入力された設定情報に含まれた画面の割合の設定情報に従って、前記ＦＰＳが調節された結合動画コンテンツのビデオ信号の画面の割合を調節する割合調節部をさらに含むことを特徴とする請求項３に記載の同期化誤差の補正装置。
6. エンコーダから入力された設定情報に含まれたリサンプリング設定情報に従って、ＰＴＳが調節されたオーディオ信号をリサンプリングするリサンプリング部をさらに含むことを特徴とする請求項１に記載の同期化誤差の補正装置。
7. 複数の動画ソースから入力された複数の動画コンテンツのビデオ信号とオーディオ信号間の同期化誤差を補正して複数の動画コンテンツを結合して出力する同期化誤差の補正装置で行われる同期化誤差の補正方法であって、
   （ａ）動画ソースから第１動画コンテンツを受信するステップと、
   （ｂ）動画ソースから前記第１動画コンテンツに結合される第２動画コンテンツを受信して前記第２動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差を抽出して最初の同期化誤差情報を生成するステップと、
   （ｃ）前記第２動画コンテンツのビデオ信号とオーディオ信号間の最初の同期化誤差が維持されるように前記最初の同期化誤差情報に従って前記第２動画コンテンツを前記第１動画コンテンツに結合するステップとを含むことを特徴とする同期化誤差の補正方法。
8. 前記第１動画コンテンツの途中に前記第２動画コンテンツが挿入される場合に、
   前記（ａ）ステップにおいて、前記同期化誤差の補正装置は、前記第１動画コンテンツの最初の同期化誤差を抽出し、
   前記（ｃ）ステップにおいて、前記同期化誤差の補正装置は、前記第１動画コンテンツの途中に、前記第２動画コンテンツの最初の同期化誤差が維持されるように前記第２動画コンテンツを結合し、
   （ｄ）前記第２動画コンテンツの結合が完了した後、前記第１動画コンテンツの最初の同期化誤差が維持されるように前記第２動画コンテンツの末端に前記第１動画コンテンツを結合するステップをさらに含むことを特徴とする請求項７に記載の同期化誤差の補正方法。
9. 前記同期化誤差の補正装置は、前記第１動画コンテンツ及び前記第２動画コンテンツのＰＴＳを、前記第１動画コンテンツ及び前記第２動画コンテンツが結合されて生成される結合動画のＰＴＳに対応するように再設定することで、前記第１動画コンテンツ及び前記第２動画コンテンツを結合することを特徴とする請求項７または８に記載の同期化誤差の補正方法。
10. 前記同期化誤差の補正装置は、エンコーダから受信したＦＰＳ設定情報及びリサンプリング設定情報に従って、結合動画コンテンツのビデオ信号のＦＰＳを変換し、オーディオ信号をリサンプリングして出力することを特徴とする請求項９に記載の同期化誤差の補正方法。
11. 前記同期化誤差の補正装置は、前記ＦＰＳ設定情報に従ってＦＰＳが調節された後の結合動画コンテンツの各映像フレームの時間上の位置を設定し、ＦＰＳ調節前の前記結合動画コンテンツのビデオ信号を構成する各映像フレームのうち、前記ＦＰＳ設定情報に従って設定された各映像フレームの時間上の位置の直前の映像フレームを利用して、結合動画コンテンツのビデオ信号のＦＰＳを調節することを特徴とする請求項１０に記載の同期化誤差の補正方法。
12. 前記同期化誤差の補正装置は、ＦＰＳが変換された結合動画コンテンツのビデオ信号を前記エンコーダから受信した画面の割合設定情報に従って映像フレームの割合を調節して出力することを特徴とする請求項９に記載の同期化誤差の補正方法。
13. 請求項７または８の同期化誤差の補正方法をコンピューターで読み取ることができ、実行可能なプログラムコードで記録した記録媒体。
14. 請求項９の同期化誤差の補正方法をコンピューターで読み取ることができ、実行可能なプログラムコードで記録した記録媒体。

Images