JP2007049466A - 同期再生方法、および同期再生ソフトウェア - Google Patents

Abstract

【課題】 システムタイマーによる時間情報を使ったビデオとオーディオの同期再生方法では、システムタイマーより小さい粒度で、ビデオとオーディオを同期再生することができない問題があった。
【解決手段】 動画再生のシステムにおいて、システムタイマーとは別に同期処理専用のタイマーを用意し、オーディオとビデオの同期再生に使用することにより、再生タイミングを取ることが可能である。また同期タイマーの粒度を高精度に設定可能とすることで、オーディオとビデオの同期再生をより正確に行うことが可能となる。
【選択図】 図１

Description

本発明はビデオとオーディオの同期再生装置、同期再生方法および、同期再生機能を有するソフトウェアに関する。

従来、ビデオデータとオーディオデータを合わせた動画データの再生において、ビデオとオーディオを同期再生する方法には、動画再生システムのシステムタイマーを使った、システム経過時間から得られる時間情報を利用して、ビデオとオーディオの再生経過時間を合わせるように同期させる方法がある。

又、従来例としては、例えば特許文献１をあげることが出来る。
特開２００２−１７６６４３号公報

このように、システムタイマーによる時間情報を使ったビデオとオーディオの同期再生方法では、システムタイマーより小さい粒度で、ビデオとオーディオを同期再生することができない問題があった。例えば、システムタイマーの粒度が １０ｍｓである場合、オーディオとビデオのソフトウェア処理が１０ｍｓよりも短い時間でスイッチすることはないため、同期再生の精度として１０ｍｓ以下にはならない。

上記課題を解決するために、本発明ではシステムタイマーよりも細かい精度の動作周期を持つ、同期再生処理専用に使用するタイマーを用意する。同期タイマーの動作経過時間をオーディオ再生経過時間に合うようにし、ビデオ再生経過時間を同期タイマーの動作経過時間に合うように、オーディオとビデオを再生することにより同期再生を実現し、また同期タイマーはシステムタイマーよりも細かい精度の周期設定可能であるため、タイマーの周期でビデオフレームの再生・出力タイミングを取ることが可能となる。

ここまで本発明の同期再生方法を説明した。同期タイマーの動作経過時間をオーディオ再生時間に合わせ、ビデオ再生時間を同期タイマーの動作経過時間に合うように、ビデオとオーディオをそれぞれ再生することで、同期再生を可能とする。ここでシステムタイマーに対して、同期タイマーは十分な精度を持つ動作周期を持つため、タイマーの周期でビデオフレームを再生・出力のタイミングを取ることで、十分な精度の同期再生が可能である。

本発明の請求項１を、図１を用いて説明する。図１は本発明のビデオとオーディオの同期再生の一例を表す図である。１０１は、動画データ格納手段であり、符号化されたビデオデータとオーディオデータを合わせた動画データを保存しておき、動画再生時に読み出す手段を表す。

１０２は、再生データ同期手段である。動画再生中に１０１からビデオデータとオーディオデータを読み出すソフトウェアあるいはタスクを表す。１０２は任意の再生経過時間に合致する、符号化ビデオデータと符号化オーディオデータを取り出すことが可能である。

１０３はオーディオ再生手段である。動画再生中に符号化オーディオデータを復号する装置、あるいはソフトウェアプロセスを示す。１０２は再生する符号化オーディオデータを、１０３に転送する。１０３は符号化データを復号化し、オーディオ出力するタイミングを決定する。

１０５はオーディオ出力手段を表す。１０３で復号化されたオーディオデータが転送され、聴音可能な方法で出力する。

１０４はビデオ再生手段である。動画再生中に符号化ビデオデータを復号する装置、あるいはソフトウェアプロセスを示す。１０２は再生する符号化ビデオデータを、１０４に転送する。１０４は符号化データを復号化し、ビデオ出力するタイミングを決定する。

１０６はビデオ出力手段を表す。１０４で復号化されたビデオデータが転送され、視覚できる方法で出力する。

１０７は、本発明の動画再生システムの再生制御手段であり、１０２、１０３、１０４の制御指示を行う、装置あるいはソフトウェアプロセスを表す。

１０８は、再生操作受信手段を表す。動画再生システムのユーザーが、１０９に示す再生操作（再生、一時停止、早送り、巻き戻しなど）を行うと、１０８が１０７にどのような再生操作が行われたかを送信する。１０７は、操作の種類を識別し、１０２、１０３、１０４に対して適切な制御指示を実行する。

以上の動画再生システムは、システムタイマー（１１０）の時間粒度によって動作する。システムタイマー１１０は、該動画再生システムの動作するオペレーションシステムのタイマーである。

オーディオとビデオの同期再生方法にこのシステムタイマーを用いることは、前記の通りシステムタイマー１１０の時間粒度より小さい粒度では同期することができない。

本発明では、再生の同期専用に使用するタイマー（１１１）を使用する。このタイマーを同期タイマーと呼ぶことにする。再生データ同期手段（１０２）とオーディオ再生手段（１０３）とビデオ再生手段（１０４）が同期タイマーを使用する。

再生データ同期手段は、再生データ同期手段同期タイマーは再生開始と同時にスタートさせる。同期タイマーは内部に動作経過時間を保持している。動画のオーディオとビデオを同期再生するために、同期タイマーの動作経過時間を利用する。同期タイマーの動作経過時間をオーディオデータの再生時間に合わせ、ビデオデータの再生時間を同期タイマーの動作経過時間に合わせるように調整することで、オーディオとビデオの再生時間をできるだけ一致させ、同期再生を可能としている。

次に請求項２について説明する。該同期タイマーは、システムタイマーよりも細かい精度でタイマー割り込み処理が起きるように作成する。例えばシステムタイマーの粒度が１０ｍｓである場合、同期タイマーは、少なくとも１ｍｓ単位の精度を必要とする。一例としては、ハードウェア周期タイマー（periodic timer）を使ったタイマーである。ハードウェア周期タイマーは一定周期のクロック数を設定する。開始するとシステムクロックあるいは、外部のクロックソースに同期したクロックをカウントし、設定したクロック数で、ハードウェアタイマー割り込みを起こす。これを利用して同期タイマーを作成する。また、同期タイマーは任意のタイミングで、タイマー開始からの経過時間を読み出すことが可能であり、また任意のタイミングで、タイマー開始からの経過時間を書き換えることが可能である。

システムタイマーを同期処理に使用するとき、ビデオフレームレートが１０ｆｐｓならば、再生開始から１００ｍｓごとに出力するのが理想である。この場合ではシステムタイマーをオーディオとビデオ同期再生に使用してもよい。しかし、１５ｆｐｓならば、１０００／１５ｍｓであり、３０ｆｐｓならば、１０００／３０ｍｓを周期として出力することが理想であり、このためには０．１ｍｓ程度の精度が必要である。この場合においてシステムタイマーの粒度１０ｍｓでは、同期再生の精度が悪くなる。そこで本発明の同期タイマーでは、１５ｆｐｓの場合は１０００／１５ｍｓを、３０ｆｐｓの場合は１０００／３０ｍｓを、ハードウェア周期タイマーの割り込み周期となるようにクロック数を計算して設定する。同期タイマーは、タイマー割り込み処理内で、割り込み発生時の動作経過時間Ｉを計算して保持しておく。任意のタイミングで読み出される同期タイマーの動作経過時間は、動作経過時間Ｉと前回の割り込みからのクロック数で計算された時間となる。

次に請求項３と請求項４について、図２を用いて説明する。図２は、図１におけるオーディオ再生手段（１０３）における同期再生処理のフローチャートである。オーディオ再生手段は、オーディオ再生出力手段に再生データを転送する直前に、すでに再生出力したオーディオデータ量などから、現在のオーディオ再生時間を計算する。また同期タイマーの動作経過時間を読み出す。これが、図２のＳ２０２とＳ２０３の処理である。

次のステップＳ２０４において、オーディオ再生時間と同期タイマーの動作経過時間を比較する。オーディオ再生時規間が定時間範囲よりも大きく遅れている場合、Ｓ２０５に進む。Ｓ２０５では同期タイマーの動作経過時間を、オーディオ再生時間に設定し、Ｓ２０８に進む。Ｓ２０５ではオーディオ再生時間を基準として同期再生することになる。

Ｓ２０６では、オーディオ再生時間と同期タイマーの動作経過時間を比べ、規定同期時間範囲より進んでいるかを調べる。オーディオ再生時間が進んでいるならばＳ２０７に進み、そうでなければ、Ｓ２０８に進む。Ｓ２０７では同期タイマー動作経過時間とオーディオ再生経過時間の時間差だけオーディオ再生処理を遅延させる。その後Ｓ２０８に進む。Ｓ２０６で、規定同期時間範囲よりも進んでいない場合は、Ｓ２０８に進む。

以上、請求項３と請求項４について説明したが、オーディオ再生時間が規定同期時間範囲よりも進んでもなく、遅れてもいない場合、すなわち同期タイマー時間と差が規定同期時間範囲内で収まっている場合においては、同期タイマーの動作経過時間がオーディオ再生時間に合っていると判断している。

続いて請求項５、６、７、８について、図３を用いて説明する。図３は、図１におけるビデオ再生手段（１０４）における同期再生処理のフローチャートである。ビデオ再生手段は符号化ビデオフレームデータを再生する直前に、すでに再生出力したビデオデータ量から、現在のビデオ再生時間を計算する。また同期タイマーの動作経過時間を読み出す。これが、図３のＳ３０２とＳ３０３の処理である。

次にＳ３０４において、前ステップで得たビデオ再生時間と同期タイマーの動作経過時間を比較し、規定同期時間範囲よりも大きく遅れているか調べる。遅れているならばビデオフレームの再生・出力を省略し、再生・出力したものとする。ビデオ再生時間を進ませることで、ビデオ再生時間と同期タイマー動作経過時間の差を縮めることになる。図３ではＳ３１１に進み、終了することになる。

Ｓ３０４で規定同期時間範囲よりも大きく遅れていないならば、Ｓ３０５に進む。Ｓ３０５ではビデオ再生時間が、同期タイマーの動作経過時間よりも規定同期時間範囲内で遅れているかを調べる。規定同期時間範囲内で遅れているならば、Ｓ３１０に進み、即座にビデオフレームの再生・出力を実行する。

Ｓ３０６ではビデオ再生時間が同期タイマーの動作経過時間よりも規定同期時間範囲内で進んでいるかを調べる。規定同期時間範囲内で進んでいるならば、Ｓ３０８に進む。そうでなければＳ３０７に進む。

Ｓ３０８では、同期タイマーの次の割り込みを待つ。次の割り込み処理で待ち状態を解除され、Ｓ３１０へ進む。

同期タイマーはビデオフレームの出力周期でタイマー割り込みを発生させるため、ビデオフレームの再生・出力のタイミングを取ることが可能となる。

Ｓ３０７ではビデオ再生時間が同期タイマーの動作経過時間よりも、規定同期時間範囲以上で大きく進んでいるかを調べる。進んでいるならば、Ｓ３０９に進み、そうでなければ、Ｓ３１０に進む。Ｓ３０９に進む場合は、ビデオ再生がオーディオ再生と比較して早く進行していることになるため、Ｓ３０９においてビデオ再生時間と同期タイマーの動作経過時間の差の時間だけ遅延させる。その後Ｓ３１０にすすみ、ビデオフレームの再生・出力を実行する。一方、Ｓ３０７直接Ｓ３１０に進む場合では、Ｓ３０４〜Ｓ３０７の結果からビデオ再生時間と同期タイマーの動作経過時間が同じである場合であるので、即時にビデオフレームの再生・出力を開始する。

次に請求項９について説明する。請求項３〜請求項８で使われる規定同期時間範囲は、本発明の同期再生方法では、ビデオ再生とオーディオ再生の同期ずれの許容される時間範囲という意味を持つ。したがってこの範囲を小さくすると、より正確な同期再生をさせることを可能である。ただし請求項５の場合でビデオ再生・出力をスキップする可能性が大きくなる。したがって本発明の同期再生方法を用いるシステムによって適当な同期時間範囲を静的に規定するか、システムの動作パフォーマンスによって動的に規定してもよい。

ビデオとオーディオの同期再生の一例 オーディオ再生手段における同期再生処理のフローチャート ビデオ再生手段における同期再生処理のフローチャート

符号の説明

１０１ 動画データ格納手段
１０２ 再生データ同期手段
１０３ オーディオ再生手段
１０４ ビデオ再生手段
１０５ オーディオ出力手段
１０６ ビデオ出力手段
１０７ 再生制御手段
１０８ 再生操作受信手段
１０９ ユーザー再生操作
１１０ システムタイマー
１１１ 同期タイマー

Claims (9)

1. 符号化されたビデオデータと、符号化されたオーディオデータを合わせた動画データを格納する手段があり、
   任意の再生経過時間に合致する、符号化ビデオデータと符号化オーディオデータを取り出すことが可能な、再生データを読み出す装置あるいはソフトウェアプロセスがあり、
   符号化オーディオデータを復号して再生する、オーディオ再生装置あるいはソフトウェアプロセスがあり、
   符号化ビデオデータを復号して再生する、ビデオ再生装置あるいはソフトウェアプロセスがあり、
   復号化したビデオデータを出力する手段があり、
   復号化したオーディオデータを出力する手段がある動画再生システムにおいて、
   動画再生システムのシステムタイマーとは別である、高精度の粒度で動作可能な同期再生処理専用の同期タイマーがあり、
   出力したオーディオデータ量から、オーディオの再生経過時間を求め、この経過時間を基準値として、同期タイマーを操作・参照してビデオデータの再生を、オーディオデータの再生に同期させることを特徴とする同期再生方法。
2. 前記請求項１の同期タイマーは、システムタイマーより細かい精度の動作周期設定が可能であり、タイマー動作中の経過時間を保持し、タイマー動作中に動作経過時間の読み出し、および変更が可能であることを特徴とする同期再生方法。
3. 前記請求項１について、オーディオ再生ソフトウェアが、出力したオーディオデータ量から求められるオーディオ再生経過時間と同期タイマーの動作経過時間を比較し、同期タイマー動作経過時間よりもオーディオ再生経過時間が、規定同期時間範囲よりも大きく遅れている場合、前記請求項２により、同期タイマーの動作経過時間をオーディオ再生経過時間に変更することを特徴とする同期再生方法。
4. 前記請求項１について、オーディオ再生ソフトウェアが、出力したオーディオデータ量から求められるオーディオ再生経過時間と同期タイマーの動作経過時間を比較し、同期タイマー動作経過時間よりもオーディオ再生経過時間が、規定同期時間範囲よりも大きく進んでいる場合、同期タイマー動作経過時間とオーディオ再生経過時間の差だけ遅延させることを特徴とする同期再生方法。
5. 前記請求項１について、ビデオ再生ソフトウェアが、出力したビデオデータ量あるいはビデオフレーム数から求められるビデオ再生経過時間と同期タイマー動作経過時間を比較し、同期タイマー動作経過時間よりもビデオ再生経過時間が、規定同期時間範囲よりも大きく遅れている場合、次のフレームの再生・出力をスキップし、再生したことにして、ビデオ再生経過時間を進ませることで、同期タイマー動作経過時間とビデオ再生経過時間の差を縮めることを特徴とする同期再生方法。
6. 前記請求項１について、ビデオ再生ソフトウェアが、出力したビデオデータ量あるいはビデオフレーム数から求められるビデオ再生経過時間と同期タイマー動作経過時間を比較し、同期タイマー動作経過時間よりもビデオ再生経過時間が、規定同期時間範囲よりも小さく遅れている場合、次のフレームの再生・出力を即時実行することを特徴とする同期再生方法。
7. 前記請求項１について、ビデオ再生ソフトウェアが、出力したビデオデータ量あるいはビデオフレーム数から求められるビデオ再生経過時間と同期タイマー動作経過時間を比較し、同期タイマー動作経過時間よりもビデオ再生経過時間が、規定同期時間範囲よりも小さく進んでいる場合、同期タイマーの次の割り込み発生で次のフレームの再生・出力を実行することを特徴とする同期再生方法。
8. 前記請求項１について、ビデオ再生ソフトウェアが、出力したビデオデータ量あるいはビデオフレーム数から求められるビデオ再生経過時間と同期タイマー動作経過時間を比較し、同期タイマー動作経過時間よりもビデオ再生経過時間が、規定同期時間範囲よりも大きく進んでいる場合、同期タイマー動作経過時間とビデオ再生経過時間の差だけ遅延させ、次のフレームの再生・出力を実行することを特徴とする同期再生方法。
9. 前記請求項５、６、７、および８において、規定同期時間範囲は可変で設定可能であることを特徴とする同期再生方法。

Images