JP2009290768A - 映像処理装置および映像処理方法 - Google Patents

Abstract

【課題】再生装置のハードウェア構成の変更を必要とせずに先行ストリームおよび後続ストリームをシームレス接続する。
【解決手段】映像処理装置は先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリームを順次受け取るインタフェース１１と、インタフェース１１で受け取った先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えを行うストリーム変換処理部１２とを備える。
【選択図】 図１

Description

本発明は、２つの映像音声多重化ストリームをシームレス接続する処理を行う映像処理装置および映像処理方法に関する。

近年では、大容量の映像情報および音声情報をデジタル化して記録または伝送する場合に、ＭＰＥＧ（Moving Picture Experts Group)方式で符号化されることが一般的になっている。このＭＰＥＧ方式はＩＳＯ／ＩＥＣ １１１７２規格やＩＳＯ／ＩＥＣ １３８１８規格として知られる国際標準の符号化方式であり、例えばデジタル衛星放送、ＤＶＤレコーダ、デジタルビデオカメラにおいて映像情報および音声情報を符号化するために利用されている。ＩＳＯ／ＩＥＣ １３８１８規格（すなわち、ＭＰＥＧ−２規格）では、映像情報および音声情報が符号化されたビデオデータの連続する映像ストリームおよび符号化されたオーディオデータの連続する音声ストリームに変換される。ビデオデータはピクチャ単位で符号化されたものであり、動き補償予測の単位である複数のピクチャからなるグループオブピクチャ（ＧＯＰ）単位に編集される。オーディオデータはオーディオフレーム単位に符号化されたものである。映像ストリームおよび音声ストリームはそれぞれ独立してパケット化され、例えばトランスポートストリーム（Transport Stream)として多重化される。これにより得られた映像音声多重化ストリームは、あるＧＯＰの先頭を含むパケットから、次のＧＯＰの先頭を含むパケットまでの連続するパケットをユニット（ＶＯＢＵ）として編集される。

映像音声多重化ストリームをＶＯＢＵ境界で先行ストリームと後続ストリームに分割して編集を行うと、この編集後に先行ストリームの終了ポイントの時刻情報と後続ストリームの開始ポイントの時刻情報とが不連続となるギャップが発生しやすい。このギャップは、映像および音声を停止することなく連続的かつ滑らかに再生させる先行および後続ストリームのシームレス接続を困難にする原因となっている。

従来においては、このシームレス接続を行うために先行ストリームおよび後続ストリームをデコードしてから再生時刻のずれを修正し、この修正結果を再エンコードする必要があった。また、時間情報のオフセットを利用した補正によりギャップに対処する方策も提案されている（例えば特許文献１を参照）。
特開２００１−３２０７０４号公報

しかしながら、特許文献１の技術は、従来のような再エンコード時間を必要としないが、ギャップ調整のために時間情報を管理するハードウェアを再生装置に設ける必要がある。

本発明の目的は、再生装置のハードウェア構成の変更を必要とせずに先行ストリームおよび後続ストリームをシームレス接続することが可能な映像処理装置および映像処理方法を提供することにある。

本発明の一観点によれば、先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリームを順次受け取るインタフェース部と、インタフェース部で受け取った先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えを行うストリーム変換処理部とを備える映像処理装置が提供される。

本発明の他の観点によれば、先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリームを順次受け取り、先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えを行う映像処理方法が提供される。

これら映像処理装置および映像処理方法では、先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報が順次抽出され、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えが行われる。これにより、再生装置のハードウェア構成の変更を必要とせずに先行ストリームおよび後続ストリームをシームレス接続することが可能となる。

以下、本発明の一実施形態に係るシームレス再生システムについて添付図面を参照して説明する。このシームレス再生システムは映像および音声情報をＭＰＥＧ方式で符号化して映像音声多重化ストリーム（プログラムストリーム）として記録する例えばデジタルビデオカメラから分割編集結果として順次出力される２つの先行および後続ストリームをシームレス接続して再生するために用いられる。

図１はこのシームレス再生システムの概略的な構成を示す。このシームレス再生システムは先行ストリームおよび後続ストリームをシームレス接続する処理を行う映像処理装置１０およびこの映像処理装置１０がシームレス接続の処理結果として出力されるストリームを再生する再生装置２０により構成される。

映像処理装置１０は先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリーム（プログラムストリーム）を順次受け取るインタフェース部１１と、インタフェース部１１で受け取った先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えをストリーム変換処理として行うストリーム変換処理部１２とを備える。

再生装置２０はストリーム分離部２１、ビデオバッファ２２、オーディオバッファ２３、ビデオデコーダ２４、オーディオデコーダ２５、システム時刻クロック部１４、システム制御部２７を備える。ストリーム分離部２１は、映像処理装置１０から出力されるストリームを受け取り、ビデオパケットとオーディオパケットに分離し、ビデオパケットをビデオバッファ２２に送り、オーディオパケットをオーディオバッファ２３に送る。ビデオバッファ２２はビデオパケットを蓄積しながらビデオデコーダ２４に送出し、オーディオバッファ２３はオーディオパケットを蓄積しながらオーディオデコーダ２５に送出する。システム時刻クロック部２６はビデオパケットのデコードおよび再生タイミングおよびオーディオパケットのデコードおよび再生タイミングの基準となるシステム時刻（ＳＴＣ：System Time Clock）を発生し、これらビデオおよびオーディオを同期させる。

ビデオデコーダ２４は、受け取ったビデオパケットに記述されたタイムスタンプとシステム時刻とを比較して、タイムスタンプに合致するタイミングでデコードおよび再生出力を行う。オーディオデコーダ２５は、受け取ったオーディオパケットに記述されたタイムスタンプとシステム時刻とを比較して、タイムスタンプに合致するタイミングでデコードおよび再生出力を行う。

図２は、映像処理装置１０の構成例を示す。ここでは、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃがストリーム変換処理部１２を構成し、バスラインによりインタフェース部１１に接続される。ＣＰＵ１２Ａはストリームに対して様々な処理を行うものである。ＲＯＭ１２ＢはアプリケーションソフトウェアとしてＣＰＵ１２Ａの制御プログラムや初期データ等を保持するものである。ＲＡＭ１２ＣはＣＰＵ１２Ａに入出力するデータを一時的に格納するものである。

ＭＰＥＧ方式では、ストリームデータ内の基準時刻情報であるＳＴＣ（System Time Clock）をもとに、ピクチャ毎の表示時間を示すＰＴＳ(Presentation Time Stamp)と、再生装置１０のバッファからデコーダに送る時間（デコード時刻）を示すＤＴＳ（Decoding Time Stamp）を利用して、デコード時間と表示時間の時刻制御が行われる。本実施形態では、２種類のＭＰＥＧ方式のうちのプログラムストリーム形式を想定しているが、トランスポートストリーム形式についても同様である。ＳＴＣは、プログラムストリームの場合、ストリーム内のＳＣＲ(System Clock Reference）をもとに生成される。ＳＣＲはストリームの符号化時の基準時間であり、２７ＭＨｚの精度でプログラムストリームのパックヘッダに記述される。再生システムでは、ＳＴＣがＤＴＳの時間に到達すると、そのピクチャをデコードし、ＰＴＳ時刻になるとそのピクチャを表示することになる。図１に示すストリーム分離部は、多重化されている音声データ、ビデオデータ、それ以外を分離し、時刻情報をシステム時間管理モジュール（ＳＴＣ）に送る機能モジュールである。

通常、一つの映像データは連続する時刻情報を持っているため、再生装置１０は問題無く動作するが、エンコード（符号化）機器の都合により、途中でこの時刻情報が不連続になってしまうケースがある。例えばデジタルビデオカメラで撮った映像は、録画開始、停止、ポイントでこの時刻情報が不連続となることが多い。このようなケースの場合、再生装置１０がその不連続に対応できずに、結果として再生が停止したり、映像が乱れたりすることが多い。

そのため本実施形態では、この不連続部分を解消するために、ストリーム変換処理部１２が図３に示すような時刻情報を書き換えるストリーム変換処理をする。ＰＴＳ/ＤＴＳは、３２ビットの９０ＫＨｚのカウンタであるため、最小値から始めても時間にして約１３時間弱でカウンタが一周(ラップアラウンド)してしまう。このような状況になると、再生装置１０側では時刻情報が最大値近辺から急激に最小値近辺になるため、スムースな再生ができない場合も多い。また、カウンタが最小値から使われるとは限らないため、この状況は１３時間以上のコンテンツでのみ発生するわけではない。

そこで、ストリーム変換処理部１２はストリーム変換処理でラップアラウンド抑制対応として、全体の時刻情報をストリーム先頭が最小値近辺になるように付け替え、これにより再生装置１０に優しいストリームに変換するものである。

ストリーム変換処理は分離およびＰＴＳ／ＤＴＳ書換処理Ｐ１、ビデオバッファ処理Ｐ２、オーディオバッファ処理Ｐ３、多重化およびＳＣＲ設定処理Ｐ４を含む。分離およびＰＴＳ／ＤＴＳ書換処理Ｐ１では、ビデオパケットおよびオーディオパケットの分離、並びにＤＴＳおよびＰＴＳのオフセット(書き換え)が行われる。この書き換えでは、ＰＴＳおよびＤＴＳのビット数の範囲でラップアラウンドを生じさせないように一方の時刻情報に対してシフト量の加算または減算が行われる。ビデオパケットおよびオーディオパケットはそれぞれビデオバッファ処理Ｐ２、オーディオバッファ処理Ｐ３として一時的に保持される。この後、プログラムストリーム出力のために、多重化およびＳＣＲ設定処理Ｐ４が行われる。ここでは、ＳＣＲを書換られた時刻情報に合わせる値に置き換えられる。

図４は上述のストリーム変換処理によって得られる時刻情報の変化を示す。ＰＴＳ／ＤＴＳ（時刻情報）は加算方向へシフトさせる書き換えにより先行ストリームと後続ストリームの接続ポイントでも連続する状態となる。

ちなみに、図５は分離およびＰＴＳ／ＤＴＳ書換処理Ｐ１の対象となるＰＥＳ（Packetized Elementary Stream）のデータ構造を示す。

ＤＴＳ(ＰＴＳ)はＭＰＥＧ規格のＰＥＳパケット内に設定されており、ＰＥＳ形式のデータ構造は図５のようになっている。各項目の設定フラグにより値が存在するか確認できる。図５では、ＰＴＳおよびＤＴＳが設定されている例である。

図６はこれらＰＴＳ/ＤＴＳのビット構成を示す。本実施形態での時刻情報書き換えは、上位ＰＴＳ[32]〜ＰＴＳ[22]のみを使用する。すなわち、ストリーム変換処理部１２はシフト量の加算または減算を前記時刻情報の上位所定所定ビットについて行う。下位ＰＴＳ[0]-ＰＴＳ[21]では、約４５秒しかカウントできないため、上位ＰＴＳ/ＤＴＳのみ考慮すれば大きな影響はなく、後の３２ビット演算処理がしやすくなる。

ストリーム変換処理を開始し、最初に取得したＰＥＳのＤＴＳ[32]〜[22]がすべて０の場合は書き換えは必要ないために行わない。これに対して、ストリーム変換処理を開始し、最初に取得したＰＥＳのＤＴＳ[32]〜ＰＴＳ[22]が０以外の場合、上位ＤＴＳ[32]〜[22]は必ず「0x001」へ書き換える。最初に取得したＤＴＳを基準に処理を開始し、その後はピクチャ毎にＤＴＳについては、ＮＴＳＣシステム用であれば１ピクチャの表示時間となる３００３を加算していき、新ＰＴＳについてはＤＴＳが一緒に格納されているケースでは、元のＰＴＳとＤＴＳの差分値を、一緒に格納されているＤＴＳに加算すればよい。ＰＴＳのみが格納されたケースでは、ＰＴＳはＤＴＳと同じと考えられるため、直前のＤＴＳ+３００３がＰＴＳとなる。

これを、要約すると以下のように書き変えが行われる。

(最初のＤＴＳの設定）
・ＤＴＳ[32]〜[22]がゼロの場合、特に何もしない。

・ＤＴＳ[32]〜[22]がゼロ以外の場合、上位ＤＴＳ[32]〜[22]を0x001とする。

(ＤＴＳの設定）
新ＤＴＳ = ピクチャ数 × ３００３ + 最初のＤＴＳ
(ＤＴＳ/ＰＴＳ両方が入ったＰＥＳのＰＴＳ設定）
新ＰＴＳ ＝ 旧ＰＴＳ − 旧ＤＴＳ ＋ 新ＤＴＳ
(ＰＴＳのみが入ったＰＥＳのＰＴＳ設定）
新ＰＴＳ ＝ 直前に設定したＤＴＳ ＋ （３００３ × ＤＴＳを設定したピクチャからここまでのピクチャ数）
このような処理により、約１３時間弱の間、時刻情報が不連続とならないストリームに変換することができる。尚、ストリーム変換処理部１２はさらに各ストリーム内に存在する時刻情報のギャップを埋めるための書き換えを行っている。すなわち、ストリーム変換処理は強制的に時刻情報を連続的な値に置き換えるため、ラップアラウンド時だけでなく、もともとのストリームに時刻情報のギャップが存在するときにも、そのギャップを埋めることが可能となる。

図４は理論的なものであるが、実際のＰＴＳはＭＰＥＧの参照フレームの関係上完全な単調増加とはならならず、ＧＯＰ(Group of Pictures)内でのバラツキがある。ただし、例えばI-Pictureだけに着目すれば、単調増加になる。

上述の実施形態では、先行ストリームおよび後続ストリームにおいてそれぞれ単調増加する時刻情報が順次抽出され、時刻情報が先行ストリームおよび後続ストリーム間の接続ポイントで不連続とならないように先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えが行われる。これにより、再生装置１０のハードウェア構成の変更を必要とせずに先行ストリームおよび後続ストリームをシームレス接続することが可能となる。

具体的には、ＭＰＥＧシステムで符号化された映像音声ストリームデータの時刻情報の不連続部分を解消することによって、再生装置１０にてスムーズな再生ができるようになる。特に通常のネットワーク再生や、時刻情報の不連続ポイントに関するストリーム情報を事前に再生機器に入力できないような再生のケースで有効に機能する。また、符号化されたストリームに時刻情報のラップアラウンドが発生している場合に、再生時間が１３時間弱までその発生を抑制することができる。さらに、エンコーダの都合で、ストリームの中途で時刻情報が不連続になっている場合も、その部分を連続化することができる。

また、本実施形態では、ストリーム変換処理部１２がソフトウエアベースで構成されているため、例えばブルーレイフォーマット同士の変換やブルーレイフォーマットからＤＶＤフォーマットへの変換を兼ねてストリーム変換処理を行うことのできる汎用性を有する。

尚、本発明は上述の実施形態に限定されず、その要旨を逸脱しない範囲で様々に変形可能である。

本発明の一実施形態に係るシームレス再生システムの概略的構成を示すブロック図である。 図１に示す映像処理装置の構成例を示すブロック図である。 図２に示すストリーム変換処理部によって行われる処理を示す図である。 図３に示すストリーム変換処理によって得られる時刻情報の変化を示す図である。 図３に示す分離およびＰＴＳ／ＤＴＳ書換処理の対象となるＰＥＳのデータ構造を示す図である。 図５に示すＰＴＳおよびＤＴＳのビット構成を示す図である。

１０…映像処理装置、１１…インタフェース部、１２…ストリーム変換処理部、１２Ａ…ＣＰＵ、１２Ｂ…ＲＯＭ、１２Ｃ…ＲＡＭ、２０…再生装置、２１…ストリーム分離部、２２…ビデオバッファ、２３…オーディオバッファ、２４…ビデオデコーダ、２５…オーディオデコーダ、２６…システム時刻クロック部、２７…システム制御部。

Claims (10)

1. 先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリームを順次受け取るインタフェース部と、前記インタフェース部で受け取った前記先行ストリームおよび前記後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、前記時刻情報が前記先行ストリームおよび前記後続ストリーム間の接続ポイントで不連続とならないように前記先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えを行うストリーム変換処理部とを備えることを特徴とする映像処理装置。
2. 前記映像音声多重化ストリームはＭＰＥＧ(Moving Picture Experts Group)形式ストリームであり、前記ストリーム変換処理部は各ストリームのＰＴＳ(Presentation Time Stamp)およびＤＴＳ(Decode Time Stamp)を前記時刻情報として取り扱うことを特徴とする請求項１に記載の映像処理装置。
3. 前記ストリーム変換処理部は前記ＰＴＳおよび前記ＤＴＳのビット数の範囲でラップアラウンドを生じさせないように前記一方の時刻情報に対してシフト量の加算または減算をすることを特徴とする請求項２に記載の映像処理装置。
4. 前記ストリーム変換処理部は前記シフト量の加算または減算を前記時刻情報の上位所定所定ビットについて行うことを特徴とする請求項３に映像処理装置。
5. 前記ストリーム変換処理部はさらに各ストリーム内に存在する時刻情報のギャップを埋めるための書き換えを行うことを特徴とする請求項１に記載の映像処理装置。
6. 先行ストリームおよび後続ストリームとして接続すべき２つの映像音声多重化ストリームを順次受け取り、前記先行ストリームおよび前記後続ストリームにおいてそれぞれ単調増加する時刻情報を順次抽出し、前記時刻情報が前記先行ストリームおよび前記後続ストリーム間の接続ポイントで不連続とならないように前記先行ストリームおよび後続ストリームのうちの一方の時刻情報を一律にシフトさせる書き換えを行うことを特徴とする映像処理方法。
7. 前記映像音声多重化ストリームはＭＰＥＧ(Moving Picture Experts Group)形式ストリームであり、各ストリームのＰＴＳ(Presentation Time Stamp)およびＤＴＳ(Decode Time Stamp)を前記時刻情報として取り扱うことを特徴とする請求項６に記載の映像処理方法。
8. 前記ＰＴＳおよび前記ＤＴＳのビット数の範囲でラップアラウンドを生じさせないように前記一方の時刻情報に対してシフト量の加算または減算をすることを特徴とする請求項７に記載の映像処理方法。
9. 前記シフト量の加算または減算を前記時刻情報の上位所定所定ビットについて行うことを特徴とする請求項８に映像処理方法。
10. さらに各ストリーム内に存在する時刻情報のギャップを埋めるための書き換えを行うことを特徴とする請求項６に記載の映像処理方法。

Images