JP2012004631A - タイムスタンプ補正回路および符号化装置 - Google Patents

Abstract

【課題】複数の符号化ストリームそれぞれのタイムスタンプを確度の高い値に補正する。
【解決手段】第１タイムスタンプ取得部３が第１ストリームから第１タイムスタンプを取得して、第１タイムスタンプ期待値生成部４がその第１タイムスタンプの値を予測して第１期待値を生成し、第１タイムスタンプ差分値算出部５が第１タイムスタンプと第１期待値の差分を求めて第１差分値を生成する。第２ストリームからも第２差分値を生成して、タイムスタンプ異常検出部１０が第１および第２差分値から第１または第２タイムスタンプの異常を検出し、第１タイムスタンプ補正部１１および第２タイムスタンプ補正部１２が第１および第２差分値を用いて補正する。
【選択図】図１

Description

この発明は、複数種類の信号を符号化した際に、符号化ストリームのタイムスタンプを補正して多重化するタイムスタンプ補正回路と、このタイムスタンプ補正回路を備えた符号化装置に関するものである。

従来の符号化装置は、映像信号および音声信号をそれぞれ圧縮して映像符号化ストリームおよび音声符号化ストリームを生成し、システムクロックがカウントする基準時刻をタイムスタンプとして各符号化ストリームに付与し、それらを多重化したトランスポートストリームを出力する。

このようなトランスポートストリームから、他のトランスポートストリームに切り換える場合、両トランスポートストリームの連続性を保つために同期させて切り換える必要がある。例えば特許文献１に、第一トランスポートストリームおよび第二トランスポートストリーム（以下、第一ストリームおよび第二ストリーム）を同期させ切り換えるトランスポートストリーム切換装置が提案されている。

図５は、特許文献１に係るトランスポート切換装置の構成を示すブロック図である。図５において、トランスポートストリーム切換装置１００は、第一ストリームの入力端子１０１と、第二ストリームの入力端子１０２と、第一ストリームのＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を取得するＰＣＲ取得部１０３と、第二ストリームのタイムスタンプを取得するタイムスタンプ取得部１０４と、システムクロックを発振する発振器（自走システムクロック発振器）１０５と、基準時刻を生成する基準時刻生成部１０６と、第二ストリームのＰＣＲ取得および変更部１０７と、タイムスタンプ補正値を算出するタイムスタンプ算出部１０８と、第二ストリームのタイムスタンプ値を変更するタイムスタンプ取得および変更部１０９と、第一ストリームおよび第二ストリームを同期させて切り換え出力する切り換え部１１０と、出力ストリームの出力端子１１１とを備える。

次に、トランスポートストリーム切換装置１００の動作を説明する。
入力端子１０１から入力される第一ストリームに対し、ＰＣＲ取得部１０３がＰＣＲを取得し、タイムスタンプ取得部１０４がタイムスタンプ（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ、またはＤＴＳ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）を取得する。

基準時刻生成部１０６は、ＰＣＲ取得部１０３が取得した第一ストリームのＰＣＲを基準としてセットし、第一ストリームに第二ストリームを同期させるための基準時刻を、発振器１０５のシステムクロックにより生成する。

入力端子１０２から入力される第二ストリームに対し、ＰＣＲ取得および変更部１０７がＰＣＲを検出する毎に基準時刻生成部１０６から基準時刻を読み出し、第二ストリームのＰＣＲを基準時刻の値に変更する。タイムスタンプ算出部１０８は、ＰＣＲ取得および変更部１０７より変更前の第二ストリームのＰＣＲを取得し、基準時刻との差分を求める。タイムスタンプ取得および変更部１０９は、タイムスタンプ算出部１０８の差分結果に基づいて、第二ストリームのタイムスタンプを変更する。これにより、第二ストリームが第一ストリームに同期する。

切り換え部１１０は、入力端子１０１から入力される第一ストリームと、タイムスタンプ取得および変更部１０９でタイムスタンプが補正された第二ストリームとを切り換えて出力する。
このようにして、任意のトランスポート切り換えタイミングにおいても、第一ストリームのタイムスタンプを基準にして第二ストリームのタイムスタンプを補正することにより、タイムスタンプが不連続にならないトランスポートに切り換えて出力することができる。

特開２００６−１２１６０１号公報（第１２頁、図１）

しかしながら、特許文献１のトランスポートストリーム切換装置１００は、第一ストリームが正常に安定動作していることを前提として、第一ストリームのタイムスタンプを基準にして第二ストリームのタイムスタンプを補正するので、第一ストリームのＰＣＲまたはタイムスタンプに異常が発生した場合には、それに基づいて補正した第二ストリームのタイムスタンプも異常となる課題があった。

また、符号化装置を冗長構成にした場合、複数の符号化装置のタイムスタンプを同期させる必要があるため、任意のタイミングで外部から設定される基準時刻に追従する必要がある。そのため、１のトランスポートストリームのみでタイムスタンプの不連続を検出する構成では、いずれかの符号化装置が誤動作して不連続になったのか、または外部から基準時刻が設定し直されたため不連続になったのかの区別ができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、複数の符号化ストリームそれぞれのタイムスタンプを確度の高い値に補正することを目的とする。

この発明に係るタイムスタンプ補正回路は、第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部と、第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部と、第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部と、第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部と、第１タイムスタンプの値と第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部と、第２タイムスタンプの値と第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部と、第１差分値および第２差分値に基づいて、第１タイムスタンプまたは第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部と、タイムスタンプ異常検出部で第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を補正する第１タイムスタンプ補正部と、タイムスタンプ異常検出部で第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を補正する第２タイムスタンプ補正部とを備えるものである。

この発明に係る符号化装置は、所定周期でカウントする基準カウンタと、第１信号をフレーム単位の符号化データに符号化し、基準カウンタのカウンタ値を取得して当該符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部と、第２信号をフレーム単位の符号化データに符号化し、基準カウンタのカウンタ値を取得して当該符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部と、上述のタイムスタンプ補正回路と、タイムスタンプ補正回路の第１タイムスタンプ補正部が出力した第１ストリームと第２タイムスタンプ補正部が出力した第２ストリームとを多重化する多重化部とを備えるものである。

この発明に係る符号化装置は、所定周期でカウントする基準カウンタと、第１信号をフレーム単位の符号化データに符号化し、基準カウンタのカウンタ値を取得して当該符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部と、第２信号をフレーム単位の符号化データに符号化し、基準カウンタのカウンタ値を取得して当該符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部と、基準カウンタのカウンタ値をフレーム単位に取得して、基準カウンタ値とする基準カウンタ値取得部と、第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部と、第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部と、第１タイムスタンプ取得部が取得する第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部と、第２タイムスタンプ取得部が取得する第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部と、基準カウンタ値取得部が取得する基準カウンタ値を予測して基準カウンタ期待値を生成する基準カウンタ期待値生成部と、第１タイムスタンプ取得部が取得した第１タイムスタンプの値と第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部と、第２タイムスタンプ取得部が取得した第２タイムスタンプの値と第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部と、基準カウンタ値取得部が取得した基準カウンタ値と基準カウンタ期待値との差分を算出して基準カウンタ差分値を生成する基準カウンタ差分値算出部と、第１差分値、第２差分値および基準カウンタ差分値に基づいて、第１タイムスタンプまたは第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部と、タイムスタンプ異常検出部で第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を補正する第１タイムスタンプ補正部と、タイムスタンプ異常検出部で第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を補正する第２タイムスタンプ補正部と、第１タイムスタンプ補正部が出力した第１ストリームと第２タイムスタンプ補正部が出力した第２ストリームとを多重化する多重化部とを備えるものである。

この発明によれば、ストリーム毎のタイムスタンプを取得し、各ストリームについて取得したタイムスタンプと予測したタイムスタンプの期待値との差分値を算出し、差分値の比較結果からタイムスタンプが異常となっているストリームを検出して補正するようにしたので、複数の符号化ストリームのうちどのストリームでタイムスタンプの異常が発生した場合でも、タイムスタンプを確度の高い値に補正することができる。

この発明によれば、ストリーム毎のタイムスタンプの情報に加えて、基準カウンタの情報を用いてタイムスタンプが異常となっているストリームを検出して補正するようにしたので、タイムスタンプの異常検出要素を増やすことによりタイムスタンプ補正の確度を高めることができる。

この発明の実施の形態１に係る符号化装置の構成を示すブロック図である。 この発明の実施の形態１に係る符号化装置の動作を示すフローチャートである。 この発明の実施の形態１に係る符号化装置の動作を示すフローチャートの続きである。 この発明の実施の形態２に係る符号化装置の構成を示すブロック図である。 特許文献１に係るトランスポート切換装置の構成を示すブロック図である。

実施の形態１．
図１に示すように、実施の形態１に係る符号化装置は、第１信号および第２信号をそれぞれ符号化して多重化した出力ストリームを生成する装置であり、以下の説明では第１信号を映像信号、第２信号を音声信号とする。

符号化装置は、第１信号（映像信号）を処理する第１符号化部２、第１タイムスタンプ取得部３、第１タイムスタンプ期待値生成部４、第１タイムスタンプ差分値算出部５、第１タイムスタンプ補正部１１を備える。また、第２信号（音声信号）を処理する第２符号化部６、第２タイムスタンプ取得部７、第２タイムスタンプ期待値生成部８、第２タイムスタンプ差分値算出部９、第２タイムスタンプ補正部１２を備える。さらに、第１信号および第２信号に共通する処理を行うための基準カウンタ１、タイムスタンプ異常検出部１０、多重化部１３を備える。

以下、図２および図３に示すフローチャートを用いて、符号化装置を詳細に説明する。
基準カウンタ１は、基準クロック（例えば２７ＭＨｚ）のシステムクロックを生じさせる発振器を有し、設定された基準時刻情報に同期して基準クロックでカウントする。このカウンタ値が、後述する符号化データに付加されるタイムスタンプの元になる。

第１符号化部２は、第１信号を符号化して符号化データを生成する（ステップＳＴ１）。また、第１符号化部２は、この符号化データの符号化フレーム毎に基準カウンタ１のカウンタ値を参照して、そのカウンタ値にオフセットを増減した値（第１タイムスタンプ）を符号化データに付加する（ステップＳＴ２）。この符号化データは、符号化ストリームとして第１タイムスタンプ取得部３および第１タイムスタンプ補正部１１へ出力される（ステップＳＴ３）。

第１信号が映像信号の場合、その映像ストリームには、１ビデオフレーム毎に、そのフレームデータが復号されるタイミングを示すＤＴＳと、再生されるタイミングを示すＰＴＳが第１タイムスタンプとして設定される。なお、第１符号化部２および後述する第２符号化部６におけるタイムスタンプ付与処理については公知の技術であるため詳細な説明を省略する。例えば、１フレーム分のカウンタ値ｎ＝３００３とすると、先頭のピクチャ（フレーム）でＤＴＳ（ｎ）が設定されると、次のピクチャのＤＴＳはｎ＋３００３となり、以降連続的に復号されるタイミングとしてＤＴＳがｎ＋６００６、ｎ＋９００９、ｎ＋１２０１２、ｎ＋１５０１５というように設定される。一方、ＰＴＳは、ＤＴＳに基づいて設定される値であるが、ピクチャによっては復号されるタイミングと再生されるタイミングが異なるためＤＴＳとＰＴＳで値が異なる。ただし、例えばＢピクチャはＤＴＳとＰＴＳの値が等しくなるため、ＰＴＳのみ設定すればよい。また、Ｂピクチャが存在しない場合には、ＩピクチャおよびＰピクチャにＰＴＳのみ設定すればよい。

第１タイムスタンプ取得部３は、符号化ストリーム（映像ストリーム）から第１タイムスタンプを取得し、第１タイムスタンプ期待値生成部４および第１タイムスタンプ差分値算出部５へ出力する（ステップＳＴ４）。なお、対象が映像ストリームの場合、取得するタイムスタンプの種類は基本的にＤＴＳとするが、上述のようにピクチャタイプによってはＰＴＳしか付加されていない場合があるため、その場合にはＤＴＳ相当のＰＴＳを代用する。

第１タイムスタンプ差分値算出部５は、第１タイムスタンプ期待値生成部４が前フレーム処理時に生成した第１期待値を取得して（ステップＳＴ５）、第１タイムスタンプ取得部３が取得した現フレームの第１タイムスタンプとの差分を算出し、第１差分値としてタイムスタンプ異常検出部１０へ出力する（ステップＳＴ６）。正常時においては、この差分値は０となる。
第１期待値は、次フレームで第１タイムスタンプ取得部３が取得すると予測される第１タイムスタンプの値である。その詳細は後述する。

第２符号化部６においても、第１符号化部２と同様の動作を並行して行う。第２符号化部６は第２信号（音声信号）を符号化して符号化データを生成する（ステップＳＴ１’）。また、第２符号化部６は、この符号化データの符号化フレーム毎に基準カウンタ１のカウンタ値を参照して、そのカウンタ値にオフセットを増減した値（第２タイムスタンプ）を符号化データに付加する（ステップＳＴ２’）。この符号化データは、符号化ストリームとして第２タイムスタンプ取得部７および第２タイムスタンプ補正部１２へ出力される（ステップＳＴ３’）。

第２タイムスタンプ取得部７は、符号化ストリーム（音声ストリーム）から第２タイムスタンプを取得し、第２タイムスタンプ期待値生成部８および第２タイムスタンプ差分値算出部９へ出力する（ステップＳＴ４’）。なお、対象が音声ストリームの場合、取得するタイムスタンプの種類はＰＴＳとする。

第２タイムスタンプ差分値算出部９は、第２タイムスタンプ期待値生成部８が前フレーム処理時に生成した第２期待値を取得して（ステップＳＴ５’）、第２タイムスタンプ取得部７が取得した現フレームの第２タイムスタンプとの差分を算出し、第２差分値としてタイムスタンプ異常検出部１０へ出力する（ステップＳＴ６’）。正常時においては、この差分値は０となる。
第２期待値は、次フレームで第２タイムスタンプ取得部７が取得すると予測される第２タイムスタンプの値である。その詳細は後述する。

タイムスタンプ異常検出部１０は、第１差分値と第２差分値とに基づいてタイムスタンプが異常な符号化ストリームを検出し、異常と判定した符号化ストリームのタイムスタンプの補正値を算出する（ステップＳＴ７）。異常が映像ストリームにあれば、その補正値に第１差分値を用い、異常が音声ストリームにあれば、その補正値に第２差分値を用いる。

タイムスタンプ異常検出部１０は、正常または異常を示す判定結果と補正値とを第１タイムスタンプ補正部１１および第２タイムスタンプ補正部１２へ出力すると共に、異常有無の判定に基づくタイムスタンプのロード有無通知を第１タイムスタンプ期待値生成部４および第２タイムスタンプ期待値生成部８へ出力する（ステップＳＴ８）。

ここで、タイムスタンプ異常検出部１０の判定条件を説明する。
タイムスタンプ異常検出部１０は、第１差分値と第２差分値が共に０の場合、第１および第２タイムスタンプとも正常と判定し、第１タイムスタンプ補正部１１および第２タイムスタンプ補正部１２へ「正常」、即ちタイムスタンプ補正不要の旨を通知する。
そして、第１タイムスタンプ期待値生成部４および第２タイムスタンプ期待値生成部８へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプにフレーム間差分の時間を加算して、次フレームで取得すると予測されるタイムスタンプの期待値を生成する旨を通知する。なお、映像ストリームの場合、フレーム間差分の時間は、ＤＴＳなら１フレーム分のカウンタ値、ＰＴＳならピクチャタイプに応じた所定フレーム分のカウンタ値となる。

また、第１差分値と第２差分値のうちの少なくともいずれか一方が０以外で、かつ、両差分値が同一値でない場合、タイムスタンプ異常検出部１０は基準カウンタ１の瞬間的な揺らぎ、または第１符号化部２もしくは第２符号化部６の誤動作と判定し、差分値が０以外の符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「異常」、即ちタイムスタンプ補正要の旨と、補正値とを通知する。一方、差分値が０の符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「正常」を通知する。
そして、「正常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプにフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプの期待値を生成する旨を通知する。一方、「異常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）へは「タイムスタンプのロード無し」、即ち現フレームの期待値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプの期待値を生成する旨を通知する。

さらに、第１差分値と第２差分値が共に０以外で、かつ、両差分値が同一値である場合、タイムスタンプ異常検出部１０は基準カウンタ１に新時間軸の基準時刻情報が設定されたと判定し、第１タイムスタンプ補正部１１および第２タイムスタンプ補正部１２へ「正常」、即ちタイムスタンプ補正不要の旨を通知する。
そして、第１タイムスタンプ期待値生成部４および第２タイムスタンプ期待値生成部８へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプにフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプの期待値を生成する旨を通知する。

第１タイムスタンプ補正部１１は、タイムスタンプ異常検出部１０が出力する正常または異常を示す判定結果の通知に応じて、第１符号化部２から入力される符号化ストリームの第１タイムスタンプをスルー出力するか、補正値で補正するかして、多重化部１３へ出力する。

タイムスタンプ異常検出部１０から「正常」を示す通知がされた場合（ステップＳＴ９“無”）、第１タイムスタンプ補正部１１は第１符号化部２から入力される第１タイムスタンプを補正せずにそのまま出力する。
一方、タイムスタンプ異常検出部１０から「異常」および「補正値（第１差分値）」を示す通知がされた場合（ステップＳＴ９“有”）、第１タイムスタンプ補正部１１は通知された補正値分で第１タイムスタンプを補正して出力する（ステップＳＴ１０）。なお、対象が映像ストリームの場合、補正するタイムスタンプの種類はＤＴＳおよびＰＴＳとする。

第２タイムスタンプ補正部１２は、第１タイムスタンプ補正部１１と同様の動作を並行して行い、タイムスタンプ異常検出部１０が出力する正常または異常を示す判定結果の通知に応じて第２符号化部６から入力される符号化ストリームの第２タイムスタンプをスルー出力するか、補正値で補正するかして、多重化部１３へ出力する。

タイムスタンプ異常検出部１０から「正常」を示す通知がされた場合（ステップＳＴ９’“無”）、第２タイムスタンプ補正部１２は、第２符号化部６から入力される第２タイムスタンプを補正せずにそのまま出力する。
一方、タイムスタンプ異常検出部１０から「異常」および「補正値（第２差分値）」を示す通知がされた場合（ステップＳＴ９’“有”）、第２タイムスタンプ補正部１２は通知された補正値分で第２タイムスタンプを補正して出力する（ステップＳＴ１０’）。なお、対象が音声ストリームの場合、補正するタイムスタンプの種類はＰＴＳとする。

多重化部１３は、第１タイムスタンプ補正部１１から入力される符号化ストリームと、第２タイムスタンプ補正部１２から入力される符号化ストリームとを多重化し、装置外部へ出力する（ステップＳＴ１４）。

第１タイムスタンプ期待値生成部４は、タイムスタンプ異常検出部１０から通知される現フレームのロード有無通知に応じて、次フレームで第１タイムスタンプ取得部３が取得すると予測される第１タイムスタンプの期待値を生成し、第１期待値とする。第１期待値は、次回のステップＳＴ４にて、次フレーム処理のために第１タイムスタンプ差分値算出部５へ出力される。

タイムスタンプ異常検出部１０から「タイムスタンプのロード有り」を表すロード有無通知がされた場合（ステップＳＴ１１“有”）、第１タイムスタンプ期待値生成部４は第１タイムスタンプ取得部３から入力された現フレームの第１タイムスタンプにフレーム間差分のカウンタ値を加算し、これを次フレームの第１期待値とする（ステップＳＴ１２）。
一方、タイムスタンプ異常検出部１０から「タイムスタンプのロード無し」を表すロード有無通知がされた場合（ステップＳＴ１１“無”）、第１タイムスタンプ期待値生成部４は前回算出した第１期待値にフレーム間差分のカウンタ値を加算し、これを次フレームの第１期待値とする（ステップＳＴ１３）。

第２タイムスタンプ期待値生成部８においても、第１タイムスタンプ期待値生成部４と同様の動作を並行して行う。第２タイムスタンプ期待値生成部８は、タイムスタンプ異常検出部１０から通知される現フレームのロード有無通知に応じて、次フレームで第２タイムスタンプ取得部７が取得すると予測される第２タイムスタンプの期待値を生成し、第２期待値とする。第２期待値は、次回のステップＳＴ４’にて、次フレーム処理のために第２タイムスタンプ差分値算出部９へ出力される。

タイムスタンプ異常検出部１０から「タイムスタンプのロード有り」を表すロード有無通知がされた場合（ステップＳＴ１１’“有”）、第２タイムスタンプ期待値生成部８は第２タイムスタンプ取得部７から入力された現フレームの第２タイムスタンプにフレーム間差分のカウンタ値を加算し、これを次フレームの第２期待値とする（ステップＳＴ１２’）。
一方、タイムスタンプ異常検出部１０から「タイムスタンプのロード無し」を表すロード有無通知がされた場合（ステップＳＴ１１’“無”）、第２タイムスタンプ期待値生成部８は前回算出した第２期待値にフレーム間差分のカウンタ値を加算し、これを次フレームの第２期待値とする（ステップＳＴ１３’）。

以上、実施の形態１によれば、符号化装置は、所定周期でカウントする基準カウンタ１と、第１信号をフレーム単位の符号化データに符号化し、基準カウンタ１のカウンタ値を取得して符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部２と、第２信号をフレーム単位の符号化データに符号化し、基準カウンタ１のカウンタ値を取得して符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部６と、第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部３と、第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部７と、第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部４と、第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部８と、第１タイムスタンプの値と第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部５と、第２タイムスタンプの値と第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部９と、第１差分値および第２差分値に基づいて第１タイムスタンプまたは第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部１０と、タイムスタンプ異常検出部１０で第１タイムスタンプの異常が検出されると第１タイムスタンプの値を補正する第１タイムスタンプ補正部１１と、タイムスタンプ異常検出部１０で第２タイムスタンプの異常が検出されると第２タイムスタンプの値を補正する第２タイムスタンプ補正部１２と、第１タイムスタンプ補正部１１が出力した第１ストリームと第２タイムスタンプ補正部１２が出力した第２ストリームとを多重化する多重化部１３とを備えるように構成した。このため、従来のようにどちらか一方のタイムスタンプを基準にして他方のタイムスタンプの正常／異常を判定するのではなく、第１期待値と第２期待値を用いて第１タイムスタンプと第２タイムスタンプをそれぞれ正常か異常か判定できるようになる。よって、第１ストリームおよび第２ストリームのどちらのタイムスタンプに異常が発生しても、タイムスタンプを確度の高い値に補正することができる。

また、実施の形態１によれば、タイムスタンプ異常検出部１０が、第１差分値と第２差分値が同一値であれば第１タイムスタンプおよび第２タイムスタンプとも正常と判定し、異なる値であれば第１差分値と第２差分値のうち差分値が０になったタイムスタンプを正常、差分値が０以外になったタイムスタンプを異常と判定するようにしたので、タイムスタンプの異常が基準カウンタ１の瞬間的な揺らぎ、または第１符号化部２もしくは第２符号化部６の誤動作に起因するものか、基準カウンタ１に新時間軸の基準時刻情報が設定されたことに起因するものかを判定して、タイムスタンプを補正することができる。

実施の形態２．
図４は、実施の形態２に係る符号化装置の構成を示すブロック図であり、図４において図１と同一または相当の部分については同一の符号を付し説明を省略する。本実施の形態２に係る符号化装置は、新たに基準カウンタ値取得部１４、基準カウンタ期待値生成部１５、基準カウンタ差分値算出部１６を備える。

基準カウンタ値取得部１４は、基準カウンタ１のカウンタ値を任意の一定周期（例えば、第１符号化部２のビデオフレーム周期）で取得し、基準カウンタ値として基準カウンタ期待値生成部１５および基準カウンタ差分値算出部１６へ出力する。

基準カウンタ期待値生成部１５は、タイムスタンプ異常検出部１０から通知される現フレームのロード有無通知に応じて、次の周期（例えば、次のビデオフレーム）で基準カウンタ値取得部１４が取得すると予測される基準カウンタ値の期待値を生成し、基準カウンタ期待値とする。基準カウンタ期待値は、次フレーム処理のために基準カウンタ差分値算出部１６へ出力される。

基準カウンタ差分値算出部１６は、基準カウンタ期待値生成部１５が前フレーム処理時に生成した基準カウンタ期待値を取得して、基準カウンタ値取得部１４が取得した現フレームの基準カウンタ値との差分を算出し、基準カウンタ差分値としてタイムスタンプ異常検出部１０へ出力する。正常時においては、この差分値は０となる。

タイムスタンプ異常検出部１０は、第１タイムスタンプ差分値算出部５から入力される第１差分値と、第２タイムスタンプ差分値算出部９から入力される第２差分値に加え、基準カウンタ差分値算出部１６から入力される基準カウンタ差分値に基づいて、タイムスタンプが異常な符号化ストリームを検出し、異常と判定した符号化ストリームのタイムスタンプの補正値または基準値を算出する。補正値、基準値は後述する。

ここで、実施の形態２におけるタイムスタンプ異常検出部１０の判定条件を説明する。
タイムスタンプ異常検出部１０は、第１差分値、第２差分値、基準カウンタ差分値が３種全て一致した場合、この３種全てを正常と判定し、第１タイムスタンプ補正部１１および第２タイムスタンプ補正部１２へ「正常」、即ちタイムスタンプ補正不要の旨を通知する。
そして、第１タイムスタンプ期待値生成部４、第２タイムスタンプ期待値生成部８および基準カウンタ期待値生成部１５へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプまたは基準カウンタ値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプまたは基準カウンタ値の期待値を生成する旨を通知する。

また、第１差分値、第２差分値、基準カウンタ差分値が３種全て不一致の場合、タイムスタンプ異常検出部１０は基準カウンタ１の瞬間的な揺らぎ、または第１符号化部２もしくは第２符号化部６の誤動作と判定し、差分値が０以外の符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「異常」、即ちタイムスタンプ補正要の旨を通知する。一方、差分値が０の符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「正常」を通知する。
そして、「正常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）および基準カウンタ期待値生成部１５へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプまたは基準カウンタ値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプまたは基準カウンタ値の期待値を生成する旨を通知する。一方、「異常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）および基準カウンタ期待値生成部１５へは「タイムスタンプのロード無し」、即ち現フレームの期待値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプまたは基準カウンタ値の期待値を生成する旨を通知する。

さらに、第１差分値、第２差分値、基準カウンタ差分値のうちの過半数（この場合は２種）以上が一致した場合、過半数以上で一致した符号化ストリームのタイムスタンプを正常と判定し、この符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「正常」、即ちタイムスタンプ補正不要の旨を通知する。また、この符号化ストリームのタイムスタンプを基準値とする。一方、一致しなかった符号化ストリームのタイムスタンプ補正部（第１または第２タイムスタンプ補正部１１，１２）へ「異常」、即ちタイムスタンプ補正要の旨と、上述の基準値とを通知する。
そして、「正常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）および基準カウンタ期待値生成部１５へは「タイムスタンプのロード有り」、即ち取得した現フレームのタイムスタンプまたは基準カウンタ値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプまたは基準カウンタ値の期待値を生成する旨を通知する。一方、「異常」な符号化ストリームの期待値生成部（第１または第２タイムスタンプ期待値生成部４，８）および基準カウンタ期待値生成部１５へは「基準値」と「タイムスタンプのロード無し」、即ち基準値にフレーム間差分のカウンタ値を加算して、次フレームで取得すると予測されるタイムスタンプまたは基準カウンタ値の期待値を生成する旨を通知する。

タイムスタンプ異常検出部１０から「タイムスタンプのロード有り」を表すロード有無通知がされた場合、第１タイムスタンプ期待値生成部４、第２タイムスタンプ期待値生成部８および基準カウンタ期待値生成部１５はそれぞれ、第１タイムスタンプ取得部３、第２タイムスタンプ取得部７および基準カウンタ値取得部１４から入力された現フレームのタイムスタンプまたは基準カウンタ値にフレーム間差分のカウンタ値を加算し、これを次フレームの期待値とする。

一方、タイムスタンプ異常検出部１０から「タイムスタンプのロード無し」を表すロード有無通知がされた場合、第１タイムスタンプ期待値生成部４、第２タイムスタンプ期待値生成部８および基準カウンタ期待値生成部１５はそれぞれ、現フレームの期待値にフレーム間差分のカウンタ値を加算し、これを次フレームの期待値とする。
さらに、タイムスタンプ異常検出部１０から「タイムスタンプのロード無し」を表すロード有無通知と共に「基準値」が通知された場合には、第１タイムスタンプ期待値生成部４、第２タイムスタンプ期待値生成部８および基準カウンタ期待値生成部１５はそれぞれ、通知された基準値にフレーム間差分のカウンタ値を加算し、これを次フレームの期待値とする。

以上より、実施の形態２によれば、符号化装置は、所定周期でカウントする基準カウンタ１と、第１信号をフレーム単位の符号化データに符号化し、基準カウンタ１のカウンタ値を取得して符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部２と、第２信号をフレーム単位の符号化データに符号化し、基準カウンタ１のカウンタ値を取得して符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部６と、基準カウンタ１のカウンタ値をフレーム単位に取得して、基準カウンタ値とする基準カウンタ値取得部１４と、第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部３と、第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部７と、第１タイムスタンプ取得部３が取得する第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部８と、第２タイムスタンプ取得部７が取得する第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部８と、基準カウンタ値取得部１４が取得する基準カウンタ値を予測して基準カウンタ期待値を生成する基準カウンタ期待値生成部１５と、第１タイムスタンプ取得部３が取得した第１タイムスタンプの値と第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部５と、第２タイムスタンプ取得部７が取得した第２タイムスタンプの値と第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部９と、基準カウンタ値取得部１４が取得した基準カウンタ値と基準カウンタ期待値との差分を算出して基準カウンタ差分値を生成する基準カウンタ差分値算出部１６と、第１差分値、第２差分値および基準カウンタ差分値に基づいて、第１タイムスタンプまたは第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部１０と、タイムスタンプ異常検出部１０で第１タイムスタンプの異常が検出されると第１タイムスタンプの値を補正する第１タイムスタンプ補正部１１と、タイムスタンプ異常検出部１０で第２タイムスタンプの異常が検出されると第２タイムスタンプの値を補正する第２タイムスタンプ補正部１２と、第１タイムスタンプ補正部１１が補正した第１ストリームと第２タイムスタンプ補正部１２が補正した第２ストリームとを多重化する多重化部１３とを備えるように構成した。このため、基準カウンタ１の情報を加えてタイムスタンプの異常検出要素を増やすことにより、タイムスタンプ補正の確度をより高めることができる。

なお、上記実施の形態１，２に係る符号化装置では、第１信号に映像信号、第２信号に音声信号を用いたが、これに限定されるものではなく、例えば第１、第２信号とも音声信号にしてもよい。

また、上記実施の形態１，２に係る符号化装置のうちの第１タイムスタンプ取得部３、第１タイムスタンプ期待値生成部４、第１タイムスタンプ差分値算出部５、第２タイムスタンプ取得部７、第２タイムスタンプ期待値生成部８、第２タイムスタンプ差分値算出部９、タイムスタンプ異常検出部１０、第１タイムスタンプ補正部１１、および第２タイムスタンプ補正部１２を備えるタイムスタンプ補正回路として構成しても、上記同様の効果を奏することは言うまでもない。

１ 基準カウンタ、２ 第１符号化部、３ 第１タイムスタンプ取得部、４ 第１タイムスタンプ期待値生成部、５ 第１タイムスタンプ差分値算出部、６ 第２符号化部、７ 第２タイムスタンプ取得部、８ 第２タイムスタンプ期待値生成部、９ 第２タイムスタンプ差分値算出部、１０ タイムスタンプ異常検出部、１１ 第１タイムスタンプ補正部、１２ 第２タイムスタンプ補正部、１３ 多重化部、１４ 基準カウンタ値取得部、１５ 基準カウンタ期待値生成部、１６ 基準カウンタ差分値算出部、１００ トランスポートストリーム切換装置、１０１ 第一ストリームの入力端子、１０２ 第二ストリームの入力端子、１０３ ＰＣＲ取得部、１０４ タイムスタンプ取得部、１０５ システムクロック、１０６ 基準時刻生成部、１０７ ＰＣＲ取得および変更部、１０８ タイムスタンプ算出部、１０９ タイムスタンプ取得および変更部、１１０ 切り換え部、１１１ 出力ストリームの出力端子。

Claims (10)

1. 第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部と、
   第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部と、
   前記第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部と、
   前記第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部と、
   前記第１タイムスタンプの値と前記第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部と、
   前記第２タイムスタンプの値と前記第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部と、
   前記第１差分値および前記第２差分値に基づいて、前記第１タイムスタンプまたは前記第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部と、
   前記タイムスタンプ異常検出部で前記第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を補正する第１タイムスタンプ補正部と、
   前記タイムスタンプ異常検出部で前記第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を補正する第２タイムスタンプ補正部とを備えるタイムスタンプ補正回路。
2. タイムスタンプ異常検出部は、第１差分値と第２差分値が同一値であれば第１タイムスタンプおよび第２タイムスタンプとも正常と判定し、異なる値であれば当該第１差分値と第２差分値のうち差分値が０になったタイムスタンプを正常、差分値が０以外になったタイムスタンプを異常と判定することを特徴とする請求項１記載のタイムスタンプ補正回路。
3. 第１タイムスタンプ期待値生成部は、タイムスタンプ異常検出部で現フレームの第１タイムスタンプが正常と判定された場合に、当該現フレームの第１タイムスタンプにフレーム間差分の時間を加算して次フレームの第１期待値とし、前記タイムスタンプ異常検出部で現フレームの第１タイムスタンプが異常と判定された場合に、当該現フレームの第１期待値にフレーム間差分の時間を加算して次フレームの第１期待値とし、
   第２タイムスタンプ期待値生成部は、前記タイムスタンプ異常検出部で現フレームの第２タイムスタンプが正常と判定された場合に、当該現フレームの第２タイムスタンプにフレーム間差分の時間を加算して次フレームの第２期待値とし、前記タイムスタンプ異常検出部で現フレームの第２タイムスタンプが異常と判定された場合に、当該現フレームの第２期待値にフレーム間差分の時間を加算して次フレームの第２期待値とすることを特徴とする請求項１記載のタイムスタンプ補正回路。
4. 第１タイムスタンプ補正部は、タイムスタンプ異常検出部で第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を第１差分値で補正し、
   第２タイムスタンプ補正部は、前記タイムスタンプ異常検出部で第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を第２差分値で補正することを特徴とする請求項１記載のタイムスタンプ補正回路。
5. 所定周期でカウントする基準カウンタと、
   第１信号をフレーム単位の符号化データに符号化し、前記基準カウンタのカウンタ値を取得して当該符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部と、
   第２信号をフレーム単位の符号化データに符号化し、前記基準カウンタのカウンタ値を取得して当該符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部と、
   請求項１から請求項４のうちのいずれか１項記載のタイムスタンプ補正回路と、
   前記タイムスタンプ補正回路の第１タイムスタンプ補正部が出力した第１ストリームと第２タイムスタンプ補正部が出力した第２ストリームとを多重化する多重化部とを備える符号化装置。
6. 所定周期でカウントする基準カウンタと、
   第１信号をフレーム単位の符号化データに符号化し、前記基準カウンタのカウンタ値を取得して当該符号化データに第１タイムスタンプとして付与して第１ストリームを生成する第１符号化部と、
   第２信号をフレーム単位の符号化データに符号化し、前記基準カウンタのカウンタ値を取得して当該符号化データに第２タイムスタンプとして付与して第２ストリームを生成する第２符号化部と、
   前記基準カウンタのカウンタ値をフレーム単位に取得して、基準カウンタ値とする基準カウンタ値取得部と、
   前記第１ストリームから第１タイムスタンプの値を取得する第１タイムスタンプ取得部と、
   前記第２ストリームから第２タイムスタンプの値を取得する第２タイムスタンプ取得部と、
   前記第１タイムスタンプ取得部が取得する第１タイムスタンプの値を予測して第１期待値を生成する第１タイムスタンプ期待値生成部と、
   前記第２タイムスタンプ取得部が取得する第２タイムスタンプの値を予測して第２期待値を生成する第２タイムスタンプ期待値生成部と、
   前記基準カウンタ値取得部が取得する基準カウンタ値を予測して基準カウンタ期待値を生成する基準カウンタ期待値生成部と、
   前記第１タイムスタンプ取得部が取得した第１タイムスタンプの値と前記第１期待値との差分を算出して第１差分値を生成する第１タイムスタンプ差分値算出部と、
   前記第２タイムスタンプ取得部が取得した第２タイムスタンプの値と前記第２期待値との差分を算出して第２差分値を生成する第２タイムスタンプ差分値算出部と、
   前記基準カウンタ値取得部が取得した基準カウンタ値と前記基準カウンタ期待値との差分を算出して基準カウンタ差分値を生成する基準カウンタ差分値算出部と、
   前記第１差分値、前記第２差分値および前記基準カウンタ差分値に基づいて、前記第１タイムスタンプまたは前記第２タイムスタンプの値の異常を検出するタイムスタンプ異常検出部と、
   前記タイムスタンプ異常検出部で前記第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を補正する第１タイムスタンプ補正部と、
   前記タイムスタンプ異常検出部で前記第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を補正する第２タイムスタンプ補正部と、
   前記第１タイムスタンプ補正部が出力した第１ストリームと前記第２タイムスタンプ補正部が出力した第２ストリームとを多重化する多重化部とを備える符号化装置。
7. タイムスタンプ異常検出部は、第１差分値、第２差分値および基準カウンタ差分値が全て一致すれば第１タイムスタンプおよび第２タイムスタンプとも正常と判定し、全て不一致であれば当該第１差分値と第２差分値のうち差分値が０になったタイムスタンプを正常、差分値が０以外になったタイムスタンプを異常と判定し、過半数以上が一致すれば当該第１差分値と第２差分値のうち差分値が一致したタイムスタンプを正常、差分値が一致しなかったタイムスタンプを異常と判定することを特徴とする請求項６記載の符号化装置。
8. タイムスタンプ異常検出部は、第１差分値、第２差分値および基準カウンタ差分値のうちの過半数以上が一致した場合に、当該一致した差分値のタイムスタンプを基準値として出力し、
   第１タイムスタンプ期待値生成部は、前記タイムスタンプ異常検出部から基準値が入力された場合に当該基準値にフレーム間差分の時間を加算して、次フレームの第１期待値とし、
   第２タイムスタンプ期待値生成部は、前記タイムスタンプ異常検出部から基準値が入力された場合に当該基準値にフレーム間差分の時間を加算して、次フレームの第２期待値とし、
   基準カウンタ期待値生成部は、前記タイムスタンプ異常検出部から基準値が入力された場合に当該基準値にフレーム間差分の時間を加算して、次フレームの基準カウンタ期待値とすることを特徴とする請求項７記載の符号化装置。
9. 第１タイムスタンプ期待値生成部は、タイムスタンプ異常検出部で現フレームの第１タイムスタンプが正常と判定された場合に、当該現フレームの第１タイムスタンプにフレーム間差分の時間を加算して次フレームの第１期待値とし、前記タイムスタンプ異常検出部で現フレームの第１タイムスタンプが異常と判定された場合に、当該現フレームの第１期待値にフレーム間差分の時間を加算して次フレームの第１期待値とし、
   第２タイムスタンプ期待値生成部は、前記タイムスタンプ異常検出部で現フレームの第２タイムスタンプが正常と判定された場合に、当該現フレームの第２タイムスタンプにフレーム間差分の時間を加算して次フレームの第２期待値とし、前記タイムスタンプ異常検出部で現フレームの第２タイムスタンプが異常と判定された場合に、当該現フレームの第２期待値にフレーム間差分の時間を加算して次フレームの第２期待値とすることを特徴とする請求項６記載の符号化装置。
10. 第１タイムスタンプ補正部は、タイムスタンプ異常検出部で第１タイムスタンプの異常が検出されると、当該第１タイムスタンプの値を第１差分値で補正し、
    第２タイムスタンプ補正部は、前記タイムスタンプ異常検出部で第２タイムスタンプの異常が検出されると、当該第２タイムスタンプの値を第２差分値で補正することを特徴とする請求項６記載の符号化装置。

Images