JP2013031075A - 映像送出装置及び映像送出装置で使用される制御方法 - Google Patents

Abstract

【課題】汎用プロトコルを利用して、再送遅延が発生した場合でも映像データを同期して入出力制御することを可能にする。
【解決手段】実施形態によれば、映像送出装置において、復号部は、受信バッファを備え、制御管理部は、送信制御手段と、判定手段と、再送遅延対応手段とを備える。受信バッファは、制御ネットワークによる再送遅延時間に相当する容量を有する。送信制御手段は、記憶部から再生された素材データを複数パケットに分割し、パケット単位で予め決められた時間間隔で復号部に転送するべく復号部または記憶部に制御指示を送出する。判定手段は、記憶部または復号部への制御指示の送出後に、記憶部または復号部から返送される送達確認信号に基づいて、記憶部から再生される素材データの中で遅延のあるパケットを判定する。再送遅延対応手段は、この判定手段により判定された遅延のあるパケットを、送信制御手段による転送とは別に復号部に転送させる。
【選択図】 図２

Description

本発明の実施形態は、放送局内において、放送番組の送出素材の送出処理を行う映像送出装置及び映像送出装置で使用される制御方法に関する。

周知のように、放送番組送出システムにあっては、放送番組の送出素材となる映像データを予めビデオサーバ装置に格納しておき、自動番組送出制御装置（ＡＰＣ）からの指示に従って該当する映像データを再生し、オンエアを行うようになっている。このようなオンエア処理において、通常、オンエア前にオンエア順序に従った映像データの確認作業が行われている。

ところで、映像品質がハイビジョンからフルハイビジョン(2K×1K)、超ハイビジョン(4K×2K)、スーパーハイビジョン(8K×4K)に向け飛躍的に向上し、地上放送からＢＳ(放送衛星)放送、ＣＳ(通信衛星)放送へとコンテンツが大容量化、多チャネル化していく。そのため、これら素材を保存するビデオサーバ装置も大容量化、多チャンネル化が必要となる。その結果、ビデオサーバ装置には高い処理能力が求められ、単一の機能部から複数の機能部で機能分担され構成される装置となる。

特開２００６−２３７９６８号公報

ところで、上記ビデオサーバ装置では、映像データの入出力だけでなく、サーバ内の各ユニットを制御する制御メッセージの伝送にもイーサネット（登録商標）や汎用プロトコルとしてのＴＣＰ／ＩＰを利用することにより、汎用の通信ソフトウェアモジュールを利用し、制御メッセージが正しく到達することを保証することができる。しかし、ＴＣＰ／ＩＰではデータの保証に再送を用いることから、パケットロスが発生した際等、ごく稀に制御コマンドの到着が遅延することがあり、映像送出システムにおいて映像データを同期して入出力制御することが困難となる。

本発明の目的は、汎用プロトコルをそのまま利用して、再送遅延が発生した場合でも映像データを同期して入出力制御することが可能な映像送出装置及び映像送出装置で使用される制御方法を提供することにある。

実施形態によれば、素材データを格納する記憶部と、この記憶部から再生される素材データを映像信号に復号する復号部と、記憶部及び復号部それぞれの処理を統括的に制御する制御管理部との間を、再送要求を行う汎用プロトコルを採用する制御ネットワークを介して接続する映像送出装置において、復号部は、受信バッファを備え、制御管理部は、送信制御手段と、判定手段と、再送遅延対応手段とを備える。受信バッファは、制御ネットワークによる再送遅延時間に相当する容量を有する。送信制御手段は、記憶部から再生された素材データを複数パケットに分割し、パケット単位で予め決められた時間間隔で復号部に転送するべく復号部または記憶部に制御指示を送出する。判定手段は、記憶部または復号部への制御指示の送出後に、記憶部または復号部から返送される送達確認信号に基づいて、記憶部から再生される素材データの中で遅延のあるパケットを判定する。再送遅延対応手段は、この判定手段により判定された遅延のあるパケットを、送信制御手段による転送とは別に復号部に転送させる。

第１の実施形態が適用される放送番組送出システムの構成を示すブロック図。 第１の実施形態とするビデオサーバの構成を示す回路ブロック図。 本第１の実施形態における映像復号化部の具体的構成を示すブロック図。 本第１の実施形態で取り扱う送達確認信号のフォーマット構成を示す図。 第１の実施形態において、映像出力を行う際のデータ記憶部と、映像復号化部と、制御管理部との間のシーケンスを示す図。 図２に示した制御管理部の制御処理手順を示すフローチャート。 第１の実施形態において、データ記憶部から２つの映像復号化部へ同時に２つの映像出力を行う通常時の際の割り当て例を示す図。 第１の実施形態において、同時に２つの映像信号Ａ、Ｂの出力を行っている際に新たに映像信号Ｃを追加して出力する際の割り当て例を示す図。 第１の実施形態において、再送遅延によるデータ伝送遅延が発生した場合の復旧方法について示す図。 第１の実施形態において、再送遅延によるデータ伝送遅延が発生した場合の復旧方法として予備スロットを用いる例を示す図。 第１の実施形態において、トリックプレイ（早送り再生やスキップ等の特殊再生）にて映像出力位置が変更される際に予備スロットを用いる例を示す図。 第１の実施形態において、再送遅延の為にデータの送信遅延が発生している際にトリックプレイによる映像出力位置の変更が発生した場合の例を示す図。 第２の実施形態において、映像出力開始の所定時間前における制御管理部の制御処理手順を示すフローチャート。 第３の実施形態に係るデータ記憶部の具体的構成を示すブロック図。

以下、実施の形態について、図面を参照して説明する。

（第１の実施形態）
図１はこの発明が適用される放送番組送出システムの構成を示すブロック図である。図１において、符号１１は映像送出装置としてのビデオサーバで、ノンリニア編集機１２からのオンエア用放送番組の素材データ（ここでは、映像データと称する）を格納し、オンエア指示に従って該当する映像データを選択的に再生する。この再生データは、ビデオサーバ１１内で映像信号にデコードされて放送設備１３に導かれて、オンエア出力される。また、ビデオサーバ１１から再生される映像信号はモニタ１４に供給される。

一方、ビデオサーバ１１は、操作端末１５の操作入力指示に従い、映像データの書き込み／読み出し制御が行われる。

図２は、第１の実施形態とするビデオサーバ１１の構成を示す回路ブロック図である。

ビデオサーバ１１は、符号化済みのファイル形式での映像データの入力を受け付ける映像データ入出力部１１１−１〜１１１−ｎと、符号化された映像データを伝送するデータ伝送部１１２−１,１１２−２と、映像データを保存するデータ記憶部１１３−１〜１１３−ｍと、データ記憶部１１３−１〜１１３−ｍから再生された映像データを復号化する複数の映像復号化部１１４−１〜１１４−ｐ、各部を統括的に制御する制御管理部１１５とから構成される。

これら映像データ入出力部１１１−１〜１１１−ｎ、データ伝送部１１２−１,１１２−２、データ記憶部１１３−１〜１１３−ｍ、映像復号化部１１４−１〜１１４−ｐ及び制御管理部１１５は、制御ネットワーク１１６により互いに接続されている。

ところで、本第１の実施形態では、データ記憶部１１３−１〜１１３−ｍ、映像復号化部１１４−１〜１１４−ｐ及び制御管理部１１５が連携して映像信号を出力する際の各部間で行う制御情報の通信に遅延が発生しても、安定した映像出力を行うデータ伝送制御に関するものである。各部を接続する制御ネットワーク１１６は、例えばイーサネット（登録商標）で構成されることを想定し、通信の信頼性向上や開発を不要とするため、ＴＣＰ／ＩＰ等の通信の信頼性を保証するプロトコルを用いることを想定する。前述の構成は通信の信頼性を保証する一方でその実現のために、欠損したデータを再送するため、伝送遅延が発生する場合がある。一方で映像送出には映像フレーム単位レベルでの制御性が必要とされるため、各部間では一定周期の同期をとりながら制御を行う。

図３は、本第１の実施形態における映像復号化部１１４−１〜１１４−ｐの具体的構成を示すブロック図である。ここでは、映像復号化部１１４−１を代表して説明する。

映像復号化部１１４−１は、映像復号化部全体の管理制御を行う制御部２１、外部からの映像データの入力を行うデータ受信部２２、受信したデータを一時的に保持する受信バッファ２３、データを復号する復号部２４から構成される。受信バッファ２３は制御ネットワーク１１６の再送遅延時間以上のデータを蓄積できる容量を持つものとする。

一方、上記制御管理部１１５は、本第１の実施形態に係る機能として、パケット送信制御部１１５１と、判定部１１５２と、再送遅延対応制御部１１５３とを備えている。パケット送信制御部１１５１は、映像出力開始の旨の指示が入力されたとき、任意のデータ記憶部１１３−１から再生された映像データを複数パケットに分割し、パケット単位で予め決められた同期間隔（３３ｍｓ）で映像復号化部１１４−１に転送するべくデータ記憶部１１３−１または映像復号化部１１４−１に制御メッセージを送出する。

判定部１１５２は、データ記憶部１１３−１または映像復号化部１１４−１への制御メッセージの送出後に、データ記憶部１１３−１または映像復号化部１１４−１から返送される送達確認信号に基づいて、例えばデータ記憶部１１３−１から再生される映像データの中で遅延のあるパケットを判定する。図４は、上記送達確認信号のフォーマット構成を示す。

送達確認信号は、ＴＣＰ／ＩＰで規定され、制御管理部１１５から送られてきた制御メッセージを受信した際に、その受信状況を当該制御管理部１１５に確認させるための信号である。この送達確認信号は、制御情報とデータとからなり、制御情報に送信先の制御管理部１１５の識別子等からなるヘッダ情報と、伝送制御情報が含まれる。この伝送制御情報には、データ送信元、データ送信先、データ管理番号、同期番号、タイムスロット番号、シーケンス番号、遅延送信リセットフラグが含まれる。データには、映像出力要求やデータ転送指示といった要求内容が含まれる。

データの送信元としてはデータ記憶部１１３−１の識別子を用いる。データの送信先としては映像復号化部１１４−１の識別子を用いる。データ管理番号は映像データを送信単位ごとに一意に特定するための番号である。同期番号はシステム内で一定の同期間隔で制御している同期タイミングの番号、タイムスロット番号は複数映像復号化部で同時に映像出力する際にデータ送信タイミングを分けるためのものである。シーケンス番号は制御情報の順番を確認するためのもの。遅延送信リセットフラグは後述するが、再送遅延に伴う遅延したデータ送信を中止するものである。

再送遅延対応制御部１１５３は、上記判定部１１５２により判定された遅延のあるパケットを、上記パケット送信制御部１１５１による転送方法とは異なる転送方法により例えばデータ記憶部１１３−１から映像復号化部１１４２に転送させる。この転送方法としては、同期期間内で固定的に割り当てられる予備のタイムスロットを利用する方法、データを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用する方法等が考えられる。

次に上記構成における動作について説明する。ここでは、データ記憶部１１３−１と、映像復号化部１１４−１と、制御管理部１１５との間で制御メッセージの通信を行う場合を想定して、その通信手順を説明する。
図５は、第１の実施形態において、映像出力を行う際のデータ記憶部１１３−１と、映像復号化部１１４−１と、制御管理部１１５との間のシーケンスを示す。図６は、制御管理部１１５の制御処理手順を示すフローチャートである。

まず、制御管理部１１５は、映像復号化部１１４−１へ映像出力要求を制御ネットワーク１１６を介して送信する（図５（１））。すると、映像符号化部１１４−１ではデータ受信の準備を行い、制御管理部１１５へ送達確認信号としてのデータ要求を返送する（図５（２））。

制御管理部１１５は、データ要求を受信すると（ステップＳＴ６ａ）、データ要求に含まれる伝送制御情報をチェックし（ステップＳＴ６ｂ）、このチェック結果から再送遅延が発生したか否かの判断を行う（ステップＳＴ６ｃ）。この場合、例えば同期番号とシーケンス番号とがずれているか、遅延送信リセットフラグが「１」になっている場合、再送遅延ありと判断される。

ここで、再送遅延が発生したと判定された場合（Ｙｅｓ）、制御管理部１１５は伝送制御情報のタイムスロット番号を「１」から「２」へ更新する（ステップＳＴ６ｄ）。

そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し（図５（３））、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する（図５（４）、ステップＳＴ６ｅ）。データ記憶部１１３−１では指定された映像データを指定された映像復号化部１１４−１へデータ送信する（図５（５））。

映像復号化部１１４−１は受信したデータの復号化を行い映像出力を行う（図５（６））。これらを同期間隔に合わせて繰り返し実行することで継続した映像出力を行う。本第１の実施形態はデータ要求、データ転送指示の制御情報の通信にて再送遅延が発生した場合に対応するものである。また、(2),(4)の制御メッセージの通信ではソケットを２重化して２回同じ制御コマンドを送信する。この場合片方だけに再送遅延が発生した場合は先に到着した方を実行することでデータ送信の遅延を防ぐことができる。後着した制御コマンドはシーケンス番号にて識別し実行しない。

一方、上記ステップＳＴ６ｃにおいて、再送遅延が発生していない場合（Ｎｏ）、制御管理部１１５はデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択した後、上記ステップＳＴ６ｅの処理に移行する。

図７は、データ記憶部１１３−１から２つの映像復号化部１１４−１，１１４−２へ同時に２つの映像出力を行う通常時の際の割り当て例を示す。

図中のＡ１,Ｂ１は、映像復号化部１１４−１，１１４−２から出力される２つの映像信号をＡ,Ｂとしてパケットに番号をつけたものである。同期番号に合わせて映像信号Ａに使用するパケットをタイムスロット番号１に、映像信号Ｂに使用するパケットをタイムスロット番号２に割り振り、同期間隔ごとにパケットを送信する。

映像復号化部１１４−１は、映像信号Ａ１を出力した後、同期番号を「１」から「２」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、再送遅延が発生していないので、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ２）を指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は受信したパケット（Ａ２）の復号化を行い映像信号Ａ２の出力を行う。

図８は、同時に２つの映像信号Ａ、Ｂの出力を行っている際に新たに映像信号Ｃを追加して出力する際の割り当て例を示す。図中、同期番号４のタイミングで映像信号Ｃを開始する際にはＡ,Ｂ向けのタイムスロットを利用し、Ｃに対してデータを優先して送ることで、再送遅延が発生した場合に備えたデータを素早く送り、映像出力開始までの時間を短縮する。一方で映像出力Ａ,Ｂに向けたデータは一時的に送られなくなり、再送遅延によるデータ伝送の遅延と同じ状況となる。

制御管理部１１５は、同期番号３の同期間隔内で、映像復号化部１１４−１〜１１４−３へ映像信号Ｃを追加する映像出力要求を制御ネットワーク１１６を介して送信する。すると、映像符号化部１１４−３ではデータ受信の準備を行い、制御管理部１１５へ送達確認信号としてのデータ要求を返送する。

制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、映像信号Ｃの追加であるので、制御管理部１１５は伝送制御情報のデータ管理番号を「映像信号Ｃ」に更新し、タイムスロット番号を「１、２、３」へ更新する。

そして、制御管理部１１５は、上記映像復号化部１１４−３からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−３を選択し、要求されたデータの保存されているデータ記憶部１１３−３へデータ転送指示を送信する。データ記憶部１１３−３では指定されたパケット（Ｃ１，Ｃ２，Ｃ３）を指定された映像復号化部１１４−３へデータ送信する（図５（５））。

映像復号化部１１４−３は受信したパケット（Ｃ１，Ｃ２，Ｃ３）を受信バッファ２３に蓄積し、パケット（Ｃ１，Ｃ２，Ｃ３）を順に復号化し、映像信号Ｃ１，Ｃ２，Ｃ３を出力する。ここでは、パケット（Ｃ１，Ｃ２，Ｃ３）を復号することで、1枚のフレームの映像信号が生成されることになる。

映像復号化部１１４−３は、映像信号Ｃ１，Ｃ２，Ｃ３を出力した後、同期番号を「４」から「５」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、再送遅延が発生していないので、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１，１１３−２，１１３−３を選択し、要求されたデータの保存されているデータ記憶部１１３−１，１１３−２，１１３−３へデータ転送指示を送信する。データ記憶部１１３−１，１１３−２，１１３−３では指定されたパケット（Ａ４，Ｂ４，Ｃ４）を指定された映像復号化部１１４−１，１１４−２，１１４−３へデータ送信する。

映像復号化部１１４−１，１１４−２，１１４−３は受信したパケット（Ａ４，Ｂ４，Ｃ４）の復号化を行い映像信号Ａ４，Ｂ４，Ｃ４の出力を行う。

図９は、再送遅延によるデータ伝送遅延が発生した場合の復旧方法について示す。タイムスロットの割り当てで確保される伝送帯域は実際に送信する映像データ量を保証するために帯域のマージンがあり、ある程度の時間毎にデータを送信しない同期タイミングが発生する。図中では同期番号１で再送遅延が発生し、１つ遅れたタイミングでパケット（Ａ１）が送信され、１つ遅れた状態が同期番号２,３,４と継続し、同期番号４のタイミングでは上記マージンから送信するデータが無いため、次の同期番号５のタイミングで正常な送信タイミングに戻る。

同期番号２の同期期間において、制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、同期番号１の同期期間で映像信号Ａ１が送信されなかったので、制御管理部１１５は伝送制御情報のシーケンス番号を「１」に更新する。

そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ１）を指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は受信したパケット（Ａ１）を復号化し、映像信号Ａ１を出力する。

映像復号化部１１４−１は、同期番号４の同期期間において、映像信号Ａ３を出力した後、同期番号を「４」から「５」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、映像信号Ａ４は、上記マージンの関係で送信されないので、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へシーケンス番号を「４」から「５」に更新したデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ５）を指定された映像復号化部１１４−１へデータ送信する。

すると、映像復号化部１１４−１は受信したパケット（Ａ５）を復号化し、映像信号Ａ１を出力する。

図１０は、再送遅延によるデータ伝送遅延が発生した場合の復旧方法として予備スロットを用いる例を示す。この例ではタイムスロット番号４は予備スロットとして通常の映像出力には割り当てられないものとする。図中では再送遅延により同期番号３のタイミングでパケットＡ１が送信される。さらに予備のタイムスロット番号４を用いてパケットＡ２を送信し、次の同期番号４のタイミングでパケットＡ３,Ａ４が送信され、同期番号５のタイミングでは正常なタイミングでパケットＡ５が送信される。

同期番号３の同期期間において、制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、同期番号１、２の同期期間で映像信号Ａ１、Ａ２が送信されなかったので、制御管理部１１５は伝送制御情報のシーケンス番号を「１、２」に更新し、タイムスロット番号を「１、４」に更新する。

そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ１、Ａ２）を指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は受信したパケット（Ａ１、Ａ２）を受信バッファ２３に蓄積し、蓄積したパケット（Ａ１、Ａ２）を順に復号化し、映像信号Ａ１、Ａ２を出力する。

映像復号化部１１４−１は、同期番号３の同期期間において、映像信号Ａ１，Ａ２を出力した後、同期番号を「３」から「４」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へシーケンス番号を「３、４」に更新し、タイムスロット番号を「１、４」に更新したデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ３，Ａ４）を指定された映像復号化部１１４−１へデータ送信する。

すると、映像復号化部１１４−１は受信したパケット（Ａ３，Ａ４）を受信バッファ２３に蓄積し、蓄積したパケット（Ａ３，Ａ４）を順に復号化し、映像信号Ａ３，Ａ４を出力する。

図１１は、トリックプレイ（早送り再生やスキップ等の特殊再生）にて映像出力位置が変更される際に予備スロットを用いる例を示す。図中では同期番号３のタイミングでトリックプレイにより映像出力位置が変更されそれに合わせてパケット（Ａ５）以降が必要となった場合を示す。トリックプレイでは要求された映像出力位置からの映像出力が素早く求められるため、パケット（Ａ５）が伝送されると映像出力を開始するが、この段階では再送遅延に対応できる分のデータを送信できていないため、予備スロット（タイムスロット番号４）を用いて、パケット（Ａ６,Ａ８）を送信することで、映像復号化部１１４−１の受信バッファ２３に遅延発生時の為のデータを蓄積できるようにする。

同期番号２の同期期間において、映像信号Ａ２から映像信号Ａ５にスキップさせたトリックプレイ要求が制御管理部１１５に入力されると、制御管理部１１５はトリックプレイの旨を示す映像出力要求を映像復号化部１１４−１に送信する。

映像復号化部１１４−１は、同期番号２の同期期間において、映像信号Ａ２を出力した後、同期番号を「２」から「３」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へシーケンス番号を「５、６」に更新し、タイムスロット番号を「１、４」に更新したデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット（Ａ５，Ａ６）を指定された映像復号化部１１４−１へデータ送信する。

すると、映像復号化部１１４−１は受信したパケット（Ａ５，Ａ６）を受信バッファ２３に蓄積し、蓄積したパケット（Ａ５，Ａ６）を順に復号化し、映像信号Ａ５，Ａ６を出力する。

図１２は、再送遅延の為にデータの送信遅延が発生している際にトリックプレイによる映像出力位置の変更が発生した場合の例を示す。図中では同期番号５のタイミングでトリックプレイにより映像出力位置が変更されそれに合わせてパケット（Ａ５）以降が必要となった場合を示す。トリックプレイでは要求された映像出力位置からの映像出力が素早く求められるが、トリックプレイによる映像出力位置の変更かどうかを識別するため、遅延送信リセットフラグによる識別を行う。このフラグがたっていた場合は、遅延して送信待ちになっているデータ送信を中止し、最新のデータ転送指示によるデータ送信を行う。ここではパケット（Ａ２,Ａ３）のデータ送信を中止し、パケットＡ５の送信を行う。

同期番号４の同期期間において、制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。ここでは、同期番号１、２、３の同期期間で映像信号Ａ１、Ａ２、Ａ３が送信されなかったので、制御管理部１１５は伝送制御情報のシーケンス番号を「１」に更新し、遅延送信リセットフラグを「０」から「１」に更新する。

そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケットＡ１を指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は受信したパケットＡ１を復号化し、映像信号Ａ１を出力する。

映像復号化部１１４−１は、同期番号５の同期期間において、映像信号Ａ１を出力した後、同期番号を「４」から「５」に変更したデータ要求を制御管理部１１５に送信する。制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。そして、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケットＡ５を指定された映像復号化部１１４−１へデータ送信する。

すると、映像復号化部１１４−１は受信したパケットＡ５を復号化し、映像信号Ａ５を出力する。

以上のように上記第１の実施形態では、制御管理部１１５から映像復号化部１１４−１に映像出力開始に係る制御メッセージを送出すると、映像復号化部１４−１から返送されてくる送達確認信号としてのデータ要求に基づいて、データ記憶部１１３−１から再生される映像データの中で遅延のあるパケットを判定し、遅延のあるパケットに対しデータを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用し、または予備スロットを利用する等の異なる転送方法によりデータ記憶部１１３−１から映像復号化部１１４−１に転送し、映像復号化部１１４−１内の受信バッファ２３に格納するようにしている。

したがって、汎用プロトコルの再送遅延時間を見込んで映像復号化部１１４−１〜１１４−ｐに設けられる受信バッファ２３と映像データの伝送路の割り当てを組み合わせることで、制御ネットワーク１１６の再送遅延に伴って発生したデータ伝送遅延を回復させることができる。また、汎用部品の利用による低コストな通信制御システムの構築や、汎用プロトコルの持つ通信の信頼性、エラー訂正や順番保証等の機能を容易に利用することができる。また、汎用プロトコルをそのまま利用することで、汎用プロトコルのソフトウェアのメンテナンスや、異なる実行環境への移植性を容易化することができる。

また、上記第１の実施形態では、映像信号Ａ，Ｂの出力中に、新たな映像信号Ｃを出力する場合に、制御管理部１１５において、再送遅延へのマージンを利用し、主伝送チャネルにパケットＣ１，Ｃ２，Ｃ３を割り当てて優先してデータ転送し、他の伝送チャネルに割り当てるパケットＡ，Ｂへのデータ転送を遅延させるようにしている。従って、再送遅延へのマージンつまり遅延に対する耐性を実現できることを利用し、複数のデータ転送の一部を故意に遅延させ特定のデータ転送の応答性を向上させることで映像出力開始までの準備時間を短縮できる。

また、上記第１の実施形態によれば、トリックプレイが要求されたパケットを予備スロットを介してデータ記憶部１１３−１から映像復号化部１１４−１へ転送することで、応答性を向上させることができる。

さらに、上記第１の実施形態によれば、制御管理部１１５において、映像出力位置が不連続になる場合に、再送遅延による遅延分のデータ転送をキャンセルし、最新の出力位置のデータ転送を行うようにしているので、再送遅延による無駄なパケットの転送を減らして、映像出力開始の準備時間をさらに短縮化することができる。

また、上記第１の実施形態では、制御ネットワーク１１６で使用する汎用プロトコルの論理接続チャネルを２つ接続し、常に２重にコマンドを送信するようにしているので、片方のチャネルだけの伝送ロスであれば、再送遅延が発生していない方の接続のコマンドを利用することで、再送遅延を発生させることを防げる。

（第２の実施形態）
本第２の実施形態では、制御ネットワーク１１６の再送遅延が予めわかっている状態で、映像出力開始の所定時間前に映像復号化部１１４−１の受信バッファ２３に再送遅延時間相当のデータ量を蓄積しておくようにしている。

図１３は、映像出力開始の所定時間前における制御管理部１１５の制御処理手順を示すフローチャートである。

映像出力開時刻が１６：００であり、制御管理部１１５は常にタイマ（図示せず）による時刻を監視しているものとする。映像出力開時刻の３分前となる１５：５７になると、制御管理部１１５はステップＳＴ１３ａからステップＳＴ１３ｂに移行してここで映像復号化部１１４−１に対し起動要求を制御ネットワーク１１６を介して送信する。すると、映像符号化部１１４−１ではデータ受信の準備を行い、制御管理部１１５へ送達確認信号としてのデータ要求を返送する。

制御管理部１１５は、データ要求を受信すると（ステップＳＴ１３ｃ）、要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する（ステップＳＴ１３ｄ）。データ記憶部１１３−１では指定された複数パケットを指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は、複数パケットを受信すると、これら複数パケットを受信バッファ２３に蓄積する。

一方、制御管理部１１５は、映像開始時刻「１６：００」になると、映像復号化部１１４−１へ映像出力要求を制御ネットワーク１１６を介して送信する。すると、映像符号化部１１４−１ではデータ受信の準備を行い、さらに受信バッファ２３に蓄積されたパケットの復号化を行い、その後に、制御管理部１１５へ送達確認信号としてのデータ要求を返送する。

制御管理部１１５は、データ要求を受信すると、データ要求に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。

ここでは再送遅延が発生していないので、制御管理部１１５は、上記映像復号化部１１４−１からのデータ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。データ記憶部１１３−１では指定されたパケット、つまり受信バッファ２３に蓄積されたパケットに連続するパケットを指定された映像復号化部１１４−１へデータ送信する。

映像復号化部１１４−１は受信したパケットの復号化を行い映像出力を行う。

以上のように上記第２の実施形態によれば、制御管理部１１５において、映像出力開始時刻の所定時間前に再送遅延時間分のデータを事前にデータ記憶部１１３−１から映像復号化部１１４−１へ転送して受信バッファ２３に蓄積してから出力開始するようにしているので、出力開始後から再送遅延が発生しても、映像信号を途切れることなく出力できる。

（第３の実施形態）
第３の実施形態は、データ記憶部に再送遅延に対する対応制御機能を設けるようにしたものである。

図１４は、本第３の実施形態に係るデータ記憶部１１３−１〜１１３−ｎの具体的構成を示すブロック図である。ここでは、データ記憶部１１３−１を代表して説明する。

データ記憶部１１３−１は、データ記憶部全体の管理制御を行う制御部３１、外部からの映像データの入出力を行うデータ入出力部３２、入出力するデータを一時的にバッファする入出力バッファ３３、ＮＡＮＤフラッシュメモリによるデータ記憶媒体３４、入出力制御を行うＮＡＮＤメモリ入出力制御部３５から構成される。本第３の実施形態は記憶媒体としてＮＡＮＤフラッシュメモリに限定されるものではないが、システムの同期間隔に応じることのできる記憶媒体を想定する。

ところで、上記制御部３１は、パケット送信制御部３１１と、判定部３１２と、再送遅延対応制御部３１３とを備えている。パケット送信制御部３１１は、映像出力開始の旨の指示が入力されたとき、再生した映像データを複数パケットに分割し、パケット単位で予め決められた同期間隔（３３ｍｓ）で映像復号化部１１４−１に転送する。

判定部３１２は、管理制御部１１５または映像復号化部１１４−１への制御メッセージの送出後に、管理制御部１１５または映像復号化部１１４−１から返送される送達確認信号に基づいて、例えば再生される映像データの中で遅延のあるパケットを判定する。

再送遅延対応制御部３１３は、上記判定部３１２により判定された遅延のあるパケットを、上記パケット送信制御部３１１による転送方法とは異なる転送方法により例えば映像復号化部１１４−１に転送させる。この転送方法としては、同期期間内で固定的に割り当てられる予備のタイムスロットを利用する方法、データを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用する方法等が考えられる。

次に、上記構成における動作について説明する。
まず、制御管理部１１５は、映像復号化部１１４−１へ映像出力要求を制御ネットワーク１１６を介して送信する。すると、映像符号化部１１４−１ではデータ受信の準備を行い、制御管理部１１５へ送達確認信号としてのデータ要求を返送する。

制御管理部１１５は、データ要求を受信すると、データ要求のデータ部に含まれる要求内容からデータ記憶部１１３−１を選択し、要求されたデータの保存されているデータ記憶部１１３−１へデータ転送指示を送信する。

データ記憶部１１３−１は、データ転送指示を受信すると、データ転送指示に含まれる伝送制御情報をチェックし、このチェック結果から再送遅延が発生したか否かの判断を行う。この場合、例えば同期番号とシーケンス番号とがずれているか、遅延送信リセットフラグが「１」になっている場合、再送遅延ありと判断される。

ここで、再送遅延が発生したと判定された場合、データ記憶部１１３−１は例えば同期番号２の同期期間においてパケットＡ２をタイムスロット番号１に割り当て、再送遅延により転送されなかったパケットＡ１をタイムスロット番号４に割り当てて映像復号化部１１４−１に送信する。

以上のように第３の実施形態では、データ記憶部１１３−１において、制御管理部１１５から送られてくる送達確認信号としてのデータ転送指示に基づいて、再生される映像データの中で遅延のあるパケットを判定し、遅延のあるパケットに対しデータを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用し、または予備スロットを利用する等の異なる転送方法により映像復号化部１１４−１に転送し、映像復号化部１１４−１内の受信バッファ２３に格納するようにしている。

したがって、上記第１の実施形態と同様な作用効果が得られるとともに、制御管理部１１５における処理負担を大幅に軽減できる。

また、上記第３の実施形態において、上記第２の実施形態と同様に、予め再送遅延時間分のパケットを映像復号化部１１４−１に予め転送するようにしてもよい。

（その他の実施形態）
その他、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１…ビデオサーバ、１２…ノンリニア編集機、１３…放送設備、１４…モニタ、１５…操作端末、２２…データ受信部、２３…受信バッファ、２４…復号部、１１１−１〜１１１−ｎ…映像データ入出力部、１１２−１，１１２−２…データ伝送部、１１３−１〜１１３−ｍ…データ記憶部、１１４−１〜１１４−ｐ…映像復号化部、１１５…制御管理部、１１６…制御ネットワーク、１１５１、３１１…パケット送信制御部、１１５２、３１２…判定部、１１５３、３１３…再送遅延対応制御部。

Claims (17)

1. 素材データを格納する記憶部と、この記憶部から再生される素材データを映像信号に復号する復号部と、前記記憶部及び前記復号部それぞれの処理を統括的に制御する制御管理部との間を、再送要求を行う汎用プロトコルを採用する制御ネットワークを介して接続する映像送出装置において、
   前記復号部は、
   前記制御ネットワークによる再送遅延時間に相当する容量を有する受信バッファを備え、
   前記制御管理部は、
   前記記憶部から再生された前記素材データを複数パケットに分割し、パケット単位で予め決められた時間間隔で前記復号部に転送するべく前記記憶部または前記復号部に制御指示を送出する送信制御手段と、
   前記記憶部または前記復号部への制御指示の送出後に、前記記憶部または前記復号部から返送される送達確認信号に基づいて、前記記憶部から再生される素材データの中で遅延のあるパケットを判定する判定手段と、
   この判定手段により判定された遅延のあるパケットを、前記送信制御手段による転送とは別に前記復号部に転送させる再送遅延対応手段とを備えることを特徴とする映像送出装置。
2. 前記制御管理部は、前記復号部による映像出力開始時に、当該開始時の所定時間前に、前記記憶部から前記再送遅延時間分の素材データを前記制御ネットワークの主伝送チャネルを介して前記復号部に転送することを特徴とする請求項１記載の映像送出装置。
3. 前記再送遅延対応手段は、再送遅延へのマージンを利用し、前記主伝送チャネルとは異なる他の伝送チャネルへのデータ転送を遅延させることを特徴とする請求項２記載の映像送出装置。
4. 前記再送遅延対応手段は、同期してデータを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用し、データ転送を行うことを特徴とする請求項１記載の映像送出装置。
5. 前記再送遅延対応手段は、遅延のあるパケットに対し固定的に割り当てられた予備の伝送チャネルを割り当てて転送を行うことを特徴とする請求項１記載の映像送出装置。
6. 前記制御管理部は、通常の再生処理とは異なるトリックプレイが要求されたパケットに対し固定的に割り当てられた予備の伝送チャネルを割り当てて転送を行うことを特徴とする請求項１記載の映像送出装置。
7. 前記再送遅延対応手段は、映像出力位置が不連続になる場合に、再送遅延による遅延分のデータ転送をキャンセルし、最新の出力位置のデータ転送を行うことを特徴とする請求項１記載の映像送出装置。
8. 前記送信制御手段は、前記制御ネットワークで使用する汎用プロトコルの論理接続チャネルを２つ接続し、常に２重にコマンドを送信することを特徴とする請求項１記載の映像送出装置。
9. 素材データを格納する記憶部と、この記憶部から再生される素材データを映像信号に復号する復号部と、前記記憶部及び前記復号部それぞれの処理を統括的に制御する制御管理部との間を、再送要求を行う汎用プロトコルを採用する制御ネットワークを介して接続する映像送出装置において、
   前記復号部は、
   前記制御ネットワークによる再送遅延時間に相当する容量を有する受信バッファを備え、
   前記記憶部は、
   前記再生された前記素材データを複数パケットに分割し、パケット単位で予め決められた時間間隔で前記復号部に転送する送信手段と、
   前記制御管理部または前記復号部に対する前記素材データの転送開始に係る制御指示の送出後に、前記制御管理部または前記復号部から返送される送達確認信号に基づいて、再生される素材データの中で遅延のあるパケットを判定する判定手段と、
   この判定手段により判定された遅延のあるパケットを、前記送信手段による転送とは別に前記復号部に転送する再送遅延対応手段とを備えることを特徴とする映像送出装置。
10. 前記記憶部は、前記復号部による映像出力開始時に、当該開始時の所定時間前に、前記再送遅延時間分の素材データを前記制御ネットワークの主伝送チャネルを介して前記復号部に転送することを特徴とする請求項９記載の映像送出装置。
11. 前記再送遅延対応手段は、再送遅延へのマージンを利用し、前記主伝送チャネルとは異なる他の伝送チャネルへのデータ転送を遅延させることを特徴とする請求項１０記載の映像送出装置。
12. 前記再送遅延対応手段は、同期してデータを送信するための保証帯域と実際に伝送するデータ量との差をマージンとして利用し、データ転送を行うことを特徴とする請求項９記載の映像送出装置。
13. 前記再送遅延対応手段は、遅延のあるパケットに対し固定的に割り当てられた予備の伝送チャネルを割り当てて転送を行うことを特徴とする請求項９記載の映像送出装置。
14. 前記記憶部は、通常の再生処理とは異なるトリックプレイが要求されたパケットに対し固定的に割り当てられた予備の伝送チャネルを割り当てて転送を行うことを特徴とする請求項９記載の映像送出装置。
15. 前記再送遅延対応手段は、映像出力位置が不連続になる場合に、再送遅延による遅延分のデータ転送をキャンセルし、最新の出力位置のデータ転送を行うことを特徴とする請求項９記載の映像送出装置。
16. 前記送信手段は、前記制御ネットワークで使用する汎用プロトコルの論理接続チャネルを２つ接続し、常に２重にコマンドを送信することを特徴とする請求項９記載の映像送出装置。
17. 素材データを格納する記憶部と、この記憶部から再生される素材データを映像信号に復号する復号部と、前記記憶部及び前記復号部それぞれの処理を統括的に制御する制御管理部との間を、再送要求を行う汎用プロトコルを採用する制御ネットワークを介して接続する映像送出装置で使用される制御方法において、
    前記復号部に、前記制御ネットワークによる再送遅延時間に相当する容量を有する受信バッファを備えておき、
    前記制御管理部にて、前記記憶部から再生された前記素材データを複数パケットに分割し、パケット単位で予め決められた時間間隔で前記復号部に転送するべく前記記憶部に制御指示を送出し、
    前記記憶部または前記復号部への制御指示の送出後に、前記記憶部または前記復号部から返送される送達確認信号に基づいて、前記記憶部から再生される素材データの中で遅延のあるパケットを判定し、
    判定された遅延のあるパケットを、前記転送とは別に前記復号部に転送させることを特徴とする制御方法。

Images