JP2019080269A - 映像伝送装置 - Google Patents

Abstract

【課題】２重化された映像伝送システムにおいて、ユースケースに応じた適切なスキュークラスを決定し、該クラスに基づいて伝送制御することにより、２伝送路間の映像切り替え時の視認性および操作性を改善することができる伝送制御方法を提供する。【解決手段】映像送出装置１０２は、同一ネットワーク上に接続されている受信装置から機器情報を取得して接続機器を管理するテーブルを生成するネットワーク情報管理部２１１と、取得した機器情報に含まれる接続機器タイプおよびステータスに応じて目標クラスを決定する目標クラス決定部２１２と、該目標クラスに応じてエンコードレート制御するレート制御部２０４と、を有する。【選択図】図２

Description

本発明は、映像信号を符号化してネットワーク経由で伝送する映像出力システムに関し、特に、二重化された伝送路に同一の映像および音声データを送出する構成において、ユースケースに応じた適切なスキュークラスを決定して伝送制御を行う映像伝送装置に関する。

現在、放送制作用機器の映像伝送にはＳＤＩ（シリアル・デジタル・インタフェース）ケーブルが用いられている。従来は、ＳＤＩケーブル１本で映像伝送が行われていたが、撮像機器の高画質化に伴って複数のＳＤＩケーブルを束ねることにより伝送する方法が考案されている。例えば、４Ｋ／６０Ｐ映像を伝送するにはＳＤＩケーブルを４本束ねることで伝送が可能である。

しかし、機材間を接続するのに従来の４倍のケーブルを使用するため、設置スペースの問題やＳＤＩケーブルの重量が課題となる。また、撮像機器の更なる高画質化に伴って、より多くのＳＤＩケーブルを必要とするため、それら課題が大きな問題となる。

そこで、近年では撮影した映像信号をＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークを活用してリアルタイムに伝送する映像出力システムが開発されている。ネットワーク機器は、ＳＤＩケーブルに比べてより高速な伝送が実用化されており、加えて業務専用の機器に比べて汎用設備が利用できるため安価に環境を構築できる等のメリットがある。今後、放送制作用機器のネットワーク化が急速に普及すると考えられる。

映像出力システムにおけるＩＰネットワーク伝送では、デジタル化された映像データをベースバンド（非圧縮）で伝送したり、圧縮符号化処理（エンコード）して伝送したりする手法がある。符号化方法としては、例えば、国際標準規格のＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ２）等がある。そして、リアルタイム性の求められる映像データや音声データを伝送するプロトコルとしてＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が使われる。

ＲＴＰでは映像出力装置側でヘッダ部にパケットの順序番号やタイムスタンプを付加することによって、受信装置側で適切な順序で再生することができる。また、ＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）プロトコルを用いることによって、ＲＴＰのフロー制御を行うための情報を送受信装置間で双方向通信することができる。これにより、受信装置側で検出したパケット損失や、伝送中の遅延情報を映像出力装置へ通知することができる。さらに、ＲＴＣＰプロトコルにおいて、アプリケーション定義パケットを使用することにより、接続機器の詳細情報を各送受信装置間で双方向に通信できる。

一般的にＲＴＰでは、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）をトランスポート層のプロトコルとして使用しており、映像データの再送制御はないため、ＲＴＣＰで伝送路の輻輳状態を監視し、パケットロス率に応じた転送ビットレートの制御が行われる。

上記映像データのＩＰ伝送は、国際標準化を目指して議論されておりＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２０２２規格としてまとめられている。ＳＭＰＴＥ２０２２−７規格では、「Ｓｅａｍｌｅｓｓ Ｐｒｏｔｅｃｔｉｏｎ Ｓｗｉｔｃｈｉｎｇ」として映像データパケットを２重化して伝送し、どちらかの伝送路がダウンしても瞬時に正常な伝送路に切り替える方法について記載されている。

さらに、ＳＭＰＴＥ２０２２−７規格では、映像信号を途切れなく伝送するために、２重化された伝送路間のスキューに対応する受信クラスやスキュー値としての時間を規定している。 図１７は映像出力装置における２重化された伝送路間のスキューを説明する図である。

図１７のＰＴ（図１７の２３０３）は、映像出力装置から出力された送信データが、受信装置に最も遅く到着した場合のレイテンシーを示す。ＥＡ（図１７の２３０４）は、映像出力装置から出力された送信データが、受信装置に最も速く到着した場合のレイテンシーを示す。Ｐ１（図１７の２３０５）およびＰ２（図１７の２３０６）は、映像出力装置から出力された送信データが、受信装置に到着したある任意の時刻におけるレイテンシーを示す。ＰＤ（図１７の２３０７）は、レイテンシーＰ１（図１７の２３０５）とレイテンシーＰ２（図１７の２３０６）の差分値であり、当該差分値が伝送路Ａと伝送路Ｂのスキューを示す。

図１２（ｃ）は、ＳＭＰＴＥ２０２２−７規格に定められているクラスと時間規定の例を説明する図である。例えば、クラスＣの受信装置においてスキューＰＤは、ＨＢＲ（ＨｉｇｈＢｉｔＲａｔｅ）ストリームの映像伝送では１５０[ｍｓ]以下、ＳＢＲ（ＳｌｏｗｅｒＢｉｔＲａｔｅ）ストリームの映像伝送では４５０[ｍｓ]以下となるように規定されている。

ところで、ＳＭＰＴＥ２０２２−７規格に記載されている通り、一般的な受信装置はレイテンシーＰ１およびＰ２の絶対値を知らない。そのため、受信装置は２本のストリームをシームレスに切り替え可能とするために、最大スキューとなるクラスＣのケースを想定して映像信号をバッファに蓄えておいてから再生表示している。すなわち、受信装置は２伝送路間のスキューを吸収できるように、常に最大遅延を持たせて表示再生している。

例えば、前述したＨＢＲストリームにおいて、起動時のスキューをゼロ、スキューＰＤを１５０[ｍｓ]以下、プラスマイナス方向の偏差を考慮して、クラスＣの受信装置は最大３００[ｍｓ]の遅延をもって表示している。また同様にクラスＣの受信装置はＳＢＲストリームにおいては、最大９００[ｍｓ]の遅延が生じる。
遅延をできるだけ抑制してシームレスな切り替えを実現するには、受信装置と映像出力装置で其々クラス情報に応じた映像出力処理および受信処理を行う必要がある。

特許文献１は、受信した映像と音声を同期させるリップシンク処理において、映像処理の変化で生じた映像遅延時間の変化量（差分時間）を予め定めた規定時間と比較し、比較結果が規定時間以上の場合に、ユーザーによるリップシンク処理（音声の遅延設定）を促す方法が記載されている。

特許文献２は、映像出力装置において、パケットロス率に基づいて再送データのエンコードレートを制御する方法について記載されている。

特開２０１０−２６８０４６号公報 特開２００９−２０７０８４号公報

しかしながら、ＳＭＰＴＥ２０２２−７規格では２重化された伝送路間のスキュー値は規定されているものの、映像出力装置と受信装置における伝送路毎のレイテンシーの送受信等の相互連携については定められておらず、一般的な受信装置は最大遅延をもって再生表示している。その結果、例えば映像出力装置（例えば、ビデオカメラ）の画面上にメニュー等を表示して操作を行った場合、その操作画面が受信装置（例えば、モニタ）に表示されるまでに遅れて表示されるため、ユーザーにとって操作性が低いと感じる問題がある。

また、上記特許文献１に記載の技術は、映像信号処理による遅延時間に対して規定時間を設けて、該規定時間以上となる場合にはユーザーに音声の遅延調整を促すことで、受信装置における内部遅延をユーザーに調整させることを可能としている。しかしながら、上記特許文献ではＰ２Ｐで接続するような、伝送遅延をほとんど無視できる構成では有用であるものの、同一伝送路上に複数の機器が接続されて伝送遅延が生じるようなネットワークの場合には、通信状態の影響を大きく受けるためユーザー調整は極めて困難である。また、映像と音声の伝送であるため、伝送路間で切り替え制御することについては考慮されていない。

また、上記特許文献２に記載の技術は、伝送路の輻輳状態に応じて伝送可能な帯域を算出してエンコードレートを決定する方法について記載されているが、２重化については考慮されていない。すなわち、各伝送路における最適な制御はできるものの、伝送路間のスキューや伝送路間で切り替えた際の品質については考慮されておらず、エンコードレートによっては切り替え品質が低下する恐れがある。

本発明は、上述した課題に鑑みてなされたものであり、ユースケースに応じた適切なスキュークラスを判定してスキュー制御することにより、２伝送路間の映像切り替え時の視認性および操作性を改善することを目的とする。

上述した課題を解決するために、本発明は撮像部で撮像された映像を２重化し、第１と第２のネットワークで伝送することが可能な伝送装置と、前記２重化されて伝送された映像を受信することが可能な受信装置と、前記伝送装置と前記受信装置は前記第１と第２の異なる伝送路で接続され、前記伝送装置は、前記同一ネットワークに接続される複数の伝送装置に係る機器種別と機器状態を定期的に取得し、前記機器種別と機器状態に応じて前記２重化した伝送路間のスキュークラスを決定する手段を備えることを特徴とする。

本発明によれば、ユースケースに応じた適切なスキュークラスを判定してスキュー制御することにより、２伝送路間の映像切り替え時の視認性および操作性を改善することができる。

第１実施形態に係る映像出力システムの構成を示す概略図 第１実施形態に係る送信装置の一構成例を示す機能ブロック図 第１実施形態に係る受信装置の一構成例を示す機能ブロック図 送信装置と受信装置間のスキューとエンコードレートの関係を説明するための模式図 実施形態に係るテーブル等の一例を説明する図 第１実施形態に係る映像出力装置の処理の流れを説明するフローチャート図 実施形態に係るテーブル等の一例を説明する図 第１実施形態に係る送信装置の目標クラス決定処理の流れを説明するフローチャート図 第１実施形態に係る受信装置の処理の流れを説明するフローチャート図 第１実施形態に係る映像出力装置の別の目標クラス決定処理の流れを説明するフローチャート図 第２実施形態に係る送信装置の一構成例を示す機能ブロック図 実施形態に係るテーブル等の一例を説明する図 第３実施形態に係る映像出力システムの構成を示す概略図 第３実施形態に係る送信装置の一構成例を示す機能ブロック図 第３実施形態に係る受信装置の一構成例を示す機能ブロック図 第３実施形態に係る送信装置の処理の流れを説明するフローチャート図 スキューについて説明する概略図

＜第１の実施形態＞
以下、図面を参照して、本発明を実施するための形態を例示的に詳しく説明する。ただし、実施形態に記載されている構成部品の機能、相対配置などは特定的な記載がない限り、本発明の範囲をそれらのみに限定する趣旨のものではない。また、以下の説明で一度説明した構成や部品についての機能、形状などは特に改めて記載しない限り初めの説明と同様のものとする。

図１は、本発明を適用可能な映像出力システムの構成を示す概略図である。撮像部１０１、送信装置１０２を含んで構成される映像出力装置１００と、受信装置３００とにより本実施形態の映像出力システムが構成される。また、映像出力装置１００と受信装置３００の間にはルーターＡ１０３及びルーターＢ１０４が配置され、それぞれ独立した伝送路で接続されている。同図ではルーターＡ１０３およびルーターＢ１０４に２台の端末Ａ１０５及び端末Ｂ１０６の２台が接続されていることを示しているが、３台以上の端末が接続されていても良い。端末Ａ１０５またはＢ１０６は、例えばモニタやレコーダ等の他の受信装置や、映像出力装置や受信装置を制御可能なコントローラ等の制御装置である。

映像出力装置１００は、例えば撮像部１０１によって撮像した映像データを送信装置１０２で符号化処理し、伝送路を介して受信装置３００へ送信する。本実施形態では、映像出力装置１００は、撮影した同一映像データを２つの伝送路Ａ１０７と伝送路Ｂ１０８を使用して２重化して受信装置３００へ送信する。

受信装置３００は、映像出力装置１００から出力された映像データを受信して表示するものである。受信装置３００は、同一の映像データを二つの伝送路を介して受信しているので、一方の伝送路がダウンしても瞬時に正常な伝送路に切り替えることが可能である。なお、受信装置３００は、表示デバイスに限定されるものではなく、映像出力装置１００から出力された映像データを受信して蓄積するような記憶装置でも構わない。

図２は、第１実施形態に係る送信装置の一構成例を示す機能ブロック図である。図２において、制御部２００には不図示のＲＯＭ、ＲＡＭが接続され、ＲＯＭに格納されたプログラムに従って送信装置全体の制御を司る。ＲＡＭは揮発性メモリであり、制御部２００のワークメモリとして使用されると同時に、各種データの一時記憶エリアとしても使用される。映像入力部２０１は、カメラ等の撮像部からの映像データを受信し、映像データの符号化および符号化データをエンコード処理するエンコード部Ａ２０２およびエンコードＢ２０３に分配する。

エンコード部Ａ２０２およびエンコード部Ｂ２０３は、レート制御部２０４から設定されたエンコードレートに基づいてそれぞれエンコード（圧縮）処理する。タイムスタンプ処理部Ａ２０５およびタイムスタンプ処理部Ｂ２０６は、エンコード部Ａ２０２およびエンコード部Ｂ２０３から入力されたエンコードデータにタイムスタンプを付与する。タイムスタンプ処理部（図２の２０５、２０６）は、エンコード部Ａ２０２およびエンコード部Ｂ２０３から入力された同一映像データには同一のタイムスタンプが付与されるように処理する。

パケット処理部Ａ２０７およびパケット処理部Ｂ２０８は、タイムスタンプを含むエンコードデータの送信パケット化を行って、ネットワークＩ／Ｆ部Ａ２０９およびネットワークＩ／Ｆ部Ｂ２１０を介して外部装置に対してパケット送信する。また、パケット処理部Ａ２０７およびパケット処理部Ｂ２０８はネットワークＩ／Ｆ部Ａ２０９およびネットワークＩ／Ｆ部Ｂ２１０から受信したパケットデータから受信データへの復号処理を行って、ネットワーク情報管理部２１１へ出力する。

ネットワーク情報管理部２１１はネットワークＩ／Ｆ部Ａ２０９またはネットワークＩ／Ｆ部Ｂ２１０を介して受信した受信データを解析して伝送路Ａ１０７および伝送路Ｂ１０８を介して接続されている機器情報を取得し、接続されている機器の情報を接続機器テーブルとして作成する。

目標クラス決定部２１２は、ネットワーク情報管理部２１１で作成した接続機器テーブルに基づき、後述する処理フローに従って、送信装置１０２の目標クラスを決定し、レート制御部へ目標クラスを通知する。さらに、目標クラス決定部２１２は、ネットワーク情報管理部２１１を介して目標クラスを受信装置３００へ通知する。レート制御部２０４は、目標クラス決定部２１２からの目標クラス通知に応じてエンコード部Ａ２０２およびエンコード部Ｂ２０３に対するエンコードレート設定を変更する。

なお、レート制御部２０４は、エンコード部Ａ２０２とエンコード部Ｂ２０３にそれぞれ異なるレートを設定可能である。

図３は、第１実施形態に係る受信装置の一構成例を示す機能ブロック図である。図３において、受信装置３００の制御部３０１には不図示のＲＯＭ、ＲＡＭが接続され、ＲＯＭに格納されたプログラムに従って受信装置全体の制御を司る。ＲＡＭは揮発性メモリであり、制御部のワークメモリとして使用されると同時に、各種データの一時記憶エリアとしても使用される。

受信装置３００は、映像出力装置１００と伝送路Ａ１０７および伝送路Ｂ１０８を介して通信を行うネットワークＩ／Ｆ部Ａ３０２およびネットワークＩ／Ｆ部Ｂ３０３を備える。さらに、受信パケットから受信データへの復号を行うパケット処理部Ａ３０４およびパケット処理部Ｂ３０５と、受信データから映像データへ復号処理を行うデコード部Ａ３０６およびデコード部Ｂ３０７を備える。パケット処理部Ａ３０４およびパケット処理部Ｂ３０５は復号処理した受信データをネットワーク情報管理部３０８へ出力する。

ネットワーク情報管理部３０８は、受信データから送信装置の目標クラス情報を取得し、実際に適用する目標クラスを決定して、バッファ制御部３０９へ通知する。また、ネットワーク情報管理部３０８は、適用する目標クラス情報をパケット処理部Ａ３０４およびパケット処理部Ｂ３０５で送信パケットとして生成して、ネットワークＩ／Ｆ部Ａ３０２またはネットワークＩ／Ｆ部Ｂ３０３を介して送信装置１０２へ応答する。

バッファ制御部３０９は、適用する目標クラスに応じて、デコード部Ａ３０６およびデコード部Ｂ３０７のバッファ容量を設定するとともに、デコード部Ａ３０６またはデコード部Ｂ３０７の再生までの遅延時間を制御する。具体的には、例えばＳＢＲストリームにおいて、目標クラスがＣであればスキューＰＤを４５０[ｍｓ]、最大遅延９００[ｍｓ]で再生表示し、目標クラスがＡであればスキューＰＤを１０[ｍｓ]、最大遅延２０[ｍｓ]で再生表示するようにバッファ制御する。

映像出力部３１０は、デコード部Ａ３０６またはデコード部Ｂ３０７から入力された映像データを選択、受信して表示部３１１へ出力する。表示部３１１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎａｎｃｅ Ｄｉｓｐｌａｙ）等を用いた表示デバイスである。

図４は送信装置と受信装置間におけるスキューとエンコードレートの関係を説明するための模式図である。データ出力のスループットを一定、伝送路Ａ１０７を基準として、目標クラスＡ、Ｂ、Ｃは伝送路Ｂ１０８の伝送距離の長さに例えることができる（図４の４０１〜４０３）。即ち、目標クラスＡと目標クラスＣのスキューの関係は、図４の伝送距離が長くなることと等価である。図４の模式図において、送信装置１００は、例えばスループットを変えずに目標クラスＣから目標クラスＡにするには、単位時間当たりの映像フレームの伝送量が増えるように伝送路Ｂのエンコードレートを上げれば良い。

また、受信装置３００は、伝送路間の映像切り替えに備えて、目標クラスに応じたバッファ容量に変更して、再生遅延時間を変更する。送信装置１００のエンコードレートを上げることにより、伝送路間の切り替え品質は低下するが、スキューを小さくすることが可能であり、エンコードレートを下げることで、スキューは大きくなるが、伝送路間の切り替え品質はスキューが小さい場合に比べて向上することが可能となる。

図５（ａ）は、送信装置１０２のネットワーク情報管理部２１１で作成した接続機器テーブルの一例を説明する図である。同一ネットワーク上に接続された各機器は、ＲＴＣＰプロトコルで定義されるアプリケーション定義パケットを用いることによって各種機器情報を相互に通信できる。本実施形態では、アプリケーション定義パケットのアプリケーション機能拡張として、接続機器の機器タイプ、機器ステータス、伝送路Ａ及び伝送路Ｂのどちらに機器が接続されているかを示す伝送路情報を送受信装置間で通信可能である。

図５（ｂ）は接続機器の機器タイプの一例を説明する図、図５（ｃ）はモニタの機器ステータスの一例、図５（ｄ）はカメラ／レコーダの機器ステータスの一例を説明する図である。

各機器は、図５（ｂ）〜（ｄ）に示す機器タイプや機器ステータスのうち適切なＩＤを選択してＲＴＣＰパケットとして送出する。具体的には、受信装置としてのモニタであれば、アプリケーション定義パケット名に「機器タイプ」、アプリケーション定義データに「モニタ」をＲＴＣＰパケットに格納して送出する。また、モニタの機器状態が表示中であれば、アプリケーション定義パケット名に「ステータス」、アプリケーション定義データには“表示中”ステータスを示すＩＤの「０ｘ０３」をＲＴＣＰパケットに格納して送出する。

なお、図５（ａ）に示した送信装置の接続機器テーブルには、同一機器タイプの機器が複数台接続されているため、送信装置１０２は機器を識別管理するための機器Ｎｏ.を付与している。

図６は映像出力装置１００の処理の流れを説明するフローチャート図である。図６に示すように、映像出力装置１００は、ネットワークに接続されると受信装置３００との接続を行い、機器情報の送受信を開始する（図６のステップＳ８０１）。なお、本実施形態では、例えば映像データをＲＴＰプロトコルにより送信し、接続機器間の情報の送受信にはＲＴＣＰ等の通信制御プロトコルを用いる。

ステップＳ８０２において、エンコード部（図２の２０２、２０３）は映像入力部２０１から入力された映像データに対して、初期値として予め定めておいた目標クラス、または、ステップＳ８０１で受信装置から取得した目標クラスに対応する目標レートからエンコードレート値を決定してエンコード処理を行う。ここで、前述した目標クラスに対応する目標レート（図７（ａ））は、送信装置１０２の制御部２００に予め保持している。

なお、目標クラスＣからクラスＡになるほど要求されるスキューが小さくなることから、図７（ａ）に示す目標レート値はクラスＣに対してクラスＡのエンコードレートを高くしてネットワーク上での帯域負荷を抑制することを目的としたパラメータ設定となっている。なお、図７（ａ）に記すパラメータはこれに限定するものではなく、上記目的の範囲内でパラメータを指定してよい。

次に、ステップＳ８０３において、パケット処理部（図２の２０７、２０８）は、エンコード部（図２の２０２、２０３）およびタイムスタンプ処理部（図２の２０５、２０６）から入力された送信データの送信パケット化を行い、ネットワークＩ／Ｆ部（図２の２０９、２１０）を介して映像データの出力を開始する。ここで、映像出力装置１００は、受信装置３００で伝送路Ａ１０７と伝送路Ｂ１０８のコンテンツが同一かどうかを判別可能なように、映像データの出力と合わせてコンテンツＩＤ等をヘッダ情報として付与して送信する。

ステップＳ８０４において、ネットワークＩ／Ｆ部は、映像データを出力しつつ、パケット処理部Ａ２０７またはパケット処理部Ｂ２０８は受信装置３００からパケット受信すると、受信パケットから受信データへの復号処理を行って、ネットワーク情報管理部２１１へ出力する。

ステップＳ８０５において、ネットワーク情報管理部２１１は、受信した情報から接続機器の情報を取得し、接続機器テーブルの更新要否を確認する。ネットワーク情報管理部２１１は、接続機器テーブルに変更が生じた場合には、接続機器テーブルを更新する。

次にステップＳ８０６において、目標クラス決定部２１２は、ネットワーク情報管理部２１１から接続機器テーブルを取得し、後述の図８に示す処理フローに従って目標クラスを選択する。

続けて、ステップＳ８０７で目標クラス決定部２１２は、目標クラスの変更要否を判定し、変更が必要な場合にはステップＳ８０８でレート制御部２０４に対して目標クラスの変更を通知する。さらに、ステップＳ８０８において、目標クラス決定部２１２は、ネットワーク情報管理部２１１を介して受信装置３００に対しても目標クラスの変更を通知する。
ステップＳ８０９において、レート制御部２０４は、目標クラス決定部２１２からの目標クラス変更通知に基づいてエンコード部Ａ２０２およびエンコード部Ｂ２０３に対するレート設定の変更を実施する。

その後、ステップＳ８１０では、映像出力装置１００の制御部２００によって映像データ出力中か否かを確認し、映像データ出力中であればステップＳ８０４へ戻り、映像データ出力中でなければ本フロー処理を終了する。

図８は送信装置１０２において実行される目標クラス決定処理の流れを説明するフローチャート図である。図８に示すように、送信装置１０２は、ネットワーク情報管理部２１１で取得・作成した接続機器テーブル（図５（ａ））と目標クラス判定テーブル（図７（ｂ））に基づいて、目標クラスを決定する。

まずステップＳ１００１において、目標クラス決定部２１２はネットワーク情報管理部２１１から接続機器テーブルを読み出す。次にステップＳ１００２において目標クラス決定部２１２は、接続機器の機器タイプと機器ステータスに基づいて、予め保持している目標クラス判定テーブル（図７（ｂ））を用いて各機器の優先順位を判定する。

ここで、図７（ｂ）の目標クラス判定テーブルは機器タイプと機器ステータスの組み合わせにおける目標クラスと優先順位を説明する図である。例えば、送信装置の接続先であるモニタが表示中であれば目標クラスＢであるが、非表示中の場合は目標クラスＣとすることを示している。これは、受信装置の状態によらず不用意にエンコードレートが高いまま伝送したままにする場合に比べ、受信装置がデータ未使用の場合はエンコードレートを下げて伝送することにより、ネットワークの帯域負荷を低減させることができる。さらには、映像送出は継続することにより、モニタが表示状態へ復帰した場合でも瞬時に表示状態に移行できるメリットがある。

次に、ステップＳ１００３において、目標クラス決定部２１２は、接続機器に優先順位１の機器がある場合にはステップＳ１００４に進み、目標クラスＡとしてレート制御部２０４に通知する。また、接続機器に優先順位１の機器がない場合にはステップＳ１００５に進む。

ステップＳ１００５において、目標クラス決定部２１２は、接続機器に優先順位２の機器がある場合にはステップＳ１００６に進み、目標クラスＢとしてレート制御部２０４に通知する。また、優先順位２の機器がない場合にはステップＳ１００７に進む。

ステップＳ１００７において、目標クラス決定部２１２は、接続機器に優先順位３の機器がある場合にはステップＳ１００８に進み、目標クラスＣとしてレート制御部２０４に通知する。また、優先順位３の機器がないか、優先順位が不定の機器が接続されている場合には、ステップＳ１００９に進む。

ステップＳ１００９では、目標クラス決定部２１２は接続機器の優先順位が不定の場合には目標クラスをＣとしてレート制御部２０４に通知する。または、目標クラス決定部２１２は送信装置１０２のネットワーク情報管理部２１１を介して、接続機器のネットワークの輻輳状態に応じて目標クラスを設定する。即ち、輻輳状態においてはネットワーク負荷を低減させる方向に目標クラスを設定する。

次に受信装置３００の動作について説明する。図９は受信装置３００において実行される処理の流れを説明するフローチャート図である。

図９に示すように、受信装置３００はネットワークに接続されると、まずステップＳ１２０１において機器情報を送信する。機器情報とは、前述した機器タイプや機器ステータスを示す情報である。

次に、ステップＳ１２０２において受信装置３００は、映像出力装置１００との接続を行い、映像データを含むパケット受信処理を開始する。ステップＳ１２０３では、パケット処理部（図３の３０４、３０５）は、ネットワークＩ／Ｆ部（図３の３０２、３０３）を介して映像データの受信を開始し、映像データパケットをデコード部（図３の３０６、３０７）へ出力する。さらに、パケット処理部（図３の３０４、３０５）は、受信したパケットから、ネットワーク上に接続される機器情報や、使用している伝送路の情報、ならびに映像出力装置の目標クラス情報等を抽出し、ネットワーク情報管理部３０８へ出力する。

ステップＳ１２０４において、ネットワーク情報管理部３０８は、現在映像表示に使用している映像出力装置１００からの目標クラスの変更通知有無を確認する。そして、変更がある場合にはステップＳ１２０５へ進み、表示遅延量の変更処理要求をバッファ制御部３０９へ出力する。

ステップＳ１２０６において、バッファ制御部３０９はデコード部（図３の３０６、３０７）のバッファ量を変更設定して、映像出力部３１０へ出力する遅延時間を変更制御する。ステップＳ１２０７において、映像出力部３１０は、デコード部Ａまたはデコード部Ｂから入力された映像データのうち、表示出力するデータを選択して表示部３１１へ出力する。

ステップＳ１２０８において、パケット処理部（図３の３０４、３０５）は所定時間パケット受信がない場合に映像が停止したと判断してステップＳ１２０１に戻る。なお、映像データの受信中断や切替え、またはネットワークの切断・再接続を検出した場合には本処理フローを先頭から再開する。

図１０は映像出力装置１００において実行される別の目標クラス決定処理の流れを説明するフローチャート図である。図１０は図６で説明した処理フローに加えて、送信装置自身のステータスを考慮して目標クラスを決定する。図１０で示すフローチャートは、図６のステップＳ８０４からステップＳ８０６の間で実行され、ステップＳ８０６の目標クラスより優先的に適用する。まず、ステップＳ１３０１において、送信装置１０２の目標クラス決定部２１２は、制御部２００から送信装置自身の機器ステータスを取得する。

次にステップＳ１３０２において、目標クラス決定部２１２は図７（ｃ）の機器ステータスに基づいて優先順位を判定する。図７（ｃ）は、送信装置自身の機器ステータスにおける目標クラスと優先順位を説明する図であり、例えば、送信装置１０２としてのビデオカメラが撮影した映像を出力中であれば目標クラスＢとし、メニュー操作画面を表示装置に出力中であれば目標クラスＡとすることを示している。これは、例えば、目標クラスＢではスキューは大きいが再生遅延も大きくなるため、メニュー操作を行った場合には目標クラスＡとして、スキューを小さくすることで、再生遅延も小さくすることを意味する。即ち、映像品質は低下するがユーザーにとって、レスポンスが向上できる効果がある。

ステップＳ１３０２において、目標クラス決定部２１２は機器ステータスが優先順位１の場合にはステップＳ１３０３に進み、優先順位１ではない場合にはステップＳ１３０５に進む。ステップＳ１３０３において、目標クラス決定部２１２は目標クラスＡを選択して、前述した図６のステップＳ８０６へ進む。ステップＳ１３０４において、目標クラス決定部２１２は機器ステータスが優先順位２の場合にはステップＳ１３０５に進み、優先順位２ではない場合にはステップＳ１３０６に進む。

ステップＳ１３０５において、目標クラス決定部２１２は目標クラスＢを選択して、前述した図６のステップＳ８０６へ進む。ステップＳ１３０６において、目標クラス決定部２１２は目標クラスＣを選択して、前述した図６のステップＳ８０６へ進む。ステップＳ８０６の目標クラス決定処理では、図８および図１０の処理フローで選択した目標クラスのうち、スキューの小さいクラスを最終的な目標クラスとして決定する。例えば、図８の処理フローに基づく目標クラスをＢ、図１０の処理フローに基づく目標クラスをＡとした場合、最終的な目標クラスはＡとして決定し、レート制御部２０４によるレート変更ならびに受信装置３００への目標クラス変更通知を実施する。

受信装置３００は、図９の処理フローで説明した通り、送信装置１０２から通知された目標クラス変更通知に基づいて、バッファ制御ならびに再生遅延制御を行う。

以上説明したように、本実施形態の送信装置は接続される機器タイプおよび機器ステータスに基づいてスキュー制御するための目標クラスを決定する。その結果、例えば受信装置であるモニタから、送信装置のメニューを操作するような場合でも、スキューの小さいクラスを選択することで遅延を抑制し、ユーザー操作に対するレスポンスが向上できる。

また、受信装置と送信装置間でスキュークラスを相互に通信することにより、受信装置による無駄なバッファ処理を抑制することが出来るので、結果的に遅延を抑制できる。

以上から、送信装置および受信装置ともに、ユースケースに応じたクラス設定が可能となるので適切なバッファリング処理が可能となり、映像切り替え時の品質低下を抑制できる効果がある。

＜第２の実施形態＞
次に、本発明の第２の実施形態による処理について、以下、図面を参照しながら説明する。なお、第２の実施形態の説明において、上述した第１の実施形態と共通する部分については、適宜、説明を省略する。 第２の実施形態は、送信装置２００において、ユーザーが接続機器間の距離情報を手動設定出来る構成としたものである。第２の実施形態における送信装置の目標クラス決定部は、操作入力部から入力されたユーザー設定値を優先的にレート制御部へ出力する。このように制御することで、機器タイプ、ステータスのみならず、送受信装置の物理的な設置距離に応じたクラス設定が可能となる。

図１１は第２実施形態に係る送信装置の一構成例を示す機能ブロック図である。図１１において、操作入力部１５０１はユーザーからの入力を受付けて制御部に通知し、制御部２００は操作入力に応じてメニュー画面を生成して、表示部１５０２へ表示出力する。

図７（ｄ）は、送信装置１５００の表示部１５０２に表示されたメニュー画面例の一部を説明する図である。メニュー画面には、受信装置に関する環境設定メニュー１６０１があり、設定リストとして、「オート」「短距離」「中距離」「長距離」（図７（ｄ）の１６０２）が選択可能である。

メニューにおいて、「短距離」は目標クラスＡ、「中距離」は目標クラスＢ、「長距離」は目標クラスＣに対応する。また、「オート」は第１の実施形態で説明した接続機器テーブルに基づく目標クラス決定処理を適用する場合に選択する。

図１２（ａ）は、第２実施形態に係る機器管理テーブルの一例を説明する図である。第１実施形態に加えて、各機器に対するメニュー設定よる設定値を保持している。ここで、第１の実施形態における目標クラス決定部２１２は、接続機器中のリストＮｏ.１のモニタが表示中であることから目標クラスＢを選択していた。しかし、第２の実施形態におけるリストＮｏ.１のモニタは、メニュー設定で長距離が選択されている。従って、第２の実施形態における送信装置１５００の目標クラス決定部１５０３は、メニューによる選択を優先して目標クラスＣを選択する。

そして、目標クラス決定部１５０３は、その他接続されている機器の機器タイプとステータスを総合的に判断し、送信装置１５００としての目標クラスＣを選択し、レート制御部２０４へ通知する。

以上から、本例では、機器タイプとステータスのみで目標クラスを判定した場合には目標クラスＢとなるが、ユーザーが物理的な設置環境を手動選択できるようにすることで目標クラスＣが選択されることとなる。すなわち、第１の実施形態の如く、機器情報のみで目標クラスを決定する場合に比べ、物理的な設置環境を考慮することができるので、過剰な目標クラス選択による伝送帯域の圧迫を回避することができる効果がある。

なお、本実施形態では理解を容易にするために、ユーザーがメニュー画面を使って距離情報を直接入力可能な構成としたがこれに限定されるものではなく、機器間の物理的な位置情報が把握できれば良い。

例えば、送受信装置間でネットワークアドレスを相互に通信することで、何段のゲートウェイを通過することが判断できる。したがってゲートウェイの接続段数が多いほどネットワーク間の距離が遠い、すなわち物理的な距離も遠いと推測しても良い。また、送信装置および受信装置がそれぞれＧＰＳを備えることによっても機器間距離を推測することも可能である。

以上説明したように、本実施形態ではユーザー入力により接続機器間の物理的な距離を入力可能とすることで、目標クラスの判定に利用する。その結果、機器タイプやステータスのみならず、物理的距離を考慮した目標クラスを決定することが可能となり、よりユースケースに適した目標クラスによるスキュー制御が可能となる効果がある。

＜第３の実施形態＞
次に、本発明の第３の実施形態による処理について、以下、図面を参照しながら説明する。なお、第３の実施形態の説明において、上述した第１または第２の実施形態と共通する部分については、適宜、説明を省略する。 第３の実施形態は、送信装置において接続機器のバッファ容量を取得し、接続機器の機器タイプ、機器ステータス、バッファ容量に応じて、より適切に目標クラスを設定できる構成としたものである。

図１３は、第３実施形態に係る映像出力システムの構成を示す概略図である。撮像部１０１、送信装置１８０２を含んで構成される映像出力装置１８００と、受信装置Ａ１８０７、受信装置Ｂ１８０８とにより本実施形態の映像出力システムが構成される。また、映像出力装置１８００と受信装置Ａ１８０７、受信装置Ｂ１８０８の間にはルーターＡ１０３およびルーターＢ１０４が配置され、それぞれ独立した伝送路で接続されている。

映像出力装置１８００は伝送路１８０１とルーターＡ１０３を経由して受信装置Ａ１８０７と受信装置Ｂ１８０８に映像出力するとともに伝送路１８０２とルーターＢ１０４を経由して２重化目の映像を出力する。ここで、ルーターＢ１０４を２重化目として上述したが、受信装置ＡまたはＢはルーターＡ１０３経由かルーターＢ１０４経由かに関係なく、映像受信して表示等に使用可能である。

図１４は第３実施形態に係る送信装置の一構成例を示す機能ブロック図である。第１の実施形態で説明した構成に加えて、バッファ時間管理部１９０１を備えている。
バッファ時間管理部１９０１は、ネットワーク情報管理部２１１、ネットワークＩ／Ｆ部を介して、受信装置のバッファサイズの情報を取得する。そして、バッファ時間管理部１９０１は、受信装置（図１３の１８０７、１８０８）から取得したバッファサイズの情報からエンコード処理後のデータがどのくらいの時間分保持できるか換算処理する。

例えば、受信装置が６０Ｈｚ、４Ｋの映像を１０フレーム分保持できるバッファを備えているとして、エンコードしたデータがどのくらいの時間分保持できるかはエンコードレートに依存する。具体的には、エンコード後のデータが半分であれば、上記バッファには２０フレームの時間分保持できる。そこで、送信装置は自身が出力する映像データのエンコードレートに基づき、受信装置側のバッファサイズから映像の再生時間と等価な値として「バッファ時間」を算出する。

図１５は第３実施形態に係る受信装置の一構成例を示す機能ブロック図である。第１の実施形態で説明した構成に加えて、バッファ制御部２００１は伝送路Ａおよび伝送路Ｂそれぞれに対応するバッファサイズを管理している。バッファサイズとは受信した映像を切り替え制御するため、実際に蓄積できるデータサイズに対応する。

ネットワーク情報管理部２００２は、送信装置１８０２からのバッファサイズ取得要求に応じて、伝送路Ａおよび伝送路Ｂに対応するそれぞれのバッファサイズと、未使用のバッファサイズをバッファ制御部２００１から取得して、ネットワークＩ／Ｆ部Ａ３０２またはネットワークＩ／Ｆ部Ｂ３０３を介して送信装置１８０２へ応答する。

図１６は送信装置１８０２において実行される処理の流れを説明するフローチャート図である。図１６は、第１の実施形態で説明した接続機器テーブル作成の処理フローに加えて、受信装置の残バッファ時間を考慮して目標クラスを決定する。図１６で示すフローチャートは図６のステップＳ８０４からステップＳ８０６の間で実行され、ステップＳ８０６の目標クラスより優先して設定する。

まず、ステップＳ２１０１において、送信装置１８０２のバッファ時間管理部１９０１はネットワーク情報管理部２１１およびネットワークＩ／Ｆ部（図１４の２０９、２１０）を介して受信装置（図１３の１８０７、１８０８）のバッファサイズを取得する。

次にステップＳ２１０２において、バッファ時間管理部１９０１は受信装置（図１３の１８０７、１８０８）から取得したバッファサイズに対して送信装置１８０２のエンコードレートからバッファ時間を算出する。この時、伝送路Ａと伝送路Ｂのエンコードレートが異なると、バッファサイズが同量でも受信可能なバッファ時間が異なることに注意が必要である。

次にステップＳ２１０３においてネットワーク情報管理部２１１は、第１の実施形態で説明したのと同様の手順により接続機器テーブルを作成するとともに、ステップＳ２１０２で算出したバッファ時間を該テーブルにあわせて保持する（図１２（ｂ））。

図１２（ｂ）は、第３の実施形態における接続機器テーブルの一例を説明する図である。図１２（ｂ）によれば、同一ネットワーク上には２台のモニタが接続され、モニタ_１は伝送路Ａを表示中、モニタ_２は伝送路Ｂを表示中である。

この時、バッファ時間を参照するとモニタ_１は総時間５０[ｍｓ]である。これは、ＳＭＰＴＥ２０２２−７規格を参照すると、現在のエンコードレートではモニタ_1はクラスＡ以上にのみ対応しているということになる。言い換えると、受信装置はクラスＢやクラスＣは非対応であり、該クラスを選択すると映像品質が低下する等の問題が生じてしまう恐れがあることを示している。

エンコードレート値によって対応クラスがクラスＢやクラスＣに変わることから、本実施形態ではエンコードレート値に基づいてバッファ時間を算出し、該時間から適応クラスを判定する。

なお、モニタ_２は総時間９００[ｍｓ]であり、クラスＣまで対応しているため、この場合はモニタ_1のクラス判定結果を優先して使用する。ステップＳ２１０４において、目標クラス決定部１９０２は、図７（ｂ）で示した機器タイプと機器ステータスに加え、バッファ可能時間を考慮して目標クラスを決定する。例えば、本例においてモニタ_1は、機器タイプ「モニタ」、機器ステータス「表示」であるため図７（ｂ）に従うと目標クラスＢとなる。しかし、ステップＳ２１０２でのバッファ時間換算の結果、現在のエンコードレート値ではクラスＡ以上に該当することから、目標クラスＢではなく目標クラスＡを選択する。

ステップＳ２１０５では、目標クラス決定部１９０２は現在設定中の目標クラスからの変更要否を判定し、変更が必要な場合にはステップＳ２１０６へ進み、変更不要の場合にはステップＳ２１０７へ進む。

ステップＳ２１０６において、目標クラス決定部１９０２は、ステップＳ２１０４において選択した目標クラスをレート制御部２０４に通知する。レート制御部２０４は、第１の実施形態と同様にレート変更ならびに目標クラス変更通知を実施する。受信装置（図１３の１８０７、１８０８）は、第１の実施形態で説明したのと同様に、送信装置１８０２から通知された目標クラス変更通知に基づいて、バッファ制御ならびに再生遅延制御を行う。

以上説明したように、本実施形態の送信装置は接続される第１の実施形態と同様にして選択した目標クラスに加え、受信装置のバッファ時間を加味して目標クラスを決定する。その結果、受信装置のバッファ性能を考慮した目標クラスを決定することが可能となり、より機器性能に適した目標クラスによるスキュー制御が可能となる効果がある。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１００ 映像出力装置
１０１ 撮像部
１０２ 送信装置
３００ 受信装置

Claims (7)

1. 撮像部で撮像された映像を２重化し、
   第１と第２のネットワークで伝送することが可能な伝送装置と
   前記２重化されて伝送された映像を受信することが可能な受信装置と、
   前記伝送装置と前記受信装置は前記第１と第２の異なる伝送路で接続され、
   前記伝送装置は、前記同一ネットワークに接続される複数の伝送装置に係る機器種別と機器状態を定期的に取得し、
   前記機器種別と機器状態に応じて
   前記２重化した伝送路間のスキュークラスを決定することを特徴とする
   映像伝送装置。
2. 前記スキュークラスは少なくとも２つ以上のクラスから成り、
   前記伝送装置は、スキュークラスを選択可能な入力手段を備え、
   前記入力手段によって選択したスキュークラスと、
   前記スキュークラス決定手段によるスキュークラスを比較し、
   スキューの小さいクラスを目標クラスとして決定することを特徴とする
   請求項１に記載の映像伝送装置。
3. 前記スキュークラス入力手段は
   前記伝送装置に対する前記受信装置の距離情報であって
   前記距離情報に対応するスキュークラスに基づいてスキュークラスを選択することを特徴とする
   請求項１または２に記載の映像伝送装置。
4. 前記伝送装置は
   前記受信装置のバッファ容量を取得する手段と、
   前記伝送装置のエンコードレートと
   前記取得したバッファ容量からバッファ時間を算出する手段と
   前記バッファ算出手段によるバッファ時間に基づいてスキュークラスを選択する手段と
   前記バッファ時間に基づくスキュークラスと
   前記スキュークラス決定手段によるスキュークラスを比較し、
   スキューの小さいクラスを目標クラスとして決定することを特徴とする
   請求項１乃至３のいずれか１項に記載の映像伝送装置。
5. ２伝送路のうち、受信装置が使用している伝送路側を優先する
   前記伝送装置は、
   前記算出したバッファ時間のうち、前記受信装置により使用しているバッファ時間を使用することを特徴とする
   請求項１乃至４のいずれか１項に記載の映像伝送装置。
6. 前記伝送装置は、
   前記算出したバッファ時間に対応するスキュークラスを判定する手段と、
   前記受信装置が複数ある場合に
   前記スキュークラスのうち、スキューの小さいクラスを目標クラスとして決定することを特徴とする
   請求項１乃至５のいずれか１項に記載の映像伝送装置。
7. 前記伝送装置は、
   前記目標クラスとして決定したクラス情報を前記受信装置へ通知する手段を備え、
   前記受信装置は、
   前記伝送装置から受信したクラス情報に基づいて
   受信した映像をバッファリングして再生するまでの遅延時間を変更制御することを特徴とする
   請求項1に記載の受信装置。