JP2017228866A - 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム - Google Patents

Abstract

【課題】映像切替の応答性を改善し、ネットワーク負荷を低減できる多地点接続装置、映像配信システム、多地点接続方法、及びプログラムを提供することを目的とする。
【解決手段】本発明に係る多地点接続装置は、映像ストリームを送信する送信装置（符号化装置）に依存せず、ネットワーク上のネットワーク装置で転送を停止する。符号化装置を常時運転させておくことで映像切替の応答性を改善することができる。また、ネットワーク装置で不要な映像ストリームの転送を停止することでネットワーク負荷を軽減できる。
【選択図】図１

Description

本開示は、ネットワークを介して遠隔地と映像や音声をやり取りする映像コミュニケーションのための多地点通信装置、映像配信システム、多地点接続方法、及びプログラムに関する。

ネットワークを介して複数の遠隔地と映像や音声をやり取りするテレビ会議において、全ての拠点間で直接映像と音声を送受信する場合、受信側で必要となるネットワーク負荷と映像音声復号処理負荷が拠点数に伴って増加するため、多数の拠点に対応することは難しい。そこで、多数の地点を接続するテレビ会議では、受信側のネットワーク負荷と復号処理負荷を軽減するために、多地点接続装置を使用することが一般的である。多地点接続装置では、多数の拠点からの映像音声を受信し、複数の映像を一つの映像に合成して受信端末に配信することにより、受信側でのネットワーク負荷と復号処理負荷を映像一本分に軽減することができる。

特許文献１には、多地点接続装置において各拠点の映像音声から音声レベル等の物理量を測定し、測定された物理量に基づいて映像の表示形態を動的に変更する技術が記載されている。その実施例として、音量レベルから発言している拠点を特定し、発言拠点の映像を他の拠点の映像よりも拡大表示する方法が記載されている。また、特許文献２には限られたネットワークリソースを発言拠点に対して大きく割り当てる技術が記載されている。実施例として、発言拠点の映像符号化における量子化ステップ数やピクチャグループの構成を動的に変更することで、発言拠点の映像を高精細化する方法が記載されている。

特開平５−１０３３２４号公報 特開２００５−３４１３４７号公報

特許文献１と２の方法では、多地点接続装置は全ての拠点から映像音声を受信することを前提としている。そのため、接続する拠点数に応じて多地点接続装置におけるネットワーク負荷と復号処理負荷が増加する。多地点接続装置の利用によって各拠点の受信端末におけるネットワーク負荷と復号処理負荷を軽減できるものの、多地点接続装置では接続拠点数に応じたネットワーク帯域と、復号処理のための計算リソース（ＣＰＵや復号回路）が必要となる。

また、一つの拠点から複数台のカメラ映像を送信する場合、当該拠点と多地点接続装置までの間にカメラ映像の本数に応じたネットワーク帯域の空きが必要である。合成映像で使用されない映像の送信を停止することでネットワーク負荷の軽減が可能だが、一旦符号化装置を停止すると送信再開までに時間を要するため、急な映像の切り替えに対応することが困難である。

応答性とネットワークトラフィックの観点からは、符号化装置では常に符号化処理を行いながら、合成映像で使用されるときだけＩＰパケットを送信するよう制御することが望ましい。しかし、そのような制御を行うためには符号化装置が多地点接続装置から通知される情報に基づいてＩＰパケット送信を制御する仕組みが必要である。故に、予めそのような機能を搭載した符号化装置が必要である。

つまり、従来の多地点接続装置には、映像切替の応答性改善とネットワーク負荷の低減が課題であった。そこで、本発明は、上記課題を解決すべく、映像切替の応答性を改善し、ネットワーク負荷を低減できる多地点接続装置、映像配信システム、多地点接続方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る多地点接続装置は、いずれの受信端末で使用されていない映像ストリームをネットワーク上で停止することとした。

具体的には、本発明に係る多地点接続装置は、
トラフィックの伝送を制御するネットワーク装置を有するネットワークから複数の映像ストリームを受信する受信部と、
受信端末毎に、前記受信部が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部と、
前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部と、
を備える。

また、本発明に係る映像配信システムは、
トラフィックの伝送を制御するネットワーク装置を有するネットワークへ複数の映像ストリームを送信する映像送信装置と、
前記ネットワークから複数の前記映像ストリームを受信する受信部と、
受信端末毎に、前記受信部が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部と、
前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部と、
を備える。

また、本発明に係る多地点接続方法は、
トラフィックの伝送を制御するネットワーク装置を有するネットワークへ複数の映像ストリームを送信する映像送信手順と、
前記ネットワークから複数の前記映像ストリームを受信する受信手順と、
受信端末毎に、前記受信手順で受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信手順と、
前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御手順と、
を行う。

本発明は、映像ストリームを送信する送信装置（符号化装置）に依存せず、ネットワーク上のネットワーク装置で転送を停止する。符号化装置を常時運転させておくことで映像切替の応答性を改善することができる。また、ネットワーク装置で不要な映像ストリームの転送を停止することでネットワーク負荷を軽減できる。従って、本発明は、映像切替の応答性を改善し、ネットワーク負荷を低減できる多地点接続装置、映像配信システム、及び多地点接続方法を提供することができる。

本多地点接続装置は、
前記受信端末が表示するレイアウト枠それぞれに相当する順位を基準として、前記映像ストリームを識別する映像識別番号、及び前記配信部が有する映像合成部を識別する合成部識別番号が記載されるテーブルを有するデータベース部と、
前記映像ストリームの送信元から前記映像識別番号を取得し、前記データベース部のテーブルの前記順位毎に前記映像識別番号を排他的に記載する接続管理部と、
をさらに備え、
前記配信部は、前記レイアウト枠の情報に基づいて、前記データベース部のテーブルの、前記受信端末が表示する前記順位に前記合成部識別番号を記載し、
前記ネットワーク制御部は、前記データベース部のテーブルの記載から伝送を停止する前記映像ストリーム及び伝送を再開する前記映像ストリームを判断することとしてもよい。

本多地点接続装置の前記データベース部は、前記映像ストリームに前記順位を付す順位決定装置から前記映像ストリームについての前記順位が通知され、前記テーブルに記載された映像識別番号を通知された前記順位へ移動させることを特徴とする。映像ストリーム毎に優先順位を付けることで受信端末では優先順位に応じた表示が可能になる。

例えば、本多地点接続装置は、前記順位が、前記映像ストリームの送信元の音量に基づいて決定されることを特徴とする。
また、映像の表示形態を決定するための基準として、多地点接続装置に送信された映像音声から抽出された物理量以外の情報、例えば赤外線センサ情報等のメタデータを使用することによって、より利用者の嗜好に適した表示が可能になると期待できる。

例えば、本多地点接続装置は、前記順位が、前記映像ストリームの送信元の音量が最大の前記映像ストリームが１位とされ、１位の前記映像ストリームから他の前記映像ストリームへの遷移確率に基づき２位以下が決定されたものであることを特徴とする。
過去の話者交代の履歴を参考にすることで今後発生する話者交代を予測し、順位を決定してもよい。

本発明は、前記多地点接続装置としてコンピュータを機能させるためのプログラムである。本発明に係る多地点接続装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明は、映像切替の応答性を改善し、ネットワーク負荷を低減できる多地点接続装置、映像配信システム、多地点接続方法、及びプログラムを提供することができる。

本発明に係る映像配信システムの構成例を説明する図である。 本発明に係る映像配信システムの受信端末が表示する映像レイアウトを説明する図である。レイアウト枠内の数字は「順位」である。 本発明に係る多地点接続装置が備えるデータベース部のテーブルを説明する図である。例えば、映像合成部の識別番号Ａ、Ｂ、Ｃ、Ｄは、それぞれ映像合成部４１−１、４１−２、４１−３、４１−４に相当する。 本発明に係る多地点接続装置の動作を説明するフローチャートである。 本発明に係る映像配信システムの動作を説明するシーケンス図である。 本発明に係る映像配信システムの順位決定装置が管理する遷移確率表を説明する図である。

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１は、本実施形態の映像配信システム３０１を説明する構成図である。映像配信システム３０１は、
トラフィックの伝送を制御するネットワーク装置２５を有するネットワーク２０へ複数の映像ストリームを送信する映像送信装置１０と、
ネットワーク２０から複数の前記映像ストリームを受信する受信部３０と、
受信端末５１毎に、受信部３０が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部４０と、
ネットワーク装置２５に対して、受信端末５１のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部６１と、
を備える。

映像送信装置１０は、カメラ（１１−１〜１１−ｎ；ｎは自然数）と、各カメラ１１が出力する映像信号を符号化してＩＰパケット（映像ストリーム）として出力する映像符号化装置（１２−１〜１２−ｎ）と、各カメラ１１の周辺の情報を取得してメタデータとして出力するメタデータ生成装置（１３−１〜１３−ｎ）と、を有する。カメラ１１は同じ拠点にあってもそれぞれが異なる拠点にあってもよい。

受信部３０は、映像識別番号（宛先ポート番号）毎に映像ストリームを受信し、受信した映像ストリームを復号する映像復号部（３２−１〜３２−ｎ）を有する。宛先ポート番号とは、例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ポート番号である。配信部４０は、受信側から指定された画面レイアウトになるように復号された映像を合成する映像合成部（４１−１〜４１−ｍ；ｍは自然数）と、合成された映像を再度符号化する映像符号化部（４２−１〜４２−ｍ）と、を有する。受信端末５１は複数存在し、ユーザが任意で画面に表示する映像のレイアウトを設定できるレイアウト枠設定装置５２が付随する。なお、受信端末５１とレイアウト枠設定装置５２は必ずしも1対1対応ではない。一つのレイアウトに対して複数の受信端末が同じ映像を受け取ることも可能である。

多地点接続装置１００は、
トラフィックの伝送を制御するネットワーク装置２５を有するネットワーク２０から複数の映像ストリームを受信する受信部３０と、
受信端末５１毎に、受信部３０が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部４０と、
ネットワーク装置２５に対して、受信端末５１のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部６１と、
を備える。

多地点接続装置１００は、
受信端末５１が表示するレイアウト枠それぞれに相当する順位を基準として、前記映像ストリームを識別する映像識別番号（例えば、宛先ポート番号）、及び配信部４０が有する映像合成部４１を識別する合成部識別番号が記載されるテーブルを有するデータベース部６２と、
前記映像ストリームの送信元から前記映像識別番号を取得し、データベース部６２のテーブルの前記順位毎に前記映像識別番号を排他的に記載する接続管理部６３と、
をさらに備える。
そして、配信部４０は、レイアウト枠設定装置５２が設定した前記レイアウト枠の情報に基づいて、データベース部６２のテーブルの、受信端末５１が表示する前記順位に前記合成部識別番号を記載する。ネットワーク制御部６１は、データベース部６２のテーブルの記載から伝送を停止する前記映像ストリーム及び伝送を再開する前記映像ストリームを判断する。

多地点接続装置１００は、接続管理部６３、映像復号部３２、映像合成部４１、映像符号化部４２、データベース部６２、及びネットワーク制御部６１から構成される。これらの機能は別々のプロセス、あるいはハードウェア上に分散して実現してもよい。

多地点接続装置１００は、各拠点の映像符号化装置１２から符号化された映像ストリームを受信し、宛先ポート番号等の情報からストリームを識別して各映像復号部３２にＩＰパケットを振り分ける。多地点接続装置１００の接続管理部６３と映像符号化装置１２は、接続時に上記の映像ストリームを識別するための情報を交換する。なお、この識別情報が事前に取り決められていれば、交換は不要である。以降では映像ストリームの識別に宛先ポート番号を使用する場合について記載する。接続を確立するため、Ｈ．３２３等の標準化されたプロトコルを用いてもよい。

レイアウト枠設定装置５２は、多地点接続装置１００の映像合成部４１に対してレイアウト枠設定情報を送信する。図２にレイアウト枠の設定例を示す。図２（ａ）は、均等な大きさのレイアウト枠の例、図２（ｂ）と（ｃ）は特定の拠点を拡大表示するレイアウト枠の例である。各レイアウト枠内の数字はユニークに割り当てられた順位である。レイアウト枠は画面内で映像を配置する位置情報と順位を保持する。さらに、透過度等の表示方法を指定するパラメタを追加で保持してもよい。レイアウト枠は時間的に変化するアニメーション表現を備えてもよい。レイアウト枠設定情報では、各レイアウト枠に表示する映像は指定されない。後述する順位決定装置が特定の基準に基づいて、映像の順位を決定することにより、各レイアウト枠に表示される映像が決定される。

データベース部６２は、宛先ポート番号と順位とこれを使用している映像合成部の合成識別番号から構成されるテーブルを保持する。図３にリレーショナルデータベースによるテーブルの例を示す。図３のテーブルにおいて、「順位」はレイアウト枠に割り当てている順位である。「宛先ポート番号」は、多地点接続装置１００の映像復号部３２を識別するＵＤＰポート番号であり、入力される映像ストリームを識別する番号でもある。例えば、順位１の映像（５００１）は受信端末５１−１、受信端末５１−２、及び受信端末５１−３の３端末で使用され、順位３の映像（５００３）は受信端末５１−１のみで使用される。一方、順位４の映像（５００４）は、いずれの映像端末でも使用されない。なお、図１では、映像合成部と受信端末とは１：１の関係であるが、１つの映像合成部から複数の受信端末へ合成映像が配信されることもある。

テーブル更新時のフローチャートを図４に示す。テーブルが更新されるタイミングについては後述する。データベース部６２は、テーブルを更新する（ステップＳ０１）と、映像復号部３２に対して復号映像を渡すべき映像合成部４１の識別番号を通知する（ステップＳ０２）。さらに、ネットワーク制御部６１は、データベース部６２を監視しており、使用されない映像ストリームが発生した場合（ステップＳ０５において“Ｙｅｓ”）には、当該映像ストリームを伝送するネットワーク装置２５に対してコマンドを発行し、当該映像ストリームの転送を停止させる（ステップＳ０６）。ネットワーク装置に対するコマンドはネットワーク装置に固有のコマンドでもよいし、ＯｐｅｎＦｌｏｗのようなプロトコルに基づくコマンドでもよい。また複数のネットワーク装置を統合して管理する管理プログラムが存在する場合は、その管理プログラムに対して所望の動作を実現する管理プログラム用のコマンドを発行してもよい。

映像配信システム３０１は、上述のようにいずれの受信端末も使用していない映像ストリームをネットワーク上で停止することによって不要なトラフィックを削減する。例えば、図３では、５００４番ポート宛の映像ストリームは、映像合成部４１が出力するいずれの合成映像でも使用されていないため、ネットワーク制御部６１がネットワーク装置２５に対して５００４番ポート宛の映像ストリームの転送を停止させればよい。反対に、それまで停止されていた映像ストリームが合成映像で新たに使用されるようになった場合（ステップＳ０３にて“Ｙｅｓ”）、ネットワーク制御部６１がネットワーク装置２５に対してコマンドを発行し、当該映像ストリームの転送を開始させる（ステップＳ０４）。

映像ストリームは宛先ポート番号によって区別されるため、ネットワーク装置２５によって転送停止あるいは開始を制御することが可能であり、映像符号化装置１２の機能には依存しない。制御するネットワーク装置２５は、映像送信装置１０から多地点接続装置１００までのネットワーク経路中のいずれのネットワーク装置であってもよい。

映像復号部３２は、受け取った符号化映像ストリームから映像を復号し、データベース部６２から通知された映像合成部４１に対して復号映像を渡す。映像合成部４１は、１つ又は複数の映像復号部３２から復号された映像を受け取り、レイアウト枠設定装置５２から通知されたレイアウト枠設定に従って映像を合成し、合成映像を映像符号化部４２に渡す。このとき、音声も合成して映像符号化部に渡す。映像符号化部４２は、映像合成部４１から渡された合成映像を符号化し、受信端末５１に向けてＩＰパケットを送信する。

図１のように一つの多地点接続装置が複数の映像合成部を備え、複数の合成映像を生成してもよい。また、一つの多地点接続装置が１つの映像合成部をそなえ、単一の合成映像を複数の受信端末に送信してもよい。

例えば、映像合成部４１がレイアウト枠設定装置５２からレイアウト枠情報を受信したときをテーブル更新時とすることができる。映像合成部４１は、レイアウト枠設定装置５２からレイアウト枠情報を受信すると、それが可能なレイアウトであるか確認する。使用される映像の本数が復号可能な映像の本数を上回っている等の理由からレイアウトの実現が不可能である場合には、レイアウト枠設定装置５２に対してエラーを返す。可能なレイアウトであると確認した場合には、自身のレイアウト設定を更新し、同時にデータベース部６２のテーブルを更新する。

例えば、映像ストリームの順位が変化した時をテーブル更新時とすることができる。
データベース部６２は、前記映像ストリームに前記順位を付す順位決定装置１４から前記映像ストリームについての前記順位が通知され、前記テーブルに記載された映像識別番号を通知された前記順位へ移動させる。
順位決定装置１４は、映像音声だけでなく、各種センサ等のメタデータ生成装置１３からメタデータを受け取り、特定の基準に従って映像ストリームに順位付けを行う。例えば、「順位」は、最後の発話を１位としてその前の発話を２位とする順番や、赤外線センサで検出した撮影対象者の動きの大きさが大きい順番等である。順位決定装置１４は、映像ストリームの順位を変動した際には、データベース部６２のテーブルを更新する。図３のようなテーブルでは、２列目の宛先ポート番号を入れ替えればよい。例えば、宛先ポート番号５００３の映像ストリームの順位が３位から１位に変化し、宛先ポート番号５００１の映像ストリームの順位が１位から３位に変化した時、順位決定装置１４は当該情報をデータベース部６２に通知し、データベース部６２は現在１位の宛先ポート番号と現在３位の宛先ポート番号とを入れ替える。

映像の合成を開始するまでのシーケンスを図５に示す。
接続管理部６３が宛先ポート番号を映像符号化装置１２に通知すると同時にデータベース部６２のテーブルに宛先ポート番号のエントリを作成する。初期段階では、「宛先ポート番号」と「順位」との関係が不明であるので、作成した各エントリに重複しないように任意の「順位」を設定してもよい。「順位」の設定については後述する。

各映像合成部４１は、通知されたレイアウト枠設定（使用する「順位」）に基づき、データベース部６２のテーブルに作成されたエントリのうち、使用する「順位」のエントリに自身の識別番号を記載する。

データベース部６２は復号映像を渡す映像合成部４１の識別番号を映像復号部３２に通知する。映像符号化装置１２が映像ストリーミングを開始すると、映像符号化装置１２から送られてきた映像ストリームを映像復号部３２で復号し、テーブルの設定に従って当該映像が使用される映像合成部４１に渡される。

なお、初期段階では、テーブルにおいて「宛先ポート番号」と「順位」との関係が任意であるので、受信端末はレイアウトの各順位の枠に任意の映像ストリームが表示されることになる。所定後は、順位決定装置１４が決定する順位やユーザの手動順位設定に従ってテーブルの宛先ポート番号列が更新され、更新されたテーブルの設定に従って映像が映像合成部４１に映像が渡される。

以上のように映像配信システム３０１は、
トラフィックの伝送を制御するネットワーク装置２５を有するネットワーク２０へ複数の映像ストリームを送信する映像送信手順と、
ネットワーク２０から複数の前記映像ストリームを受信する受信手順と、
受信端末５１毎に、前記受信手順で受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信手順と、
ネットワーク装置２５に対して、受信端末５１のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御手順と、
を行う。

（実施例１）
本実施例では、発話の順番に基づいてレイアウトを決定する映像配信システム３０１の例について説明する。前記順位が、前記映像ストリームの送信元の音量に基づいて決定される。

各拠点に音量計測装置を設置し、順位決定装置に対して各拠点の音量を送信する。音量計測には、遠隔地に送信する音声を分岐して利用してもよい。あるいは、音量計測専用のマイクロホンを用いてもよい。順位決定装置は、全拠点の音量を比較することで現在どの拠点が発話状態であるかを判定する。現話者の順位を１位とし、その前の話者は２位と、最後の発言が古くなるにつれて順位を低くする。例えば、図２（ｂ）のレイアウトを使用する場合、発話状態で順位１位の拠点は最も大きな領域に配置し、以降２位、３位、４位までを画面下部に小さく表示する。５位以降は合成映像に使用しない。これによって、直近に発言のあった拠点を視覚的に把握することができる。
本実施例の映像配信システム３０１を用いれば、ユーザは合成映像から各拠点の発言状況を把握することができる。

（実施例２）
本実施例では、次話者推定に基づいてレイアウトを決定する映像配信システム３０１の例について説明する。前記順位が、前記映像ストリームの送信元の音量が最大の前記映像ストリームが１位とされ、１位の前記映像ストリームから他の前記映像ストリームへの遷移確率に基づき２位以下が決定されたものである。

特許文献１では現話者によって映像レイアウトを決定しているが、発話の検出に要する時間によっては話者が切り替わった後でも映像が切り替わらない状況が発生してしまう場合が考えられる。このような状況を防ぐために、次話者の予測を行い、合成映像上に予め配置しておくことによって、映像切り替えが遅延しても会話の流れを把握しやすくなると期待できる。

予め過去の会話の記録から、話者交代の順番を記録し、図６に示すような現話者から次話者への遷移確率を計算しておく。各拠点で音量を計算し、結果を順位決定装置に送信する。順位決定装置で各拠点の音量を比較し、最も音量の大きい地点を現話者とする。現話者の順位を１位とし、現話者からの遷移確率が高い順に２位以降を決定する。例えば、図６の遷移確率を利用する場合、現話者がカメラ１１−１であるときには宛先ポート番号５００１が順位１位、カメラ１１−２が２位、カメラ１１−３が３位、カメラ１１−４が４位となる。図２（ｃ）のレイアウトを使用する場合、大きい領域にカメラ１１−１の映像を表示し、小さい領域にカメラ１１−２の映像を表示する。

次話者予測の方法として、視線センサを用いた視線方向からの推定や、呼吸センサ等を用いた呼吸リズムからの推定を利用してもよい。

（発明の効果）
合成映像に使用される映像のみを多地点接続装置に転送するよう、映像伝送経路中のネットワーク装置を制御することにより、ネットワークトラフィックを削減する効果が期待できる。映像ストリームの転送開始や中止の状態を変更する際に、映像符号化装置の状態を変更する必要が無いため、映像符号化装置の状態を制御する場合に比べて、映像切り替えに対する応答が高速である。また、制御対象がネットワーク装置のみであるため、映像符号化装置がそのような制御機能に対応している必要がない。

必要な映像ストリームのみを復号処理するため、合成映像に用いる拠点数（カメラ数、映像ストリーム数）が一定であれば、全体の拠点数が増加しても映像合成装置での復号処理量は増加しない。これにより、多数の拠点を扱うことが可能になる。

テレビ会議映像音声から抽出された物理量以外も、レイアウトを決定する際の基準として利用可能である。センサ情報等の各種メタデータから映像を順位付けする基準を用いてもよい。本特徴によって、受信者の嗜好に応じた合成映像の構成が可能になると期待できる。

１０：映像送信装置
１１、１１−１、１１−２、・・・：カメラ
１２、１２−１、１２−２、・・・：映像符号化装置
１３、１３−１、１３−２、・・・：メタデータ生成装置
１４：順位決定装置
２０：ネットワーク
２５、２５−１、２５−２、・・・：ネットワーク装置
３０：受信部
３１、３１−１、３１−２、・・・：宛先ポート
３２、３２−１、３２−２、・・・：映像復号部
４０：配信部
４１、４１−１、４１−２、・・・：映像合成部
４２、４２−１、４２−２、・・・：映像符号化部
５１、５１−１、５１−２、・・・：受信端末
５２、５２−１、５２−２、・・・：レイアウト枠設定装置
６１：ネットワーク制御部
６２：データベース部
６３：接続管理部
１００：多地点接続装置
３０１：映像配信システム

Claims (8)

1. トラフィックの伝送を制御するネットワーク装置を有するネットワークから複数の映像ストリームを受信する受信部と、
   受信端末毎に、前記受信部が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部と、
   前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部と、
   を備える多地点接続装置。
2. 前記受信端末が表示するレイアウト枠それぞれに相当する順位を基準として、前記映像ストリームを識別する映像識別番号、及び前記配信部が有する映像合成部を識別する合成部識別番号が記載されるテーブルを有するデータベース部と、
   前記映像ストリームの送信元から前記映像識別番号を取得し、前記データベース部のテーブルの前記順位毎に前記映像識別番号を排他的に記載する接続管理部と、
   をさらに備え、
   前記配信部は、前記レイアウト枠の情報に基づいて、前記データベース部のテーブルの、前記受信端末が表示する前記順位に前記合成部識別番号を記載し、
   前記ネットワーク制御部は、前記データベース部のテーブルの記載から伝送を停止する前記映像ストリーム及び伝送を再開する前記映像ストリームを判断する
   ことを特徴とする請求項１に記載の多地点接続装置。
3. 前記データベース部は、前記映像ストリームに前記順位を付す順位決定装置から前記映像ストリームについての前記順位が通知され、前記テーブルに記載された映像識別番号を通知された前記順位へ移動させることを特徴とする請求項２に記載の多地点接続装置。
4. 前記順位が、前記映像ストリームの送信元の音量に基づいて決定されることを特徴とする請求項３に記載の多地点接続装置。
5. 前記順位が、
   前記映像ストリームの送信元の音量が最大の前記映像ストリームが１位とされ、１位の前記映像ストリームから他の前記映像ストリームへの遷移確率に基づき２位以下が決定されたものであることを特徴とする請求項３に記載の多地点接続装置。
6. トラフィックの伝送を制御するネットワーク装置を有するネットワークへ複数の映像ストリームを送信する映像送信装置と、
   前記ネットワークから複数の前記映像ストリームを受信する受信部と、
   受信端末毎に、前記受信部が受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信部と、
   前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御部と、
   を備える映像配信システム。
7. トラフィックの伝送を制御するネットワーク装置を有するネットワークへ複数の映像ストリームを送信する映像送信手順と、
   前記ネットワークから複数の前記映像ストリームを受信する受信手順と、
   受信端末毎に、前記受信手順で受信した前記映像ストリームのうち、任意の前記映像ストリームあるいは任意の複数の前記映像ストリームを合成した合成映像ストリームを配信する配信手順と、
   前記ネットワーク装置に対して、前記受信端末のいずれにも配信されていない、且つ前記合成映像ストリームのいずれにも合成されていない前記映像ストリームの伝送の停止、並びに伝送を停止された前記映像ストリームの伝送の再開を指示するネットワーク制御手順と、
   を行う多地点接続方法。
8. 請求項１から５のいずれかに記載の多地点接続装置としてコンピュータを機能させるためのプログラム。

Images