JP2005295142A - 映像情報管理サーバ及び映像情報管理方法 - Google Patents

Abstract

【課題】 確実に視聴者がテレビ会議を視聴することができ、視聴者が増加しても外部ネットワークに負担をかけることがない映像情報管理サーバ及び映像情報管理方法を提供する。
【解決手段】 テレビ会議システム１００は、各エリア内に存在する映像情報管理サーバ１ａ〜１ｃ、自装置映像記憶部２ａ〜２ｃ、他装置映像記憶部３ａ〜３ｃ、視聴者端末７ａ〜８ｃ等から構成され、映像情報管理サーバ１ａ〜１ｃは自装置映像記憶部２ａ〜２ｃ、他装置映像記憶部３ａ〜３ｃ、ＣＰＵ１７等を備え、ＣＰＵ１７は、自装置映像音声登録手段１７ａ、自装置映像音声管理手段１７ｂ、他装置映像音声登録手段１７ｃ、他装置映像音声管理手段１７ｄ、マルチキャスト配信手段１７ｅ、ユーザ要求受信手段１７ｆ、映像合成手段１７ｇ、ユニキャスト配信手段１７ｈ、集計手段１７ｉ及びユーザ認証手段１７ｊ等を備える。
【選択図】 図１

Description

本発明はネットワーク上で映像と音声データを交換して会議を行う為の映像情報管理サーバ及び映像情報管理方法に関する。

従来、テレビ会議システムにおいて、１対１で送信される映像を第三者に視聴又は傍聴させるためには、双方向にやりとりされるデータを、テレビ会議システムをＩＰネットワーク上で動かすためのプロトコル（Ｈ．３２３）を用いて多地点接続装置（マルチコネクションユニット：以下、「ＭＣＵ」と記載）と呼ばれる装置を使用していた（非特許文献１参照。）。又、ＭＣＵに映像を送り、この映像を映像合成装置に送って映像を合成してひとつのストリームとして再配信していた。

別のテレビ会議実現の手法としては、十分な配信能力があるコーデック、若しくは、双方向での通信以外にもマルチキャスト等の不特定多数宛て配信機能があれば、視聴者がふたつのコーデックからそれぞれの映像と音声を受信し、モニタ上でふたつの映像と音声を視聴していた。

更に、テレビ会議では、視聴者がその意思表示を行うため、例えばＹｅｓ／Ｎｏ等に相当するボタンを持ち、議事進行者の指示により賛成／反対などの意思表示を行うことがよく行われていた。
"Ｈ．３２３技術解説"[online]、ＶＴＶジャパン株式会社、[平成１６年３月２４日検索]、インターネット＜URL：http://www.vtv.co.jp/WebData2/H323/h323a.htm＞

しかしながら、ＭＣＵを使用して映像の合成及び映像の再配信を行う場合、運用が難しく、コストも高かった。

ＭＣＵを使ったシステムでは、各拠点を結ぶ回線の容量が十分でない場合、視聴者の増加により本来のコーデック間の会議のデータが影響を受けて、映像や音声が乱れることがあった。

ＭＣＵを使わない場合は、内部のエリアに属する出演者同士のテレビ会議を、外部のエリアに属する視聴者が閲覧しようとした場合、外部ネットワークには、コーデック間のデータだけでなく、視聴者用のデータが流れることとなり、視聴者の増加に伴い、外部ネットワークには負担がかかっていた。

また、視聴者が賛成／反対等の意思表示を行う際には、ネットワークにおいてはこれらのデータは映像及び音声とは異なった経路及びシステムで管理され、そのデータの視聴は別のシステム機器で行われていた。更に、データの管理はサーバの詳細なセキュリティ設計などが必要であった。

本発明は上記の問題点に鑑みてなされたものであり、テレビ会議システムにおいて、高価な装置を使用せずとも確実に視聴者がテレビ会議を視聴することができ、視聴者が増加しても外部ネットワークに負担をかけることがなく、視聴者の意思表示を示すデータを簡便に統計、表示することができる映像情報管理サーバ及び映像情報管理方法を提供することを目的とする。

上述した従来の技術の課題を解決するため、本発明の第１の特徴は、[イ]自エリアの映像を格納する自装置映像記憶部（２ａ，２ｂ，２ｃ）と、[ロ]外部より受信する他エリアの映像を格納する他装置映像記憶部（３ａ，３ｂ，３ｃ）と、[ハ]自エリア内の視聴者端末（７ａ〜８ｃ）に対し自装置映像記憶部（２ａ，２ｂ，２ｃ）内の映像データをマルチキャスト配信するマルチキャスト配信手段（１７ｅ）と、[ニ]自エリア内の視聴者端末（７ａ〜８ｃ）より、他装置映像記憶部（３ａ，３ｂ，３ｃ）内の映像データの視聴を要求する映像配信要求を含むユーザ要求を受信するユーザ要求受信手段（１７ｆ）と、[ホ]ユーザ要求に従い要求元の視聴者端末（７ａ〜８ｃ）に要求された他装置映像記憶部（３ａ，３ｂ，３ｃ）内の映像データをユニキャスト配信し、他エリアからの要求に従い自装置映像記憶部（２ａ，２ｂ，２ｃ）内の映像データを他エリア側にユニキャスト配信するユニキャスト配信手段（１７ｈ）とを備える映像情報管理サーバであることを要旨とする。

更に本発明の第１の特徴は、[ヘ]ユーザ要求に従いユニキャスト配信を行なう際、要求元の視聴者端末（７ａ〜８ｃ）が自エリア若しくは他エリアのいずれに属するかを判断し、自エリアに属する場合にはユーザ要求された映像を要求元の視聴者端末（７ａ〜８ｃ）に送信する許可を行なうユーザ認証手段（１７ｊ）とを更に備えること加えても良い。

本発明の第２の特徴は、[イ]自エリアの映像を自装置映像記憶部（２ａ，２ｂ，２ｃ）に格納するステップと、[ロ]外部より受信する他エリアの映像を他装置映像記憶部（３ａ，３ｂ，３ｃ）に格納するステップと、[ハ]自エリア内の視聴者端末（７ａ〜８ｃ）に対し自装置映像記憶部（２ａ，２ｂ，２ｃ）内の映像データをマルチキャスト配信手段（１７ｅ）がマルチキャスト配信するステップと、[ニ]自エリア内の視聴者端末（７ａ〜８ｃ）より、他装置映像記憶部（３ａ，３ｂ，３ｃ）内の映像データの視聴を要求する映像配信要求を含むユーザ要求をユーザ要求受信手段（１７ｆ）が受信するステップと、[ホ]ユーザ要求に従い要求元の視聴者端末（７ａ〜８ｃ）に要求された他装置映像記憶部（３ａ，３ｂ，３ｃ）内の映像データをユニキャスト配信するステップと、[ヘ]他エリアからの要求に従い自装置映像記憶部（２ａ，２ｂ，２ｃ）内の映像データを他エリア側にユニキャスト配信するステップと、[ト]ユーザ要求に従いユニキャスト配信を行なう際、要求元の視聴者端末（７ａ〜８ｃ）が自エリア若しくは他エリアのいずれに属するかを判断し、自エリアに属する場合にはユーザ要求された映像を要求元の視聴者端末（７ａ〜８ｃ）に送信する許可を行なうステップとを有する映像情報管理方法であることを要旨とする。

本発明の映像情報管理サーバ及び映像情報管理方法によると、高価なＭＣＵを使用する必要がない。又、視聴者が複数存在しても、外部ネットワークには、外部エリアを管理する映像情報管理サーバ宛ての映像データのみが流れるため、回線容量を有効に活用することができる。

更に、視聴者より取得した意志表示の統計データを出演者には簡便に参照させ、視聴者には隠蔽することができ、テレビ会議の内容を充実させることができる。

以下、本発明の実施の形態に係る映像情報管理サーバ及び映像情報管理方法について説明する。説明中の映像情報は、音声情報を含むものとする。尚、本発明の実施の形態において使用される機器及び手法等は、一例であり、本発明はこれらに限定されるものでないことは勿論である。

（テレビ会議システム）
本発明の実施の形態に係る映像情報管理サーバを用いるテレビ会議システム１００は、図１に示すように、エリアＡ，Ｂ，Ｃの各エリア内に存在する映像情報管理サーバ１ａ，１ｂ，１ｃ、自装置映像記憶部２ａ，２ｂ，２ｃ、他装置映像記憶部３ａ，３ｂ，３ｃ、集線装置４ａ，４ｂ，４ｃ、撮像カメラ５ａ，５ｂ，５ｃ、マイク６ａ，６ｂ，６ｃ、視聴者端末７ａ，７ｂ，７ｃ，８ａ，８ｂ，８ｃ等から構成される。各エリアはインターネット、ＬＡＮ、ＷＡＮ等の通信網９を介して接続され、各エリア内部はＬＡＮ９ａ，９ｂ，９ｃを介して接続されている。

撮像カメラ５ａ，５ｂ，５ｃは、各出演者の映像を撮影する為の装置であり、マイク６ａ，６ｂ，６ｃは、各出演者の音声を収音するための装置である。

自装置映像記憶部２ａ，２ｂ，２ｃは、自エリアにおいて撮影される映像を格納する。例えば、エリアＡの映像は自装置映像記憶部２ａに格納される。他装置映像記憶部３ａ，３ｂ，３ｃは、他エリアにおいて撮影される映像を格納する。例えば、エリアＡの他装置映像記憶部３ａは、Ｂエリア及びＣエリアの映像を他装置映像記憶部３ａに格納する。

視聴者端末７ａ〜８ｃは、出演者の映像を視聴する視聴者が使用する端末である。これらの視聴者端末７ａ〜８ｃは、各集線装置４ａ，４ｂ，４ｃに複数接続されていて構わない。集線装置４ａ，４ｂ，４ｃは、各エリア内のＬＡＮを構築する為のハブである。

（映像情報管理サーバ）
映像情報管理サーバ１ａ，１ｂ，１ｃは、図２に示すように、入力装置１１、出力装置１２、通信制御装置１３、エンコーダ１４、デコーダ１５、主記憶装置１６、処理制御装置（以下「ＣＰＵ」と記載）１７、自装置映像記憶部２ａ，２ｂ，２ｃ、他装置映像記憶部３ａ，３ｂ，３ｃ、画像テンプレート記憶部１８及びユーザ認証記憶部１９等を備え、ＣＰＵ１７は、自装置映像音声登録手段１７ａ、自装置映像音声管理手段１７ｂ、他装置映像音声登録手段１７ｃ、他装置映像音声管理手段１７ｄ、マルチキャスト配信手段１７ｅ、ユーザ要求受信手段１７ｆ、映像合成手段１７ｇ、ユニキャスト配信手段１７ｈ、集計手段１７ｉ及びユーザ認証手段１７ｊ等を備えている。

自装置映像記憶部２ａ，２ｂ，２ｃは、自エリアのストリーム映像を格納するメモリである。格納は、ＭＰＥＧ１、ＭＰＥＧ２及びＭＰＥＧ４等のデータ形式にて行なわれる。他装置映像記憶部３ａ，３ｂ，３ｃは、他エリアのストリーム映像を記憶するメモリである。格納は、ＭＰＥＧ１、ＭＰＥＧ２及びＭＰＥＧ４等のデータ形式にて行なわれる。

画像テンプレート記憶部１８は、図４に示すような、映像上に表示する絵文字等の画像のテンプレートを格納する。ユーザ認証記憶部１９は、視聴者のユーザ認証を行なう為のユーザ情報を格納する。

自装置映像音声登録手段１７ａは、各エリア内で撮影された映像を自装置映像記憶部２ａ，２ｂ，２ｃに登録する。自装置映像音声管理手段１７ｂは、自装置映像記憶部２ａ，２ｂ，２ｃ内のデータの取得、送信、更新及び削除等の管理を行なう。

他装置映像音声登録手段１７ｃは、各エリア以外で撮影された映像を他装置映像記憶部３ａ，３ｂ，３ｃに登録する。他装置映像音声管理手段１７ｄは、他装置映像記憶部３ａ，３ｂ，３ｃ内のデータの取得、送信、更新及び削除等の管理を行なう。

マルチキャスト配信手段１７ｅは、各エリア内の視聴者端末（例えば、Ａエリアだと視聴者７ａ，８ａ）に対し、自装置映像記憶部２ａ，２ｂ，２ｃ内の映像データをマルチキャスト配信する。このマルチキャストデータは、映像の収録間、若しくは常時配信されていて構わない。

ユーザ要求受信手段１７ｆは、各エリア内の視聴者端末より、映像配信要求、映像中断要求、ユーザ意思表示要求、映像合成要求等の要求を受信する。

映像合成手段１７ｇは、各エリア内の視聴者端末からの要求により、映像データと画像テンプレート記憶部１８内のテンプレートとの合成を行なう。尚、映像データを図４（ｂ）に示すように分割表示する等の処理も行う。

ユニキャスト配信手段１７ｈは、各エリア内の視聴者端末からの要求を受け、他装置映像記憶部３ａ，３ｂ，３ｃ内の映像を、要求元視聴者端末にユニキャスト配信する。又、他エリアからの要求に従い自装置映像記憶部２ａ，２ｂ，２ｃ内の映像データを他エリア側にユニキャスト配信する。

集計手段１７ｉは、ユーザ要求受信手段１７ｆが受信するユーザ意思表示要求等の放送される映像の内容に関する、視聴者からの要望、意見、リクエスト等を集計する。ユーザ認証手段１７ｊは、視聴者の視聴可能映像等を識別する為のユーザ認証を行う。

入力装置１１は、キーボード、マウス等から入力信号を受信するインタフェースである。フロッピー（登録商標）ディスク、ハードディスク等の外部記憶装置を介して入力されても良い。出力装置１２は、処理結果等を出力するための装置であり、具体的には液晶ディスプレイ、ＣＲＴディスプレイ、プリンタ等を指す。通信制御装置１３は、他装置に対しデータを送受信する為の制御信号を生成する。尚、音声や映像をストリーミング再生するためには、リアルタイムトランスポートプロトコル（以下「ＲＴＰ」と記載）等の伝送プロトコルを用いる。ＲＴＰは、パケットロス対策や伝送時間保証などは行われていないユーザデータグラムプロトコル（ＵＤＰ）タイプのプロトコルで、通常はＲＴＰコントロールプロトコルよる通信状態レポートとセットで用いる。ＲＴＰコントロールプロトコルによって実効帯域幅や遅延時間などを映像情報管理サーバ１ａ，１ｂ，１ｃに送出し、映像情報管理サーバ１ａ，１ｂ，１ｃは報告された通信状態に合わせてＲＴＰで送信するデータの品質を調整して送信する。

エンコーダ１４は、データを符号化するソフトウェア又は装置であり、データの圧縮や暗号化等を行なう。デコーダ１５は、エンコーダ１４が符号化した映像データを元に戻すソフトウェア又は装置である。

主記憶装置１６は、主メモリとして、処理の手順を記述したプログラムや処理されるべきデータを一時的に記憶し、ＣＰＵ１７の要請に従ってプログラムの機械命令やデータを引き渡す。又、ＣＰＵ１７で処理されたデータは主記憶装置１６に書き込まれる。主記憶装置１６とＣＰＵ１７はアドレスバス、データバス、制御信号等で結ばれている。

（映像情報管理サーバの動作）
以下、映像情報管理サーバ１ａ，１ｂ，１ｃの動作について、図３のフローチャートを参照して説明する。説明中の映像データには音声データも含まれる。

(ａ)先ずステップＳ１０１において、Ａエリアの映像情報管理サーバ１ａは、図１の撮像カメラ５ａ及びマイク６ａより映像データを受信する。受信された映像データはエンコーダ１４によってエンコードされる。自装置映像音声登録手段１７ａは、このエンコード映像データを自装置映像記憶部２ａに格納する。尚、Ｂエリアの映像情報管理サーバ１ｂ、Ｃエリアの映像情報管理サーバ１ｃも同様の処理を行う。

（ｂ）ステップＳ１０２において、他装置映像音声登録手段１７ｃは、取得すべき他のエリア（Ｂエリア及びＣエリア）の映像があるか否かを判断し、他のエリアの映像がない場合、ステップＳ１０４へ進み、他のエリアの映像がある場合、ステップＳ１０３において、通信先毎に他装置映像記憶部３ａに格納する。尚、Ｂエリアの映像情報管理サーバ１ｂ、Ｃエリアの映像情報管理サーバ１ｃも同様の処理を行う。

（ｃ）ステップＳ１０４においては、マルチキャスト配信手段１７ｅが、自エリアの映像を自装置映像記記憶部２ａより取得し、自エリアのＬＡＮ内をマルチキャスト送信する。これにより、例えばＡエリアのＬＡＮ９ａ内、つまり集線装置４ａに接続すると、映像のマルチキャスト送信中は視聴者端末７ａ、８ａに限らず誰でもＡエリアの出演者を映す映像が視聴できることになる。尚、この時点でユーザ認証手段１７ｊによる視聴者端末７ａ、８ａのユーザ認証を行っても構わない。

（ｄ）ステップＳ１０５においては、マルチキャスト配信手段１７ｅは更に、通信先の他装置映像記憶部、例えば、Ａエリアであれば、他装置映像記憶部３ａ内のＢエリア及びＣエリアの映像も、ＡエリアＬＡＮ９ａ内でマルチキャスト配信する設定があるか否かを判断する。設定がある場合はステップＳ１０６において、他装置映像記憶部３ａのデータをマルチキャスト配信し、設定がない場合はＳ１０７へ進む。

（ｅ）ステップＳ１０７においては、ユーザ要求受信手段１７ｆが個別配信処理を行なう。先ず、エリア内の視聴者端末、例えばＡエリアでは視聴者端末７ａ，８ａから視聴者個別の配信リクエストを受信する。ステップＳ１０８において、ユーザ要求受信手段１７ｆは、配信リクエストがあるか否かを適宜チェックし、配信リクエストがある場合は、Ｓ１０９へ進む。尚、配信リクエストがない時は待機状態となる。

（ｆ）ステップＳ１０９では、ユーザ認証手段１７ｊは、配信リクエストの送信元が自エリア内か他エリア内であるかを視聴者端末のＩＰアドレスを参照して判断する。他エリアの視聴者端末であった場合、例えば、Ａエリアの場合はＢ及びＣエリアの７ｂ，８ｂ，７ｃ，８ｃであると判断された場合、ステップＳ１１７においてリクエストを拒絶する。自エリアの視聴者端末であった場合、ステップＳ１１０へ進む。

（ｇ）ステップＳ１１０においては、映像合成手段１７ｇが、受信した配信リクエストに、画面構成に関する要求があるか否かを判断する。要求が含まれる場合はステップＳ１１２へ進む。要求が含まれない場合ステップＳ１１１へ進み、ユーザ認証手段１７ｊが、ユーザ認証記憶部１９の情報を参照して、配信リクエスト要求元の視聴者端末が、リクエストされた映像を受信する許可がされているか否かを判断する。許可される場合はステップＳ１１５へ進み、ユニキャスト配信手段１７ｈが、要求元の視聴者端末へ対し、要求された配信データをユニキャスト配信する。更に、ユニキャスト配信手段１７ｈは、他エリアからの要求に従い自装置映像記憶部内の映像データを他エリア側にユニキャスト配信する。この他エリアへの映像送信は自動的に行なってもよい。尚、許可されない場合は、ステップＳ１１７へ進み、リクエストを拒絶する。

（ｈ）ステップＳ１１２においては、ユーザ認証手段１７ｊが、ユーザ認証記憶部１９の情報を参照して、映像合成要求の要求元の視聴者端末が、映像を合成する許可がされているか否かを判断する。許可される場合はステップＳ１１３へ進み、映像合成手段１７ｇが画像テンプレート記憶部１８を用いて映像同士若しくは映像と絵文字を図４(ａ)，（ｂ）のように合成する。更にステップＳ１１４において、要求元の視聴者端末へ対し、要求された配信データをユニキャスト配信する。許可されない場合は、ステップＳ１１６へ進み、リクエストを拒絶する。

上記においては、エリアＡを自エリア、エリアＢ及びＣを他エリアとして説明がなされているが、いずれで使用される映像情報管理サーバ１ａ，１ｂ，１ｃも同様のシステム構造を有し、同様の動作を行なうことは勿論である。

尚、ステップＳ１１４及びＳ１１５におけるユニキャスト配信の送信結果を、要求元の視聴者端末の視聴履歴として保存し、集計手段１７ｉによる視聴者情報データ収集、視聴率の解析等に使用しても良い。更に、視聴者より取得した意志表示の統計データを出演者のみに参照させ、視聴者端末には表示させないようにしても良い。

本発明の実施の形態に係るテレビ会議システムのシステム構成図である。 映像情報管理サーバの内部構成図である。 映像情報管理サーバの動作を示すフローチャートである。 合成画面の一例を表す画面図である。

符号の説明

１ａ，１ｂ，１ｃ…映像情報管理サーバ
２ａ，２ｂ，２ｃ…自装置映像記憶部
３ａ，３ｂ，３ｃ…他装置映像記憶部
４ａ，４ｂ，４ｃ…集線装置
５ａ，５ｂ，５ｃ…撮像カメラ
６ａ，６ｂ，６ｃ…マイク
７ａ，７ｂ，７ｃ，８ａ，８ｂ，８ｃ…視聴者端末
９…通信網
９ａ，９ｂ，９ｃ…ＬＡＮ
１１…入力装置
１２…出力装置
１３…通信制御装置
１４…エンコーダ
１５…デコーダ
１６…主記憶装置
１７…ＣＰＵ
１７ａ…自装置映像音声登録手段
１７ｂ…自装置映像音声管理手段
１７ｃ…他装置映像音声登録手段
１７ｄ…他装置映像音声管理手段
１７ｅ…マルチキャスト配信手段
１７ｆ…ユーザ要求受信手段
１７ｇ…映像合成手段
１７ｈ…ユニキャスト配信手段
１７ｉ…集計手段
１７ｊ…ユーザ認証手段
１８…画像テンプレート記憶部
１９…ユーザ認証記憶部
１００…テレビ会議システム

Claims (3)

1. 自エリアの映像を格納する自装置映像記憶部と、
   外部より受信する他エリアの映像を格納する他装置映像記憶部と、
   前記自エリア内の視聴者端末に対し前記自装置映像記憶部内の映像データをマルチキャスト配信するマルチキャスト配信手段と、
   前記自エリア内の前記視聴者端末より、前記他装置映像記憶部内の映像データの視聴を要求する映像配信要求を含むユーザ要求を受信するユーザ要求受信手段と、
   前記ユーザ要求に従い要求元の前記視聴者端末に要求された前記他装置映像記憶部内の映像データをユニキャスト配信し、前記他エリアからの要求に従い前記自装置映像記憶部内の映像データを前記他エリア側にユニキャスト配信するユニキャスト配信手段
   とを備えることを特徴とする映像情報管理サーバ。
2. 前記ユーザ要求に従い前記ユニキャスト配信を行なう際、要求元の前記視聴者端末が前記自エリア若しくは前記他エリアのいずれに属するかを判断し、前記自エリアに属する場合には前記ユーザ要求された映像を要求元の前記視聴者端末に送信する許可を行なうユーザ認証手段とを備えることを特徴とする請求項１に記載の映像情報管理サーバ。
3. 自エリアの映像を自装置映像記憶部に格納するステップと、
   外部より受信する他エリアの映像を他装置映像記憶部に格納するステップと、
   前記自エリア内の視聴者端末に対し前記自装置映像記憶部内の映像データをマルチキャスト配信手段がマルチキャスト配信するステップと、
   前記自エリア内の前記視聴者端末より、前記他装置映像記憶部内の映像データの視聴を要求する映像配信要求を含むユーザ要求をユーザ要求受信手段が受信するステップと、
   前記ユーザ要求に従い要求元の前記視聴者端末に要求された前記他装置映像記憶部内の映像データをユニキャスト配信するステップと、
   前記他エリアからの要求に従い前記自装置映像記憶部内の映像データを前記他エリア側にユニキャスト配信するステップと、
   前記ユーザ要求に従い前記ユニキャスト配信を行なう際、要求元の前記視聴者端末が前記自エリア若しくは前記他エリアのいずれに属するかを判断し、前記自エリアに属する場合には前記ユーザ要求された映像を要求元の前記視聴者端末に送信する許可を行なうステップ
   とを有することを特徴とする映像情報管理方法。
   
   

Images