JP2014183321A - 通信システム、通信装置及び通信プログラム - Google Patents

Abstract

【課題】クライアント毎に異なった表現内容の動画データを配信可能とする通信システム、通信装置及び通信プログラムを提供する。
【解決手段】映像・音声編集を順序付けたワークフローに応じて通信を開始するよう制御するワークフロー制御部と、通信開始後に映像・音声編集を行う編集部と、前記編集部が編集した映像・音声を各クライアントに送信する送信部と、前記ワークフロー編集部が編集した画像の品質を管理する編集品質管理部と、を有する。
【選択図】図２

Description

本発明は、ビデオ会議システムに用いて好適な通信システム、通信装置及び通信プログラムに関する。

近年、インターネット技術の向上による通信網の広帯域化により、従来専用線やＩＳＤＮ（Integrated Services Digital Network）などの電話回線によって行われていたテレビ会議が、インターネットを介して行われるようになった。一方で、インターネットは、回線種別の差異により通信品質が異なると共に、輻輳などにより常態的に通信品質が揺らぐ。そのため、インターネットを介したテレビ会議システムにおいては、リアルタイム性と通信品質とを両立させることが困難である。

従来から、インターネットの不安定な通信品質に考慮し、クライアント毎に送信映像を変更する通信制御技術は存在した。例えば、送信する画像のサイズや圧縮率などを、回線速度に応じて変更する。

また、特許文献１（特許第４２７７３６５号公報）は、動画データを一時的に蓄積して単位画像毎に加工及び配信すると共に、パケット損失などにより一時的に画質が損なわれた状態から復帰した際に、要求される動画品質に対して漸近的に推移させるようにした動画配信システムが開示されている。特許文献１によれば、異なった品質の動画データを各クライアントの受信環境に応じて生成及び配信することができる。

ところで、テレビ会議システムにおいて、会議に参加するクライアント毎に異なる映像データを送信可能とすることが求められている。例えば、テレビ会議に参加しているクライアントのうち特定のクライアントに対して選択的に資料画像を送信し、他のクライアントに対しては、ある視点から撮影されたカメラ映像を送信することが考えられる。また、あるクライアントと他のクライアントとで、互いに異なる視点からのカメラ映像を送信することが考えられる。

しかしながら、従来技術では、クライアント毎に、表示される映像の画質やフレームレートを異ならせることはできても、クライアントに送信される映像が表現する内容は、各クライアントに一律して等しいものであった。

したがって、従来では、例えば、テレビ会議に参加しているクライアントのうち特定のクライアントに対して選択的に資料を提示することや、あるクライアントと別のクライアントとで、異なる視点からのカメラ映像を送信し表示させるといったことができないという問題点があった。

特許文献１においても、クライアントの受信環境に応じて異なった品質の動画データを生成及び配信可能とされているが、クライアント毎に異なった表現内容の動画データを配信できないという点は、解決できていない。

本発明は、上記に鑑みてなされたものであって、クライアント毎に異なった表現内容の動画データを配信可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、映像・音声編集を順序付けたワークフローに応じて通信を開始するよう制御するワークフロー制御部と、通信開始後に映像・音声編集を行う編集部と、前記編集部が編集した映像・音声を各クライアントに送信する送信部と、前記ワークフロー編集部が編集した画像の品質を管理する編集品質管理部と、を有する。

本発明によれば、クライアント毎に異なった表現内容の動画データを配信することが可能となるという効果を奏する。

図１は、通信システムの概要を示す構成図である。 図２は、会議制御装置及びクライアントの詳細を示すブロック図である。 図３は、ユーザがクライアントにおいて設定することができる映像のワークフローを例示する図である。 図４は、ユーザがワークフローを設定する場合に例えばクライアントなどが表示するワークフロー設定画面例を示す図である。 図５は、ユーザの操作に応じてクライアントが情報処理プログラムを実行することによって行う処理を示すフローチャートである。 図６は、遅延の主な原因となる各種時間を示す図である。 図７は、ＷＦ制御部が生成する受発信情報を示す図表である。 図８は、ワークフロー情報を示す図表である。 図９は、会議開始から終了までの概要（第１例）を示したシーケンス図である。 図１０は、通信品質管理部の圧縮パラメータ計算フローを示すフローチャートである。 図１１は、通信品質管理部の編集時圧縮パラメータ計算フローを示すフローチャートである。 図１２は、会議開始の概要（第１例）を示したシーケンス図である。 図１３は、編集モジュール設定情報を示す図表である。

以下に、添付図面を参照して、通信システム（ビデオ会議システム）１の実施形態を詳細に説明する。図１は、通信システム１の概要を示す構成図である。図１に示すように、通信システム１は、会議制御装置１０、クライアント装置１１_１〜１１_ｎを有する。以下、クライアント１１_１〜１１_ｎなどの複数ある構成部分のいずれかを特定せずに示す場合には、単に「クライアント１１」などと略記する。

会議制御装置１０、はビデオ会議の管理・制御を行う。具体的には以下処理を行う。まず、会議制御装置１０は、ネットワーク越しに接続している各クライアントの要求により、ビデオ会議を開始・終了する。次に、会議制御装置１０は、ビデオ会議を実現するため、あるクライアントから送信された映像・音声データをそのクライアントから設定されたワークフローに従い編集し、他のクライアントに配信する。そして、会議制御装置１０は、通信状況・編集状況により画像サイズ低減などの処理を行い、リアルタイム性を確保する。

クライアント１１は、ビデオ会議に参加するためのシステムであり、以下の処理を行う。まず、クライアント１１は、会議の開始・終了・参加等の要求をユーザから受け、それらを会議制御装置１０に伝達する。次に、クライアント１１は、映像・音声の編集方法をワークフローとして設定する手段をユーザに提供し、設定されたワークフローを会議制御装置１０に送信する。次に、クライアント１１は、Ｗｅｂカメラ等の映像入力部１１５（図２参照）と、マイク等の音声入力部１１６により取得した映像・音声データを会議制御装置１０に送信する。そして、クライアント１１は、会議制御装置１０から配信された他クライアントの映像・音声データを、ディスプレイ等の映像出力部１１７、スピーカ等の音声出力部１１８から再生する。なお、上記の入出力装置は、必須の構成ではない。クライアント１１は、例えば、スマートフォン、マイクやスピーカ等周辺機器を接続したＰＣが挙げられる。

図２は、会議制御装置１０及びクライアント１１の詳細を示すブロック図である。

（会議制御装置１０）
会議管理部１０１は、ビデオ会議の管理を行う要素である。会議管理部１０１は、システム全体で行われる会議と、そのクライアントを管理する。また、会議管理部１０１は、クライアントからの要求によりそれら会議の開始・終了処理を行う。

ＷＦ制御部１００は、受信部１２０・編集部１２１_１〜１２１_３、送信部１２２のデータ送信先を設定することにより、映像・音声データを編集する順序を制御する要素である。

受発信ＤＢ１０６は、映像・音声の配信者と、その受信者、そこに適用されるワークフローとを対応付ける情報を記憶する。受発信ＤＢ１０６は、クライアント１１によりユーザが作成したワークフローに沿って、ＷＦ制御部１００により生成・参照される。

ＦＷＤＢ１０７は、ワークフローで実施する編集処理とその順序を定義した情報を記憶する。ＦＷＤＢ１０７は、クライアント１１によりユーザが作成したワークフローに沿って、ＷＦ制御部１００により生成・参照される。

ＷＦ実行部１０２は、受信部１２０、編集部１２１_１〜１２１_ｎ及び送信部１２２を有する。受信部１２０は、各クライアントから映像・音声データを受信する要素である。編集部１２１_１〜１２１_ｎは、受信部１２０が受け取ったクライアントの映像・音声データを加工するためのモジュール群である。編集部１２１は、会議制御装置１０の管理者が必要に応じて追加することを可能にされてもよい。なお、編集部１２１は、図３を用いて後述する矩形で示された各ワークフローの処理一つ一つに対応する。

送信部１２２は、必要に応じて編集した映像・音声データを設定された配信先に送信する要素である。編集品質管理部１０３は、映像・音声の編集による配信遅延を許容値に抑えるために、理想的なフレームレート・画像サイズを計算し、受信部１２０で圧縮させることでリアルタイム性を確保する要素である。通信品質管理部１０４は、ネットワークの輻輳などによる遅延を許容地に抑えるために、理想的なフレームレート・画像サイズを計算し、送信部１２２で圧縮させることでリアルタイム性を確保する要素である。

通信部１０５は、映像・音声データ以外に、会議の開始・参加・終了要求や編集モジュールの設定等の制御パラメータを送受信する。

（クライアント１１）
受信部１１１は、会議制御装置１０から配信された他クライアントの映像・音声を受信する要素である。映像出力部１１７は、ディスプレイやプロジェクタ、映像データのストリーム等、映像をシステム外に表現する。音声出力部１１８は、スピーカや音声データのストリーム等、音声をシステム外に表現する。

送信部１１０は、映像入力部１１５及び音声入力部１１６から取り込んだデータを適切なデータ形式、データ量にして会議制御装置１０の受信部１２０に送信する。映像入力部１１５は、Ｗｅｂカメラや、映像データのストリーム等、映像をデジタル的にシステム内部へ取り込む。音声入力部１１６は、マイクや、音声データのストリーム等、映像をデジタル的にシステム内部へ取り込む。

入力部１１２は、ユーザからの入力を受け付ける要素である。また、入力部１１２は、映像入力部１１７、音声入力部１１８で取得した映像・音声データの編集方法をフローチャート形式で設定することも可能にされている。

ＷＦ制御部１１３は、会議制御装置１０からの要求に従い、送信部１１０・受信部１１１の通信を開始・停止する。また、ＷＦ制御部１１３は、会議制御装置１０からの要求や通信状況により、配信画像を縮小・圧縮するなどの加工を行う。

通信部１１４は、映像・音声データ以外に、会議の要求や設定等の制御パラメータを送受信する。なお、上述したように、映像入力部１１５、音声入力部１１６、映像出力部１１７及び音声出力部１１８は、必須の構成要素ではない。例えば、配信された映像・音声データを再生するだけのクライアント１１であれば、映像入力部１１５及び音声入力部１１６は不要である。また、配信された音声をテキストデータにして保存するようなクライアントであれば、映像入力部１１５、映像出力部１１７及び音声出力部１１８は不要である。

また、ビデオ会議システム中の映像データを定期的に既存のＷｅｂサービスに登録するようなクライアント１１である場合、受信部１１１から映像のデータの一部を取得しそれを画像データとして通信部１１４から送信するだけでよい。そのようなクライアント１１は、会議制御装置１０内の編集部１２１や送信部１２２とすることもできる。

編集部１２１であれば、編集処理として画像データを取り出し、非同期でＷｅｂサービスに送信すればよいし、送信部１２２であれば、Ｗｅｂサービスを配信先として編集モジュールから画像データを取り出した後送信すればよい。また、会議制御装置１０と、クライアント１１とは便宜上区分をつけたものであり、それぞれは一体でも良いし、一方の構成要素を他方が持っていてもよい。

次に、ワークフローについて説明する。図３は、ユーザがクライアント１１において設定することができる映像のワークフロー例である。図４は、ユーザがワークフローを設定する場合に例えばクライアント１１などが表示するワークフロー設定画面２３０の例である。ワークフロー設定画面２３０は、モジュールリスト２３１、ＷＦ編集エリア２３２及びＷＦ部品２３３を有する。

楕円印２００は、映像入力部１１５や音声入力部１１６取得した未加工のデータを示す。資料付加２０１、テキストメッセージ付加２０２、テキストメッセージ自動翻訳２０３、色弱者用映像加工２０４及び映像除去２０５は、映像に対する編集処理を示す。矢印で示される順番に映像に対する編集処理が実施される。丸印２２０_１,２２０_２は、分岐を示す。つまり、それ以降の編集処理が配信先により異なることを示す。

クライアント２１０_１及びクライアント２１０_２などは、それまでのフローにより編集された映像・音声の配信先を示す。単一のクライアントを指定したり、複数のクライアントをグループとして指定したりすることが可能にされている。

図５は、ユーザの操作に応じてクライアント１１が情報処理プログラムを実行することによって行う処理を示すフローチャートである。

ステップ１０（Ｓ１０）において、クライアント１１は、会議制御システムにログインする。

ステップ１１（Ｓ１１）において、クライアント１１は、宛先クライアントを設定する。

ステップ１２（Ｓ１２）において、クライアント１１は、モジュール・ＷＦ部品の配置を行う。

ステップ１３（Ｓ１３）において、クライアント１１は、全てのクライアントについてＳ１２の処理が完了したか否かを判定する。クライアント１１は、全てのクライアントについてＳ１２の処理が完了したと判定した場合（Ｓ１３：Ｙｅｓ）には、Ｓ１４の処理に進む。クライアント１１は、全てのクライアントについてＳ１２の処理が完了していないと判定した場合（Ｓ１３：Ｎｏ）には、Ｓ１１の処理に進む。

ステップ１４（Ｓ１４）において、クライアント１１は、ＷＦ設定内容の送信を行う。

ステップ１３（Ｓ１３）において、クライアント１１は、会議を開始する。

次に、通信システム１の遅延の主な原因となる各種時間について説明する。図６は、遅延の主な原因となる各種時間を示す図である。例えば、ＭＦＰ（複合機）などの画像形成装置で実現される文書処理におけるワークフローにおいては、最終的な配信文書が設定したワークフロー通りに編集されていることが最重要である。これに対し、ビデオ会議システムでは、ワークフロー通りに映像を編集することはもちろんのこと、高度なリアルタイム性が求められる。ただし、文書処理におけるワークフローと比較し、画質や画像サイズは設定されたとおりでなくても良い場合が多く、リアルタイム性を確保するために、それらを動的に変更することが許される場合が多い。

一般的なビデオ会議システムでは送信時間及び、配信時間は輻輳などで増加するものと考え、送信時や配信時に画像サイズや画質の低減を行う場合が多い。この時、画像サイズや画質の低減に関して、その編集時間についての対応は考慮されていなかった。本実施形態では、配信時に行う映像・音声編集方法をユーザが設定できるようにしたことにより、編集時間が今までのビデオ会議システムより大きくなり、また予測可能なものではなくなった。従って、本実施形態では、そのような環境下においてもリアルタイム性を保持するための仕組みとして会議制御システム内に、編集品質管理部１０３が設けられている。

図７は、ＷＦ制御部１００が生成する受発信情報を示す図表である。この受発信情報は、図３に示したワークフロー例を元に生成したものである（４行目を除く）。ここで、ワークフローを編集したクライアントを“Ｕ００１”としてシステム内で識別するものとする。同様に、クライアント２１０_１は“Ｕ００２”、クライアント２１０_２は“Ｕ００３”、グループ２１１は“Ｇ００２”と識別するものとする。

この受発信情報は、クライアント１１からＷＦ制御部１００にユーザが編集したワークフローの情報（以降ワークフロー情報）が送信された際に生成される。このワークフロー情報が送信されるのは、ユーザが会議前にワークフローを編集し、その編集を完了した時である。なお、ワークフロー情報はその形式を問わない。

ＷＦ制御部１００は、ワークフローの入力（楕円印）から配信先（角丸矩形）までの流れごとに、テーブル１行分の情報を生成する。配信者ＩＤには、ワークフローを編集し送信したクライアントの識別子を設ける。受信者ＩＤには、配信先のクライアントやグループを示す識別子を対応付ける。ワークフローには、そのワークフローの流れを示す新たに生成した識別子を対応付けて保存する。

入力映像・音声２００からクライアント２１０_１におけるひとつの流れを１行目が示している。入力映像・音声２００からクライアント２１０_２の流れは３行目が、入力映像・音声２００からグループ２１１の流れは２行目が示している。

図８は、ワークフロー情報を示す図表である。ワークフロー情報は、図３に示したワークフロー例を元にしてＷＦ制御部１００が生成したものである。このワークフロー情報は、図７と並行してＷＦ制御部１００が生成する。

このワークフロー情報は、ワークフローで行うべき処理をテーブル形式として表したものである。ワークフローＩＤで示されるワークフローは、制御番号の順番にアクションが実行されることを示している。例えば、入力映像・音声２００からグループ２１１の流れはＷ００３で示してある。Ｗ００３の行は２行あり、制御番号０の行のアクション名がＷ００、制御番号１のアクション名がＷ００３で映像除去であるから、初めにＷ０００を実施し、映像除去という名前のアクションを実行すると言う処理になる。なお、アクション名は各編集部１２１と対応している。すなわち、アクション名は映像除去と言う名前又はその名前に対応付けられた編集モジュールで映像を処理することを表している。

なお、図３では、クライアント２１０_１に対するワークフローと、クライアント２１０_２に対するワークフローは、分岐２２０_２までの資料付加２０１及びテキストメッセージ付加２０２が共通となるように示している。実際には、詳細を後述するように、クライアント毎に通信環境が異なり通信速度などが違うため、通信の同時性を保つためにクライアント毎に異なる圧縮率で圧縮処理を行う必要がある。

そのため、ワークフロー情報では、クライアント毎（送信先毎）に付される各ワークフローＩＤ毎に、ワークフローの処理としては各クライアントで共通でも、ワークフロー内の各処理において実際に扱われるデータは、各クライアントで異なることになる。そのため、ワークフロー情報では、各ワークフローＩＤ毎に、ワークフローの先頭からの処理を順に表す。

例えば、クライアント２１０_２のワークフローは、クライアント２１０_１のワークフローと共通の処理も含めて４つの処理を含む。従って、図８のワークフロー情報においては、クライアント２１０_２のワークフローであるＷ００２の流れには、テキストメッセージ自動翻訳２０３及び色弱者用映像加工２０４のアクションの前に、クライアント２１０_１のワークフローと共通の資料付加２０１及びテキストメッセージ付加２０２が配置されている。

図９は、会議開始から終了までの概要（第１例）を示したシーケンス図である。あらかじめ、ユーザはクライアント上のクライアント１１から映像・音声に関するワークフローを各配信先に設定しているものとする。また、以降簡略化のため、１つのクライアントが他方のクライアントに配信を行うように記述を行うが、実際には会議に参加している全てのクライアントの対についてこの処理が行われる。また、映像データのみについて記述するが、音声データも同様にして処理される。さらに、編集部１２１が別途入力部から取得した音声データから、字幕などのデータを生成し、画像に付加してもよい。

会議開始の要求がクライアント１１の通信部１１４から送信され、通信部１０５を通して、会議管理部１０１がうける（Ｓ１００）。会議開始指示を受け、会議管理部１０１がＷＦ制御部１００にワークフローの作成を指示する（Ｓ１０１）。ＷＦ制御部１００は、それを受け、受発信情報の行ごとにワークフロー情報に従って、ワークフローの作成を始める（Ｓ１０２〜Ｓ１０５）。

具体的には、受信部１２０・編集部１２１・送信部１２２の映像出力先を配信者ごとにワークフローに従って設定する。例として、入力映像・音声２００からクライアント２１０_１のワークフローを設定する場合を説明する。

初めに、ＷＦ制御部１００は、送信部１２２にＵ００２を設定する。次に、ＷＦ制御部１００は、受発信情報からクライアント２１０_１、識別子“Ｕ００２”に対応付けられたワークフローＷ００１を取得する。

次に、ワークフロー内で制御番号が一番大きいアクション名に対応する編集モジュールの送信先を配信部とする。ここでは、テキストメッセージ付加の制御番号２が一番大きいので最後に実施される処理として、テキストメッセージ付加が示す編集モジュールの送信先を送信部１２２とする。

以降、制御番号からワークフローを辿り、編集モジュールの送信先を設定する。制御番号２の次は制御番号１の資料付加であるから、資料付加に対応付く編集モジュールの送信先をテキストメッセージ付加に対応付く編集モジュールとする。その後、ワークフローを順次たどっていき、実施するアクションの無いワークフローに到達したら、その前の編集モジュールが最初の処理となるので、受信部１２０の送信先をその編集モジュールに設定する。ここでは、Ｗ０００にアクションが無いから、その前の資料付加が最初に実施するモジュールとなり、それを受信部１２０の送信先とする。

設定が終了すると、会議管理部１０１は、クライアントの通信部１１４に映像データの送信を指示する（Ｓ１０６）。クライアント通信部１１４は、データの送信指示を受けて、送信部１１０にデータ送信開始を指示する（Ｓ１０７）。送信部１１０は、指示を受け取ると、配信開始時刻として、タイムスタンプを通信品質管理部１０４に送信する（Ｓ１０８）。タイムスタンプ送信後、送信部１１０は、配信用にデータの圧縮・送信を開始する（Ｓ１０９）。

クライアント１１の送信部１１０から送信されたデータを会議制御システム受信部１２０が受信する（Ｓ１１０）。受信部１２０は、通信品質管理部１０４にタイムスタンプを、クライアントからのデータの到着時刻として送信する（Ｓ１１１）。受信部１２０は、編集品質管理部１０３にタイムスタンプを、データの編集開始時刻として送信する（Ｓ１１２）。

受信したデータを受信部１２０は、編集品質管理部１０３から渡された設定値により圧縮・間引きする（Ｓ１１３）。その後、受信部１２０は、ＷＦ制御部１００にあらかじめ設定された編集モジュールに圧縮した映像を送信する（Ｓ１１４）。（ここでは編集部１２１_１）

各編集モジュールは、受信部１２０や他編集モジュールから映像データを受信すると、自らの編集処理を施し、ＷＦ制御部１００に設定された次の編集モジュールもしくは送信部１２２に映像データを送信する（Ｓ１１５〜Ｓ１１８）。送信部１２２は、通信品質管理部１０４から渡された設定値により映像データを圧縮する（Ｓ１１９）。

送信部１２２は、映像データを圧縮すると、編集品質管理部１０３に編集完了時刻として、タイムスタンプを送信する（Ｓ１２０）。編集品質管理部１０３は、送信部１２２からタイムスタンプを受信すると、編集管理部内、圧縮パラメータ計算フローで示される圧縮パラメータの計算を行う（Ｓ１２１）。編集品質管理部１０３は、計算中に、適時、通信品質管理部１０４から情報を取得したり、依頼を行ったりする（Ｓ１２２）。

編集品質管理部１０３は、計算後の圧縮パラメータを受信部１２０に送信する（Ｓ１２３）。その後、受信部１２０は、受け取った設定値を次回以降のＳ１１４にて適用する。すなわち、編集品質管理部から渡された画像圧縮率などに従い次回入力される画像を加工したり間引いたりし、以降の編集モジュールに渡す。

送信部１２２は、映像データの配信開始時刻として、通信品質管理部１０４にタイムスタンプを送信する（Ｓ１２４）。その後、送信部１２２は、圧縮したデータをＷＦ制御部１００から設定された配信先へ、通信品質管理部１０４から渡された圧縮率や伝送速度を参考にして送信する（Ｓ１２５）。

データを受信し終わると、クライアント配信側の受信部１１１は、データの受信完了時刻として、通信品質管理部１０４にタイムスタンプ、各種レポートを送信する（Ｓ１２６）。タイムスタンプを受信した通信品質管理部１０４は、送信時間から、通信管理部内、圧縮パラメータ計算フローで示される圧縮パラメータの計算を行う（Ｓ１２７）。通信品質管理部１０４は、計算中に、適時、編集品質管理部１０３から情報を取得したり、依頼を行ったりする（Ｓ１２８）。

また、通信品質管理部１０４は、前回送信時にクライアントから受信したレポート（パケット損失率などが含まれる）を解析しており、それに基づいて最新の圧縮率や伝送速度等を送信部１１０に送信する（Ｓ１２９）。このレポートの送受信は、ＲＴＣＰのＰＲなど、既存の技術で行われる。通信品質管理部１０４は、圧縮パラメータを送信部１２２に通知することによって、更新する（Ｓ１３０）。これらはそれぞれ、次回配信時の圧縮時に用いられる。

なお、図６に示した送信にかかる時間は、それぞれ以下のシーケンスのタイムスタンプから導くことが可能である。
送信時間：Ｓ１１１−Ｓ１０８
編集時間：Ｓ１２０−Ｓ１１２
配信時間：Ｓ１２６−Ｓ１２４

なお、ここまで映像の編集について記述したが、音声の編集についても同様である。音声では、サンプリング周波数及び、量子化ビット数の動的な低減処理によって同様に行うことが可能である。

次に、通信品質管理部１０４の圧縮パラメータ計算フローについて説明する。圧縮パラメータ計算フローでは、主に以下の点に考慮して圧縮パラメータを計算する。まず、送信時の圧縮は配信されるクライアントのみに圧縮の影響が及ぶこと。次に、編集時の圧縮はワークフローが共通なクライアント、又は送信されるクライアントのみに圧縮の影響が及ぶこと。そして、送信時の圧縮は、その映像データを送信される全てのクライアントに影響が及ぶこと。

従って、多くのクライアントに影響が及ばないよう、配信時圧縮パラメータを最大まで増加させた後、編集時圧縮パラメータ、その後送信時圧縮パラメータと順次圧縮パラメータを最大まで上げていく。またその際、一部のクライアントのみに遅延が発生したがために送信時圧縮パラメータを上げると、遅延が発生していないクライアントまで画質が低減するなどの影響を受ける。そのため、遅延が多くのクライアントで発生している場合に限り、送信時圧縮パラメータを上げる。

なお、最高圧縮率（図１０）とは、ユーザもしくはシステムが設定した画像を圧縮する際のパラメータの最大値である。また、図中の圧縮とは、画像に関わる処理を低減・高速化させる目的であれば、例えば減色や、サイズ低減、それらの複合など種類を問わない。また、以下処理は簡単のため１フレームごとに処理を行うように記載するが、単位フレーム毎や単位時間毎に行っても良い。

図１０は、通信品質管理部１０４の圧縮パラメータ計算フローを示すフローチャートである。

ステップ２０（Ｓ２０）において、通信品質管理部１０４は、最初に画像圧縮の必要があるか、及びフレーム辺りの時間内に送信時間と編集時間、配信時間の総和が収まっているかを判定式（ＳＴ＋ＥＴ＋ＤＴ＞１／ＳＦ？）によって判定する。通信品質管理部１０４は、収まっていると判定した場合（Ｓ２０：Ｙｅｓ）には、Ｓ２３の処理に進む。また、通信品質管理部１０４は、収まっていないと判定した場合（Ｓ２０：Ｎｏ）には、Ｓ２１の処理に進む。

ステップ２１（Ｓ２１）において、通信品質管理部１０４は、配信時圧縮パラメータを増加させることができるか否かを判定する。通信品質管理部１０４は、増加させることができると判定した場合（Ｓ２１：Ｙｅｓ）には、Ｓ２４の処理に進む。また、通信品質管理部１０４は、増加させることができないと判定した場合（Ｓ２１：Ｎｏ）には、Ｓ２２の処理に進む。

ステップ２２（Ｓ２２）において、通信品質管理部１０４は、配信前圧縮パラメータＣＤを単位増加させ、このフレームの処理を終了する。

ステップ２３（Ｓ２３）において、通信品質管理部１０４は、編集品質管理部１０３に編集時圧縮の依頼を行っていれば、それをキャンセルして、このフレームの処理を終了する。

ステップ２４（Ｓ２４）において、通信品質管理部１０４は、配信時圧縮パラメータを最高圧縮率まで増加させている場合、これ以上増加させることは出来ないため、編集時圧縮の依頼を、編集品質管理部１０３に対して行う。

ステップ２５（Ｓ２５）において、通信品質管理部１０４は、編集品質管理部１０３から送信時圧縮の依頼が過半数のクライアントから行われているか否かを判定する。通信品質管理部１０４は、過半数のクライアントから行われていると判定した場合（Ｓ２５：Ｙｅｓ）には、Ｓ２６の処理に進む。また、通信品質管理部１０４は、過半数のクライアントから行われていないと判定した場合（Ｓ２５：Ｎｏ）には、フレームでの処理を終了する。

ステップ２６（Ｓ２６）において、通信品質管理部１０４は、依頼が過半数を超えていれば、送信時圧縮パラメータＣＳを１単位増加させ、このフレームでの処理を終了する。

図１１は、通信品質管理部１０４の編集時圧縮パラメータ計算フローを示すフローチャートである。通信品質管理部１０４は、圧縮パラメータ計算フローと同様に、編集時圧縮パラメータを計算する。

ステップ３０（Ｓ３０）において、通信品質管理部１０４は、編集時圧縮の依頼が行われているか否かを判定する。通信品質管理部１０４は、編集時圧縮の依頼が行われていると判定した場合（Ｓ３０：Ｙｅｓ）には、Ｓ３１の処理に進む。また、通信品質管理部１０４は、編集時圧縮の依頼が行われていると判定した場合（Ｓ３０：Ｎｏ）には、フレームでの計算を終了する。

ステップ３１（Ｓ３１）において、通信品質管理部１０４は、編集時圧縮パラメータが最高圧縮率に達しておらず、増加させる余地があるか否かを判定する。通信品質管理部１０４は、増加させる余地があると判定した場合（Ｓ３１：Ｙｅｓ）には、Ｓ３３の処理に進む。また、通信品質管理部１０４は、増加させる余地がないと判定した場合（Ｓ３１：Ｎｏ）には、Ｓ３２の処理に進む。

ステップ３２（Ｓ３２）において、通信品質管理部１０４は、編集時圧縮パラメータを増加させ、このフレームでの処理を終了する。

ステップ３３（Ｓ３３）において、通信品質管理部１０４は、送信時圧縮の依頼を行い、このフレームでの処理を終了する。

なお、通信品質管理部１０４は、圧縮パラメータを増加させる処理のみが記載されているが、輻輳の解消などにより、送信・配信時間が改善された際に、圧縮パラメータを減少させ、画像データを高画質化する判定を行うようにされてもよい。

図１２は、会議開始の概要（第１例）を示したシーケンス図である。なお、図１２において、図９に示した処理と実質的に同一の処理には同一の符号が付してある。編集品質管理部１０３は、各編集モジュールからタイムスタンプＳ２００〜Ｓ２０３からタイムスタンプＳ２０３を取得し、各編集モジュールをＳ２０４、Ｓ２０５の処理により設定する。よって、画像サイズやフレームレートの低減を最低限にすることができる。

具体的には、各編集モジュールの処理時間の割合に応じて、後に述べる編集モジュール設定情報の値を漸近的に引き下げていく処理を行う。図１３は、編集モジュール設定情報を示す図表である。編集品質管理部１０３は、図１３に示される編集モジュールに設定可能な情報をあらかじめ登録されておく必要がある。

編集モジュール設定情報は、編集モジュールが加えられた際、編集部１２１から編集品質管理部１０３に対して通知される情報である。この情報は、アクション名で示される編集モジュールに、パラメータ名で表される設定可能な処理時間に関わる属性が有り、現在値として値をもっていることを示している。値に制限は無いが、ここでは０〜１を取るものとしている。

以上説明したように、通信システム１は、クライアント毎に異なった表現内容の動画データを配信することが可能となる。

１ 通信システム
１０ 会議制御装置
１１ クライアント
１００ ＷＦ制御部
１０１ 会議管理室
１０２ ＷＦ実行部
１０３ 編集品質管理部
１０４ 通信品質管理部
１０５ 通信部
１０６ 受発信ＤＢ
１０７ ＦＷＤＢ
１０８ ＷＦ編集部
１１０ 送信部
１１１ 受信部
１１２ 入力部
１１３ ＷＦ制御部
１１４ 通信部
１１５ 映像入力部
１１６ 音声入力部
１１７ 映像出力部
１１８ 音声出力部
１２０ 受信部
１２１ 編集部
１２２ 送信部

特許第４２７７３６５号公報

Claims (8)

1. 映像・音声編集を順序付けたワークフローに応じて通信を開始するよう制御するワークフロー制御部と、
   通信開始後に映像・音声編集を行う編集部と、
   前記編集部が編集した映像・音声を各クライアントに送信する送信部と、
   前記ワークフロー編集部が編集した画像の品質を管理する編集品質管理部と、
   を有することを特徴とする通信システム。
2. 各クライアントから送信された映像・音声データを受信する受信部をさらに有すること
   を特徴とする請求項１に記載の通信システム。
3. 前記編集品質管理部は、
   前記編集部の処理時間、映像サイズ、表示速度によってリアルタイム性を維持するように画像の品質を管理すること
   を特徴とする請求項１又は２に記載の通信システム。
4. 前記ワークフローを編集可能に設定するワークフロー編集部をさらに有すること
   を特徴とする請求項１乃至３のいずれか１項に記載の通信システム。
5. 前記ワークフロー編集部は、
   クライアントごとに異なる映像・音声の送信を設定するように、前記ワークフローを編集可能に設定すること
   を特徴とする請求項４に記載の通信システム。
6. 前記ワークフロー編集部は、
   クライアントをグループとして異なる映像・音声の送信を設定するように、前記ワークフローを編集可能に設定すること
   を特徴とする請求項５に記載の通信システム。
7. 映像・音声編集を順序付けたワークフローに応じて通信を開始するよう制御するワークフロー制御部と、
   通信開始後に映像・音声編集を行う編集部と、
   前記編集部が編集した映像・音声を各クライアントに送信する送信部と、
   前記ワークフロー編集部が編集した画像の品質を管理する編集品質管理部と、
   を有することを特徴とする通信装置。
8. 映像・音声編集を順序付けたワークフローに応じて通信を開始するよう制御するステップと、
   通信開始後に映像・音声編集を行うステップと、
   編集した映像・音声を各クライアントに送信するステップと、
   編集した画像の品質を管理するステップと、
   をコンピュータに実行させるための通信プログラム。

Images