JP2016046720A - Management device, terminal device, transmission system, transmission method and program - Google Patents
Management device, terminal device, transmission system, transmission method and program Download PDFInfo
- Publication number
- JP2016046720A JP2016046720A JP2014170712A JP2014170712A JP2016046720A JP 2016046720 A JP2016046720 A JP 2016046720A JP 2014170712 A JP2014170712 A JP 2014170712A JP 2014170712 A JP2014170712 A JP 2014170712A JP 2016046720 A JP2016046720 A JP 2016046720A
- Authority
- JP
- Japan
- Prior art keywords
- data
- terminal device
- role
- rule information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、管理装置、端末装置、伝送システム、伝送方法およびプログラムに関する。 The present invention relates to a management device, a terminal device, a transmission system, a transmission method, and a program.
従来、ネットワークを介して接続された複数の端末装置間において相互に映像データおよび音声データ等を送受信して、ユーザに会議等のコミュニケーションをさせる伝送システムが知られている。このような伝送システムでは、ネットワークの状態の悪化により、出力する映像データや音声データに劣化が生じる場合があった。このような場合、従来の伝送システムでは、少なくとも最低限のコミュニケーションを維持するため、例えば、音声データの帯域の割り当て比率を大きくして音質の劣化を回避していた（特許文献１）。 2. Description of the Related Art Conventionally, a transmission system is known in which video data, audio data, and the like are mutually transmitted and received between a plurality of terminal devices connected via a network to allow a user to communicate such as a conference. In such a transmission system, the video data and audio data to be output may be deteriorated due to the deterioration of the network state. In such a case, in the conventional transmission system, in order to maintain at least the minimum communication, for example, the audio data band allocation ratio is increased to avoid deterioration in sound quality (Patent Document 1).
しかしながら、このような伝送システムが利用されるシチュエーションは多岐に亘る。例えば、伝送システムがプレゼンテーションに用いられる場合もある。この場合、音質の劣化を回避したとしても、プレゼンテーションで用いる参考資料の画像等の画質が劣化すると、プレゼンテーションがスムーズに進まなくなる可能性が高い。 However, there are a wide variety of situations in which such transmission systems are used. For example, a transmission system may be used for presentations. In this case, even if the deterioration of the sound quality is avoided, if the image quality of the image of the reference material used in the presentation deteriorates, there is a high possibility that the presentation will not proceed smoothly.
本発明は、上記従来技術における課題に鑑みてなされたものであって、ユーザ同士でコミュニケーションをさせる伝送システムにおいて、コミュニケーションを確実に継続させることができる管理装置、端末装置、伝送システム、伝送方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems in the prior art, and in a transmission system that allows users to communicate with each other, a management device, a terminal device, a transmission system, a transmission method, and a communication device that can reliably continue communication. The purpose is to provide a program.
上述した課題を解決し、目的を達成するために、本発明は、ユーザ同士でコミュニケーションをするために複数の端末装置の間において少なくとも１つの種類のデータを送受信する伝送システムに備えられる管理装置であって、それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is a management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users. A role assignment unit that assigns a role in the communication to each terminal device, and a rule that determines, for each role, data to be output preferentially by the terminal device to which the role is assigned. A rule storage unit that stores the rule information; and a provision unit that provides the rule information of the assigned role to each of the terminal devices.
本発明によれば、コミュニケーションを確実に継続させることができる。 According to the present invention, communication can be reliably continued.
以下、図面を用いて、実施形態に係る伝送システム１０について説明する。伝送システム１０は、互いに離れた位置のユーザ間でコミュニケーションをさせるためのシステムである。
Hereinafter, the
（実施形態の全体構成）
図１は、実施形態に係る伝送システム１０を示す図である。伝送システム１０は、複数の端末装置２０と、中継装置４０と、管理装置５０と、プログラム提供装置８０とを備える。
(Overall configuration of the embodiment)
FIG. 1 is a diagram illustrating a
複数の端末装置２０、中継装置４０、管理装置５０およびプログラム提供装置８０は、ネットワークを介して相互に接続して、データの送受信を実現させる。ネットワークは、ＬＡＮ（Local Area Network）であってもよいし、ＷＡＮ（Wide Area Network）であってもよいし、ＷＡＮに公衆回線が含まれていてもよいし、どのようなネットワークであってもよい。
The plurality of
伝送システム１０は、複数の端末装置２０の間において少なくとも１つの種類のデータを送受信して、端末装置２０を利用するユーザ同士でコミュニケーションをさせるコミュニケーションシステムである。本実施形態においては、伝送システム１０をテレビジョン（ビデオ）会議システム等に適用した例を説明する。伝送システム１０は、テレビジョン会議システムに限らず、例えば、音声会議システム、音声電話システム（携帯電話システムを含む）、テキストチャットシステム、またはホワイトボード共有システム等にも適用できる。
The
端末装置２０は、ユーザにより取り扱われる。端末装置２０は、各種のデータの入力、および、データの出力をする。端末装置２０が入出力するデータは、端末装置２０のユーザの音声を集音した音声データ、端末装置２０のユーザを撮像した映像データ、端末装置２０のユーザが参照する資料の画像をキャプチャした資料データ、および、テキストデータ等である。なお、テキストデータは、チャット等で用いられるメッセージを示すデータであってもよい。このような端末装置２０は、ユーザが入力した情報および周囲から取得した信号を送信用のデータに変換し、中継装置４０を介して他の端末装置２０に送信することができる。また、端末装置２０は、中継装置４０を介して他の端末装置２０から送信用のデータを受信し、受信したデータを再生して、ユーザに出力することができる。
The
本実施形態においては、端末装置２０は、テレビジョン会議システム用の専用の装置である。これに代えて、端末装置２０は、デスクトップ型またはノート型等のコンピュータであってもよいし、スマートフォンまたはタブレット端末等の情報携帯機器であってもよいし、電子黒板、プロジェクタ、自動車、産業用機器等であってもよい。端末装置２０は、このような装置に限らず、ネットワークを介した通信、並びに、情報の入力および出力をすることができれば他の機器であってもよい。
In the present embodiment, the
また、端末装置２０は、コンピュータ１１０を接続することができる。コンピュータ１１０は、例えばプレゼンテーション用プログラム等のアプリケーションプログラムを実行し、その実行画面をキャプチャした資料データを端末装置２０へと送る。そして、端末装置２０は、資料データを、中継装置４０を介して他の端末装置２０に送信する。また、端末装置２０は、ディスプレイ１２０を接続することができる。ディスプレイ１２０が接続された端末装置２０は、他の端末装置２０から中継装置４０を介して資料データを受信し、ディスプレイ１２０に表示させることができる。
The
中継装置４０は、例えばサーバまたはコンピュータ等の情報処理装置である。中継装置４０は、ある一の端末装置２０から受信したデータを他の端末装置２０へと転送する。
The
管理装置５０は、例えばサーバまたはコンピュータ等の情報処理装置である。管理装置５０は、複数の端末装置２０の間の中継装置４０を介した通信を確立し、これら複数の端末装置２０によるセッションを形成する。
The
また、管理装置５０は、セッションを形成した端末装置２０間で行われるコミュニケーションの種別（会議モード）を設定する。例えば、管理装置５０は、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードを設定することができる。議長無しの討論モードは、それぞれの端末装置２０のユーザに、議長無しで討論をさせるためのモードである。議長有りの討論モードは、一人の議長の管理の下で、それぞれの端末装置２０のユーザに討論をさせるためのモードである。プレゼンテーションモードは、一人の発表者にプレゼンテーションをさせるモードである。講演会モードは、一人の発表者に講演会をさせるモードである。管理装置５０は、このようなモードの他に、２、３人の代表者に主に討論をさせる討論会モード、パネルディスカッション等をさせるモードを設定できてもよい。
In addition, the
また、管理装置５０は、それぞれの端末装置２０に、会議モードに応じた役割を割り当てる。例えば、議長無しの討論モードの場合、管理装置５０は、全ての端末装置２０に、参加者の役割を割り当てる。また、議長有りの討論モードの場合、管理装置５０は、１つの端末装置２０に議長の役割を割り当て、他の全ての端末装置２０に参加者の役割を割り当てる。また、プレゼンテーションモードの場合、管理装置５０は、１つの端末装置２０に発表者の役割を割り当て、他の全ての端末装置２０に参加者の役割を割り当てる。また、講演会モードの場合、管理装置５０は、１つの端末装置２０に発表者の役割を割り当て、他の全ての端末装置２０に参加者の役割を割り当てる。
Further, the
プログラム提供装置８０は、例えばサーバまたはコンピュータ等の情報処理装置である。プログラム提供装置８０は、端末装置２０に各種機能または手段を実現させるためのプログラムを記憶し、端末装置２０にそのプログラムを送信することができる。また、プログラム提供装置８０は、中継装置４０に各種機能または手段を実現させるためのプログラムを記憶し、中継装置４０にそのプログラムを送信することができる。また、プログラム提供装置８０は、管理装置５０に各種機能または手段を実現させるためのプログラムを記憶し、管理装置５０にそのプログラムを送信することができる。
The program providing apparatus 80 is an information processing apparatus such as a server or a computer. The program providing device 80 can store a program for causing the
図２は、伝送システム１０でのデータの伝送処理を示す図である。伝送システム１０では、中継装置４０が、端末装置２０間のデータ（音声データ、映像データおよび資料データ等）の転送を制御する。また、伝送システム１０では、管理装置５０が、セッションの形成、会議モードの設定、および、役割の割り当て等のための管理用データの転送を制御する。
FIG. 2 is a diagram illustrating data transmission processing in the
中継装置４０および管理装置５０は、１つのサーバまたはコンピュータ等により実現されてもよいし、複数のサーバまたはコンピュータが連携して動作することにより実現されてもよい。また、中継装置４０および管理装置５０は、１つのサーバまたはコンピュータに両者が実現されてもよい。また、管理装置５０は、何れかの端末装置２０により実現されてもよい。
The
（端末装置２０の外観およびハードウェア構成）
図３は、端末装置２０の外観の一例を示す図である。なお、図３において、水平面内における予め定められた方向をＸ軸方向（前後方向）とする。また、図３において、水平面内でＸ軸方向に直交する方向をＹ軸方向、Ｘ軸方向およびＹ軸方向に直交する方向（鉛直方向）をＺ軸方向とする。
(Appearance and hardware configuration of terminal device 20)
FIG. 3 is a diagram illustrating an example of the appearance of the
図３に示すように、端末装置２０は、筐体１１００、アーム１２００、およびカメラハウジング１３００を備える。筐体１１００の後側壁面１１１０には、不図示の複数の吸気孔が形成されている。筐体１１００の前側壁面１１２０には、複数の排気孔１１２１が形成されている。これにより、端末装置２０は、筐体１１００に内蔵された冷却ファンの駆動によって、後方の外気を取り込み、排気孔１１２１を介して前方へ排気することができる。筐体１１００の右側壁面１１３０には、収音用孔１１３１が形成されている。これにより、端末装置２０は、後述する内蔵型のマイクロフォン１１４によって、ユーザが発声した音声、周囲の音、雑音等を収音することができる。
As illustrated in FIG. 3, the
筐体１１００の上部の右側には、操作パネル１１５０が形成されている。操作パネル１１５０には、複数の操作ボタン１０８ａ〜１０８ｅ、および、電源スイッチ１０９が設けられている。なお、操作ボタン１０８ａ〜１０８ｅをまとめて、操作ボタン１０８と表す場合もある。また、操作パネル１１５０には、後述する内蔵型のスピーカ１１５からの出力音を通すための複数の音出力孔１１５１が形成されている。
An
また、筐体１１００の上部の左側には、アーム１２００およびカメラハウジング１３００を収容するための収容凹部１１６０が形成されている。筐体１１００の右側壁面１１３０には、後述する外部機器接続Ｉ／Ｆ（Interface）１１８に対して、電気的にケーブルを接続するための複数の接続口１１３２ａ〜１１３２ｃが設けられている。筐体１１００の左側壁面１１４０には、後述するディスプレイＩ／Ｆ１１７に対して電気的にディスプレイ１２０用のケーブル１２１を接続するための不図示の接続口が設けられている。
An
アーム１２００は、トルクヒンジ１２１０を介して筐体１１００に取り付けられている。アーム１２００は、筐体１１００に対して、例えば１３５度のチルト角θ１の範囲で、上下方向に回転可能となっている。なお、図３には、チルト角θ１が９０度の状態のアーム１２００が示されている。
The
カメラハウジング１３００には、後述する内蔵型のカメラ１１２が設けられている。これにより、端末装置２０は、ユーザ、書類、および部屋等を撮像することができる。また、カメラハウジング１３００は、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。カメラハウジング１３００は、アーム１２００に対して、図３で示されている状態を０度として、±１８０度のパン角θ２の範囲で、且つ、±４５度のチルト角θ３の範囲で、上下左右方向に回転可能となっている。
The
図４は、端末装置２０のハードウェア構成を示す図である。端末装置２０は、バスライン１００と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、フラッシュメモリ１０４と、ＳＳＤ（Solid State Drive）１０５と、メディアドライブ１０７と、操作ボタン１０８と、電源スイッチ１０９と、ネットワークＩ／Ｆ１１１と、カメラ１１２と、撮像素子Ｉ／Ｆ１１３と、マイクロフォン１１４と、スピーカ１１５と、音声入出力Ｉ／Ｆ１１６と、ディスプレイＩ／Ｆ１１７と、外部機器接続Ｉ／Ｆ１１８とを備える。
FIG. 4 is a diagram illustrating a hardware configuration of the
バスライン１００は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
The
ＣＰＵ１０１は、端末装置２０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。フラッシュメモリ１０４は、端末装置２０用の転送制御プログラム、映像データ、および音声データ等の各種データを記憶する。端末装置２０は、フラッシュメモリ１０４に代えて、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を備えてもよい。ＳＳＤ１０５は、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ１０７は、端末装置２０に対して着脱可能なフラッシュメモリ等の記録メディア１０６に対するデータの読み出しまたは書き込み（記憶）を制御する。
The CPU 101 controls the operation of the entire
操作ボタン１０８は、データの転送先を選択する場合等に、ユーザの操作情報を入力するためのボタンである。電源スイッチ１０９は、端末装置２０の電源のオン／オフを切り換えるためのボタンである。ネットワークＩ／Ｆ１１１は、ネットワークを介した通信を制御する。
The
カメラ１１２は、ＣＰＵ１０１の制御に従って被写体を撮像して映像データを得る。カメラ１１２は、レンズ、および、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含む。固体撮像素子には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）等が用いられる。
The
撮像素子Ｉ／Ｆ１１３は、カメラ１１２の駆動を制御する。マイクロフォン１１４は、内蔵型であって、音を入力する。スピーカ１１５は、内蔵型であって、音を出力する。音声入出力Ｉ／Ｆ１１６は、ＣＰＵ１０１の制御に従ってマイクロフォン１１４およびスピーカ１１５との間で音信号の入出力を処理する。
The image sensor I /
ディスプレイＩ／Ｆ１１７は、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に映像データを伝送する。ディスプレイ１２０は、被写体の画像および操作用アイコン等を表示する。ディスプレイ１２０は、ケーブル１２１によってディスプレイＩ／Ｆ１１７に接続される。ケーブル１２１は、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）またはＤＶＩ（Digital Video Interactive）信号用のケーブルであってもよい。
The display I / F 117 transmits video data to the
外部機器接続Ｉ／Ｆ１１８は、接続口１１３２ａ〜１１３２ｃに接続され、ＣＰＵ１０１の制御に従って外部機器を制御するためのインターフェイス回路である。外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイクロフォン、および外付けスピーカ等の外部機器がそれぞれ接続可能である。本実施形態においては、外部機器接続Ｉ／Ｆ１１８は、ケーブル１２２を介して、資料データの表示用のコンピュータ１１０と接続される。
The external device connection I / F 118 is an interface circuit that is connected to the
ＣＰＵ１０１は、外付けカメラが接続された場合には、内蔵型のカメラ１１２に優先して、外付けカメラを駆動させる。また、ＣＰＵ１０１は、外付けマイクロフォンが接続された場合および外付けスピーカが接続された場合には、内蔵型のマイクロフォン１１４および内蔵型のスピーカ１１５に優先して、外付けマイクロフォンおよび外付けスピーカを駆動させる。
When an external camera is connected, the CPU 101 prioritizes the built-in
なお、カメラ１１２、マイクロフォン１１４およびスピーカ１１５は、必ずしも内蔵されている必要はなく、外付けカメラ、外付けマイクロフォン、および外付けスピーカのみが接続可能であってもよい。また、ディスプレイ１２０は、端末装置２０に内蔵されていてもよい。また、端末装置２０は、ディスプレイ１２０に代えて、プロジェクタ等の投影装置が接続されてもよい。
Note that the
（中継装置４０、管理装置５０およびプログラム提供装置８０のハードウェア構成）
図５は、中継装置４０、管理装置５０およびプログラム提供装置８０のハードウェア構成を示す図である。なお、中継装置４０、管理装置５０およびプログラム提供装置８０の外観は、一般的なサーバまたはコンピュータと同様であるので説明を省略する。また、管理装置５０およびプログラム提供装置８０は、中継装置４０と同様のハードウェア構成であるので、中継装置４０のハードウェア構成を代表して説明する。
(Hardware configurations of
FIG. 5 is a diagram illustrating a hardware configuration of the
中継装置４０は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、ＨＤ（Hard Disk）５０４と、ＨＤＤ（Hard Disk Drive）５０５と、メディアドライブ５０７と、ディスプレイ５０８と、ネットワークＩ／Ｆ５０９と、バスライン５１０と、キーボード５１１と、マウス５１２と、ＣＤ−ＲＯＭドライブ５１４とを備える。
The
ＣＰＵ５０１は、中継装置４０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、中継装置４０用の転送制御プログラム等の各種データを記憶する。ＨＤＤ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ５０７は、フラッシュメモリ等の着脱可能な記録メディア５０６に対するデータの読み出しまたは書き込み（記憶）を制御する。ディスプレイ５０８は、カーソル、メニュー、ウィンドウ、文字、または画像などの各種情報を表示する。ネットワークＩ／Ｆ５０９は、ネットワークを介した通信を制御する。
The
キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備える。マウス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う。ＣＤ−ＲＯＭドライブ５１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Compact Disk Read Only Memory）５１３に対する各種データの読み出しまたは書き込みを制御する。バスライン５１０は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
The keyboard 511 includes a plurality of keys for inputting characters, numerical values, various instructions, and the like. The
なお、図５には、中継装置４０が１つのコンピュータにより構成される場合のハードウェア構成を示した。しかし、中継装置４０は、互いにネットワーク等により接続され、連携して動作する複数のコンピュータにより構成されていてもよい。
FIG. 5 shows a hardware configuration when the
（端末装置２０、中継装置４０および管理装置５０の機能構成）
図６は、管理装置５０の機能構成を示す図である。管理装置５０は、図５に示したＣＰＵ５０１がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図６に示す各ブロックの機能が実現される。なお、図６に示した管理装置５０は、一部がハードウェアにより構成されていてもよい。
(Functional configuration of
FIG. 6 is a diagram illustrating a functional configuration of the
管理装置５０は、送受信部５１と、端末情報記憶部５２と、セッション確立部５３と、セッション記憶部５４と、会議モード記憶部５５と、会議モード受付部５６と、役割割当部５７と、割当記憶部５８と、ルール記憶部５９と、提供部６０とを有する。送受信部５１は、ネットワークを介して、端末装置２０および中継装置４０とデータの送受信をする。
The
端末情報記憶部５２は、それぞれの端末装置２０にアクセスするために必要な情報を記憶する。例えば、端末情報記憶部５２は、図７に示されるような端末管理テーブルを記憶する。端末管理テーブルには、それぞれの端末装置２０を識別するための端末ＩＤ、それぞれの端末装置２０を特定するための名称、および、ネットワーク上のＩＰアドレス等が格納される。なお、端末ＩＤは端末固有の識別情報であってもよいし、端末を利用するユーザを識別するための識別情報であってもよい。
The terminal information storage unit 52 stores information necessary for accessing each
セッション確立部５３は、複数の端末装置２０により形成されるセッションを確立する。セッションを形成した複数の端末装置２０は、中継装置４０を介して互いにデータの送受信をすることが可能となる。
The session establishment unit 53 establishes a session formed by the plurality of
セッション記憶部５４は、セッション確立部５３により確立されたセッションに関する情報を記憶する。例えば、セッション記憶部５４は、図８に示されるようなセッションテーブルを記憶する。セッションテーブルには、セッションを識別するためのセッションＩＤ、セッションを形成する端末装置２０のＩＰアドレス等が格納される。
The
会議モード記憶部５５は、会議モードに関する情報を記憶する。例えば、会議モード記憶部５５は、図９に示されるような、会議モードテーブルを記憶する。会議モードテーブルは、設定可能な会議モードを特定する情報と、その会議モードにおいて端末装置２０に割り当てられる役割および割り当て数とを格納する。
The conference
会議モードは、セッションを形成した端末装置２０間で行われるコミュニケーションの種別を表す。会議モードは、セッションの形成の際に登録される。本実施形態においては、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードが設定可能である。
The conference mode represents the type of communication performed between the
議長無しの討論モードでは、セッションを形成する複数の端末装置２０の全てに、参加者の役割が割り当てられる。また、議長有りの討論モードでは、セッションを形成する複数の端末装置２０のうちの１つに議長の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。プレゼンテーションモードでは、セッションを形成する複数の端末装置２０のうちの１つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。講演会モードでは、セッションを形成する複数の端末装置２０のうちの１つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。
In the discussion mode without the chairperson, the role of the participant is assigned to all of the plurality of
会議モード受付部５６は、セッションを形成した何れかの端末装置２０から、何れかの会議モードの指定を受け付ける。会議モード受付部５６は、会議モードを受け付けると、そのセッションの会議モードを登録する。
The conference
役割割当部５７は、セッションを形成するそれぞれの端末装置２０に、コミュニケーションにおける役割を割り当てる。具体的には、役割割当部５７は、会議モード受付部５６が受け付けた会議モードについて、それぞれの端末装置２０に対して割り当てるべき役割を会議モード記憶部５５から読み出す。そして、役割割当部５７は、読み出した役割をそれぞれの端末装置２０に割り当てる。役割割当部５７は、それぞれの端末装置２０に役割を選択させ、その回答に従って役割を割り当ててもよい。また、役割割当部５７は、１つの端末装置２０にのみ割り当て可能な役割を、複数の端末装置２０が選択した場合には、先着順またはランダムに１つの端末装置２０にその役割を割り当ててもよい。また、役割割当部５７は、必ず１つの端末装置２０に割り当てなければならない役割を、何れの端末装置２０も選択しなかった場合には、ランダムまたは予め定められたアルゴリズムで何れか１つの端末装置２０にその役割を割り当ててもよい。
The
割当記憶部５８は、セッションを形成するそれぞれの端末装置２０の役割を記憶する。例えば、割当記憶部５８は、図１０に示すような役割テーブルを記憶する。役割テーブルには、セッションＩＤ、会議モード、および、参加している端末装置２０のＩＰアドレスと役割とを対応付けた情報が格納される。
The
ルール記憶部５９は、それぞれの役割毎に、当該役割が割り当てられた端末装置２０が優先して出力すべきデータを決定するルールを示したルール情報を記憶する。ルール情報は、例えば、ネットワークのトラフィック混雑等により何れかのデータの受信品質が劣化した場合、セッションを形成している複数の端末装置２０から出力される複数のデータのうち、何れのデータを優先して出力するかを決定するための情報である。端末装置２０は、このルール情報を参照して、複数のデータのそれぞれに優先度を設定し、受信品質が劣化した場合に優先度の高いデータを優先して出力する。
The
ルール情報は、端末装置２０において解析できるデータまたはアルゴリズムであれば、どのような形式で記述されていてもよい。本実施形態においては、ルール記憶部５９は、詳細を後述する図１３から図１９に示すような、ルール情報を記憶する。
The rule information may be described in any format as long as it is data or an algorithm that can be analyzed by the
提供部６０は、セッションを形成したそれぞれの端末装置２０に、割り当てられた役割のルール情報を提供する。より具体的には、提供部６０は、セッションを形成したそれぞれの端末装置２０の役割に対応するルール情報を、ルール記憶部５９から読み出して送信する。これにより、それぞれの端末装置２０は、割り当てられた役割に応じたルール情報を取得することができる。
The providing
図１１は、中継装置４０の機能構成を示す図である。中継装置４０は、図５に示したＣＰＵ５０１がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図１１に示す各ブロックの機能が実現される。なお、図１１に示した中継装置４０の機能は、一部がハードウェアにより構成されていてもよい。
FIG. 11 is a diagram illustrating a functional configuration of the
中継装置４０は、送受信部４１と、セッション管理部４２と、データ配信部４３と、話者検出部４４と、話者通知部４５とを有する。送受信部５１は、ネットワークを介して、端末装置２０および管理装置５０とデータの送受信をする。
The
セッション管理部４２は、管理装置５０により確立されたセッションに関する情報を管理装置５０から取得して記憶する。例えば、セッション管理部４２は、図８に示したような、セッションテーブルを記憶する。
The
データ配信部４３は、セッションを形成する何れかの端末装置２０から送信されたデータを、セッションを形成する複数の端末装置２０のそれぞれへと配信する。
The
話者検出部４４は、それぞれの端末装置２０から送信された音声データから、現在の発話者の端末装置２０を検出する。話者検出部４４は、一例として、音量が最も大きい音声データを送信している端末装置２０を、現在の発話者の端末装置２０として特定する。
The
話者通知部４５は、現在の発話者の端末装置２０が切り替わった場合、切り替わり後の現在の発話者の端末装置２０を特定する情報を、セッションを形成する複数の端末装置２０の全てへと通知する。例えば、話者通知部４５は、切り替わり後の現在の発話者の端末装置２０のＩＰアドレスを通知する。
When the current speaker's
図１２は、端末装置２０の機能構成を示す図である。端末装置２０は、図４に示したＣＰＵ１０１がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図１２に示す各ブロックの機能が実現される。なお、図１２に示した端末装置２０の機能は、一部がハードウェアにより構成されていてもよい。
FIG. 12 is a diagram illustrating a functional configuration of the
端末装置２０は、撮像部２１と、音声入力部２２と、外部機器接続部２３と、送信データ生成部２４と、送信部２５と、受信部２６と、再生出力部２７と、音声出力部２８と、表示制御部２９と、役割受付部３１と、ルール取得部３３と、発話情報取得部３４と、優先度決定部３５と、優先度記憶部３６と、品質検出部３７と、出力制御部３８とを有する。
The
撮像部２１は、端末装置２０のユーザを撮像して映像データを生成する。音声入力部２２は、端末装置２０のユーザの発した音を収音して音声データに変換する。外部機器接続部２３は、端末装置２０と接続される外部機器とのインターフェイスである。外部機器接続部２３は、コンピュータ１１０と接続され、コンピュータ１１０で表示されている表示画面をキャプチャした画像データを、資料データとして生成する。
The
送信データ生成部２４は、撮像部２１により生成された映像データ、音声入力部２２に収音された音声データおよび外部機器接続部２３により生成された資料データを、ネットワークを介して送信するための送信データに変換する。送信部２５は、送信データ生成部２４により生成された送信データをネットワークを介して中継装置４０に送信する。これにより、中継装置４０は、端末装置２０から送信された送信データを、セッションを形成する複数の端末装置２０のそれぞれへと配信することができる。また、送信部２５は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置５０に送信する。
The transmission data generation unit 24 transmits video data generated by the
受信部２６は、それぞれの端末装置２０から送信された送信データを中継装置４０を介して受信する。また、受信部２６は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置５０から受信する。また、受信部２６は、中継装置４０から、現在の発話者の端末装置２０を示す情報を受信する。
The receiving
再生出力部２７は、受信部２６が中継装置４０から受信したデータを取得する。そして、再生出力部２７は、受信したデータをデコード等して再生し、映像データ、音声データおよび資料データ等を出力する。
The
音声出力部２８は、再生出力部２７から出力された音声データに応じた音声を外部に出力する。これにより、音声出力部２８は、それぞれの端末装置２０のユーザが発した音を出力することができる。
The
表示制御部２９は、再生出力部２７から出力された映像データに応じた画像をディスプレイ１２０に表示させる。これにより、表示制御部２９は、それぞれの端末装置２０のユーザの画像を表示させることができる。また、表示制御部２９は、再生出力部２７から出力された資料データに応じた画像をディスプレイ１２０に表示させる。これにより、表示制御部２９は、それぞれの端末装置２０に接続されたコンピュータ１１０に表示されたプレゼンテーションデータ等の表示画面をディスプレイ１２０に表示させることができる。
The
役割受付部３１は、受信部２６が管理装置５０から受信したデータを取得する。そして、役割受付部３１は、管理装置５０から、当該端末装置２０の役割を受け付ける。より具体的には、役割受付部３１は、当該端末装置２０が含まれるセッションの会議モード、および、会議モードでの当該端末装置２０の役割を受け付ける。また、役割受付部３１は、セッションを形成する他の端末装置２０のそれぞれに割り当てられた役割も取得する。
The
ルール取得部３３は、受信部２６が管理装置５０から受信したデータを取得する。そして、ルール取得部３３は、管理装置５０から、受け付けた役割に対応するルール情報を取得する。より具体的には、ルール取得部３３は、当該端末装置２０が含まれるセッションの会議モードにおける、当該端末装置２０の役割に対応するルール情報を取得する。なお、ルール取得部３３は、全ての会議モードについての全ての役割のルール情報を予め取得しておき、その中から対応するルール情報を選択してもよい。
The
発話情報取得部３４は、受信部２６が中継装置４０から受信したデータを取得する。そして、発話情報取得部３４は、中継装置４０から、現在の発話者の端末装置２０を取得する。そして、発話情報取得部３４は、セッションを形成する複数の端末装置２０のユーザが、どのような順序で発話をしたかを示す発話順序情報を生成する。
The utterance information acquisition unit 34 acquires the data received by the
優先度決定部３５は、ルール取得部３３が取得したルール情報に従って、受信部２６が中継装置４０を介して受信すべきデータのそれぞれの優先度を決定する。また、優先度決定部３５は、ルール取得部３３が取得したルール情報に従って、受信部２６が中継装置４０を介して受信すべきデータのうちの重要データを決定する。この場合において、優先度決定部３５は、データの種類、データを送信した端末装置２０に割り当てられた役割、および、ユーザの発話順序に基づき、受信部２６が中継装置４０を介して受信すべきデータのそれぞれの優先度、および、重要データを決定する。優先度記憶部３６は、優先度決定部３５が決定したそれぞれのデータの優先度を記憶する。
The
品質検出部３７は、受信部２６が受信するデータの受信品質を検出する。品質検出部３７は、一例として、データの出力遅延時間またはネットワークのトラフィックの混雑度を受信品質として検出する。
The quality detection unit 37 detects the reception quality of the data received by the
出力制御部３８は、優先度記憶部３６が記憶しているデータの優先度に基づき、受信するデータのうち優先度の高いデータを優先して出力させる。出力制御部３８は、一例として、優先度の高いデータほど先に再生処理がされるように再生出力部２７を制御する。また、出力制御部３８は、優先度の高いデータほど、再生処理を実行するためのリソースを多く割り当てるように、再生出力部２７を制御する。
Based on the priority of the data stored in the
また、出力制御部３８は、受信品質が予め定められた値より低下した場合、重要データ以外のデータの出力を停止させてもよい。また、出力制御部３８は、受信品質が予め定められた値より低下した場合、優先度の低いデータほど低いデータ品質で出力させてもよい。また、出力制御部３８は、受信品質が予め定められた値より低下した場合、送信元に対して、重要データ以外のデータの送信の停止を要求してもよい。出力制御部３８は、受信品質が予め定められた値より低下した場合、送信元に対して、優先度の低いデータほど低いデータ品質で送信することを要求してもよい。
Further, the
（ルール情報の具体的な説明）
図１３から図１９に示すルール情報は、データを送信した端末装置２０の役割とデータ種類とのペア、または、データを送信した端末装置２０のユーザの発話順位とデータ種類とのペア毎に、順位が対応付けられている。端末装置２０は、ルール情報に基づき、セッションを形成する複数の端末装置２０の全てから送信される全てのデータに優先度を設定する。この場合において、端末装置２０は、順位の高いデータから順に、優先度を高く設定する。すなわち、端末装置２０は、ルール情報に示された第１位のデータを最も優先度を高くし、第２位のデータを次に優先度を高くし、第３位のデータを次に優先度を高くするといったように、優先度を設定する。
(Specific explanation of rule information)
The rule information shown in FIG. 13 to FIG. 19 includes, for each pair of the role and data type of the
図１３から図１９に示すルール情報において、“LoudestSpeaker_0”は、現在の発話者の端末装置２０を表す。また、図１３から図１９に示すルール情報において、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者（LoudestSpeaker_0）から発話順位に従って優先度を高く設定することを示す。すなわち、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者（LoudestSpeaker_0）の端末装置２０の優先度を最も高く設定し、次に、直前の発話者（LoudestSpeaker_1）の端末装置２０の優先度を高く設定し、次に、“LoudestSpeaker_1”および“LoudestSpeaker_0”以外で直近に発話した発話者（LoudestSpeaker_2）の端末装置２０の優先度を高く設定することを示す。なお、ｎは、セッションに参加している端末装置２０の数を表す。
In the rule information shown in FIGS. 13 to 19, “LoudestSpeaker — 0” represents the
図１３から図１９に示すルール情報において、“Audio”は、音声データを表し、“DataShare”は、資料データを表し、“Video”は、映像データを表す。 In the rule information shown in FIGS. 13 to 19, “Audio” represents audio data, “DataShare” represents material data, and “Video” represents video data.
さらに、図１３から図１９に示すルール情報には、重要データを決定するためのルールが示されている。本実施形態においては、ルール情報は、重要データとそれ以外のデータとを分ける閾順位が記述されている。それぞれの端末装置２０は、セッションを形成する複数の端末装置２０の全てから送信される複数のデータのうち、ルール情報における閾順位以上の順位のデータを重要データとして決定する。
Furthermore, rules for determining important data are shown in the rule information shown in FIGS. In the present embodiment, the rule information describes a threshold order for dividing important data from other data. Each
図１３は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報には、図１３に示すような順で優先度を高くすることが記述されている。 FIG. 13 is a diagram illustrating an example of rule information of participants in a discussion mode without a chairperson. In the rule information of the participant in the discussion mode without the chairman, it is described that the priority is increased in the order as shown in FIG.
すなわち、図１３のルール情報において、第１位は、全ての端末装置２０から送信された音声データである。なお、全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム１０は、全ての参加者に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 13, the first place is voice data transmitted from all the
また、図１３のルール情報において、第２位は、現在の発話者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
Further, in the rule information of FIG. 13, the second place is the material data transmitted from the
また、図１３のルール情報において、第３位は、現在の発話者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、全ての参加者に、発話者の映像を確実に伝達することができる。
Further, in the rule information of FIG. 13, the third place is video data transmitted from the
また、図１３のルール情報において、第４位は、現在の発話者以外の端末装置２０から送信された資料データである。なお、現在の発話者以外の端末装置２０から送信された資料データは、発話順位に従って優先度が高くなる。また、図１３のルール情報において、第５位は、現在の発話者以外の端末装置２０から送信された映像データである。現在の発話者以外の端末装置２０から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 13, the fourth place is material data transmitted from the
さらに、図１３のルール情報において、第３位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長無しの討論モードの参加者の端末装置２０は、全ての端末装置２０から送信された音声データ、現在の発話者の端末装置２０から送信された資料データ、および、現在の発話者の端末装置２０から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、議長無しの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 13, the third rank is a threshold rank that separates important data from other data. In other words, the
図１４は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報には、図１４に示すような順で優先度を高くすることが記述されている。 FIG. 14 is a diagram illustrating an example of the rule information of the chair in the discussion mode with the chair. The rule information of the chairperson in the discussion mode with the chairperson describes that the priority is increased in the order shown in FIG.
すなわち、図１４のルール情報において、第１位は、全ての端末装置２０から送信された音声データである。なお、全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム１０は、議長に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 14, the first place is voice data transmitted from all the
また、図１４のルール情報において、第２位は、現在の発話者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、議長に、発話者が説明に参照している資料を確実に伝達することができる。
Further, in the rule information of FIG. 14, the second place is the material data transmitted from the
また、図１４のルール情報において、第３位は、現在の発話者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、議長に、発話者の映像を確実に伝達することができる。
Further, in the rule information of FIG. 14, the third place is video data transmitted from the
また、図１４のルール情報において、第４位は、現在の発話者以外の端末装置２０から送信された資料データである。なお、現在の発話者以外の端末装置２０から送信された資料データは、発話順位に従って優先度が高くなる。また、図１４のルール情報において、第５位は、現在の発話者以外の端末装置２０から送信された映像データである。現在の発話者以外の端末装置２０から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 14, the fourth place is material data transmitted from the
さらに、図１４のルール情報において、第３位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの議長の端末装置２０は、全ての端末装置２０から送信された音声データ、現在の発話者の端末装置２０から送信された資料データ、および、現在の発話者の端末装置２０から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 14, the third rank is a threshold rank that separates important data from other data. That is, the
図１５は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報には、図１５に示すような順で優先度を高くすることが記述されている。 FIG. 15 is a diagram illustrating an example of rule information of participants in a discussion mode with a chairperson. The rule information of the participants in the discussion mode with the chairman describes that the priority is increased in the order shown in FIG.
すなわち、図１５のルール情報において、第１位は、現在の発話者の端末装置２０から送信された音声データである。これにより、伝送システム１０は、全ての参加者に、現在の発話者の音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 15, the first place is voice data transmitted from the
また、図１５のルール情報において、第２位は、現在の発話者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
In the rule information of FIG. 15, the second place is material data transmitted from the
また、図１５のルール情報において、第３位は、現在の発話者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、全ての参加者に、発話者の映像を確実に伝達することができる。
Also, in the rule information of FIG. 15, the third place is video data transmitted from the
また、図１５のルール情報において、第４位は、議長の端末装置２０から送信された音声データである。これにより、伝送システム１０は、全ての参加者に、議長の音声を確実に伝達し、確実に討論を進行させることができる。
In the rule information of FIG. 15, the fourth place is voice data transmitted from the
また、図１５のルール情報において、第５位は、議長の端末装置２０から送信された資料データである。これにより、伝送システム１０は、全ての参加者に、議長が説明に参照している資料を確実に伝達することができる。
In the rule information of FIG. 15, the fifth place is the material data transmitted from the
また、図１５のルール情報において、第６位は、議長の端末装置２０から送信された映像データである。これにより、伝送システム１０は、全ての参加者に、議長の映像を確実に伝達することができる。
In the rule information of FIG. 15, the sixth place is video data transmitted from the
また、図１５のルール情報において、第７位は、現在の発話者を除いた全ての端末装置２０から送信された音声データである。なお、現在の発話者を除いた全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。また、図１５のルール情報において、第８位は、現在の発話者を除いた全ての端末装置２０から送信された資料データである。なお、現在の発話者を除いた全ての端末装置２０から送信された資料データは、発話順位に従って優先度が高くなる。また、図１５のルール情報において、第９位は、現在の発話者を除いた全ての端末装置２０から送信された映像データである。なお、現在の発話者を除いた全ての端末装置２０から送信された映像データは、発話順位に従って優先度が高くなる。
In the rule information of FIG. 15, the seventh place is voice data transmitted from all the
さらに、図１５のルール情報において、第６位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの参加者の端末装置２０は、現在の発話者の端末装置２０から送信された音声データ、現在の発話者の端末装置２０から送信された資料データ、現在の発話者の端末装置２０から送信された映像データ、議長の端末装置２０から送信された音声データ、議長の端末装置２０から送信された資料データ、および、議長の端末装置２０から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 15, the sixth rank is a threshold rank that separates important data from other data. In other words, the
図１６は、プレゼンテーションモードの発表者のルール情報の一例を示す図である。プレゼンテーションモードの発表者のルール情報には、図１６に示すような順で優先度を高くすることが記述されている。 FIG. 16 is a diagram illustrating an example of the rule information of the presenter in the presentation mode. The rule information of the presenter in the presentation mode describes that the priority is increased in the order as shown in FIG.
すなわち、図１６のルール情報において、第１位は、発表者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
That is, in the rule information of FIG. 16, the first place is the material data transmitted from the presenter's
図１６のルール情報において、第２位は、現在の発話者の端末装置２０から送信された音声データである。これにより、伝送システム１０は、発表者に、質問者等の音声を確実に伝達することができる。
In the rule information of FIG. 16, the second place is voice data transmitted from the
また、図１６のルール情報において、第３位は、現在の発話者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、発表者に、質問者の映像を確実に伝達することができる。
Also, in the rule information of FIG. 16, the third place is video data transmitted from the
また、図１６のルール情報において、第４位は、現在の発話者を除いた全ての端末装置２０から送信された音声データである。なお、現在の発話者を除いた全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。また、図１６のルール情報において、第５位は、現在の発話者を除いた全ての端末装置２０から送信された映像データである。なお、現在の発話者を除いた全ての端末装置２０から送信された映像データは、発話順位に従って優先度が高くなる。
Also, in the rule information of FIG. 16, the fourth place is voice data transmitted from all the
さらに、図１６のルール情報において、第３位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの発表者の端末装置２０は、発表者の端末装置２０から送信された資料データ、現在の発話者の端末装置２０から送信された音声データ、および、現在の発話者の端末装置２０から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
Further, in the rule information of FIG. 16, the third rank is a threshold rank that separates important data and other data. In other words, the
図１７は、プレゼンテーションモードの参加者のルール情報の一例を示す図である。プレゼンテーションモードの参加者のルール情報には、図１７に示すような順で優先度を高くすることが記述されている。 FIG. 17 is a diagram illustrating an example of rule information for participants in the presentation mode. The rule information of the participants in the presentation mode describes that the priority is increased in the order as shown in FIG.
すなわち、図１７のルール情報において、第１位は、発表者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、参加者に、発表者の資料データを確実に伝送させることができる。
That is, in the rule information of FIG. 17, the first place is the material data transmitted from the presenter's
図１７のルール情報において、第２位は、発表者の端末装置２０から送信された音声データである。これにより、伝送システム１０は、参加者に、発表者の音声を確実に伝達することができる。
In the rule information of FIG. 17, the second place is voice data transmitted from the
図１７のルール情報において、第３位は、発表者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、参加者に、発表者の映像を確実に伝達することができる。
In the rule information of FIG. 17, the third place is video data transmitted from the presenter's
図１７のルール情報において、第４位は、現在の発話者の端末装置２０から送信された音声データである。これにより、伝送システム１０は、参加者に、質問者等の音声を確実に伝達することができる。
In the rule information of FIG. 17, the fourth place is voice data transmitted from the
また、図１７のルール情報において、第５位は、現在の発話者の端末装置２０から送信された映像データである。図１７のルール情報において、第６位は、現在の発話者を除いた全ての端末装置２０から送信された音声データである。なお、現在の発話者を除いた全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。
Also, in the rule information of FIG. 17, the fifth place is video data transmitted from the
さらに、図１７のルール情報において、第４位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの参加者の端末装置２０は、発表者の端末装置２０から送信された資料データ、発表者の端末装置２０から送信された音声データ、発表者の端末装置２０から送信された映像データ、および、現在の発話者の端末装置２０から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 17, the fourth rank is a threshold rank that separates important data from other data. That is, the
図１８は、講演会モードの発表者のルール情報の一例を示す図である。講演会モードの発表者のルール情報には、図１８に示すような順で優先度を高くすることが記述されている。 FIG. 18 is a diagram showing an example of rule information for presenters in the lecture mode. The rule information of the presenter in the lecture mode describes that the priority is increased in the order shown in FIG.
すなわち、図１８のルール情報において、第１位は、発表者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
That is, in the rule information of FIG. 18, the first place is the material data transmitted from the presenter's
また、図１８のルール情報において、第２位は、全ての端末装置２０から送信された音声データである。なお、全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。また、図１８のルール情報において、第３位は、全ての端末装置２０から送信された映像データである。なお、全ての端末装置２０から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 18, the second place is voice data transmitted from all the
さらに、図１８のルール情報において、第１位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの発表者の端末装置２０は、発表者の端末装置２０から送信された資料データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、講演会でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 18, the first rank is a threshold rank that separates important data from other data. That is, the
図１９は、講演会モードの参加者のルール情報の一例を示す図である。講演会モードの参加者のルール情報には、図１９に示すような順で優先度を高くすることが記述されている。 FIG. 19 is a diagram illustrating an example of rule information of participants in the lecture mode. The rule information of the participants in the lecture mode describes that the priority is increased in the order shown in FIG.
すなわち、図１９のルール情報において、第１位は、発表者の端末装置２０から送信された資料データである。これにより、伝送システム１０は、参加者に、発表者の資料データを確実に伝送させることができる。
That is, in the rule information of FIG. 19, the first place is the material data transmitted from the presenter's
図１９のルール情報において、第２位は、発表者の端末装置２０から送信された音声データである。これにより、伝送システム１０は、参加者に、発表者の音声を確実に伝達することができる。
In the rule information of FIG. 19, the second place is voice data transmitted from the
図１９のルール情報において、第３位は、発表者の端末装置２０から送信された映像データである。これにより、伝送システム１０は、参加者に、発表者の映像を確実に伝達することができる。
In the rule information of FIG. 19, the third place is video data transmitted from the
また、図１９のルール情報において、第４位は、全ての端末装置２０から送信された音声データである。なお、全ての端末装置２０から送信された音声データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 19, the fourth place is voice data transmitted from all the
さらに、図１９のルール情報において、第３位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの参加者の端末装置２０は、発表者の端末装置２０から送信された資料データ、発表者の端末装置２０から送信された音声データ、および、発表者の端末装置２０から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム１０は、講演会でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 19, the third rank is a threshold rank that divides important data from other data. That is, the
図２０は、端末装置２０が受信したデータに対して決定された優先度を示す図である。端末装置２０は、図１３から図１９に示したルール情報に従って、中継装置４０から受信した複数の端末装置２０から送信されたデータに対して優先度を設定する。
FIG. 20 is a diagram illustrating priorities determined for data received by the
例えば、端末装置２０は、図２０に示すように、それぞれのデータを識別するデータＩＤに対応付けて、優先度を１から降順に割り当てる。なお、図２０の例においては、優先度１が最も優先度が高い。また、端末装置２０は、図１３から図１９に示したルール情報に従って、それぞれのデータＩＤに対応付けて、重要データであるか否かを設定する。図２０の例においては、優先度１から４のデータが重要データとして設定されている。そして、それぞれの端末装置２０は、図２０に示すように設定された優先度に従って、優先度の高いデータを優先して出力する。
For example, as illustrated in FIG. 20, the
（伝送システム１０の処理シーケンス）
図２１は、会議の開始前におけるデータのやり取りおよび処理を示す図である。会議開始前において、伝送システム１０は、図２１に示すシーケンスで処理を実行する。
(Processing sequence of transmission system 10)
FIG. 21 is a diagram showing data exchange and processing before the start of the conference. Before the start of the conference, the
まず、第１の端末装置２０−１は、ユーザの操作に応じてセッションを形成する宛先となる端末装置２０を指定し（ステップＳ１１）、開始指示を管理装置５０に送信する（ステップＳ１２）。続いて、管理装置５０は、宛先に指定された複数の端末装置２０の間でセッションを確立する（ステップＳ１３）。これにより、セッションを形成する複数の端末装置２０の間で中継装置４０を介してデータの送受信が可能となる。
First, the first terminal device 20-1 designates a
続いて、セッションを形成した第１の端末装置２０−１は、ユーザの操作に応じて会議モードを指定し（ステップＳ１４）、指定された会議モードを管理装置５０に通知する（ステップＳ１５）。続いて、管理装置５０は、セッションにおける会議モードを設定する（ステップＳ１６）。
Subsequently, the first terminal device 20-1 that formed the session designates the conference mode according to the user's operation (step S14), and notifies the
続いて、管理装置５０は、セッションを形成するそれぞれの端末装置２０に対して、役割を問い合わせる（ステップＳ１７−１，Ｓ１７−２，Ｓ１７―３）。続いて、それぞれの端末装置２０は、ユーザの操作に応じて、役割を選択し（ステップＳ１８−１，Ｓ１８−２，Ｓ１８―３）、結果を管理装置５０に送信する（ステップＳ１９−１，Ｓ１９−２，Ｓ１９―３）。
Subsequently, the
続いて、管理装置５０は、それぞれの端末装置２０から受信した結果に基づき、セッションを形成するそれぞれの端末装置２０に対して役割を割り当てる（ステップＳ２０）。この場合において、管理装置５０は、それぞれの端末装置２０により選択された役割を割り当てる。しかし、管理装置５０は、１つの端末装置２０にしか割り当てることができない役割を複数の端末装置２０が選択した場合等においては、例えば先着順等のように予め定められたアルゴリズムで役割を割り当ててもよい。また、管理装置５０は、必ず割り当てなければならない役割を何れの端末装置２０も選択しなかった場合には、例えば予め定められたアルゴリズムでその役割を割り当ててもよい。
Subsequently, the
続いて、管理装置５０は、それぞれの端末装置２０に割り当てられた役割、および、ルール情報を中継装置４０に送信する（ステップＳ２１）。続いて、中継装置４０は、それぞれの端末装置２０に対して役割およびルール情報を送信する（ステップＳ２２−１，Ｓ２２−２，Ｓ２２―３）。
Subsequently, the
そして、それぞれの端末装置２０は、セッションを形成する複数の端末装置２０から受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を決定する（ステップＳ２３−１，Ｓ２３−２，Ｓ２３―３）。
And each
図２２は、通常時における会議中のデータのやり取りおよび処理を示す図である。通常時（受信品質が悪化していない状態）の会議中において、伝送システム１０は、図２２に示すようなシーケンスで処理を実行する。
FIG. 22 is a diagram showing the exchange and processing of data during a conference in a normal time. During a normal conference (in which reception quality is not deteriorated), the
まず、第１の端末装置２０−１は、映像データおよび音声データを中継装置４０へと送信する（ステップＳ３１）。中継装置４０は、第１の端末装置２０−１から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、受信した映像データおよび音声データを送信する（ステップＳ３２−１，Ｓ３２−２，Ｓ３２−３）。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S31). When the
また、第３の端末装置２０−３も、映像データおよび音声データを中継装置４０へと送信する（ステップＳ３３）。中継装置４０は、第３の端末装置２０−３から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、受信した映像データおよび音声データを送信する（ステップＳ３４−１，Ｓ３４−２，Ｓ３４−３）。
The third terminal device 20-3 also transmits video data and audio data to the relay device 40 (step S33). When the
このようにそれぞれの端末装置２０は、映像データおよび音声データ等を中継装置４０へと送信する。そして、中継装置４０は、受信した映像データおよび音声データ等を、セッションを形成する全ての端末装置２０へと送信する。これにより、それぞれの端末装置２０は、自己も含めたセッションを形成する全ての端末装置２０から送信されたデータを受信して再生出力することができる。
In this way, each
図２３は、資料データが追加された場合のデータのやり取りおよび処理を示す図である。資料データが追加される場合、伝送システム１０は、図２３に示すようなシーケンスで処理を実行する。
FIG. 23 is a diagram showing data exchange and processing when material data is added. When document data is added, the
まず、第１の端末装置２０−１は、映像データおよび音声データを中継装置４０へと送信する（ステップＳ４１）。中継装置４０は、第１の端末装置２０−１から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、受信した映像データおよび音声データを送信する（ステップＳ４２−１，Ｓ４２−２，Ｓ４２−３）。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S41). When the
続いて、第１の端末装置２０−１にコンピュータ１１０が接続されて、資料共有の開始操作がされる（ステップＳ４３）。第１の端末装置２０−１は、資料共有の開始操作がされた場合、資料データが新たに追加して送信されることを通知する資料共有開始通知を中継装置４０に送信する（ステップＳ４４）。続いて、中継装置４０は、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、第１の端末装置２０−１から資料データが新たに追加して送信されることを示す変更通知を送信する（ステップＳ４５−１，Ｓ４５−２，Ｓ４５−３）。
Subsequently, the
続いて、それぞれの端末装置２０は、受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を変更する（ステップＳ４６−１，Ｓ４６−２，Ｓ４６−３）。これにより、それぞれの端末装置２０は、新たに追加して送信される資料データを含めた全てのデータに対して優先度を決定することができる。
Subsequently, each
続いて、第１の端末装置２０−１は、資料画面をキャプチャする（ステップＳ４７）。続いて、第１の端末装置２０−１は、映像データ、音声データおよび資料データを中継装置４０へと送信する（ステップＳ４８）。中継装置４０は、第１の端末装置２０−１から、映像データ、音声データおよび資料データを受信すると、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、受信した映像データ、音声データおよび資料データを送信する（ステップＳ４９−１，Ｓ４９−２，Ｓ４９−３）。
Subsequently, the first terminal device 20-1 captures a material screen (step S47). Subsequently, the first terminal device 20-1 transmits the video data, audio data, and material data to the relay device 40 (step S48). When the
図２４は、話者が変更した場合のデータのやり取りおよび処理を示す図である。話者が変更した場合、伝送システム１０は、図２４に示すようなシーケンスで処理を実行する。
FIG. 24 is a diagram showing data exchange and processing when the speaker changes. When the speaker changes, the
まず、第１の端末装置２０−１は、映像データおよび音声データを中継装置４０へと送信する（ステップＳ５１）。中継装置４０は、第１の端末装置２０−１から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して、受信した映像データおよび音声データを送信する（ステップＳ５２−１，Ｓ５２−２，Ｓ５２−３）。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S51). When the
続いて、中継装置４０は、話者の検出処理を実行する（ステップＳ５３）。話者を検出した結果、現在の話者が変更した場合、話者順位の変更通知を、複数の端末装置２０−１，２０−２，２０−３のそれぞれに対して送信する（ステップＳ５４−１，Ｓ５４−２，Ｓ５４−３）。話者順位の変更通知には、現在の話者の端末装置２０のＩＰアドレス等が示されている。
Subsequently, the
続いて、それぞれの端末装置２０は、受信すべき複数のデータのそれぞれに対して、変更後の話者順位に基づいて優先度を変更する（ステップＳ５５−１，Ｓ５５−２，Ｓ５５−３）。これにより、それぞれの端末装置２０は、話者が変更する毎に優先度を決定することができる。
Subsequently, each
なお、伝送システム１０は、コミュニケーションの開始後において、それぞれの端末装置２０に割り当てられる役割が変更されてもよい。役割が変更された場合、それぞれの端末装置２０は、変更後の役割のルール情報を再度受け付け、再度受け付けたルール情報に従って優先度を決定する。
In the
図２５は、優先度の高いデータを優先して出力させるためのフローを示す図である。それぞれの端末装置２０は、受信する複数のデータのうち優先度の高いデータを優先して出力させるために、図２５に示すようなフローを実行する。
FIG. 25 is a diagram showing a flow for giving priority to outputting high-priority data. Each
まず、ステップＳ１０１において、端末装置２０は、受信品質が第１の閾値より悪いか否かを判断する。端末装置２０は、受信品質が第１の閾値より悪くない場合には（ステップＳ１０１のＮｏ）、処理をステップＳ１０１で待機する。端末装置２０は、受信品質が第１の閾値より悪い場合には（ステップＳ１０１のＹｅｓ）、処理をステップＳ１０２に進める。
First, in step S101, the
続いて、ステップＳ１０２において、端末装置２０は、決定した優先度情報を参照して、非重要データの出力を停止する。
Subsequently, in step S102, the
例えば、図２６に示すように、第１の端末装置２０−１（参加者）は、受信品質が悪化する前において、発表者（第２の端末装置２０−２）から送信された資料データ、音声データおよび映像データ、参加者（第３の端末装置２０−３および第４の端末装置２０−４）から送信された音声データおよび映像データを出力しているとする。このような状態から、受信品質が第１の閾値より悪くなった場合には、図２７に示すように、第１の端末装置２０−１（参加者）は、現在の話者（第３の端末装置２０−３）の映像データ、および、現在の話者以外の参加者（第４の端末装置２０−４）の音声データおよび映像データの出力を停止する。 For example, as illustrated in FIG. 26, the first terminal device 20-1 (participant) may receive the document data transmitted from the presenter (second terminal device 20-2) before the reception quality deteriorates, It is assumed that audio data and video data, and audio data and video data transmitted from the participants (third terminal device 20-3 and fourth terminal device 20-4) are output. From this state, when the reception quality is worse than the first threshold value, as shown in FIG. 27, the first terminal device 20-1 (participant), the current speaker (third The output of the video data of the terminal device 20-3) and the audio data and video data of the participants other than the current speaker (fourth terminal device 20-4) are stopped.
なお、端末装置２０は、再生処理または受信処理を実行しないことによりデータの出力を停止してもよいし、中継装置４０に対してデータの送信の停止を要求することによりデータの出力を停止してもよい。
Note that the
続いて、ステップＳ１０３において、端末装置２０は、受信品質が第１の閾値以上となったか否かを判断する。端末装置２０は、受信品質が第１の閾値以上となった場合には（ステップＳ１０３のＹｅｓ）、処理をステップＳ１０４に進める。ステップＳ１０４において、端末装置２０は、非重要データの再生出力を開始し、処理をステップＳ１０１に戻す。これにより、端末装置２０は、受信品質が復帰した場合には、停止をしていたデータの出力を再開することができる。
Subsequently, in step S103, the
端末装置２０は、受信品質が第１の閾値以上となっていない場合には（ステップＳ１０３のＮｏ）、処理をステップＳ１０５に進める。ステップＳ１０５において、端末装置２０は、受信品質が第２の閾値より悪いか否かを判断する。第２の閾値は、第１の閾値よりも悪い受信品質を示す値である。端末装置２０は、受信品質が第２の閾値より悪くはない場合には（ステップＳ１０５のＮｏ）、処理をステップＳ１０３に戻す。これにより、端末装置２０は、受信品質が第１の閾値より悪く、第２の閾値より良い場合には、非重要データの出力を停止した状態で維持をすることができる。端末装置２０は、受信品質が第２の閾値より悪い場合には（ステップＳ１０５のＹｅｓ）、処理をステップＳ１０６に進める。
If the reception quality is not equal to or higher than the first threshold (No in step S103), the
ステップＳ１０６において、端末装置２０は、決定した優先度情報を参照して、重要データのうち優先度の低いデータを低品質化して出力する。例えば、端末装置２０は、優先度の低いデータを少ないリソースで再生処理をしたり、中継装置４０に対して優先度の低いデータのビットレートを小さくすることを要求したりする。
In step S <b> 106, the
例えば、図２８に示すように、第１の端末装置２０−１は、第１位のデータである発表者（第２の端末装置２０−２）の資料データ、および、第２位のデータである発表者の音声データを高品質で再生出力する。そして、第１の端末装置２０−１は、第３位のデータである発表者の映像データ、および、第４位のデータである現在の話者（第３の端末装置２０−３）の音声データを低品質で再生出力する。 For example, as shown in FIG. 28, the first terminal device 20-1 is the first-ranked data of the presenter (second terminal device 20-2) and the second-ranked data. Reproduce and output the audio data of a presenter with high quality. Then, the first terminal device 20-1 has the presenter's video data as the third data and the voice of the current speaker (the third terminal device 20-3) as the fourth data. Reproduce and output data with low quality.
続いて、ステップＳ１０７において、端末装置２０は、受信品質が第２の閾値以上となったか否かを判断する。端末装置２０は、受信品質が第２の閾値以上となった場合には（ステップＳ１０７のＹｅｓ）、処理をステップＳ１０８に進める。ステップＳ１０８において、端末装置２０は、全ての重要データの品質を高品質化し、処理をステップＳ１０３に戻す。これにより、端末装置２０は、受信品質が復帰した場合には、重要データの品質を高品質に復帰させることができる。端末装置２０は、受信品質が第２の閾値より悪い場合には（ステップＳ１０７のＮｏ）、処理をステップＳ１０７で待機する。
Subsequently, in step S107, the
以上のように、本実施形態に係る伝送システム１０によれば、受信品質が低下する状況となった場合であっても、コミュニケーションの内容に応じた適切なデータを確実に出力させて、コミュニケーションを確実に継続させることができる。
As described above, according to the
（変形例）
図２９は、変形例に係る端末装置２０の機能構成を示す図である。つぎに、変形例に係る伝送システム１０について説明する。なお、変形例は、図１から図２８を参照して説明した伝送システム１０と略同一の機能および構成を有する。従って、変形例については、相違点を説明する。
(Modification)
FIG. 29 is a diagram illustrating a functional configuration of the
変形例に係る端末装置２０は、発話時刻記憶部９１と、頻度検出部９２とをさらに有する。発話時刻記憶部９１は、発話情報取得部３４が発話情報を取得する毎に、すなわち、現在の発話者が変更する毎に、発話時刻と、端末装置２０のＩＰアドレスとを対応付けて記憶する。例えば、発話時刻記憶部９１は、図３０に示すようなテーブルを記憶する。
The
頻度検出部９２は、発話時刻記憶部９１に記憶されている情報を参照して、端末装置毎に、当該端末装置２０のユーザとの対話の頻度を算出する。例えば、頻度検出部９２は、当該端末装置２０のユーザが発話した時刻から、予め定められた期間内における他のユーザの発話の頻度を算出し、算出した頻度を、当該端末装置２０のユーザとの対話の頻度として検出する。例えば、頻度検出部９２は、図３０の自端末の発話時刻から一定時間内に発話した他の端末装置２０毎の発話の頻度を検出する。そして、例えば、頻度検出部９２は、図３１に示すような、対話の頻度と、端末装置２０のＩＰアドレスと、対話の頻度の順位とを対応付けたテーブルを算出する。
The
そして、優先度決定部３５は、対話の頻度が変更された場合、ルール情報に従って、それぞれのデータの優先度を決定する。
And the
変形例に係るルール情報は、さらに、当該端末装置２０のユーザとの対話の頻度とデータ種類とのペアにも、順位が対応付けられている。そして、変形例に係る端末装置２０は、ルール情報における順位の高いデータから順に、優先度を高く設定する。
In the rule information according to the modified example, the rank is also associated with the pair of the frequency of interaction with the user of the
なお、図３２から図３４に示すルール情報において、“DialogueSpeaker_0”は、当該端末装置２０のユーザとの対話の頻度が基準以上（例えば最も高い）端末装置２０を表す。
In the rule information shown in FIGS. 32 to 34, “DialogueSpeaker_0” represents the
図３２は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報は、図１３の例と比較して、第４位以降が異なる。 FIG. 32 is a diagram illustrating an example of rule information of participants in a discussion mode without a chairperson. The rule information of the participants in the discussion mode without a chairman is different from the fourth place in comparison with the example of FIG.
図３２のルール情報において、第４位は、当該端末装置２０のユーザとの対話の頻度が最も高い端末装置２０から送信された映像データである。これにより、伝送システム１０は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 32, the fourth place is video data transmitted from the
そして、図３２のルール情報において、第５位は、現在の発話者以外の端末装置２０から送信された資料データである。また、図３２のルール情報において、第６位は、現在の発話者以外の端末装置２０から送信された映像データである。さらに、図３２のルール情報において、第４位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 32, the fifth place is the material data transmitted from the
図３３は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報は、図１４の例と比較して、第４位以降が異なる。 FIG. 33 is a diagram showing an example of rule information of the chair in the discussion mode with the chair. The rule information of the chairperson in the discussion mode with the chairperson is different from the fourth place in comparison with the example of FIG.
図３３のルール情報において、第４位は、当該端末装置２０のユーザとの対話の頻度が最も高い端末装置２０から送信された映像データである。これにより、伝送システム１０は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 33, the fourth place is video data transmitted from the
また、図３３のルール情報において、第５位は、現在の発話者以外の端末装置２０から送信された資料データである。また、図３３のルール情報において、第６位は、現在の発話者以外の端末装置２０から送信された映像データである。さらに、図３３のルール情報において、第４位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 33, the fifth place is the material data transmitted from the
図３４は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報は、図１５の例と比較して、第４位以降が異なる。 FIG. 34 is a diagram illustrating an example of rule information of participants in a discussion mode with a chairperson. The rule information of the participants in the discussion mode with the chairman is different from the fourth place in comparison with the example of FIG.
図３４のルール情報において、第４位は、当該端末装置２０のユーザとの対話の頻度が最も高い端末装置２０から送信された音声データである。これにより、伝送システム１０は、対話の頻度が最も高いユーザの音声を確実に伝達することができる。
In the rule information of FIG. 34, the fourth place is voice data transmitted from the
図３４のルール情報において、第５位は、当該端末装置２０のユーザとの対話の頻度が最も高い端末装置２０から送信された映像データである。これにより、伝送システム１０は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 34, the fifth place is video data transmitted from the
また、図３４のルール情報において、第６位は、議長の端末装置２０から送信された音声データである。また、図３４のルール情報において、第７位は、議長の端末装置２０から送信された資料データである。また、図３４のルール情報において、第８位は、議長の端末装置２０から送信された映像データである。
Further, in the rule information of FIG. 34, the sixth place is voice data transmitted from the
また、図３４のルール情報において、第９位は、現在の発話者を除いた全ての端末装置２０から送信された音声データである。また、図３４のルール情報において、第１０位は、現在の発話者を除いた全ての端末装置２０から送信された資料データである。また、図３４のルール情報において、第１１位は、現在の発話者を除いた全ての端末装置２０から送信された映像データである。さらに、図３４のルール情報において、第８位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 34, the ninth place is voice data transmitted from all the
図３５は、変形例において、話者が変更した場合の装置間のやり取りおよび処理を示す図である。変形例に係る伝送システム１０では、話者が変更した場合、伝送システム１０は、図３５に示すようなシーケンスで処理を実行する。
FIG. 35 is a diagram illustrating communication and processing between devices when a speaker changes in a modified example. In the
なお、図３５のシーケンスは、図２４のシーケンスと比較して、ステップＳ５５−１、Ｓ５５−２、Ｓ５５−３の直前に、ステップＳ２０１−１、ステップＳ２０１−２およびステップＳ２０１−３が実行される点である。 In the sequence of FIG. 35, compared to the sequence of FIG. 24, steps S201-1, S201-2, and S201-3 are executed immediately before steps S55-1, S55-2, and S55-3. It is a point.
ステップＳ２０１−１、ステップＳ２０１−２およびステップＳ２０１−３において、それぞれの端末装置２０は、中継装置４０から話者順位の変更通知を受信すると、対話頻度の変更を行う。そして、それぞれの端末装置２０は、セッションを形成する複数の端末装置２０から受信すべき複数のデータのそれぞれに対して、変更後の対話順位に基づいて優先度を変更する（ステップＳ５５−１，Ｓ５５−２，Ｓ５５−３）。これにより、それぞれの端末装置２０は、対話順位が変更する毎に優先度を決定することができる。
In step S201-1, step S201-2, and step S201-3, each
このような変形例に係る伝送システム１０によれば、対話している相手の端末装置２０から送信されたデータを優先して出力させて、コミュニケーションを確実に継続させることができる。
According to the
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。 As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms.
１０ 伝送システム
２０ 端末装置
２１ 撮像部
２２ 音声入力部
２３ 外部機器接続部
２４ 送信データ生成部
２５ 送信部
２６ 受信部
２７ 再生出力部
２８ 音声出力部
２９ 表示制御部
３１ 役割受付部
３３ ルール取得部
３４ 発話情報取得部
３５ 優先度決定部
３６ 優先度記憶部
３７ 品質検出部
３８ 出力制御部
４０ 中継装置
４１ 送受信部
４２ セッション管理部
４３ データ配信部
４４ 話者検出部
４５ 話者通知部
５０ 管理装置
５１ 送受信部
５２ 端末情報記憶部
５３ セッション確立部
５４ セッション記憶部
５５ 会議モード記憶部
５６ 会議モード受付部
５７ 役割割当部
５８ 割当記憶部
５９ ルール記憶部
６０ 提供部
８０ プログラム提供装置
９１ 発話時刻記憶部
９２ 頻度検出部
１１０ コンピュータ
１２０ ディスプレイ
DESCRIPTION OF
Claims (22)
それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、
それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、
それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、
を備える管理装置。 A management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role assignment unit for assigning a role in the communication to each of the terminal devices;
For each role, a rule storage unit that stores rule information indicating rules for determining data to be preferentially output by the terminal device to which the role is assigned;
A providing unit that provides the rule information of the assigned role to each of the terminal devices;
A management device comprising:
請求項１に記載の管理装置。 The management device according to claim 1, wherein the rule information is information in which a priority is set higher for each pair of a role and a data type of the terminal device that has transmitted data.
請求項２に記載の管理装置。 The management device according to claim 2, wherein the rule information is information in which the order is associated with a pair of a user's utterance order and a data type.
請求項３に記載の管理装置。 The rule information further includes a pair of the terminal device of the user who has spoken at a frequency equal to or higher than a reference within a predetermined period from a time when the user of the terminal device of the own terminal speaks, and a data type pair. The management device according to claim 3, wherein the management device is information associated with a rank.
請求項１に記載の管理装置。 Each of the terminal devices includes audio data obtained by collecting the voice of the user of the terminal device, video data obtained by imaging the user of the terminal device, and material data obtained by capturing an image of a material referred to by the user of the terminal device. The management apparatus according to claim 1, wherein at least one of the following is transmitted.
前記ルール記憶部は、
前記議長について、現在の話者の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、現在の話者の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データ、および、議長の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項５に記載の管理装置。 The role assigning unit assigns a role as a chairman to any one of the terminal devices, and assigns a role as a participant to other terminal devices when having a discussion with the chairman,
The rule storage unit
Storing the rule information in which the order of the voice data, the material data, and the video data transmitted from the terminal device of the current speaker is set higher than other data for the chairman;
For the participant, the voice data, the material data and the video data transmitted from the terminal device of the current speaker, and the voice data, the material data and the video data transmitted from the terminal device of the chairperson. The management apparatus according to claim 5, wherein the rule information in which the rank of data is set higher than other data is stored.
前記ルール記憶部は、
前記発表者について、前記発表者の前記端末装置から送信された前記資料データ、および、現在の話者の前記端末装置から送信された前記音声データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、前記発表者の前記端末装置から送信された前記資料データ、前記音声データおよび前記画像データ、および、現在の話者の前記端末装置から送信された前記音声データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項５に記載の管理装置。 The role assigning unit assigns a role as a presenter to any one of the terminal devices, and assigns a role as a participant to another terminal device when giving a presentation,
The rule storage unit
For the presenter, the order of the material data transmitted from the terminal device of the presenter and the audio data and the video data transmitted from the terminal device of the current speaker is compared to other data. Store the rule information set higher,
For the participants, the order of the material data transmitted from the terminal device of the presenter, the audio data and the image data, and the audio data transmitted from the terminal device of the current speaker, The management device according to claim 5, wherein the rule information set higher than other data is stored.
前記ルール記憶部は、
前記発表者について、前記発表者の前記端末装置から送信された前記資料データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、前記発表者の前記端末装置から送信された前記資料データ、前記音声データおよび前記画像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項５に記載の管理装置。 The role assigning unit assigns a role as a presenter to any one of the terminal devices, and assigns a role as a participant to other terminal devices when making a lecture,
The rule storage unit
For the presenter, store the rule information in which the rank of the material data transmitted from the terminal device of the presenter is set higher than other data,
The rule information in which the order of the material data, the audio data, and the image data transmitted from the terminal device of the presenter is set higher than other data is stored for the participant. Management device.
請求項１に記載の管理装置から、当該端末装置の役割を受け付ける役割受付部と、
請求項１に記載の管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得部と、
前記複数の端末装置から送信されたデータを受信する受信部と、
受信したデータを再生して出力する再生出力部と、
前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定部と、
受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御部と、
を備える端末装置。 A terminal device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role accepting unit that accepts a role of the terminal device from the management device according to claim 1;
A rule acquisition unit that acquires the rule information corresponding to the received role from the management device according to claim 1;
A receiving unit for receiving data transmitted from the plurality of terminal devices;
A reproduction output unit for reproducing and outputting the received data;
A priority determining unit that determines the priority of each received data according to the rule information;
An output control unit that preferentially outputs the high priority data among the received data;
A terminal device comprising:
請求項９に記載の端末装置。 The terminal device according to claim 9, wherein the priority determination unit changes the priority when the type of data to be received is changed.
請求項９に記載の端末装置。 The terminal device according to claim 9, wherein, when a speaker is changed, the priority determination unit changes the priority.
前記優先度決定部は、再度受け付けた前記ルール情報に従って前記優先度を決定する
請求項９に記載の端末装置。 When the role is changed, the role receiving unit receives the rule information of the changed role again,
The terminal device according to claim 9, wherein the priority determination unit determines the priority according to the rule information received again.
前記ルール情報は、さらに、当該端末装置のユーザとの対話の頻度とデータ種類とのペアに、優先度を高く設定する順位を対応付けた情報であり、
前記対話の頻度が変更された場合、前記優先度決定部は、前記優先度を変更する
請求項９に記載の端末装置。 For each terminal device, further comprising a frequency detection unit for calculating the frequency of interaction with the user of the terminal device,
The rule information is information in which a priority is set in association with a pair of a frequency and a data type of interaction with the user of the terminal device,
The terminal device according to claim 9, wherein when the frequency of the conversation is changed, the priority determination unit changes the priority.
前記優先度決定部は、前記ルール情報に従って、受信したデータのうちの重要データを決定し、
前記出力制御部は、受信品質が予め定められた値より低下した場合、前記重要データ以外のデータの出力を停止させる
請求項９に記載の端末装置。 In the rule information, rules for determining important data are shown.
The priority determination unit determines important data of the received data according to the rule information;
The terminal device according to claim 9, wherein the output control unit stops the output of data other than the important data when the reception quality falls below a predetermined value.
請求項９に記載の端末装置。 The terminal device according to claim 9, wherein, when the reception quality is lower than a predetermined value, the output control unit causes lower priority data to be output with lower data quality.
前記優先度決定部は、前記ルール情報に従って、受信したデータのうちの重要データを決定し、
前記出力制御部は、受信品質が予め定められた値より低下した場合、送信元に対して、前記重要データ以外のデータの送信の停止を要求する
請求項９に記載の端末装置。 In the rule information, rules for determining important data are shown.
The priority determination unit determines important data of the received data according to the rule information;
The terminal device according to claim 9, wherein the output control unit requests the transmission source to stop transmission of data other than the important data when the reception quality is lower than a predetermined value.
請求項９に記載の端末装置。 The terminal device according to claim 9, wherein the output control unit requests the transmission source to transmit data with lower data quality with lower priority when the reception quality is lower than a predetermined value.
それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、
それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、
それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、
を備え、
前記端末装置は、
当該端末装置の役割を受け付ける役割受付部と、
受け付けた前記役割に対応する前記ルール情報を取得するルール取得部と、
前記複数の端末装置から送信されたデータを受信する受信部と、
受信したデータを再生して出力する再生出力部と、
前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定部と、
受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御部と、
を有する
伝送システム。 A transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role assignment unit for assigning a role in the communication to each of the terminal devices;
For each role, a rule storage unit that stores rule information indicating rules for determining data to be preferentially output by the terminal device to which the role is assigned;
A providing unit that provides the rule information of the assigned role to each of the terminal devices;
With
The terminal device
A role accepting unit for accepting the role of the terminal device;
A rule acquisition unit that acquires the rule information corresponding to the received role;
A receiving unit for receiving data transmitted from the plurality of terminal devices;
A reproduction output unit for reproducing and outputting the received data;
A priority determining unit that determines the priority of each received data according to the rule information;
An output control unit that preferentially outputs the high priority data among the received data;
Having a transmission system.
前記管理装置が、それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール情報記憶ステップと、
前記管理装置が、それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供ステップと、
前記端末装置が、前記管理装置から、当該端末装置の役割を受け付ける役割受付ステップと、
前記端末装置が、前記管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得ステップと、
前記端末装置が、前記複数の端末装置から送信されたデータを受信する受信ステップと、
前記端末装置が、受信したデータを再生して出力する再生出力ステップと、
前記端末装置が、前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定ステップと、
前記端末装置が、受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御ステップと、
を実行する
伝送方法。 A role assignment step in which a management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices for communication between users assigns a role in the communication to each of the terminal devices; ,
A rule information storing step for storing rule information indicating rules for determining data to be output preferentially by the terminal device to which the role is assigned, for each role of the management device;
A provision step in which the management device provides the rule information of the assigned role to each of the terminal devices;
A role accepting step in which the terminal device accepts the role of the terminal device from the management device;
A rule acquisition step in which the terminal device acquires the rule information corresponding to the received role from the management device;
A receiving step in which the terminal device receives data transmitted from the plurality of terminal devices;
A reproduction output step in which the terminal device reproduces and outputs the received data; and
A priority determining step in which the terminal device determines the priority of each received data according to the rule information;
An output control step in which the terminal device preferentially outputs the high priority data among the received data; and
Execute the transmission method.
前記端末装置が、前記管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得ステップと、
前記端末装置が、前記複数の端末装置から送信されたデータを受信する受信ステップと、
前記端末装置が、受信したデータを再生して出力する再生出力ステップと、
前記端末装置が、前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定ステップと、
前記端末装置が、受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御ステップと、
を実行する伝送方法。 A role reception step in which a terminal device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices for communication between users receives a role of the terminal device from the management device;
A rule acquisition step in which the terminal device acquires the rule information corresponding to the received role from the management device;
A receiving step in which the terminal device receives data transmitted from the plurality of terminal devices;
A reproduction output step in which the terminal device reproduces and outputs the received data; and
A priority determining step in which the terminal device determines the priority of each received data according to the rule information;
An output control step in which the terminal device preferentially outputs the high priority data among the received data; and
Execute transmission method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014170712A JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014170712A JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016046720A true JP2016046720A (en) | 2016-04-04 |
| JP6500366B2 JP6500366B2 (en) | 2019-04-17 |
Family
ID=55636878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014170712A Active JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6500366B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021532697A (en) * | 2018-09-20 | 2021-11-25 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | Methods and Controllers for Configuring Distributed Microphone Systems |
| US11847943B2 (en) | 2021-02-16 | 2023-12-19 | Seiko Epson Corporation | Screen generation method, screen generation device, and display apparatus |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005130150A (en) * | 2003-10-23 | 2005-05-19 | Sony Corp | Communication processing apparatus, and communication processing method as well as computer program |
| JP2006020028A (en) * | 2004-07-01 | 2006-01-19 | Murata Mach Ltd | Communication controller |
| JP2007329682A (en) * | 2006-06-07 | 2007-12-20 | Pioneer Electronic Corp | Electronic conference system |
-
2014
- 2014-08-25 JP JP2014170712A patent/JP6500366B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005130150A (en) * | 2003-10-23 | 2005-05-19 | Sony Corp | Communication processing apparatus, and communication processing method as well as computer program |
| JP2006020028A (en) * | 2004-07-01 | 2006-01-19 | Murata Mach Ltd | Communication controller |
| JP2007329682A (en) * | 2006-06-07 | 2007-12-20 | Pioneer Electronic Corp | Electronic conference system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021532697A (en) * | 2018-09-20 | 2021-11-25 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | Methods and Controllers for Configuring Distributed Microphone Systems |
| JP7217572B2 (en) | 2018-09-20 | 2023-02-03 | シグニファイ ホールディング ビー ヴィ | Method and controller for configuring a distributed microphone system |
| US11871189B2 (en) | 2018-09-20 | 2024-01-09 | Signify Holding B.V. | Method and a controller for configuring a distributed microphone system |
| US11847943B2 (en) | 2021-02-16 | 2023-12-19 | Seiko Epson Corporation | Screen generation method, screen generation device, and display apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6500366B2 (en) | 2019-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9077851B2 (en) | Transmission terminal, transmission system, display control method, and recording medium storing display control program | |
| JP5811334B2 (en) | Transmission management system, transmission management method, program, and transmission system | |
| JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
| JP6341023B2 (en) | Terminal device, data transmission method and program | |
| JP6372156B2 (en) | Connection control system, communication terminal, communication system, program, and connection control method | |
| JP6288281B2 (en) | Transmission control system, communication terminal, communication system, transmission control method, and program | |
| JP6115153B2 (en) | Information processing terminal, information processing method, and program | |
| JP6409438B2 (en) | Session control system, communication terminal, communication system, session control method, and program | |
| JP2015219844A (en) | Session control system, communication terminal, communication system, program, and session control method | |
| JP2016152591A (en) | Control system, communication system, control method and program | |
| JP6500366B2 (en) | Management device, terminal device, transmission system, transmission method and program | |
| JP6515446B2 (en) | Management system, program, management method and communication system | |
| JP2017022432A (en) | Communication management system, communication system, communication management method, and program | |
| JP6610103B2 (en) | Communication terminal, communication system, communication control method, and program | |
| JP6500326B2 (en) | Management system, management method and program | |
| JP6492460B2 (en) | Transmission terminal, transmission method, and program | |
| EP3038320A1 (en) | Management system, communication terminal, communication system, call control method, and computer program product | |
| EP3038039A1 (en) | Management system, communication terminal, communication system, method of management, and computer program product | |
| JP6593392B2 (en) | Transmission method, relay device, and program | |
| JP6589436B2 (en) | Communication system, communication management method, and program | |
| JP2017069932A (en) | Transmission management system, relay device selection method, and program | |
| JP6439325B2 (en) | Usage management system, fee provision method, and program | |
| JP2016146565A (en) | Management system, communication system, management method, and program | |
| JP6493416B2 (en) | Control system, communication terminal, communication system, control method, and program | |
| JP6572655B2 (en) | Communication management system, communication system, communication management method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190304 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6500366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |