JP2016046720A - Management device, terminal device, transmission system, transmission method and program - Google Patents
Management device, terminal device, transmission system, transmission method and program Download PDFInfo
- Publication number
- JP2016046720A JP2016046720A JP2014170712A JP2014170712A JP2016046720A JP 2016046720 A JP2016046720 A JP 2016046720A JP 2014170712 A JP2014170712 A JP 2014170712A JP 2014170712 A JP2014170712 A JP 2014170712A JP 2016046720 A JP2016046720 A JP 2016046720A
- Authority
- JP
- Japan
- Prior art keywords
- data
- terminal device
- role
- rule information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、管理装置、端末装置、伝送システム、伝送方法およびプログラムに関する。 The present invention relates to a management device, a terminal device, a transmission system, a transmission method, and a program.
従来、ネットワークを介して接続された複数の端末装置間において相互に映像データおよび音声データ等を送受信して、ユーザに会議等のコミュニケーションをさせる伝送システムが知られている。このような伝送システムでは、ネットワークの状態の悪化により、出力する映像データや音声データに劣化が生じる場合があった。このような場合、従来の伝送システムでは、少なくとも最低限のコミュニケーションを維持するため、例えば、音声データの帯域の割り当て比率を大きくして音質の劣化を回避していた(特許文献1)。 2. Description of the Related Art Conventionally, a transmission system is known in which video data, audio data, and the like are mutually transmitted and received between a plurality of terminal devices connected via a network to allow a user to communicate such as a conference. In such a transmission system, the video data and audio data to be output may be deteriorated due to the deterioration of the network state. In such a case, in the conventional transmission system, in order to maintain at least the minimum communication, for example, the audio data band allocation ratio is increased to avoid deterioration in sound quality (Patent Document 1).
しかしながら、このような伝送システムが利用されるシチュエーションは多岐に亘る。例えば、伝送システムがプレゼンテーションに用いられる場合もある。この場合、音質の劣化を回避したとしても、プレゼンテーションで用いる参考資料の画像等の画質が劣化すると、プレゼンテーションがスムーズに進まなくなる可能性が高い。 However, there are a wide variety of situations in which such transmission systems are used. For example, a transmission system may be used for presentations. In this case, even if the deterioration of the sound quality is avoided, if the image quality of the image of the reference material used in the presentation deteriorates, there is a high possibility that the presentation will not proceed smoothly.
本発明は、上記従来技術における課題に鑑みてなされたものであって、ユーザ同士でコミュニケーションをさせる伝送システムにおいて、コミュニケーションを確実に継続させることができる管理装置、端末装置、伝送システム、伝送方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems in the prior art, and in a transmission system that allows users to communicate with each other, a management device, a terminal device, a transmission system, a transmission method, and a communication device that can reliably continue communication. The purpose is to provide a program.
上述した課題を解決し、目的を達成するために、本発明は、ユーザ同士でコミュニケーションをするために複数の端末装置の間において少なくとも1つの種類のデータを送受信する伝送システムに備えられる管理装置であって、それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is a management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users. A role assignment unit that assigns a role in the communication to each terminal device, and a rule that determines, for each role, data to be output preferentially by the terminal device to which the role is assigned. A rule storage unit that stores the rule information; and a provision unit that provides the rule information of the assigned role to each of the terminal devices.
本発明によれば、コミュニケーションを確実に継続させることができる。 According to the present invention, communication can be reliably continued.
以下、図面を用いて、実施形態に係る伝送システム10について説明する。伝送システム10は、互いに離れた位置のユーザ間でコミュニケーションをさせるためのシステムである。
Hereinafter, the
(実施形態の全体構成)
図1は、実施形態に係る伝送システム10を示す図である。伝送システム10は、複数の端末装置20と、中継装置40と、管理装置50と、プログラム提供装置80とを備える。
(Overall configuration of the embodiment)
FIG. 1 is a diagram illustrating a
複数の端末装置20、中継装置40、管理装置50およびプログラム提供装置80は、ネットワークを介して相互に接続して、データの送受信を実現させる。ネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよいし、WANに公衆回線が含まれていてもよいし、どのようなネットワークであってもよい。
The plurality of
伝送システム10は、複数の端末装置20の間において少なくとも1つの種類のデータを送受信して、端末装置20を利用するユーザ同士でコミュニケーションをさせるコミュニケーションシステムである。本実施形態においては、伝送システム10をテレビジョン(ビデオ)会議システム等に適用した例を説明する。伝送システム10は、テレビジョン会議システムに限らず、例えば、音声会議システム、音声電話システム(携帯電話システムを含む)、テキストチャットシステム、またはホワイトボード共有システム等にも適用できる。
The
端末装置20は、ユーザにより取り扱われる。端末装置20は、各種のデータの入力、および、データの出力をする。端末装置20が入出力するデータは、端末装置20のユーザの音声を集音した音声データ、端末装置20のユーザを撮像した映像データ、端末装置20のユーザが参照する資料の画像をキャプチャした資料データ、および、テキストデータ等である。なお、テキストデータは、チャット等で用いられるメッセージを示すデータであってもよい。このような端末装置20は、ユーザが入力した情報および周囲から取得した信号を送信用のデータに変換し、中継装置40を介して他の端末装置20に送信することができる。また、端末装置20は、中継装置40を介して他の端末装置20から送信用のデータを受信し、受信したデータを再生して、ユーザに出力することができる。
The
本実施形態においては、端末装置20は、テレビジョン会議システム用の専用の装置である。これに代えて、端末装置20は、デスクトップ型またはノート型等のコンピュータであってもよいし、スマートフォンまたはタブレット端末等の情報携帯機器であってもよいし、電子黒板、プロジェクタ、自動車、産業用機器等であってもよい。端末装置20は、このような装置に限らず、ネットワークを介した通信、並びに、情報の入力および出力をすることができれば他の機器であってもよい。
In the present embodiment, the
また、端末装置20は、コンピュータ110を接続することができる。コンピュータ110は、例えばプレゼンテーション用プログラム等のアプリケーションプログラムを実行し、その実行画面をキャプチャした資料データを端末装置20へと送る。そして、端末装置20は、資料データを、中継装置40を介して他の端末装置20に送信する。また、端末装置20は、ディスプレイ120を接続することができる。ディスプレイ120が接続された端末装置20は、他の端末装置20から中継装置40を介して資料データを受信し、ディスプレイ120に表示させることができる。
The
中継装置40は、例えばサーバまたはコンピュータ等の情報処理装置である。中継装置40は、ある一の端末装置20から受信したデータを他の端末装置20へと転送する。
The
管理装置50は、例えばサーバまたはコンピュータ等の情報処理装置である。管理装置50は、複数の端末装置20の間の中継装置40を介した通信を確立し、これら複数の端末装置20によるセッションを形成する。
The
また、管理装置50は、セッションを形成した端末装置20間で行われるコミュニケーションの種別(会議モード)を設定する。例えば、管理装置50は、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードを設定することができる。議長無しの討論モードは、それぞれの端末装置20のユーザに、議長無しで討論をさせるためのモードである。議長有りの討論モードは、一人の議長の管理の下で、それぞれの端末装置20のユーザに討論をさせるためのモードである。プレゼンテーションモードは、一人の発表者にプレゼンテーションをさせるモードである。講演会モードは、一人の発表者に講演会をさせるモードである。管理装置50は、このようなモードの他に、2、3人の代表者に主に討論をさせる討論会モード、パネルディスカッション等をさせるモードを設定できてもよい。
In addition, the
また、管理装置50は、それぞれの端末装置20に、会議モードに応じた役割を割り当てる。例えば、議長無しの討論モードの場合、管理装置50は、全ての端末装置20に、参加者の役割を割り当てる。また、議長有りの討論モードの場合、管理装置50は、1つの端末装置20に議長の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。また、プレゼンテーションモードの場合、管理装置50は、1つの端末装置20に発表者の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。また、講演会モードの場合、管理装置50は、1つの端末装置20に発表者の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。
Further, the
プログラム提供装置80は、例えばサーバまたはコンピュータ等の情報処理装置である。プログラム提供装置80は、端末装置20に各種機能または手段を実現させるためのプログラムを記憶し、端末装置20にそのプログラムを送信することができる。また、プログラム提供装置80は、中継装置40に各種機能または手段を実現させるためのプログラムを記憶し、中継装置40にそのプログラムを送信することができる。また、プログラム提供装置80は、管理装置50に各種機能または手段を実現させるためのプログラムを記憶し、管理装置50にそのプログラムを送信することができる。
The program providing apparatus 80 is an information processing apparatus such as a server or a computer. The program providing device 80 can store a program for causing the
図2は、伝送システム10でのデータの伝送処理を示す図である。伝送システム10では、中継装置40が、端末装置20間のデータ(音声データ、映像データおよび資料データ等)の転送を制御する。また、伝送システム10では、管理装置50が、セッションの形成、会議モードの設定、および、役割の割り当て等のための管理用データの転送を制御する。
FIG. 2 is a diagram illustrating data transmission processing in the
中継装置40および管理装置50は、1つのサーバまたはコンピュータ等により実現されてもよいし、複数のサーバまたはコンピュータが連携して動作することにより実現されてもよい。また、中継装置40および管理装置50は、1つのサーバまたはコンピュータに両者が実現されてもよい。また、管理装置50は、何れかの端末装置20により実現されてもよい。
The
(端末装置20の外観およびハードウェア構成)
図3は、端末装置20の外観の一例を示す図である。なお、図3において、水平面内における予め定められた方向をX軸方向(前後方向)とする。また、図3において、水平面内でX軸方向に直交する方向をY軸方向、X軸方向およびY軸方向に直交する方向(鉛直方向)をZ軸方向とする。
(Appearance and hardware configuration of terminal device 20)
FIG. 3 is a diagram illustrating an example of the appearance of the
図3に示すように、端末装置20は、筐体1100、アーム1200、およびカメラハウジング1300を備える。筐体1100の後側壁面1110には、不図示の複数の吸気孔が形成されている。筐体1100の前側壁面1120には、複数の排気孔1121が形成されている。これにより、端末装置20は、筐体1100に内蔵された冷却ファンの駆動によって、後方の外気を取り込み、排気孔1121を介して前方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成されている。これにより、端末装置20は、後述する内蔵型のマイクロフォン114によって、ユーザが発声した音声、周囲の音、雑音等を収音することができる。
As illustrated in FIG. 3, the
筐体1100の上部の右側には、操作パネル1150が形成されている。操作パネル1150には、複数の操作ボタン108a〜108e、および、電源スイッチ109が設けられている。なお、操作ボタン108a〜108eをまとめて、操作ボタン108と表す場合もある。また、操作パネル1150には、後述する内蔵型のスピーカ115からの出力音を通すための複数の音出力孔1151が形成されている。
An
また、筐体1100の上部の左側には、アーム1200およびカメラハウジング1300を収容するための収容凹部1160が形成されている。筐体1100の右側壁面1130には、後述する外部機器接続I/F(Interface)118に対して、電気的にケーブルを接続するための複数の接続口1132a〜1132cが設けられている。筐体1100の左側壁面1140には、後述するディスプレイI/F117に対して電気的にディスプレイ120用のケーブル121を接続するための不図示の接続口が設けられている。
An
アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられている。アーム1200は、筐体1100に対して、例えば135度のチルト角θ1の範囲で、上下方向に回転可能となっている。なお、図3には、チルト角θ1が90度の状態のアーム1200が示されている。
The
カメラハウジング1300には、後述する内蔵型のカメラ112が設けられている。これにより、端末装置20は、ユーザ、書類、および部屋等を撮像することができる。また、カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。カメラハウジング1300は、アーム1200に対して、図3で示されている状態を0度として、±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能となっている。
The
図4は、端末装置20のハードウェア構成を示す図である。端末装置20は、バスライン100と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、フラッシュメモリ104と、SSD(Solid State Drive)105と、メディアドライブ107と、操作ボタン108と、電源スイッチ109と、ネットワークI/F111と、カメラ112と、撮像素子I/F113と、マイクロフォン114と、スピーカ115と、音声入出力I/F116と、ディスプレイI/F117と、外部機器接続I/F118とを備える。
FIG. 4 is a diagram illustrating a hardware configuration of the
バスライン100は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
The
CPU101は、端末装置20全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。フラッシュメモリ104は、端末装置20用の転送制御プログラム、映像データ、および音声データ等の各種データを記憶する。端末装置20は、フラッシュメモリ104に代えて、EEPROM(Electrically Erasable and Programmable ROM)等を備えてもよい。SSD105は、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ107は、端末装置20に対して着脱可能なフラッシュメモリ等の記録メディア106に対するデータの読み出しまたは書き込み(記憶)を制御する。
The CPU 101 controls the operation of the entire
操作ボタン108は、データの転送先を選択する場合等に、ユーザの操作情報を入力するためのボタンである。電源スイッチ109は、端末装置20の電源のオン/オフを切り換えるためのボタンである。ネットワークI/F111は、ネットワークを介した通信を制御する。
The
カメラ112は、CPU101の制御に従って被写体を撮像して映像データを得る。カメラ112は、レンズ、および、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。固体撮像素子には、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等が用いられる。
The
撮像素子I/F113は、カメラ112の駆動を制御する。マイクロフォン114は、内蔵型であって、音を入力する。スピーカ115は、内蔵型であって、音を出力する。音声入出力I/F116は、CPU101の制御に従ってマイクロフォン114およびスピーカ115との間で音信号の入出力を処理する。
The image sensor I /
ディスプレイI/F117は、CPU101の制御に従って外付けのディスプレイ120に映像データを伝送する。ディスプレイ120は、被写体の画像および操作用アイコン等を表示する。ディスプレイ120は、ケーブル121によってディスプレイI/F117に接続される。ケーブル121は、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)またはDVI(Digital Video Interactive)信号用のケーブルであってもよい。
The display I / F 117 transmits video data to the
外部機器接続I/F118は、接続口1132a〜1132cに接続され、CPU101の制御に従って外部機器を制御するためのインターフェイス回路である。外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイクロフォン、および外付けスピーカ等の外部機器がそれぞれ接続可能である。本実施形態においては、外部機器接続I/F118は、ケーブル122を介して、資料データの表示用のコンピュータ110と接続される。
The external device connection I / F 118 is an interface circuit that is connected to the
CPU101は、外付けカメラが接続された場合には、内蔵型のカメラ112に優先して、外付けカメラを駆動させる。また、CPU101は、外付けマイクロフォンが接続された場合および外付けスピーカが接続された場合には、内蔵型のマイクロフォン114および内蔵型のスピーカ115に優先して、外付けマイクロフォンおよび外付けスピーカを駆動させる。
When an external camera is connected, the CPU 101 prioritizes the built-in
なお、カメラ112、マイクロフォン114およびスピーカ115は、必ずしも内蔵されている必要はなく、外付けカメラ、外付けマイクロフォン、および外付けスピーカのみが接続可能であってもよい。また、ディスプレイ120は、端末装置20に内蔵されていてもよい。また、端末装置20は、ディスプレイ120に代えて、プロジェクタ等の投影装置が接続されてもよい。
Note that the
(中継装置40、管理装置50およびプログラム提供装置80のハードウェア構成)
図5は、中継装置40、管理装置50およびプログラム提供装置80のハードウェア構成を示す図である。なお、中継装置40、管理装置50およびプログラム提供装置80の外観は、一般的なサーバまたはコンピュータと同様であるので説明を省略する。また、管理装置50およびプログラム提供装置80は、中継装置40と同様のハードウェア構成であるので、中継装置40のハードウェア構成を代表して説明する。
(Hardware configurations of
FIG. 5 is a diagram illustrating a hardware configuration of the
中継装置40は、CPU501と、ROM502と、RAM503と、HD(Hard Disk)504と、HDD(Hard Disk Drive)505と、メディアドライブ507と、ディスプレイ508と、ネットワークI/F509と、バスライン510と、キーボード511と、マウス512と、CD−ROMドライブ514とを備える。
The
CPU501は、中継装置40全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、中継装置40用の転送制御プログラム等の各種データを記憶する。HDD505は、CPU501の制御に従ってHD504に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ507は、フラッシュメモリ等の着脱可能な記録メディア506に対するデータの読み出しまたは書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウィンドウ、文字、または画像などの各種情報を表示する。ネットワークI/F509は、ネットワークを介した通信を制御する。
The
キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備える。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う。CD−ROMドライブ514は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disk Read Only Memory)513に対する各種データの読み出しまたは書き込みを制御する。バスライン510は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
The keyboard 511 includes a plurality of keys for inputting characters, numerical values, various instructions, and the like. The
なお、図5には、中継装置40が1つのコンピュータにより構成される場合のハードウェア構成を示した。しかし、中継装置40は、互いにネットワーク等により接続され、連携して動作する複数のコンピュータにより構成されていてもよい。
FIG. 5 shows a hardware configuration when the
(端末装置20、中継装置40および管理装置50の機能構成)
図6は、管理装置50の機能構成を示す図である。管理装置50は、図5に示したCPU501がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図6に示す各ブロックの機能が実現される。なお、図6に示した管理装置50は、一部がハードウェアにより構成されていてもよい。
(Functional configuration of
FIG. 6 is a diagram illustrating a functional configuration of the
管理装置50は、送受信部51と、端末情報記憶部52と、セッション確立部53と、セッション記憶部54と、会議モード記憶部55と、会議モード受付部56と、役割割当部57と、割当記憶部58と、ルール記憶部59と、提供部60とを有する。送受信部51は、ネットワークを介して、端末装置20および中継装置40とデータの送受信をする。
The
端末情報記憶部52は、それぞれの端末装置20にアクセスするために必要な情報を記憶する。例えば、端末情報記憶部52は、図7に示されるような端末管理テーブルを記憶する。端末管理テーブルには、それぞれの端末装置20を識別するための端末ID、それぞれの端末装置20を特定するための名称、および、ネットワーク上のIPアドレス等が格納される。なお、端末IDは端末固有の識別情報であってもよいし、端末を利用するユーザを識別するための識別情報であってもよい。
The terminal information storage unit 52 stores information necessary for accessing each
セッション確立部53は、複数の端末装置20により形成されるセッションを確立する。セッションを形成した複数の端末装置20は、中継装置40を介して互いにデータの送受信をすることが可能となる。
The session establishment unit 53 establishes a session formed by the plurality of
セッション記憶部54は、セッション確立部53により確立されたセッションに関する情報を記憶する。例えば、セッション記憶部54は、図8に示されるようなセッションテーブルを記憶する。セッションテーブルには、セッションを識別するためのセッションID、セッションを形成する端末装置20のIPアドレス等が格納される。
The
会議モード記憶部55は、会議モードに関する情報を記憶する。例えば、会議モード記憶部55は、図9に示されるような、会議モードテーブルを記憶する。会議モードテーブルは、設定可能な会議モードを特定する情報と、その会議モードにおいて端末装置20に割り当てられる役割および割り当て数とを格納する。
The conference
会議モードは、セッションを形成した端末装置20間で行われるコミュニケーションの種別を表す。会議モードは、セッションの形成の際に登録される。本実施形態においては、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードが設定可能である。
The conference mode represents the type of communication performed between the
議長無しの討論モードでは、セッションを形成する複数の端末装置20の全てに、参加者の役割が割り当てられる。また、議長有りの討論モードでは、セッションを形成する複数の端末装置20のうちの1つに議長の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。プレゼンテーションモードでは、セッションを形成する複数の端末装置20のうちの1つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。講演会モードでは、セッションを形成する複数の端末装置20のうちの1つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。
In the discussion mode without the chairperson, the role of the participant is assigned to all of the plurality of
会議モード受付部56は、セッションを形成した何れかの端末装置20から、何れかの会議モードの指定を受け付ける。会議モード受付部56は、会議モードを受け付けると、そのセッションの会議モードを登録する。
The conference
役割割当部57は、セッションを形成するそれぞれの端末装置20に、コミュニケーションにおける役割を割り当てる。具体的には、役割割当部57は、会議モード受付部56が受け付けた会議モードについて、それぞれの端末装置20に対して割り当てるべき役割を会議モード記憶部55から読み出す。そして、役割割当部57は、読み出した役割をそれぞれの端末装置20に割り当てる。役割割当部57は、それぞれの端末装置20に役割を選択させ、その回答に従って役割を割り当ててもよい。また、役割割当部57は、1つの端末装置20にのみ割り当て可能な役割を、複数の端末装置20が選択した場合には、先着順またはランダムに1つの端末装置20にその役割を割り当ててもよい。また、役割割当部57は、必ず1つの端末装置20に割り当てなければならない役割を、何れの端末装置20も選択しなかった場合には、ランダムまたは予め定められたアルゴリズムで何れか1つの端末装置20にその役割を割り当ててもよい。
The
割当記憶部58は、セッションを形成するそれぞれの端末装置20の役割を記憶する。例えば、割当記憶部58は、図10に示すような役割テーブルを記憶する。役割テーブルには、セッションID、会議モード、および、参加している端末装置20のIPアドレスと役割とを対応付けた情報が格納される。
The
ルール記憶部59は、それぞれの役割毎に、当該役割が割り当てられた端末装置20が優先して出力すべきデータを決定するルールを示したルール情報を記憶する。ルール情報は、例えば、ネットワークのトラフィック混雑等により何れかのデータの受信品質が劣化した場合、セッションを形成している複数の端末装置20から出力される複数のデータのうち、何れのデータを優先して出力するかを決定するための情報である。端末装置20は、このルール情報を参照して、複数のデータのそれぞれに優先度を設定し、受信品質が劣化した場合に優先度の高いデータを優先して出力する。
The
ルール情報は、端末装置20において解析できるデータまたはアルゴリズムであれば、どのような形式で記述されていてもよい。本実施形態においては、ルール記憶部59は、詳細を後述する図13から図19に示すような、ルール情報を記憶する。
The rule information may be described in any format as long as it is data or an algorithm that can be analyzed by the
提供部60は、セッションを形成したそれぞれの端末装置20に、割り当てられた役割のルール情報を提供する。より具体的には、提供部60は、セッションを形成したそれぞれの端末装置20の役割に対応するルール情報を、ルール記憶部59から読み出して送信する。これにより、それぞれの端末装置20は、割り当てられた役割に応じたルール情報を取得することができる。
The providing
図11は、中継装置40の機能構成を示す図である。中継装置40は、図5に示したCPU501がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図11に示す各ブロックの機能が実現される。なお、図11に示した中継装置40の機能は、一部がハードウェアにより構成されていてもよい。
FIG. 11 is a diagram illustrating a functional configuration of the
中継装置40は、送受信部41と、セッション管理部42と、データ配信部43と、話者検出部44と、話者通知部45とを有する。送受信部51は、ネットワークを介して、端末装置20および管理装置50とデータの送受信をする。
The
セッション管理部42は、管理装置50により確立されたセッションに関する情報を管理装置50から取得して記憶する。例えば、セッション管理部42は、図8に示したような、セッションテーブルを記憶する。
The
データ配信部43は、セッションを形成する何れかの端末装置20から送信されたデータを、セッションを形成する複数の端末装置20のそれぞれへと配信する。
The
話者検出部44は、それぞれの端末装置20から送信された音声データから、現在の発話者の端末装置20を検出する。話者検出部44は、一例として、音量が最も大きい音声データを送信している端末装置20を、現在の発話者の端末装置20として特定する。
The
話者通知部45は、現在の発話者の端末装置20が切り替わった場合、切り替わり後の現在の発話者の端末装置20を特定する情報を、セッションを形成する複数の端末装置20の全てへと通知する。例えば、話者通知部45は、切り替わり後の現在の発話者の端末装置20のIPアドレスを通知する。
When the current speaker's
図12は、端末装置20の機能構成を示す図である。端末装置20は、図4に示したCPU101がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図12に示す各ブロックの機能が実現される。なお、図12に示した端末装置20の機能は、一部がハードウェアにより構成されていてもよい。
FIG. 12 is a diagram illustrating a functional configuration of the
端末装置20は、撮像部21と、音声入力部22と、外部機器接続部23と、送信データ生成部24と、送信部25と、受信部26と、再生出力部27と、音声出力部28と、表示制御部29と、役割受付部31と、ルール取得部33と、発話情報取得部34と、優先度決定部35と、優先度記憶部36と、品質検出部37と、出力制御部38とを有する。
The
撮像部21は、端末装置20のユーザを撮像して映像データを生成する。音声入力部22は、端末装置20のユーザの発した音を収音して音声データに変換する。外部機器接続部23は、端末装置20と接続される外部機器とのインターフェイスである。外部機器接続部23は、コンピュータ110と接続され、コンピュータ110で表示されている表示画面をキャプチャした画像データを、資料データとして生成する。
The
送信データ生成部24は、撮像部21により生成された映像データ、音声入力部22に収音された音声データおよび外部機器接続部23により生成された資料データを、ネットワークを介して送信するための送信データに変換する。送信部25は、送信データ生成部24により生成された送信データをネットワークを介して中継装置40に送信する。これにより、中継装置40は、端末装置20から送信された送信データを、セッションを形成する複数の端末装置20のそれぞれへと配信することができる。また、送信部25は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置50に送信する。
The transmission data generation unit 24 transmits video data generated by the
受信部26は、それぞれの端末装置20から送信された送信データを中継装置40を介して受信する。また、受信部26は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置50から受信する。また、受信部26は、中継装置40から、現在の発話者の端末装置20を示す情報を受信する。
The receiving
再生出力部27は、受信部26が中継装置40から受信したデータを取得する。そして、再生出力部27は、受信したデータをデコード等して再生し、映像データ、音声データおよび資料データ等を出力する。
The
音声出力部28は、再生出力部27から出力された音声データに応じた音声を外部に出力する。これにより、音声出力部28は、それぞれの端末装置20のユーザが発した音を出力することができる。
The
表示制御部29は、再生出力部27から出力された映像データに応じた画像をディスプレイ120に表示させる。これにより、表示制御部29は、それぞれの端末装置20のユーザの画像を表示させることができる。また、表示制御部29は、再生出力部27から出力された資料データに応じた画像をディスプレイ120に表示させる。これにより、表示制御部29は、それぞれの端末装置20に接続されたコンピュータ110に表示されたプレゼンテーションデータ等の表示画面をディスプレイ120に表示させることができる。
The
役割受付部31は、受信部26が管理装置50から受信したデータを取得する。そして、役割受付部31は、管理装置50から、当該端末装置20の役割を受け付ける。より具体的には、役割受付部31は、当該端末装置20が含まれるセッションの会議モード、および、会議モードでの当該端末装置20の役割を受け付ける。また、役割受付部31は、セッションを形成する他の端末装置20のそれぞれに割り当てられた役割も取得する。
The
ルール取得部33は、受信部26が管理装置50から受信したデータを取得する。そして、ルール取得部33は、管理装置50から、受け付けた役割に対応するルール情報を取得する。より具体的には、ルール取得部33は、当該端末装置20が含まれるセッションの会議モードにおける、当該端末装置20の役割に対応するルール情報を取得する。なお、ルール取得部33は、全ての会議モードについての全ての役割のルール情報を予め取得しておき、その中から対応するルール情報を選択してもよい。
The
発話情報取得部34は、受信部26が中継装置40から受信したデータを取得する。そして、発話情報取得部34は、中継装置40から、現在の発話者の端末装置20を取得する。そして、発話情報取得部34は、セッションを形成する複数の端末装置20のユーザが、どのような順序で発話をしたかを示す発話順序情報を生成する。
The utterance information acquisition unit 34 acquires the data received by the
優先度決定部35は、ルール取得部33が取得したルール情報に従って、受信部26が中継装置40を介して受信すべきデータのそれぞれの優先度を決定する。また、優先度決定部35は、ルール取得部33が取得したルール情報に従って、受信部26が中継装置40を介して受信すべきデータのうちの重要データを決定する。この場合において、優先度決定部35は、データの種類、データを送信した端末装置20に割り当てられた役割、および、ユーザの発話順序に基づき、受信部26が中継装置40を介して受信すべきデータのそれぞれの優先度、および、重要データを決定する。優先度記憶部36は、優先度決定部35が決定したそれぞれのデータの優先度を記憶する。
The
品質検出部37は、受信部26が受信するデータの受信品質を検出する。品質検出部37は、一例として、データの出力遅延時間またはネットワークのトラフィックの混雑度を受信品質として検出する。
The quality detection unit 37 detects the reception quality of the data received by the
出力制御部38は、優先度記憶部36が記憶しているデータの優先度に基づき、受信するデータのうち優先度の高いデータを優先して出力させる。出力制御部38は、一例として、優先度の高いデータほど先に再生処理がされるように再生出力部27を制御する。また、出力制御部38は、優先度の高いデータほど、再生処理を実行するためのリソースを多く割り当てるように、再生出力部27を制御する。
Based on the priority of the data stored in the
また、出力制御部38は、受信品質が予め定められた値より低下した場合、重要データ以外のデータの出力を停止させてもよい。また、出力制御部38は、受信品質が予め定められた値より低下した場合、優先度の低いデータほど低いデータ品質で出力させてもよい。また、出力制御部38は、受信品質が予め定められた値より低下した場合、送信元に対して、重要データ以外のデータの送信の停止を要求してもよい。出力制御部38は、受信品質が予め定められた値より低下した場合、送信元に対して、優先度の低いデータほど低いデータ品質で送信することを要求してもよい。
Further, the
(ルール情報の具体的な説明)
図13から図19に示すルール情報は、データを送信した端末装置20の役割とデータ種類とのペア、または、データを送信した端末装置20のユーザの発話順位とデータ種類とのペア毎に、順位が対応付けられている。端末装置20は、ルール情報に基づき、セッションを形成する複数の端末装置20の全てから送信される全てのデータに優先度を設定する。この場合において、端末装置20は、順位の高いデータから順に、優先度を高く設定する。すなわち、端末装置20は、ルール情報に示された第1位のデータを最も優先度を高くし、第2位のデータを次に優先度を高くし、第3位のデータを次に優先度を高くするといったように、優先度を設定する。
(Specific explanation of rule information)
The rule information shown in FIG. 13 to FIG. 19 includes, for each pair of the role and data type of the
図13から図19に示すルール情報において、“LoudestSpeaker_0”は、現在の発話者の端末装置20を表す。また、図13から図19に示すルール情報において、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者(LoudestSpeaker_0)から発話順位に従って優先度を高く設定することを示す。すなわち、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者(LoudestSpeaker_0)の端末装置20の優先度を最も高く設定し、次に、直前の発話者(LoudestSpeaker_1)の端末装置20の優先度を高く設定し、次に、“LoudestSpeaker_1”および“LoudestSpeaker_0”以外で直近に発話した発話者(LoudestSpeaker_2)の端末装置20の優先度を高く設定することを示す。なお、nは、セッションに参加している端末装置20の数を表す。
In the rule information shown in FIGS. 13 to 19, “LoudestSpeaker — 0” represents the
図13から図19に示すルール情報において、“Audio”は、音声データを表し、“DataShare”は、資料データを表し、“Video”は、映像データを表す。 In the rule information shown in FIGS. 13 to 19, “Audio” represents audio data, “DataShare” represents material data, and “Video” represents video data.
さらに、図13から図19に示すルール情報には、重要データを決定するためのルールが示されている。本実施形態においては、ルール情報は、重要データとそれ以外のデータとを分ける閾順位が記述されている。それぞれの端末装置20は、セッションを形成する複数の端末装置20の全てから送信される複数のデータのうち、ルール情報における閾順位以上の順位のデータを重要データとして決定する。
Furthermore, rules for determining important data are shown in the rule information shown in FIGS. In the present embodiment, the rule information describes a threshold order for dividing important data from other data. Each
図13は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報には、図13に示すような順で優先度を高くすることが記述されている。 FIG. 13 is a diagram illustrating an example of rule information of participants in a discussion mode without a chairperson. In the rule information of the participant in the discussion mode without the chairman, it is described that the priority is increased in the order as shown in FIG.
すなわち、図13のルール情報において、第1位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム10は、全ての参加者に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 13, the first place is voice data transmitted from all the
また、図13のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
Further, in the rule information of FIG. 13, the second place is the material data transmitted from the
また、図13のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、発話者の映像を確実に伝達することができる。
Further, in the rule information of FIG. 13, the third place is video data transmitted from the
また、図13のルール情報において、第4位は、現在の発話者以外の端末装置20から送信された資料データである。なお、現在の発話者以外の端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図13のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された映像データである。現在の発話者以外の端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 13, the fourth place is material data transmitted from the
さらに、図13のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長無しの討論モードの参加者の端末装置20は、全ての端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、および、現在の発話者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長無しの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 13, the third rank is a threshold rank that separates important data from other data. In other words, the
図14は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報には、図14に示すような順で優先度を高くすることが記述されている。 FIG. 14 is a diagram illustrating an example of the rule information of the chair in the discussion mode with the chair. The rule information of the chairperson in the discussion mode with the chairperson describes that the priority is increased in the order shown in FIG.
すなわち、図14のルール情報において、第1位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム10は、議長に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 14, the first place is voice data transmitted from all the
また、図14のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、議長に、発話者が説明に参照している資料を確実に伝達することができる。
Further, in the rule information of FIG. 14, the second place is the material data transmitted from the
また、図14のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、議長に、発話者の映像を確実に伝達することができる。
Further, in the rule information of FIG. 14, the third place is video data transmitted from the
また、図14のルール情報において、第4位は、現在の発話者以外の端末装置20から送信された資料データである。なお、現在の発話者以外の端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図14のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された映像データである。現在の発話者以外の端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 14, the fourth place is material data transmitted from the
さらに、図14のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの議長の端末装置20は、全ての端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、および、現在の発話者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 14, the third rank is a threshold rank that separates important data from other data. That is, the
図15は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報には、図15に示すような順で優先度を高くすることが記述されている。 FIG. 15 is a diagram illustrating an example of rule information of participants in a discussion mode with a chairperson. The rule information of the participants in the discussion mode with the chairman describes that the priority is increased in the order shown in FIG.
すなわち、図15のルール情報において、第1位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、全ての参加者に、現在の発話者の音声を確実に伝達して、確実に討論を進行させることができる。
That is, in the rule information of FIG. 15, the first place is voice data transmitted from the
また、図15のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
In the rule information of FIG. 15, the second place is material data transmitted from the
また、図15のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、発話者の映像を確実に伝達することができる。
Also, in the rule information of FIG. 15, the third place is video data transmitted from the
また、図15のルール情報において、第4位は、議長の端末装置20から送信された音声データである。これにより、伝送システム10は、全ての参加者に、議長の音声を確実に伝達し、確実に討論を進行させることができる。
In the rule information of FIG. 15, the fourth place is voice data transmitted from the
また、図15のルール情報において、第5位は、議長の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、議長が説明に参照している資料を確実に伝達することができる。
In the rule information of FIG. 15, the fifth place is the material data transmitted from the
また、図15のルール情報において、第6位は、議長の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、議長の映像を確実に伝達することができる。
In the rule information of FIG. 15, the sixth place is video data transmitted from the
また、図15のルール情報において、第7位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図15のルール情報において、第8位は、現在の発話者を除いた全ての端末装置20から送信された資料データである。なお、現在の発話者を除いた全ての端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図15のルール情報において、第9位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。なお、現在の発話者を除いた全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
In the rule information of FIG. 15, the seventh place is voice data transmitted from all the
さらに、図15のルール情報において、第6位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの参加者の端末装置20は、現在の発話者の端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、現在の発話者の端末装置20から送信された映像データ、議長の端末装置20から送信された音声データ、議長の端末装置20から送信された資料データ、および、議長の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 15, the sixth rank is a threshold rank that separates important data from other data. In other words, the
図16は、プレゼンテーションモードの発表者のルール情報の一例を示す図である。プレゼンテーションモードの発表者のルール情報には、図16に示すような順で優先度を高くすることが記述されている。 FIG. 16 is a diagram illustrating an example of the rule information of the presenter in the presentation mode. The rule information of the presenter in the presentation mode describes that the priority is increased in the order as shown in FIG.
すなわち、図16のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
That is, in the rule information of FIG. 16, the first place is the material data transmitted from the presenter's
図16のルール情報において、第2位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、発表者に、質問者等の音声を確実に伝達することができる。
In the rule information of FIG. 16, the second place is voice data transmitted from the
また、図16のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、発表者に、質問者の映像を確実に伝達することができる。
Also, in the rule information of FIG. 16, the third place is video data transmitted from the
また、図16のルール情報において、第4位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図16のルール情報において、第5位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。なお、現在の発話者を除いた全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
Also, in the rule information of FIG. 16, the fourth place is voice data transmitted from all the
さらに、図16のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの発表者の端末装置20は、発表者の端末装置20から送信された資料データ、現在の発話者の端末装置20から送信された音声データ、および、現在の発話者の端末装置20から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
Further, in the rule information of FIG. 16, the third rank is a threshold rank that separates important data and other data. In other words, the
図17は、プレゼンテーションモードの参加者のルール情報の一例を示す図である。プレゼンテーションモードの参加者のルール情報には、図17に示すような順で優先度を高くすることが記述されている。 FIG. 17 is a diagram illustrating an example of rule information for participants in the presentation mode. The rule information of the participants in the presentation mode describes that the priority is increased in the order as shown in FIG.
すなわち、図17のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、参加者に、発表者の資料データを確実に伝送させることができる。
That is, in the rule information of FIG. 17, the first place is the material data transmitted from the presenter's
図17のルール情報において、第2位は、発表者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、発表者の音声を確実に伝達することができる。
In the rule information of FIG. 17, the second place is voice data transmitted from the
図17のルール情報において、第3位は、発表者の端末装置20から送信された映像データである。これにより、伝送システム10は、参加者に、発表者の映像を確実に伝達することができる。
In the rule information of FIG. 17, the third place is video data transmitted from the presenter's
図17のルール情報において、第4位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、質問者等の音声を確実に伝達することができる。
In the rule information of FIG. 17, the fourth place is voice data transmitted from the
また、図17のルール情報において、第5位は、現在の発話者の端末装置20から送信された映像データである。図17のルール情報において、第6位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。
Also, in the rule information of FIG. 17, the fifth place is video data transmitted from the
さらに、図17のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの参加者の端末装置20は、発表者の端末装置20から送信された資料データ、発表者の端末装置20から送信された音声データ、発表者の端末装置20から送信された映像データ、および、現在の発話者の端末装置20から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 17, the fourth rank is a threshold rank that separates important data from other data. That is, the
図18は、講演会モードの発表者のルール情報の一例を示す図である。講演会モードの発表者のルール情報には、図18に示すような順で優先度を高くすることが記述されている。 FIG. 18 is a diagram showing an example of rule information for presenters in the lecture mode. The rule information of the presenter in the lecture mode describes that the priority is increased in the order shown in FIG.
すなわち、図18のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
That is, in the rule information of FIG. 18, the first place is the material data transmitted from the presenter's
また、図18のルール情報において、第2位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図18のルール情報において、第3位は、全ての端末装置20から送信された映像データである。なお、全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 18, the second place is voice data transmitted from all the
さらに、図18のルール情報において、第1位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの発表者の端末装置20は、発表者の端末装置20から送信された資料データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、講演会でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 18, the first rank is a threshold rank that separates important data from other data. That is, the
図19は、講演会モードの参加者のルール情報の一例を示す図である。講演会モードの参加者のルール情報には、図19に示すような順で優先度を高くすることが記述されている。 FIG. 19 is a diagram illustrating an example of rule information of participants in the lecture mode. The rule information of the participants in the lecture mode describes that the priority is increased in the order shown in FIG.
すなわち、図19のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、参加者に、発表者の資料データを確実に伝送させることができる。
That is, in the rule information of FIG. 19, the first place is the material data transmitted from the presenter's
図19のルール情報において、第2位は、発表者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、発表者の音声を確実に伝達することができる。
In the rule information of FIG. 19, the second place is voice data transmitted from the
図19のルール情報において、第3位は、発表者の端末装置20から送信された映像データである。これにより、伝送システム10は、参加者に、発表者の映像を確実に伝達することができる。
In the rule information of FIG. 19, the third place is video data transmitted from the
また、図19のルール情報において、第4位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。
Further, in the rule information of FIG. 19, the fourth place is voice data transmitted from all the
さらに、図19のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの参加者の端末装置20は、発表者の端末装置20から送信された資料データ、発表者の端末装置20から送信された音声データ、および、発表者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、講演会でのコミュニケーションを確実に進行させることができる。
Furthermore, in the rule information of FIG. 19, the third rank is a threshold rank that divides important data from other data. That is, the
図20は、端末装置20が受信したデータに対して決定された優先度を示す図である。端末装置20は、図13から図19に示したルール情報に従って、中継装置40から受信した複数の端末装置20から送信されたデータに対して優先度を設定する。
FIG. 20 is a diagram illustrating priorities determined for data received by the
例えば、端末装置20は、図20に示すように、それぞれのデータを識別するデータIDに対応付けて、優先度を1から降順に割り当てる。なお、図20の例においては、優先度1が最も優先度が高い。また、端末装置20は、図13から図19に示したルール情報に従って、それぞれのデータIDに対応付けて、重要データであるか否かを設定する。図20の例においては、優先度1から4のデータが重要データとして設定されている。そして、それぞれの端末装置20は、図20に示すように設定された優先度に従って、優先度の高いデータを優先して出力する。
For example, as illustrated in FIG. 20, the
(伝送システム10の処理シーケンス)
図21は、会議の開始前におけるデータのやり取りおよび処理を示す図である。会議開始前において、伝送システム10は、図21に示すシーケンスで処理を実行する。
(Processing sequence of transmission system 10)
FIG. 21 is a diagram showing data exchange and processing before the start of the conference. Before the start of the conference, the
まず、第1の端末装置20−1は、ユーザの操作に応じてセッションを形成する宛先となる端末装置20を指定し(ステップS11)、開始指示を管理装置50に送信する(ステップS12)。続いて、管理装置50は、宛先に指定された複数の端末装置20の間でセッションを確立する(ステップS13)。これにより、セッションを形成する複数の端末装置20の間で中継装置40を介してデータの送受信が可能となる。
First, the first terminal device 20-1 designates a
続いて、セッションを形成した第1の端末装置20−1は、ユーザの操作に応じて会議モードを指定し(ステップS14)、指定された会議モードを管理装置50に通知する(ステップS15)。続いて、管理装置50は、セッションにおける会議モードを設定する(ステップS16)。
Subsequently, the first terminal device 20-1 that formed the session designates the conference mode according to the user's operation (step S14), and notifies the
続いて、管理装置50は、セッションを形成するそれぞれの端末装置20に対して、役割を問い合わせる(ステップS17−1,S17−2,S17―3)。続いて、それぞれの端末装置20は、ユーザの操作に応じて、役割を選択し(ステップS18−1,S18−2,S18―3)、結果を管理装置50に送信する(ステップS19−1,S19−2,S19―3)。
Subsequently, the
続いて、管理装置50は、それぞれの端末装置20から受信した結果に基づき、セッションを形成するそれぞれの端末装置20に対して役割を割り当てる(ステップS20)。この場合において、管理装置50は、それぞれの端末装置20により選択された役割を割り当てる。しかし、管理装置50は、1つの端末装置20にしか割り当てることができない役割を複数の端末装置20が選択した場合等においては、例えば先着順等のように予め定められたアルゴリズムで役割を割り当ててもよい。また、管理装置50は、必ず割り当てなければならない役割を何れの端末装置20も選択しなかった場合には、例えば予め定められたアルゴリズムでその役割を割り当ててもよい。
Subsequently, the
続いて、管理装置50は、それぞれの端末装置20に割り当てられた役割、および、ルール情報を中継装置40に送信する(ステップS21)。続いて、中継装置40は、それぞれの端末装置20に対して役割およびルール情報を送信する(ステップS22−1,S22−2,S22―3)。
Subsequently, the
そして、それぞれの端末装置20は、セッションを形成する複数の端末装置20から受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を決定する(ステップS23−1,S23−2,S23―3)。
And each
図22は、通常時における会議中のデータのやり取りおよび処理を示す図である。通常時(受信品質が悪化していない状態)の会議中において、伝送システム10は、図22に示すようなシーケンスで処理を実行する。
FIG. 22 is a diagram showing the exchange and processing of data during a conference in a normal time. During a normal conference (in which reception quality is not deteriorated), the
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS31)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS32−1,S32−2,S32−3)。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S31). When the
また、第3の端末装置20−3も、映像データおよび音声データを中継装置40へと送信する(ステップS33)。中継装置40は、第3の端末装置20−3から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS34−1,S34−2,S34−3)。
The third terminal device 20-3 also transmits video data and audio data to the relay device 40 (step S33). When the
このようにそれぞれの端末装置20は、映像データおよび音声データ等を中継装置40へと送信する。そして、中継装置40は、受信した映像データおよび音声データ等を、セッションを形成する全ての端末装置20へと送信する。これにより、それぞれの端末装置20は、自己も含めたセッションを形成する全ての端末装置20から送信されたデータを受信して再生出力することができる。
In this way, each
図23は、資料データが追加された場合のデータのやり取りおよび処理を示す図である。資料データが追加される場合、伝送システム10は、図23に示すようなシーケンスで処理を実行する。
FIG. 23 is a diagram showing data exchange and processing when material data is added. When document data is added, the
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS41)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS42−1,S42−2,S42−3)。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S41). When the
続いて、第1の端末装置20−1にコンピュータ110が接続されて、資料共有の開始操作がされる(ステップS43)。第1の端末装置20−1は、資料共有の開始操作がされた場合、資料データが新たに追加して送信されることを通知する資料共有開始通知を中継装置40に送信する(ステップS44)。続いて、中継装置40は、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、第1の端末装置20−1から資料データが新たに追加して送信されることを示す変更通知を送信する(ステップS45−1,S45−2,S45−3)。
Subsequently, the
続いて、それぞれの端末装置20は、受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を変更する(ステップS46−1,S46−2,S46−3)。これにより、それぞれの端末装置20は、新たに追加して送信される資料データを含めた全てのデータに対して優先度を決定することができる。
Subsequently, each
続いて、第1の端末装置20−1は、資料画面をキャプチャする(ステップS47)。続いて、第1の端末装置20−1は、映像データ、音声データおよび資料データを中継装置40へと送信する(ステップS48)。中継装置40は、第1の端末装置20−1から、映像データ、音声データおよび資料データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データ、音声データおよび資料データを送信する(ステップS49−1,S49−2,S49−3)。
Subsequently, the first terminal device 20-1 captures a material screen (step S47). Subsequently, the first terminal device 20-1 transmits the video data, audio data, and material data to the relay device 40 (step S48). When the
図24は、話者が変更した場合のデータのやり取りおよび処理を示す図である。話者が変更した場合、伝送システム10は、図24に示すようなシーケンスで処理を実行する。
FIG. 24 is a diagram showing data exchange and processing when the speaker changes. When the speaker changes, the
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS51)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS52−1,S52−2,S52−3)。
First, the first terminal device 20-1 transmits video data and audio data to the relay device 40 (step S51). When the
続いて、中継装置40は、話者の検出処理を実行する(ステップS53)。話者を検出した結果、現在の話者が変更した場合、話者順位の変更通知を、複数の端末装置20−1,20−2,20−3のそれぞれに対して送信する(ステップS54−1,S54−2,S54−3)。話者順位の変更通知には、現在の話者の端末装置20のIPアドレス等が示されている。
Subsequently, the
続いて、それぞれの端末装置20は、受信すべき複数のデータのそれぞれに対して、変更後の話者順位に基づいて優先度を変更する(ステップS55−1,S55−2,S55−3)。これにより、それぞれの端末装置20は、話者が変更する毎に優先度を決定することができる。
Subsequently, each
なお、伝送システム10は、コミュニケーションの開始後において、それぞれの端末装置20に割り当てられる役割が変更されてもよい。役割が変更された場合、それぞれの端末装置20は、変更後の役割のルール情報を再度受け付け、再度受け付けたルール情報に従って優先度を決定する。
In the
図25は、優先度の高いデータを優先して出力させるためのフローを示す図である。それぞれの端末装置20は、受信する複数のデータのうち優先度の高いデータを優先して出力させるために、図25に示すようなフローを実行する。
FIG. 25 is a diagram showing a flow for giving priority to outputting high-priority data. Each
まず、ステップS101において、端末装置20は、受信品質が第1の閾値より悪いか否かを判断する。端末装置20は、受信品質が第1の閾値より悪くない場合には(ステップS101のNo)、処理をステップS101で待機する。端末装置20は、受信品質が第1の閾値より悪い場合には(ステップS101のYes)、処理をステップS102に進める。
First, in step S101, the
続いて、ステップS102において、端末装置20は、決定した優先度情報を参照して、非重要データの出力を停止する。
Subsequently, in step S102, the
例えば、図26に示すように、第1の端末装置20−1(参加者)は、受信品質が悪化する前において、発表者(第2の端末装置20−2)から送信された資料データ、音声データおよび映像データ、参加者(第3の端末装置20−3および第4の端末装置20−4)から送信された音声データおよび映像データを出力しているとする。このような状態から、受信品質が第1の閾値より悪くなった場合には、図27に示すように、第1の端末装置20−1(参加者)は、現在の話者(第3の端末装置20−3)の映像データ、および、現在の話者以外の参加者(第4の端末装置20−4)の音声データおよび映像データの出力を停止する。 For example, as illustrated in FIG. 26, the first terminal device 20-1 (participant) may receive the document data transmitted from the presenter (second terminal device 20-2) before the reception quality deteriorates, It is assumed that audio data and video data, and audio data and video data transmitted from the participants (third terminal device 20-3 and fourth terminal device 20-4) are output. From this state, when the reception quality is worse than the first threshold value, as shown in FIG. 27, the first terminal device 20-1 (participant), the current speaker (third The output of the video data of the terminal device 20-3) and the audio data and video data of the participants other than the current speaker (fourth terminal device 20-4) are stopped.
なお、端末装置20は、再生処理または受信処理を実行しないことによりデータの出力を停止してもよいし、中継装置40に対してデータの送信の停止を要求することによりデータの出力を停止してもよい。
Note that the
続いて、ステップS103において、端末装置20は、受信品質が第1の閾値以上となったか否かを判断する。端末装置20は、受信品質が第1の閾値以上となった場合には(ステップS103のYes)、処理をステップS104に進める。ステップS104において、端末装置20は、非重要データの再生出力を開始し、処理をステップS101に戻す。これにより、端末装置20は、受信品質が復帰した場合には、停止をしていたデータの出力を再開することができる。
Subsequently, in step S103, the
端末装置20は、受信品質が第1の閾値以上となっていない場合には(ステップS103のNo)、処理をステップS105に進める。ステップS105において、端末装置20は、受信品質が第2の閾値より悪いか否かを判断する。第2の閾値は、第1の閾値よりも悪い受信品質を示す値である。端末装置20は、受信品質が第2の閾値より悪くはない場合には(ステップS105のNo)、処理をステップS103に戻す。これにより、端末装置20は、受信品質が第1の閾値より悪く、第2の閾値より良い場合には、非重要データの出力を停止した状態で維持をすることができる。端末装置20は、受信品質が第2の閾値より悪い場合には(ステップS105のYes)、処理をステップS106に進める。
If the reception quality is not equal to or higher than the first threshold (No in step S103), the
ステップS106において、端末装置20は、決定した優先度情報を参照して、重要データのうち優先度の低いデータを低品質化して出力する。例えば、端末装置20は、優先度の低いデータを少ないリソースで再生処理をしたり、中継装置40に対して優先度の低いデータのビットレートを小さくすることを要求したりする。
In step S <b> 106, the
例えば、図28に示すように、第1の端末装置20−1は、第1位のデータである発表者(第2の端末装置20−2)の資料データ、および、第2位のデータである発表者の音声データを高品質で再生出力する。そして、第1の端末装置20−1は、第3位のデータである発表者の映像データ、および、第4位のデータである現在の話者(第3の端末装置20−3)の音声データを低品質で再生出力する。 For example, as shown in FIG. 28, the first terminal device 20-1 is the first-ranked data of the presenter (second terminal device 20-2) and the second-ranked data. Reproduce and output the audio data of a presenter with high quality. Then, the first terminal device 20-1 has the presenter's video data as the third data and the voice of the current speaker (the third terminal device 20-3) as the fourth data. Reproduce and output data with low quality.
続いて、ステップS107において、端末装置20は、受信品質が第2の閾値以上となったか否かを判断する。端末装置20は、受信品質が第2の閾値以上となった場合には(ステップS107のYes)、処理をステップS108に進める。ステップS108において、端末装置20は、全ての重要データの品質を高品質化し、処理をステップS103に戻す。これにより、端末装置20は、受信品質が復帰した場合には、重要データの品質を高品質に復帰させることができる。端末装置20は、受信品質が第2の閾値より悪い場合には(ステップS107のNo)、処理をステップS107で待機する。
Subsequently, in step S107, the
以上のように、本実施形態に係る伝送システム10によれば、受信品質が低下する状況となった場合であっても、コミュニケーションの内容に応じた適切なデータを確実に出力させて、コミュニケーションを確実に継続させることができる。
As described above, according to the
(変形例)
図29は、変形例に係る端末装置20の機能構成を示す図である。つぎに、変形例に係る伝送システム10について説明する。なお、変形例は、図1から図28を参照して説明した伝送システム10と略同一の機能および構成を有する。従って、変形例については、相違点を説明する。
(Modification)
FIG. 29 is a diagram illustrating a functional configuration of the
変形例に係る端末装置20は、発話時刻記憶部91と、頻度検出部92とをさらに有する。発話時刻記憶部91は、発話情報取得部34が発話情報を取得する毎に、すなわち、現在の発話者が変更する毎に、発話時刻と、端末装置20のIPアドレスとを対応付けて記憶する。例えば、発話時刻記憶部91は、図30に示すようなテーブルを記憶する。
The
頻度検出部92は、発話時刻記憶部91に記憶されている情報を参照して、端末装置毎に、当該端末装置20のユーザとの対話の頻度を算出する。例えば、頻度検出部92は、当該端末装置20のユーザが発話した時刻から、予め定められた期間内における他のユーザの発話の頻度を算出し、算出した頻度を、当該端末装置20のユーザとの対話の頻度として検出する。例えば、頻度検出部92は、図30の自端末の発話時刻から一定時間内に発話した他の端末装置20毎の発話の頻度を検出する。そして、例えば、頻度検出部92は、図31に示すような、対話の頻度と、端末装置20のIPアドレスと、対話の頻度の順位とを対応付けたテーブルを算出する。
The
そして、優先度決定部35は、対話の頻度が変更された場合、ルール情報に従って、それぞれのデータの優先度を決定する。
And the
変形例に係るルール情報は、さらに、当該端末装置20のユーザとの対話の頻度とデータ種類とのペアにも、順位が対応付けられている。そして、変形例に係る端末装置20は、ルール情報における順位の高いデータから順に、優先度を高く設定する。
In the rule information according to the modified example, the rank is also associated with the pair of the frequency of interaction with the user of the
なお、図32から図34に示すルール情報において、“DialogueSpeaker_0”は、当該端末装置20のユーザとの対話の頻度が基準以上(例えば最も高い)端末装置20を表す。
In the rule information shown in FIGS. 32 to 34, “DialogueSpeaker_0” represents the
図32は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報は、図13の例と比較して、第4位以降が異なる。 FIG. 32 is a diagram illustrating an example of rule information of participants in a discussion mode without a chairperson. The rule information of the participants in the discussion mode without a chairman is different from the fourth place in comparison with the example of FIG.
図32のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 32, the fourth place is video data transmitted from the
そして、図32のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された資料データである。また、図32のルール情報において、第6位は、現在の発話者以外の端末装置20から送信された映像データである。さらに、図32のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 32, the fifth place is the material data transmitted from the
図33は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報は、図14の例と比較して、第4位以降が異なる。 FIG. 33 is a diagram showing an example of rule information of the chair in the discussion mode with the chair. The rule information of the chairperson in the discussion mode with the chairperson is different from the fourth place in comparison with the example of FIG.
図33のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 33, the fourth place is video data transmitted from the
また、図33のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された資料データである。また、図33のルール情報において、第6位は、現在の発話者以外の端末装置20から送信された映像データである。さらに、図33のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 33, the fifth place is the material data transmitted from the
図34は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報は、図15の例と比較して、第4位以降が異なる。 FIG. 34 is a diagram illustrating an example of rule information of participants in a discussion mode with a chairperson. The rule information of the participants in the discussion mode with the chairman is different from the fourth place in comparison with the example of FIG.
図34のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された音声データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの音声を確実に伝達することができる。
In the rule information of FIG. 34, the fourth place is voice data transmitted from the
図34のルール情報において、第5位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
In the rule information of FIG. 34, the fifth place is video data transmitted from the
また、図34のルール情報において、第6位は、議長の端末装置20から送信された音声データである。また、図34のルール情報において、第7位は、議長の端末装置20から送信された資料データである。また、図34のルール情報において、第8位は、議長の端末装置20から送信された映像データである。
Further, in the rule information of FIG. 34, the sixth place is voice data transmitted from the
また、図34のルール情報において、第9位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。また、図34のルール情報において、第10位は、現在の発話者を除いた全ての端末装置20から送信された資料データである。また、図34のルール情報において、第11位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。さらに、図34のルール情報において、第8位は、重要データとそれ以外のデータを分ける閾順位である。
In the rule information of FIG. 34, the ninth place is voice data transmitted from all the
図35は、変形例において、話者が変更した場合の装置間のやり取りおよび処理を示す図である。変形例に係る伝送システム10では、話者が変更した場合、伝送システム10は、図35に示すようなシーケンスで処理を実行する。
FIG. 35 is a diagram illustrating communication and processing between devices when a speaker changes in a modified example. In the
なお、図35のシーケンスは、図24のシーケンスと比較して、ステップS55−1、S55−2、S55−3の直前に、ステップS201−1、ステップS201−2およびステップS201−3が実行される点である。 In the sequence of FIG. 35, compared to the sequence of FIG. 24, steps S201-1, S201-2, and S201-3 are executed immediately before steps S55-1, S55-2, and S55-3. It is a point.
ステップS201−1、ステップS201−2およびステップS201−3において、それぞれの端末装置20は、中継装置40から話者順位の変更通知を受信すると、対話頻度の変更を行う。そして、それぞれの端末装置20は、セッションを形成する複数の端末装置20から受信すべき複数のデータのそれぞれに対して、変更後の対話順位に基づいて優先度を変更する(ステップS55−1,S55−2,S55−3)。これにより、それぞれの端末装置20は、対話順位が変更する毎に優先度を決定することができる。
In step S201-1, step S201-2, and step S201-3, each
このような変形例に係る伝送システム10によれば、対話している相手の端末装置20から送信されたデータを優先して出力させて、コミュニケーションを確実に継続させることができる。
According to the
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。 As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms.
10 伝送システム
20 端末装置
21 撮像部
22 音声入力部
23 外部機器接続部
24 送信データ生成部
25 送信部
26 受信部
27 再生出力部
28 音声出力部
29 表示制御部
31 役割受付部
33 ルール取得部
34 発話情報取得部
35 優先度決定部
36 優先度記憶部
37 品質検出部
38 出力制御部
40 中継装置
41 送受信部
42 セッション管理部
43 データ配信部
44 話者検出部
45 話者通知部
50 管理装置
51 送受信部
52 端末情報記憶部
53 セッション確立部
54 セッション記憶部
55 会議モード記憶部
56 会議モード受付部
57 役割割当部
58 割当記憶部
59 ルール記憶部
60 提供部
80 プログラム提供装置
91 発話時刻記憶部
92 頻度検出部
110 コンピュータ
120 ディスプレイ
DESCRIPTION OF
Claims (22)
それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、
それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、
それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、
を備える管理装置。 A management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role assignment unit for assigning a role in the communication to each of the terminal devices;
For each role, a rule storage unit that stores rule information indicating rules for determining data to be preferentially output by the terminal device to which the role is assigned;
A providing unit that provides the rule information of the assigned role to each of the terminal devices;
A management device comprising:
請求項1に記載の管理装置。 The management device according to claim 1, wherein the rule information is information in which a priority is set higher for each pair of a role and a data type of the terminal device that has transmitted data.
請求項2に記載の管理装置。 The management device according to claim 2, wherein the rule information is information in which the order is associated with a pair of a user's utterance order and a data type.
請求項3に記載の管理装置。 The rule information further includes a pair of the terminal device of the user who has spoken at a frequency equal to or higher than a reference within a predetermined period from a time when the user of the terminal device of the own terminal speaks, and a data type pair. The management device according to claim 3, wherein the management device is information associated with a rank.
請求項1に記載の管理装置。 Each of the terminal devices includes audio data obtained by collecting the voice of the user of the terminal device, video data obtained by imaging the user of the terminal device, and material data obtained by capturing an image of a material referred to by the user of the terminal device. The management apparatus according to claim 1, wherein at least one of the following is transmitted.
前記ルール記憶部は、
前記議長について、現在の話者の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、現在の話者の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データ、および、議長の前記端末装置から送信された前記音声データ、前記資料データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項5に記載の管理装置。 The role assigning unit assigns a role as a chairman to any one of the terminal devices, and assigns a role as a participant to other terminal devices when having a discussion with the chairman,
The rule storage unit
Storing the rule information in which the order of the voice data, the material data, and the video data transmitted from the terminal device of the current speaker is set higher than other data for the chairman;
For the participant, the voice data, the material data and the video data transmitted from the terminal device of the current speaker, and the voice data, the material data and the video data transmitted from the terminal device of the chairperson. The management apparatus according to claim 5, wherein the rule information in which the rank of data is set higher than other data is stored.
前記ルール記憶部は、
前記発表者について、前記発表者の前記端末装置から送信された前記資料データ、および、現在の話者の前記端末装置から送信された前記音声データおよび前記映像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、前記発表者の前記端末装置から送信された前記資料データ、前記音声データおよび前記画像データ、および、現在の話者の前記端末装置から送信された前記音声データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項5に記載の管理装置。 The role assigning unit assigns a role as a presenter to any one of the terminal devices, and assigns a role as a participant to another terminal device when giving a presentation,
The rule storage unit
For the presenter, the order of the material data transmitted from the terminal device of the presenter and the audio data and the video data transmitted from the terminal device of the current speaker is compared to other data. Store the rule information set higher,
For the participants, the order of the material data transmitted from the terminal device of the presenter, the audio data and the image data, and the audio data transmitted from the terminal device of the current speaker, The management device according to claim 5, wherein the rule information set higher than other data is stored.
前記ルール記憶部は、
前記発表者について、前記発表者の前記端末装置から送信された前記資料データの前記順位を、他のデータより高く設定した前記ルール情報を記憶し、
前記参加者について、前記発表者の前記端末装置から送信された前記資料データ、前記音声データおよび前記画像データの前記順位を、他のデータより高く設定した前記ルール情報を記憶する
請求項5に記載の管理装置。 The role assigning unit assigns a role as a presenter to any one of the terminal devices, and assigns a role as a participant to other terminal devices when making a lecture,
The rule storage unit
For the presenter, store the rule information in which the rank of the material data transmitted from the terminal device of the presenter is set higher than other data,
The rule information in which the order of the material data, the audio data, and the image data transmitted from the terminal device of the presenter is set higher than other data is stored for the participant. Management device.
請求項1に記載の管理装置から、当該端末装置の役割を受け付ける役割受付部と、
請求項1に記載の管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得部と、
前記複数の端末装置から送信されたデータを受信する受信部と、
受信したデータを再生して出力する再生出力部と、
前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定部と、
受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御部と、
を備える端末装置。 A terminal device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role accepting unit that accepts a role of the terminal device from the management device according to claim 1;
A rule acquisition unit that acquires the rule information corresponding to the received role from the management device according to claim 1;
A receiving unit for receiving data transmitted from the plurality of terminal devices;
A reproduction output unit for reproducing and outputting the received data;
A priority determining unit that determines the priority of each received data according to the rule information;
An output control unit that preferentially outputs the high priority data among the received data;
A terminal device comprising:
請求項9に記載の端末装置。 The terminal device according to claim 9, wherein the priority determination unit changes the priority when the type of data to be received is changed.
請求項9に記載の端末装置。 The terminal device according to claim 9, wherein, when a speaker is changed, the priority determination unit changes the priority.
前記優先度決定部は、再度受け付けた前記ルール情報に従って前記優先度を決定する
請求項9に記載の端末装置。 When the role is changed, the role receiving unit receives the rule information of the changed role again,
The terminal device according to claim 9, wherein the priority determination unit determines the priority according to the rule information received again.
前記ルール情報は、さらに、当該端末装置のユーザとの対話の頻度とデータ種類とのペアに、優先度を高く設定する順位を対応付けた情報であり、
前記対話の頻度が変更された場合、前記優先度決定部は、前記優先度を変更する
請求項9に記載の端末装置。 For each terminal device, further comprising a frequency detection unit for calculating the frequency of interaction with the user of the terminal device,
The rule information is information in which a priority is set in association with a pair of a frequency and a data type of interaction with the user of the terminal device,
The terminal device according to claim 9, wherein when the frequency of the conversation is changed, the priority determination unit changes the priority.
前記優先度決定部は、前記ルール情報に従って、受信したデータのうちの重要データを決定し、
前記出力制御部は、受信品質が予め定められた値より低下した場合、前記重要データ以外のデータの出力を停止させる
請求項9に記載の端末装置。 In the rule information, rules for determining important data are shown.
The priority determination unit determines important data of the received data according to the rule information;
The terminal device according to claim 9, wherein the output control unit stops the output of data other than the important data when the reception quality falls below a predetermined value.
請求項9に記載の端末装置。 The terminal device according to claim 9, wherein, when the reception quality is lower than a predetermined value, the output control unit causes lower priority data to be output with lower data quality.
前記優先度決定部は、前記ルール情報に従って、受信したデータのうちの重要データを決定し、
前記出力制御部は、受信品質が予め定められた値より低下した場合、送信元に対して、前記重要データ以外のデータの送信の停止を要求する
請求項9に記載の端末装置。 In the rule information, rules for determining important data are shown.
The priority determination unit determines important data of the received data according to the rule information;
The terminal device according to claim 9, wherein the output control unit requests the transmission source to stop transmission of data other than the important data when the reception quality is lower than a predetermined value.
請求項9に記載の端末装置。 The terminal device according to claim 9, wherein the output control unit requests the transmission source to transmit data with lower data quality with lower priority when the reception quality is lower than a predetermined value.
それぞれの前記端末装置に、前記コミュニケーションにおける役割を割り当てる役割割当部と、
それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール記憶部と、
それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供部と、
を備え、
前記端末装置は、
当該端末装置の役割を受け付ける役割受付部と、
受け付けた前記役割に対応する前記ルール情報を取得するルール取得部と、
前記複数の端末装置から送信されたデータを受信する受信部と、
受信したデータを再生して出力する再生出力部と、
前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定部と、
受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御部と、
を有する
伝送システム。 A transmission system that transmits and receives at least one type of data between a plurality of terminal devices in order to communicate between users,
A role assignment unit for assigning a role in the communication to each of the terminal devices;
For each role, a rule storage unit that stores rule information indicating rules for determining data to be preferentially output by the terminal device to which the role is assigned;
A providing unit that provides the rule information of the assigned role to each of the terminal devices;
With
The terminal device
A role accepting unit for accepting the role of the terminal device;
A rule acquisition unit that acquires the rule information corresponding to the received role;
A receiving unit for receiving data transmitted from the plurality of terminal devices;
A reproduction output unit for reproducing and outputting the received data;
A priority determining unit that determines the priority of each received data according to the rule information;
An output control unit that preferentially outputs the high priority data among the received data;
Having a transmission system.
前記管理装置が、それぞれの役割毎に、当該役割が割り当てられた前記端末装置が優先して出力すべきデータを決定するルールを示したルール情報を記憶するルール情報記憶ステップと、
前記管理装置が、それぞれの前記端末装置に、割り当てられた役割の前記ルール情報を提供する提供ステップと、
前記端末装置が、前記管理装置から、当該端末装置の役割を受け付ける役割受付ステップと、
前記端末装置が、前記管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得ステップと、
前記端末装置が、前記複数の端末装置から送信されたデータを受信する受信ステップと、
前記端末装置が、受信したデータを再生して出力する再生出力ステップと、
前記端末装置が、前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定ステップと、
前記端末装置が、受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御ステップと、
を実行する
伝送方法。 A role assignment step in which a management device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices for communication between users assigns a role in the communication to each of the terminal devices; ,
A rule information storing step for storing rule information indicating rules for determining data to be output preferentially by the terminal device to which the role is assigned, for each role of the management device;
A provision step in which the management device provides the rule information of the assigned role to each of the terminal devices;
A role accepting step in which the terminal device accepts the role of the terminal device from the management device;
A rule acquisition step in which the terminal device acquires the rule information corresponding to the received role from the management device;
A receiving step in which the terminal device receives data transmitted from the plurality of terminal devices;
A reproduction output step in which the terminal device reproduces and outputs the received data; and
A priority determining step in which the terminal device determines the priority of each received data according to the rule information;
An output control step in which the terminal device preferentially outputs the high priority data among the received data; and
Execute the transmission method.
前記端末装置が、前記管理装置から、受け付けた前記役割に対応する前記ルール情報を取得するルール取得ステップと、
前記端末装置が、前記複数の端末装置から送信されたデータを受信する受信ステップと、
前記端末装置が、受信したデータを再生して出力する再生出力ステップと、
前記端末装置が、前記ルール情報に従って、受信するデータのそれぞれの優先度を決定する優先度決定ステップと、
前記端末装置が、受信するデータのうち前記優先度の高いデータを優先して出力させる出力制御ステップと、
を実行する伝送方法。 A role reception step in which a terminal device provided in a transmission system that transmits and receives at least one type of data between a plurality of terminal devices for communication between users receives a role of the terminal device from the management device;
A rule acquisition step in which the terminal device acquires the rule information corresponding to the received role from the management device;
A receiving step in which the terminal device receives data transmitted from the plurality of terminal devices;
A reproduction output step in which the terminal device reproduces and outputs the received data; and
A priority determining step in which the terminal device determines the priority of each received data according to the rule information;
An output control step in which the terminal device preferentially outputs the high priority data among the received data; and
Execute transmission method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170712A JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170712A JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016046720A true JP2016046720A (en) | 2016-04-04 |
JP6500366B2 JP6500366B2 (en) | 2019-04-17 |
Family
ID=55636878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014170712A Active JP6500366B2 (en) | 2014-08-25 | 2014-08-25 | Management device, terminal device, transmission system, transmission method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6500366B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021532697A (en) * | 2018-09-20 | 2021-11-25 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | Methods and Controllers for Configuring Distributed Microphone Systems |
US11847943B2 (en) | 2021-02-16 | 2023-12-19 | Seiko Epson Corporation | Screen generation method, screen generation device, and display apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005130150A (en) * | 2003-10-23 | 2005-05-19 | Sony Corp | Communication processing apparatus, and communication processing method as well as computer program |
JP2006020028A (en) * | 2004-07-01 | 2006-01-19 | Murata Mach Ltd | Communication controller |
JP2007329682A (en) * | 2006-06-07 | 2007-12-20 | Pioneer Electronic Corp | Electronic conference system |
-
2014
- 2014-08-25 JP JP2014170712A patent/JP6500366B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005130150A (en) * | 2003-10-23 | 2005-05-19 | Sony Corp | Communication processing apparatus, and communication processing method as well as computer program |
JP2006020028A (en) * | 2004-07-01 | 2006-01-19 | Murata Mach Ltd | Communication controller |
JP2007329682A (en) * | 2006-06-07 | 2007-12-20 | Pioneer Electronic Corp | Electronic conference system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021532697A (en) * | 2018-09-20 | 2021-11-25 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | Methods and Controllers for Configuring Distributed Microphone Systems |
JP7217572B2 (en) | 2018-09-20 | 2023-02-03 | シグニファイ ホールディング ビー ヴィ | Method and controller for configuring a distributed microphone system |
US11871189B2 (en) | 2018-09-20 | 2024-01-09 | Signify Holding B.V. | Method and a controller for configuring a distributed microphone system |
US11847943B2 (en) | 2021-02-16 | 2023-12-19 | Seiko Epson Corporation | Screen generation method, screen generation device, and display apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6500366B2 (en) | 2019-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9077851B2 (en) | Transmission terminal, transmission system, display control method, and recording medium storing display control program | |
JP5811334B2 (en) | Transmission management system, transmission management method, program, and transmission system | |
JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
JP6341023B2 (en) | Terminal device, data transmission method and program | |
JP6372156B2 (en) | Connection control system, communication terminal, communication system, program, and connection control method | |
JP6288281B2 (en) | Transmission control system, communication terminal, communication system, transmission control method, and program | |
JP6115153B2 (en) | Information processing terminal, information processing method, and program | |
JP6409438B2 (en) | Session control system, communication terminal, communication system, session control method, and program | |
JP2015219844A (en) | Session control system, communication terminal, communication system, program, and session control method | |
JP2016152591A (en) | Control system, communication system, control method and program | |
JP6500366B2 (en) | Management device, terminal device, transmission system, transmission method and program | |
JP6515446B2 (en) | Management system, program, management method and communication system | |
JP2017022432A (en) | Communication management system, communication system, communication management method, and program | |
JP6610103B2 (en) | Communication terminal, communication system, communication control method, and program | |
JP2016146565A (en) | Management system, communication system, management method, and program | |
JP6500326B2 (en) | Management system, management method and program | |
JP6492460B2 (en) | Transmission terminal, transmission method, and program | |
EP3038320A1 (en) | Management system, communication terminal, communication system, call control method, and computer program product | |
EP3038039A1 (en) | Management system, communication terminal, communication system, method of management, and computer program product | |
JP6593392B2 (en) | Transmission method, relay device, and program | |
JP6589436B2 (en) | Communication system, communication management method, and program | |
JP2017069932A (en) | Transmission management system, relay device selection method, and program | |
JP6439325B2 (en) | Usage management system, fee provision method, and program | |
JP6493416B2 (en) | Control system, communication terminal, communication system, control method, and program | |
JP6572655B2 (en) | Communication management system, communication system, communication management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6500366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |