JP2012114623A - 画像データ通信システム及び画像データ通信方法 - Google Patents
画像データ通信システム及び画像データ通信方法 Download PDFInfo
- Publication number
- JP2012114623A JP2012114623A JP2010261055A JP2010261055A JP2012114623A JP 2012114623 A JP2012114623 A JP 2012114623A JP 2010261055 A JP2010261055 A JP 2010261055A JP 2010261055 A JP2010261055 A JP 2010261055A JP 2012114623 A JP2012114623 A JP 2012114623A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- transmission band
- alarm
- terminal
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】ページめくり等により共有画像データのトラヒック量が短時間で増大するような場合に、転送遅延を削減し、通信帯域を有効利用するように通信帯域を制御する画像データ通信システムを提供することを目的とする。
【解決手段】端末を複数備え、端末に表示される画像データを複数の端末間で通信する画像データ通信システムにおいて、第1端末は、第1画像データを第1送信帯域以下で通信部から送信する第1画像データ送信部と、第2画像データを第2送信帯域以下で通信部から送信する第2画像データ送信部と、第1送信帯域及び第2送信帯域を管理する第1端末送信帯域管理部と、を備え、第1端末送信帯域管理部は、送信する第2画像データの容量が所定値以上である場合アラームフラグが設定されている場合の第2送信帯域を、アラームフラグが設定されていない場合の前記第2送信帯域よりも大きくなるように設定することを特徴とする。
【選択図】図2
【解決手段】端末を複数備え、端末に表示される画像データを複数の端末間で通信する画像データ通信システムにおいて、第1端末は、第1画像データを第1送信帯域以下で通信部から送信する第1画像データ送信部と、第2画像データを第2送信帯域以下で通信部から送信する第2画像データ送信部と、第1送信帯域及び第2送信帯域を管理する第1端末送信帯域管理部と、を備え、第1端末送信帯域管理部は、送信する第2画像データの容量が所定値以上である場合アラームフラグが設定されている場合の第2送信帯域を、アラームフラグが設定されていない場合の前記第2送信帯域よりも大きくなるように設定することを特徴とする。
【選択図】図2
Description
本発明は、二種類の画像データを通信する画像データ通信システムに関し、特に、画像データの送信帯域を制御する画像データ通信システムに関する。
近年、遠隔地の相手と意思疎通する手段としてテレビ会議システムが普及している。このテレビ会議システムにおいて、会議画像データ及び音声データのほかに、操作しているアプリケーションによって表示されるアプリケーション画像(共有画像)を会議の参加者と共有し、当該アプリケーション画像を相互に参照する機能を備えるテレビ会議システムが普及している。
従来のテレビ会議システムでは、中継装置(MCU(Multipoint Control Unit))が会議画像データ及び音声データを合成していた。
しかしながら、大規模なテレビ会議システムになると、中継装置に負荷が集中してしまい、会議画像データ及び音声データの遅延が大きくなるという問題がある。
このため、中継装置は、会議画像データ及び音声データの合成処理を実行せず、会議画像データ及び音声データの転送処理のみを実行し、終端のテレビ会議端末が会議画像データ及び音声データの合成処理を実行し、中継装置の負荷を軽減させている。
また、近年では、パケット喪失に耐性がある映像標準(H.264/SVC)及び音声コーデック(Speex)が出現したため、テレビ会議システムの接続回線として既存のインターネット回線等を用いる運用方法も普及してきた。
インターネット回線では、テレビ会議システムのデータ以外のデータも通信されているため、限られた帯域内でテレビ会議システムのデータを通信しなければならない。
送受信するデータ量を測定し、データ量が所定値以上である場合、予め定義された優先度定義ファイルに従って、各種データの処理優先度及び通信帯域を設定する帯域幅制御装置が知られている(例えば、特許文献1参照)。これによって、特許文献1に記載された帯域幅制御装置は、限られた帯域内でデータの遅延等を防止する。
特許文献1に記載された帯域幅制御装置は、限られた帯域内で各種データ毎に処理優先度及び通信帯域が割り当てられ、割り当てられた通信帯域内で各種データを転送するものである。
アプリケーション画像を会議参加者で共有するテレビ会議システムにおいて、アプリケーションがドキュメント等を展開するものである場合、当該ドキュメントのページめくり等によって画面内容全体が更新されると、瞬間的に大量のデータが転送される。
この場合、特許文献1に記載された帯域幅制御装置では、転送データが増大する場合を考慮せずに、通信帯域が割り当てられているので、データを転送するのに時間がかかり、テレビ会議システムで共有されるアプリケーション画像データの更新が遅延してしまう。
また、データ転送時間を短縮するために通信帯域を大きく確保した場合、アプリケーション画像は通常ほぼ変化せずデータ転送量は少ないものであるので、割り当てた通信帯域が余ってしまい、通信効率が悪くなってしまう。
本発明は、ページめくり等により共有画像データのトラヒック量が短時間で増大するような場合に、転送遅延を削減し、通信帯域を有効利用するように通信帯域を制御する画像データ通信システムを提供することを目的とする。
本発明の代表的な一例を示せば、複数の端末を備え、前記各端末に表示される画像データを前記複数の端末間で通信する画像データ通信システムにおいて、前記画像データは、カメラによって撮像された第1画像データ、及び、前記いずれかの端末で実行された所定のアプリケーションで表示され、前記複数の端末間で共有される画面に表示される第2画像データを含み、前記端末は、前記所定のアプリケーションを実行する第1端末と、前記第1端末で実行されたアプリケーションで表示された画面を前記第1端末と共有する第2端末と、を含み、前記第1端末は、前記第1画像データを第1送信帯域で前記通信部から送信する第1画像データ送信部と、前記第2画像データを第2送信帯域で前記通信部から送信する第2画像データ送信部と、前記第1送信帯域及び前記第2送信帯域を管理する第1端末送信帯域管理部と、を備え、前記第2画像データ送信部は、送信する前記第2画像データの単位時間当たりの容量が所定値以上であるか否かを判定するアラーム判定処理を実行し、前記第1端末送信帯域管理部は、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第2送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きくなるように設定し、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第1送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの第1容量が所定値未満である場合の前記第1送信帯域よりも小さくなるように設定することを特徴とする。
本発明によれば、共有画像データのトラヒック量が短時間で増大するような場合に、転送遅延を削減し、通信帯域を有効利用するように通信帯域を制御できる。
(第1の実施形態)
本発明の第1の実施形態を図1〜図12を用いて説明する。
本発明の第1の実施形態を図1〜図12を用いて説明する。
図1は、本発明の第1の実施形態のテレビ会議システムの構成図である。
テレビ会議システムは、複数のテレビ会議端末1A〜1C(以下、総称しテレビ会議端末1)及び中継装置2を備える。各テレビ会議端末1及び中継装置2はネットワーク3を介して接続される。
テレビ会議端末1は、カメラによって撮影された映像データ(会議画像データ)をリアルタイムに取得し、及び、マイクによって録音された音声データをリアルタイムに取得する。また、テレビ会議端末1は、当該テレビ会議端末1上で動作するアプリケーションによって表示された画面を共有画像データとして取得する。なお、取得された共有画像データは、例えば、キャプチャ装置等の外部装置から入力されたデータであってもよい。
また、テレビ会議端末1は、会議画像データ、音声データ、及び共有画像データを各データ毎に設定された送信帯域で中継装置に送信する。
テレビ会議端末1は、受信した会議画像データに基づいて会議画像を表示し、受信した音声データに基づいて会議音声を出力し、共有画像データに基づいて共有画像を表示する。
中継装置2は、あるテレビ会議端末1から受信した会議画像データ、音声データ、及び共有画像データをテレビ会議に参加している他のテレビ会議端末1に転送する。なお、中継装置2が他のテレビ会議端末1に転送する転送帯域は、各テレビ会議端末1及び各データごとに設定されている。
なお、図1では、中継装置2は、一つしか開示されていないが、複数の中継装置2を用いてもよい。
また、テレビ会議端末1及び中継装置2は制御用メッセージを相互に通知する。
テレビ会議システムに備わる各テレビ会議端末1は、会議画像データ及び音声データを符号化し、符号化された会議画像データ及び音声データを中継装置2を介して他のテレビ会議端末1に送信する。
また、あるテレビ会議端末1は、アプリケーションで表示される共有画像データを符号化し、符号化された共有画像データを中継装置2を介して他のテレビ会議端末1に送信する。
また、中継装置2は、受信した会議画像データ、音声データ、及び共有画像データをそのまま他のテレビ会議端末1に転送する。
テレビ会議端末1は、受信した会議画像データ及び共有画像データを表示し、受信した音声データを出力する。
これによって、遠隔地間のテレビ会議が実現され、また、特定のテレビ会議端末1がアプリケーションで表示する画像を他のテレビ会議端末1と共有して参照できる。
なお、各テレビ会議端末1及び中継装置2は、インターネット等のネットワーク3を介して接続されるため、データの通信帯域が限定されるので、会議画像データ及び共有画像データの符号化にはH.264/SVCを用いる。
H.264/SVCでは、通信帯域が変動した場合に、データの解像度及びフレームレートの少なくとも一方を調整するため、映像が途切れることなく転送できる。
図2は、本発明の第1の実施形態のテレビ会議システムの全体動作のシーケンス図である。
図2では、テレビ会議端末1Aがアプリケーションを起動し、アプリケーション画像を表示する端末であって、テレビ会議端末1Aのアプリケーション画像が会議に参加するテレビ会議端末1B及び1Cと共有される。つまり、テレビ会議端末1Aは、共有画像データを中継装置2を介してテレビ会議端末1B及び1Cに送信する。
なお、音声データの送信帯域は変化しないので、図2での説明は省略する。
通常時、テレビ会議端末1Aは、会議画像データを送信帯域2000kbpsで中継装置2に送信し、共有画像データを送信帯域400kbpsで中継装置2に送信する(S101)。中継装置2は、テレビ会議端末1Aから受信した会議画像データをテレビ会議端末1B及び1Cに送信帯域2000kbpsで送信し、テレビ会議端末1Aから受信した共有画像データをテレビ会議端末1B及び1Cに送信帯域400kbpsで送信する(S201)。
テレビ会議端末1B及び1Cは、会議画像データ及び共有画像データを受信した場合、会議画像及び共有画像を表示する(S301)。
このとき、テレビ会議端末1Aでは、アプリケーション画像においてページめくりが発生する(S102)。ページめくりが発生すると、テレビ会議端末1Aが中継装置2に送信する共有画像データの容量が増大し、当該送信する共有画像データの容量が所定値以上になったことを検出する(S103)。
この場合、テレビ会議端末1Aは、送信する共有画像データの容量が所定値以上になる旨を示すアラーム通知を中継装置2に送信し(S104)、会議画像データの送信帯域を400kbpsに減少させ、共有画像データの送信帯域を2000kbpsに増大させる(S105)。これによって、テレビ会議端末1Aは、増大した共有画像データの転送遅延を防止する。
中継装置2は、テレビ会議端末1Aからアラーム通知を受信した場合、テレビ会議端末1Aの送信帯域の制御と同じく、会議画像データの送信帯域を400kbpsに減少させ、共有画像データの送信帯域を2000kbpsに増大させ(S202)、受信したアラーム通知をテレビ会議端末1B及び1Cに送信する(S203)。
テレビ会議端末1B及び1Cは、中継装置2からアラーム通知を受信した場合、アラーム状態に遷移し、画面表示内容が変更される共有画像をユーザが確認しやすいように、共有画像を拡大して表示する(S302)。
テレビ会議端末1Aは中継装置2へ会議画像データを送信帯域400kbpsで送信し、共有画像データを送信帯域2000kbpsで送信し(S106)、中継装置2はテレビ会議端末1B及び1Cへ会議画像データを送信帯域400kbpsで送信し、共有画像データを送信帯域2000kbpsで送信する(S204)。これによって、送信する共有画像データの容量が増大しても、転送遅延を防止できる。
テレビ会議端末1Aは、送信する共有画像データの容量が所定値よりも小さくなったことを検出した場合(S107)、その旨を通知するためのアラーム解除通知を中継装置2に送信する(S108)。テレビ会議端末1が送信する共有画像データの容量が所定値よりも小さくなると、ページめくりが終了したことを示し、テレビ会議端末1B及び1Cは、ページめくりによる共有画像の更新表示を終了し、更新後の共有画像を表示する(S303)。
また、テレビ会議端末1Aは、アラーム解除通知の送信後、会議画像データの送信帯域を400kbpsから2000kbpsに戻し、共有画像データの送信帯域を2000kbpsから400kbpsに戻す(S109)。
中継装置2は、テレビ会議端末1Aからアラ−ム解除通知を受信した場合、会議画像データの送信帯域を400kbpsから2000kbpsに戻し、共有画像データの送信帯域を2000kbpsから400kbpsに戻し(S205)、アラーム解除通知をテレビ会議端末1B及び1Cに転送する(S206)。
テレビ会議端末1B及び1Cは、中継装置2からアラーム解除通知を受信した場合、表示切替待ちタイマを起動させ(S304)、当該表示切替待ちタイマがタイムアップすると(S305)、共有画像の拡大表示を終了し、通常時の会議画像と共有画像との表示に戻す(S306)。これによって、ページめくりによる更新後の共有画像を確認するために十分な時間をユーザに提供できる。
図3は、本発明の第1の実施形態のテレビ会議端末1の送信側のブロック図である。
テレビ会議端末1は、音声処理部11、会議画像処理部12、共有画像処理部13、送信帯域管理処理部14、制御メッセージ通信部15、及び通信インタフェース16を備える。
テレビ会議端末1は、図示しないプロセッサ、プロセッサに接続されるメモリを備え、音声処理部11、会議画像処理部12、共有画像処理部13、送信帯域管理処理部14、及び制御メッセージ通信部15はプロセッサがプログラムを実行することによって実現される。
音声処理部11は、音声データを処理するものであって、入力処理部111、符号化処理部112、帯域制御部113、及びデータベース(DB)部114を備える。
入力処理部111は、マイク等の入力装置から入力された音声を音声データとして取得する。符号化処理部112は、入力処理部111によって取得された音声データを、例えばSpeex等のコーデックによって符号化する。
データベース部114は、符号化処理部112によって符号化された音声データの送信に用いる送信帯域の値を保持する。帯域制御部113は、データベース部114で保持された値の送信帯域で音声データを送信する。
会議画像処理部12は、会議画像データを処理するものであって、入力処理部121、符号化処理部122、帯域制御部123、及びデータベース(DB)部124を備える。
入力処理部121は、カメラ等の入力装置から入力された会議画像を会議画像データとして取得する。符号化処理部122は、入力処理部121によって取得された会議画像データを、H.264/SVCを用いて符号化する。
データベース部124は、符号化処理部122によって符号化された会議画像データの送信に用いる送信帯域の値を保持する。帯域制御部123は、データベース部124で保持された値の送信帯域で会議画像データを送信する。
共有画像処理部13は、共有画像データを処理するものであって、入力処理部131、符号化処理部132、データ量測定部133、帯域制御部134、及びデータベース部135を備える。
入力処理部131は、キャプチャソフト及びドキュメント表示アプリケーションによって表示される共有画像を共有画像データとして取得する。符号化処理部132は、入力処理部131によって取得された共有画像データを、H.264/SVCを用いて符号化する。
データ量測定部133は、符号化処理部132によって符号化された共有画像データの容量(換言すれば、送信する共有画像データの容量)を測定する。データ量測定部133は、測定された容量が所定値以上である場合、アラームフラグを設定し、アラーム通知を送信帯域管理処理部14に発行する。また、データ量測定部133は、アラームフラグが設定されている場合、測定された容量が所定値未満であれば、アラームフラグを解除し、アラーム解除通知を送信帯域管理処理部14に発行する。
データベース部135は、符号化処理部132によって符号化された共有画像データの送信に用いる送信帯域の値を保持する。帯域制御部134は、データベース部135で保持された値の送信帯域で共有画像データを送信する。
送信帯域管理処理部14は、会議画像データの送信帯域及び共有画像データの送信帯域を管理する。制御メッセージ通信部15は、アラーム通知又はアラーム解除通知となる制御メッセージを中継装置2に送信する。通信インタフェース16は、中継装置2とデータを通信するインタフェースである。
図4Aは、本発明の第1の実施形態の会議画像処理部12の会議画像処理のフローチャートである。
まず、会議画像処理部12の入力処理部121は、カメラ等の入力装置から会議画像データを取得する(F101)。入力処理部121は、取得した会議画像データを符号化処理部122に出力する(F102)。符号化処理部122は、入力処理部121から入力された会議画像データをH.264/SVCに規定される映像標準にしたがって符号化する(F103)。
符号化処理部122は、符号化した会議画像データを帯域制御部123に出力する(F104)。帯域制御部123は、符号化処理部122から入力された会議画像データをデータベース部124に保持された送信帯域で中継装置2に送信する(F105)。
図4Bは、本発明の第1の実施形態の共有画像処理部13の共有画像処理のフローチャートである。
まず、共有画像処理部13の入力処理部131は、アプリケーションで表示される画像を共有画像データとして取得する(F201)。入力処理部131は、取得した共有画像データを符号化処理部132に出力する(F202)。符号化処理部132は入力された共有画像データをH.264/SVCに規定される映像標準にしたがって符号化する(F203)。
符号化処理部122は、符号化した共有画像データをデータ量測定部133に出力する(F204)。データ量測定部133は、符号化処理部122から入力された共有画像データからサンプリング周期毎のデータ量を測定する(F205)。換言すれば、データ量測定部133は、送信する共有画像データの単位時間当たりの容量を測定する。F205の処理で測定されたデータ量が上限値以上であれば共有画像のページめくりが発生したことを示す。
データ量測定部133は、テレビ会議端末1の状態がアラーム中であるか否かを判定する(F206)。
F206の処理で、テレビ会議端末1の状態がアラーム中でないと判定された場合、データ量測定部133は、F205の処理で測定されたデータ量が所定の上限値以上であるか否かを判定する(F207)。
F205の処理で測定されたデータ量が所定の上限値以上と、F207の処理で判定された場合、データ量測定部133は、テレビ会議端末1の状態をアラーム中に遷移させる(F208)。具体的には、データ量測定部133は、図示しないメモリにアラーム中であることを示すアラームフラグを設定することによって、テレビ会議端末1の状態をアラーム中に遷移させる。
次に、データ量測定部133は、テレビ会議端末1の状態をアラーム中に遷移させたことを示すアラーム通知を送信帯域管理処理部14に出力する(F209)。
送信帯域管理処理部14は、アラーム通知が入力された場合、アラーム通知を中継装置2に送信する要求であるアラーム通知送信要求を制御メッセージ通信部15に出力する(F210)。制御メッセージ通信部15は、アラーム通知送信要求が入力された場合、アラーム通知を示す制御メッセージを中継装置2に送信する(F211)。
次に、送信帯域管理処理部14は、共有画像データの送信帯域を増大させるようにデータベース部135の送信帯域を変更し、会議画像データの送信帯域を減少させるように、データベース部124の送信帯域を変更する(F212)。
本実施形態では、送信帯域管理処理部14は、会議画像データの送信帯域を2000kbpsから400kbpsに減少させ、共有画像データの送信帯域を400kbpsから2000kbpsに増大させる。
そして、帯域制御部134は、共有画像データをデータベース部124に保持された送信帯域で中継装置2に送信し(F219)、処理を終了する。
F205の処理で測定されたデータ量が所定の上限値未満であると、F207の処理で判定された場合、F208〜F212の処理を実行しないで、F219の処理に進む。
F206の処理で、テレビ会議端末1の状態がアラーム中であると判定された場合、データ量測定部133は、F205の処理で測定されたデータ量が所定の下限値未満であるか否かを判定する(F213)。
F205の処理で測定されたデータ量が所定の下限値未満であると、F213の処理で判定された場合、データ量測定部133は、テレビ会議端末1の状態を通常状態に遷移させる(F214)。具体的には、データ量測定部133は、テレビ会議端末1に備わる図示しないメモリに設定されたアラームフラグの設定を解除することによって、通常状態に遷移させる。
次に、データ量測定部133は、テレビ会議端末1の状態を通常状態に遷移させたことを示すアラーム解除通知を送信帯域管理処理部14に出力する(F215)。
送信帯域管理処理部14は、アラーム解除通知が入力された場合、アラーム解除通知を中継装置2に送信する要求であるアラーム解除通知送信要求を制御メッセージ通信部15に出力する(F216)。制御メッセージ通信部15は、アラーム解除通知送信要求が入力された場合、アラーム解除通知を示す制御メッセージを中継装置2に送信する(F217)。
次に、送信帯域管理処理部14は、共有画像データ及び会議画像データの送信帯域を通常状態の値に戻すように、データベース部124及び125を変更し(F218)、F219の処理に進む。具体的には、送信帯域管理処理部14は、会議画像データの送信帯域を400kbpsから2000kbpsに戻し、共有画像データの送信帯域を2000kbpsから400kbpsに戻す。
なお、テレビ会議端末1の状態がアラーム中となって、送信帯域が減少した会議画像データについては、図4Aに示すF105の処理で、帯域制御部123が、送信する会議画像データの解像度及びフレームレートを通常状態よりも減少させて送信してもよい。これによって、送信帯域が減少しても会議画像データのフレーム落ち等を回避できる。
一方、F205の処理で測定されたデータ量が所定の下限値以上であると、F213の処理で判定された場合、F214〜F215の処理を実行せず、F219の処理に進む。
図5Aは、本発明の第1の実施形態の通常状態時の各処理部11〜13のデータベース部114〜135の説明図である。
データベース部114〜135は、データベース501、現行送信帯域502、通常時送信帯域503、及びアラーム中送信帯域504を含む、
データベース501は、音声処理部11のデータベース部114、会議画像処理部12のデータベース部124、及び共有画像処理部13のデータベース部135を示す。
データベース501は、音声処理部11のデータベース部114、会議画像処理部12のデータベース部124、及び共有画像処理部13のデータベース部135を示す。
現行送信帯域502は、各帯域制御部113〜134が各データの送信に用いる送信帯域を示す。通常時送信帯域503は通常時に設定される送信帯域を示す。アラーム中送信帯域504はアラーム中に設定される送信帯域を示す。
図5Aは、テレビ会議端末1が通常時であるので、会議画像処理部12のデータベース部124の現行送信帯域502には、通常時送信帯域503である2000kbpsが登録される。また、共有画像処理部13のデータベース部135の現行送信帯域502には、通常時送信帯域503である400kbpsが登録される。
図5Bは、本発明の第1の実施形態のアラーム中の各処理部11〜13のデータベース部114〜135の説明図である。
図5Bは、テレビ会議端末1がアラーム中であるので、会議画像処理部12のデータベース部124の現行送信帯域502には、アラーム中送信帯域504である400kbpsが登録される。また、共有画像処理部13のデータベース部135の現行送信帯域502には、アラーム中送信帯域504である2000kbpsが登録される。
なお、F207の処理で、送信する共有画像データの容量が所定の上限値以上であると判定された場合に実行されるF212の処理で、データベース部124及び135は、アラーム中送信帯域504の値に変更される。
また、F218の処理で、データベース部124及び135の現行送信帯域502に通常時送信帯域503の値が登録されることによって、データベース部124及び135は、図5Aの状態に戻る。
このように、帯域制御部123及び134が、データベース部124及び135の現行送信帯域502の値を変更することによって、各種データの送信帯域を動的に変更できる。
図6は、本発明の第1の実施形態の中継装置2のブロック図である。
中継装置2は、通信インタフェース21、転送データ受信部22、会議管理部23、会議情報データベース(会議情報DB)26、帯域制御部24、制御メッセージ通信部25、及びタイマ制御部27を備える。
中継装置2は、図示しないプロセッサ、プロセッサに接続されるメモリを備え、転送データ受信部22、会議管理部23、帯域制御部24、制御メッセージ通信部25、及びタイマ制御部27は、プロセッサがプログラムを実行することによって実現される。
通信インタフェース21は、テレビ会議端末1とデータを通信するインタフェースである。転送データ受信部22は、通信インタフェース21を介して転送データ(音声データ、会議画像データ、及び共有画像データ)を受信する。会議管理部23は、会議に参加するテレビ会議端末1を管理し、転送データの転送先及び転送データの転送に用いる送信帯域(転送帯域)を指示する。
会議情報データベース26は、会議に参加するテレビ会議端末1に関する情報、及び、各転送データの送信帯域を保持する。帯域制御部24は、会議管理部23によって指示された送信帯域で転送データを送信する。
制御メッセージ通信部25は、テレビ会議端末1からアラーム通知又はアラーム解除通知を示す制御メッセージを通信インタフェース21を介して受信し、制御メッセージをテレビ会議端末1に通信インタフェース21を介して送信する。
タイマ制御部27は、中継装置2がアラーム通知を示す制御メッセージを受信してから所定時間経過した場合に中継装置2のアラーム中を解除し通常状態に遷移させるためのタイマを制御する。
図7Aは、本発明の第1の実施形態の転送データ受信部22の転送データ受信処理のフローチャートである。
転送データ受信部22が通信インタフェース21を介してテレビ会議端末1から送信された転送データ(会議画像データ、共有画像データ、及び音声データ)を受信する(F301)。転送データ受信部22は、受信した転送データを会議管理部23に出力する(F302)。
会議管理部23は、図8に示す会議情報データベース26を参照し、会議に参加している他のテレビ会議端末1を転送先情報として取得し、各転送データの送信帯域の値を取得する(F303)。会議管理部23は転送データ、転送データの各送信帯域情報、及び転送先情報を帯域制御部24に出力する(F304)。
帯域制御部24は、入力された情報に基づいて、転送データを、転送先情報によって特定されるテレビ会議端末1に、送信帯域に情報によって特定される送信帯域で送信する(F305)。
図7Bは、本発明の第1の実施形態の制御メッセージ通信部25の制御メッセージ受信処理のフローチャートである。
制御メッセージ通信部25は、通信インタフェース21を介して、制御メッセージを受信する(F401)。制御メッセージ通信部25は、制御メッセージがアラーム通知を示すか否かを判定する(F402)。
F402の処理で、制御メッセージがアラーム通知を示すと判定された場合、制御メッセージ通信部25は、共有画像データの送信帯域を増大させ、会議画像データの送信帯域を減少させるように、会議情報データベース26の送信帯域を変更する(F403)。
具体的には、制御メッセージ通信部25は、図8A及び図8Bに示す会議情報データベース26に登録されたエントリのうち、制御メッセージを送信したテレビ会議端末1Aと同じ会議に参加しているテレビ会議端末1B及び1Cのエントリを抽出する。そして、制御メッセージ通信部25は、抽出したエントリの会議画像データの現行送信帯域804をアラーム中送信帯域806の値に変更するとともに、抽出したエントリの共有画像データの現行送信帯域804をアラーム中送信帯域806の値に変更する。
本実施形態では、制御メッセージ通信部25は、会議画像データの送信帯域を2000kbpsから400kbpsに減少させ、共有画像データの送信帯域を400kbpsから2000kbpsに増大させる。
次に、制御メッセージ通信部25は、アラーム解除タイマを起動する(F404)。アラーム解除タイマは、アラーム解除通知を示す制御メッセージを何らかの理由によって中継装置2が受信できない場合に、アラーム通知を示す制御メッセージを受信してから所定時間経過後に、送信帯域を通常時の送信帯域に戻し、通常状態に遷移させるためのタイマである。
そして、制御メッセージ通信部25は、受信した制御メッセージを会議に参加している他のテレビ会議端末1に送信し(F408)、処理を終了する。
一方、F402の処理で、制御メッセージがアラーム通知を示さないと判定された場合、制御メッセージ通信部25は、制御メッセージがアラーム解除通知を示すか否かを判定する(F405)。
F405の処理で、制御メッセージがアラーム解除通知を示さないと判定された場合、F408の処理に進み、制御メッセージ通信部25は、受信した制御メッセージを会議に参加している他のテレビ会議端末1に送信し、処理を終了する。
F405の処理で、制御メッセージがアラーム解除通知を示すと判定された場合、制御メッセージ通信部25は、共有画像データ及び会議画像データの送信帯域を通常状態の値に戻すように、会議情報データベース26を変更する(F406)。
なお、会議情報データベース26の変更については、制御メッセージ通信部25は、F403の処理で現行送信帯域804が変更されたエントリの現行送信帯域804を通常時送信帯域805の値に変更する。
具体的には、制御メッセージ通信部25は、会議画像データの送信帯域を400kbpsから2000kbpsに戻し、共有画像データの送信帯域を2000kbpsから400kbpsに戻す。
次に、制御メッセージ通信部25は、アラーム解除タイマを停止し(F407)、F408の処理に進み、受信した制御メッセージを会議に参加している他のテレビ会議端末1に送信し、処理を終了する。
図7Cは、本発明の第1の実施形態のタイマ制御部27のタイマ処理のフローチャートである。
タイマ処理は、アラーム解除タイマが起動された場合所定周期で繰り返し実行される。
タイマ制御部27は、アラーム解除タイマがタイムアウトしたか否かを判定する(F501)。
F501の処理で、アラーム解除タイマがタイムアウトしたと判定された場合、共有画像データ及び会議画像データの送信帯域を通常状態の値に戻すように、会議情報データベース26を変更し(F502)、アラーム解除タイマを停止し(F503)、処理を終了する。
なお、F502の処理は、F406の処理と同じであるので具体的な説明は省略する。
一方、F501の処理で、アラーム解除タイマがタイムアウトしていないと判定された場合、処理を終了する。
これによって、アラーム解除タイマが起動されてから所定時間経過しても、中継装置2がアラーム解除通知を示す制御メッセージを受信せずに、アラーム解除タイマが停止されない場合であっても、減少された会議画像データの送信帯域及び増大された共有画像データの送信帯域を通常時の値に戻すことができる。
図8Aは、本発明の第1の実施形態の中継装置2の通常時の会議情報データベース26の説明図である。
会議情報データベース26は、会議名801、端末名802、データ種別803、現行送信帯域804、通常時送信帯域805、及びアラーム中送信帯域806を含む。
会議名801には、開催されている会議の名称が登録されている。端末名802には、会議名801に登録された会議に参加しているテレビ会議端末1の識別子が登録される。データ種別803には、一つのテレビ会議端末1のエントリに対して会議画像データ、共有画像データ、及び音声データの種別が登録される。
現行送信帯域804には、会議画像データ、共有画像データ、及び音声データの送信に用いる送信帯域の値が登録される。通常時送信帯域805には、通常時に会議画像データ、共有画像データ、及び音声データの送信帯域に設定される値が登録される。アラーム中送信帯域806には、アラーム中に会議画像データ、共有画像データ、及び音声データの送信帯域に設定される値が登録される。
図8Aは、通常時の会議情報データベース26であるので、定例会議に参加するすべてのテレビ会議端末1に対応するエントリの現行送信帯域804には通常時送信帯域805に登録された値が登録される。
図8Bは、本発明の第1の実施形態の中継装置2のアラーム中の会議情報データベース26の説明図である。
図8Bは、テレビ会議端末1Aがアラーム通知を示す制御メッセージを中継装置2に送信した場合の会議情報データベース26を示す。このため、テレビ会議端末1Aは、共有画像データを送信する端末であり、当該共有画像データの送信先はテレビ会議端末1B及び1Cとなる。
したがって、テレビ会議端末1Aの共有画像データの配信先となるテレビ会議端末1B及び1Cの会議画像データ及び共有画像データの現行送信帯域804にはアラーム中送信帯域806に登録された値が登録される。
これによって、中継装置2は、アラーム通知を示す制御メッセージを受信した場合、共有画像データを受信するテレビ会議端末1B及び1Cへの共有画像データの送信帯域を増大させ、会議画像データの送信帯域を減少させることができる。
図9は、本発明の第1の実施形態のテレビ会議端末1の受信側のブロック図である。
テレビ会議端末1の受信側は、音声処理部11、会議画像処理部12、共有画像処理部13、表示処理部17、制御メッセージ通信部15、タイマ制御部18、及び通信インタフェース16を備える。
音声処理部11は、図3に示す音声処理部11と同じプログラムであり、音声データを処理ものであり、受信側の音声処理部11は、受信処理部115、復号化処理部116、音声合成処理部117、及び音声出力部118を備える。
受信処理部115は、通信インタフェース16を介して受信した音声データを受信する。復号化処理部116は、受信処理部115が受信した音声データを復号化する。音声合成処理部117は、複数のテレビ会議端末1から受信した音声データを合成する。音声出力部118は、音声合成処理部117によって合成された音声データを、スピーカ等の音声出力装置から出力する。
会議画像処理部12は、図3に示す会議画像処理部12と同じプログラムであり、会議画像データを処理するものであり、受信処理部125及び復号化処理部126を備える。
受信処理部125は、通信インタフェース16を介して受信した会議画像データを受信する。復号化処理部116は、受信処理部125が受信した会議画像データを復号化し、表示処理部17に出力する。
共有画像処理部13は、図3に示す共有画像処理部13と同じプログラムであり、共有画像データを処理するものであり、受信処理部136及び復号化処理部137を備える。受信処理部136及び復号化処理部137は、処理対象が共有画像データである点以外は、受信処理部125及び復号化処理部126と同じであるので、説明を省略する。
表示処理部17は、会議画像データ及び共有画像データに基づいて、ディスプレイ等の映像表示装置に表示される表示画面データを作成するものであり、画像合成処理部171、及び画像出力部172を備える。
画像合成処理部171は、会議画像処理部12から入力された会議画像データ及び共有画像処理部13から入力された共有画像データを合成して、一つの画面に出力するための表示画面データを作成する。画像出力部172は、画像合成処理部171によって合成された表示画面データをディスプレイ等の外部出力装置に出力する。
制御メッセージ通信部15は、図3に示す制御メッセージ通信部15と同じプログラムであり、制御メッセージを通信インタフェース21を介して受信する。
タイマ制御部18は、アラーム解除タイマ及び表示切替待ちタイマを制御する。アラーム解除タイマは、中継装置2で説明したように、アラーム解除通知を受信しなくてもアラーム通知から所定時間経過後にアラーム中を解除するためのタイマである。表示切替待ちタイマは、アラーム通知を受信した場合に共有画像データに基づく共有画像を拡大表示する拡大表示画面を表示するが、この拡大表示画面をアラーム解除通知の受信後においても所定時間を表示し続けるためのタイマである。
図10Aは、本発明の第1の実施形態の会議画像処理部12の会議画像データ受信処理のフローチャートである。
受信処理部125は、会議画像データを通信インタフェース16を介して受信する(F601)。
受信処理部125は、受信した会議画像データを復号化処理部126に出力する(F602)。復号化処理部126は、入力された会議画像データを復号化し(F603)、復号化した会議画像データを画像合成処理部171に出力し(F604)、処理を終了する。
図10Bは、本発明の第1の実施形態の共有画像処理部13の共有画像データ受信処理のフローチャートである。
受信処理部136は、共有画像データを通信インタフェース16を介して受信する(F701)。
受信処理部136は、受信した共有画像データを復号化処理部137に出力する(F702)。復号化処理部137は、入力された共有画像データを復号化し(F703)、復号化した共有画像データを画像合成処理部171に出力し(F704)、処理を終了する。
図10Cは、本発明の第1の実施形態の表示処理部17の画像表示処理のフローチャートである。
画像合成処理部171は、図10Aに示す会議画像データ受信処理で出力された会議画像データ、及び図10Bに示す共有画像データ受信処理で出力された共有画像データに基づいて、画像を合成する。
まず、画像合成処理部171は、テレビ会議端末1がアラーム中であるか否かを判定する(F801)。画像合成処理部171は、アラーム通知を示す制御メッセージを受信した場合にテレビ会議端末1がアラーム中に設定される。制御メッセージに基づくテレビ会議端末1の状態の遷移については図10Dで詳細を説明する。
F801の処理で、テレビ会議端末1がアラーム中でないと判定された場合、画像合成処理部171は、会議画像データ及び共有画像データを合成した通常表示画面データ1100(図11参照)を作成し(F802)、作成した通常表示画面データ1100を画像出力部172に出力する(F803)。画像出力部172は、入力された通常表示画面データ1100を映像表示装置に表示し(F805)、処理を終了する。
一方、F801の処理で、テレビ会議端末1がアラーム中であると判定された場合、画像合成処理部171は、会議画像データ及び共有画像データに基づいて、共有画像データを、通常表示画面データ1100よりも拡大表示するアラーム中表示画面データ1110を作成し(F804)、F805の処理に進む。F805の処理では、画像出力部172は、入力されたアラーム中表示画面データ1110を映像表示装置に表示し、処理を終了する。
ここで、通常表示画面データ1100及びアラーム中表示画面データ1110について図11を用いて説明する。
図11は、本発明の第1の実施形態の通常表示画面データ1100による通常表示画面及びアラーム中表示画面データ1110によるアラーム中表示画面の説明図である。
通常表示画面では、画面が四分割され、つまり、画面1101〜1104に分割されている。画面1101〜1103には、会議画像データに基づく会議画像が表示される。例えば、画面1101には自身(例えば、テレビ会議端末1B)の会議画像データに基づく会議画像が表示され、画面1102及び1103には他のテレビ会議端末1A及び1Cの会議画像データに基づく会議画像が表示される。また、画面1104には、共有画像データに基づく共有画像が表示される。
一方、アラーム中表示画面では、共有画像データに基づく共有画像が、画面1104よりも拡大表示され全画面表示され、会議画像データに基づく会議画像は表示されない。
このように、アラーム中に共有画像のみを表示することによって、会議画像の送信帯域の減少による会議画像の劣化をユーザに意識させず、また、共有画像を拡大表示することで、共有画像の画像更新内容をユーザに把握させやすくすることができる。
なお、アラーム中表示画面では、共有画像のみを表示しなくてもよく、会議画像を表示してもよい。この変形例について図12を用いて説明する。
図12は、本発明の第1の実施形態の変形例の通常表示画面データ1100による通常表示画面及びアラーム中表示画面データ1110によるアラーム中表示画面の説明図である。
図12の通常表示画面は、図11の通常表示画面と同じであるので説明を省略する。
アラーム中表示画面は、拡大表示された共有画像1121と、通常表示画面よりも縮小表示された会議画像1122が表示される。
図10Dは、本発明の第1の実施形態の制御メッセージ通信部15の制御メッセージ受信処理のフローチャートである。
中継装置2は、図7Bで説明しように、テレビ会議端末1から受信したアラーム通知又はアラーム解除通知を示す制御メッセージを、会議に参加している他のテレビ会議端末
1へ転送する。
1へ転送する。
制御メッセージ通信部15は、中継装置2から転送された制御メッセージを通信インタフェース16を介して受信する(F901)。
制御メッセージ通信部15は、受信した制御メッセージがアラーム通知を示すか否かを判定する(F902)。
F902の処理で、受信した制御メッセージがアラームを示すと判定された場合、制御メッセージ通信部15は、アラーム通知を画像合成処理部171に出力する(F903)。画像合成処理部171は、アラーム通知が入力された場合、テレビ会議端末1の状態をアラーム中に遷移させる(F904)。具体的には、画像合成処理部171は、テレビ会議端末1に備わる図示しないメモリに受信側のアラームフラグを設定する。このアラームフラグが設定されるメモリの記憶領域は、送信する共有画像データの容量が上限値以上になった場合に設定されるアラームフラグの記憶領域とは異なる。このため、アラーム通知を受信したことによるアラーム中であるか、送信する共有画像データの容量が上限値以上になったことによるアラーム中であるかをプロセッサは判定可能である。
制御メッセージ通信部15は、F903の処理でアラーム通知を出力してから所定時間経過後にアラームフラグを解除するためのアラーム解除タイマを起動し(F905)、処理を終了する。
一方、F902の処理で、受信した制御メッセージがアラーム通知でないと場合、制御メッセージ通信部15は、受信した制御メッセージがアラーム解除通知を示すか否かを判定する(F906)。
F906の処理で、受信した制御メッセージがアラーム解除通知でないと判定された場合、処理を終了する。
F906の処理で、受信した制御メッセージがアラーム解除通知であると判定された場合、制御メッセージ通信部15は、アラーム解除タイマを停止し(F907)、表示切替待ちタイマを起動し(F908)、処理を終了する。
表示切替待ちタイマは、アラーム中表示画面を通常表示画面に切り替えるタイミングを管理するタイマである。具体的には、アラーム解除通知を受信してもすぐにアラーム中表示画面を通常表示画面に切り替えずに、アラーム解除通知を受信してから所定時間経過後にアラーム中表示画面を通常表示画面に切り替える。
これによって、ユーザは、更新された共有画像の内容を確認できる十分な時間を確保できる。
なお、アラーム解除タイマ及び表示切替待ちタイマのタイムアップ値は、テレビ会議端末ごとに設定される値であってもよいし、中継装置2にある値が設定されており、中継装置2が各テレビ会議端末1に設定してもよい。
図10Eは、本発明の第1の実施形態のタイマ制御部18のタイマ処理のフローチャートである。
タイマ処理は、所定周期で繰り返し実行される。
まず、タイマ制御部18は、アラーム解除タイマがタイムアウトしたか否かを判定する(FA01)。
FA01の処理で、アラーム解除タイマがタイムアウトしたと判定された場合、タイマ制御部18は、画像合成処理部171にアラーム解除通知を出力する(FA03)。画像合成処理部171は、アラーム解除通知が入力された場合、自身の状態を通常状態に遷移させる(FA04)。次に、タイマ制御部18は、最後にタイマーを停止する(FA05)。FA04の処理は、具体的には、アラーム通知を受信したことによって図示しないメモリに設定されたアラームフラグを解除する処理である。
一方、FA01の処理で、アラーム解除タイマがタイムアウトしてないと判定された場合、タイマ制御部18は、表示切替待ちタイマがタイムアウトしたか否かを判定する(FA02)。
FA02の処理で、表示切替待ちタイマがタイムアウトしたと判定された場合、FA03〜FA05の処理を実行し、処理を終了する。
一方、FA02の処理で、表示切替待ちタイマがタイムアウトしてないと判定された場合、処理を終了する。
以上によって、送信する共有画像データの容量が所定値以上である場合、共有画像データの送信帯域が通常時よりも増大するので、共有画像データの転送遅延を防止できる。
また、アラーム中である場合、会議画像データの送信帯域を通常時よりも減少させるが、この場合、会議画像データの解像度及びフレームレートの少なくとも一方を減少させることによって、送信する会議画像データの容量を減少させるので、会議画像データの転送遅延も防止できる。
また、共有画像データの送信帯域の増大後、送信する共有画像データが減少した場合、共有画像データ及び会議画像データの送信帯域を通常時の値に戻すことによって、会議画像データの送信帯域の減少による会議画像データによる会議画像の劣化を回復できる。
共有画像データを送信するテレビ会議端末1が共有画像データの送信帯域を増大させ、会議画像データの送信帯域を減少させた場合、共有画像データを受信するテレビ会議端末は、共有画像を通常時よりも拡大表示し、会議画像を通常時よりも縮小表示するか表示しないため、会議画像の画質の劣化をユーザに意識させない。
(第2の実施形態)
第1の実施形態は、複数のテレビ会議端末1は中継装置2を介して通信するものであるが、第2の実施形態は、テレビ会議システムは中継装置2を備えず、複数のテレビ会議端末1は中継装置2を介さずに通信する。
第1の実施形態は、複数のテレビ会議端末1は中継装置2を介して通信するものであるが、第2の実施形態は、テレビ会議システムは中継装置2を備えず、複数のテレビ会議端末1は中継装置2を介さずに通信する。
テレビ会議システムが中継装置2を備えない場合、テレビ会議端末1が図8に示す中継装置2の会議情報データベース26を備える。
具体的には、音声処理部11のデータベース部114には、会議に参加する他のテレビ会議端末1への現行送信帯域、通常時送信帯域、及びアラーム中送信帯域が登録され、会議画像処理部12のデータベース部124には、会議に参加する他のテレビ会議端末1への現行送信帯域、通常時送信帯域、及びアラーム中送信帯域が登録され、共有画像処理部13のデータベース部135には、会議に参加する他のテレビ会議端末1への現行送信帯域、通常時送信帯域、及びアラーム中送信帯域が登録される。
テレビ会議端末1は、会議情報データベース26を参照することによって、会議画像データ、共有画像データ、及び音声データを送信すべきテレビ会議端末1を特定し、特定したテレビ会議端末1にこれらのデータを送信する。
また、送信する共有画像データの容量が上限値以上となった場合、送信帯域管理処理部14が、会議画像処理部12のデータベース部124及び共有画像処理部13のデータベース部135の当該会議に参加する他のテレビ会議端末1の現行送信帯域にアラーム中送信帯域の値を登録する。
以上によって、中継装置2を備えないテレビ会議システムに対しても本発明を適用できる。
なお、本発明は、主としてテレビ会議に適用するものであるが、テレビ会議以外の画像データを端末間で通信するシステムに適用可能である。
1 テレビ会議端末
2 中継装置
3 ネットワーク
11 音声処理部
12 会議画像処理部
13 共有画像処理部
14 送信帯域管理処理部
15 制御メッセージ通信部
16 通信インタフェース
17 表示処理部
18 タイマ制御部
21 通信インタフェース
22 転送データ受信部
23 会議管理部
24 帯域制御部
25 制御メッセージ通信部
26 会議情報データベース
27 タイマ制御部
2 中継装置
3 ネットワーク
11 音声処理部
12 会議画像処理部
13 共有画像処理部
14 送信帯域管理処理部
15 制御メッセージ通信部
16 通信インタフェース
17 表示処理部
18 タイマ制御部
21 通信インタフェース
22 転送データ受信部
23 会議管理部
24 帯域制御部
25 制御メッセージ通信部
26 会議情報データベース
27 タイマ制御部
Claims (14)
- 複数の端末を備え、前記各端末に表示される画像データを前記複数の端末間で通信する画像データ通信システムにおいて、
前記画像データは、カメラによって撮像された第1画像データ、及び、前記いずれかの端末で実行された所定のアプリケーションで表示され、前記複数の端末間で共有される画面に表示される第2画像データを含み、
前記端末は、前記所定のアプリケーションを実行する第1端末と、前記第1端末で実行されたアプリケーションで表示された画面を前記第1端末と共有する第2端末と、を含み、
前記第1端末は、
前記第1画像データを第1送信帯域で前記通信部から送信する第1画像データ送信部と、
前記第2画像データを第2送信帯域で前記通信部から送信する第2画像データ送信部と、
前記第1送信帯域及び前記第2送信帯域を管理する第1端末送信帯域管理部と、を備え、
前記第2画像データ送信部は、送信する前記第2画像データの単位時間当たりの容量が所定値以上であるか否かを判定するアラーム判定処理を実行し、
前記第1端末送信帯域管理部は、
前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第2送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きくなるように設定し、
前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第1送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの第1容量が所定値未満である場合の前記第1送信帯域よりも小さくなるように設定することを特徴とする画像データ通信システム。 - 前記第1画像データ送信部は、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記送信する第1画像データの解像度及びフレームレートの少なくとも一方を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合よりも小さくすることを特徴とする請求項1に記載の画像データ通信システム。
- 前記第2端末は、前記受信した第1画像データ及び前記第2画像データを表示する表示データを作成する表示データ作成部を備え、
前記第1端末は、前記判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、その旨を通知するアラーム通知を前記第2端末に送信する第2端末通知送信部を備え、
前記表示データ作成部は、前記アラーム通知を受信した場合、前記第2画像データを、前記アラーム通知を受信してない場合の前記第2画像データよりも大きく表示するための拡大表示データを作成することを特徴とする請求項1及び請求項2に記載の画像データ通信システム。 - 前記第2画像データ送信部は、前記第1送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第1送信帯域よりも小さく、前記第2送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きく設定されている場合、送信する前記第2画像データの単位時間当たりの容量が所定値未満であるか否かを判定するアラーム解除判定処理を実行し、
前記第2端末通知送信部は、前記アラーム解除判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合、その旨を通知するアラーム解除通知を前記第2端末へ送信し、
前記表示データ作成部は、前記アラーム解除通知を受信してから所定時間が経過するまで、前記拡大表示データを作成することを特徴とする請求項3に記載の画像データ通信システム。 - 前記第1端末及び前記第2端末は中継装置を介して接続され、
前記第1端末は、前記アラームフラグが設定された場合、その旨を通知するアラーム通知を前記中継装置に送信する中継装置通知送信部を備え、
前記中継装置は、
前記第1端末から受信した前記第1画像データを前記第2端末へ第3送信帯域で転送する第1画像データ転送部と、
前記第1端末から受信した前記第2画像データを前記第2端末へ第4送信帯域で転送する第2画像データ転送部と、
前記第3送信帯域及び前記第4送信帯域を管理する中継装置送信帯域管理部と、を備え、
前記中継装置帯域管理部は、
前記アラーム通知を受信した場合、前記第4送信帯域を、前記アラーム通知を受信していない場合の前記第4送信帯域よりも大きくなるように設定し、
前記アラーム通知を受信した場合、前記第3送信帯域を、前記アラーム通知を受信していない場合の前記第3送信帯域よりも小さくなるように設定することを特徴とする請求項1〜請求項4のいずれか一つに記載の画像データ通信システム。 - 前記第1画像データ転送部は、前記アラーム通知を受信して、前記第3送信帯域が小さく設定された場合、前記転送する第1画像データの解像度及びフレームレートの少なくとも一方を、前記アラーム通知を受信していない場合よりも小さくすることを特徴とする請求項5に記載の画像データ通信システム。
- 前記第2画像データ送信部は、前記第1送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第1送信帯域よりも小さく、前記第2送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きく設定されている場合、送信する前記第2画像データの単位時間当たりの容量が所定値未満であるか否かを判定するアラーム解除判定処理を実行し、
前記中継装置通知送信部は、前記アラーム解除判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合、その旨を通知するアラーム解除通知を前記中継装置へ送信し、
前記中継装置帯域管理部は、前記アラーム通知を受信してから所定時間経過しても、前記アラーム解除通知を受信しない場合、前記第3送信帯域及び前記第4送信帯域を、前記アラーム通知を受信していない場合の送信帯域に戻すことを特徴とする請求項5及び請求項6に記載の画像データ通信システム。 - 複数の端末を備え、前記各端末に表示される画像データを前記複数の端末間で通信する画像データ通信システムにおける画像データ通信方法において、
前記画像データは、カメラによって撮像された第1画像データ、及び、前記いずれかの端末で実行された所定のアプリケーションで表示され、前記複数の端末間で共有される画面に表示される第2画像データを含み、
前記端末は、前記所定のアプリケーションを実行する第1端末と、前記第1端末で実行されたアプリケーションで表示された画面を前記第1端末と共有する第2端末と、を含み、
前記方法は、
前記第1端末が、前記第1画像データを第1送信帯域で前記通信部から送信する第1画像データ送信ステップと、
前記第1端末が、前記第2画像データを第2送信帯域で前記通信部から送信する第2画像データ送信ステップと、
前記第1端末が、前記第1送信帯域及び前記第2送信帯域を管理する第1端末送信帯域管理ステップと、を備え、
前記第2画像データ送信ステップでは、送信する前記第2画像データの単位時間当たりの容量が所定値以上であるか否かを判定するアラーム判定処理を実行し、
前記第1端末送信帯域管理ステップでは、
前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第2送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きくなるように設定し、
前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記第1送信帯域を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第1送信帯域よりも小さくなるように設定することを特徴とする画像データ通信方法。 - 前記第1画像データ送信ステップでは、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、前記送信する第1画像データの解像度及びフレームレートの少なくとも一方を、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合よりも小さくすることを特徴とする請求項8に記載の画像データ通信方法。
- 前記方法は、
前記第2端末が、前記受信した第1画像データ及び前記第2画像データを表示する表示データを作成する表示データ作成ステップと、
前記第1端末が、前記判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値以上である場合、その旨を通知するアラーム通知を前記第2端末に送信する第2端末通知送信ステップと、を含み、
前記表示データ作成ステップでは、前記アラーム通知を受信した場合、前記第2画像データを、前記アラーム通知を受信してない場合の前記第2画像データよりも大きく表示するための拡大表示データを作成することを特徴とする請求項9及び請求項10に記載の画像データ通信方法。 - 前記第2画像データ送信ステップでは、前記第1送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第1送信帯域よりも小さく、前記第2送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きく設定されている場合、送信する前記第2画像データの単位時間当たりの容量が所定値未満であるか否かを判定するアラーム解除判定処理を実行し、
前記第2端末通知送信ステップでは、前記アラーム解除判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合、その旨を通知するアラーム解除通知を前記第2端末へ送信し、
前記表示データ作成ステップでは、前記アラーム解除通知を受信してから所定時間が経過するまで、前記拡大表示データを作成することを特徴とする請求項10に記載の画像データ通信方法。 - 前記第1端末及び前記第2端末は中継装置を介して接続され、
前記方法は、
前記第1端末が、前記アラームフラグが設定された場合、その旨を通知するアラーム通知を前記中継装置に送信する中継装置通知送信ステップと、
前記中継装置が、前記第1端末から受信した前記第1画像データを前記第2端末へ第3送信帯域で転送する第1画像データ転送ステップと、
前記中継装置が、前記第1端末から受信した前記第2画像データを前記第2端末へ第4送信帯域で転送する第2画像データ転送ステップと、
前記中継装置が、前記第3送信帯域及び前記第4送信帯域を管理する中継装置送信帯域管理ステップと、を含み、
前記中継装置帯域管理ステップでは、
前記アラーム通知を受信した場合、前記第4送信帯域を、前記アラーム通知を受信していない場合の前記第4送信帯域よりも大きくなるように設定し、
前記アラーム通知を受信した場合、前記第3送信帯域を、前記アラーム通知を受信していない場合の前記第3送信帯域よりも小さくなるように設定することを特徴とする請求項8〜請求項11のいずれか一つに記載の画像データ通信方法。 - 前記第1画像データ転送ステップでは、前記アラーム通知を受信して、前記第3送信帯域が小さく設定された場合、前記転送する第1画像データの解像度及びフレームレートの少なくとも一方を、前記アラーム通知を受信していない場合よりも小さくすることを特徴とする請求項12に記載の画像データ通信方法。
- 前記第2画像データ送信ステップでは、前記第1送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第1送信帯域よりも小さく、前記第2送信帯域が、前記アラーム判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合の前記第2送信帯域よりも大きく設定されている場合、送信する前記第2画像データの単位時間当たりの容量が所定値未満であるか否かを判定するアラーム解除判定処理を実行し、
前記中継装置通知送信ステップでは、前記アラーム解除判定処理の判定結果が送信する前記第2画像データの単位時間当たりの容量が所定値未満である場合、その旨を通知するアラーム解除通知を前記中継装置へ送信し、
前記中継装置帯域管理ステップでは、前記アラーム通知を受信してから所定時間経過しても、前記アラーム解除通知を受信しない場合、前記第3送信帯域及び前記第4送信帯域を、前記アラーム通知を受信していない場合の送信帯域に戻すことを特徴とする請求項12及び請求項13に記載の画像データ通信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261055A JP2012114623A (ja) | 2010-11-24 | 2010-11-24 | 画像データ通信システム及び画像データ通信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261055A JP2012114623A (ja) | 2010-11-24 | 2010-11-24 | 画像データ通信システム及び画像データ通信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012114623A true JP2012114623A (ja) | 2012-06-14 |
Family
ID=46498362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010261055A Pending JP2012114623A (ja) | 2010-11-24 | 2010-11-24 | 画像データ通信システム及び画像データ通信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012114623A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140094355A (ko) * | 2013-01-22 | 2014-07-30 | 삼성테크윈 주식회사 | 영상 감시 시스템 및 이의 제어 방법. |
JP2015032078A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社オプティム | ユーザ端末、画面共有方法、ユーザ端末用プログラム |
JP2016071636A (ja) * | 2014-09-30 | 2016-05-09 | Kddi株式会社 | ミラーリングシステム及びミラーリング方法 |
JP2017135500A (ja) * | 2016-01-26 | 2017-08-03 | Kddi株式会社 | 端末装置、通信方法、及びプログラム |
JP2017134510A (ja) * | 2016-01-26 | 2017-08-03 | Kddi株式会社 | 端末装置、情報提供方法、及びコンピュータプログラム |
JP2021068931A (ja) * | 2019-10-17 | 2021-04-30 | 株式会社リコー | 伝送端末、通信システム、通信制御方法、及びプログラム |
KR102723042B1 (ko) | 2022-01-11 | 2024-10-28 | 네이버 주식회사 | 중계 단말의 모바일 단말과의 연결방법 및 이를 위한 중계 단말 |
-
2010
- 2010-11-24 JP JP2010261055A patent/JP2012114623A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140094355A (ko) * | 2013-01-22 | 2014-07-30 | 삼성테크윈 주식회사 | 영상 감시 시스템 및 이의 제어 방법. |
KR102083924B1 (ko) | 2013-01-22 | 2020-03-03 | 한화테크윈 주식회사 | 영상 감시 시스템 및 이의 제어 방법. |
JP2015032078A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社オプティム | ユーザ端末、画面共有方法、ユーザ端末用プログラム |
JP2016071636A (ja) * | 2014-09-30 | 2016-05-09 | Kddi株式会社 | ミラーリングシステム及びミラーリング方法 |
JP2017135500A (ja) * | 2016-01-26 | 2017-08-03 | Kddi株式会社 | 端末装置、通信方法、及びプログラム |
JP2017134510A (ja) * | 2016-01-26 | 2017-08-03 | Kddi株式会社 | 端末装置、情報提供方法、及びコンピュータプログラム |
JP2021068931A (ja) * | 2019-10-17 | 2021-04-30 | 株式会社リコー | 伝送端末、通信システム、通信制御方法、及びプログラム |
JP7392383B2 (ja) | 2019-10-17 | 2023-12-06 | 株式会社リコー | 伝送端末、通信システム、通信制御方法、及びプログラム |
KR102723042B1 (ko) | 2022-01-11 | 2024-10-28 | 네이버 주식회사 | 중계 단말의 모바일 단말과의 연결방법 및 이를 위한 중계 단말 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11102181B2 (en) | Semantically aware network method and apparatus | |
JP2012114623A (ja) | 画像データ通信システム及び画像データ通信方法 | |
JP6618552B2 (ja) | 多重経路メディア伝達のための方法及び装置 | |
US7535484B2 (en) | Communication terminals that vary a video stream based on how it is displayed | |
JP4546202B2 (ja) | 映像受信装置とその制御方法とプログラム及び記憶媒体 | |
US10547652B2 (en) | Communication control device, communication system, and communication control method | |
KR20010105387A (ko) | 계층적 전송을 이용한 인터넷 방송 시스템 및 인터넷 방송방법 | |
JP5335354B2 (ja) | 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム | |
JP2009272833A (ja) | 映像配信装置、配信中継装置及びそれらの制御方法並びにデータ配信システム | |
JP2008011177A (ja) | ストリーミング配信における動的品質制御方法およびネットワーク・システム | |
JP5997439B2 (ja) | オーディオ、ビデオ、及びコンピュータグラフィックスコンテンツの少なくとも一つをレンダリングするための方法及び入出力デバイス、及び、プリレンダリングされたオーディオ、プリレンダリングされたビデオ、及びプリレンダリングされたコンピュータグラフィックスコンテンツの少なくとも一つを配信するためのサービスを行うデバイス | |
JP2001352326A (ja) | 通信装置、通信制御装置および通信方法 | |
JP5141162B2 (ja) | テレビ会議システムおよび端末装置 | |
JP2010199820A (ja) | ネットワーク動画配信システム及び動画受信装置 | |
US20080159320A1 (en) | Layer 3 switch device and its control method | |
JP4516482B2 (ja) | 通信装置およびデータストリーム切替え方法 | |
US20140375755A1 (en) | Apparatus and method for changing main screen based on distributed telepresence | |
KR101480653B1 (ko) | 미러링크 사운드 출력 제어방법 | |
JP2007128388A (ja) | 情報提供システム、情報提供方法及びその切り替え制御方法 | |
JP6184246B2 (ja) | 画像形成装置及びその制御方法、並びにプログラム | |
JP2009239514A (ja) | 動画配信装置、経由装置、動画配信システム及び方法 | |
JP2009118193A (ja) | 画像配信システムおよび画像配信方法 | |
JP2006245711A (ja) | マルチキャスト中継装置 | |
JP2012169694A (ja) | テレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法 | |
JP2005072973A (ja) | マルチメディア情報中継装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |