JP2011216987A - 監視システムおよび会議システム - Google Patents

監視システムおよび会議システム Download PDF

Info

Publication number
JP2011216987A
JP2011216987A JP2010080823A JP2010080823A JP2011216987A JP 2011216987 A JP2011216987 A JP 2011216987A JP 2010080823 A JP2010080823 A JP 2010080823A JP 2010080823 A JP2010080823 A JP 2010080823A JP 2011216987 A JP2011216987 A JP 2011216987A
Authority
JP
Japan
Prior art keywords
terminal device
change
video
parent
child
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010080823A
Other languages
English (en)
Other versions
JP5042330B2 (ja
Inventor
Eiichi Miyahiro
栄一 宮広
Tomohiro Taniguchi
友浩 谷口
Yusuke Shimatani
悠介 縞谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Communication Systems Co Ltd
Original Assignee
Kyocera Communication Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Communication Systems Co Ltd filed Critical Kyocera Communication Systems Co Ltd
Priority to JP2010080823A priority Critical patent/JP5042330B2/ja
Publication of JP2011216987A publication Critical patent/JP2011216987A/ja
Application granted granted Critical
Publication of JP5042330B2 publication Critical patent/JP5042330B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】 簡易な構成でありながらデータ伝送容量を十分に抑えつつ、重要な情報を伝送することのできる監視システムを提供する。
【解決手段】 各端末装置T1〜T6は、カメラによって撮像した動画を取得するとともに、動画の画像変化率を算出する。端末装置T1は、変化一覧テーブル2における自らの画像変化率を更新して、次の端末装置T2に送信する。端末装置T2は、変化一覧テーブル2を更新して、次の端末装置T3に送信する。以下、順次、変化一覧テーブル2の書き換えが行われる。各端末装置は、変化一覧テーブル2を参照して、最も画像変化の大きい端末装置T3を親端末装置とし、画像変化が2番目から4番目に大きい端末装置T6、T2、T5を子端末装置とする。子端末装置T6、T2、T5は、親端末装置T3に対し静止画を送信する。親端末装置T3は、受信した静止画集と、自らの動画を中央装置Sに送信する。中央装置Sはこれを表示する。
【選択図】 図3

Description

この発明は、監視システムおよび会議システムに関し、そのネットワーク負荷の低減に関するものである。
図1に、従来の監視システムの構成を示す。中央装置Sに対し、複数の端末装置T1〜T6が接続されている。端末装置T1〜T6のそれぞれには、監視のためのカメラ(図示せず)が設けられている。各端末装置T1〜T6と中央装置Sとの間には、それぞれ通信回線TS1〜TS6が設けられている。各端末装置T1〜T6は、カメラにて撮像した動画を、それぞれの通信回線TS1〜TS6を通じて中央装置Sに送信する。中央装置Sは、各端末装置T1〜T6から受信した動画を表示する。
各端末装置T1〜T6のカメラを監視したい場所に設置すれば、中央装置Sにおいて各場所の動画を見て監視することができる。
図2に、従来のテレビ会議システムの構成を示す。各端末装置T11〜T16は、サーバ装置SVに接続されている。各端末装置T11〜T16はカメラおよびマイクを有している。各端末装置T11〜T16のカメラによって撮像された動画およびマイクによって取得された音声は、サーバ装置SVに送信される。サーバ装置SVは、全ての端末装置T11〜T16からの動画および音声を、各端末装置T11〜T16のそれぞれに送信する。これを受けて、各端末装置T11〜T16は、全ての端末装置T11〜T16の動画を表示し、音声を出力する。
以上のようにして、各端末装置T11〜T16間で、テレビ会議を行うことができる。
特開2001−292439号
しかしながら、図1に示す監視システムにおいても、図2に示すテレビ会議システムにおいても、動画の伝送量が大きく通信回線の負荷が過大になるという問題があった。これを解決するため、動画ではなく静止画を送信するという方法も考えられるが、重要な情報が得られなくなるという問題が生じる。
伝送する動画データを抑える方法が、特許文献1に開示されている。特許文献1では、各端末装置の側に異常状態の識別部を設け、その異常状態に応じて撮像した動画の圧縮率を変更するようにしている。すなわち、異常状態の場合には、動画の圧縮率を小さくして詳細な画像を送るようにし、平常状態の時には、動画の圧縮率を大きくしてデータ量を小さくするようにしている。このようにすることで、異常状態にある端末装置の動画は高精度に、平常状態の端末装置の動画は低精度にすることにより、重要な端末装置の動画を精度よく表示しつつ、全体としてのデータ容量を抑えるようにしている。
しかし、特許文献1の方法においては、異常状態の識別部の作成にコストを要するという問題があった。
そこで、この発明は、上記の問題を解決した監視システムおよびテレビ会議システムを提供することを目的とする。
(1)(2)(3)(6)本発明に係る監視システムは、ループ状に順番づけられてグループ化された複数の端末装置と、各端末装置と通信可能な中央装置とを備えた監視システムにおいて、
前記端末装置は、少なくとも動画または音声を取得する取得手段と、前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、自らが子端末装置として決定されていれば、精度を低下させた自らの動画または静止画を親端末装置に送信する低精度画像送信手段と、自らが親端末装置として決定されていれば、前記動画を前記中央装置に送信するとともに、子端末装置から送信されてくる精度を低下させた動画または静止画を前記中央装置に送信する送信手段とを備え、
前記中央装置は、前記端末装置から送信されてきた動画および精度を低下させた動画または静止画を受信する受信手段と、前記受信した少なくとも動画および精度を低下させた動画または静止画または音声を出力する出力手段とを備えている。
したがって、画像や音声変化に応じて監視対象として重要であると判断した端末装置は動画で、他の端末装置は低精度画像でモニタすることができ、簡易なシステムでありながら通信データ量の増大を抑えつつ適切な監視を行うことのできるシステムを提供できる。また、低精度画像を親端末装置に集めた後に、中央装置に送信するようにしているので、各端末装置がバラバラに中央装置に送信するよりも、中央装置の処理負担が軽減される。
(4)本発明に係る端末プログラムは、親端末決定手段が、画像変化が最も大きい端末装置を親端末装置として決定することを特徴としている。
(5)本発明に係る端末プログラムは、子端末決定手段が、前記変化一覧に記載された画像変化が2番目に大きい端末装置から所定番目に大きい端末装置までを子端末として決定することを特徴としている。
したがって、画像変化が小さい端末装置については、低精度画像を収集しなくともよく、データ通信量を減らすことができる。
(7)(8)(11)本発明に係る端末装置は、他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、少なくとも動画または音声を取得する取得手段と、前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて第1の親端末装置および第2の親端末装置を決定する親端末装置決定手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、自らが第1の親端末装置として決定されていれば、前記第2の親端末装置に少なくとも動画または音声を送信する第1・第2送信手段と、自らが第2の親端末装置として決定されていれば、前記第1の親端末装置に少なくとも動画または音声を送信する第2・第1送信手段と、自らが子端末装置として決定されていれば、第1の親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、自らが第1の親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段と、自らが第2の親端末装置として決定されていれば、各端末装置に対して、第1の親端末装置から送られてきた動画および自らの動画を配信する動画配信手段とを備えている。
したがって、画像や音声変化に応じて監視対象として重要であると判断された2つの端末装置は動画で表示することができ、簡易なシステムでありながら通信データ量の増大を抑えつつ適切な会議を行うことのできるシステムを提供できる。
(9)この発明に係る端末プログラムは、親端末決定手段が、もっとも音声変化の大きい端末装置を第1の親端末装置として決定し、次に大きい端末装置を第2の親端末装置として決定することを特徴としている。
したがって、意見を交わしている2人参加者の端末装置を第1の親端末装置および第2の親端末装置として決定することができる。
(10)この発明に係る端末プログラムは、子端末装置決定手段が、前記変化一覧に記載された音声変化が3番目に大きい端末装置から所定番目に大きい端末装置までを子端末として決定することを特徴としている。
したがって、音声または画像変化の少ない端末装置については、その低精度画像を各端末装置に配信することができ、データ量の削減を図ることができる。また、2つの親端末装置の一方を低精度画像の収集と配信、他方を動画の配信として役割を分担させ、処理負担を平均化することができる。
(12)(13)この発明に係る端末装置は、他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、少なくとも動画または音声を取得する取得手段と、前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、自らが子端末装置として決定されていれば、親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、自らの動画を配信する動画配信手段と、自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段とを備えている。
したがって、画像や音声変化に応じて監視対象として重要であると判断された端末装置は動画で表示することができ、簡易なシステムでありながら通信データ量の増大を抑えつつ適切な会議を行うことのできるシステムを提供できる。
(14)(15)(16)この発明に係る端末装置は、他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、サーバ装置と通信可能に構成された端末装置であって、少なくとも動画または音声を取得する取得手段と、前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、自らが親端末装置として決定されていれば、前記サーバ装置から各端末装置に配信してもらうため、前記サーバ装置に対し少なくとも自らの動画または音声を送信する対サーバ送信手段と、自らが子端末装置として決定されていれば、前記サーバ装置から少なくとも各子端末装置に対して配信してもらうため、前記サーバ装置に対し精度を低下させた自らの動画または静止画を送信する低精度画像送信手段とを備えている。
したがって、画像や音声変化に応じて監視対象として重要であると判断された端末装置は動画で表示することができ、簡易なシステムでありながら通信データ量の増大を抑えつつ適切な会議を行うことのできるシステムを提供できる。
この発明において「取得手段」は、実施形態においては、ステップS10、ステップS202において動画や音声を取得する処理がこれに対応する。
「変化算出手段」は、実施形態においては、ステップS11、ステップS204がこれに対応する。
「変化一覧受信手段」は、ステップS9、ステップS201がこれに対応する。
「変化更新手段」は、ステップS12、ステップS205がこれに対応する。
「変化一覧送信手段」は、ステップS21、ステップS213がこれに対応する。
「親端末装置決定手段」は、ステップS17、ステップS209がこれに対応する。
「送信手段」は、ステップS26、ステップS28がこれに対応する。
「第1・第2送信手段」は、ステップS220がこれに対応する。
「第2・第1送信手段」は、ステップS222がこれに対応する。
「子端末装置決定手段」は、ステップS210がこれに対応する。
「低精度画像送信手段」は、ステップS228がこれに対応する。ここで「低精度画像」とは、動画の解像度を低下させたもの、動画のコマ数を少なくしたもの、動画を構成する静止画の一部をピックアップしたものなどをいう。
「低精度画像配信手段」は、ステップS218がこれに対応する。
「動画配信手段」は、ステップS223がこれに対応する。
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
従来技術による監視システムの例である。 従来技術によるテレビ会議システムの例である。 一実施形態による監視システムの概要を示す図である。 端末装置T3と中央装置Sの機能ブロック図である。 端末装置T1のハードウエア構成を示す図である。 中央装置Sのハードウエア構成を示す図である。 監視プログラム、動画ドライバと中央装置プログラムのログイン処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログイン処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログイン中の処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログイン中の処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログイン中の処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログイン中の処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのログオフ処理におけるフローチャートである。 監視プログラム、動画ドライバと中央装置プログラムのグループ順序変更処理におけるフローチャートである。 グループの形成を示す図である。 変化一覧テーブルの更新と送信を説明するための図である。 変化一覧テーブルの他の例である。 一実施形態によるテレビ会議システムの概要を示す図である。 端末装置T11の機能ブロック図である。 端末装置T11のハードウエア構成である。 テレビ会議プログラム、動画・音声ドライバのログイン中処理におけるフローチャートである。 テレビ会議プログラム、動画・音声ドライバのログイン中処理におけるフローチャートである。 テレビ会議プログラム、動画・音声ドライバのログイン中処理におけるフローチャートである。 テレビ会議プログラム、動画・音声ドライバのログイン中処理におけるフローチャートである。 テレビ会議プログラム、動画・音声ドライバのログイン中処理におけるフローチャートである。 変化一覧テーブルの更新と送信を説明するための図である。 他の実施形態による端末装置の機能ブロック図である。 他の実施形態によるテレビ会議システムを示す図である。 他の実施形態によるテレビ会議システムを示す図である。
1.第一の実施形態
(1)監視システムの概要
図3に、この発明の一実施形態による監視システムの概要を示す。端末装置T1〜T6は、監視対象の場所に設置されており、互いに通信可能にネットワークなどによって接続されている。ただし、各端末装置T1〜T6における通信の方向及び順序は定められている。すなわち、端末装置T1は端末装置T2に向けて送信し、端末装置T2は端末装置T3に向けて送信し、・・・端末装置T6は端末装置T1に送信するというように、リング状に連なっている。
中央装置Sは、各端末装置T1〜T6と通信可能にネットワークなどによって接続されている。
各端末装置T1〜T6は、カメラによって撮像した動画を取得するとともに、動画の画像変化率を算出する。動画に動きがなければ画像変化率は小さく、動画の動きが大きければ画像変化率は大きくなる。端末装置T1は、動画の画像変化率を算出し、これを次の端末装置T2に送信する。端末装置T2は、端末装置T1から受け取った画像変化率に自らの画像変化率を加えて、次の端末装置T3に送信する。このようにして、端末装置T1が端末装置T6から画像変化率を受け取ると変化一覧テーブル201が完成する。
端末装置T1は、変化一覧テーブル201における自らの画像変化率を更新して、次の端末装置T2に送信する。端末装置T2は、変化一覧テーブル201における自らの画像変化率を更新して、次の端末装置T3に送信する。このようにして、順次、変化一覧テーブル201の書き換えが行われる。
たとえば、端末装置T5において更新された変化一覧テーブル201の内容が図3に示すようであったとする。この時、端末装置T5は、変化一覧テーブル201を参照して、最も画像変化の大きい端末装置T3を親端末装置として決定する。また、画像変化が2番目から4番目に大きい端末装置T6、T2、T5を子端末装置として決定する。その他の端末装置T1、T4は、影端末装置として決定する。そして、端末装置T5は、自らが子端末装置であるので、親端末装置である端末装置T3に対して、動画の一部を構成する静止画を送信する。
他の端末装置T1〜T6も同様の処理を行う。したがって、親端末装置である端末装置T3は、画像変化が2番目から4番目に大きい端末装置からの静止画を受信することになる。端末装置T3は、他の端末装置から受信した静止画を、中央装置Sに送信する。さらに、端末装置T3は、自らが親端末装置になったときに、自らの動画を中央装置Sに対して送信するストリーミングを開始し、親端末装置でなくなったときに、このストリーミングを停止する。つまり、端末装置T3は、自らが親端末装置である間だけ上記ストリーミングを行う。
したがって、中央装置Sでは、端末装置T1〜T6の静止画と、端末装置T3の動画が表示されることになる。このようにして、動画の動きの大きい端末装置については動画を、動画の動きが比較的大きい端末装置については静止画を、中央装置Sにおいてモニタすることができる。
図4に、端末装置T3および中央装置Sの機能ブロック図を示す。なお、他の端末装置T1、T2、T4〜T6についても、端末装置T3と同様の構成である。
取得手段10は、動画を撮像するものである。変化算出手段12は、取得した動画の画像変化率を算出する。変化一覧受信手段14は、前端末装置である端末装置T2から、全ての端末装置の変化一覧を受信する。変化更新手段16は、受信した変化一覧において、変化算出手段12によって算出した自らの端末装置T3の画像変化率を更新する。変化一覧送信手段18は、更新した変化一覧を次端末装置である端末装置T4に送信する。
親端末決定手段20は、更新した変化一覧に記載された各端末装置T1〜T6における画像変化に基づいて、親端末装置を決定する。たとえば、最も変化の大きかった端末装置を親端末装置として決定する。
送信手段26は、自らが親端末装置として決定されていれば、取得手段10によって取得した動画を、ネットワークなどの通信回線を介して中央装置Sに送信する。
子端末決定手段22は、更新した変化一覧に記載された各端末装置T1〜T6における画像変化に基づいて、子端末装置を決定する。たとえば、2番目から4番目に変化の大きかった端末装置を子端末装置をして決定する。なお、これらより変化の小さかった端末装置は、影端末装置とする。
低精度画像送信手段24は、自らが子端末装置として決定されていれば、取得手段10によって取得した動画に基づく静止画を、ネットワークなどの通信回線を介して親端末装置に送信する。図3の例によれば、端末装置T2、T5、T6が子端末装置として、親端末装置である端末装置T3に対し静止画を送信する。
送信手段26は、自らが親端末装置として決定されていれば、前記の動画と共に、受信した静止画を、中央装置Sに送信する。
中央装置Sの受信手段28は、送信されてきた動画および静止画を受信する。出力手段30は、受信した動画および静止画を表示する。したがって、中央装置Sにおいて、最も動きの大きかった親端末装置の動画と、子端末装置の静止画をモニタすることができる。なお、影端末装置については静止画も送信されない。
(2)ハードウエア構成
図5に、端末装置T1のハードウエア構成を示す。他の端末装置T2〜T6も同様の構成である。
CPU32には、メモリ34、カメラ36、ハードディスク38、キーボード/マウス40、通信回路50が接続されている。ハードディスク38には、WINDOWS(商標)などのオペレーティングシステム(OS)44、監視プログラム46が記録されている。監視プログラム46は、OS44と協働してその機能を発揮するものである。なお、監視プログラム46単独で機能するようにしてもよい。また、ハードディスク38には、変化一覧テーブル201も記録される。通信回路50は、ネットワークなどを介して他の端末装置T2〜T6や中央装置Sと通信を行うためのものである。カメがラ36は、監視対象を撮像し動画データを生成する。
図6に、中央装置Sのハードウエア構成を示す。基本的な構成は、端末装置T1と同様である。ただし、中央装置Sにはカメラは設けられていない。一方、画面を表示するためのディスプレイ62が設けられている。ハードディスク58には、OS64と中央装置プログラム66が記録されている。中央装置プログラム66は、OS64と協働してその機能を発揮するものである。なお、中央装置プログラム66単独で機能するようにしてもよい。
(3)監視処理
図7〜14に、端末装置T1〜T6の監視プログラム46、音声動画ドライバと中央装置Sの中央装置プログラム66のフローチャートを示す。端末装置T6の電源が投入されると、端末装置T6のCPU32は、自端末装置のID、パスワード、グループ番号を、中央装置Sに送信してログインを行う(ステップS1)。
中央装置SのCPU52は、これを受けて、ID、パスワードの組み合わせが予め登録されたものであるかどうかを判断し、認証を行う(ステップS51、S52)。登録されていれば、端末装置間リンク(グループ内における端末装置の連なり)にログイン要求を行ってきた端末装置T6を追加し、グループにおける端末装置の順序を更新する(ステップS53)。
たとえば、端末装置T6が送信してきたグループ番号において、すでに、図15Aに示すように、端末装置T1〜T5が端末装置間リンクを構成していたとする。中央装置SのCPU52は、この端末装置間リンクの最後に、端末装置T6を追加する。これにより、端末装置間リンクは、図15Bに示すようになる。
次に、CPU52は、ログイン要求をしてきた端末装置T6の次の端末装置を特定する。ここでは、図15Bより、次の端末装置はT1であることがわかる。さらに中央装置SのCPU52は、端末装置T6以外の端末装置T1〜T5に対して、更新された端末装置間リンクを送信する(ステップS55)。続いて、認証結果を、端末装置T6に送信する(ステップS56)。認証結果がOKの場合であれば、中央装置SのCPU52は、認証結果にあわせて、端末装置T6の次の端末装置がいずれであるか(この場合T1)、中央装置Sの時計(図示せず)による時刻、変化一覧テーブルの送信間隔tpを、端末装置T6に送信する(ステップS56)。
端末装置T6のCPU32は、受け取った認証結果がNGであれば、処理を終了する(ステップS2)。受け取った認証結果がOKであれば、中央装置Sから受信した時刻に基づいて、自らの時計(図示せず)を修正する(ステップS3)。これにより、中央装置Sと端末装置T6の時刻を合致させることができる。
次に、端末装置T6のCPU32は、中央装置Sから受信した次の端末装置がいずれであるかの情報(この場合T1)を、メモリ54に記録する(ステップS4)。続いて、端末装置T6のCPU32は、カメラ36からの動画を入力するための動画ドライバ(ハードディスク138に記録されている)に対し、カメラ36からの動画データを取得(入力)するように指示する(ステップS5)。これを受けて、動画ドライバは、カメラ36からの動画の取得を開始する(ステップS101)。図8において、ステップS101の下に示す二重線は、動画ドライバが動画を継続して取得し入力していることを表している。
なお、上記のステップS55において、中央装置SのCPU32は、ログイン要求を行ってきた端末装置以外の端末装置(ここでは、T1〜T5)に対して、端末装置T6の加入によって変更された端末装置間リンクを送信する。このとき、端末装置T1〜T5において行われる処理を示したのが、図14である。変更された端末装置間リンクを受け取った端末装置T1(T2〜T5についても同じ)のCPU32は、自分の次の端末装置が変わったかどうかを判断する(ステップS6)。変わっていれば、メモリ34に記録されている次の端末装置名を書き換える(ステップS7)。変わっていなければ、書き換えは行わない。
以上のようにして、ログイン処理が行われる。ログイン処理が終了すると、次に、ログイン中の処理が行われる。この処理のフローチャートを、図10〜12に示す。
まず、端末装置T6のCPU32は、自分の前の端末装置(ここではT5)から変化一覧テーブルを受信し、ハードディスク38に記録する(ステップS9)。また、端末装置T6のCPU32は、変化率一覧テーブル201に、端末装置T6の記載がないのでこれを追加する(図16の202参照)。
端末装置T6のCPU32は、動画ドライバから現在の画像B(動画中のIピクチャ)を取得してメモリ34に記録する(ステップS10)。次に、前回のタイミングで動画ドライバから取得していた画像A(前回、ステップS10を実行したときに最新であった画像)に対する、画像Bの変化率を算出する(ステップS11)。なお、画像変化率は、たとえば、上記双方の画像において異なる画像データを有する画素が、前画素に対してどの程度の割合あるかによって算出することができる。ここでは、端末装置T6のCPU32がこの処理を行うのは初めてであるから、比較対象がないので、画像変化率は0とする。
次に、端末装置T6のCPU32は、変化一覧テーブル202における自分の端末装置T6の画像変化率を更新する(ステップS12)。この際、変化率を算出した時刻を検知時刻の欄に記録する。さらに、ステップS10で取得してメモリ34に記録した画像Bの名前を、画像Aに変更する(ステップS13)。
端末装置T6のCPU32は、変化一覧テーブル202の決定時刻を参照して、現在の親が決定された時刻t2を取得する(ステップS14)。続いて、端末装置T6のCPU32は、自らの時計(図示せず)から、現在時刻t1を取得する(ステップS15)。次に、現在時刻t1から親決定時刻t2を減算した値が、所定の時間間隔ts(たとえば2秒)より大きいか否かを判断する(ステップS16)。大きければ、変化一覧テーブル202において、最も画像変化率の大きい端末装置を親端末装置にする(ステップS17)。大きくなければ、変化一覧テーブル202における親端末装置の書き換えは行わない。つまり、前回の親端末装置の決定時刻t2から所定時間ts経過するまでは、新たに変化率の大きい端末装置が現れたとしても、親端末装置の変更を行わないようにしている。
続いて、端末装置T6のCPU32は、変化一覧テーブル202における、子端末装置と影端末装置を更新する(ステップS18)。すなわち、画像変化率の大きさの2番目から4番目までの端末装置を、子端末装置とする。ここでは、子端末装置も、端末装置T1、T3、T5から変化しない。親端末装置、子端末装置以外の端末装置を、影端末装置とする。ここでは、端末装置T6の属性を影端末装置とする。ここで、後述のように、親端末装置は中央装置Sにその動画が送られ、子端末装置は中央装置Sにその静止画が送られ、影端末装置は中央装置Sに画像が送られない。
次に、CPU32は、現在時刻t3を取得する(ステップS19)。次に、CPU32は、現在時刻t3からステップS15にて取得した現在時刻t1を減算する。減算した値が、中央装置Sから受信した変化一覧テーブルの送信間隔tp(たとえば100m秒)よりも大きいかどうかを判断する(ステップS20)。大きくなければ(すなわち、変化一覧テーブルを受信してから、変化一覧テーブルの送信間隔tp分の時間が経過していなければ)、ステップS19、S20を繰り返し実行する。
大きければ(すなわち、変化一覧テーブルを受信してから、変化一覧テーブルの送信間隔tp分の時間が経過していれば)、変化一覧テーブル202を、次の端末装置T1に送信する(ステップS21)。次に、CPU32は、自らが親端末装置であるかどうかを判断する(ステップS22)。ここでは、端末装置T6は影端末装置であり、親端末装置ではないので、図12のステップS29に進む。
ステップS29において、CPU32は、自端末装置が、ステップS17にて親端末装置から子端末装置に変更されたばかりであるかどうか(直前のステップS17にて変更されたかどうか)を判断する。ここでは、端末装置T6は、親端末装置から子端末装置に変更されたばかりでないので、ステップS31に進む。ステップS31において、CPU32は、自端末装置が影端末装置であるかどうかを判断する。ここでは、端末装置T6は、影端末装置であるから、ステップS9に戻って処理を繰り返す。
次に、変化一覧テーブル202を受信した端末装置T1の行う処理を説明する。端末装置T1のCPU32は、前端末装置であるT6から変化一覧テーブル202を受信すると(ステップS9)、現在の画像Bを動画ドライバより取得する(ステップS10)。そして、前回の画像Aと画像Bの変化率を算出し(ステップS11)、変化一覧テーブル203(図16参照)における自端末装置の変化率を更新する(ステップS12)。次に、画像Bを画像Aとして保持する(ステップS13)。
続いて、端末装置T1のCPU32は、親端末装置が決定された時刻t2から所定時間ts以上経過したかどうかを判断する(ステップS15、S16)。所定時間ts以上経過していれば、変化一覧テーブル203の親端末装置の更新を行う(ステップS17)。ここでは、最も変化率の大きい端末装置はT2であり、既に決定されている親端末装置と同じであるから、更新は行なわない。
続いて、CPU32は、変化一覧テーブルにおける子端末装置の更新を行う(ステップS18)。ここでは、2番目、3番目、4番目に変化率の大きいのが、端末装置T1、T5、T3であるから、既に決定されている子端末装置と同じであるから、更新は行わない。CPU32は、変化一覧テーブルの送信間隔tpが経過すると、次の端末装置T2に変化一覧テーブル203を送信する(ステップS19〜S21)。
次に、CPU32は、自端末装置が親端末装置であるかどうかを判断する(ステップS22)。ここでは、端末装置T1は、親端末装置ではないのでステップS29に進む。ステップS29において、自端末装置が子端末装置になったばかりであるかどうかを判断する。端末装置T1は、子端末装置になったばかりではないので、ステップS31に進む。ステップS31では、自端末装置が影端末装置であるかどうかを判断する。端末装置T1は、影端末装置ではないので、子端末装置の処理であるステップS32に進む。
ステップS32において、端末装置T1のCPU32は、動画ドライバより静止画を取得する(ステップS32)。なお、静止画はカメラによって撮像した動画の一部である最新のIピクチャを用いればよい。続いて、取得した静止画を親端末装置T2に送信する(ステップS33)。
以上の処理が終了すると、端末装置T1のCPU32は、ステップS9以下の処理を繰り返し実行する。
次に、変化一覧テーブル203を受信した端末装置T2の行う処理を説明する。端末装置T2のCPU32は、前端末装置であるT1から変化一覧テーブル203を受信すると(ステップS9)、現在の画像Bを動画ドライバより取得する(ステップS10)。そして、前回の画像Aと画像Bの変化率を算出し(ステップS11)、変化一覧テーブル204(図16参照)における自端末装置の変化率を更新する(ステップS12)。次に、画像Bを画像Aにする(ステップS13)。
続いて、端末装置T2のCPU32は、親端末装置が決定された時刻t2から所定時間ts以上経過したかどうかを判断する(ステップS15、S16)。所定時間ts以上経過していれば、変化一覧テーブル204の親端末装置の更新を行う(ステップS17)。ここでは、最も変化率の大きい端末装置はT2であり、既に決定されている親端末装置と同じであるから、更新は行なわない。
なお、ステップS17において、最も変化率の大きい端末装置に変更があれば、CPU32は、当該端末装置を親端末装置と決定しその旨を変化一覧テーブル204に書き込む。さらに、CPU32は、決定したときの時刻を時計から取得し決定時刻として書き込む。
続いて、CPU32は、変化一覧テーブルにおける子端末装置の更新を行う(ステップS18)。ここでは、2番目、3番目、4番目に変化率の大きいのが、端末装置T1、T5、T3であるから、既に決定されている子端末装置と同じであるから、更新は行わない。CPU32は、変化一覧テーブルの送信間隔tpが経過すると、次の端末装置T3に変化一覧テーブル204を送信する(ステップS19〜S21)。
次に、CPU32は、自端末装置が親端末装置であるか否かを判断する(ステップS22)。ここでは、端末装置T2は親端末装置であるから、ステップS23に進む。ステップS23において、端末装置T2のCPU32は、各子端末装置から受信してハードディスク38に記録している静止画のタイムスタンプ(画像生成時間)を確認する。CPU32は、所定時間経過した静止画(古い静止画)しか取得していない子端末装置、あるいは静止画が送られてきていない子端末装置を特定する(ステップS24)。そのような端末装置が存在すれば、CPU32は、当該端末装置に対し、静止画を送信するように要求し、静止画を取得する(ステップS25)。
ステップS24において、あるいはステップS25を実行することによって、全ての子端末装置から所定時間内の静止画を取得していれば、ハードディスク38に記録されている当該各端末装置の静止画を、中央装置Sに送信するよう通信回路50に指示を与える(ステップS26)。
次に、CPU32は、自端末装置がステップS17によって親端末装置になったばかりかどうか(直前のステップS17において親端末装置として更新されたかどうか)を判断する(ステップS27)。そうであれば、CPU32は、通信回路50に対し、動画ドライバの取得した動画を、中央装置Sに対しストリーミングとして送信することを開始するように指示する(ステップS28)。したがって、以後、端末装置T2の動画は、中央装置Sにストリーミング送信される。その後状況の変化があり、端末装置T2が親端末装置から子端末装置に変わった場合には、CPU32は、通信回路50に対し、上記ストリーミングを中止するように指令する(ステップS29、30)。
以上のようにして、親端末装置については動画を、子端末装置については静止画を送信することができる。しかも、中央装置Sとの通信は、親端末装置がまとめて行うので、通信の効率がよい。
以下、上記のような処理が行われ、変化一覧テーブルが端末装置T3、T4、T5、T6というように順次更新されながら送られていく。この時、新たに変化率の最も大きい端末装置が出現すると、これを親端末装置として決定することになる。
なお、親端末装置があまり頻繁に変更されると、ステップS10において親端末装置からの静止画の取得要求が多くなり、効率が低下するおそれがある。そこで、この実施形態では、前回の親端末装置の決定時刻から所定時間ts(たとえば2秒)以上経過していない場合には、新たに変化率の最も大きい端末装置が出現しても、元の親端末装置をそのまま親端末装置として維持するようにしている(ステップS15、S16)。この時、新たに出現した変化率の最も大きい端末装置は、子端末装置として決定することになる。上記の処理を実現するため、親端末装置を新たに決定した場合には、その決定時刻を変化一覧テーブルに記録するようにしている。
次に、端末装置がログオフをする場合の処理を図13を参照しながら説明する。ここでは、端末装置T2がログオフを行うものとして説明する。図13にフローチャートを示す。ユーザがログオフの指令を入力すると、まず、端末装置T2のCPU32は、自端末装置が親端末装置であるかどうかを判断する(ステップS34)。ここでは、端末装置T2は親端末装置であるから、ステップS35に進み、中央装置Sに送信していた動画のストリーミングを停止する(ステップS35)。続いて、CPU32は、動画ドライバに対して、カメラ36からの動画の入力(取得)を停止させる(ステップS36)。これを受けて、動画ドライバは、カメラからのデータの入力を停止する(ステップS102)。
端末装置T2のCPU32は、中央装置Sに対して、ログオフを通知する(ステップS37)。これを受けた中央装置Sは、ログオフした端末装置T2を外して端末間リンクを更新する(ステップS58)。さらに、中央装置Sは、ログオフを通知してきた端末装置以外の端末装置T1、T3、T4、T5、T6に、新たな順序を通知する。このとき、各端末装置では、図14に示すグループ変更処理が実行される。
なお、上記において、各端末装置T1〜T6にマイクを設けて音声データを取得し、子端末装置から親端末装置に音声データを送信し、親端末装置が自らの音声データと子端末装置の音声データとを中央装置Sに送信するようにしてもよい。この場合、中央装置Sには、音声データを再生するためのスピーカを設ける。
(4)その他の例
上記実施形態では、動画の画像変化率に基づいて各端末装置T1〜T6の属性を決定している。しかし、これに代えて、音声の大きさの変化率に基づいて各端末装置T1〜T6の属性を決定するようにしてもよい。この場合、各端末装置T1〜T6にはマイクを設けて取得した音声をハーディスク38に記録するとともに、中央装置Sにスピーカを設ける。音声の大きさの変化率は、現在から所定時間前(たとえば3秒前)までの音声の大きさの平均と、現在から前記所定時間より短い時間(たとえば0.5秒前)までの音声の大きさの平均との比に基づいて算出すればよい。
この場合の変化率一覧テーブルの例を図17に示す。監視プログラムのフローチャートは、図7〜14に示すものと同様である。ただし、画像変化率に代えて、音声変化率を用いることになる。したがって、マイクから取得した音声の大きさの音声変化率の最も大きい端末装置が親端末装置となり、2番目から所定番目(たとえば4番目)までの端末装置が子端末装置となる。親端末装置の動画、音声と子端末装置の静止画が、中央装置Sに送信されることになる。なお、全ての端末装置の音声を中央装置Sに送信するようにしてもよい。
また、上記実施形態では、動画、静止画、音声が中央装置Sに送信されている。しかし、音声変化の大きさに基づいて親端末装置・子端末装置を決定し、親端末装置・子端末装置の音声だけを中央装置Sに送るようにしてもよい。
また、画像変化の大きさと音声変化の大きさの双方を考慮して、親端末装置・子端末装置を決定するようにしてもよい。たとえば、画像変化率を0.8、音声変化率を0.2というようにウエイト付けして、合計の変化率を算出し、これに基づいて親端末装置・子端末装置を決定することができる。
また、上記においては、親端末装置・子端末装置・影端末装置を決定したが、影端末装置は設けずに、親端末装置と子端末装置だけにしてもよい。
上記実施形態では、低精度画像として静止画を送信するようにしている。しかし、カメラによって取得した動画の圧縮率を高めた低精度の動画を送信するようにしてもよい。
上記実施形態では、各端末装置は変化一覧テーブルを受け取るごとに親端末装置・子端末装置などの決定を行っている。しかし、現在の親端末装置から変化一覧テーブルが少なくとも一周して親端末装置に戻ってきたときに、当該親端末装置が新たな親端末装置・子端末装置などを決定するようにしてもよい。この場合には、親端末以外の端末装置は、変化一覧テーブルを受け取っても、親端末装置・子端末装置などの決定を行わない。
更新した変化一覧テーブルを後端末装置に送信しようとする際に、当該後端末装置がログオフしていたり、故障していたりした場合には、送信することができない。このような事態を想定して、ステップS56において、後端末装置のIDを1つだけでなく複数個与えるようにしてもよい。たとえば、図3において、新たにログインした端末装置T6に対し、後端末装置としてT1だけでなくT2も与えるようにする。端末装置T1がログオフしたなどで、端末装置T6から変化一覧テーブルを送信できない場合には、端末装置T6は次の端末装置T2に送信する。なお、3つ以上の後端末装置のIDを与えるようにしてもよい。
また、一つの端末装置が2以上のグループに属する場合には、ステップS56において、後端末装置のIDを2つ送信する必要がある。この場合、更新した変化一覧テーブルを、次にいずれの端末装置に送信すればよいか確定できなくなる。そこで、グループを明らかにするために、前端末装置のIDも与えるようにすればよい。
たとえば、端末装置T2がグループAとグループBに属している場合、中央装置Sは、グループAについては、前端末装置T1、後端末装置T3のIDを与え、グループBについては、前端末装置T20(図示せず)、後端末装置T22(図示せず)のIDを端末装置T2に与えるようにする。これにより、端末装置T2は、端末装置T1から変化一覧テーブルを受け取ったときには、更新後、端末装置T3に送信し、端末装置T20から変化一覧テーブルを受け取ったときには、更新後、端末装置T22に送信することができる。
あるいは、一つの端末装置が2以上のグループに属する場合には、当該端末装置に対し、グループごとのIDを与えるようにしてもよい。グループごとのIDに対応づけて前端末装置のIDを記録するようにすれば、グループを明らかにすることができる。
2.第二の実施形態
(1)テレビ会議システムの概要
図18に、この発明の一実施形態によるテレビ会議システムの概要を示す。端末装置T11〜T16は、会議参加者のいる場所に設置されており、互いに通信可能にネットワークなどによって接続されている。ただし、各端末装置T11〜T16における変化一覧テーブルの通信の方向及び順序は定められている。すなわち、端末装置T11は端末装置T12に向けて送信し、端末装置T12は端末装置T13に向けて送信し、・・・端末装置T16は端末装置T11に送信するというように、リング状に連なっている。
各端末装置T11〜T16は、カメラによって撮像した動画を取得して記録する。また、マイクによって取得した会議参加者の音声の大きさの変化率(音声が大きくなれば+、小さくなれば−とする)を算出する。端末装置T11は、音声変化率を算出し、これを次の端末装置T12に送信する。端末装置T12は、端末装置T11から受け取った音声変化率に自らの音声変化率を加えて、次の端末装置T13に送信する。このようにして、端末装置T11が端末装置T6から音声変化率を受け取ると変化一覧テーブル300が完成する。
端末装置T11は、変化一覧テーブル300における自らの音声変化率を更新して、次の端末装置T12に送信する。端末装置T12は、変化一覧テーブル300における自らの音声変化率を更新して、次の端末装置T13に送信する。このようにして、順次、変化一覧テーブル300の書き換えが行われる。
たとえば、端末装置T12によって更新された変化一覧テーブル300の内容が図18に示すようであったとする。この時、端末装置T13は、変化一覧テーブル300を参照して、最も音声変化の大きい(+の方向に変化が最も大きい)端末装置T12を第1の親端末装置として決定する。また、次に音声変化の大きい端末装置T15を第2の親端末装置として決定する。さらに、画像変化が3番目から5番目に大きい端末装置T13、T11、T14を子端末装置として決定する。その他の端末装置T16は、影端末装置として決定する。子端末装置については、その静止画が親端末装置に送信され、影端末装置については静止画が親端末装置に送信されない。
親端末装置・子端末装置・影端末装置は、変化一覧テーブルの更新とともに変わっていくが、ここでは、説明のために、端末装置T13が変化一覧テーブルを端末装置T14に送信してから後、端末装置T12より変化一覧テーブルを受信するまでの間、親端末装置・子端末装置・影端末装置の決定が変わらなかったものとして説明を進める。
第1の親端末装置であるT12は、第2の親端末装置であるT15に対し、自らのカメラによって撮像した動画、自らのマイクによって取得した音声を送信する。
第2の親端末装置であるT15は、第1の親端末装置であるT12に対し、自らのカメラによって撮像した動画を送信する。したがって、第1の親端末装置および第2の親端末装置との間では、動画が交換される(図18のX1参照)。また、第2の端末装置は、受け取った第1の端末装置の動画・音声と、自らの動画・音声を各端末装置に配信する。
子端末装置であるT11、T13、T14は、第1の親端末装置に対して、カメラによって撮像した動画の一部である静止画を送信する。これを受けとった第1の親端末装置は、全ての端末装置に対して、受け取った各端末装置の静止画集を配信する。
以上のようにして、各端末装置において、図18に示すように、子端末装置の静止画、第1の親端末装置、第2の親端末装置の動画・音声を表示・出力することができる。
この実施形態では、静止画の配信を第1の親端末装置が行い、動画・音声の配信を第2の親端末装置が行うようにしているので、各端末装置の動作負荷およびネットワークの負荷を分散することができる。
図19に、端末装置T11の機能ブロック図を示す。なお、他の端末装置T12〜T18についても、端末装置T3と同様の構成である。
取得手段10は、動画・音声を取得するものである。変化算出手段12は、取得した音声の大きさの変化率を算出する。変化一覧受信手段14は、前端末装置である端末装置T16から、全ての端末装置の変化一覧を受信する。変化更新手段16は、受信した変化一覧において、変化算出手段12によって算出した自らの端末装置T11の音声変化率を更新する。変化一覧送信手段18は、更新した変化一覧を次端末装置である端末装置T12に送信する。
親端末決定手段21は、更新した変化一覧に記載された各端末装置T11〜T16における画像変化に基づいて、親端末装置を決定する。たとえば、最も音声変化の大きかった端末装置を第1の親端末装置として決定し、次に音声変化の大きかった端末装置を第2の親端末装置として決定する。
第1・第2送信手段27は、自らが第1の親端末装置である場合に、自らの動画・音声を第2の親端末装置に送信する。第2・第1送信手段29は、自らが第2の親端末装置である場合に、自らの動画・音声を第1の親端末装置に送信する。
したがって、第1の親端末装置と第2の親端末装置間では、互いに相手の動画を見ることができ、音声を聞くことができる。
低精度画像送信手段25は、自らが子端末装置である場合に、自らの動画の一部である静止画を、第1の親端末装置に送信する。低精度画像配信手段31は、自らが第1の親端末装置である場合に、各端末装置の静止画集を自分以外の端末装置に配信する。動画配信手段33は、自らが第2の親端末装置である場合に、自らの動画および受信した第1の親端末装置の動画を子端末装置に配信する。
したがって、子端末装置においては、第1の親端末装置および第2の親端末装置の動画・音声と、各子端末装置の低精度画像(たとえば静止画)を表示・出力することができる。
以上のように、このシステムによれば、音声の変化の大きかった2つの端末装置の動画・音声が他の端末装置に配信され、音声変化の小さかった所定の端末装置の低精度画像が他の端末装置に配信される。したがって、発言を行った参加者の端末装置については全員に動画・音声が配信され、発言のなかった参加者の端末装置については低精度画像が全員に配信され(子端末装置)、あるいは何も配信されない(影端末装置)。
(2)ハードウエア構成
図20に、端末装置T11のハードウエア構成を示す。他の端末装置T12〜T16も同様の構成である。
CPU132には、メモリ134、カメラ136、ハードディスク138、キーボード/マウス140、ディスプレイ142、通信回路150、マイク152、スピーカ154が接続されている。ハードディスク138には、WINDOWS(商標)などのオペレーティングシステム(OS)144、テレビ会議プログラム146が記録されている。テレビ会議プログラム146は、OS144と協働してその機能を発揮するものである。なお、テレビ会議プログラム146単独で機能するようにしてもよい。また、ハードディスク138には、変化一覧テーブル300も記録される。通信回路150は、ネットワークなどを介して他の端末装置T2〜T6と通信を行うためのものである。カメラ136は、参加者を撮像し、画像データを生成する。マイク152は、参加者の音声を取得する。
なお、認証やグループ形成のために、各端末装置T11〜T16は、中央装置Sと通信可能に形成されている。中央装置Sのハードウエア構成は、第1の実施形態において示した図6のものと同様である。
(4)会議処理
図21〜25に、端末装置T11〜T16のテレビ会議プログラム146、動画ドライバおよび音声ドライバのフローチャートを示す。ログイン処理、ログオフ処理、グループ順序変更処理は、第一の実施形態と同じであるから省略し、ログイン中の処理だけを示した。したがって、以下においては、ログイン中の処理についてのみ説明する。
ここでは、端末装置T16が図7、図8に示すログイン処理を行ったものとして説明を行う。端末装置T16のCPU132は、前端末装置T15から変化一覧テーブル301が送られてくるのを待ち、送られてきた変化一覧テーブル301を受信してハードディスク138に記録する(ステップS201)。図26に、前の端末装置T15から端末装置T16に送信される変化一覧テーブル301を示す。変化一覧テーブルには、各端末装置T1〜T5の音声変化率、その検知時刻、親・子・影などの属性、親端末装置の決定時刻が記録されている。
なお、音声ドライバは、マイク152から入力(取得)した音声データを、過去3秒間分だけハードディスク138に蓄積する。古い音声データは削除するので、常に最新の3秒間の音声データがハードディスク138に記録されることになる。
ステップS201において受信した変化一覧テーブルを記録した後、端末装置T16のCPU132は、ハードディスク138に蓄積されている音声データ151を読み出し、音声振幅の過去3秒間の平均値を算出する(ステップS202)。同様に、過去0.5秒間の平均値を算出する(ステップS203)。CPU132は、両平均値に基づいて音声変化率を算出する(ステップS204)。
例えば、過去3秒間の平均値が2mVであり、過去0.5秒間の平均値が5mVであれば、音声変化率として「+2.5」を算出する。ここでは、端末装置T16のCPU132は、この処理を初めて行い過去に音声データがないので、音声変化率を「0」とする。
次に、端末装置T16のCPU132は、変化一覧テーブル301における自分の端末装置T16の音声変化率を更新する(ステップS205)。ここでは、変化率一覧テーブル301に、端末装置T16の記載がないのでこれを追加する(図26の302参照)。この際、変化率を算出した時刻を検知時刻の欄に記録する。
次に、端末装置T16のCPU132は、変化一覧テーブル302を参照して、現在の親端末装置が決定された時刻t2を取得する(ステップS206)。なお、第1の親端末装置と第2の親端末装置は、後述のように同時に決定されるので、いずれの決定時刻を用いてもよい。なお、変化一覧テーブル302において、「親1」は第1の親端末装置を示し、「親2」は第2の親端末装置を示す。
さらに、CPU132は、自分の時計(図示せず)から、現在時刻t1を取得する(ステップS207)。さらに、現在時刻t1から親端末装置決定時刻t2を減算し、これが予め定めたしきい値tsよりも大きいかどうかを判断する(ステップS208)。すなわち、親端末装置が決定された時刻t2から所定時間ts以上経過したかどうかを判断する。
所定時間ts以上経過していれば、変化一覧テーブル302の親端末装置の更新を行う(ステップS209)。ここでは、最も変化率の大きい端末装置はT12、2番目に変化率の大きい端末装置はT15であり、すでに決定されている第1、第2の親端末装置と同じであるから、更新は行なわない。
なお、ステップS209において、最も変化率の大きい端末装置または2番目に変化率の大きい端末装置に変更があれば、CPU132は、親端末装置の更新を行う。すなわち、最も変化率の大きい端末装置を第1の親端末装置として、属性に「親1」を記録し、2番目に変化率の大きい端末装置を第2の親端末装置として、属性に「親2」を記録する。また、この際に、CPU132は、自らの時計から現在時刻を取得して、これを、第1の親端末装置および第2の親端末装置の決定時刻として記録する。
次に、CPU132は、子端末装置、影端末装置を更新する(ステップS210)。つまり、変化率が3番目に大きい端末装置から、変化率が5番目に大きい端末装置までの属性を、子端末装置を示す「子」にし、これらより変化率が小さい端末装置を影端末装置を示す「影」にする。変化一覧テーブル302においては、変化率が3番目、4番目、5番目に大きい端末装置は、T11、T13、T14であるから、これらを子端末装置とする。また、残りの端末装置T16を影端末装置とする。
次に、端末装置T16のCPU132は、自らの時計から現在時刻t3を取得する(ステップS211)。次に、CPU132は、現在時刻t3からステップS207で取得した時刻t1を減算する。減算した値が、中央装置Sより受信した変化一覧テーブルの送信間隔tpより大きいかどうかを判断する(ステップS212)。つまり、前端末装置T15から変化一覧テーブル301を受信してから、変化一覧テーブルの送信間隔tp(ここでは20μ秒とする)が経過したかどうかを判断する。経過すれば、CPU132は、ステップS102において記録した後端末装置T11に対し、更新した変化一覧テーブル302を送信する(ステップS213)。
次に、CPU132は、自らの端末装置の属性に応じて、処理の内容を変える(ステップS214)。ここでは、端末装置T16は影端末装置であるから、ステップS224に進む。
ステップS224において、CPU132は、自端末装置が第1または第2の親端末装置から、子または影端末装置に変わったばかりであるかどうかを判断する(ステップS224)。つまり、直前のステップS209において、第1または第2の親端末装置から、子または影端末装置に変わったかどうかを判断する。ここでは、端末装置T16は、親端末装置から影端末装置に変わったばかりではないので、ステップS225に進む。
ステップS225において、CPU132は、自端末装置が影端末装置であるかどうかを判断する(ステップS225)。ここでは、端末装置T16は影端末装置であるから、ステップS201に戻って処理を繰り返す。
次に、端末装置T16から変化一覧テーブル302を受け取った端末装置T11の処理について説明する。端末装置T11のCPU132は、受信した変化一覧テーブル302をハードディスク138に記録する(ステップS201)。CPU132は、自マイク152によって取得した音声の音声変化率を算出する(ステップS202〜S204)。次に、変化一覧テーブル302の自端末装置の音声変化率を更新する(ステップS205)。
次に、CPU132は、現在の親端末装置が決定されてから所定時間ts経過しているかどうかを判断する(ステップS206〜208)。所定時間tsを経過していれば、変化一覧テーブル302の親端末装置の更新処理を行う(ステップS209)。ここでは、最も変化率の大きい端末装置、2番目に変化率の大きい端末装置はT12、T15であるので、親端末装置の更新は行われない。
次に、端末装置T11のCPU132は、子端末装置、影端末装置の更新処理を行う(ステップS210)。ここでは、3番目から5番目に変化率の大きい端末装置に変化はないので、子端末装置、影端末装置の更新は行われない。
以上の処理により音声変化率の更新された、変化一覧テーブル303を図26に示す。変化一覧テーブルの送信間隔tpが経過すれば、CPU132は、変化一覧テーブル303を、後端末装置T12に送信する(ステップS211〜S213)。
次に、CPU132は、自らの端末の属性に応じて、処理の内容を変える(ステップS214)。端末装置T11は、子端末装置であるから、ステップS224へ進む。ステップS224において、自端末装置が親端末装置から子・影端末装置になったばかりかを判断する。ここでは、端末装置T11は、親端末装置から子・影端末装置になったばかりではないので、ステップS225に進む。
ステップS225においては、自端末が影端末装置であるかどうかを判断する。ここでは、端末装置T11は子端末装置であり影端末装置ではないので、CPU132は、音声・動画ドライバから現在の自分の静止画(動画中のIピクチャ)を取得する(ステップS227)。次に、CPU132は、通信回路150に指令を出し、取得した静止画を第1の親端末装置に送信する(ステップS228、図18のX2参照)。つまり、CPU132は、変化一覧テーブル303を参照して、第1の親端末装置である端末装置T12に静止画を送信する。これを受信した第1の親端末装置は、この静止画をハードディスクに記録する。なお、静止画には、ステップS227において子端末装置が取得した時刻がタイムスタンプとして記録されている。
以下、端末装置T11のCPU132は、ステップS201を繰り返し実行する。
次に、端末装置T11から変化一覧テーブル303を受け取った端末装置T12の処理について説明する。端末装置T12のCPU132は、受信した変化一覧テーブル303をハードディスク138に記録する(ステップS201)。CPU132は、自マイク152によって取得した音声の音声変化率を算出する(ステップS202〜S204)。次に、変化一覧テーブル302の自端末装置の音声変化率を更新する(ステップS205)。
次に、CPU132は、現在の親端末装置が決定されてから所定時間ts経過しているかどうかを判断する(ステップS206〜208)。所定時間tsを経過していれば、変化一覧テーブル302の親端末装置の更新処理を行う(ステップS209)。ここでは、最も変化率の大きい端末装置、2番目に変化率の大きい端末装置はT12、T15であるので、親端末装置の更新は行われない。
次に、端末装置T11のCPU132は、子端末装置、影端末装置の更新処理を行う(ステップS210)。ここでは、3番目から5番目に変化率の大きい端末装置に変化はないので、子端末装置、影端末装置の更新は行われない。
以上の処理により音声変化率の更新された、変化一覧テーブル304を図26に示す。変化一覧テーブルの送信間隔tpが経過すれば、CPU132は、変化一覧テーブル303を、後端末装置T13に送信する(ステップS211〜S213)。
次に、CPU132は、自らの端末の属性に応じて、処理の内容を変える(ステップS214)。端末装置T12は、第1の親端末装置であるから、ステップS215へ進む。
ステップS215において、CPU132は、各子端末装置から送信されてきてハードディスク138に記録されている静止画のタイムスタンプを取得する。端末装置T12のCPU132は、当該タイムスタンプと現在時刻(時計から取得する)とに基づき、所定時間以上経過した静止画がないかどうかを判断する(ステップS216)。つまり、古い静止画しか送られてきていない子端末装置がないかどうかを判断する。さらに、静止画が送られてきていない子端末装置がないかどうかを判断する(ステップS216)。
古い静止画しか送られてきていない子端末装置、あるいは静止画が送られてきていない子端末装置がある場合、第1の親端末装置である端末装置T12は、当該子端末装置に対して静止画を送るように要求する(ステップS217)。これに応じて子端末装置から静止画が送られてくると、端末装置T12は、これをハードディスク138に記録する。
ステップS216において、各子端末装置からの新しい静止画がそろっているか、あるいはステップS217によって全てそろった場合には、第1の親端末装置である端末装置T12のCPU132は、通信回路150に指令して、ハードディスク138に記録した各子端末装置の静止画を、全ての端末装置T11、T13〜T16に送信する(ステップS218、図18のX3参照)。
次に、CPU132は、自端末装置が、ステップS209で第1の親端末装置になったばかりであるかどうかを判断する(ステップS219)。つまり、直前のステップS219において、第1の親端末装置に変更されたばかりであるかどうかを判断する。第1の親端末装置に変更されたばかりであれば、CPU132は、動画ドライバ、音声ドライバ、通信回路150に指令を出して、自らの動画および音声を、第2の親端末装置に対して送信するストリーミングを開始する(ステップS220)。ここでは、端末装置T12は第1の親端末装置に変更されたばかりではなく、すでに上記ストリーミングを行っているので、ステップS220の処理は行われない。
いずれにしても、上記のように、第1の親端末装置の動画および音声は、第2の親端末装置に送信し続けられる。このストリーミングは、端末装置T12が親端末装置でなくなるまで続けられる(ステップS226、図18のX1参照)。
以下、端末装置T12のCPU132は、ステップS201を繰り返し実行する。
端末装置T12から変化一覧テーブル304を受け取った端末装置T13の処理は、実質的に端末装置T11と同様である。
端末装置T13から変化一覧テーブル305を受け取った端末装置T14の処理は、実質的に端末装置T11と同様である。
端末装置T14から変化一覧テーブル306を受け取った端末装置T15の処理を説明する。端末装置T15のCPU132は、受信した変化一覧テーブル306をハードディスク138に記録する(ステップS201)。CPU132は、自マイク152によって取得した音声の音声変化率を算出する(ステップS202〜S204)。次に、変化一覧テーブル306の自端末装置の音声変化率を更新する(ステップS205)。
次に、CPU132は、現在の親端末装置が決定されてから所定時間ts経過しているかどうかを判断する(ステップS206〜208)。所定時間tsを経過していれば、変化一覧テーブル306の親端末装置の更新処理を行う(ステップS209)。ここでは、最も変化率の大きい端末装置、2番目に変化率の大きい端末装置はT12、T15であるので、親端末装置の更新は行われない。
次に、端末装置T11のCPU132は、子端末装置、影端末装置の更新処理を行う(ステップS210)。ここでは、3番目から5番目に変化率の大きい端末装置に変化はないので、子端末装置、影端末装置の更新は行われない。
以上の処理により音声変化率の更新された、変化一覧テーブル307を図26に示す。変化一覧テーブルの送信間隔tpが経過すれば、CPU132は、変化一覧テーブル307を、後端末装置T16に送信する(ステップS211〜S213)。
次に、CPU132は、自らの端末の属性に応じて、処理の内容を変える(ステップS214)。ここで、端末装置T15は、第2の親端末装置であるから、CPU132はステップS221に進んで処理を行う。ステップS221では、自端末装置の属性が、他の属性から第2の親端末装置に変わったばかりであるかどうかを判断する(ステップS221)。すなわち、直前のステップS209にて第2の親端末装置に変更されたばかりであるかどうかを判断する。
第2の親端末装置に変わったばかりであれば、CPU132は、動画ドライバ、音声ドライバ、通信回路150に指令を出して、自らの動画および音声を、第1の親端末装置に対して送信するストリーミングを開始する(ステップS222)。さらに、端末装置T15のCPU132は、動画ドライバ、音声ドライバ、通信回路150に指令を出して、全ての子端末装置に対し、自らの動画・音声および第1の親端末装置の動画・音声を送信するストリーミングを開始する(ステップS223)。ここでは、端末装置T15は第2の親端末装置に変更されたばかりではなく、すでに上記ストリーミングを行っているので、ステップS222、S223の処理は行われない。
いずれにしても、上記のように、第1の親端末装置の動画および音声、第2の親端末装置の動画および音声は、全ての子端末装置に送信し続けられる。このストリーミングは、端末装置T15が第2の親端末装置でなくなるまで続けられる(ステップS226、図18のX1、X4参照)。
続いて、端末装置T15のCPU132は、ステップS201以下を繰り返し実行する。
上記の処理において、動画、静止画、音声を受け取った各端末装置T11〜T16は、ディスプレイ142、スピーカ154によりこれを再生する。したがって、各端末装置T11〜T16においては、図18に示すような画像がディスプレイ142に表示されることになる。つまり、第1および第2の親端末装置の動画と、子端末装置の静止画が表示される。また、音声は、第1および第2の親端末装置のもののみが出力される。
上記のようにして、各端末装置T11〜T16において、大きな音量で発言を行った参加者について動画と音声を出力し、小さな音量で発言を行った参加者について静止画を出力し、発言を行っていない参加者については何も出力しないことを可能としている。これにより、重要な参加者については多くの情報を他の参加者に与えることを可能としつつ、データ通信量の増加を抑えることができる。
なお、上記の説明では、変化一覧テーブルの更新によって、親端末装置や子端末装置に変更がない場合を説明した。しかし、更新により、親端末装置や子端末装置に変更があった場合であっても、各端末装置T11〜T16は、自らが更新した変化一覧テーブルに基づいて、上記の処理を行う。このため、第1の親端末装置に、現在は子端末装置ではない端末装置からも静止画が送られることもあるが、第1の親端末装置は、現在の変化一覧テーブルに従って処理を行うので、このような静止画は無視されることになる。
(5)その他の例
上記実施形態では、第1の親端末装置および第2の親端末装置の動画・音声を各端末装置に配信するようにしている。しかし、動画のみ、音声のみを配信するようにしてもよい。
上記実施形態では、音声変化率に基づいて、各端末装置の属性を決定している。しかし、音声変化率に代えて画像変化率を用いてもよい。また、音声変化率と画像変化率の双方を考慮して属性を決定するようにしてもよい。
上記実施形態においては、第1の親端末装置が静止画の収集と配信を行い、第2の親端末装置が動画の配信を行っている。しかし、第2の親端末装置が静止画の収集と配信を行い、第1の親端末装置が動画の配信を行うようにしてもよい。
上記実施形態では、第1と第2の親端末装置の音声を、全ての端末装置に配信するようにしている。しかし、各子端末装置(影端末装置も含めてもよい)の音声を、第2の親端末装置に送信し、第2の親端末装置から各端末装置にこれら音声を配信するようにしてもよい。
上記実施形態では、第1の親端末装置、第2の親端末装置を決定しているが、一つの親端末装置だけを決定するようにしてもよい。この場合、当該親端末装置に対し、各子端末装置から静止画を送信し、親端末装置は、自らの動画および音声と受信した静止画集を各端末装置に配信する。この場合、各端末装置の機能ブロック図は、図27のようになる。図19の実施形態と比べると、第1・第2送信手段27、第2・第1送信手段29が設けられていない点において異なる。
上記実施形態では、端末装置間で動画データなどのやり取りを行うようにしている。しかし、図28に示すように、サーバ装置SVを設け、サーバ装置SVから各端末装置に配信するようにしてもよい。
この場合、第1の親端末装置T12は、自らの動画・音声をサーバ装置SVにストリーミングにて送信する(図28のX10参照)。また、第2の親端末装置T15も、自らの動画・音声をサーバ装置SVにストリーミングにて送信する(図28のX11参照)。サーバ装置SVは、第1の親端末装置T12、第2の親端末装置T15から受けた動画を、各子端末装置T11、T13、T14および影端末装置T16に配信する(図28のX12参照)。
子端末装置T11、T13、T14は、自らの静止画をサーバ装置SVに送信する(図28のX13参照)。サーバ装置SVは、各子端末装置T11、T13、T14の静止画集を、全ての端末装置T11〜T16に配信する(図28のX14参照)。
図28の実施形態においては、端末装置の低精度画像送信手段25(図19参照)は、サーバ装置SVに向けて低精度画像(静止画)を送信する。この実施形態では、第1・第2送信手段27、第2・第1送信手段29に代えて、対サーバ送信手段(図示せず)が設けられる。対サーバ送信手段は、サーバ装置SVに向けて動画・音声を送信する。この実施形態では、低精度画像配信手段31および動画配信手段33は端末装置には設けられず、サーバ装置SVに設けられることになる。
なお、図28の実施形態において、全ての端末装置からサーバ装置SVに音声を送信し、サーバ装置SVから全ての端末装置に対して、各端末装置の音声を配信するようにしてもよい。
また、図29に示すように、親端末装置を1つとした場合においても、サーバ装置SVを設けることができる。
この場合、親端末装置T12は、自らの動画・音声をサーバ装置SVに送信する(図29のX20)。サーバ装置SVは、親端末装置T12の動画・音声を、各端末装置に配信する(図29のX21)。
子端末装置T11、T13、T14、T15は、自らの静止画をサーバ装置SVに送信する(図29のX22)。サーバ装置SVは、各子端末装置T11、T13、T14、T15の静止画集を、全ての端末装置T11〜T16に配信する(図29のX23)。
図29の実施形態においては、端末装置の低精度画像送信手段25(図19参照)は、サーバ装置SVに向けて低精度画像(静止画)を送信する。また、自らが親端末装置と決定された際には、自らの動画をサーバ装置SVに送信する動画送信手段(図示せず)が設けられている。なお、この実施形態では、低精度画像配信手段31および動画配信手段33は端末装置には設けられず、サーバ装置SVに設けられることになる。
なお、図29の実施形態において、全ての端末装置からサーバ装置SVに音声を送信し、サーバ装置SVから全ての端末装置に対して、各端末装置の音声を配信するようにしてもよい。
なお、図28、29におけるサーバ装置SVは、中央装置Sがその役割を担ってもよい。
その他、第1の実施形態において示した他の例は、第2の実施形態においても適用することができる。

Claims (16)

  1. ループ状に順番づけられてグループ化された複数の端末装置と、各端末装置と通信可能な中央装置とを備えた監視システムにおいて、
    前記端末装置は、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが子端末装置として決定されていれば、精度を低下させた自らの動画または静止画を親端末装置に送信する低精度画像送信手段と、
    自らが親端末装置として決定されていれば、前記動画を前記中央装置に送信するとともに、子端末装置から送信されてくる精度を低下させた動画または静止画を前記中央装置に送信する送信手段とを備え、
    前記中央装置は、
    前記端末装置から送信されてきた動画および精度を低下させた動画または静止画を受信する受信手段と、
    前記受信した少なくとも動画および精度を低下させた動画または静止画または音声を出力する出力手段と、
    を備えた監視システム。
  2. 他の端末装置と共にループ状に順番づけられてグループ化され、中央装置と通信可能な端末装置であって、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが子端末装置として決定されていれば、精度を低下させた自らの動画または静止画を親端末装置に送信する低精度画像送信手段と、
    自らが親端末装置として決定されていれば、前記動画を前記中央装置に送信するとともに、子端末装置から送信されてくる精度を低下させた動画または静止画を前記中央装置に送信する送信手段と、
    を備えた端末装置。
  3. 他の端末装置と共にループ状に順番づけられてグループ化され、中央装置と通信可能な端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが子端末装置として決定されていれば、精度を低下させた自らの動画または静止画を親端末装置に送信する低精度画像送信手段と、
    自らが親端末装置として決定されていれば、前記動画を前記中央装置に送信するとともに、子端末装置から送信されてくる精度を低下させた動画または静止画を前記中央装置に送信する送信手段と、
    して機能させるための端末プログラム。
  4. 請求項3の端末プログラムにおいて、
    前記親端末決定手段は、画像変化が最も大きい端末装置を親端末装置として決定することを特徴とする端末プログラム。
  5. 請求項3または4のいずれか一つの端末プログラムにおいて、
    前記子端末決定手段は、前記変化一覧に記載された画像変化が2番目に大きい端末装置から所定番目に大きい端末装置までを子端末として決定すること、
    を特徴とする端末プログラム。
  6. ループ状に順番づけられてグループ化された複数の端末装置と、各端末装置と通信可能な中央装置とを用いた監視方法において、
    前記端末装置は、
    少なくとも動画または音声を取得し、
    前記取得された少なくとも動画または音声の所定時間における変化を算出し、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信し、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新し、
    更新後の変化一覧を前記順番が後の端末装置に送信し、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定し、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定し、
    自らが子端末装置として決定されていれば、精度を低下させた自らの動画または静止画を親端末装置に送信し、
    自らが親端末装置として決定されていれば、前記動画を前記中央装置に送信するとともに、子端末装置から送信されてくる動画の一部である静止画を前記中央装置に送信し、
    前記中央装置は、
    前記端末装置から送信されてきた動画および静止画を受信し、
    前記受信した少なくとも動画および静止画または音声を出力すること
    を特徴とする監視方法。
  7. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて第1の親端末装置および第2の親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが第1の親端末装置として決定されていれば、前記第2の親端末装置に少なくとも動画または音声を送信する第1・第2送信手段と、
    自らが第2の親端末装置として決定されていれば、前記第1の親端末装置に少なくとも動画または音声を送信する第2・第1送信手段と、
    自らが子端末装置として決定されていれば、第1の親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    自らが第1の親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段と、
    自らが第2の親端末装置として決定されていれば、各端末装置に対して、第1の親端末装置から送られてきた動画および自らの動画を配信する動画配信手段と、
    を備えた端末装置。
  8. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて第1の親端末装置および第2の親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが第1の親端末装置として決定されていれば、前記第2の親端末装置に少なくとも動画または音声を送信する第1・第2送信手段と、
    自らが第2の親端末装置として決定されていれば、前記第1の親端末装置に少なくとも動画または音声を送信する第2・第1送信手段と、
    自らが子端末装置として決定されていれば、第1の親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    自らが第1の親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段と、
    自らが第2の親端末装置として決定されていれば、各端末装置に対して、第1の親端末装置から送られてきた動画および自らの動画を配信する動画配信手段と、
    して機能させるための端末プログラム。
  9. 請求項8の端末プログラムにおいて、
    前記親端末決定手段は、もっとも音声変化の大きい端末装置を第1の親端末装置として決定し、次に大きい端末装置を第2の親端末装置として決定することを特徴とする端末プログラム。
  10. 請求項8または9の端末プログラムにおいて、
    前記子端末装置決定手段は、前記変化一覧に記載された音声変化が3番目に大きい端末装置から所定番目に大きい端末装置までを子端末として決定すること、
    を特徴とする端末プログラム。
  11. 他の端末装置と共にループ状に順番づけられてグループ化された端末装置を用いた会議方法であって、
    各端末装置は、
    少なくとも動画または音声を取得し、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出し、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信し、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新し、
    更新後の変化一覧を前記順番が後の端末装置に送信し、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて第1の親端末装置および第2の親端末装置を決定し、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定し、
    自らが第1の親端末装置として決定されていれば、前記第2の親端末装置に少なくとも動画または音声を送信し、
    自らが第2の親端末装置として決定されていれば、前記第1の親端末装置に少なくとも動画または音声を送信し、
    自らが子端末装置として決定されていれば、第1の親端末装置に対して、精度を低下させた自らの動画または静止画を送信し、
    自らが第1の親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信し、
    自らが第2の親端末装置として決定されていれば、各端末装置に対して、第1の親端末装置から送られてきた動画および自らの動画を配信すること
    を特徴とする会議方法。
  12. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが子端末装置として決定されていれば、親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、自らの動画を配信する動画配信手段と、
    自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段と、
    を備えた端末装置。
  13. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて第1の親端末装置および第2の親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが子端末装置として決定されていれば、親端末装置に対して、精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、自らの動画を配信する動画配信手段と、
    自らが親端末装置として決定されていれば、少なくとも各子端末装置に対して、各子端末装置から送られてきた精度を低下させた動画または静止画を配信する低精度画像配信手段と、
    して機能させるための端末プログラム。
  14. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であって、サーバ装置と通信可能に構成された端末装置であって、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが親端末装置として決定されていれば、前記サーバ装置から各端末装置に配信してもらうため、前記サーバ装置に対し少なくとも自らの動画または音声を送信する対サーバ送信手段と、
    自らが子端末装置として決定されていれば、前記サーバ装置から少なくとも各子端末装置に対して配信してもらうため、前記サーバ装置に対し精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    を備えた端末装置。
  15. 他の端末装置と共にループ状に順番づけられてグループ化された会議用の端末装置であってサーバ装置と通信可能に構成された端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    少なくとも動画または音声を取得する取得手段と、
    前記取得手段によって取得された少なくとも動画または音声の所定時間における変化を算出する変化算出手段と、
    前記順番が前の端末装置から送られてくる各端末装置が取得した動画または音声の変化一覧を受信する変化一覧受信手段と、
    受信した変化一覧に記載されている自らの端末装置が取得した動画または音声の変化を更新する変化更新手段と、
    更新後の変化一覧を前記順番が後の端末装置に送信する変化一覧送信手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて親端末装置を決定する親端末装置決定手段と、
    前記変化一覧に記載された各端末装置が取得した動画または音声の変化の大きさに基づいて子端末装置を決定する子端末装置決定手段と、
    自らが親端末装置として決定されていれば、前記サーバ装置から各端末装置に配信してもらうため、前記サーバ装置に対し少なくとも自らの動画または音声を送信する対サーバ送信手段と、
    自らが子端末装置として決定されていれば、前記サーバ装置から少なくとも各子端末装置に対して配信してもらうため、前記サーバ装置に対し精度を低下させた自らの動画または静止画を送信する低精度画像送信手段と、
    して機能させるための端末プログラム。
  16. 請求項15の端末プログラムにおいて、
    同時に複数の端末装置が前記親端末装置として決定されることを特徴とする端末プログラム。
JP2010080823A 2010-03-31 2010-03-31 監視システムおよび会議システム Expired - Fee Related JP5042330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010080823A JP5042330B2 (ja) 2010-03-31 2010-03-31 監視システムおよび会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010080823A JP5042330B2 (ja) 2010-03-31 2010-03-31 監視システムおよび会議システム

Publications (2)

Publication Number Publication Date
JP2011216987A true JP2011216987A (ja) 2011-10-27
JP5042330B2 JP5042330B2 (ja) 2012-10-03

Family

ID=44946317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010080823A Expired - Fee Related JP5042330B2 (ja) 2010-03-31 2010-03-31 監視システムおよび会議システム

Country Status (1)

Country Link
JP (1) JP5042330B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174479A (ja) * 2017-03-31 2018-11-08 キヤノンマーケティングジャパン株式会社 画像表示システム、画像表示システムの制御方法、情報処理装置、情報処理装置の制御方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198429B (zh) * 2018-02-26 2020-10-30 视联动力信息技术股份有限公司 一种视频会议分级调度的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174479A (ja) * 2017-03-31 2018-11-08 キヤノンマーケティングジャパン株式会社 画像表示システム、画像表示システムの制御方法、情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
JP5042330B2 (ja) 2012-10-03

Similar Documents

Publication Publication Date Title
US9525845B2 (en) Near-end indication that the end of speech is received by the far end in an audio or video conference
CN105635180B (zh) 消息推送方法及装置
US9473741B2 (en) Teleconference system and teleconference terminal
US9813560B2 (en) Systems and methods for managing multimedia conference calls
US10547652B2 (en) Communication control device, communication system, and communication control method
CN109561320B (zh) 一种服务器切换方法、装置、设备及介质
CN106998485B (zh) 视频直播方法及装置
JP2014007728A (ja) 情報処理装置、会議システム及びプログラム
US20160029053A1 (en) Method for transmitting media data and virtual desktop server
US20240004859A1 (en) Data handling method, system and computer program
US20160294711A1 (en) Method and apparatus for acquiring video bitstream
JP5042330B2 (ja) 監視システムおよび会議システム
US9832422B2 (en) Selective recording of high quality media in a videoconference
JP2007081837A (ja) テレビ会議端末装置、テレビ会議システム、及びテレビ会議方法
CN113242173A (zh) 屏幕的分享方法、装置、系统和即时通讯服务器
JP2011216984A (ja) 通信システムおよび通信方法
CN116527852A (zh) 实时视频监控系统
US9277261B2 (en) Information processing apparatus and control method thereof
US20220353462A1 (en) Managing a call on a communication system with an external display device
CN103248860B (zh) 适应性调整视频传输频宽的方法及其相应装置与系统
KR101670942B1 (ko) 모바일 디바이스를 이용한 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2020048052A (ja) 映像通信サーバ、システム、方法及びプログラム
JP2015061108A (ja) 通信システム、通信装置および方法
EP3729799B1 (en) Mobile terminal and hub apparatus for use in a video communication system
TWI807513B (zh) 虛擬視訊會議系統及會議方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120710

R150 Certificate of patent or registration of utility model

Ref document number: 5042330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees