JP2016032128A - 遠隔会議システム、通信端末及びプログラム - Google Patents

遠隔会議システム、通信端末及びプログラム Download PDF

Info

Publication number
JP2016032128A
JP2016032128A JP2014152135A JP2014152135A JP2016032128A JP 2016032128 A JP2016032128 A JP 2016032128A JP 2014152135 A JP2014152135 A JP 2014152135A JP 2014152135 A JP2014152135 A JP 2014152135A JP 2016032128 A JP2016032128 A JP 2016032128A
Authority
JP
Japan
Prior art keywords
communication terminal
data
unit
imaging
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014152135A
Other languages
English (en)
Inventor
中村 滋
Shigeru Nakamura
滋 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014152135A priority Critical patent/JP2016032128A/ja
Priority to EP15825318.7A priority patent/EP3172895A4/en
Priority to PCT/JP2015/069082 priority patent/WO2016013367A1/en
Priority to US15/325,829 priority patent/US20170171513A1/en
Publication of JP2016032128A publication Critical patent/JP2016032128A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】会議に参加する拠点が多く、相手が会議に参加していないのか、カメラ機能を無効にしているのかを判別することが難しく、参加者の把握が困難な場合に、参加者の把握を容易にする、遠隔会議システム、通信端末及びプログラムを提供する。【解決手段】撮像部を有する複数の通信端末がネットワークを介して接続された遠隔会議システムであって、一の通信端末において、撮像部の機能が無効とされるとき、撮像部によって撮像された撮像データと異なる代替データを他の通信端末へ送信する送信部と、他の通信端末から受信した代替データを含む画面を表示装置に表示させる表示制御部を有する。【選択図】図13

Description

本発明は、ネットワークを介して遠隔地間で会議を行うことを可能にする遠隔会議システム、その遠隔会議システムに用いられる通信端末、および通信端末により実行されるプログラムに関する。
近年では、インターネット等の通信ネットワークを介して、遠隔地との間でテレビ会議等により会議を行う遠隔会議システムが普及している。
遠隔会議システムは、会議の参加者がいる会議室に設置される通信端末と、相手方の会議室に設置される相手方の通信端末とを含む。通信端末は、参加者を含む会議室の画像を撮影し、発言等の音声の入力を受け付けて、デジタルデータである画像データ及び音声データに変換し、相手方の通信端末へ送信する。相手方の通信端末は、画像データを受信して当該通信端末のディスプレイに表示し、音声データを受信して当該通信端末のスピーカにより音声を出力し、実際の会議に近い状態での会議を実現する。
このような遠隔会議システムにおいて、例えば相手方にこちら側の映像を送りたくない場合に備えて、カメラ機能を無効にして相手方の通信端末に映像が届かないようにする機能が知られている。
従来の遠隔会議システムにおいて、カメラ機能を無効にした場合、機能を無効とされたカメラは、映像送信自体を停止させる。よって、相手方の通信端末の会議画面では、無効とされたカメラの映像が消え、音声のみの送受信を行うこととなる。
このため、特に会議に参加する拠点が多い場合には、相手が会議に参加していないのか、カメラ機能を無効にしているのかを判別することが難しく、参加者の把握が困難である。
開示の技術は、上記の事情を鑑みてなされたものであり、参加者の把握を容易にすることを目的としている。
開示の技術は、撮像部を有する複数の通信端末がネットワークを介して接続された遠隔会議システムであって、一の通信端末において、前記撮像部の機能が無効とされるとき、前記撮像部によって撮像された撮像データと異なる代替データを他の通信端末へ送信する送信部と、前記他の通信端末から受信した代替データを含む画面を表示装置に表示させる表示制御部と、有する。
参加者の把握を容易にすることを目的としている。
本実施形態の遠隔会議システムを示した概略構成図である。 本実施形態の通信端末を示した外観図である。 本実施形態の通信端末のハードウェア構成図である。 本実施形態の遠隔会議システムに用いられる中継装置の一例を示したハードウェア構成図である。 本実施形態の通信端末の機能ブロック図である。 通信端末が保持する送信管理テーブルの一例を示した図である。 配置情報と、各領域に割り当てられる映像データまたは表示データとの関係を示した図である。 ディスプレイの分割例と、分割により生じる領域の一例を示した図である。 中継装置の機能ブロック図である。 中継装置が保持する受信管理テーブルの一例を示した図である。 中継装置が保持する送信管理テーブルの一例を示した図である。 カメラ機能が無効にされたときの通信端末の処理を説明するフローチャートである。 通信端末が代替データを受信した場合を説明する図である。 本実施形態の効果を説明する比較例を示す図である。 会議の参加者のリストの一例を示す図である。
本実施形態の遠隔管理システムでは、通信端末の有するカメラ機能が無効にされると、それまでカメラが撮像した撮像データの代わりに予め用意された所定の画像データ(代替データ)を相手方の通信端末へ送信する。相手方の通信端末では、撮像データが表示されていた領域に代替データが表示されるため、カメラ機能を無効とした相手が引き続き会議に参加していることを容易に把握させることができる。
図1は、本実施形態の遠隔会議システムを示した概略構成図である。遠隔会議システムは、地理的に遠く離れた会議に参加する参加者が、互いの顔やその表情等の画像や会議資料を表示し、それを見ながら、コミュニケーションを行うことができるシステムである。このため、そのようなコミュニケーションを行うことができるものであれば、いかなるシステムであってもよく、例えば、テレビまたはビデオ会議システムや、テレビ電話システム等を一例として挙げることができる。
図1に示す遠隔会議システムは、地理的に遠く離れた2つの地域A、Bの間で会議を行うように構成されている。地域Aは、例えば、日本であり、地域Bは、例えば、アメリカ合衆国である。ここでは、2つの地域A、Bとしているが、3つ以上の地域であってもよいものである。
遠隔会議システムは、地域A、B間がインターネット10により通信可能に接続される。その通信は、TCP(Transmission Control Protocol)/IP(Internet Protocol)等の適切な通信プロトコルを使用して行われる。
図1に示す遠隔会議システムは、インターネット10に接続される管理サーバ11、プログラム提供サーバ12、通信端末13a〜13h、各通信端末13a〜13hと接続されたディスプレイ14a〜14hを含む。それに加えて、各通信端末13a〜13hと接続された外部入力装置15a〜15hを含む。また、このシステムは、インターネット10と各通信端末13a〜13hとを接続するルータ16a〜16f、ルータ16b、16c、16e、16fと接続される中継装置17a〜17dをさらに含む。
地域Aには、通信端末13a〜13d、ディスプレイ14a〜14d、外部入力装置15a〜15d、接続するルータ16a〜16c、中継装置17a、17bが設置される。通信端末10a、10b、ルータ16b、中継装置17aは、LAN(Local Area Network)18aによって互いに通信可能に接続される。通信端末13c、13d、ルータ16c、中継装置17bは、LAN18bによって互いに通信可能に接続される。LAN18a、18bは、ルータ16aが含まれた専用線19aによってインターネット10と接続される。
地域Bには、通信端末13e〜13h、ディスプレイ14e〜14h、外部入力装置15e〜15h、接続するルータ16d〜16f、中継装置17c、17dが設置される。通信端末13e、13f、ルータ16e、中継装置17cは、LAN18cによって互いに通信可能に接続される。通信端末13g、13h、ルータ16f、中継装置17dは、LAN18dによって互いに通信可能に接続される。LAN18c、18dは、ルータ16dが含まれた専用線19bによってインターネット10と接続される。
本実施形態では、インターネット10、LAN18a〜18d、専用線19a、19bによって通信ネットワークが構築されている。例えば、地域A内のLAN18aは、東京事業所内に構築され、LAN18bは、大阪事業所内に構築される。また、地域B内のLAN18cは、ニューヨーク事業所内に構築され、LAN18dは、ワシントンD.C.事業所内に構築される。
以下、任意の通信端末、ディスプレイ、外部入力装置、ルータ、中継装置、LAN、専用線を示す場合は、「通信端末13」、「ディスプレイ14」、「外部入力装置15」、「ルータ16」、「中継装置17」、「LAN18」、「専用線19」を用いる。
プログラム提供サーバ12は、通信端末13a〜13h、管理サーバ11、中継装置17a〜17dに提供するためのプログラムが記憶された記憶装置を備える。プログラム提供サーバ12は、通信端末13a〜13h、管理サーバ11、中継装置17a〜17dからの要求に応答して、その要求するプログラムを読み出し、送信する。プログラムは、通信端末13a〜13h、管理サーバ11、中継装置17a〜17dのそれぞれにインストールされて、後述する各種機能を実現する。
管理サーバ11は、プログラム提供サーバ12からプログラムを受信し、インストールして、2つの地域A、B間の通信を管理する。管理サーバ11は、各種テーブルを記憶し、その各種テーブルを、通信の管理に使用する。各種テーブルの1つとしては、端末認証管理テーブルが挙げられる。この端末認証管理テーブルは、一例として、すべての通信端末13に割り当てられた端末識別子(端末ID)に対して、各パスワードを関連付けて管理するテーブルである。これら端末IDおよびパスワードは、遠隔会議を行うために遠隔会議システムへログインする際の認証に使用される。
その他のテーブルとして、通信端末管理テーブル、中継装置管理テーブル、宛先リスト管理テーブル、セッション管理テーブル等が挙げられる。通信端末管理テーブルは、各通信端末13の端末IDに、各通信端末13の稼働状態、各通信端末13から送信された端末IDおよびパスワードといったログイン要求情報を受信した日時、各通信端末13のIPアドレス等を関連付けて管理するテーブルである。稼働状態は、例えば「オンライン」、「オフライン」、「故障中」等である。
中継装置管理テーブルは、各中継装置17に割り当てられた装置識別子(装置ID)に、各中継装置17の稼働状態、各中継装置17の状態情報を受信した日時、各中継装置17のIPアドレス、最大データ伝送速度等を関連付けて管理するテーブルである。宛先リスト管理テーブルは、会議開始を要求する通信端末13の端末IDに対して、データを送信する宛先となる通信端末13の候補として登録されている端末IDのすべてを関連付けて管理するテーブルである。
セッション管理テーブルは、中継装置17を選択するためのセッションの実行に用いられる選択用セッションID毎に、中継装置17の装置ID、要求元の通信端末13の端末ID、宛先の通信端末13の端末ID等を関連付けて管理するテーブルである。このテーブルは、そのほか、宛先の通信端末13において画像データを受信する際の受信の遅延時間、この遅延時間の情報を受信した日時等を関連付けて管理する。
通信端末13は、他の通信端末13へ、撮像して得られた画像データ、外部入力装置15から入力された会議資料等の共有する画面の表示データ、入力された音声の音声データを送信する。また、通信端末13は、他の通信端末13へ、撮像して得られた撮像データの代わりとして用意された代替データを送信する。代替データの詳細は後述する。そして、通信端末13は、他の通信端末13から画像データ(撮像データ又は代替データ)、表示データを受信して、ディスプレイ14に表示させ、音声データを受信して、音声を出力する。
画像データは、会議の参加者の少なくとも顔を含み、その表情等が分かる画像のデータとされる。画像データは、静止画像の画像データであってもよいし、動画データであってもよい。また、画像データは、動画データと静止画像の画像データとを両方含むデータであってもよい。画像データと音声データは、これらのデータを受信すると同時に再生するようにストリーミング配信することができる。
画像データは、圧縮符号化して送信することができるが、その圧縮符号化する技術として、様々な標準に従った映像符号化方式を採用することができる。標準の1つとして例えばH.264があり、H264/AVCやH264/SVCを採用することができる。H.264/SVCでは、データを複数のチャネルに分けて符号化し、相手方へ送信する。このため、相手方は、ネットワークの状態や再生機器の能力に応じて複数のチャネルを組み合わせてデコードし、不具合のない適切なデータとして取り出し、再生することができる。
通信端末13は、他の通信端末13から画像データ(撮像データ又は代替データ)、表示データおよび音声データを受信するが、他の通信端末13が1つであるとは限らない。すると、複数の通信端末13から画像データ(撮像データ又は代替データ)や音声データを受信することになる。通信端末13は、これら複数の画像データ(撮像データ又は代替データ)を使用し、複数の画像をディスプレイ14に表示させるために、予め設定された配置情報に従って画面内を1以上の領域に分割し、各領域に各画像を配置する。この画像には、各参加者の顔等の映像のほか、会議資料等の画像も含まれる。
ディスプレイ14は、上記の配置情報に応じて、接続される通信端末13が送受信する画像データを表示し、会議に使用される会議資料の表示データを表示する。ディスプレイ14としては、これらを表示することができる装置であればいかなる装置であってもよく、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等を挙げることができる。
外部入力装置15は、当該外部入力装置15が備えるディスプレイに表示された会議資料等を一定時間間隔で取り込み、当該外部入力装置15と接続される通信端末13に対して、取り込んだ画像の画像データを表示データとして一定時間間隔で送信する。
表示データは、複数の通信端末13で共通に使用される会議資料等の共有する画面を表示するためのデータである。例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用される文書データ、表データ、画像データ等とされる。表示データも、静止画像の画像データであってもよいし、動画データであってもよく、さらには、これらの両方を含むデータであってもよい。
ルータ16は、伝送する画像データ、表示データおよび音声データの最適な経路の選択を行う。このため、ルータ16は、送信元のルータ16や通信端末13のIPアドレスと、送信先のルータ16や通信端末13のIPアドレスとを対応付けたルーティングテーブルを保持する。ルータ16は、記憶部を備えており、その記憶部にルーティングテーブルを記憶し保持する。IPアドレスのほか、通信端末13やルータ16を一意に識別するためのMAC(Media Access Control)アドレス、端末ID、端末名、ルータ名等を用いることもでき、これらをIPアドレスとともに用いることも可能である。IPアドレスは、一般的なIPv4のものに限らず、IPv6のものを用いることも可能である。
中継装置17は、通信端末13間で行われる画像データ等の送信を中継する。画像データ等をどこへ送信するか、また、その送信を停止するかは、中継装置17が保持する管理情報により決定される。図1に示す遠隔会議システムは、4つの中継装置17a〜17dを備えているが、いずれの中継装置17を採用するかは、後述するように通信端末13によって選択される。
図1には、図示していないが、遠隔会議システムは、メンテナンスシステムを備えていてもよい。このメンテナンスシステムは、管理サーバ11、プログラム提供サーバ12、通信端末13、中継装置17の少なくとも1つの維持、管理、保守を行うためのコンピュータである。メンテナンスシステムは、インターネット10に接続されていれば、国内および国外のいずれに設置されていてもよく、インターネット10を介して遠隔的にこれらサーバや装置の維持、管理、保守のためのメンテナンスを行うことができる。また、メンテンスシステムは、インターネット10を含む通信ネットワークを介することなく、これらサーバや装置における機種番号、製造番号、販売先、保守点検または故障履歴の管理等のメンテナンスを行うことも可能である。
通信端末13について、より詳細に説明するために、図2および図3を参照する。図2は、通信端末13の一例を示した外観図であり、図3は、その通信端末13のハードウェア構成を例示した図である。図2に示すように、通信端末13の長手方向をx軸方向とし、水平面内でx軸方向に直交する方向をy軸方向とし、x軸方向およびy軸方向に直交する方向(鉛直方向)をz軸方向として説明する。
通信端末13は、筐体20と、アーム40と、カメラハウジング50とを備えている。筐体20は、前側壁面21に、複数の吸気孔によって形成された図示しない吸気面を有し、後側壁面22に、複数の排気孔が形成された排気面23を有している。このため、筐体20内に設けられた冷却ファンの駆動によって、図示しない吸気面から外気を取り込み、内部を冷却するのに使用した後、排気面23から排出することができる。
筐体20の右側壁面24には、集音用孔25が形成され、内部に実装される内蔵型マイクによって音声、物音、雑音等が集音可能となっている。また、その右側壁面24側には、操作パネル26も形成されている。操作パネル26には、複数の操作ボタン27a〜27f、電源スイッチ28、アラームランプ29、内部に実装される内蔵型スピーカからの出力音を通すための複数の音声出力孔によって形成された音出面30が形成されている。さらに、筐体20の右側壁面24には、外部機器を、ケーブルを使用して接続するための複数の接続口31a〜31cが設けられている。また、操作パネル26には、後述するカメラ51の機能の無効/有効を切り替える操作ボタン35が設けられている。
筐体20の左側壁面32には、アーム40およびカメラハウジング50を収容するための凹部として収容部33が形成されている。また、筐体20の左側壁面32には、ディスプレイ14を、ケーブル34を使用して接続するための図示しない接続口が設けられている。
アーム40は、トルクヒンジ41を介して筐体20に取り付けられ、筐体20に対して、約135°のチルト角θ1の範囲で、上下方向に回転可能とされている。ここで、チルト角とは、上下方向に傾きを変えることができる角度である。図2に示す例では、チルト角θ1が約90°の状態になっている。
カメラハウジング50は、内蔵型のカメラ51を撮像手段として備え、会議の参加者のほか、書類、会議室内の風景等を被写体として撮像することができる。このカメラハウジング50にも、トルクヒンジ52が設けられ、このトルクヒンジ52を介してアーム40に取り付けられている。図2では、カメラハウジング50が、アーム40に対して、図2に示す状態を0°として−180°から+180°のパン角θ2の範囲で回転可能とされ、かつ、−45°から+45°のチルト角θ3の範囲で回転可能とされている。パン角は、水平方向に傾きを変えることができる角度である。
通信端末13の内部には、図3に示すようにハードウェアとして、CPU(Central Processing Unit)100が実装される。そのほか、ROM(Read Only Memory)101、RAM(Random Access Memory)102を備える。また、フラッシュメモリ103、SSD(Solid State Drive)104、メディアドライブ105、操作ボタン27、電源スイッチ28、ネットワークI/F106も備える。さらに、CCD(Charge Coupled Device)107、撮像素子I/F108、マイク109、スピーカ110も備える。また、音声入出力I/F111、ディスプレイI/F112、外部機器接続I/F113、アラームランプ29、バスライン114も備える。
CPU100は、通信端末13全体の動作を制御する。ROM101は、CPU100が実行し、通信端末13を後述する各手段として機能させるプログラムを記憶する。RAM102は、CPU100が上記プログラム等を実行する際の作業領域として使用される。フラッシュメモリ103は、画像データ等の各種データを記憶する。SSD104は、CPU100の制御に従ってフラッシュメモリ103に対する各種データの読み出し、または書き込みを制御する。
メディアドライブ105は、フラッシュメモリ等の記録メディア115に対するデータの読み出し、または書き込み(記憶)を制御する。操作ボタン27は、宛先となる通信端末13を選択する場合等に操作される。電源スイッチ28は、電源のON/OFFを切り換える。ネットワークI/F106は、通信端末13を通信ネットワークに接続し、通信ネットワークを介してデータの送受信を行うことを可能にする。
CCD107は、内蔵型のカメラ51として用いられ、CPU100による制御に従って参加者等を被写体として撮像し、その画像データを取得する。ここでは、CCDとしているが、CCDに限られるものではなく、CMOS(Complementary Metal Oxide Semiconductor)等を用いてもよい。撮像素子I/F108は、CCD107の駆動を制御する。そして、マイク109は、参加者が発言した音声、周りの物音や騒音等の入力を受け付ける。スピーカ110は、他の通信端末13から送信されてきた音声データを音声出力する。音声入出力I/F111は、CPU100による制御に従ってマイク109およびスピーカ110との間で音声信号の入出力を処理する。この処理としては、例えば、雑音の除去や、アナログ信号のデジタルデータへの変換、デジタルデータのアナログ信号への変換等が挙げられる。
ディスプレイI/F112は、CPU100による制御に従って外付けのディスプレイ14に画像データを伝送する。外部機器接続I/F113は、外部機器との間で、各種データの送受信を行う。アラームランプ29は、通信端末13の各種機能の異常を知らせるために点灯される。バスライン114は、これらのハードウェアを互いに電気的に接続するアドレスバスやデータバス等とされる。ここで、アドレスバスは、アクセスしたいデータ等が格納されている場所の物理アドレスを伝達するために使用されるバスであり、データバスは、データを転送するために使用されるバスである。
ディスプレイ14と、ディスプレイI/F112とがケーブル34によって接続される。このケーブル34は、アナログRGB(VGA)信号用ケーブルやコンポーネントビデオ用ケーブルであってもよい。また、HDMI(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用ケーブルであってもよい。
外部機器としては、外部入力装置15のほか、外付けカメラ、外付けマイク、外付けスピーカ等を挙げることができる。外部機器は、筐体20の接続口31に差し込まれたUSB(Universal Serial Bus)ケーブル等によって、外部機器接続I/F113と接続することができる。なお、外部機器として、外付けカメラが接続された場合、CPU100による制御に従って、カメラ51に優先して、外付けカメラを駆動させることができる。これと同様に、外付けマイクや外付けスピーカが接続されたときも、これらを優先して駆動させることができる。
記録メディア115は、通信端末13に対して着脱自在な構成とされる。記録メディア115は、CD−RW(Compact Disk ReWritable)、DVD(Digital Versatile Disk)−RW、SD(Secure Digital)カード等の読み書き可能な記録媒体とされる。図3では、フラッシュメモリ103を採用しているが、CPU100による制御に従ってデータの読み出し、書き込みを行うことができる不揮発性メモリであればいかなるものでも用いることができる。この不揮発性メモリとしては、例えば、EEPROM(Electrically Erasable and Programmable ROM)を挙げることができる。
ここでは、上記プログラムは、ROM101に記憶されているが、インストール可能な形式または実行可能な形式のファイルで、記録メディア115等の通信端末13により読み取り可能な記録媒体に記憶されていてもよい。図1に示すシステム構成の場合、プログラム提供サーバ12から提供されるプログラムは、この記録媒体に記憶することができる。
次に、図4を参照して、管理サーバ11、プログラム提供サーバ12、外部入力装置15、中継装置17のハードウェア構成について簡単に説明しておく。いずれも同様の構成であるため、ここでは、中継装置17として説明する。なお、図1には図示していないメンテナンスシステムも同様のハードウェア構成とされる。
中継装置17は、CPU200、ROM201、RAM202、HD(Hard Disk)203、HDD(Hard Disk Drive)204を備える。また、中継装置17は、メディアドライブ205、ディスプレイ206、ネットワークI/F207、キーボード208、マウス209、CD/DVDドライブ210、外部装置I/F211、バスライン212も備える。
CPU200は、中継装置17全体の動作を制御する。ROM201は、CPU200が通信端末13間の通信を中継する処理を実行するためのプログラムを記憶する。RAM202は、CPU200がそのプログラム等を実行する際の作業領域として使用される。HD203は、各種データを記憶し、HDD204は、CPU200による制御に従ってHD203に対する各種データの読み出し、または書き込みを制御する。
メディアドライブ205は、フラッシュメモリ等の記録メディア213に対するデータの読み出し、または書き込みを制御する。ディスプレイ206は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報を表示する。ネットワークI/F207は、中継装置17を通信ネットワークに接続し、通信ネットワークを介してデータの送受信を可能にする。キーボード208は、各種指示等の入力のために、押下される複数のキーを備える。マウス209は、各種指示の選択、実行、処理対象の選択、カーソル移動等を行う。
CD/DVDドライブ210は、CD−RW等の着脱可能な記録媒体214に対するデータの読み出し、または書き込みを制御する。外部装置I/F211は、外部機器を接続し、外部機器との間で情報のやりとりを可能にする。バスライン212は、これらのハードウェアを互いに電気的に接続するアドレスバスやデータバス等とされる。
ここでは、上記プログラムは、ROM201に記憶されているが、インストール可能な形式または実行可能な形式のファイルで、HD203や記録メディア213等の中継装置17により読み取り可能な記録媒体に記憶されていてもよい。図1に示すシステム構成の場合、プログラム提供サーバ12から提供されるプログラムは、この記録媒体に記憶することができる。
次に、図5に示す通信端末13の機能ブロック図を参照して、通信端末13の機能構成について説明する。通信端末13は、送受信部300、操作入力受付部301、ログイン要求部302、撮像部303、画像表示制御部304、音声入力部305、音声出力部306を備える。また、通信端末13は、選択処理部307、外部情報送受信部308、記憶・読出処理部309、記憶部310、配置情報選択部311、表示データ制御部312を備える。これらの各部は、図3に示した各構成要素のいずれかが、ROM101に記憶されたプログラムに従ったCPU100からの命令により動作することで実現される。
送受信部300は、図3に示したネットワークI/F106により実現され、他の通信端末13との間で通信ネットワークを介して各種データや情報等の送受信を行う。操作入力受付部301は、図3に示した操作ボタン27や電源スイッチ28によって実現され、会議の参加者、ここではこの通信端末13の利用者からの各種入力を受け付ける。例えば、利用者が、電源スイッチ28をONに操作すると、操作入力受付部301がそれを検知して、電源をONにする。
ログイン要求部302は、図3に示したCPU100からの命令により実現される。ログイン要求部302は、電源がONにされたことを受けて、通信ネットワークを介して送受信部300から図1に示した管理サーバ11へ、ログインを要求する旨を示すログイン要求情報や、通信端末13の現時点のIPアドレスを自動的に送信する。ここで、ログイン要求情報としては、通信端末13の端末IDおよびパスワード等が挙げられる。
撮像部303は、図3に示したCCD107と、撮像素子I/F108とによって実現され、利用者の顔等の被写体を撮像し、それを画像データへ変換して出力する。撮像部303は、静止画像の画像データ、もしくは動画データ、またはこれらの両方を含むデータとして出力することができ、動画データであれば、送受信部300を介してストリーミング配信することができる。
画像表示制御部304は、図3に示したディスプレイI/F112によって実現され、ディスプレイ14に対して画像データを送信するための制御を行う。
音声入力部305は、図3に示したマイク109および音声入出力I/F111によって実現され、利用者の音声を入力し、入力された音声を音声データへ変換して出力する。音声入力部305は、入力信号の信号レベルを測定し、測定した信号レベルを閾値等と比較することにより、音声信号の有無について判定し、音声信号が有る場合に、音声データへ変換して出力する。音声出力部306は、図3に示したスピーカ110および音声入出力I/F111によって実現され、他の通信端末13から受信した音声データを音声へ変換し、その音声を出力する。
選択処理部307は、図3に示したCPU100からの命令により実現され、図1に示した複数の中継装置17a〜17dのうち、どの中継装置17を中継してデータの送受信を行うかを決定するために、1つの中継装置17を選択する処理を実行する。選択処理部307は、例えば、計測部、算出部、選択部を含む構成とし、これらを使用して1つの中継装置17を選択する処理を実行する。
計測部は、送受信部300によって受信された送信日時を含む事前送信情報ごとに、送受信部300によって事前送信情報が受信される際の受信日時を計測する。ここで、事前送信情報とは、画像データ等の送信に先立って、中継装置17を介して他の通信端末13へ送信される情報で、要求元の通信端末(要求元端末)から宛先の通信端末(宛先端末)までの所要時間を計測するために用いられる情報である。事前送信情報には、例えば、要求元端末と宛先端末とが通信可能に接続されていることを確認するためのping、要求元端末がこの事前送信情報を送信した送信日時が含まれる。そのほか、ログインして会議を開始し、ログオフしてその会議を終了するまでの一連の通信(セッション)を識別するためのセッションIDも含まれる。
算出部は、計測部によって受信日時が計測された事前送信情報ごとに、この計測された受信時間と、この事前送信情報に含まれる送信日時とを用い、その差を計算して、事前送信情報の送信から受信までの所要時間を算出する。選択部は、算出部が算出した各中継装置17を経由した所要時間を比較し、最短の所要時間となる中継装置17を選択する。このようにして、複数の中継装置17a〜17dの中から1つの中継装置17を選択することができる。
外部情報送受信部308は、図3に示した外部機器接続I/F113によって実現され、外部機器からデータを受信し、外部機器へデータを送信する処理を行う。外部情報送受信部308は、外部機器が外付けカメラや外付けマイクであれば、そのカメラから画像データを、そのマイクから音声データを受信し、外部機器が外付けスピーカであれば、そのスピーカへ音声データを送信する。
記憶・読出処理部309は、図3に示したSSD104によって実現され、記憶部310に各種データを記憶し、記憶部310に記憶された各種データを読み出す処理を行う。記憶部310は、通信端末13を識別するための端末ID、パスワード、画像データ、音声データ、その他の各種データを送信する中継装置17を識別するための中継装置ID、宛先端末のIPアドレス等を記憶する。記憶部310は、そのほか、配置情報管理表313、送信管理テーブル314、イベントフラグテーブル315等が記憶される。また、記憶部310は、予め用意された代替データ501が記憶されても良い。
配置情報選択部311は、表示データの配信イベントに基づき、記憶部310に記憶されているイベントフラグテーブル315から共有フラグを選択する。そして、配置情報選択部311は、選択した共有フラグを配置情報管理表313に設定し、画像表示制御部304に対して、ディスプレイ14に表示させる画面の配置情報を指示する。配信イベントとしては、例えば、表示データの配信を開始したときに発生する「配信開始イベント」、その配信を停止したときに発生する「配信停止イベント」が挙げられる。そのほか、他の通信端末13から表示データの配信が開始されたときに発生する「他からの配信イベント」、他の通信端末13から表示データの配信が停止されたときに発生する「他からの配信停止イベント」も挙げられる。
配置情報選択部311は、「配信開始イベント」や「他からの配信イベント」に対しては、表示データの配信が開始され、通信端末13はその表示データを受信することから、その表示データを表示させることができる配置情報を指示する。
表示データ制御部312は、外部入力装置15から表示データを取得し、取得した表示データを通信端末13へ送信する制御を行う。表示データは、外部入力装置15が備えるディスプレイの画面に表示された画像をJPEG(Joint Photographic Experts Group)やビットマップ等のファイル形式とした画像データとすることができる。表示データは、そのほか、GDI(Graphics Device Interface)等のファイル形式とした描画コマンドとすることもできる。
表示データ制御部312は、外部入力装置15からの要求に応じて、中継装置17に対して表示データの配信開始の要求や、配信停止の要求を行う。また、表示データ制御部312は、中継装置17からの配信イベントに応じてイベントフラグテーブル315を参照して表示制御フラグの状態を決定し、表示制御フラグを外部入力装置15へ送信する。この表示制御フラグは、外部入力装置15が、自機が備えるディスプレイに表示するメニュー等の表示を、通信端末13が制御するために用いられるものである。
ここで、イベントフラグテーブル315は、例えば、上記の「配信開始イベント」等のイベントの種類と、通信端末13が表示データを共有するかどうか示す共有フラグと、表示制御フラグとを対応付けて管理するテーブルである。配置情報管理表313は、配置情報と、上記の共有フラグとを対応付けて管理するテーブルである。
送信管理テーブル314は、撮像部303により撮像して得られた画像データを、中継装置17へ送信しているかどうか、外部入力装置15から入力された表示データを、中継装置17へ送信しているかどうかという送信情報を管理するテーブルである。
例えば、外部入力装置15からの表示データの受信が停止し、配信停止イベントが発生すると、配置情報選択部311がそれを検知する。配置情報選択部311は、表示データを共有しない旨を示す共有フラグを配置情報管理表313に設定し、表示データを含まない画面表示になるような配置情報を画像表示制御部304に指示する。画像表示制御部304は、この指示を受けて、これまで表示していた画面を切り換え、送信管理テーブル314の送信状態を変更する。
図6は、送信管理テーブル314の一例を示した図である。送信管理テーブル314は、中継装置17へ送信するデータを特定するためのデータ名と、その送信状態とを対応付けて管理する。データ名は、画像データの一例である「映像データ」や、「表示データ」等である。送信状態は、現在送信中であるか否かを示す情報で、送信中であれば「TRUE」、送信していない場合は「FALSE」に設定される。図6に示されたテーブルは、一例であり、これ以外の会議名、日時、データの種類等の情報を含めることも可能である。以下、画像データを映像データとして説明する。
記憶部310は、さらに、図7に示すようなテーブルを記憶することができる。図7は、配置情報と、画面を複数に分割して得られた各領域に割り当てられる映像データおよび表示データとの関係を示した図である。配置情報は、映像データおよび表示データの表示に関する情報である。配置情報としては、図7に示すような「SHARED_MULTI」、「SHARED_ONLY」、「VIEW_MULTI」、「VIEW_ONLY」等が挙げられる。
「SHARED_MULTI」は、同じ会議に使用されている各通信端末13から受信したすべての映像データと表示データとを混在させて表示するものである。「SHARED_ONLY」は、その表示データのみを拡大して表示するものである。「VIEW_MULTI」は、同じ会議に使用されている各通信端末13から受信したすべての映像データを表示し、表示データは表示しないようにするものである。「VIEW_ONLY」は、それらの映像データのうちの特定の1つの映像データのみを拡大して表示するものである。
画像表示制御部304は、このテーブルを参照し、配置情報選択部311が指示した配置情報を基にどのように表示するかを決定し、ディスプレイ14に表示させる。実際にどのように表示されるかを示した図が、図8である。
図8(a)は、配置情報として、「SHARED_MULTI」または「VIEW_MULTI」が選択された場合に表示される画面である。ここでは、領域1〜領域4のみが示されているが、実際は「SHARED_MULTI」であれば、領域1に表示データ、領域2〜4に映像データ1〜3が表示される。すなわち、領域1に、会議資料等が、領域2〜4に、同じ会議に参加する相手方の映像が表示される。「VIEW_MULTI」であれば、領域1に映像データ1が、領域2〜4に映像データ2〜4が表示される。
図8(b)は、配置情報として、「SHARED_ONLY」または「VIEW_ONLY」が選択された場合に表示される画面である。ここでは、領域1のみが示されているが、図8(a)と同様、実際は、「SHARED_ONLY」であれば、その領域1に表示データが、「VIEW_ONLY」であれば、その領域1に映像データ1が拡大して表示される。なお、表示データまたは映像データ1のみを表示するので、図8(a)に示す領域1より拡大して表示することが可能であることから、ここでは拡大して表示されている。しかしながら、これに限られるものではなく、同じサイズで1つのデータのみを表示し、別途設けられる拡大/縮小ボタン等により任意のサイズに拡大し、または縮小するようにすることも可能である。
また、図8(a)では、領域1を大きく、領域2〜4を同じサイズで、領域1より小さく画面を分割しているが、これに限られるものではない。例えば、すべてを同じサイズに分割することも可能であるし、分割する領域数を2もしくは3または5以上とすることも可能である。なお、映像データを表示させる際、その映像データの表示とともに、受信した音声データも再生されるので、どの利用者が現在発言し、その内容がどのようなものであるかを認識することができる。
通信端末13は、図5に示すように、検知部316、停止部317、変更部318、通知部319、画像置換部500をさらに備える。なお、ここでは、変更部318、通知部319を備える構成とされているが、これらは備えていなくてもよい。これらの各部も、図3に示した各構成要素のいずれかが、ROM101に記憶されたプログラムに従ったCPU100からの命令により動作することで実現される。
検知部316は、撮像は継続して実行されるが、データの送信は不要となる予め決定されたイベントを検知する。撮像が継続して実行されることから、録画停止ボタンの押下は、このイベントには含まれない。このイベントの例としては、次のようなものが挙げられる。
その1つとして、撮像を行い、映像データを出力するカメラ51が通信端末13の収容部33内に収納されたことが挙げられる。収納されただけでは、撮像し続けるが、利用者等を撮像することができないので、映像データの送信は不要となるからである。具体的には、図2に示した通信端末13のアーム40が折り畳まれたことである。そのほか、カメラ51が保護部材により被覆されたこと、すなわちキャップが取り付けられたことが挙げられる。
また、表示データを通信端末13へ入力するための外部入力装置15が通信端末13に接続された後に他の通信端末13との間で送受信を開始したこと、すなわち会議が開始されたことが挙げられる。会議が始まる前に外部入力装置15を接続する場合、同じ会議のすべての通信端末13の利用者に表示データのみに注目してほしいということから、表示データのみを送信すればよく、撮像されても、その映像データの送信は不要となるからである。
また、通信端末13から送信された映像データを、同じ会議を行う通信端末13のいずれもが使用していない旨の通知を中継装置17から受信したことも挙げられる。いずれも使用していないので、撮像は行っているが、その映像データの送信は不要となるからである。
イベントは、これらの例に限定されるものではなく、例えば、利用者がUI(User Interface)から表示データのみを送信するようなモード設定を行ったことであってもよい。また、イベントは、アーム40が折り畳まれた状態のまま会議を開始したことであってもよい。
停止部317は、上記イベントの検知に応答して、撮像部303に指示して撮像を停止し、送受信部300に指示して映像データの送信も停止する。そして、停止部317は、それらの停止後、撮像部303、すなわちカメラ51への電源供給を停止する。このようにして、撮像を停止し、映像データの送信を停止することで、CPU100の使用率を低減させ、消費電力を低減させることができる。また、撮像部303への電源供給も停止されるので、さらに消費電力を低減させることができる。
変更部318は、このようなイベントの検知に応答して、送信情報としての送信管理テーブル314に設定されている内容を変更する。具体的には、イベントとしてアーム40が折り畳まれたことを検知すると、カメラ機能を使用しないことを意味するので、画像データの送信を停止するように設定変更する。図6で言えば、映像データが「TRUE」となっているのを「FALSE」に変更する。
また、外部入力装置15と接続されたケーブルが、例えば接続口31aに差し込まれた後に会議を開始したことを検知すると、表示データのみに注目してほしいということから、映像データの送信は不要であり、映像データの送信を停止するように設定変更する。さらに、自機も含め、同じ会議に使用されている通信端末13のすべてが、自機が撮像した映像データを使用していないことを検知すると、いずれの通信端末13もその映像データを使用しないことから、その映像データの送信を停止するように設定変更する。
通知部319は、変更部318が設定変更を行った後、送信管理テーブル314を中継装置17へ通知する。中継装置17は、この通知を受け、後述する中継装置17が保持し、管理する管理情報を変更する。通知部319は、送信管理テーブル314を送信することもできるが、変更した部分のみを送信することも可能である。
ここで簡単に、中継装置17の機能構成を、図9を参照して説明しておく。中継装置17は、送受信部400と、制御部401と、記憶・読出処理部402と、記憶部403と、変更部404とを含んで構成される。
送受信部400は、図4に示したネットワークI/F207によって実現される。送受信部400は、通信端末13において配置情報が変更された場合や、送信管理テーブル314が変更された場合に、通信端末13から通知された、その変更された配置情報や送信管理テーブル314を受信する。
制御部401は、図4に示したCPU200からの命令によって実現される。制御部401は、記憶・読出処理部402に指示し、記憶・読出処理部402が記憶部403に記憶されている管理情報としての受信管理テーブル405に設定されている内容に従ってデータを受信するように制御する。また、制御部401は、送信管理テーブル406に設定されている内容に従って受信したデータを送信するように制御する。
図10は、この中継装置17が保持し、管理する管理情報の1つである受信管理テーブル405の一例を示した図である。受信管理テーブル405は、画像データとしての映像データまたは表示データをどの通信端末13から受信しているかを示す端末IDと、受信している映像データまたは表示データを識別するためのデータ名と、受信状態とを対応付けて管理する。受信状態は、中継装置17がデータを受信しているか否かを示す情報であり、受信している場合は「TRUE」に設定され、受信していない場合は「FALSE」に設定される。
ここでは、端末IDを用いているが、通信端末13を識別することができるものであれば、これに限られるものではなく、端末名、IPアドレス、MACアドレス、設置場所(例えば、東京事業所等)であってもよい。
図11は、この中継装置17が保持し、管理する管理情報の1つである送信管理テーブル406の一例を示した図である。送信管理テーブル406は、画像データとしての映像データまたは表示データをどの通信端末13へ送信しているかを示す端末IDと、送信している映像データまたは表示データを識別するためのデータ名と、送信状態とを対応付けて管理する。送信状態は、中継装置17がデータを送信しているか否かを示す情報であり、送信している場合は「TRUE」に設定され、送信していない場合は「FALSE」に設定される。これも、図10に示した受信管理テーブル405と同様、端末IDに限定されるものではなく、端末名やIPアドレス等であってもよい。
再び図9を参照して、送受信部400が受信した配置情報あるいは送信管理テーブル314は、変更部404へ送られ、変更部404が、記憶・読出処理部402に指示し、受信管理テーブル405あるいは送信管理テーブル406を読み出させる。そして、変更部404は、受信管理テーブル405内の受信状態を、送信管理テーブル314の内容に基づき、また、送信管理テーブル406内の送信状態を、配置情報に基づき変更する。
中継装置17は、例えば、送信管理テーブル406が変更され、ある通信端末13への送信状態が「FALSE」に設定されると、その通信端末13への映像データの送信が停止されるので、ネットワーク負荷が軽減される。中継装置17は、上記各部のほか、判定部および通知部を備えていてもよい。判定部は、どの通信端末13へも送信されない映像データがあるかどうかを判定することができる。また、どの通信端末13へも送信されない映像データがあると判定された場合、通知部は、この映像データを送信する通信端末13のすべてに対し、この映像データの送信を停止するように通知することができる。これにより、各通信端末13から中継装置17への映像データの送信が停止され、さらにネットワーク負荷が軽減される。
そのほか、判定部が、変更された送信管理テーブル406に、どの通信端末13にも、すべての映像データが送信されないと判定した場合、制御部401が、すべての通信端末13へのすべての映像データの送信を停止することができる。このとき、通知部は、映像データを送信するすべての通信端末13に対し、映像データの送信を停止するように通知することができる。これら判定部および通知部も、図4に示したCPU200からの命令によって実現される。
次に、画像置換部500について説明する。本実施形態の画像置換部500は、カメラ51の機能を無効とする操作ボタン35が操作されると、記憶部310に記憶された代替データ501を読み出し、カメラ51が撮像した撮像データを代替データ501に置き換える。代替データ501は、送受信部300により、遠隔会議システムに含まれる他の通信端末13へ送信される。尚、本実施形態の撮像データには、動画データや静止画像データが含まれる。
このとき、本実施形態では、送信管理テーブル314の映像データの送信状態は「TRUE」のままである。
以下に、例えば通信端末13において、操作ボタン35が操作された場合について説明する。
図12は、カメラ機能が無効にされたときの通信端末の処理を説明するフローチャートである。
通信端末13において、画像置換部500は、操作ボタン35が操作されたか否かを判定する(ステップS1201)。より具体的には、画像置換部500は、操作ボタン35が押下されたか否かを判定する。ステップS1201において、操作ボタン35が操作されない場合、通信端末13は、操作ボタン35が操作されるまで待機する。
ステップS1201において、操作ボタン35が操作された場合、画像置換部500は、撮像部303(カメラ51)の機能が無効とされているか否かを判定する(ステップS1202)。
ステップS1202において、カメラ51の機能が無効とされていた場合、画像置換部500は、カメラ機能の無効を解除し、撮像部303は、撮像した撮像データを取得し(ステップS1203)、後述するステップS1205へ進む。
ステップS1202において、カメラ51の機能が無効とされていない場合、すなわち撮像部303から撮像データが出力されていた場合、画像置換部500は、撮像部303から出力される撮像データを、記憶部310に記憶された代替データ501に置き換える(ステップS1204)。
続いて通信端末13は、撮像データ又は代替データ501のエンコードを行い(ステップS1205)、送受信部300によりネットワークを介して他の通信端末13へエンコードしたデータを送信する(ステップS1206)。
続いて通信端末13は、キャプチャの終了指示を受け付けたか否かを判定する(ステップS1207)。尚、本実施形態のキャプチャとは、会議を開始して自映像を表示するために画像データを取得する処理である。
ステップS1207において、キャプチャの終了指示を受け付けた場合、通信端末13は処理を終了する。ステップS1207においてキャプチャが継続中であることを検知した場合、通信端末13はステップS1201へ戻る。
ここで、本実施形態の代替データについて説明する。本実施形態の代替データ501は、例えば黒画像の画像データであっても良い。尚、本実施形態では、代替データ501は、予め記憶部310に記憶されているものとしたが、これに限定されない。代替データ501は、画像を転送するメモリ領域を、黒を示すビットで埋めることで黒画像の画像データを生成しても良い。
以上のように、本実施形態の通信端末13は、カメラ51の機能が無効とされた場合には、撮像データの代わりに代替データ501を他の通信端末13へ送信する。代替データ501を受信した他の通信端末13は、ディスプレイ14において、撮像データが表示されていた領域へ代替データ501を表示させる。
したがって、本実施形態では、撮像データが相手方の通信端末13に送信されなくても、カメラ51の機能を無効とした側が引き続き会議に参加していることを容易に把握させることができる。
また、本実施形態では、代替データをエンコードして圧縮を行った後、ネットワークに送信する。その際は、前後のフレームも黒画像の画像データとなるため、圧縮率を高くするこができ、データのサイズを小さくできる。したがって、本実施形態では、代替データを送信することで通信帯域に係る負荷を小さくし、代替データを送信することで通信帯域に及ぼす影響を小さくすることができる。
尚、本実施形態では、代替データ501を黒画像の画像データとしたが、これに限定されない。本実施形態の代替データ501は、カメラ51の機能が無効にされたことを示す静止画像の画像データであれば良い。具体的には、例えば風景画像の画像データや、カメラ51の機能を無効にしたことを示すメッセージを含む画像の画像データ等であっても良い。この場合の代替データ501は、エンコードされた際に、カメラ51により撮像された撮像データよりも、データのサイズが小さくなるものとした。このようにすれば、代替データを送信することで通信帯域に及ぼす影響を小さくすることができる。
また、図12の例では、操作ボタン35の操作により、カメラ51の機能の有効/無効の切り替えが行われるものとしたが、これに限定されない。カメラ51の機能の有効/無効の切り替えは、例えばディスプレイ14に表示された切り替えボタンの操作等により行われても良い。
次に、通信端末13が代替データ501を受信した場合について説明する。以下の説明では、通信端末13a、13b、13e、13fにより遠隔会議が実施された場合を説明する。
図13は、通信端末が代替データを受信した場合を説明する図である。図13では、通信端末13aと接続されたディプレイ14aの画面の例を示している。図13(A)は、通信端末13fのカメラ51の機能が有効である場合のディスプレイ14aの画面の例であり、図13(B)は、通信端末13fのカメラ51の機能が無効された場合のディスプレイ14aの画面の例である。
図13(A)において、ディスプレイ14aには、通信端末13aのカメラ51により撮像した撮像データと、通信端末13b,13c,13dのそれぞれのカメラ51により撮像された撮像データとが表示されている。
具体的には、ディスプレイ14aに表示された画面141は、領域141a,141b,141e,141fの4つに分割されている。すなわち、画面141は、会議に参加している通信端末13の数と同数の領域に分割されている。
領域141aには、通信端末13aが自身のカメラ51で撮像した撮像データが表示されている。領域141bには、通信端末13bから受信した撮像データが表示されている。領域141eには、通信端末13eから受信した撮像データが表示されている。領域141fには、通信端末13fから受信した撮像データが表示されている。
したがって、通信端末13aを使用している会議の参加者は、現在の参加者が4名であることを用意に把握できる。
これに対し、図13(B)では、通信端末13fにおいてカメラ51の機能が無効されたため、画面141の領域141fには、通信端末13fから受信した代替データである黒画像が表示されている。このとき、画面141は、図13(A)と同様に、会議に参加している通信端末13の数と同数の領域に分割された状態を維持している。
すなわち、本実施形態の通信端末13は、ディプレイ14aの画面を会議に参加している通信端末13の数と同数の領域に分割する。そして、通信端末13は、分割した領域のうち1つの領域は自身が他の通信端末13へ送信するデータを表示させ、他の領域には、他の通信端末13から受信したデータを表示させるように、ディスプレイ14aの表示を制御すれば良い。
本実施形態では、このように表示の制御を行うことで、例えば通信端末13aのカメラ51の機能が無効とされた場合には、図面141の領域141aに代替データが表示され、その他の領域には通信端末13b,13c,13dのそれぞれから送信された撮像データが表示される。
したがって、通信端末13aを使用している会議の参加者は、図13(A)の画面141と同様に、現在の参加者が4名であることが容易に把握でき、さらに、通信端末13dの参加者がカメラ51の機能を無効としたことも把握できる。
また、本実施形態では、代替データ501を受信した通信端末13aは、単純に通信端末13fから受信したデータをディスプレイ141fに表示させるだけで、図13(B)に示す画面141をディスプレイ14aに表示させることができる。したがって。本実施形態では、代替データ501を受信した通信端末13a側では、特別な処理を行うことなく、通信端末13aを使用している参加者に、現在の会議の参加者を把握させることができる。
以下に、図14および15を参照して本実施形態の効果について説明する。図14は、本実施形態の効果を説明する比較例を示す図である。図15は、会議の参加者のリストの一例を示す図である。
図14は、図13と同様の状態において、通信端末13fのカメラ51の機能が無効とされた場合の比較例である。
図14の例では、カメラ51の機能を無効とした通信端末13fは、カメラ51により撮像された画像データの送信を停止している状態である。このため、図14に示す画面142では、通信端末13fから送信される撮像データが表示される領域は生成されず、通信端末13aの撮像データと、通信端末13b,13eのそれぞれから受信した撮像データとが表示されることとなる。
したがって、画面142における領域の数は、会議に参加している通信端末13の数と同数ではない。このため、例えば通信端末13fを使用している参加者が発言をしない場合等は、通信端末13fが会議に参加しているか否かを判断することが困難である。
このような場合において会議の参加者を把握する場合、通信端末13は、例えば管理サーバ11等から、図15に示すような会議の参加者リストを取得することになる。
この場合、図14に示す画面142では、3人の画像しか表示されていないが、図15に示す参加者リストでは、参加者が4人であることが把握される。
これに対し、本実施形態では、例えば通信端末13fのカメラの機能を無効とした場合でも、通信端末13aと接続されたディスプレイ14aの画面141は、会議に参加している通信端末13の数と同数の領域に分割された状態を維持している。
したがって、本実施形態では、図15に示すような会議の参加者リストを参照することなく、容易に参加者を把握させることができる。
また、本実施形態では、通信端末13は、中継装置17を介して他の通信端末13から撮像データや代替データを受信し、ディスプレイ14に表示させるものとして説明したが、これに限定されない。本実施形態では、中継装置17が各通信端末13から受信した撮像データや代替データに基づき、各通信端末13と接続されたディスプレイ14に表示させる画面の画像データを生成し、各通信端末13へ送信しても良い。また、本実施形態では、管理サーバ11が上述したディスプレイ14の画面の画像データの生成を行っても良い。
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
10 インターネット、11 管理サーバ、12 プログラム提供サーバ、13、13a〜13h 通信端末、14、14a〜14h ディスプレイ、15、15a〜15h 外部入力装置、16、16a〜16f ルータ、17、17a〜17d 中継装置、18a〜18d LAN、19a、19b 専用線、20 筐体、21 前側壁面、22 後側壁面、23 排気面、24 右側壁面、25 集音用孔、26 操作パネル、27a〜27e 操作ボタン、28 電源スイッチ、29 アラームランプ、30 音出面、31a〜31c 接続口、32 左側壁面、33 収容部、34 ケーブル、40 アーム、41 トルクヒンジ、50 カメラハウジング、51 カメラ、52 トルクヒンジ、100 CPU、101 ROM、102 RAM、103 フラッシュメモリ、104 SSD、105 メディアドライブ、106 ネットワークI/F、107 CCD、108 撮像素子I/F、109 マイク、110 スピーカ、111 音声入出力I/F、112 ディスプレイI/F、113 外部機器接続I/F、114 バスライン、115 記録メディア、200 CPU、201 ROM、202 RAM、203 HD、204 HDD、205 メディアドライブ、206 ディスプレイ、207 ネットワークI/F、208 キーボード、209 マウス、210 CD/DVDドライブ、211 外部装置I/F、212 バスライン、213 記録メディア、214 記録媒体、300 送受信部、301 操作入力受付部、302 ログイン要求部、303 撮像部、304 画像表示制御部、305 音声入力部、306 音声出力部、307 選択処理部、308 外部情報送受信部、309 記憶・読出処理部、310 記憶部、311 配置情報選択部、312 表示データ制御部、313 配置情報管理表、314 送信管理テーブル、315 イベントフラグテーブル、316 検知部、317 停止部、318 変更部、319 通知部、400 送受信部、401 制御部、402 記憶・読出処理部、403 記憶部、404 変更部、405 受信管理テーブル、406 送信管理テーブル、500 画像置換部
特開2014−90231号公報

Claims (12)

  1. 撮像部を有する複数の通信端末がネットワークを介して接続された遠隔会議システムであって、
    一の通信端末において、前記撮像部の機能が無効とされるとき、前記撮像部によって撮像された撮像データと異なる代替データを他の通信端末へ送信する送信部と、
    前記他の通信端末から受信した代替データを含む画面を表示装置に表示させる表示制御部と、有する遠隔会議システム。
  2. 前記表示制御部は、
    前記他の通信端末から受信した代替データと、
    前記他の端末装置のうち、前記代替データを送信した通信端末以外の通信端末において撮像された撮像データと、を含む画面を表示させる請求項1記載の遠隔会議システム。
  3. 前記代替データは、前記撮像データのデータ量よりも小さいデータ量を有する画像データである請求項1又は2記載の遠隔会議システム。
  4. 前記代替データは、一色の画像データである請求項1又は2記載の遠隔会議システム。
  5. 前記撮像部の機能が無効とされるとき、前記撮像部によって撮像された撮像データを前記代替データに置き換える画像置換部をさらに有し、
    前記表示制御部は、
    前記画像置換部により前記撮像データと置き換えられた代替データと、
    前記他の通信端末において撮像された撮像データと、を含む画面を表示させる請求項1乃至4の何れか一項に記載の遠隔会議システム。
  6. 前記撮像部の機能の有効/無効を切り替える操作部材を有する請求項1乃至5の何れか一項に記載の遠隔会議システム。
  7. ネットワークを介して他の通信端末と通信を行う通信端末であって、
    撮像部と、
    前記撮像部の機能が無効とされるとき、前記撮像部によって撮像された撮像データと異なる代替データを前記他の通信端末へ送信する送信部と、を有する通信端末。
  8. ネットワークを介して他の通信端末と通信を行う通信端末であって、
    前記他の通信端末において、前記他の通信端末の有する撮像部の機能が無効とされるとき、前記他の通信端末から前記撮像部によって撮像された撮像データと異なる代替データを受信する受信部と、
    前記代替データを含む画面を表示装置に表示させる表示制御部と、有する通信端末。
  9. 前記表示制御部は、
    前記他の通信端末から受信した前記代替データと、
    前記他の端末装置のうち、前記代替データを送信した通信端末以外の通信端末において撮像された撮像データと、を含む画面を表示させる請求項8記載の通信端末。
  10. 前記代替データは、前記撮像データのデータ量よりも小さいデータ量を有する画像データである請求項7乃至9の何れか一項に記載の通信端末。
  11. ネットワークを介して他の通信端末と通信を行う通信端末において実行される通信プログラムであって、
    撮像部により撮像データを撮像する撮像ステップと、
    前記撮像部の機能が無効とされるとき、前記撮像データと異なる代替データを前記他の通信端末へ送信する送信ステップと、を前記通信端末に実行させる通信プログラム。
  12. ネットワークを介して他の通信端末と通信を行う通信端末において実行される通信プログラムであって、
    前記他の通信端末において、前記他の通信端末の有する撮像部の機能が無効とされるとき、前記撮像部によって撮像された撮像データと異なる代替データを受信する受信ステップと、
    前記代替データを含む画面を表示装置に表示させる表示制御ステップと、を前記通信端末に実行させる通信プログラム。
JP2014152135A 2014-07-25 2014-07-25 遠隔会議システム、通信端末及びプログラム Pending JP2016032128A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014152135A JP2016032128A (ja) 2014-07-25 2014-07-25 遠隔会議システム、通信端末及びプログラム
EP15825318.7A EP3172895A4 (en) 2014-07-25 2015-06-25 Remote conference system, communication terminal, and program
PCT/JP2015/069082 WO2016013367A1 (en) 2014-07-25 2015-06-25 Remote conference system, communication terminal, and program
US15/325,829 US20170171513A1 (en) 2014-07-25 2015-06-25 Remote conference system, communication terminal, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014152135A JP2016032128A (ja) 2014-07-25 2014-07-25 遠隔会議システム、通信端末及びプログラム

Publications (1)

Publication Number Publication Date
JP2016032128A true JP2016032128A (ja) 2016-03-07

Family

ID=55162899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014152135A Pending JP2016032128A (ja) 2014-07-25 2014-07-25 遠隔会議システム、通信端末及びプログラム

Country Status (4)

Country Link
US (1) US20170171513A1 (ja)
EP (1) EP3172895A4 (ja)
JP (1) JP2016032128A (ja)
WO (1) WO2016013367A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195587A1 (ja) * 2016-05-11 2017-11-16 コニカミノルタ株式会社 共同作業システム、通信制御方法及び通信制御プログラム
JP2017228866A (ja) * 2016-06-21 2017-12-28 日本電信電話株式会社 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム
JP2019020987A (ja) * 2017-07-14 2019-02-07 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2020107957A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 通信装置、制御方法およびプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080132B2 (en) * 2016-03-28 2018-09-18 Bank Of America Corporation System for adaptation of multiple digital signatures in a distributed network
US9743272B1 (en) 2016-03-28 2017-08-22 Bank Of America Corporation Security implementation for resource distribution
US10039113B2 (en) 2016-03-28 2018-07-31 Bank Of America Corporation Intelligent resource procurement system based on physical proximity to related resources
US10135817B2 (en) 2016-03-28 2018-11-20 Bank Of America Corporation Enhancing authentication and source of proof through a dynamically updatable biometrics database
US10796253B2 (en) 2016-06-17 2020-10-06 Bank Of America Corporation System for resource use allocation and distribution
US10103936B2 (en) 2016-06-21 2018-10-16 Bank Of America Corporation Computerized resource reallocation system for transferring resource blocks based on custodian event
US10334462B2 (en) 2016-06-23 2019-06-25 Bank Of America Corporation Predictive analytics for resource development based on information communicated from inter-related communication devices
US10439913B2 (en) 2016-07-01 2019-10-08 Bank Of America Corporation Dynamic replacement and upgrade of existing resources based on resource utilization
US10127400B2 (en) 2016-09-26 2018-11-13 Bank Of America Corporation Control device for aggregation and distribution of machine-initiated resource distribution
JP6946825B2 (ja) 2017-07-28 2021-10-06 株式会社リコー 通信システム、通信方法、電子機器
JP7052652B2 (ja) 2018-09-06 2022-04-12 トヨタ自動車株式会社 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
US11061641B2 (en) 2019-02-28 2021-07-13 Ricoh Company, Ltd. Screen sharing system, and information processing apparatus
CN110087021B (zh) * 2019-05-13 2021-02-26 上海黑驴影视传播有限公司 在线视频方法、装置及视频终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098702A (ja) * 1996-09-20 1998-04-14 Kokusai Electric Co Ltd テレビ電話装置
JP2004289688A (ja) * 2003-03-24 2004-10-14 Nec Corp テレビ電話装置
JP2009065620A (ja) * 2007-09-10 2009-03-26 Panasonic Corp テレビ電話装置及びテレビ電話装置の着信応答方法
WO2011024401A1 (ja) * 2009-08-24 2011-03-03 パナソニック株式会社 テレビ会議システム、テレビ会議装置、テレビ会議制御方法およびプログラム
JP2012034119A (ja) * 2010-07-29 2012-02-16 Brother Ind Ltd 端末装置および処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347305A (en) * 1990-02-21 1994-09-13 Alkanox Corporation Video telephone system
AU5983396A (en) * 1995-06-02 1996-12-18 Intel Corporation Method and apparatus for controlling participant input in a conferencing environment
US7965309B2 (en) * 2006-09-15 2011-06-21 Quickwolf Technology, Inc. Bedside video communication system
US9367876B2 (en) * 2009-09-18 2016-06-14 Salesforce.Com, Inc. Systems and methods for multimedia multipoint real-time conferencing allowing real-time bandwidth management and prioritized media distribution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1098702A (ja) * 1996-09-20 1998-04-14 Kokusai Electric Co Ltd テレビ電話装置
JP2004289688A (ja) * 2003-03-24 2004-10-14 Nec Corp テレビ電話装置
JP2009065620A (ja) * 2007-09-10 2009-03-26 Panasonic Corp テレビ電話装置及びテレビ電話装置の着信応答方法
WO2011024401A1 (ja) * 2009-08-24 2011-03-03 パナソニック株式会社 テレビ会議システム、テレビ会議装置、テレビ会議制御方法およびプログラム
JP2012034119A (ja) * 2010-07-29 2012-02-16 Brother Ind Ltd 端末装置および処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195587A1 (ja) * 2016-05-11 2017-11-16 コニカミノルタ株式会社 共同作業システム、通信制御方法及び通信制御プログラム
JP2017228866A (ja) * 2016-06-21 2017-12-28 日本電信電話株式会社 多地点接続装置、映像配信システム、多地点接続方法、及びプログラム
JP2019020987A (ja) * 2017-07-14 2019-02-07 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2020107957A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 通信装置、制御方法およびプログラム

Also Published As

Publication number Publication date
EP3172895A1 (en) 2017-05-31
EP3172895A4 (en) 2017-08-09
WO2016013367A1 (en) 2016-01-28
US20170171513A1 (en) 2017-06-15

Similar Documents

Publication Publication Date Title
JP2016032128A (ja) 遠隔会議システム、通信端末及びプログラム
JP6064518B2 (ja) 通信端末、遠隔会議システムおよびプログラム
US20240121353A1 (en) Transmission management apparatus
JP6691692B2 (ja) 伝送端末、伝送方法、伝送用プログラム及び伝送システム
US8850184B2 (en) Transmission management apparatus, program, transmission management system, and transmission management method
US9185344B2 (en) Transmission terminal, communication system, and computer-readable storage medium
JP5884964B2 (ja) 伝送システム、及び伝送方法
JP6069881B2 (ja) 中継装置、表示データ共有システム、データ制御方法およびプログラム
US9401945B2 (en) Apparatus, system, and method of managing data transmission, and recording medium storing data transmission management program
US20130242030A1 (en) Transmission terminal, transmission system, display control method, and recording medium storing display control program
JP5927900B2 (ja) 電子機器
US9615057B2 (en) Transmission terminal, transmission method, and recording medium storing transmission control program
US9307196B2 (en) Apparatus, method, and record medium of transmission management
WO2016031549A1 (ja) セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム
JP6409438B2 (ja) セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム
JP2017069663A (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
US20160262206A1 (en) Communication system, communication method, relay device, and computer program product
US9648276B2 (en) Transmission management apparatus, transmission system, transmission management method and recording medium
WO2016147826A1 (ja) 通信制御装置、通信システム、及び通信制御プログラム並びに通信制御方法
US20160269203A1 (en) Information processing apparatus, information processing system, and information processing method
WO2016084429A1 (ja) 制御システム、通信端末、制御装置、通信システム、制御方法、及びプログラム
US20170214681A1 (en) Management system, program, management method, and communication system
US10305939B2 (en) Management system and method of starting communication
JP2015149662A (ja) データ伝送システム、端末装置、方法およびプログラム
JP2015177474A (ja) 端末、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305