JP2015106779A - プログラム、通信端末装置及び遠隔会議方法 - Google Patents

Abstract

【課題】円滑な遠隔会議を実現することができる、プログラム、通信端末装置及び遠隔会議方法を提供する。【解決手段】通信端末装置の撮影部で撮影された撮影画像に対応した映像データがネットワークに接続された通信端末装置の通信部から遠隔会議の相手方となる相手方装置に送信される。映像データの送信に応じて、相手方装置において撮影画像が表示されているか否かを示す画像表示設定が取得される。撮影画像が第一状態であると判断され、且つ、撮影画像が表示されていることを示す画像表示設定が取得された場合、報知情報が通信端末装置の報知部から出力される。撮影画像が第二状態であると判断され、又は、撮影画像が表示されていないことを示す画像表示設定が取得された場合、報知情報は報知部から出力されない。【選択図】図９

Description

本発明は、ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムと、通信端末装置と、遠隔会議方法に関する。

遠隔会議に関する技術が提案されている。例えば、特許文献１には、遠隔地の相手と画像をやり取りしながら対話を行う画像通信端末装置のユーザインタフェースが提案されている。このユーザインタフェースでは、カメラ部の被写体である端末利用者の位置や姿勢等が検出され位置情報が出力される。位置情報をもとに端末利用者がカメラ部の撮影範囲から逸脱したかが判断され、逸脱した場合には端末利用者に対して撮影範囲から逸脱したことが知らされる。

特開平８−２５１５６１号公報

遠隔会議は、通信端末装置と少なくとも１台以上の相手方装置で取得された映像及び音の各データをそれぞれに送信して行われる。例えば、通信端末装置から送信された映像データに対応した撮影画像が相手方装置で表示され、通信端末装置から送信された音データに対応した音が相手方装置で出力される。また、相手方装置から送信された映像データに対応した撮影画像が通信端末装置で表示され、相手方装置から送信された音データに対応した音が通信端末装置で出力される。

但し、遠隔会議の形態によっては、第一側の撮影画像は、第二側で表示されるものの、第二側の撮影画像は、第一側で表示されない場合もある。例えば、遠隔会議が、講義又は発表形式の会議であり、通信端末装置が発表者側で、相手方装置が視聴者側であるとする。この場合、通信端末装置からの撮影データに対応した撮影画像は、相手方装置で表示されるが、相手方装置からの撮影データに対応した撮影画像は、通信端末装置では表示される可能性が低いと想定される。即ち、講義又は発表形式の遠隔会議では、視聴者の関心は発表者に向けられることが多いため、発表者側の撮影画像には、発表者が好ましい状態で含まれていることが望ましいと考えられる。

発明者は、仮に、好ましい状態の撮影画像に対応した映像データが相手方装置に送信されていない場合、通信端末装置でそのことを報知し、好ましい状態となるように誘導する技術について検討を行った。その際、発明者は、不要な報知が行われなくなる点について考慮した。上述した例の場合、視聴者の関心が発表者に対してではなく発表内容に向けられ、発表者自身に対する視聴者の関心が発表内容よりも低くなることもある。このような場合、発表者側の通信端末装置で前述した報知が行われると、発表者の集中力が報知に逸れてしまい、スムーズな発表が困難となることも想定される。

本発明は、円滑な遠隔会議を実現することができる、プログラム、通信端末装置及び遠隔会議方法を提供することを目的とする。

本発明の一側面は、ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信制御手段と、前記撮影画像の状態を判断する判断手段と、前記送信制御手段による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する第一取得手段と、前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断手段で前記撮影画像が第二状態であると判断され、又は、前記第一取得手段により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力制御手段と、して機能させるプログラムである。

これによれば、第一状態である撮影画像が相手方装置において表示されている場合、報知情報を報知部から出力することができる。通信端末装置のユーザに、相手方装置で表示されている撮影画像が第一状態であることを報知することができる。撮影画像が第二状態である場合、又は、撮影画像が第一状態であっても相手方装置で表示されていない場合、報知情報の出力を未実行とすることができる。通信端末装置のユーザの意識が遠隔会議の議題から報知情報に向かうことを防止することができる。通信端末装置のユーザは、遠隔会議での議論に集中することができる。

このプログラムにおいて、前記判断手段は、前記撮影画像の輝度が第一閾値より低い場合、又は、前記撮影画像の輝度が前記第一閾値より高い第二閾値より高い場合、前記撮影画像は前記第一状態であると判断し、前記撮影画像の輝度が前記第一閾値より高く前記第二閾値より低い場合、前記撮影画像は前記第二状態であると判断する、機能を含む、ようにしてもよい。これによれば、撮影画像の輝度に応じて撮影画像の状態を判断することができる。例えば、撮影部が所定の被覆物で覆われている場合、撮影画像の輝度が低くなる場合がある。また、例えば、撮影部をユーザの方向とは異なる方向に向けている場合、向いている方向によっては（例えば天井の光源の方向）、撮影画像の輝度が高くなる場合がある。このような場合、通信端末装置のユーザが意図的に前述した状態になるようにしていると推測し、報知情報の出力を未実行とすることができる。撮影画像の輝度が第一閾値より高く第二閾値より低い範囲である場合に報知情報を出力することができる。

前記コンピュータを、前記撮影画像に人物が含まれているか否かを解析する解析手段として機能させ、前記判断手段は、前記解析手段により前記撮影画像に人物が含まれていないと解析された場合、前記撮影画像は前記第一状態であると判断し、前記解析手段により前記撮影画像に人物が含まれていると解析された場合、前記撮影画像は前記第二状態であると判断する、機能を含む、ようにしてもよい。これによれば、撮影画像に人物が含まれているか否かに応じて撮影画像の状態を判断することができる。例えば、通信端末装置のユーザが撮影部の撮影範囲内に収まっていない場合、撮影画像が第一状態であると判断し、報知情報を出力することができる。通信端末装置のユーザが撮影部の撮影範囲内に収まっている場合、報知情報の出力を未実行とすることができる。

前記コンピュータを、前記通信端末装置の加速度計測部で計測される加速度を取得する第二取得手段として機能させ、前記判断手段は、前記第二取得手段により取得された加速度の単位時間あたりの変化量が第三閾値より大きい場合、前記撮影画像は前記第一状態であると判断し、前記第二取得手段により取得された加速度の前記変化量が前記第三閾値より小さい場合、前記撮影画像は前記第二状態であると判断する、機能を含む、ようにしてもよい。これによれば、通信端末装置における加速度に応じて撮影画像の状態を判断することができる。例えば、通信端末装置がスマートフォン又はタブレット端末のようなモバイル型の通信装置である場合、手に持った状態で利用されることがある。このような場合、撮影部が揺れ、一定の範囲が継続して撮影されなくなることがある。このような状況において、一定の範囲が撮影されているか否かを加速度に応じて判断し、撮影画像が第一状態であるか第二状態であるかを判断することができる。

前記コンピュータを、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された場合、前記相手方装置における前記撮影画像の表示サイズを示す第一サイズを取得する第三取得手段として機能させ、前記出力制御手段は、前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが第四閾値より大きい場合、前記報知情報を前記報知部から出力し、前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが前記第四閾値より小さい場合、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、第一状態である撮影画像が相手方装置において表示されている場合であっても、相手方装置で表示されている撮影画像の表示サイズ（第一サイズ）に応じて、報知情報の出力又は非出力を切り換えることができる。相手方装置において表示されている撮影画像の表示サイズが大きい場合、相手方装置のユーザは、撮影画像に対して関心を有していると推測される。このような場合、相手方装置において表示されている撮影画像が第一状態であることを通信端末装置のユーザに報知することができる。相手方装置において表示されている撮影画像の表示サイズが小さい場合、相手方装置のユーザは、撮影画像に対して関心がない又は関心が低いと推測される。このような場合、報知情報の出力を未実行とすることができる。

前記コンピュータを、前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが前記第四閾値より小さい場合、前記通信端末装置の計時部で時間の経過の計測を開始する計時手段として機能させ、前記出力制御手段は、前記計時部で計測される時間が予め定めた基準時間である又は前記基準時間を超えている場合、前記報知情報を前記報知部から出力する機能を含む、ようにしてもよい。これによれば、相手方装置において表示されている撮影画像の表示サイズが小さい場合であっても、所定の時間継続して、相手方装置において撮影画像が表示されているのであれば、相手方装置のユーザは、撮影画像に全く関心がないということではないと推測される。このような場合、報知情報を出力することで、通信端末装置のユーザに相手方装置で表示されている撮影画像が第一状態であることを報知することができる。

前記出力制御手段は、前記撮像画像を前記報知部に含まれる表示部に表示する機能を含み、前記コンピュータを、前記表示部に前記撮像画像が表示されている場合、表示中の前記撮像画像の表示サイズを示す第二サイズを取得する第四取得手段として機能させ、前記出力制御手段は、前記第一の場合で、且つ、前記表示部に前記撮像画像が表示されていない又は前記第四取得手段により取得された前記第二サイズが第五閾値より小さい場合、前記報知情報を前記報知部から出力し、前記第一の場合で、且つ、前記第四取得手段により取得された前記第二サイズが前記第五閾値より大きい場合、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、通信端末装置で表示されている撮影画像の表示サイズ（第二サイズ）に応じて、報知情報の出力又は非出力を切り換えることができる。撮影画像が通信端末装置で表示されているが、表示中の撮影画像の表示サイズが小さい場合、通信端末装置のユーザ自身で、撮影画像が第一状態であることを認識することが困難である場合もある。このような場合、相手方装置において表示されている撮影画像が第一状態であることを通信端末装置のユーザに報知することができる。表示中の撮影画像の表示サイズが大きい場合、報知情報を出力しなくとも、通信端末装置のユーザ自身で、撮影画像が第一状態であることを認識することができる場合もある。このような場合、報知情報の出力を未実行とすることができる。

前記出力制御手段は、前記第一の場合で、且つ、前記送信制御手段による前記映像データの送信が中断されていない場合、前記報知情報を前記報知部から出力し、前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記送信制御手段による前記映像データの送信が中断されている場合、前記撮影画像が表示されていることを示す前記画像表示設定に関わらず、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、撮影画像に対応する映像データの送信が中断されているか否かに応じて、報知情報の出力又は非出力を切り換えることができる。映像データが送信されている状態で、相手方装置において表示されている撮影画像が第一状態であることを通信端末装置のユーザに報知することができる。映像データの送信が中断されている場合における報知情報の出力を未実行とすることができる。

前記コンピュータを、前記遠隔会議において予め設定される、前記遠隔会議で実行可能な機能の度合いを示す権限に関し前記通信端末装置に対して設定された権限情報を取得する第五取得手段として機能させ、前記出力制御手段は、前記第一の場合で、且つ、前記第五取得手段により取得された前記権限情報が第六閾値より高い場合、前記報知情報を前記報知部から出力し、前記第一の場合で、且つ、前記第五取得手段により取得された前記権限情報が前記第六閾値より低い場合、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、通信端末装置に設定された権限に応じて、報知情報の出力又は非出力を切り換えることができる。通信端末装置に設定された権限が上位の権限である場合、相手方装置のユーザは、撮影画像に注目すると推測される。このような場合、撮影画像が第一状態であることを通信端末装置のユーザに報知することができる。通信端末装置に設定された権限が下位の権限である場合、相手方装置のユーザは、撮影画像に対して関心がない又は関心が低いと推測される。このような場合、報知情報の出力を未実行とすることができる。

前記コンピュータを、前記通信端末装置の集音部で集音された音に対応したデータのボリュームを検出する検出手段として機能させ、前記出力制御手段は、前記第一の場合で、且つ、前記検出手段により検出された前記ボリュームが第七閾値より高い場合、前記報知情報を前記報知部から出力し、前記第一の場合で、且つ、前記検出手段により検出された前記ボリュームが前記第七閾値より低い場合、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、通信端末装置での音に対応したデータのボリュームに応じて、報知情報の出力又は非出力を切り換えることができる。ボリュームが高い場合、開催中の遠隔会議において通信端末装置のユーザは、発言していると考えられる。相手方装置のユーザは、発言者である通信端末装置のユーザに注目し、撮影画像を注視すると推測される。このような場合、撮影画像が第一状態であることを通信端末装置のユーザに報知することができる。相手方装置のユーザは、発言者とは関係のない撮影画像に対しては関心がない又は関心が低いと推測される。このような場合、報知情報の出力を未実行とすることができる。

前記出力制御手段は、前記報知部からの前記報知情報の出力を所定のタイミングで停止する機能を含み、前記コンピュータを、前記報知部から出力された前記報知情報の報知回数をカウントするカウント手段として機能させ、前記出力制御手段は、前記第一の場合で、且つ、前記カウント手段によりカウントされた前記報知回数が第八閾値より小さい場合、前記報知情報を前記報知部から出力し、前記第一の場合で、且つ、前記カウント手段によりカウントされた前記報知回数が前記第八閾値より大きい場合、前記報知情報を前記報知部から出力しない、機能を含む、ようにしてもよい。これによれば、報知情報が継続して出力されることを防止することができる。報知情報の出力が所定回数以上繰り返されることを防止することができる。

本発明の他の側面は、ネットワークを介した遠隔会議に用いられる通信端末装置であって、前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信制御手段と、前記撮影画像の状態を判断する判断手段と、前記送信制御手段による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する第一取得手段と、前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断手段で前記撮影画像が第二状態であると判断され、又は、前記第一取得手段により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力制御手段と、を備える通信端末装置である。

これによれば、対応する上記の通信端末装置を制御するコンピュータが実行可能なプログラムと同様の作用が実現される。この通信端末装置は、上記の各プログラムと同様、他の機能が実現される通信端末装置として特定することもできる。この場合、通信端末装置は、上記の各プログラムのうち、対応するプログラムと同様の作用を奏する。

本発明の更に他の側面は、ネットワークを介した遠隔会議に用いられる通信端末装置で実行される遠隔会議方法であって、前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信工程と、前記撮影画像の状態を判断する判断工程と、前記送信工程による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する取得工程と、前記判断工程で前記撮影画像が第一状態であると判断され、且つ、前記取得工程により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断工程で前記撮影画像が第二状態であると判断され、又は、前記取得工程により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力工程と、を含む遠隔会議方法である。

これによれば、対応する上記のプログラムと同様の作用が実現される。この遠隔会議方法は、上記の各プログラムと同様、他の手順が実現される遠隔会議方法として特定することもできる。この場合、遠隔会議方法は、上記の各プログラムのうち、対応するプログラムと同様の作用を奏する。

本発明によれば、円滑な遠隔会議を実現することができる、プログラム、通信端末装置及び遠隔会議方法を得ることができる。

遠隔会議システムの一例を示す図である。 通信端末装置に表示される遠隔会議画面であって、通信端末装置での撮影画像が表示されている態様の一例を示す図である。 通信端末装置に表示される遠隔会議画面であって、通信端末装置での撮影画像が表示されていない態様の一例を示す図である。 メイン処理のフローチャートである。 音送受信処理のフローチャートである。 映像送受信処理のフローチャートである。 報知処理の第一部分を示すフローチャートである。 報知処理の第二部分を示すフローチャートである。 報知処理の第三部分を示すフローチャートである。 通信端末装置での撮影画像が表示されている態様の遠隔会議画面において報知画像が表示された状態の一例を示す図である。 画像解析処理のフローチャートである。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。他の構成を含むようにしてもよい。

＜遠隔会議システム＞
遠隔会議システム１０の概略について、図１及び図２を参照して説明する。遠隔会議システム１０は、図１に示すように、サーバ装置２０と通信端末装置３０と４台の相手方装置７１，７２，７３，７４を含む。以下では、通信端末装置３０と４台の相手方装置７１，７２，７３，７４によって行われる遠隔会議を例に説明する。遠隔会議システム１０による遠隔会議は、通信端末装置３０と１〜３台の相手方装置、又は、通信端末装置３０と５台以上の相手方装置で行われるようにしてもよい。

サーバ装置２０と通信端末装置３０と相手方装置７１，７２，７３，７４は、ネットワーク９０に接続されている。ネットワーク９０は、例えば、インターネットのようなネットワークである。通信端末装置３０及び相手方装置７１，７２，７３，７４による遠隔会議は、公知の遠隔会議システムと同様、サーバ装置２０を経由して行われる。サーバ装置２０は、公知の遠隔会議システムにおけるサーバ装置と同様のサーバ装置である。従って、サーバ装置２０のハードウェア構成及びサーバ装置２０で実行される処理等に関する詳細な説明は省略する。遠隔会議システム１０による遠隔会議は、通信端末装置３０と相手方装置７１，７２，７３，７４が、ネットワーク９０を介して直接通信して行うようにしてもよい。このようなＰ２Ｐ型の遠隔会議では、サーバ装置２０は省略される。

通信端末装置３０は、ネットワーク９０を介した通信機能を有する通信装置である。通信端末装置３０は、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータのような通信装置である。以下では、通信端末装置３０がスマートフォン又はタブレット端末のようなモバイル型の通信装置である場合を例に説明する。通信端末装置３０の構成については後述する。相手方装置７１，７２，７３，７４は、パーソナルコンピュータのような公知の通信装置である。相手方装置７１，７２，７３，７４の一部又は全部は、通信端末装置３０と同様の通信装置であってもよい。遠隔会議に際し、相手方装置７１，７２，７３，７４でも、後述する通信端末装置３０で実行される各処理（図４〜図９及び図１１参照）が実行される。「相手方装置」との名称は、通信端末装置３０を主として説明する実施形態において、この通信端末装置３０と区別するための形式的なものである。相手方装置７１，７２，７３，７４に関する説明は適宜省略する。

遠隔会議システム１０では、通信端末装置３０で撮影された撮影画像に対応した映像データと通信端末装置３０で集音された音に対応した音データが通信端末装置３０からサーバ装置２０に送信される。また、相手方装置７１で撮影された撮影画像に対応した映像データと相手方装置７１で集音された音に対応した音データが相手方装置７１からサーバ装置２０に送信される。相手方装置７２，７３，７４においても、相手方装置７１と同様、各々で撮影された撮影画像に対応した映像データと各々で集音された音に対応した音データがサーバ装置２０にそれぞれ送信される。通信端末装置３０及び相手方装置７１，７２，７３，７４からの映像データと音データを取得したサーバ装置２０は、取得された映像データと音データを、送信元装置以外の通信端末装置３０及び相手方装置７１，７２，７３，７４にそれぞれ送信する。例えば、サーバ装置２０は、通信端末装置３０からの映像データ及び音データを、通信端末装置３０以外の相手方装置７１，７２，７３，７４にそれぞれ送信する。即ち、遠隔会議システム１０では、通信端末装置３０からの映像データ及び音データが、サーバ装置２０を経由して相手方装置７１，７２，７３，７４のそれぞれにストリーミング方式で送信され、相手方装置７１，７２，７３，７４からの映像データ及び音データのそれぞれが、サーバ装置２０を経由して通信端末装置３０にストリーミング方式で送信される。

通信端末装置３０及び相手方装置７１，７２，７３，７４からは、映像データ及び音データと共に、送信元装置の識別情報が送信される。サーバ装置２０は、送信元装置以外の通信装置に送信する映像データ及び音データと共に、この送信元装置の識別情報を送信する。識別情報は、例えば、映像データ及び音データの各ヘッダ部に含ませるようにしてもよい。識別情報は、各通信装置を識別する情報である。例えば、通信端末装置３０の識別情報は、通信端末装置３０を識別する情報であり、相手方装置７１，７２，７３，７４の各識別情報は、相手方装置７１，７２，７３，７４をそれぞれ識別する情報である。

通信端末装置３０は、相手方装置７１，７２，７３，７４からの映像データと音データと識別情報を受信し、これらを取得する。通信端末装置３０では、相手方装置７１，７２，７３，７４からの各映像データが再生され、各映像データに対応した撮影画像３８１，３８２，３８３，３８４が予め定められた位置に配置された遠隔会議画面が表示される（図２参照）。通信端末装置３０では、自装置で取得された映像データが再生され、この映像データに対応した撮影画像３８０が撮影画像３８１，３８２，３８３，３８４と共に予め定められた位置に配置された状態で表示される（図２参照）。なお、サーバ装置２０は、送信元装置からの映像データについても送信元装置に送信することとし、この映像データの送信元装置では、自装置での撮影画像の表示を、サーバ装置２０から送信され自装置で受信及び取得された映像データに基づき行うようにしてもよい。この場合、例えば、通信端末装置３０における撮影画像３８０の表示は、サーバ装置２０から送信された自装置での映像データを再生して行われる。実施形態は、自装置での映像データはサーバ装置２０を経由することなく自装置内で再生されることとする。

但し、通信端末装置３０では、撮影画像３８０，３８１，３８２，３８３，３８４のうちの一部を非表示とすることもできる。通信端末装置３０は、撮影画像３８０，３８１，３８２，３８３，３８４を表示させるか否かの設定を、後述する操作部４０を介して受け付けることができる。通信端末装置３０では入力された設定に応じた表示がされる。例えば、撮影画像３８０が非表示に設定され、撮影画像３８１，３８２，３８３，３８４が表示に設定されたとする。この場合、撮影画像３８０は非表示とされ、撮影画像３８１，３８２，３８３，３８４が予め定められた位置に配置された遠隔会議画面が表示される（図３参照）。通信端末装置３０では、撮影画像３８０，３８１，３８２，３８３，３８４のうち表示中の撮影画像の表示サイズをそれぞれ変更することができる。通信端末装置３０では、相手方装置７１，７２，７３，７４からの各音データが再生され、各音データに対応した音が出力される。

撮影画像３８１は、相手方装置７１からの映像データに対応した撮影画像である。撮影画像３８２は、相手方装置７２からの映像データに対応した撮影画像である。撮影画像３８３は、相手方装置７３からの映像データに対応した撮影画像である。撮影画像３８４は、相手方装置７４からの映像データに対応した撮影画像である。

相手方装置７１，７２，７３，７４でも、通信端末装置３０及び相手方装置７１，７２，７３，７４のうち、自装置以外の通信装置からの各映像データが再生され、各映像データに対応した撮影画像が適宜配置された遠隔会議画面が表示される。このとき、相手方装置７１，７２，７３，７４では、自装置で取得された映像データを再生し、自装置での撮影画像を表示させることもできる。但し、相手方装置７１，７２，７３，７４においても、通信端末装置３０と同様、撮影画像３８０，３８１，３８２，３８３，３８４のうちの何れかを非表示とすることができる。例えば、撮影画像３８０を非表示とすることができる。また、相手方装置７１，７２，７３，７４においても、通信端末装置３０と同様、表示中の撮影画像の表示サイズをそれぞれ変更することができる。例えば、撮影画像３８０の表示サイズを所定のサイズに拡大又は縮小することが可能で、撮影画像３８０は設定された表示サイズにて表示される。

相手方装置７１，７２，７３，７４でも、通信端末装置３０からの音データと、相手方装置７１，７２，７３，７４のうち、自装置以外の通信装置からの各音データが再生され、各音データに対応した音が出力される。

＜通信端末装置＞
通信端末装置３０は、図１に示すように、ＣＰＵ３２と、記憶部３４と、ＲＡＭ３６と、表示部３８と、操作部４０と、カメラ４６と、オーディオ部４８と、加速度計測部５２と、計時部５４と、通信部５６を備える。これら各部３２〜５６は、バス５８に接続される。

ＣＰＵ３２は、演算処理を実行する。記憶部３４は、コンピュータが読み取り可能な記憶媒体、例えば、フラッシュメモリによって構成される。但し、記憶部３４は、ハードディスク及び／又はＲＯＭ等で構成されてもよい。記憶部３４には、各種のプログラムが記憶される。例えば、ＯＳ（Operating System）及び各種のアプリケーションが記憶部３４に記憶される。記憶部３４に記憶されるアプリケーションには、後述する各処理（図４〜図９及び図１１参照）を実行するプログラムが含まれる。後述する各処理を実行するプログラムは、記憶部３４に事前にインストールされていてもよいが、遠隔会議への参加に際し、通信端末装置３０がサーバ装置２０にアクセスした場合に、サーバ装置２０からネットワーク９０を介して伝送信号として通信端末装置３０に送信され、そのタイミングで、記憶部３４にインストールされるようにしてもよい。この場合、プログラムは、ＲＡＭ３６に記憶されても差し支えない。

事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置３０の読取部（不図示）によって読み取られることで行われる。通信端末装置３０が、例えば、パーソナルコンピュータのように光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク９０を介して通信端末装置３０に接続されるサーバ装置（サーバ装置２０又は不図示のサーバ装置）のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたプログラムが、通信端末装置３０の通信部５６を介して伝送信号として受信されることで行われるようにしてもよい。何れの形態とするかは、諸事情を考慮して適宜決定される。なお、コンピュータが読み取り可能な記憶媒体は、一時的に伝送される信号を含まなくてもよい。コンピュータが読み取り可能な記憶媒体は、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、一時的な信号を含まない。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。

ＲＡＭ３６は、ＣＰＵ３２が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ３６には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の記憶領域に記憶される。

通信端末装置３０では、ＣＰＵ３２が記憶部３４に記憶されたＯＳ及び図４〜図９及び図１１に示す各処理のプログラムを実行する等して、通信端末装置３０を制御する。これによって、通信端末装置３０では、各種の処理が実行され、各種の機能手段が実現される。

表示部３８は、各種の情報を表示する。表示部３８は、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）等の公知の表示デバイスである。例えば、表示部３８には、遠隔会議画面が表示される（図２及び図３参照）。操作部４０は、通信端末装置３０に対する各種の指令等の入力を受け付ける。操作部４０は、例えば、ハードキー４２と、タッチパッド４４を含む。タッチパッド４４は、例えば、静電容量式の位置入力装置で、ユーザの指の接触位置に応じた座標位置を示す信号を出力する。タッチパッド４４は、抵抗膜方式や超音波方式等、他の形態の位置入力装置によって構成されてもよい。表示部３８とタッチパッド４４により、タッチパネル（図１で「表示部３８」と「タッチパッド４４」を囲む破線参照）が実現される。

通信端末装置３０のユーザは、タッチパッド４４に対して、スワイプ、フリック、タップ、ドラッグ、ピンチイン及びピンチアウト等の操作を行う。通信端末装置３０のユーザは、タッチパッド４４に触れた指を所定の方向に移動させる等して、前述したような各操作を行う。このような各操作は、公知のスマートフォン又はタブレット端末でも採用されている技術であって、通信端末装置３０でも採用される。操作部４０は、更に、キーボード及びマウスを含む構成であってもよい。なお、通信端末装置３０がパーソナルコンピュータである場合、操作部４０は、キーボード及びマウスを含む。

カメラ４６は、通信端末装置３０の正面の外界像を撮影する。例えば、通信端末装置３０の正面に通信端末装置３０のユーザが位置する場合、カメラ４６は、ユーザを含む外界像を撮影する。オーディオ部４８は、マイク４９及びスピーカ５０を含む。マイク４９は、外界音を集音する。例えば、マイク４９は、通信端末装置３０のユーザが発した音声を集音する。スピーカ５０は、音を出力する。オーディオ部４８は、マイク４９で集音された音を所定のサンプリング周波数（例えば11.025kHz，44.1kHz）でＡ／Ｄ変換された波形データを生成する。また、オーディオ部４８は、音データに対応した音をスピーカ５０から出力する。通信端末装置３０では、遠隔会議の開始に伴い、カメラ４６での撮影とマイク４９での集音が開始され、カメラ４６で撮影された撮影画像に対応した映像データと、マイク４９で集音された音（所定のサンプリング周波数でＡ／Ｄ変換された波形データ）に対応した音データが生成される。加速度計測部５２は、通信端末装置３０における加速度を計測する。加速度計測部５２は、例えば、ピエゾ抵抗型、静電容量型、熱検知型等の、公知の３軸加速度センサで構成される。計時部５４は、カレンダ機能及び時計機能等を有し、時間の経過を計測する。計時部５４は、ＯＳが有する時計機能により構成されてもよい。

通信部５６は、通信端末装置３０をネットワーク９０に接続し、ネットワーク９０を介したデータ通信を行う。例えば、遠隔会議の開始に伴い生成される映像データ及び音データのそれぞれは、通信端末装置３０の識別情報と共に通信部５６からサーバ装置２０を経由して相手方装置７１，７２，７３，７４にそれぞれ送信される。通信部５６では、サーバ装置２０を経由して送信された、相手方装置７１，７２，７３，７４のそれぞれからの映像データ及び音データと、送信元装置の識別情報が受信される。通信部５６によるネットワーク９０への接続は、無線接続又は有線接続の何れであってもよい。例えば、通信端末装置３０がモバイル型の通信装置である場合、通信部５６によるネットワーク９０への接続は、無線接続とされる。通信部５６は、例えば、Ｗｉ−Ｆｉ規格、４Ｇ規格、３Ｇ規格等、公知の通信方式に従った無線通信を行うための通信モジュールである。

通信端末装置３０は、後述する各処理のプログラムが記憶部３４に記憶されている点が、公知のモバイル型の通信装置と相違する。但し、通信端末装置３０は、ハードウェア的には、公知のモバイル型の通信装置と同一の通信装置である。通信端末装置３０は、上述した各部の他、ジャイロセンサを含む。ジャイロセンサによれば、例えば、通信端末装置３０における角加速度及び傾きを計測することができる。

＜メイン処理＞
サーバ装置２０を介した相手方装置７１，７２、７３，７４との遠隔会議において、通信端末装置３０で実行されるメイン処理について、図４を参照して説明する。遠隔会議システム１０では、例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の通信端末装置３０及び相手方装置７１，７２，７３，７４のそれぞれに対応した各電子メールアドレスを宛先として、サーバ装置２０から電子メールが送信される。この電子メールは、通信端末装置３０及び相手方装置７１，７２，７３，７４による遠隔会議のためのＵＲＬ（Uniform Resource Locator）を含む。このＵＲＬは、遠隔会議の会議室毎に固有である。換言すれば、ＵＲＬには、遠隔会議の会議ＩＤが含まれている。

また、このＵＲＬは、通信端末装置３０及び相手方装置７１，７２，７３，７４のそれぞれに対して設定された遠隔会議の権限情報を含む。遠隔会議に設定される権限としては、例えば、主催者権限、発表者権限及び視聴者権限が挙げられる。主催者権限は、最も高い権限であり、遠隔会議システム１０で利用可能な機能の全てを実行することができる。発表者権限は、主催者権限の次に高い権限であり、遠隔会議システム１０で利用可能な機能のうちの一部の機能の実行が制限される。視聴者権限は、例示した３つの権限のうち最も低い権限であり、発表者権限より更に多くの機能の実行が制限される。実施形態では、主催者権限、発表者権限及び視聴者権限を例に説明する。

例えば、相手方装置７１を操作するユーザが遠隔会議の利用を申請し、その際、通信端末装置３０に発表者権限を設定し、相手方装置７１に主催者権限を設定し、相手方装置７２に発表者権限を設定し、相手方装置７３，７４に視聴者権限を設定する申し出を行っていたとする。この場合、通信端末装置３０に送信されるＵＲＬは、ＵＲＬの所定の部分に発表者権限を示す権限情報を含む。相手方装置７１に送信されるＵＲＬは、ＵＲＬの所定の部分に主催者権限を示す権限情報を含む。相手方装置７２に送信されるＵＲＬは、ＵＲＬの所定の部分に発表者権限を示す権限情報を含む。相手方装置７３，７４にそれぞれ送信されるＵＲＬは、ＵＲＬの所定の部分に視聴者権限を示す権限情報を含む。なお、会議ＩＤ及び権限情報は、例えば、ＵＲＬのクエリパラメータとして含まれていてもよい。

主催者権限は、遠隔会議の途中に、予め設定された権限を変更する機能を含む。上述した例に基づけば、主催者権限の相手方装置７１では、発表者権限に設定された通信端末装置３０の権限を、主催者権限又は視聴者権限に再設定することができる。

通信端末装置３０のユーザは、遠隔会議の開催予定日時に、通信端末装置３０を操作する。通信端末装置３０において、ＣＰＵ３２は、上述した会議ＩＤと権限情報を含むＵＲＬに基づき通信部５６からサーバ装置２０にアクセスし、会議接続の処理を実行する（Ｓ１１）。Ｓ１１での処理により、通信端末装置３０とサーバ装置２０の間で遠隔会議のセッションが確立され、通信端末装置３０は、サーバ装置２０に対して会議接続される。相手方装置７１，７２，７３，７４でも同様の操作が行われ、相手方装置７１，７２，７３，７４のそれぞれとサーバ装置２０の間で遠隔会議のセッションが確立され、相手方装置７１，７２，７３，７４は、サーバ装置２０に対して会議接続される。

サーバ装置２０は、ＵＲＬに含まれる会議ＩＤと、通信端末装置３０及び相手方装置７１，７２，７３，７４の各識別情報を対応付けて記憶する。その際、サーバ装置２０は、遠隔会議開催中、通信端末装置３０及び相手方装置７１，７２，７３，７４のそれぞれがサーバ装置２０へのアクセスに用いたＵＲＬに従い、各通信装置に設定された権限を特定し、特定された各権限を各通信装置の識別情報に対応付けて記憶する。通信端末装置３０及び相手方装置７１，７２，７３，７４による遠隔会議は、このようにして開始される。

Ｓ１１を実行した後、ＣＰＵ３２は、音送受信処理を開始する（Ｓ１３）。Ｓ１３を実行した後、ＣＰＵ３２は、映像送受信処理を開始する（Ｓ１５）。なお、Ｓ１３で映像送受信処理が開始され、Ｓ１５で音送受信処理が開始されてもよい。音送受信処理及び映像送受信処理については後述する。

音送受信処理及び映像送受信処理を開始させた後、ＣＰＵ３２は、権限情報を更新する（Ｓ１７）。Ｓ１７でＣＰＵ３２は、権限情報を要求する権限情報要求の送信指令を通信部５６に出力する。これに伴い、権限情報要求が、通信部５６からサーバ装置２０に送信される。権限情報要求には、通信端末装置３０の識別情報が含められる。権限情報要求を受信し取得したサーバ装置２０は、権限情報要求に含められた識別情報に従い、識別情報により特定される通信端末装置３０の権限を示す権限情報を要求元の通信端末装置３０に送信する。通信端末装置３０では、サーバ装置２０からの権限情報が通信部５６で受信される。ＣＰＵ３２は、通信部５６を介して権限情報を取得する。例えば、通信端末装置３０に対して発表者権限が設定されていた場合、ＣＰＵ３２は、権限情報「発表者権限」を取得する。ＣＰＵ３２は、取得された権限情報をＲＡＭ３６に記憶する。前回実行されたＳ１７において権限情報がＲＡＭ３６に記憶されていた場合、ＣＰＵ３２は、記憶された権限情報を新たに取得された権限情報とする。

続けて、ＣＰＵ３２は、画像表示情報の送信を制御する（Ｓ１９）。Ｓ１９でＣＰＵ３２は、画像表示情報の送信指令を通信部５６に出力する。これに伴い、画像表示情報が通信部５６からサーバ装置２０に送信される。画像表示情報は、自装置以外の通信装置からの映像データに対応した撮影画像の表示に関する情報である。自装置以外の通信装置は、例えば、通信端末装置３０を基準とすると、相手方装置７１，７２，７３，７４である。Ｓ１９で通信部５６からサーバ装置２０に送信される画像表示情報は、例えば、遠隔会議画面（図２及び図３参照）において、撮影画像３８１，３８２，３８３，３８４のそれぞれが表示中又は非表示の何れであるかを示す情報と、撮影画像３８１，３８２，３８３，３８４のうち、表示中である撮影画像の表示サイズを含む。更に、画像表示情報は、送信元装置の識別情報として通信端末装置３０の識別情報を含む。

撮影画像３８１，３８２，３８３，３８４のそれぞれが表示中又は非表示の何れであるかを示す情報は、撮影画像３８１，３８２，３８３，３８４の表示サイズによって兼用されるようにしてもよい。例えば、表示サイズが「横×縦：Ｘ×Ｙピクセル」（Ｘ，Ｙ＞０）は、表示中であることを示す。表示サイズが「横×縦：０×０ピクセル」は、非表示であることを示す。表示中又は非表示の何れであるかを示す情報をどのような態様とするかは、諸条件を考慮して適宜決定される。Ｓ１９で送信対象となる画像表示情報は、Ｓ１５で開始される映像送受信処理のＳ６５（図６参照）でＲＡＭ３６に記憶される。

次に、ＣＰＵ３２は、報知処理を実行する（Ｓ２１）。報知処理については後述する。報知処理を実行した後、ＣＰＵ３２は、会議終了指令を取得したか否かを判断する（Ｓ２３）。会議終了指令は、通信端末装置３０のユーザが操作部４０を操作して入力される。ＣＰＵ３２は、このユーザ操作に伴い会議終了指令を取得する。会議終了指令が取得されていない場合（Ｓ２３：Ｎｏ）、ＣＰＵ３２は、処理をＳ１７に戻し、Ｓ１７以降の処理を実行する。会議終了指令が取得された場合（Ｓ２３：Ｙｅｓ）、ＣＰＵ３２は、サーバ装置２０との間で会議接続を切断する処理を実行し、メイン処理を終了する。

＜音送受信処理＞
図４に示すメイン処理のＳ１３で開始される音送受信処理について、図５を参照して説明する。音送受信処理を開始させたＣＰＵ３２は、マイク４９で集音された音を取得する（Ｓ３１）。なお、Ｓ３１でＣＰＵ３２が取得する音は、上述した通り、マイク４９で集音された音を所定のサンプリング周波数（例えば11.025kHz，44.1kHz）でＡ／Ｄ変換された波形データを含む概念である。続けて、ＣＰＵ３２は、取得された音のボリューム（ｄＢ）を検出し、検出された音のボリュームが予め定められた第七閾値以上であるか否かを判断する。ボリュームの検出は、例えば、Ｓ３１で取得された音の波形のレベルを検出することで決定される。なお、Ｓ３１で取得された音は複数のサンプリング点を含むため、例えば、所定時間内に含まれる複数のサンプリング点の平均レベルが音のボリュームとして検出される。複数のサンプリング点の最大レベルを音のボリュームとして検出してもよい。第七閾値は、通信端末装置３０のユーザが遠隔会議において発言したと判断できる場合の音声のボリュームを考慮して予め決定される。第七閾値は、音送受信処理のプログラムに関連付けて記憶部３４に記憶されている。第七閾値は、例えば背景のノイズレベル等に応じて、適宜変更されてもよい。

取得された音のボリュームが第七閾値以上である場合（Ｓ３３：Ｙｅｓ）、ＣＰＵ３２は、取得された音に対応した音データを生成する（Ｓ３５）。例えば、ＣＰＵ３２は、Ｓ３１で取得された音を、所定の形式（例えば、Ｇ．７１１又はＯＰＵＳ等公知の圧縮フォーマット）に従ってエンコードする。そして、Ｓ３５でＣＰＵ３２は、生成された音データの送信を制御する。ＣＰＵ３２は、音データの送信指令を通信部５６に出力する。これに伴い、生成された音データが通信部５６からサーバ装置２０を経由して相手方装置７１，７２，７３，７４にそれぞれ送信される。音データには、通信端末装置３０の識別情報が含められる。サーバ装置２０は、通信端末装置３０からの音データを、この音データに含められた識別情報とは異なる識別情報の相手方装置７１，７２，７３，７４にそれぞれ送信する。その後、ＣＰＵ３２は、処理をＳ３７に移行する。取得された音のボリュームが第七閾値未満である場合（Ｓ３３：Ｎｏ）、ＣＰＵ３２は、処理をＳ３７に移行する。

Ｓ３７でＣＰＵ３２は、発話状態を更新する。発話状態は、ＲＡＭ３６に記憶される。例えば、Ｓ３７がＳ３５を実行した後に実行されている場合、ＣＰＵ３２は、発話状態を「発話中」とする。Ｓ３７がＳ３３が否定（Ｓ３３：Ｎｏ）された後に実行されている場合、ＣＰＵ３２は、発話状態を「視聴中」とする。前回実行されたＳ３７において既に発話状態がＲＡＭ３６に記憶されていた場合、ＣＰＵ３２は、記憶された発話状態を今回のＳ３３の結果に基づいた「発話中」又は「視聴中」とする。

次に、ＣＰＵ３２は、相手方装置７１，７２，７３，７４の何れかからの音データを取得したか否かを判断する（Ｓ３９）。相手方装置７１，７２，７３，７４からの各音データは、上述した通り、サーバ装置２０を経由して相手方装置７１，７２，７３，７４のそれぞれから送信され、通信部５６で受信される。ＣＰＵ３２は、通信部５６を介して相手方装置７１，７２，７３，７４の何れかからの音データを取得する。

音データが取得されている場合（Ｓ３９：Ｙｅｓ）、ＣＰＵ３２は、取得された音データを再生し、再生された音の出力を制御する（Ｓ４１）。ＣＰＵ３２は、取得された音データを所定の形式に従ってデコードし、デコードによって得られた音の出力指令をオーディオ部４８に出力する。オーディオ部４８では、出力指令に従い、音データに対応した音がスピーカ５０から出力される。通信部５６で音データが受信されておらず、音データが取得されていない場合（Ｓ３９：Ｎｏ）又はＳ４１を実行した後、ＣＰＵ３２は、処理をＳ３１に戻し、Ｓ３１以降の処理を実行する。音送受信処理は、サーバ装置２０との会議接続が切断されるまで継続して実行される。

＜映像送受信処理＞
図４に示すメイン処理のＳ１５で開始される映像送受信処理について、図６を参照して説明する。映像送受信処理を開始させたＣＰＵ３２は、カメラ４６で撮影された撮影画像を取得する（Ｓ５１）。ＣＰＵ３２は、遠隔会議画面における撮影画像３８０の表示が設定されている場合（図２参照）、Ｓ５１での取得に応じて撮影画像３８０を生成し、これの表示を制御する。例えば、ＣＰＵ３２は、撮影画像３８０の出力指令を表示部３８に出力する。表示部３８では、出力指令に従い、撮影画像３８０が所定の位置に表示される。遠隔会議画面における撮影画像３８０の表示が設定されていない場合（図３参照）、前述したような表示の制御は行われない。

次に、ＣＰＵ３２は、映像ミュート指令に基づいた映像ミュート設定がされているか否かを判断する（Ｓ５３）。映像ミュート指令は、カメラ４６で撮影された撮影画像に対応した映像データの送信を停止させる指令である。映像ミュート指令は、通信端末装置３０のユーザが操作部４０を操作して入力される。通信端末装置３０のユーザは、遠隔会議の開始時及び映像データの送信途中にこの指令の入力操作を行うことができる。ＣＰＵ３２は、このユーザ操作に伴い映像ミュート指令を取得する。ＣＰＵ３２は、映像データの送信中に、映像ミュート指令を取得した場合、その後の映像データの送信を中断する。通信端末装置３０からの映像データの送信が行われない場合、相手方装置７１，７２，７３，７４には、新たな映像データは送信されず、表示中であった撮影画像３８０は、一時停止した表示状態となる。

映像ミュート設定がされていない場合（Ｓ５３：Ｎｏ）、ＣＰＵ３２は、取得された撮影画像を所定の形式（例えば、Ｈ．２６４等の公知の圧縮フォーマット）に従ってエンコードし、この撮影画像に対応した映像データを生成する（Ｓ５５）。そして、Ｓ５５でＣＰＵ３２は、生成された映像データの送信を制御する。ＣＰＵ３２は、映像データの送信指令を通信部５６に出力する。これに伴い、生成された映像データが通信部５６からサーバ装置２０を経由して相手方装置７１，７２，７３，７４にそれぞれ送信される。映像データには、通信端末装置３０の識別情報が含められる。サーバ装置２０は、通信端末装置３０からの映像データを、この映像データに含められた識別情報とは異なる識別情報の相手方装置７１，７２，７３，７４にそれぞれ送信する。その後、ＣＰＵ３２は、「１」に設定した送信フラグをＲＡＭ３６に記憶し（Ｓ５７）、処理をＳ６１に移行する。

映像ミュート設定がされている場合（Ｓ５３：Ｙｅｓ）、ＣＰＵ３２は、「０」に設定した送信フラグをＲＡＭ３６に記憶する（Ｓ５９）。その後、ＣＰＵ３２は、処理をＳ６１に移行する。通信端末装置３０のユーザは、映像データの送信を再開させる場合、操作部４０を操作し、映像ミュート解除指令を入力する。ＣＰＵ３２は、このユーザ操作に伴い映像ミュート解除指令を取得し、映像データの送信を再開させ、Ｓ５５及びＳ５７を実行する。

Ｓ６１でＣＰＵ３２は、相手方装置７１，７２，７３，７４の何れかからの映像データを取得したか否かを判断する。相手方装置７１，７２，７３，７４からの各映像データは、上述した通り、サーバ装置２０を経由して相手方装置７１，７２，７３，７４のそれぞれから送信され、通信部５６で受信される。ＣＰＵ３２は、通信部５６を介して相手方装置７１，７２，７３，７４の何れかからの映像データを取得する。

映像データが取得されている場合（Ｓ６１：Ｙｅｓ）、ＣＰＵ３２は、取得された映像データを再生し、再生された撮影画像の表示を制御する（Ｓ６３）。例えば、ＣＰＵ３２は、取得された映像データを所定の形式に従ってデコードし、デコードによって得られた撮影画像の出力指令を表示部３８に出力する。表示部３８では、出力指令に従い、撮影画像が所定の位置に表示される。例えば、映像データが相手方装置７１からのデータであった場合、撮影画像３８１が所定の位置に表示される（図２及び図３参照）。

続けて、ＣＰＵ３２は、Ｓ６３での表示に従い画像表示情報を更新する（Ｓ６５）。例えば、撮影画像３８１，３８２，３８３，３８４の一部又は全部に対して、表示の有無又は表示サイズの各設定が、所定のタイミングで変更されていたとする。この場合、ＣＰＵ３２は、新たな設定に従ったＳ６３での表示に従い画像表示情報を更新する。画像表示情報は、ＲＡＭ３６に記憶される。通信部５６で映像データが受信されておらず、映像データが取得されていない場合（Ｓ６１：Ｎｏ）又はＳ６５を実行した後、ＣＰＵ３２は、処理をＳ５１に戻し、Ｓ５１以降の処理を実行する。映像送受信処理は、サーバ装置２０との会議接続が切断されるまで継続して実行される。

＜報知処理＞
図４に示すメイン処理のＳ２１で実行される報知処理について、図７〜図９を参照して説明する。報知処理を開始させたＣＰＵ３２は、会議状態情報を取得する（Ｓ７１）。会議状態情報は、会議ＩＤによって識別される遠隔会議の状態を示す情報である。会議状態情報に含まれる情報としては、次のような情報が例示される。第一の情報としては、相手方装置７１，７２，７３，７４のうち、サーバ装置２０と会議接続されている通信装置の数が挙げられる。第二の情報としては、通信端末装置３０及び相手方装置７１，７２，７３，７４のうち、主催者権限が設定された通信装置と会議接続がされているか否かを示す情報が挙げられる。第一の情報及び第二の情報は、サーバ装置２０で管理されている。また、第三の情報としては、会議接続の際に、サーバ装置２０から通知された会議予約時間が挙げられる。上記では説明を省略したが、ＣＰＵ３２は、会議接続の処理の実行時（図４のＳ１１参照）に通信部５６で受信された会議予約時間を通信部５６を介して取得し、ＲＡＭ３６に記憶する。実施形態では、会議状態情報として、前述した３個の情報を例に説明する。

Ｓ７１での会議状態情報の取得に際し、ＣＰＵ３２は、会議状態情報を要求する状態情報要求の送信指令を通信部５６に出力する。これに伴い、状態情報要求が、通信部５６からサーバ装置２０に送信される。状態情報要求を受信し取得したサーバ装置２０は、その時点で会議ＩＤによって識別される遠隔会議において会議接続された全ての通信装置の数と、主催者権限が設定された通信装置との会議接続の有無を示す情報を、要求元の通信端末装置３０に送信する。サーバ装置２０からの会議状態情報は通信部５６で受信され、ＣＰＵ３２は、通信部５６を介してサーバ装置２０からの会議状態情報を取得する。また、ＣＰＵ３２は、ＲＡＭ３６に記憶された会議状態情報としての会議予約時間を取得する。

次に、ＣＰＵ３２は、取得された会議状態情報に従い、現在、会議中であるか否かを判断する（Ｓ７３）。例えば、ＣＰＵ３２は、現在時刻が会議予約時間内であり、主催者権限の通信装置が会議接続され、且つ、会議接続された通信装置の数が複数である場合、会議中であると判断する（Ｓ７３：Ｙｅｓ）。この場合、ＣＰＵ３２は、処理をＳ７５に移行する。ＣＰＵ３２は、前述した各条件のうちの何れか１つでも満足されない場合、会議中ではないと判断する（Ｓ７３：Ｎｏ）。この場合、ＣＰＵ３２は、報知処理を終了し、処理を図４のＳ２３に戻す。

Ｓ７５でＣＰＵ３２は、カメラ４６での撮影状態を検出する。続けて、ＣＰＵ３２は、検出された撮影状態に従い撮影中であるか否かを判断する（Ｓ７７）。Ｓ７５及びＳ７７について、ＣＰＵ３２は、図４のＳ１５で開始される映像送受信処理（図６参照）のＳ５５において送信対象の映像データが生成されているか否かを検出し、映像データが生成されていない場合、撮影中ではないと判断する（Ｓ７７：Ｎｏ）。この場合、ＣＰＵ３２は、処理を図９のＳ１０３に移行する。映像データが順次生成されている場合、ＣＰＵ３２は、撮影中であると判断し（Ｓ７７：Ｙｅｓ）、順次生成される映像データを対象として、画像解析処理を実行する（Ｓ７９）。画像解析処理については後述する。

画像解析処理を実行した後、ＣＰＵ３２は、解析結果が「異常画像」であったか否かを判断する（Ｓ８１）。解析結果が「正常画像」であって「異常画像」ではない場合（Ｓ８１：Ｎｏ）、ＣＰＵ３２は、報知処理を終了し、処理を図４のＳ２３に戻す。解析結果が異常画像であった場合（Ｓ８１：Ｙｅｓ）、ＣＰＵ３２は、送信フラグを取得する（Ｓ８３）。送信フラグは、図６のＳ５７又はＳ５９で設定され、ＲＡＭ３６に記憶されている。続けて、取得された送信フラグが「１」であるか否かを判断する（Ｓ８５）。送信フラグが「１」ではなく「０」であった場合（Ｓ８５：Ｎｏ）、ＣＰＵ３２は、処理を図９のＳ１０３に移行する。送信フラグが「１」であった場合（Ｓ８５：Ｙｅｓ）、ＣＰＵ３２は、処理を図８のＳ８７に移行する。

図８のＳ８７でＣＰＵ３２は、画像表示設定を取得する。Ｓ８７でＣＰＵ３２が取得する画像表示設定は、自装置以外の相手方装置７１，７２，７３，７４のそれぞれにおける撮影画像３８０の表示に関する設定情報である。画像表示設定は、相手方装置７１，７２，７３，７４のそれぞれで、図６のＳ５５で送信された映像データに対応した撮影画像３８０が表示されているか表示されていないかを示す情報を含む。更に、画像表示設定は、撮影画像３８０が表示中である場合、表示中の撮影画像３８０の表示サイズを示す情報を含む。画像表示設定において、表示中又は非表示を示す情報と表示中である撮影画像３８０の表示サイズを示す情報は、相手方装置７１，７２，７３，７４の各識別情報に対応付けられる。表示中又は非表示を示す情報は、図４のＳ１９に関連して説明した画像表示情報の場合と同様、相手方装置７１，７２，７３，７４の各識別情報に対応付けられた撮影画像３８０の表示サイズと兼用されるようにしてもよい。

Ｓ８７でＣＰＵ３２は、画像表示設定を要求する表示設定要求の送信指令を通信部５６に出力する。これに伴い、表示設定要求が、通信部５６からサーバ装置２０に送信される。表示設定要求には、通信端末装置３０の識別情報が含められる。表示設定要求を受信し取得したサーバ装置２０は、表示設定要求に含められた識別情報とは異なる識別情報の相手方装置７１，７２，７３，７４での撮影画像３８０の表示又は非表示を特定する。そして、サーバ装置２０は、表示中である撮影画像３８０の表示サイズを特定する。

相手方装置７１，７２，７３，７４では、上述した通り、通信端末装置３０及び相手方装置７１，７２，７３，７４のうち、自装置以外の通信装置からの映像データに対応した撮影画像３８０を含む撮影画像の表示に関し、表示中又は非表示の何れかを示す情報と、表示中である撮影画像の表示サイズを含む画像表示情報がサーバ装置２０に送信される。サーバ装置２０は、図４のＳ１９で通信端末装置３０から送信された画像表示情報と、相手方装置７１，７２，７３，７４からの各画像表示情報を受信し取得する。サーバ装置２０では、取得された各画像表示情報に含められた送信元装置の各通信装置の識別情報に対応付けて、画像表示情報に含まれる各情報が記憶される。上述した相手方装置７１，７２，７３，７４での撮影画像３８０の表示中又は非表示と、表示中である撮影画像３８０の表示サイズは、このようにして記憶された各情報に従い特定される。

サーバ装置２０は、特定された各情報を含む画像表示設定を要求元の通信端末装置３０に送信する。サーバ装置２０からの画像表示設定は通信部５６で受信され、ＣＰＵ３２は、通信部５６を介して画像表示設定を取得する。ＣＰＵ３２は、取得された画像表示設定をＲＡＭ３６に記憶する。続けて、ＣＰＵ３２は、取得された画像表示設定に従い、相手方装置７１，７２，７３，７４の何れかの通信装置で撮影画像３８０が表示中であるか否かを判断する（Ｓ８９）。相手方装置７１，７２，７３，７４の全てで撮影画像３８０が非表示である場合（Ｓ８９：Ｎｏ）、ＣＰＵ３２は、報知処理を終了し、処理を図４のＳ２３に戻す。

相手方装置７１，７２，７３，７４の何れかで撮影画像３８０が表示中である場合（Ｓ８９：Ｙｅｓ）、ＣＰＵ３２は、表示されている撮影画像３８０の表示サイズが第四閾値より大きいか否かを判断する（Ｓ９１）。第四閾値は、例えば、相手方装置７１，７２，７３，７４のユーザが撮影画像３８０を視認した場合、撮影画像３８０に含まれる通信端末装置３０のユーザを明確に認識できるか否かを考慮して決定される。第四閾値は、報知処理のプログラムに関連付けて記憶部３４に記憶されている。なお、第四閾値は、例えば主催者権限を有するユーザによって、適宜設定されてもよい。相手方装置７１，７２，７３，７４のうちの複数の通信装置で撮影画像３８０が表示されている場合、ＣＰＵ３２は、最大となる表示サイズを第四閾値との比較対象とする。この他、撮影画像３８０の表示サイズの平均値を求め、これを第四閾値との比較対象とするようにしてもよい。更に、相手方装置７１，７２，７３，７４のうち、設定された権限が最も高い通信装置での表示サイズを第四閾値との比較対象とするようにしてもよい。比較対象とされる表示サイズは、諸条件を考慮して適宜決定される。

撮影画像３８０の表示サイズが第四閾値以下である場合（Ｓ９１：Ｎｏ）、ＣＰＵ３２は、処理をＳ９７に移行する。撮影画像３８０の表示サイズが第四閾値より大きい場合（Ｓ９１：Ｙｅｓ）、ＣＰＵ３２は、自装置における撮影画像３８０の表示サイズを取得する（Ｓ９３）。続けて、ＣＰＵ３２は、自装置における撮影画像３８０の表示サイズが第五閾値より小さいか否かを判断する（Ｓ９５）。第五閾値は、例えば、通信端末装置３０のユーザが表示中の撮影画像３８０を視認した場合、撮影画像３８０に含まれる自分自身を明確に認識できるか否かを考慮して決定される。第五閾値は、報知処理のプログラムに関連付けて記憶部３４に記憶されている。第五閾値は、Ｓ９１の第四閾値と異なるサイズであってもよいが、同一サイズであってもよい。撮影画像３８０の表示サイズが第五閾値以上である場合（Ｓ９５：Ｎｏ）、ＣＰＵ３２は、報知処理を終了し、処理を図４のＳ２３に戻す。撮影画像３８０の表示サイズが第五閾値より小さい場合（Ｓ９５：Ｙｅｓ）、ＣＰＵ３２は、処理を図９のＳ１０３に移行する。撮影画像３８０が非表示である場合（図３参照）、Ｓ９３でＣＰＵ３２は、撮影画像３８０の表示サイズとして、「横×縦：０×０ピクセル」（面積：０）を取得し、Ｓ９５で表示サイズは第五閾値より小さいと判断する（Ｓ９５：Ｙｅｓ参照）。

Ｓ９７でＣＰＵ３２は、計時部５４で時間の経過が計測中であるか否かを判断する。計測中ではない場合（Ｓ９７：Ｎｏ）、ＣＰＵ３２は、計測を開始する（Ｓ９９）。既にＳ９９が実行され時間の経過が計測中である場合（Ｓ９７：Ｙｅｓ）、又は、Ｓ９９を実行した後、ＣＰＵ３２は、計時部５４で計測中の経過時間が基準時間を超えているか否かを判断する（Ｓ１０１）。基準時間は、報知処理のプログラムに関連付けて記憶部３４に記憶されている。経過時間が基準時間を超えている場合（Ｓ１０１：Ｙｅｓ）、ＣＰＵ３２は、処理を図９のＳ１１１に移行する。経過時間が基準時間以下である場合（Ｓ１０１：Ｎｏ）、ＣＰＵ３２は、処理を図９のＳ１０７に移行する。

図９のＳ１０３でＣＰＵ３２は、通信端末装置３０に設定された権限情報を取得する。Ｓ１０３でＣＰＵ３２は、ＲＡＭ３６にアクセスし、図４のＳ１７でＲＡＭ３６に記憶された権限情報を取得する。例えば、通信端末装置３０に設定された権限が発表者権限である場合、ＣＰＵ３２は、権限情報「発表者権限」を取得する。続けて、ＣＰＵ３２は、取得された権限情報が第六閾値より高い権限であるか否かを判断する（Ｓ１０５）。第六閾値は、例えば、視聴者権限に設定される。但し、第六閾値として設定される権限は、発表者権限であってもよい。第六閾値として設定される権限は、諸条件を考慮して適宜設定される。第六閾値は、報知処理のプログラムに関連付けて記憶部３４に記憶されている。取得された権限情報が第六閾値より高い場合（Ｓ１０５：Ｙｅｓ）、ＣＰＵ３２は、処理をＳ１１１に移行する。取得された権限情報が第六閾値以下である場合（Ｓ１０５：Ｎｏ）、ＣＰＵ３２は、処理をＳ１０７に移行する。

Ｓ１０７でＣＰＵ３２は、通信端末装置３０のユーザの発話状態を検出する。続けて、ＣＰＵ３２は、検出された発話状態に従い通信端末装置３０のユーザが発話中であるか否かを判断する（Ｓ１０９）。ＣＰＵ３２は、図４のＳ１３で開始される音送受信処理（図５参照）のＳ３３の判断結果に基づき、Ｓ３７でＲＡＭ３６に記憶された発話状態に従い、Ｓ１０７で発話状態を検出し、Ｓ１０９で発話中であるか否かを判断する。即ち、ＣＰＵ３２は、Ｓ３３が肯定され（図５のＳ３３：Ｙｅｓ）、ＲＡＭ３６に「発話中」と記憶されている場合、Ｓ１０９を肯定する（Ｓ１０９：Ｙｅｓ）。ＣＰＵ３２は、Ｓ３３が否定され（図５のＳ３３：Ｎｏ）、ＲＡＭ３６に「視聴中」と記憶されている場合、Ｓ１０９を否定する（Ｓ１０９：Ｎｏ）。Ｓ１０９が肯定された場合（Ｓ１０９：Ｙｅｓ）、ＣＰＵ３２は、処理をＳ１１１に移行する。

Ｓ１１１でＣＰＵ３２は、報知回数が第八閾値より小さいか否かを判断する。報知回数は、後述するＳ１１５で報知画像３８５が表示された表示回数である。従って、報知回数は、Ｓ１１５の実行回数に一致する。第八閾値は、報知画像３８５の表示を何回繰り返すかを考慮して適宜設定される。第八閾値は、報知処理のプログラムに関連付けて記憶部３４に記憶されている。報知回数が第八閾値より小さい場合（Ｓ１１１：Ｙｅｓ）、ＣＰＵ３２は、前回実行されたＳ１１５で表示された報知画像３８５が未だ表示中であるか否かを判断する（Ｓ１１３）。報知画像３８５は、表示後一定時間が経過したタイミングで非表示とされる。この他、報知画像３８５は、通信端末装置３０のユーザが表示された報知画像３８５上をタップする等、操作部４０を介して入力される消去指令をＣＰＵ３２が取得したタイミングで非表示とされる。

報知画像３８５が表示中ではない場合（Ｓ１１３：Ｎｏ）、ＣＰＵ３２は、報知画像３８５の表示を制御する（Ｓ１１５）。ＣＰＵ３２は、記憶部３４から報知画像３８５に対応した画像データを読み出し、この画像データを処理し報知画像３８５を得る。続けて、ＣＰＵ３２は、報知画像３８５の出力指令を表示部３８に出力する。表示部３８では、出力指令に従い、報知画像３８５が表示される（図１０参照）。報知画像３８５の表示位置は、例えば、図１０に示すように、撮影画像３８０が表示されている場合、撮影画像３８０と隣り合う位置とされる。報知画像３８５の表示位置は、表示中の撮影画像３８０と重なる位置又は表示中の全ての撮影画像と重ならない位置とするようにしてもよい。報知画像３８５の表示位置は、撮影画像３８０が表示されていない場合、遠隔会議画面の所定の位置（例えば中央）又は表示中の全ての撮影画像と重ならない位置とするようにしてもよい。報知画像３８５の表示位置は、諸条件を考慮して適宜設定される。報知画像３８５は、図１０とは異なる態様であってもよい。例えば、報知画像３８５は、所定の形状をしたアイコンであってもよい。報知画像３８５を点滅させるようにしてもよい。

Ｓ１１５を実行した後、ＣＰＵ３２は、カウンタによりカウントされる報知画像３８５の報知回数を１増加させる（Ｓ１１７）。なお、カウンタによりカウントされる報知回数は、例えば、メイン処理（図４）を開始後、Ｓ１７が実行される前にリセットされる。続けて、ＣＰＵ３２は、計時部５４での計測を停止させ、計測された時間をリセットする（Ｓ１１９）。

Ｓ１０９又はＳ１１１が否定された場合（Ｓ１０９又はＳ１１１：Ｎｏ）、Ｓ１１３が肯定された場合（Ｓ１１３：Ｙｅｓ）、又は、Ｓ１１９が実行された後、ＣＰＵ３２は、報知処理を終了し、処理を図４のＳ２３に戻す。

＜画像解析処理＞
図７〜図９に示す報知処理のＳ７９（図７参照）で実行される画像解析処理について、図１１を参照して説明する。画像解析処理を開始させたＣＰＵ３２は、加速度計測部５２で計測されている加速度を取得する（Ｓ１２１）。取得される加速度の値は、加速度計測部５２から出力される電圧値でもよいし、電圧値を加速度に変換した値であってもよい。ＣＰＵ３２は、順次取得される加速度の値をＲＡＭ３６に記憶する。ＣＰＵ３２は、取得された加速度の単位時間あたりの変化量を特定する。変化量は、例えば、ＲＡＭ３６に記憶されている加速度の値と、新たに取得された加速度の値との差に基づいて特定される。続けて、ＣＰＵ３２は、特定された加速度の変化量が第三閾値より大きいか否かを判断する（Ｓ１２３）。通信端末装置３０が所定の場所に固定された状態でセットされている場合、加速度計測部５２によって計測される加速度の単位時間あたりの変化量は、「０」となる。第三閾値は、通信端末装置３０、詳細にはカメラ４６が揺れ、継続して一定の範囲が撮影されていないと判断される場合の加速度の変化量の上限値を認定することで適宜設定される。第三閾値は、画像解析処理のプログラムに関連付けて記憶部３４に記憶されている。通信端末装置３０が備えるジャイロセンサによって計測された各値を取得し、継続して一定の範囲が撮影されているか否かを、ジャイロセンサによる計測値を用いて判断するようにしてもよい。この場合、処理をＳ１２５又はＳ１３５の何れへと移行させるかは、例えば、上述したＳ１２３と、ジャイロセンサによる計測値を用いた判断とに基づき判断される。

加速度の変化量が第三閾値より大きい場合（Ｓ１２３：Ｙｅｓ）、ＣＰＵ３２は、処理をＳ１３５に移行する。加速度の変化量が第三閾値以下である場合（Ｓ１２３：Ｎｏ）、ＣＰＵ３２は、図６のＳ５５で生成された映像データを対象として、この映像データに対応した撮影画像３８０の輝度を取得する（Ｓ１２５）。撮影画像３８０の輝度は、例えば、撮影画像３８０を形成する画素の全てについてその明るさを特定し、その平均値を算出して求められる。なお、平均値は、撮影画像３８０を形成する全ての画素ではなく、特定の領域に含まれる画素だけを用いて算出されてもよい。また、平均値の代わりに又は追加して、最頻値や中央値が用いられてもよい。続けて、ＣＰＵ３２は、取得された輝度が第一閾値より高いか否かを判断する（Ｓ１２７）。例えば、カメラ４６での撮影を妨げるため、カメラ４６を所定の被覆物で覆っておく場合がある。このような場合、撮影画像３８０の輝度は低下すると推定される。第一閾値は、カメラ４６によって通信端末装置３０のユーザが撮影されていると判断される場合の輝度の範囲を考慮すると共に、適切な画質の撮影画像３８０であると判断される場合の輝度の下限値を考慮して適宜設定される。第一閾値は、画像解析処理のプログラムに関連付けて記憶部３４に記憶されている。

輝度が第一閾値以下である場合（Ｓ１２７：Ｎｏ）、ＣＰＵ３２は、処理をＳ１３５に移行する。輝度が第一閾値より高い場合（Ｓ１２７：Ｙｅｓ）、ＣＰＵ３２は、この輝度が第二閾値より低いか否かを判断する（Ｓ１２９）。例えば、カメラ４６での撮影を妨げるため、カメラ４６を通信端末装置３０のユーザの方向とは異なる方向に向けておく場合がある。例えば、カメラ４６が天井の光源の方向に向けられると、撮影画像３８０の輝度が増加する可能性がある。第二閾値は、カメラ４６によって通信端末装置３０のユーザが撮影されていると判断される場合の輝度の範囲を考慮すると共に、適切な画質の撮影画像３８０であると判断される場合の輝度の上限値を考慮して適宜設定される。第二閾値は、第一閾値より高い値とされる。第二閾値は、画像解析処理のプログラムに関連付けて記憶部３４に記憶されている。

輝度が第二閾値以上である場合（Ｓ１２９：Ｎｏ）、ＣＰＵ３２は、処理をＳ１３５に移行する。輝度が第二閾値より低い場合（Ｓ１２９：Ｙｅｓ）、ＣＰＵ３２は、撮影画像３８０から人物が検出されるか否かを判断する（Ｓ１３１）。人物の検出は、例えば、公知の顔検出技術を用いて行われる。顔検出技術としては、例えば、所定サイズの探索窓に対してHaar-Like特徴量を用いたカスケード構造のパターンマッチングを行うViola-Jones法等が利用可能である。なお、図１０に示す撮影画像３８０のように通信端末装置３０のユーザの顔の全体が含まれていない場合、人物は検出されたこととはならない。人物が検出された場合（Ｓ１３１：Ｙｅｓ）、ＣＰＵ３２は、ＲＡＭ３６に、解析結果として「正常画像」を記憶する（Ｓ１３３）。解析結果としての「正常画像」は、撮影画像３８０に人物が含まれており、撮影画像３８０から人物が検出されたことを示す情報である。人物が検出されない場合（Ｓ１３１：Ｎｏ）、ＣＰＵ３２は、処理をＳ１３５に移行する。

Ｓ１３５でＣＰＵ３２は、ＲＡＭ３６に、解析結果として「異常画像」を記憶する。解析結果としての「異常画像」は、撮影画像３８０に人物が含まれておらず、人物が検出されなかったことを示す情報である。Ｓ１３３又はＳ１３５を実行した後、ＣＰＵ３２は、画像解析処理を終了し、処理を図７のＳ８１に戻す。

＜実施形態の効果＞
上述した実施形態によれば、次のような効果を得ることができる。

（１）通信端末装置３０では、図７〜図９に示す報知処理のＳ８１（図７参照）で画像異常と判断され（Ｓ８１：Ｙｅｓ参照）、Ｓ８９（図８参照）で相手方装置７１，７２，７３，７４の何れかで撮影画像３８０が表示中であると判断される場合（Ｓ８９：Ｙｅｓ参照）、報知画像３８５を表示させる処理（図９のＳ１１５参照）を実行させることができる。一方、Ｓ８１で正常画像と判断され（Ｓ８１：Ｎｏ参照）、又は、Ｓ８９で相手方装置７１，７２，７３，７４の全てで撮影画像３８０が非表示であると判断される場合（Ｓ８９：Ｎｏ参照）、Ｓ１１５が実行されず、その結果、報知画像３８５の表示を行わなくさせることができる。

そのため、相手方装置７１，７２，７３，７４の一部又は全部で表示されている撮影画像３８０が異常な状態である場合、そのことを通信端末装置３０のユーザに報知することができる。報知画像３８５を視認した通信端末装置３０のユーザは、異常な状態を回避する行動を取ることができる。一方、相手方装置７１，７２，７３，７４の一部又は全部で表示されている撮影画像３８０が正常な状態である場合、又は、相手方装置７１，７２，７３，７４の全てで撮影画像３８０が表示されていない場合、報知画像３８５は表示されない。そのため、通信端末装置３０のユーザの意識が遠隔会議の議題から報知画像３８５に向かうことを防止することができる。通信端末装置３０のユーザは、遠隔会議での議論に集中することができる。

（２）撮影画像３８０の正常又は異常の判断を、加速度計測部５２で計測される加速度の単位時間あたりの変化量と、撮影画像３８０の輝度と、人物検出の結果に基づき行うこととした（図１１のＳ１２３、Ｓ１２７〜Ｓ１３１参照）。そのため、撮影画像３８０の正常又は異常を適切に判断することができる。

（３）報知処理において、Ｓ８１及びＳ８９が共に肯定される場合（Ｓ８１及びＳ８９：Ｙｅｓ参照）であっても、Ｓ９１、Ｓ９５及びＳ１０１（図８参照）と、Ｓ１０５、Ｓ１０９及びＳ１１１（図９参照）の各条件に基づいた判断結果に従い、Ｓ１１５の実行又は非実行を切り換えることができる。そのため、報知画像３８５の表示又は非表示を適切に行うことができる。

Ｓ９１は、相手方装置７１，７２，７３，７４の一部又は全部において表示されている撮影画像３８０の表示サイズの大小と相手方装置７１，７２，７３，７４の各ユーザの撮影画像３８０への関心は比例するとの推測に基づくものである。Ｓ９５は、表示中の撮影画像３８０の表示サイズが大きい場合（Ｓ９５：Ｎｏ参照）、報知画像３８５を表示しなくとも、通信端末装置３０のユーザ自身で撮影画像３８０の状態を認識することができるとの推測に基づくものである。Ｓ１０１は、相手方装置７１，７２，７３，７４の一部又は全部において表示されている撮影画像３８０の表示時間と相手方装置７１，７２，７３，７４の各ユーザの撮影画像３８０への関心は比例するとの推測に基づくものである。

Ｓ１０５は、通信端末装置３０のユーザの発言の有無に関わらず、相手方装置７１，７２，７３，７４の各ユーザは上位の権限が設定された通信端末装置３０での撮影画像３８０に注目するとの推測に基づくものである。Ｓ１０９は、相手方装置７１，７２，７３，７４の各ユーザは発言者である通信端末装置３０のユーザに注目し、撮影画像３８０を注視するとの推測に基づくものである。Ｓ１１１は、通信端末装置３０のユーザは意識して報知画像３８５を無視する場合もあるとの推測に基づくものである。

＜変形例＞
上述した実施形態は、次のようにすることもできる。以下に示す変形例のうちの幾つかの構成は、適宜組み合わせて採用することもできる。以下の構成を採用した場合においても、上述した効果と同様の効果を得ることができる。

（１）上記では、図５に示す音送受信処理のＳ３３において、取得された音のボリュームが第七閾値と同一である場合、判断を肯定（Ｓ８７：Ｙｅｓ）することとした。Ｓ３３は、音のボリュームが第七閾値より大きいか否かに基づき判断し、音のボリュームと第七閾値が等しい場合、判断を否定（Ｓ３３：Ｎｏ）するようにしてもよい。

（２）上記では、図７〜図９に示す報知処理のＳ９１（図８参照）において、相手方装置７１，７２，７３，７４の何れかで表示されている撮影画像３８０の表示サイズが第四閾値と同一である場合、判断を否定（Ｓ９１：Ｎｏ）することとした。Ｓ９１は、撮影画像３８０の表示サイズが第四閾値以上であるか否かに基づき判断し、撮影画像３８０の表示サイズと第四閾値が等しい場合、判断を肯定（Ｓ９１：Ｙｅｓ）するようにしてもよい。

図８のＳ９５において、通信端末装置３０で表示されている撮影画像３８０の表示サイズが第五閾値と同一である場合、判断を否定（Ｓ９５：Ｎｏ）することとした。Ｓ９５は、撮影画像３８０の表示サイズが第五閾値以下であるか否かに基づき判断し、撮影画像３８０の表示サイズと第五閾値が等しい場合、判断を肯定（Ｓ９５：Ｙｅｓ）するようにしてもよい。

図８のＳ１０１において、経過時間が基準時間と同一である場合、判断を否定（Ｓ１０１：Ｎｏ）することとした。Ｓ１０１は、経過時間が基準時間以上であるか否かに基づき判断し、経過時間と基準時間が等しい場合、判断を肯定（Ｓ１０１：Ｙｅｓ）するようにしてもよい。

図９のＳ１０５において、通信端末装置３０の権限情報が第六閾値と同一である場合、判断を否定（Ｓ１０５：Ｎｏ）することとした。Ｓ１０５は、通信端末装置３０の権限情報が第六閾値以上であるか否かに基づき判断し、通信端末装置３０の権限情報と第六閾値が等しい場合、判断を肯定（Ｓ１０５：Ｙｅｓ）するようにしてもよい。

図９のＳ１１１において、カウンタでカウントされた報知回数が第八閾値と同一である場合、判断を否定（Ｓ１１１：Ｎｏ）することとした。Ｓ１１１は、通信端末装置３０の報知回数が第八閾値以下であるか否かに基づき判断し、報知回数と第八閾値が等しい場合、判断を肯定（Ｓ１１１：Ｙｅｓ）するようにしてもよい。

（３）上記では、報知処理のＳ１１５（図９参照）において、報知画像３８５を表示することとした。各種の判断の下、処理がＳ１１５に至る場合の通信端末装置３０のユーザへの報知は、報知画像３８５の表示とは異なる手法にて行うようにしてもよい。例えば、報知画像３８５と同様の役割を担う報知情報として、オーディオ部４８のスピーカ５０から報知音を鳴動させるようにしてもよい。この場合、Ｓ１１５でＣＰＵ３２は、オーディオ部４８に対して報知音の出力指令を出力する。Ｓ１１３は、報知音が鳴動中であるか否かに基づき判断される。この他、通信端末装置３０が電子メール機能を備え、更に、電子メールが受信された場合等に点滅又は点灯される発光体を備えているとする。Ｓ１１５では、報知部として機能する前述の発光体の点滅又は点灯を介した報知情報の出力が行われるようにしてもよい。この場合、Ｓ１１５でＣＰＵ３２は、発光体に対して点滅指令又は点灯指令を出力する。Ｓ１１３は、発光体が点滅中又は点灯中であるか否かに基づき判断される。

（４）上記では、図１１に示す画像解析処理のＳ１２３において、加速度の変化量が第三閾値と同一である場合、判断を否定（Ｓ１２３：Ｎｏ）することとした。Ｓ１２３は、加速度の変化量が第三閾値以上であるか否かに基づき判断し、加速度の変化量と第三閾値が等しい場合、判断を肯定（Ｓ１２３：Ｙｅｓ）するようにしてもよい。

図１１のＳ１２７において、Ｓ１２５で取得された撮影画像３８０の輝度が第一閾値と同一である場合、判断を否定（Ｓ１２７：Ｎｏ）することとした。Ｓ１２７は、輝度が第一閾値以上であるか否かに基づき判断し、輝度と第一閾値が等しい場合、判断を肯定（Ｓ１２７：Ｙｅｓ）するようにしてもよい。

図１１のＳ１２９において、Ｓ１２５で取得された撮影画像３８０の輝度が第二閾値と同一である場合、判断を否定（Ｓ１２９：Ｎｏ）することとした。Ｓ１２９は、輝度が第二閾値以下であるか否かに基づき判断し、輝度と第二閾値が等しい場合、判断を肯定（Ｓ１２９：Ｙｅｓ）するようにしてもよい。

（５）上記では、第一閾値（図１１のＳ１２７参照）、第二閾値（図１１のＳ１２９参照）、第三閾値（図１１のＳ１２３参照）、第四閾値（図８のＳ９１参照）、第五閾値（図８のＳ９５参照）、第六閾値（図９のＳ１０５参照）、第七閾値（図５のＳ３３参照）及び第八閾値（図９のＳ１１１参照）を固定値とした。第一閾値〜第八閾値の全部又は一部は、適宜設定することが可能で、適宜変更することができるようにしてもよい。例えば、前述した設定又は変更は、遠隔会議の開始時といった所定のタイミングで行われるようにしてもよい。

１０ 遠隔会議システム
２０ サーバ装置
３０ 通信端末装置
３２ ＣＰＵ
３４ 記憶部
３６ ＲＡＭ
３８ 表示部
４０ 操作部
４２ ハードキー
４４ タッチパッド
４６ カメラ
４８ オーディオ部
４９ マイク
５０ スピーカ
５２ 加速度計測部
５４ 計時部
５６ 通信部
５８ バス
７１，７２，７３，７４ 相手方装置
９０ ネットワーク
３８０，３８１，３８２，３８３，３８４ 撮影画像
３８５ 報知画像

Claims (13)

1. ネットワークを介した遠隔会議に用いられる通信端末装置を制御するコンピュータが実行可能なプログラムであって、
   前記コンピュータを、
   前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信制御手段と、
   前記撮影画像の状態を判断する判断手段と、
   前記送信制御手段による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する第一取得手段と、
   前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断手段で前記撮影画像が第二状態であると判断され、又は、前記第一取得手段により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力制御手段と、して機能させるプログラム。
2. 前記判断手段は、
   前記撮影画像の輝度が第一閾値より低い場合、又は、前記撮影画像の輝度が前記第一閾値より高い第二閾値より高い場合、前記撮影画像は前記第一状態であると判断し、
   前記撮影画像の輝度が前記第一閾値より高く前記第二閾値より低い場合、前記撮影画像は前記第二状態であると判断する、機能を含む、請求項１に記載のプログラム。
3. 前記コンピュータを、前記撮影画像に人物が含まれているか否かを解析する解析手段として機能させ、
   前記判断手段は、
   前記解析手段により前記撮影画像に人物が含まれていないと解析された場合、前記撮影画像は前記第一状態であると判断し、
   前記解析手段により前記撮影画像に人物が含まれていると解析された場合、前記撮影画像は前記第二状態であると判断する、機能を含む、請求項１又は請求項２に記載のプログラム。
4. 前記コンピュータを、前記通信端末装置の加速度計測部で計測される加速度を取得する第二取得手段として機能させ、
   前記判断手段は、
   前記第二取得手段により取得された加速度の単位時間あたりの変化量が第三閾値より大きい場合、前記撮影画像は前記第一状態であると判断し、
   前記第二取得手段により取得された加速度の前記変化量が前記第三閾値より小さい場合、前記撮影画像は前記第二状態であると判断する、機能を含む、請求項１から請求項３の何れか１項に記載のプログラム。
5. 前記コンピュータを、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された場合、前記相手方装置における前記撮影画像の表示サイズを示す第一サイズを取得する第三取得手段として機能させ、
   前記出力制御手段は、
   前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが第四閾値より大きい場合、前記報知情報を前記報知部から出力し、
   前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが前記第四閾値より小さい場合、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項４の何れか１項に記載のプログラム。
6. 前記コンピュータを、前記第一の場合で、且つ、前記第三取得手段により取得された前記第一サイズが前記第四閾値より小さい場合、前記通信端末装置の計時部で時間の経過の計測を開始する計時手段として機能させ、
   前記出力制御手段は、前記計時部で計測される時間が予め定めた基準時間である又は前記基準時間を超えている場合、前記報知情報を前記報知部から出力する機能を含む、請求項５に記載のプログラム。
7. 前記出力制御手段は、前記撮像画像を前記報知部に含まれる表示部に表示する機能を含み、
   前記コンピュータを、前記表示部に前記撮像画像が表示されている場合、表示中の前記撮像画像の表示サイズを示す第二サイズを取得する第四取得手段として機能させ、
   前記出力制御手段は、
   前記第一の場合で、且つ、前記表示部に前記撮像画像が表示されていない又は前記第四取得手段により取得された前記第二サイズが第五閾値より小さい場合、前記報知情報を前記報知部から出力し、
   前記第一の場合で、且つ、前記第四取得手段により取得された前記第二サイズが前記第五閾値より大きい場合、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項６の何れか１項に記載のプログラム。
8. 前記出力制御手段は、
   前記第一の場合で、且つ、前記送信制御手段による前記映像データの送信が中断されていない場合、前記報知情報を前記報知部から出力し、
   前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記送信制御手段による前記映像データの送信が中断されている場合、前記撮影画像が表示されていることを示す前記画像表示設定に関わらず、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項７の何れか１項に記載のプログラム。
9. 前記コンピュータを、前記遠隔会議において予め設定される、前記遠隔会議で実行可能な機能の度合いを示す権限に関し前記通信端末装置に対して設定された権限情報を取得する第五取得手段として機能させ、
   前記出力制御手段は、
   前記第一の場合で、且つ、前記第五取得手段により取得された前記権限情報が第六閾値より高い場合、前記報知情報を前記報知部から出力し、
   前記第一の場合で、且つ、前記第五取得手段により取得された前記権限情報が前記第六閾値より低い場合、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項８の何れか１項に記載のプログラム。
10. 前記コンピュータを、
    前記通信端末装置の集音部で集音された音に対応したデータのボリュームを検出する検出手段として機能させ、
    前記出力制御手段は、
    前記第一の場合で、且つ、前記検出手段により検出された前記ボリュームが第七閾値より高い場合、前記報知情報を前記報知部から出力し、
    前記第一の場合で、且つ、前記検出手段により検出された前記ボリュームが前記第七閾値より低い場合、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項９の何れか１項に記載のプログラム。
11. 前記出力制御手段は、前記報知部からの前記報知情報の出力を所定のタイミングで停止する機能を含み、
    前記コンピュータを、前記報知部から出力された前記報知情報の報知回数をカウントするカウント手段として機能させ、
    前記出力制御手段は、
    前記第一の場合で、且つ、前記カウント手段によりカウントされた前記報知回数が第八閾値より小さい場合、前記報知情報を前記報知部から出力し、
    前記第一の場合で、且つ、前記カウント手段によりカウントされた前記報知回数が前記第八閾値より大きい場合、前記報知情報を前記報知部から出力しない、機能を含む、請求項１から請求項１０の何れか１項に記載のプログラム。
12. ネットワークを介した遠隔会議に用いられる通信端末装置であって、
    前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信制御手段と、
    前記撮影画像の状態を判断する判断手段と、
    前記送信制御手段による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する第一取得手段と、
    前記判断手段で前記撮影画像が第一状態であると判断され、且つ、前記第一取得手段により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断手段で前記撮影画像が第二状態であると判断され、又は、前記第一取得手段により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力制御手段と、を備える通信端末装置。
13. ネットワークを介した遠隔会議に用いられる通信端末装置で実行される遠隔会議方法であって、
    前記通信端末装置の撮影部で撮影された撮影画像に対応した映像データを、前記ネットワークに接続された前記通信端末装置の通信部から前記遠隔会議の相手方となる相手方装置に送信する送信工程と、
    前記撮影画像の状態を判断する判断工程と、
    前記送信工程による前記映像データの送信に応じて、前記相手方装置において前記撮影画像が表示されているか否かを示す画像表示設定を取得する取得工程と、
    前記判断工程で前記撮影画像が第一状態であると判断され、且つ、前記取得工程により前記撮影画像が表示されていることを示す前記画像表示設定が取得された第一の場合、所定の報知情報を前記通信端末装置の報知部から出力し、前記判断工程で前記撮影画像が第二状態であると判断され、又は、前記取得工程により前記撮影画像が表示されていないことを示す前記画像表示設定が取得された第二の場合、前記報知情報を前記報知部から出力しない出力工程と、を含む遠隔会議方法。

Images