JP2013126103A - 通信装置および通信制御方法 - Google Patents

通信装置および通信制御方法 Download PDF

Info

Publication number
JP2013126103A
JP2013126103A JP2011273596A JP2011273596A JP2013126103A JP 2013126103 A JP2013126103 A JP 2013126103A JP 2011273596 A JP2011273596 A JP 2011273596A JP 2011273596 A JP2011273596 A JP 2011273596A JP 2013126103 A JP2013126103 A JP 2013126103A
Authority
JP
Japan
Prior art keywords
sound pressure
pressure level
video
transmission rate
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011273596A
Other languages
English (en)
Inventor
Naohisa Sada
尚久 佐田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011273596A priority Critical patent/JP2013126103A/ja
Publication of JP2013126103A publication Critical patent/JP2013126103A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】通信帯域の負荷の軽減を図る。
【解決手段】通信装置は、音圧レベル測定部と映像制御部を備えて、映像情報および音声情報を他の通信装置に送信するとともに、他の通信装置から送信された映像情報および音声情報を受信する。音圧レベル測定部は、送信する音声情報に対応する音声の音圧レベルを測定する。映像制御部は、測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する。
【選択図】図1

Description

本発明は、通信装置および通信制御方法に関する。
近年、IP(Internet Protocol)ネットワークの通信速度が高速化し、音声や映像を含むマルチメディア情報の通信が急速に進展している。このような状況の中で、企業を中心として広く普及しつつあるものの1つに、電子会議システムが挙げられる。
電子会議システムは、ネットワークに接続する参加者端末から送信された音声、映像に対し、映像の分配、音声のミキシング等の制御を行うことで、全参加者が音声、映像を受信して、ネットワークを通じて会議を行うシステムである。
このような電子会議システムの例として、議長に指定された発言者の映像の圧縮率は低くし、その他の利用者の映像は圧縮率を高くして、電子会議を行う技術が提案されている。
特開平8−294102号公報
電子会議システムにおいて、会議の開始から終了まで、参加者の通信帯域が固定的に確保されている場合には、ネットワークに接続される参加者端末の台数が多くなるほど、電子会議を利用する通信帯域が増加し、トラフィック負荷が重くなるといった問題があった。
本発明はこのような点に鑑みてなされたものであり、通信帯域の低減を図った通信装置および通信制御方法を提供することを目的とする。
上記課題を解決するために、映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置が提供される。この通信装置は、送信する音声情報に対応する音声の音圧レベルを測定する音圧レベル測定部と、測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する映像制御部と、を有する。
また、上記課題を解決するために、上記の通信装置と同様の処理を実行する通信制御方法が提供される。映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置における通信制御方法は、送信する音声情報に対応する音声の音圧レベルを測定し、測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する。
通信帯域の低減を図ることが可能になる。
第1の実施の形態に係る通信装置の構成例および処理例を示す図である。 第2の実施の形態に係る電子会議システムの構成例および通信装置間のデータの流れを示す図である。 通信装置のハードウェアの構成例を示す図である。 通信装置の送信側機能の構成例を示す図である。 通信装置の受信側機能の構成例を示す図である。 音声診断部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。 固定モードでの画面表示例を示す図である。 追従モードでの画面表示例を示す図である。 表示映像制御部の動作フローを示す図である。 状態遷移を示す図である。 通信装置の送信側機能の構成例を示す図である。 通信装置の受信側機能の構成例を示す図である。 映像圧縮制御部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。 通信装置の送信側機能の構成例を示す図である。 通信装置の受信側機能の構成例を示す図である。 映像圧縮制御部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。 映像圧縮制御部の動作フローを示す図である。
以下、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
図1は第1の実施の形態に係る通信装置の構成例および処理例を示す図である。通信装置1は、音圧レベル測定部2と映像制御部3を備え、映像情報および音声情報を他の通信装置に送信するとともに、他の通信装置から送信された映像情報および音声情報を受信する。
音圧レベル測定部2は、送信する音声情報に対応する音声の音圧レベルを測定する。映像制御部3は、測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する。
映像制御部3は、例えば図1の下段に示すように、通信装置1の使用者が発言状態にある場合、具体的には、音圧レベル測定部2で測定された音圧レベルが閾値以上である状態が一定時間以上続いた場合には、送信する映像情報の伝送レートを第1の伝送レートに設定する。一方、映像制御部3は、使用者が聴聞状態にある場合、具体的には、測定された音圧レベルが閾値未満である状態が一定時間以上続いた場合には、送信する映像情報の伝送レートを第1の伝送レートよりも低い第2の伝送レートに設定する。
このように、通信装置1は、送信する音声情報に対応する音声の音圧レベルを測定し、測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する構成とした。これにより、通信帯域を低減することが可能になる。
なお、上記の引用文献1(特開平8−294102号公報)では、議長に発言許可された発言者の映像の圧縮率を低下させる構成であるため、発言許可されない発言者の映像圧縮率は低下されない。
これに対して、通信装置1では、参加者が自由に発言し合う会議において、音声の音圧レベルにもとづいて、発言者および聴聞者を自動的に識別して、聴聞者の映像伝送レートを低下して、通信帯域の低減を図るものであり、引用文献1は、このような機能は有していない。
[第2の実施の形態]
図2は第2の実施の形態に係る電子会議システムの構成例および通信装置間のデータの流れを示す図である。ネットワーク4に対して、3台の通信装置1a−1〜1a−3が接続して会議グループを形成している例を示している。
ネットワーク4は、有線または無線で構成される例えばIPネットワークである。通信装置1a−1〜1a−3は、音声入力機能(マイク等)および映像入力機能(カメラ等)を備えたコンピュータ端末である。通信装置1a−1〜1a−3は、各装置を使用する参加者の映像信号および音声信号を符号化して圧縮し、他の参加者が使用する他の通信装置のすべてに対して、例えばマルチキャストによって送信する。また、通信装置1a−1〜1a−3は、他の参加者が使用する他の通信装置から送信された映像信号および音声信号を復号化して、画面への映像表示およびスピーカから音声出力を行う。
図2の例では、通信装置1a−1は、ネットワーク4を通じて、映像・音声信号を通信装置1a−2、1a−3へ送信し、通信装置1a−2、1a−3から送信された、それぞれの映像・音声信号を受信している。
また、通信装置1a−2は、ネットワーク4を通じて、映像・音声信号を通信装置1a−1、1a−3へ送信し、通信装置1a−1、1a−3から送信された、それぞれの映像・音声信号を受信している。
さらに、通信装置1a−3は、ネットワーク4を通じて、映像・音声信号を通信装置1a−1、1a−2へ送信し、通信装置1a−1、1a−2から送信された、それぞれの映像・音声信号を受信している。
次に通信装置1aのハードウェア構成について説明する。図3は通信装置のハードウェアの構成例を示す図である。
通信装置1aは、CPU(Central Processing Unit)31、メモリ32、HDD(Hard Disk Drive)33、ネットワークIF(インタフェース)34、マイク35、カメラ36、スピーカ37およびディスプレイ38を備え、各構成要素はバス39で接続されている。
CPU31は、通信装置1aの動作に関わる一連のプログラム演算を行う。メモリ32は、コンピュータとしての通信装置1aの一次記憶装置として使用され、CPU31に実行されるプログラムなどの各種のデータを一時的に記憶する。HDD33は、コンピュータとしての通信装置1aの二次記憶装置として使用され、CPU31に実行させるプログラムなどの各種のデータを格納する。なお、二次記憶装置としては、例えばフラッシュメモリなどの他の不揮発性記憶装置が使用されてもよい。ネットワークIF34は、ネットワーク4とのデータ送受信のインタフェース処理を行う。
マイク35は、音声を入力し、カメラ36は、映像を入力する。スピーカ37は、受信した音声を出力し、ディスプレイ38は、参加者の自身の映像表示および受信した相手参加者の映像表示を行う。
次に通信装置1aの処理機能の構成例について説明する。なお、以降の説明では、送信機能と受信機能とに分けて説明するが、実際には1台の通信装置1aが送受信両方の機能を有している。
図4は通信装置の送信側機能の構成例を示す図である。
通信装置1aの送信側の構成要素としては、ネットワークIF34、マイク35、カメラ36、音声入力部11、音声診断部12、音声圧縮制御部13、音声符号化部14、映像入力部15、映像圧縮制御部16a、映像符号化部17および多重部18を備える。ここで、例えば、音声診断部12、音声圧縮制御部13、音声符号化部14、映像圧縮制御部16a、映像符号化部17および多重部18の処理は、CPU31が所定のプログラムを実行することで実現される。
なお、図1の音圧レベル測定部2は、音声診断部12の機能を含む。また、図1の映像制御部3は、映像圧縮制御部16aおよび映像符号化部17の機能を含む。
音声入力部11は、マイク35に入力された音声を取り込み、デジタル音声信号を出力する。音声診断部12は、入力された音声の大きさ(音圧レベル)を測定する。音声圧縮制御部13は、音声圧縮モードの種類を選択する。音声符号化部14は、選択された音声圧縮モードにもとづいて、音声入力部11からのデジタル音声信号に音声符号化処理を行って圧縮・符号化し、符号化音声信号を生成する。
映像入力部15は、カメラ36に入力された映像を取り込み、デジタル映像信号を出力する。映像圧縮制御部16aは、音声診断部12で測定された音圧レベルにもとづき、映像圧縮モードの種類、映像のフレームサイズおよびフレームレート等を選択し、参加者の発言状態または聴聞状態に応じた、映像情報の伝送レート設定制御を行う。
映像符号化部17は、選択された映像圧縮モードの種類、フレームサイズおよびフレームレート等にもとづいて、映像入力部15からのデジタル映像信号に映像符号化処理を行って圧縮・符号化し、符号化映像信号を生成する。
多重部18は、符号化音声信号と符号化映像信号とを多重化し、所定の通信プロトコルにもとづくアドレス等を付加して、映像・音声パケットストリームを生成する。ネットワークIF34は、映像・音声パケットストリームをネットワーク4へ出力するインタフェース処理を行う。
図5は通信装置の受信側機能の構成例を示す図である。
通信装置1aの受信側の構成要素としては、ネットワークIF34、スピーカ37、ディスプレイ38、分離部21、音声受信部22、音声復号化部23、音声出力部24、映像受信部25、映像復号化部26、表示映像制御部27および映像出力部28を備える。ここで、例えば、分離部21、音声受信部22、音声復号化部23、映像受信部25、映像復号化部26および表示映像制御部27の処理は、CPU31が所定のプログラムを実行することで実現される。
ネットワークIF34は、ネットワーク4を通じて映像・音声パケットストリームを受信するインタフェース処理を行う。分離部21は、映像・音声パケットストリームの受信処理を行って、音声信号と映像信号とを分離する。
音声受信部22は、音声信号の受信処理を行う。音声復号化部23は、音声信号の復号化制御を行う。音声出力部24は、復号化された音声信号のドライブ制御を行ってスピーカ37へ出力する。スピーカ37は音声を出力する。
映像受信部25は、映像信号の受信処理を行う。映像復号化部26は、映像信号の復号化制御を行う。表示映像制御部27は、映像信号の表示サイズ等の調整制御を行う。
映像出力部28は、復号化された映像信号のドライブ制御を行ってディスプレイ38へ出力する。ディスプレイ38は、調整された表示サイズ等にもとづいて映像を表示する。
次に音声診断部12の動作について説明する。図6は音声診断部の動作フローを示す図である。
〔S1〕音声診断部12は、例えばHDD33から、あらかじめ設定された遅延時間の初期設定値を読み込む。この遅延時間は、音圧レベルを測定する際の測定周期時間であって、任意の値を設定可能である。
〔S2〕音声診断部12は、入力された音声の音圧レベルを測定し、測定値をメモリ32に保持する。また、音声診断部12はタイマ機能を備え、時間のカウントを実行する。
〔S3〕音声診断部12は、タイマのタイムカウント値が遅延時間に達した場合は、ステップS2へ戻る(再度、音圧レベルを測定する)。
上記のように、音声診断部12は、入力される音声の音圧レベルを測定し、測定値を保持する。また、遅延時間に相当する間隔で繰り返し音圧レベルを測定する。なお、過去の測定値は新しい測定値によって上書き処理される。
次に映像圧縮制御部16aの動作について説明する。図7、図8は映像圧縮制御部の動作フローを示す図である。
〔S11〕映像圧縮制御部16aは、例えばHDD33から、あらかじめ設定された初期設定値を読み込む。初期設定値の各パラメータとしては、例えば、発言状態のときのフレームサイズ(縦サイズ、横サイズ)、発言状態のときのフレームレート、発言継続時間閾値、聴聞状態のときのフレームサイズ(縦サイズ、横サイズ)、聴聞状態のときのフレームレート、聴聞継続時間閾値および音圧レベル閾値がある。
ここで、初期設定値においては、通信装置から送信される符号化映像信号の転送レートが、聴聞状態よりも発言状態の方が高くなるように設定される。例えば、発言状態のときのフレームサイズおよびフレームレートは、聴聞状態のときのフレームサイズおよびフレームレートより、ともに高く設定される。あるいは、フレームサイズまたはフレームレートの一方について、聴聞状態よりも発言状態の方が高く設定されてもよい。また、パラメータの他の例として、発言状態、聴聞状態のそれぞれについての映像圧縮率が設定されてもよい。この場合、発言状態のときの映像圧縮率は、聴聞状態のときの映像圧縮率よりも低い圧縮率に設定されればよい。
なお、上記の各パラメータはユーザの操作によって任意に設定可能である。
〔S12〕映像圧縮制御部16aは、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。なお、後述する追従モードに設定されている場合には、ステップS12では聴聞状態のときのフレームサイズとフレームレートが映像符号化部17に設定されてもよい。
〔S13〕映像圧縮制御部16aは、内部に有している発言継続カウンタおよび聴聞継続カウンタに対して、発言継続カウンタおよび聴聞継続カウンタのカウント値を初期化する。状態遷移としては、ステップS13の処理により、発言状態へ遷移する(状態遷移については図12で後述する)。
〔S14〕映像圧縮制御部16aは、マイク35とカメラ36がアクティブ状態にあるかを確認する。なお、映像圧縮制御部16aは、ステップS14以降から、当該通信装置を使用する会議参加者が、発言状態にあるか、聴聞状態にあるかの識別処理を行う。
〔S15〕映像圧縮制御部16aは、マイク35とカメラ36が共に動作中であるか否かを判定する。マイク35とカメラ36が共に動作中であるならば、ステップS16へ行く。マイク35またはカメラ36の少なくとも一方が動作していない場合、異常が発生したと判断され、ステップS12へ戻り、発言状態時における高画質のフレームレートおよびフレームサイズでの設定が継続される。
〔S16〕映像圧縮制御部16aは、音声診断部12から音圧レベルの測定値を取得する。
〔S17〕映像圧縮制御部16aは、現在の状態が発言状態であるか否かを判定する。発言状態である場合はステップS18へ行き、そうでなければステップS25へ行く。
〔S18〕映像圧縮制御部16aは、音圧レベルが音圧閾値以上か否かを判定する。音圧レベルが音圧閾値以上ある場合は、ステップS19へ行き、音圧閾値未満の場合は、ステップS20へ行く。
〔S19〕映像圧縮制御部16aは、聴聞継続カウンタを初期化する。ステップS24へ行く。
〔S20〕映像圧縮制御部16aは、聴聞継続カウンタのカウント値(聴聞継続カウント値)が、聴聞継続時間閾値に達したか否かを判定する。聴聞継続時間閾値に達しない場合は、ステップS21へ行き、達した場合はステップS22へ行く。
〔S21〕映像圧縮制御部16aは、聴聞継続カウンタのカウント値をインクリメントする。ステップS24へ行く。
〔S22〕映像圧縮制御部16aは、聴聞状態へ遷移し、聴聞状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S23〕映像圧縮制御部16aは、聴聞継続カウンタを初期化する。状態遷移としては、ステップS23の処理の時点で、聴聞状態へ遷移する。
〔S24〕映像圧縮制御部16aは、音声診断部12で周期的に測定される音圧レベルの測定開始時間を待つ。音声診断部12内のタイマがタイムアウトして、音圧レベルの測定開始時間になったことを認識すると、ステップS14へ戻る。
〔S25〕映像圧縮制御部16aは、音圧レベルは音圧閾値未満か否かを判定する。音圧レベルが音圧閾値未満の場合はステップS26へ行き、音圧閾値以上の場合はステップS27へ行く。
〔S26〕映像圧縮制御部16aは、発言継続カウンタのカウント値を初期化する。ステップS24へ戻る。
〔S27〕映像圧縮制御部16aは、発言継続カウンタのカウント値(発言継続カウント値)が、発言継続時間閾値に達したか否かを判定する。発言継続時間閾値に達しない場合は、ステップS28へ行き、達した場合はステップS29へ行く。
〔S28〕映像圧縮制御部16aは、発言継続カウンタのカウント値をインクリメントする。ステップS24へ戻る。
〔S29〕映像圧縮制御部16aは、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S30〕映像圧縮制御部16aは、発言継続カウンタのカウント値を初期化する。ステップS24へ戻る。状態遷移としては、ステップS30の処理の時点で、発言状態へ遷移する。
次に表示サイズ変更モードについて説明する。表示サイズ変更モードには、固定モードと追従モードとがある。
図9は、固定モードでの画面表示例を示す図である。
図9に示す画面40は、表示映像制御部27によって固定モードが選択された場合にディスプレイ38に表示される画面表示の一例である。ここでは例として、画面40を表示させている通信装置1aは4台の他の通信装置と通信し、他の通信装置のそれぞれが会議の出席者A〜Dの映像を送信するものとする。また、通信装置から送信される映像信号のフレームサイズは、聴聞状態より発言状態の方が大きく設定されるものとする。
画面40は領域41a〜41dに分割され、領域41a〜41dのそれぞれには、出席者A〜Dがそれぞれ映った画像42a〜42dが表示される。固定モードでは、画像42a〜42dは、他の通信装置から受信した映像信号のフレームサイズに関係なく、常に一定とされる。従って、表示映像制御部27は、他の通信装置から受信した映像信号の表示サイズを、画像42a〜42dの表示サイズに合わせて必要に応じて拡大または縮小する。
図10は、追従モードでの画面表示例を示す図である。なお、図10では、図9に対応する要素には同じ符号を付して示す。
図10に示す画面40a,40bは、表示映像制御部27によって追従モードが選択された場合にディスプレイ38に表示される画面表示の一例である。図9の固定モードの場合と同様に、追従モードの場合でも、画面40a,40bは領域41a〜41dに分割され、領域41a〜41dのそれぞれには、出席者A〜Dがそれぞれ映った画像42a〜42dが表示される。ただし、追従モードでは、画像42a〜42dの表示サイズが受信した映像信号のフレームサイズに追従して変化する。
例えば、画面40aは、出席者A〜Dが全員発言をしておらず、他の通信装置のすべてが出力する映像信号のフレームサイズが、聴聞状態の値に設定されたときの画面表示例である。この場合、画像42a〜42dはすべて同じサイズで表示される。ここで、出席者Aが発言し、出席者Aが使用する通信装置が、送信する映像信号のフレームサイズを発言状態の値に変更したものとする。このとき、画面40bのように、出席者Aが映った画像42aのみが拡大されて表示される。
すなわち、追従モードでは、表示映像制御部27は、発言状態にある出席者の画像を聴聞状態にある出席者の画像より大きく表示させる。これにより、ディスプレイ38を視認する出席者は、誰が発言しているかを容易に認識できるようになる。表示映像制御部27は、例えば、受信した映像信号のフレームサイズを変更せずに、映像復号化部26で復号化された映像信号を映像出力部28に転送することで、上記のような表示サイズ制御を実行する。
次に表示映像制御部27の動作について説明する。図11は表示映像制御部の動作フローを示す図である。
〔S101〕表示映像制御部27は、初期設定値の読み込みを行う。初期設定値のパラメータとしては、例えば、表示サイズ変更モード(追従/固定)、固定モードの映像サイズ(縦、横)がある。
〔S102〕表示映像制御部27は、映像復号化部26から1フレームの映像を取得する。
〔S103〕表示映像制御部27は、表示サイズ変更モードが追従モードか否かを判定する。追従モードでない場合はステップS104へ行き、追従モードの場合はステップS105へ行く。
〔S104〕表示映像制御部27は、固定モードの映像サイズに合わせて画像を拡大/縮小する。
〔S105〕表示映像制御部27は、映像出力部28に対して、表示制御を施した映像を入力する。
次に発言状態と聴聞状態との状態遷移について説明する。図12は状態遷移を示す図である。
〔状態遷移#1〕聴聞状態から聴聞状態への状態遷移である。聴聞状態にあるときに、入力音声の音圧レベルが音圧閾値未満の場合は、聴聞状態が継続する。また、聴聞状態にあるときに、音圧閾値以上の音圧レベルを持つ音声が、発言継続時間閾値以上連続して入力しない場合は、聴聞状態が継続する。
〔状態遷移#2〕聴聞状態から発言状態への状態遷移である。聴聞状態にあるときに、音圧閾値以上の音圧レベルを持つ音声が、発言継続時間閾値以上連続して入力する場合は、発言状態へ遷移する。また、聴聞状態にあるときに、マイク35またはカメラ36の動作が停止している場合は、発言状態へ遷移する(デフォルト状態を発言状態としている)。
〔状態遷移#3〕発言状態から発言状態への状態遷移である。発言状態にあるときに、音圧閾値以上の音声入力がある場合は、発言状態が継続する。また、発言状態にあるときに、音圧閾値未満の音圧レベルを持つ音声が、聴聞継続時間閾値以上連続して入力しない場合は、発言状態が継続する。さらに、発言状態にあるときに、マイク35またはカメラ36の動作が停止している場合は、発言状態が継続する。
〔状態遷移#4〕発言状態から聴聞状態への状態遷移である。発言状態にあるときに、音圧閾値未満の音圧レベルを持つ音声が、聴聞継続時間閾値以上連続して入力する場合は、聴聞状態へ遷移する。
なお、追従モードに設定されている場合には、デフォルト状態を聴聞状態としてもよい。
以上説明したように、通信装置1aの映像圧縮制御部16aは、初期状態では、発言状態のフレームレートおよびフレームサイズで動作する。また、映像圧縮制御部16aは、遅延時間に相当する間隔で音声診断部12より、音圧レベルの測定値を取得し、取得値が音圧閾値以上なのか音圧閾値未満なのか判定する。
そして、映像圧縮制御部16aは、聴聞継続時間閾値に相当する時間連続して音圧閾値未満の音声が入力した場合には、聴聞状態になったと判定して、発言状態より低いフレームレートおよびフレームサイズを設定する。
また、映像圧縮制御部16aは、聴聞状態において、発言継続時間閾値に相当する時間連続して音圧閾値以上の音声が入力した場合には、発言状態になったと判定して、発言状態のときのフレームレートおよびフレームサイズを設定する。
これにより、聴聞状態の通信装置からは、発言状態のときのデータ量より少ないデータ量の映像が送信される。その結果、ネットワークを流れるデータ量を減少させることができ、通信帯域を低減し、トラフィック負荷を軽減することが可能になる。
次に第2の実施の形態の変形例について説明する。第1の変形例は、自装置が発言状態にあり、なおかつ、自装置を使用する参加者が一定時間発言を停止したときに、他の通信装置を使用するどの参加者も発言していない場合には、自装置から送信する映像の伝送レートは下げないとする場合である。
図13は通信装置の送信側機能の構成例を示す図であり、図14は通信装置の受信側機能の構成例を示す図である。
第1の変形例の通信装置1bの送信側の構成要素としては、ネットワークIF34、マイク35、カメラ36、音声入力部11、音声診断部12、音声圧縮制御部13、音声符号化部14、映像入力部15、映像圧縮制御部16b、映像符号化部17および多重部18を備える。
また、通信装置1bの受信側の構成要素としては、ネットワークIF34、スピーカ37、ディスプレイ38、分離部21、音声受信部22、音声復号化部23、音声診断部29b、音声出力部24、映像受信部25、映像復号化部26、表示映像制御部27および映像出力部28を備える。
図4、図5に示した通信装置1aと異なる箇所は、通信装置1bは、新たに受信側機能に音声診断部29bを含み、音声診断部12と音声診断部29bとは、映像圧縮制御部16bと接続する。
ここで、音声診断部12は、自装置に入力された音声の第1の音圧レベル(送信側音圧レベル)を測定する。音声診断部29bは、他の通信装置からネットワーク4を通じて受信した音声の第2の音圧レベル(受信側音圧レベル)を測定する。映像圧縮制御部16bは、測定された送信側音圧レベルおよび受信側音圧レベルにもとづき、自装置の入力映像の映像処理を行って、映像情報の伝送レートを変更する。
次に映像圧縮制御部16bの動作について説明する。図15〜図17は映像圧縮制御部の動作フローを示す図である。
〔S31〕映像圧縮制御部16bは、あらかじめ設定された初期設定値の読み込みを行う。初期設定値の各パラメータとしては、例えば、発言状態のときのフレームサイズ(縦サイズ、横サイズ)、発言状態のときのフレームレート、発言継続時間閾値、聴聞状態のときのフレームサイズ(縦サイズ、横サイズ)、聴聞状態のときのフレームレート、聴聞継続時間閾値および音圧レベル閾値がある。
〔S32〕映像圧縮制御部16bは、初期運用時、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S33〕映像圧縮制御部16bは、内部に有している発言継続カウンタおよび聴聞継続カウンタに対して、発言継続カウンタおよび聴聞継続カウンタのカウント値を初期化する。
〔S34〕映像圧縮制御部16bは、マイク35とカメラ36がアクティブ状態にあることを確認する。
〔S35〕映像圧縮制御部16bは、マイク35とカメラ36が共に動作中であるか否かを判定する。マイク35とカメラ36が共に動作中であるならば、ステップS36へ行く。マイク35またはカメラ36の少なくとも一方が動作していない場合は、ステップS32へ戻り、発言状態時における高画質のフレームレートおよびフレームサイズでの設定が継続される。
〔S36〕映像圧縮制御部16bは、音声診断部12から、送信側の音圧レベルの測定値を取得する。すなわち、自装置の入力音声の第1の音圧レベルの測定値を取得する。
〔S37〕映像圧縮制御部16bは、現在の状態が発言状態であるか否かを判定する。発言状態である場合はステップS38へ行き、そうでなければステップS45へ行く。
〔S38〕映像圧縮制御部16bは、送信側音圧レベルが音圧閾値以上か否かを判定する。音圧レベルが音圧閾値以上ある場合は、ステップS39へ行き、音圧閾値未満の場合は、ステップS40へ行く。
〔S39〕映像圧縮制御部16bは、聴聞継続カウンタを初期化する。ステップS44へ行く。
〔S40〕映像圧縮制御部16bは、聴聞継続カウンタのカウント値(聴聞継続カウント値)が、聴聞継続時間閾値に達したか否かを判定する。聴聞継続時間閾値に達しない場合は、ステップS41へ行き、達した場合はステップS4aへ行く。
〔S41〕映像圧縮制御部16bは、聴聞継続カウンタのカウント値をインクリメントする。ステップS44へ行く。
〔S4a〕映像圧縮制御部16bは、音声診断部29bから受信側音圧レベルの測定値を取得する。すなわち、他の通信装置に入力された音声の第2の音圧レベルの測定値を取得する。
〔S4b〕映像圧縮制御部16bは、受信側音圧レベルが音圧閾値以上か否かを判定する。他の通信装置のうち少なくとも1つの通信装置から受信した音声の音圧レベルが音圧閾値以上ある場合は、ステップS42へ行き、他の通信装置のいずれからの音声の音圧レベルも音圧閾値未満の場合は、ステップS44へ行く。
〔S42〕映像圧縮制御部16bは、聴聞状態へ遷移し、聴聞状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S43〕映像圧縮制御部16bは、聴聞継続カウンタを初期化する。
〔S44〕映像圧縮制御部16bは、音声診断部12で周期的に測定される音圧レベルの測定開始時間を待つ。音声診断部12内のタイマがタイムアウトして、音圧レベルの測定開始時間になったことを認識すると、ステップS34へ戻る。
〔S45〕映像圧縮制御部16bは、送信側音圧レベルは音圧閾値未満か否かを判定する。送信側音圧レベルが音圧閾値未満の場合はステップS46へ行き、音圧閾値以上の場合はステップS47へ行く。
〔S46〕映像圧縮制御部16bは、発言継続カウンタのカウント値を初期化する。ステップS44へ戻る。
〔S47〕映像圧縮制御部16bは、発言継続カウンタのカウント値(発言継続カウント値)が、発言継続時間閾値に達したか否かを判定する。発言継続時間閾値に達しない場合は、ステップS48へ行き、達した場合はステップS49へ行く。
〔S48〕映像圧縮制御部16bは、発言継続カウンタのカウント値をインクリメントする。ステップS44へ戻る。
〔S49〕映像圧縮制御部16bは、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S50〕映像圧縮制御部16bは、発言継続カウンタのカウント値を初期化する。ステップS44へ戻る。
以上説明したように、第1の変形例の通信装置1bの映像圧縮制御部16bは、送信側音圧レベルが閾値以上の状態が一定時間以上続いた場合は、自装置が発言状態にあるとして、発言状態に対する入力映像の映像処理を行って、発言状態のときの映像情報伝送レートを設定する。
また、映像圧縮制御部16bは、自装置の発言状態から、送信側音圧レベルが閾値未満になる状態が一定時間以上続いた場合、音声診断部29bから受信側音圧レベルの測定値を取得する。このとき、他の通信装置のうちの少なくとも1つから受信した音声の音圧レベルが閾値以上である場合、他の通信装置を使用する1人以上の出席者が発言している場合には、映像圧縮制御部16bは、聴聞状態のときの映像情報伝送レートを設定する。これにより、ネットワークを流れるデータ量を減少させることができる。
一方、自装置の発言状態から、送信側音圧レベルが閾値未満になる状態が一定時間以上続いた後、他の通信装置から受信したいずれの音声の音圧レベルも閾値未満である期間では、映像圧縮制御部16bは、映像情報伝送レートを発言状態のまま維持する。このようなケースでは、他の通信装置を使用するいずれの発言者も発言しておらず、他の通信装置から送信される映像信号の伝送レートが低く設定されている場合が多いため、自装置から送信する映像情報の伝送レートを低くする必要性が低い。このため、映像情報伝送レートを発言状態のまま変更しないことにより、自装置の処理負荷や消費電力を抑制できる。
さらに、上記のように通信装置10bでの映像情報伝送レートが発言状態のまま維持された場合、例えば、表示サイズ変更モードが追従モードに設定された他の通信装置では、通信装置10bから受信した映像の表示サイズが、発言状態に対応する大きいサイズ(例えば、図10の画面40bにおける画像42aの表示サイズ)のまま維持される。この場合、追従モードに設定された他の通信装置では、他の参加者が発言するまでの間、最後に発言した参加者(通信装置10bを使用する参加者)が大きく表示されたままになり、最後の発言者が誰かを容易に認識できるようになる。
また、通信装置10bを使用する参加者が発言を終了した後、他の参加者が誰も発言することなく、通信装置10bを使用する参加者が再度発言した場合には、追従モードに設定された他の通信装置では、通信装置10bを使用する参加者の映像が大きく表示されたままその参加者の発言が継続される。このように、1人の参加者のみが間隔を空けて連続して発言した場合に、その参加者の映像の表示サイズが頻繁に変更されずに、同じサイズで表示され続けられるようになるので、画面表示が自然になり、視認性を高めることが可能になる。
次に第2の実施の形態の第2の変形例について説明する。第2の変形例は、自装置が発言状態にあり、なおかつ、自装置を使用する参加者が一定時間発言を停止したときに、他の参加者が発言中である他の通信装置が一定数以下である場合には、自装置から送信する映像の伝送レートは下げないとする場合である。
図18は通信装置の送信側機能の構成例を示す図であり、図19は通信装置の受信側機能の構成例を示す図である。第2の変形例の通信装置1cの送信側の構成要素としては、ネットワークIF34、マイク35、カメラ36、音声入力部11、音声診断部12、音声圧縮制御部13、音声符号化部14、映像入力部15、映像圧縮制御部16c、映像符号化部17および多重部18を備える。
また、通信装置1cの受信側の構成要素としては、ネットワークIF34、スピーカ37、ディスプレイ38、分離部21、音声受信部22、音声復号化部23、音声出力部24、音声診断部29c、映像受信部25、映像復号化部26、表示映像制御部27および映像出力部28を備える。
図4、図5に示した通信装置1aと異なる箇所は、通信装置1cは、新たに受信側機能に音声診断部29cを含み、音声診断部12と音声診断部29cとは、映像圧縮制御部16cと接続する。
ここで、音声診断部12は、自装置に入力された音声の第1の音圧レベル(送信側音圧レベル)を測定する。音声診断部29cは、ネットワーク4を通じて受信した音声の第2の音圧レベル(受信側音圧レベル)を測定する。音声診断部12は、受信側音圧レベルを、映像送信元の他の通信装置ごとに測定する。映像圧縮制御部16cは、測定された送信側音圧レベルおよび受信側音圧レベルにもとづき、自装置の入力映像の映像処理を行って、映像情報の伝送レートを変更する。
次に映像圧縮制御部16cの動作について説明する。図20〜図22は映像圧縮制御部の動作フローを示す図である。
〔S51〕映像圧縮制御部16cは、あらかじめ設定された初期設定値の読み込みを行う。初期設定値の各パラメータとしては、例えば、発言状態のときのフレームサイズ(縦サイズ、横サイズ)、発言状態のときのフレームレート、発言継続時間閾値、聴聞状態のときのフレームサイズ(縦サイズ、横サイズ)、聴聞状態のときのフレームレート、聴聞継続時間閾値および音圧レベル閾値がある。
〔S52〕映像圧縮制御部16cは、初期運用時、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S53〕映像圧縮制御部16cは、内部に有している発言継続カウンタおよび聴聞継続カウンタに対して、発言継続カウンタおよび聴聞継続カウンタのカウント値を初期化する。
〔S54〕映像圧縮制御部16cは、マイク35とカメラ36がアクティブ状態にあることを確認する。
〔S55〕映像圧縮制御部16cは、マイク35とカメラ36が共に動作中であるか否かを判定する。マイク35とカメラ36が共に動作中であるならば、ステップS36へ行く。マイク35またはカメラ36の少なくとも一方が動作していない場合は、ステップS52へ戻り、発言状態時における高画質のフレームレートおよびフレームサイズでの設定が継続される。
〔S56〕映像圧縮制御部16cは、音声診断部12から送信側音圧レベルの測定値を取得する。
〔S57〕映像圧縮制御部16cは、現在の状態が発言状態であるか否かを判定する。発言状態である場合はステップS58へ行き、そうでなければステップS65へ行く。
〔S58〕映像圧縮制御部16cは、送信側音圧レベルが音圧閾値以上か否かを判定する。送信側音圧レベルが音圧閾値以上ある場合は、ステップS59へ行き、音圧閾値未満の場合は、ステップS60へ行く。
〔S59〕映像圧縮制御部16cは、聴聞継続カウンタを初期化する。ステップS64へ行く。
〔S60〕映像圧縮制御部16cは、聴聞継続カウンタのカウント値(聴聞継続カウント値)が、聴聞継続時間閾値に達したか否かを判定する。聴聞継続時間閾値に達しない場合は、ステップS61へ行き、達した場合はステップS6aへ行く。
〔S61〕映像圧縮制御部16cは、聴聞継続カウンタのカウント値をインクリメントする。ステップS64へ行く。
〔S6a〕映像圧縮制御部16cは、音声診断部29cから受信側音圧レベルの測定値を、音声送信元の他の通信装置ごとに取得する。
〔S6b〕映像圧縮制御部16cは、受信側音圧レベルが音圧閾値以上である他の通信装置が所定数以上か否かを判定する。受信側音圧レベルが音圧閾値以上である他の通信装置が所定数以上ある場合は、ステップS62へ行き、所定数未満の場合は、ステップS64へ行く。
〔S62〕映像圧縮制御部16cは、聴聞状態へ遷移し、聴聞状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S63〕映像圧縮制御部16cは、聴聞継続カウンタを初期化する。
〔S64〕映像圧縮制御部16cは、音声診断部12で周期的に測定される音圧レベルの測定開始時間を待つ。音声診断部12内のタイマがタイムアウトして、音圧レベルの測定開始時間になったことを認識すると、ステップS54へ戻る。
〔S65〕映像圧縮制御部16cは、送信側音圧レベルは音圧閾値未満か否かを判定する。送信側音圧レベルが音圧閾値未満の場合はステップS66へ行き、音圧閾値以上の場合はステップS67へ行く。
〔S66〕映像圧縮制御部16cは、発言継続カウンタのカウント値を初期化する。ステップS64へ戻る。
〔S67〕映像圧縮制御部16cは、発言継続カウンタのカウント値(発言継続カウント値)が、発言継続時間閾値に達したか否かを判定する。発言継続時間閾値に達しない場合は、ステップS68へ行き、達した場合はステップS69へ行く。
〔S68〕映像圧縮制御部16cは、発言継続カウンタのカウント値をインクリメントする。ステップS64へ戻る。
〔S69〕映像圧縮制御部16cは、発言状態へ遷移し、発言状態のときのフレームサイズとフレームレートを映像符号化部17に設定する。
〔S70〕映像圧縮制御部16cは、発言継続カウンタのカウント値を初期化する。ステップS64へ戻る。
以上説明したように、第2の変形例の通信装置1cの映像圧縮制御部16cは、送信側音圧レベルが閾値以上の状態が一定時間以上続いた場合は、自装置が発言状態にあるとして、発言状態に対する入力映像の映像処理を行って、発言状態のときの映像情報伝送レートを設定する。
また、映像圧縮制御部16cは、自装置の発言状態から、送信側音圧レベルが閾値未満になる状態が一定時間以上続いた場合、音声診断部29cから受信側音圧レベルの測定値を取得する。このとき、送信する音声の音圧レベルが閾値以上である他の通信装置が所定数未満である場合、映像圧縮制御部16cは、映像情報伝送レートを発言状態のまま維持する。その後、自装置を使用する参加者が発言しない状態のまま、送信する音声の音圧レベルが閾値以上である他の通信装置が所定数以上になった場合、映像圧縮制御部16cは、映像情報伝送レートを聴聞状態のレートに変更する。
以上の処理をネットワーク上のすべての通信装置1cが実行することで、発言状態の伝送レートに設定された映像情報を送信する通信装置1cの数が、所定数以内に抑えられる。これにより、ネットワークを流れるデータ量を一定量以下に抑制することができる。また、表示サイズ変更モードが追従モードに設定された通信装置1cでは、送信する音声の音圧レベルが閾値以上である通信装置が所定数以下である状態においては、発言を終えた参加者の映像の表示サイズが頻繁に変更されなくなり、画像表示が自然になり、視認性を高めることが可能になる。
なお、上記の各実施の形態に示した通信装置の処理機能は、コンピュータによって実現することができる。その場合、各通信装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable/RW(Rewritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。
以上の各実施の形態に関し、さらに以下の付記を開示する。
(付記1) 映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置において、
送信する音声情報に対応する音声の音圧レベルを測定する音圧レベル測定部と、
測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する映像制御部と、
を有することを特徴とする通信装置。
(付記2) 前記映像制御部は、
前記測定された音圧レベルが閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
前記測定された音圧レベルが前記閾値未満である状態が一定時間以上続いた場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定する、
ことを特徴とする付記1記載の通信装置。
(付記3) 前記通信装置は、送信する音声情報に対応する音声の音圧レベルを測定する第1の音圧レベル測定部に加えて、前記他の通信装置から受信した音声の音圧レベルを測定する第2の音圧レベル測定部を有し、
前記映像制御部は、前記第1の音圧レベル測定部および前記第2の音圧レベル測定部で測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する、
ことを特徴とする付記1記載の通信装置。
(付記4) 前記映像制御部は、
前記第1の音圧レベル測定部で測定された音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベル測定部で測定された音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
前記第2の音圧レベル測定部で測定された音圧レベルが第2の閾値以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
前記第2の音圧レベル測定部で測定された音圧レベルが前記第2の閾値未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
ことを特徴とする付記3記載の通信装置。
(付記5) 前記映像制御部は、
前記第1の音圧レベル測定部で測定された音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベル測定部で測定された音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
前記第2の音圧レベル測定部での測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが第2の閾値以上である音声が所定数以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
前記第2の音圧レベル測定部での測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが前記第2の閾値以上である音声が前記所定数未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
ことを特徴とする付記3記載の通信装置。
(付記6) 映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置における通信制御方法であって、
送信する音声情報に対応する音声の音圧レベルを測定し、
測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する、
ことを特徴とする通信制御方法。
(付記7) 前記測定された音圧レベルが閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
前記測定された音圧レベルが前記閾値未満である状態が一定時間以上続いた場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定する、
ことを特徴とする付記6記載の通信制御方法。
(付記8) 送信する音声情報に対応する音声の第1の音圧レベルを測定することに加えて、前記他の通信装置から受信した音声の第2の音圧レベルを測定し、
測定された前記第1、第2の音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する、
ことを特徴とする付記6記載の通信制御方法。
(付記9) 前記第1の音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
前記第2の音圧レベルが第2の閾値以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
前記第2の音圧レベルが前記第2の閾値未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
ことを特徴とする付記8記載の通信制御方法。
(付記10) 前記第1の音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
前記第2の音圧レベルの測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが第2の閾値以上である音声が所定数以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
前記第2の音圧レベルの測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが前記第2の閾値以上である音声が前記所定数未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
ことを特徴とする付記8記載の通信制御方法。
1 通信装置
2 音圧レベル測定部
3 映像制御部

Claims (6)

  1. 映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置において、
    送信する音声情報に対応する音声の音圧レベルを測定する音圧レベル測定部と、
    測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する映像制御部と、
    を有することを特徴とする通信装置。
  2. 前記映像制御部は、
    前記測定された音圧レベルが閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
    前記測定された音圧レベルが前記閾値未満である状態が一定時間以上続いた場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定する、
    ことを特徴とする請求項1記載の通信装置。
  3. 前記通信装置は、送信する音声情報に対応する音声の音圧レベルを測定する第1の音圧レベル測定部に加えて、前記他の通信装置から受信した音声の音圧レベルを測定する第2の音圧レベル測定部を有し、
    前記映像制御部は、前記第1の音圧レベル測定部および前記第2の音圧レベル測定部で測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する、
    ことを特徴とする請求項1記載の通信装置。
  4. 前記映像制御部は、
    前記第1の音圧レベル測定部で測定された音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
    送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベル測定部で測定された音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
    前記第2の音圧レベル測定部で測定された音圧レベルが第2の閾値以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
    前記第2の音圧レベル測定部で測定された音圧レベルが前記第2の閾値未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
    ことを特徴とする請求項3記載の通信装置。
  5. 前記映像制御部は、
    前記第1の音圧レベル測定部で測定された音圧レベルが第1の閾値以上である状態が一定時間以上続いた場合は、送信する映像情報の伝送レートを第1の伝送レートに設定し、
    送信する映像情報の伝送レートが前記第1の伝送レートに設定された状態から、前記第1の音圧レベル測定部で測定された音圧レベルが前記第1の閾値未満である状態が一定時間以上続いたとき、
    前記第2の音圧レベル測定部での測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが第2の閾値以上である音声が所定数以上の場合には、送信する映像情報の伝送レートを前記第1の伝送レートよりも低い第2の伝送レートに設定し、
    前記第2の音圧レベル測定部での測定結果にもとづき、前記他の通信装置のそれぞれから受信した音声のうち音圧レベルが前記第2の閾値以上である音声が前記所定数未満の場合には、送信する映像情報の伝送レートを前記第1の伝送レートに維持する、
    ことを特徴とする請求項3記載の通信装置。
  6. 映像情報および音声情報を他の通信装置に送信するとともに、前記他の通信装置から送信された映像情報および音声情報を受信する通信装置における通信制御方法であって、
    送信する音声情報に対応する音声の音圧レベルを測定し、
    測定された音圧レベルにもとづいて、送信する映像情報の伝送レートを変更する、
    ことを特徴とする通信制御方法。
JP2011273596A 2011-12-14 2011-12-14 通信装置および通信制御方法 Pending JP2013126103A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011273596A JP2013126103A (ja) 2011-12-14 2011-12-14 通信装置および通信制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011273596A JP2013126103A (ja) 2011-12-14 2011-12-14 通信装置および通信制御方法

Publications (1)

Publication Number Publication Date
JP2013126103A true JP2013126103A (ja) 2013-06-24

Family

ID=48777115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011273596A Pending JP2013126103A (ja) 2011-12-14 2011-12-14 通信装置および通信制御方法

Country Status (1)

Country Link
JP (1) JP2013126103A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151974A1 (ja) * 2015-03-24 2016-09-29 ソニー株式会社 情報処理装置、情報処理方法、クライアント装置、サーバ装置および情報処理システム
JP6179834B1 (ja) * 2016-09-27 2017-08-16 パナソニックIpマネジメント株式会社 テレビ会議装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116524A (ja) * 1994-10-18 1996-05-07 Nec Eng Ltd 多地点テレビ会議システム
US5684527A (en) * 1992-07-28 1997-11-04 Fujitsu Limited Adaptively controlled multipoint videoconferencing system
JPH1198481A (ja) * 1997-09-18 1999-04-09 Canon Inc 通信システム及び情報処理装置及び方法及び記憶媒体
JP2004304410A (ja) * 2003-03-31 2004-10-28 Sony Corp 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JP2005303736A (ja) * 2004-04-13 2005-10-27 Ntt Communications Kk ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム
JP2007081837A (ja) * 2005-09-14 2007-03-29 Aruze Corp テレビ会議端末装置、テレビ会議システム、及びテレビ会議方法
JP2011061450A (ja) * 2009-09-09 2011-03-24 Nippon Telegr & Teleph Corp <Ntt> 会議通信システム、会議通信方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684527A (en) * 1992-07-28 1997-11-04 Fujitsu Limited Adaptively controlled multipoint videoconferencing system
JPH08116524A (ja) * 1994-10-18 1996-05-07 Nec Eng Ltd 多地点テレビ会議システム
JPH1198481A (ja) * 1997-09-18 1999-04-09 Canon Inc 通信システム及び情報処理装置及び方法及び記憶媒体
JP2004304410A (ja) * 2003-03-31 2004-10-28 Sony Corp 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JP2005303736A (ja) * 2004-04-13 2005-10-27 Ntt Communications Kk ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム
JP2007081837A (ja) * 2005-09-14 2007-03-29 Aruze Corp テレビ会議端末装置、テレビ会議システム、及びテレビ会議方法
JP2011061450A (ja) * 2009-09-09 2011-03-24 Nippon Telegr & Teleph Corp <Ntt> 会議通信システム、会議通信方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151974A1 (ja) * 2015-03-24 2016-09-29 ソニー株式会社 情報処理装置、情報処理方法、クライアント装置、サーバ装置および情報処理システム
US10142593B2 (en) 2015-03-24 2018-11-27 Sony Corporation Information processing device, information processing method, client device, server device, and information processing system
JP6179834B1 (ja) * 2016-09-27 2017-08-16 パナソニックIpマネジメント株式会社 テレビ会議装置
JP2018056719A (ja) * 2016-09-27 2018-04-05 パナソニックIpマネジメント株式会社 テレビ会議装置

Similar Documents

Publication Publication Date Title
EP2901669B1 (en) Near-end indication that the end of speech is received by the far end in an audio or video conference
US20220174357A1 (en) Simulating audience feedback in remote broadcast events
US9179100B2 (en) Video conferencing method and device thereof
EP2439945B1 (en) Audio panning in a multi-participant video conference
EP1655925B1 (en) Systems, methods and devices for processing audio signals
CN102572369B (zh) 语音音量提示的方法、语音音量提示终端及视频通信系统
US5907351A (en) Method and apparatus for cross-modal predictive coding for talking head sequences
CN104756099B (zh) 添加内容以及相关客户端装置
CN104160687B (zh) 用于识别并且转变到改进的voip会话的方法和系统
US9143728B2 (en) User interface control in a multimedia conference system
EP2863642B1 (en) Method, device and system for video conference recording and playing
JP6172610B2 (ja) テレビ会議用システム
WO2014154065A2 (zh) 传输数据方法、媒体采集设备、视频会议终端及存储介质
CN110099242A (zh) 一种远程直播方法和装置
CN103841348A (zh) 视音频录制效果的调节方法、装置和系统
JP3775455B2 (ja) 会議端末装置および会議関連情報の送信方法
JP3818054B2 (ja) 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体
KR102069695B1 (ko) 분산 텔레프레즌스 서비스 제공 방법 및 장치
JP2013126103A (ja) 通信装置および通信制御方法
KR102179547B1 (ko) 지연시간 기반의 동적 네트워크 서비스 운용 방법 및 장치
Vaalgamaa et al. Audiovisual communication
JP2013046319A (ja) 画像処理装置及び、画像処理方法
US20070248170A1 (en) Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus
JP6481937B2 (ja) テレビ会議用通信装置
US20240259459A1 (en) Dynamic determination of video stream quality discrepancies in a communication session

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150818