JP2007166375A - 映像音声会議システム - Google Patents

映像音声会議システム Download PDF

Info

Publication number
JP2007166375A
JP2007166375A JP2005361635A JP2005361635A JP2007166375A JP 2007166375 A JP2007166375 A JP 2007166375A JP 2005361635 A JP2005361635 A JP 2005361635A JP 2005361635 A JP2005361635 A JP 2005361635A JP 2007166375 A JP2007166375 A JP 2007166375A
Authority
JP
Japan
Prior art keywords
utterance state
video
utterance
terminal device
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005361635A
Other languages
English (en)
Other versions
JP4562649B2 (ja
Inventor
Takeshi Inoue
武 井上
Akira Toyoshima
鑑 豊島
Hitoshi Uematsu
仁 上松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005361635A priority Critical patent/JP4562649B2/ja
Publication of JP2007166375A publication Critical patent/JP2007166375A/ja
Application granted granted Critical
Publication of JP4562649B2 publication Critical patent/JP4562649B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 映像ストリームと音声ストリームとを選択的に受信する映像音声会議システムにおいて、映像または音声それぞれのストリームに対する話者を独立に選択する。
【解決手段】 端末装置は、音声ストリームと映像ストリームとに対して独立に発話状態を決定して通知する。また、音声ストリームと映像ストリームとに対して異なる数の発話者を選択する。
【選択図】 図1

Description

本発明は、会議参加者同士の端末装置をネットワークにより接続することにより映像および音声を用いて会議を実現するシステムに利用する。特に、発話者の端末装置を認識し、発話者の映像および音声を他の参加者の端末装置に配信する技術に関する。
従来の映像音声会議システムでは、各参加者の発話状態に基づいて発話者を選択し、その発話者の映像ストリームを受信する。あるいは、発話状態を判断するために音声ストリームを配信するのではなく、各参加者が発話状態を表す数値データを配信し、その値に基づいて発話者の選択が行われる。これらの映像音声会議方システムでは、音声ストリームは常時配信されており、映像ストリームのみを選択的に受信している。
これにより、参加者の発話に伴って、表示される参加者映像をリアルタイムに変更することができる。また、実際には、トラフィックや復号処理を軽減するために、音声ストリームを選択的に受信することも考えられる。
このような従来技術の具体例を図7ないし図9を参照して説明する。図7のように、端末装置1〜3がネットワーク5に接続されている。簡単のため、選択される発話者数は1とする。ここでは、端末装置1が発話者を選択し、端末装置1のみが他端末装置2または3からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。
図8は従来例の端末装置の要部ブロック構成図である。図8に示すように、各端末装置は、カメラ11、マイクロフォン12、カメラ11により撮影された映像に基づき映像ストリームを生成する映像ストリーム生成部13、マイクロフォン12により集音された音声に基づき音声ストリームを生成する音声ストリーム生成部14、マイクロフォン12により集音された音声に基づき会議参加者の発話状態を判断する発話状態判断部15、発話の開始または終了を他端末装置へ伝達するための発話状態メッセージを生成して送信する発話状態通知部16、他端末装置から到来した発話状態メッセージを受け取って音声ストリームおよび映像ストリームを受信する映像音声受信部17、その時点での発話者と受信者とを記録する管理テーブル18、他端末装置の映像音声受信部17から送出された送信開始メッセージまたは送信停止メッセージを受信し、映像ストリーム生成部13および音声ストリーム生成部14に、映像ストリームおよび音声ストリームの送信開始または送信停止を指示する送信開始・停止メッセージ受信部19により構成される。
端末装置2または3の発話状態判断部15は、マイクロフォン12からの音声入力の変化などから発言レベルを算出する。端末装置2または3の発話状態通知部16は、発言レベルが変化すると、その旨を伝えるための「発話状態メッセージ(発言レベル↑)または(発言レベル↓)」を生成して端末装置1に通知する。「発話状態メッセージ(発言レベル↑)」を受信した端末装置1の映像音声受信部17は、当該「発話状態メッセージ(発言レベル↑)」の送信元の端末装置2または3を発話者として認識する。このときに、複数の端末装置2および3からの「発話状態メッセージ(発言レベル↑)」をほぼ同時に受信した場合には、発言レベルの高い端末装置2または3を発話者として選択する。
図9のシーケンス図を用いて従来例の説明を行う。各端末装置1〜3は、その時点での発話者と受信者とを記録する管理テーブル18を管理する。例えば、図9の最初の状態では、端末装置1にとっての発話者が端末装置2であることがわかる。また、端末装置2にとっての受信者は端末装置1である。このとき、端末装置2が端末装置1に対して映像ストリームと音声ストリームとを送信する。
まず、端末装置2が発話者として選択されているとする。すると、端末装置1は、端末装置2から映像および音声ストリームを受信する。ここで、端末装置3を利用している参加者が、発言を開始したとする。すると、端末装置3の発話状態判断部15はマイクロフォンからの音声入力の変化などから、発言レベルが上がったことを検知する。端末装置3の発話状態通知部16は、その旨を伝えるための「発話状態メッセージ(発言レベル↑)」を端末装置1に送信する。この「発話状態メッセージ(発言レベル↑)」を受信した端末装置1の映像音声受信部17は、端末装置2へ「送信停止メッセージ」を送信し、端末装置3へ「送信開始メッセージ」を送信する。その後、端末装置1は、端末装置3の映像ストリームと音声ストリームとを受信するようになる。
頻繁な映像の切り替えは目に障るため、端末装置3の発話状態判断部15はマイクロフォン12からの音声入力の変化を比較的ゆっくりと検知するように設定されていたとする。この例では、サンプリング時間を長く設定することによって、ゆっくり検知する。すると、発話と判定されるまでに時間がかかるため、音声の話頭切断が発生しやすくなる。一方、端末装置3の発話状態判断部15がマイクロフォン12からの音声入力の変化を短時間で検知するように設定されていると、話頭切断は回避できるかも知れないが、次に述べるような問題が発生する。
図10のシーケンス図を用いて、端末装置3の近くで物音がしたような状況を考える。例えば、端末装置3の参加者のくしゃみがマイクに拾われたとする。この例では、サンプリング時間を短く設定することによって、発話状態の変化を機敏に検知できるものとする。端末装置3の発話状態判断部15は、発言レベルが上がったことをすぐに検知し、発話状態通知部16は、その旨を伝えるための「発話状態メッセージ(発言レベル↑)」を端末装置1に送信する。このメッセージを受信した端末装置1の映像音声受信部17は、端末装置2へ「送信停止メッセージ」を送信し、端末装置3へ「送信開始メッセージ」を送信する。その後、端末装置1は、端末装置3の映像ストリームと音声ストリームとを受信するようになる。
音がしなくなると、端末装置3の発話状態判断部15は、発言レベルが低下したことをすぐに検知し、発話状態通知部16は、その旨を伝えるための「発話状態メッセージ(発言レベル↓)」を端末装置1に送信する。このメッセージを受信した端末装置1の映像音声受信部17は、端末装置3へ「送信停止メッセージ」を送信し、端末装置2へ「送信開始メッセージ」を送信する。その後、端末装置1は、端末装置2の映像ストリームと音声ストリームとを受信するようになる。
このようなことが繰り返し行われると、画面が頻繁に切り替わり、目に障るようになる。また、映像と音声とについて、異なる数の発話者を選択することはできない。
このような従来技術では、映像ストリームと音声ストリームとを選択的に受信する際に、話頭切断を回避するために、音声ストリームに対しては発話者を機敏に選択し、切り替えることが望ましい。例えば、50ミリ秒のように比較的短い間隔で発話者選択を行うことで、発言の頭が途切れてしまう話頭切断を回避しやすくなる。
一方で、映像ストリームを機敏に切り替え過ぎると、表示される参加者が頻繁に切り替わる可能性があり、目に障るため望ましくない。参加者映像は50ミリ秒のように短い間隔で切り替える必要はなく、例えば1秒毎に切り替わっても会議の運営には差し支えない。
よって、音声ストリームと映像ストリームとでは、最適とされる発話者選択基準が異なると考えられる。また、映像ストリームと音声ストリームとでは復号負荷が異なるため、最適とされる発話者数も異なると考えられる。
本発明は、このような背景の下に行われたものであって、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる映像音声会議システムを提供することを目的とする。
本発明は、複数の端末装置が相互通信可能なネットワークに接続され、前記端末装置は、会議参加者の発話状態を判断する発話状態判断手段と、前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段とを備えた映像音声会議システムである。
ここで、本発明の特徴とするところは、前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備えたところにある。
このように、映像に関する処理と音声に関する処理とを個別に扱うことにより、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。
また、本発明では、音声の切替えは、映像の切替えと比較して短めのサンプリング時間により切替えを行うことを特徴とするが、例えば、映像切替えのためのサンプリングを行っている内に、発話者が既に発言を終えてしまったといったケースも考えられる。すなわち、音声切替えのためのサンプリングと映像切替えのためのサンプリングとが同期していないため、切替えタイミングに多少のズレが生じ、例えば、発話者が発言を終えた直後の無駄な映像ストリームを配信してしまうなどの可能性がある。
このような無駄な映像ストリームの配信または受信を行わないために、例えば、前記属性別発話状態通知手段は、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断手段が前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止手段を備える。
または、前記属性別受信手段は、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止手段を備える。
前記映像用発話状態メッセージ送信禁止手段と前記映像ストリーム受信禁止手段とは、いずれか一方を送信側または受信側に備えればよいが、これら双方の手段を送信側および受信側の双方に備えてもよい。
また、前記ネットワークに接続され、前記複数の端末装置を統括的に制御する制御装置が設けられ、前記制御装置は、前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定することができる。
このように、会議参加者の中で、複数の発話者を許可する場合に、例えば、映像ストリームの送信元として許可する端末装置数を、音声ストリームの送信元として許可する送信端末数よりも少なく設定することにより、会議の運営に支障を来すことなく、復号負荷の大きい映像ストリーム数を削減することができる。
また、前記重複発話許可手段を、前記複数の端末装置の一部または全部に備えることにより、前記制御装置を省くこともできる。
本発明によれば、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。また、本発明により、復号負荷の大きい映像ストリーム数を削減することができる。
(第一実施例)
本発明第一実施例を図7、図1〜図3を参照して説明する。図7のように、端末装置1〜3がネットワーク5に接続されている。簡単のため、選択される発話者数は1とする。ここでは、端末装置1が発話者を選択し、端末装置1のみが端末装置2または3からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。
図1は本実施例の端末装置の要部ブロック構成図である。図1に示すように、各端末装置は、カメラ11、マイクロフォン12、カメラ11により撮影された映像に基づき映像ストリームを生成する映像ストリーム生成部13、マイクロフォン12により集音された音声に基づき音声ストリームを生成する音声ストリーム生成部14、マイクロフォン12により集音された音声に基づき会議参加者の発話状態を判断する発話状態判断部20、発話の開始または終了を他端末装置へ伝達するための発話状態メッセージを生成して送信する発話状態通知部23、他端末装置から到来した発話状態メッセージを受け取って音声ストリームおよび映像ストリームを受信する映像音声受信部26、その時点での発話者と受信者とを記録する管理テーブル18、他端末装置の映像音声受信部26から送出された音声送信開始メッセージまたは音声送信停止メッセージを受信し、音声ストリーム生成部14に、音声ストリームの送信開始または送信停止を指示する音声送信開始・停止メッセージ受信部29、他端末装置の映像音声受信部26から送出された映像送信開始メッセージまたは映像送信停止メッセージを受信し、映像ストリーム生成部13に、映像ストリームの送信開始または送信停止を指示する映像送信開始・停止メッセージ受信部30により構成される。
図8に示した従来例の端末装置との差異は、発話状態判断部20に、音声用発話状態判断基準21と、映像用発話状態判断基準22とを備え、さらに、発話状態通知部23に、音声用発話状態メッセージ送信部24と、映像用発話状態メッセージ送信部25とを備え(属性別発話状態通知手段)、さらに、映像音声受信部26に、音声受信部27と、映像受信部28とを備え(属性別受信手段)、さらに、上述した音声送信開始・停止メッセージ受信部29と、映像送信開始・停止メッセージ受信部30とを備え、映像に関する処理と音声に関する処理とを個別に扱うことができるところにある。
図1は説明をわかりやすくするために構成を細分化して図示したが、例えば、発話状態判断部20と発話状態通知部23とを一体化したり、管理テーブル18を発話状態判断部20の内部に備えるなど、構成の簡単化を図れることはいうまでもない。
端末装置2または3の発話状態判断部20は、マイクロフォン12からの音声入力の変化などから発言レベルを算出する。端末装置2または3の発話状態通知部23は、発言レベルが変化すると、その旨を「音声用発話状態メッセージ(発言レベル↑)または(発言レベル↓)」または「映像用発話状態メッセージ(発言レベル↑)または(発言レベル↓)」として端末装置1に通知する。「音声用発話状態メッセージ(発言レベル↑)」または「映像用発話状態メッセージ(発言レベル↑)」を受信した端末装置1の映像音声受信部26は、当該「音声用発話状態メッセージ(発言レベル↑)」または「映像用発話状態メッセージ(発言レベル↑)」の送信元の端末装置2または3を発話者として認識する。このときに、複数の端末装置2および3からの「音声用発話状態メッセージ(発言レベル↑)」または「映像用発話状態メッセージ(発言レベル↑)」をほぼ同時に受信した場合には、発言レベルの高い端末装置2または3を発話者として選択する。
図2のシーケンス図を用いて第一実施例の説明を行う。各端末装置1〜3は、映像ストリームと音声ストリームとを区別して、発話者と受信者とを管理テーブル18により管理する。例えば、図2の最初の状態では、端末装置1にとって、映像ストリームおよび音声ストリーム共に、端末装置2を発話者としている。また、端末装置2にとっての受信者は、映像ストリームおよび音声ストリーム共に端末装置1である。このとき、端末装置2が端末装置1に対して映像ストリームと音声ストリームとを送信する。
まず、端末装置2が発話者として選択されているとする。すると、端末装置1は、端末装置2から映像および音声ストリームを受信する。ここで、端末装置3を利用している参加者が、発言を開始したとする。すると、端末装置3の発話状態判断部20は、マイクロフォン12からの音声入力の変化などから、発言レベルが上がったことを検知する。この例では、音声発話状態判断基準21である音声ストリームに対するサンプリング時間を短く設定することによって、すぐに検知することができるとする。端末装置3の発話状態通知部23の音声用発話状態メッセージ送信部24は、音声ストリームに対する発話状態メッセージである「音声用発話状態メッセージ(発言レベル↑)」を端末装置1に送信する。このメッセージを受信した端末装置1の音声受信部27は、端末装置2へ「音声ストリームの送信停止メッセージ」を送信し、端末装置3へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置1の音声受信部27は、端末装置3の音声ストリームを受信するようになる。
このように、端末装置3の発話状態判断部20がマイクロフォン12からの音声入力の変化を短時間で検知することにより、端末装置1は端末装置3からの音声ストリームをすぐに受信できるため、話頭切断を回避できるようになる。
さて、端末装置3の発話状態通知部23の映像用発話状態メッセージ送信部25は、しばらくしてから映像ストリームに対する発話状態メッセージである「映像用発話状態メッセージ(発言レベル↑)」を端末装置1に送信する。この例では、映像用発話状態判断基準である映像ストリームに対するサンプリング時間を長く設定することによって、ゆっくりと発言レベルの変化を検知する。このメッセージを受信した端末装置1の映像受信部28は、端末装置2へ「映像ストリームの送信停止メッセージ」を送信し、端末装置3へ「映像ストリームの送信開始メッセージ」を送信する。その後、端末装置1は、端末装置3の映像ストリームを受信するようになる。
図3のシーケンス図を用いて、端末装置3の近くで物音がしたような状況を考える。例えば、端末装置3の参加者のくしゃみがマイクロフォン12に拾われたとする。すると、端末装置3の発話状態判断部20は発言レベルが上がったことを検知し、発話状態通知部23の音声用発話状態メッセージ送信部24は、その旨を伝達するための「音声用発話状態メッセージ(発言レベル↑)」を端末装置1に送信する。このメッセージを受信した端末装置1の音声受信部27は、端末装置2へ「音声ストリームの送信停止メッセージ」を送信し、端末装置3へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置1の音声受信部27は、端末装置3の音声ストリームを受信するようになる。
端末装置3の発話状態判断部20は音がしなくなったため、発言レベルが低下したことを検知し、発話状態通知部23の音声用発話状態メッセージ送信部24は、その旨を伝達するための「音声用発話状態メッセージ(発言レベル↓)」を端末装置1に送信する。このメッセージを受信した端末装置1の音声受信部27は、端末装置3へ「音声ストリームの送信停止メッセージ」を送信し、端末装置2へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置1の音声受信部27は、端末装置2の音声ストリームを受信するようになる。
ここで、端末装置3の映像用発話状態メッセージ送信部25が、音声ストリームだけでなく映像ストリームについても「映像用発話状態メッセージ(発言レベル↑)」を送信すると、端末装置1の参加者映像には一瞬だけ端末装置3が表示されることとなる。端末装置3の参加者が繰り返しくしゃみをすると、映像が頻繁に切り替わってしまい、目に障る。しかし、映像ストリームに対してはサンプリング時間を長く設定することで、発言状態に切り替わらなくなる。映像ストリームおよび音声ストリームに対して、独立に発話状態を決定することにより、このような事態を避けることができる。
また、本実施例では、音声の切替えは、映像の切替えと比較して短めのサンプリング時間により切替えを行うことを特徴とするが、例えば、映像切替えのためのサンプリングを行っている内に、発話者が既に発言を終えてしまったといったケースも考えられる。すなわち、音声切替えのためのサンプリングと映像切替えのためのサンプリングとが同期していないため、切替えタイミングに多少のズレが生じ、例えば、発話者が発言を終えた直後の無駄な映像ストリームを配信してしまうなどの可能性がある。
このような無駄な映像ストリームの配信または受信を行わないために、発話状態通知部23は、発話状態判断部20が映像用発話状態判断基準22により会議参加者が発話状態であると判断し、映像用発話状態メッセージ送信部25が「映像用発話状態メッセージ(発言レベル↑)」を送信しようとしたときであっても発話状態判断部20が音声用発話状態判断基準21により当該会議参加者の発話が既に終了していると判断し、音声用発話状態メッセージ送信部24が「音声用発話状態メッセージ(発言レベル↓)」を既に送信した後であるときには他端末装置への映像用発話状態メッセージの送信を禁止する。
または、映像音声受信部26は、映像受信部28が他端末装置から「映像用発話状態メッセージ(発言レベル↑)」を受信したときであっても音声受信部27が当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する。
このような音声用発話状態メッセージ送信部24と映像用発話状態メッセージ送信部25との連携処理または音声受信部27と映像受信部28との連携処理は、いずれか一方の連携処理を送信側または受信側で行えばよいが、これら双方の連携処理を送信側および受信側の双方で行ってもよい。
(第二実施例)
本発明第二実施例を図4〜図6を参照して説明する。端末装置の要部ブロック構成は図1に示した第一実施例と共通である。図4に示すように、端末装置1〜4がネットワーク5に接続されている。映像ストリームに対しては選択される発話者数を1とし、音声ストリームに対しては2とする。ここでは、端末装置1が発話者を選択し、端末装置1のみが端末装置2〜4からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。
第二実施例では、図4に示すように、ネットワーク5に制御装置33を接続し、ネットワーク5に接続された端末装置1〜4間で許可される発話者を決定している。なお、図4では説明をわかりやすくするために、制御装置33を独立した装置として図示したが、制御装置33に相応する機能を各端末装置1〜4のいずれか一部あるいは端末装置1〜4の全部が備えてもよい。
次に、制御装置33の動作を図5を参照して説明する。図5は制御装置33における発話者選択処理の流れを示すフローチャートである。発話頻度評価部31は、現時点における音声用発話状態メッセージ数の集計を行う(S1)。所定時間集計した後(S2)、頻度評価を行う(S3)。この所定時間は、会議が行われるネットワーク環境によって適宜設定する(例えば、数秒間〜数分間)。重複発話許可部32は、発話頻度評価部31による頻度評価の結果、頻度が最も高い端末装置に対して映像および音声ストリームの送信許可を与える(S4)。さらに、二番目に頻度の高い端末装置に対して音声ストリームのみの送信許可を与える(S5)。ここでは上述したように、最初の段階で、端末装置2に映像および音声ストリームの送信許可が与えられ、端末装置3に音声ストリームのみの送信許可が与えられているものとする。
次に、図6のシーケンス図を用いて第二実施例の説明を行う。端末装置2の参加者と端末装置3の参加者とが議論を交わしていたとする。そして、映像ストリームに対しては端末装置2が発話者として選択されており、音声ストリームに対しては端末装置2および3がそれぞれ発話者として選択されているとする。すると、端末装置1は、端末装置2から映像および音声ストリームを受信し、端末装置3から音声ストリームを受信する。
端末装置3の参加者が発言を始めると、端末装置3の発話状態判断部20はマイクロフォン12からの音声入力の変化などから発言レベルが上がったことを検知する。すると、端末装置3の発話状態通知部23の音声用発話状態メッセージ送信部24は、端末装置1へ「音声用発話状態メッセージ(発言レベル↑)」を送信する。しかし、端末装置3は、音声ストリームに対しては既に発話者を選択されていたため、発話者の変更は起こらない。
しばらくすると、端末装置3の発話状態通知部23の映像用発話状態メッセージ送信部25は、端末装置1へ「映像用発話状態メッセージ(発言レベル↑)」を送信する。このメッセージを受信した端末装置1の映像受信部28は、端末装置2へ「映像ストリームの送信停止メッセージ」を送信し、端末装置3へ「映像ストリームの送信開始メッセージ」を送信する。その後、端末装置1の映像受信部28は、端末装置3の映像ストリームを受信するようになる。
この後、端末装置2の参加者が発言を始めると、端末装置2の発話状態判断部20は、マイクロフォン12からの音声入力の変化などから発言レベルが上がったことを検知する。その結果、映像ストリームに対する発話者のみが、端末装置3から端末装置2へ切り替わることとなる。端末装置2の参加者と端末装置3の参加者とが議論を交わしている間、音声ストリームの切り替えが行われることはなく、話頭切断を完全に回避することができる。一方、映像ストリームに対する発話者数を1に限定することで、復号処理の軽減や、表示映像解像度の向上といった利点を得ることができる。
第二実施例では、音声用発話状態メッセージ数の集計によって、端末装置1〜4の発言頻度を調査することにより、発言頻度の高い順から複数の端末装置に対して重複して発話許可を与える例を示したが、発言レベルの高い順から複数の端末装置に対して重複して発話許可を与えたり、あるいは、予め定められた順番に従って複数の端末装置に対して重複して発話許可を与えるなど、発話許可を重複して与えるアルゴリズムについては、他の方法を適用してもよい。
(第三実施例)
第三実施例は、汎用の情報処理装置にインストールすることにより、その情報処理装置に本実施例の端末装置に相応する機能を実現させるプログラムである。このプログラムは、記録媒体に記録されて情報処理装置にインストールされ、あるいは通信回線を介して情報処理装置にインストールされることにより当該情報処理装置に、本実施例の端末装置にそれぞれ相応する機能を実現させることができる。また、端末装置の機能として図4に示す制御装置の機能を加えることもできる。
本発明によれば、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。また、本発明により、復号負荷の大きい映像ストリーム数を削減することができる。これにより、会議参加者および会議運営者の双方にとって利便性の向上に寄与することができる。
第一実施例の端末装置の要部ブロック構成図。 第一実施例の説明に用いるシーケンス図。 第一実施例の説明に用いるシーケンス図。 第二実施例の説明に用いるシステム構成例を示す図。 制御装置の動作を示すフローチャート。 第二実施例の説明に用いるシーケンス図。 従来例および第一実施例の説明に用いるシステム構成例を示す図。 従来例の端末装置の要部ブロック構成図。 従来例の説明に用いるシーケンス図。 従来例の説明に用いるシーケンス図。
符号の説明
1〜4 端末装置
5 ネットワーク
11 カメラ
12 マイクロフォン
13 映像ストリーム生成部
14 音声ストリーム生成部
15、20 発話状態判断部
16、23 発話状態通知部
17、26 映像音声受信部
18 管理テーブル
19 送信開始・停止メッセージ受信部
21 音声用発話状態判断基準
22 映像用発話状態判断基準
24 音声用発話状態メッセージ送信部
25 映像用発話状態メッセージ送信部
27 音声受信部
28 映像受信部
29 音声送信開始・停止メッセージ受信部
30 映像送信開始・停止メッセージ受信部
31 発話頻度評価部
32 重複発話許可部
33 制御装置

Claims (9)

  1. 複数の端末装置が相互通信可能なネットワークに接続され、
    前記端末装置は、
    会議参加者の発話状態を判断する発話状態判断手段と、
    前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
    他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
    を備えた映像音声会議システムにおいて、
    前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
    前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
    前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備えた
    ことを特徴とする映像音声会議システム。
  2. 前記属性別発話状態通知手段は、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断手段が前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止手段を備えた、
    または、
    前記属性別受信手段は、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止手段を備えた
    請求項1記載の映像音声会議システム。
  3. 前記ネットワークに接続され、前記複数の端末装置を統括的に制御する制御装置が設けられ、
    前記制御装置は、
    前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、
    前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定する
    請求項1記載の映像音声会議システム。
  4. 前記複数の端末装置の一部または全部は、
    前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、
    前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定する
    請求項1記載の映像音声会議システム。
  5. 請求項1ないし4のいずれかに記載の映像音声会議システムに適用される端末装置。
  6. 汎用の情報処理装置にインストールすることにより、その情報処理装置に、請求項5記載の端末装置に相応する機能を実現させるプログラム。
  7. 請求項6記載のプログラムが記録された前記情報処理装置が読み取り可能な記録媒体。
  8. 相互通信可能なネットワークに接続された複数の端末装置間で行われ、
    会議参加者の発話状態を判断する発話状態判断ステップと、
    前記発話状態判断ステップにより会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知ステップと、
    他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信ステップと
    を実行する通信手続きにおいて、
    前記発話状態判断ステップとして、音声用発話状態判断基準と、映像用発話状態判断基準とを用い、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
    前記発話状態通知ステップとして、前記発話状態判断ステップにおいて前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知ステップを実行し、
    前記映像音声受信ステップとして、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信ステップを実行する
    ことを特徴とする通信手続き。
  9. 前記属性別発話状態通知ステップを実行するのに際し、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断ステップにおいて前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止ステップを実行する、
    または、
    前記属性別受信ステップを実行するのに際し、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止ステップを実行する
    請求項8記載の通信手続き。
JP2005361635A 2005-12-15 2005-12-15 映像音声会議システム Active JP4562649B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005361635A JP4562649B2 (ja) 2005-12-15 2005-12-15 映像音声会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005361635A JP4562649B2 (ja) 2005-12-15 2005-12-15 映像音声会議システム

Publications (2)

Publication Number Publication Date
JP2007166375A true JP2007166375A (ja) 2007-06-28
JP4562649B2 JP4562649B2 (ja) 2010-10-13

Family

ID=38248740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005361635A Active JP4562649B2 (ja) 2005-12-15 2005-12-15 映像音声会議システム

Country Status (1)

Country Link
JP (1) JP4562649B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012503401A (ja) * 2008-09-18 2012-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ システム制御方法及び信号処理システム
JP2016039604A (ja) * 2014-08-11 2016-03-22 富士ゼロックス株式会社 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP2017045180A (ja) * 2015-08-25 2017-03-02 富士ゼロックス株式会社 プログラム
JP2021039652A (ja) * 2019-09-05 2021-03-11 ヤマハ株式会社 会話支援装置、及び会話支援システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311916A (ja) * 2004-04-23 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> ストリームデータ配信装置、ストリームデータ配信方法およびそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311916A (ja) * 2004-04-23 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> ストリームデータ配信装置、ストリームデータ配信方法およびそのプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012503401A (ja) * 2008-09-18 2012-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ システム制御方法及び信号処理システム
JP2016039604A (ja) * 2014-08-11 2016-03-22 富士ゼロックス株式会社 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP2017045180A (ja) * 2015-08-25 2017-03-02 富士ゼロックス株式会社 プログラム
JP2021039652A (ja) * 2019-09-05 2021-03-11 ヤマハ株式会社 会話支援装置、及び会話支援システム
JP7379965B2 (ja) 2019-09-05 2023-11-15 ヤマハ株式会社 会話支援装置、及び会話支援システム

Also Published As

Publication number Publication date
JP4562649B2 (ja) 2010-10-13

Similar Documents

Publication Publication Date Title
KR101685466B1 (ko) 다자간 영상 회의 서비스의 참여자 확장 방법
EP3282669B1 (en) Private communications in virtual meetings
EP1549035B1 (en) Method and apparatus for improving nuisance signals in audio/video conference
JP6179834B1 (ja) テレビ会議装置
US9094524B2 (en) Enhancing conferencing user experience via components
US7917640B2 (en) Communication bandwidth control method for a broadcast communication system, a server and a user terminal used in a broadcast communication system, and a program
US10110831B2 (en) Videoconference device
JP5077344B2 (ja) 通信システム、サーバ装置、通信端末装置及びコンピュータプログラム
US8704872B2 (en) Method and device for switching video pictures
JP2007336560A (ja) フィードバックを回避するために共在するテレコンファレンス・エンドポイントを調整する方法
US11115444B2 (en) Private communications in virtual meetings
JP6152961B1 (ja) テレビ会議装置
JP2006237864A (ja) 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム
JP2000270304A (ja) 多地点テレビ会議システム
US20040114030A1 (en) Television conference system, terminal for the system, connection control method, and connection control program
JP4562649B2 (ja) 映像音声会議システム
JPH08298653A (ja) テレビ会議システム及びその端末装置
US20090310762A1 (en) System and method for instant voice-activated communications using advanced telephones and data networks
JP4425172B2 (ja) 通話装置、通話システム、及びプログラム
JP5234744B2 (ja) 映像会議装置、映像会議方法、映像会議プログラムおよび記録媒体
US20230239406A1 (en) Communication system
JP2001339799A (ja) 仮想会議装置
JP2022016997A (ja) 情報処理方法、情報処理装置及び情報処理プログラム
US20120300126A1 (en) Electronic apparatus and tv phone method
KR101103454B1 (ko) 당사자 포지셔닝 식별을 갖는 휴대용 장치의 다자간 통화

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20090602

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090602

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4562649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350