JP2006174480A - 遠隔会議を仲介するためのシステム及び方法 - Google Patents

遠隔会議を仲介するためのシステム及び方法 Download PDF

Info

Publication number
JP2006174480A
JP2006174480A JP2005362979A JP2005362979A JP2006174480A JP 2006174480 A JP2006174480 A JP 2006174480A JP 2005362979 A JP2005362979 A JP 2005362979A JP 2005362979 A JP2005362979 A JP 2005362979A JP 2006174480 A JP2006174480 A JP 2006174480A
Authority
JP
Japan
Prior art keywords
signal
incident
status
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005362979A
Other languages
English (en)
Other versions
JP5103734B2 (ja
Inventor
Donald G Kimber
ジー.キンバー ドナルド
Kazumasa Murai
和昌 村井
Qiong Liu
リュウ チョン
J Doherty John
ジェイ.ドゥハーティ ジョン
T Foote Jonathan
ティー. フート ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2006174480A publication Critical patent/JP2006174480A/ja
Application granted granted Critical
Publication of JP5103734B2 publication Critical patent/JP5103734B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】遠隔会議中のターンテイキングをし易くし、コリジョンを減らし好ましくは回避するための信号を提供するシステム及び方法の提供。
【解決手段】おおよその遅延時間を決定し、決定した遅延時間を考慮してステータス信号を提供することによって、遠隔会議のステータスを提供するシステム及び方法が提供される。おおよその遅延時間とは、発信ユニットによって捕捉されて事件信号となる、第1の時間に起こっている事件が、この事件信号が少なくとも1つの受信ユニットで受信された後の第2の時間に体験されるまでに経過するおおよその時間である。
【選択図】図2

Description

対面コミュニケーションでは、人間は他人とアイコンタクトをとり、他人のボディーランゲージや顔の表情などを観察する。実験の示すところによると、例えば口の動きは話よりも約0.4秒〜1.2秒前に始まるので、顔の表情(例えば、口の動き)は、ある人間が話すという信号(知らせ)を他者に与えられる。さらに対面コミュニケーションでは、ある人間がメッセージを伝達する(例えば、何かを言ったりしたりする)時間と、別の人間が伝達されたメッセージを受信する(例えば、聞いたり見たりする)時間との間の遅延が非常に少ないため、この遅延は実質的にないに等しく、それほど重要ではない。対面コミュニケーションのこのような特徴は、会話中のターンテイキング(話者の交替)の助けとなる。
しかしながら、例えば、直接会うために移動しなければならない人間が関与する対面コミュニケーションは、遠隔会議(例えば、ビデオ会議、音声/映像対応のメッセンジャツールを使用した音声/映像チャッティング)に取って代わられる機会が増えている。同じ地域に住み、且つ/又は勤務しているが異なる建物にいる人間が、例えば別の建物へと物理的に移動するのを避けるために、遠隔会議システムによってコミュニケーションをとることを選んでいる場合もある。例えば遠隔会議によって、1人又はそれより多くの会議メンバーが別の場所へと移動する必要がなくなるので、この遠隔会議は多くの環境(例えば、教育、ビジネス及び個人環境)で一般的になってきている。しかしながら、アイコンタクトをとれること、顔の表情を観察できること、伝達されたメッセージを実質的に素早く(即ち、気づかない程度の遅延で)受け取ることなどの、対面コミュニケーションの幾つかの特徴は、一般に、遠隔会議中利用できないか又は妨げられてしまう。
遠隔会議システムは一般的に、画像及び/又は音声をある1つのサイトで捕捉し、これらをエンコードして標準的なフォーマットにし、そしてエンコードデータをネットワーク接続経由で別のサイトへと伝送し、その別のサイトでエンコードされた画像及び/又は音声をデコードしてそのデコードされた結果を出力する。より速いシステムや、利用可能な帯域を使用し、且つ/又は帯域を増大させるためのより効率的な方法の開発が進行中であるが、データのエンコーディング/デコーディング及び伝送によって一般に、遠隔会議に影響を及ぼす遅延が生じる。ある1つの会議サイトの画像が捕捉されて他の会議サイトへと伝送され、映像の画像によって顔の表情を観察できる、映像の伝送を含む遠隔会議でも、伝送の遅延、且つ/又は不十分なデータ品質のために、一般の遠隔会議では、例えば遠隔会議ベースのコミュニケーションの最中にメンバーのターンテイキング(即ち、交代でコミュニケーションをとったり聞いたりすること)を助けるように、メンバー/人間がアイコンタクトをとり、且つ/又は顔の表情に基づいて別のメンバー/人間が話そうとしていることを察知できない。しかしながら、例えばある人間が別の人間との対面コミュニケーションに参加するために別の場所に移動することを要求するのではなく、関係する人間は通常、移動の必要性をなくすために、遠隔会議の「副作用」の対処に応じている。
遠隔会議において対面コミュニケーションの上述の特徴が欠如および抑制されていることによって(もしくは、欠如または抑制されていることによって)生じる、一般的な「副作用」の1つが、衝突(コリジョン、即ち、ローカルな会議メンバーと遠隔の会議メンバーが同時に通信を始める状態)である。衝突は対面コミュニケーションの最中でも起こるが、対面コミュニケーションの衝突は、遠隔会議中の衝突ほど頻繁に起こらない。さらに、対面の遠隔会議中に衝突が起こった場合、ある人間が話す時間と、他人が伝達されたメッセージを聞き、および、見る時間との間には(もしくは、聞き、または、見る時間との間には)実質的に遅延がない(即ち、あまりに小さな遅延なので気づかない)ので、衝突は通常、迅速に且つ簡単に克服される。
対照的に遠隔会議では、こういった状況が解決されないうちに衝突が繰り返し起こる。その理由は、遠隔会議では、顔の表情を観察し、且つ/又はアイコンタクトをとることができないこと、又はこういった能力の低下が、データをエンコード/デコードし、ネットワークを介してこのデータを伝送する必要性から生じる遅延によって一層深刻になるためである。より具体的に言うと、衝突は遠隔会議で起こりやすい傾向にある。その理由は、例えば、会議メンバーは伝送に遅延が存在することを忘れがちであるため、対面コミュニケーションに基づく習慣で、第1の会議メンバーは、最初の通信に対する相手の応答の受信に遮られる前に(その応答が第1の会議メンバーに届く途中でも(まだ受信されていない))、沈黙を破って話し始めてしまう。別の場合では、その沈黙を受けて、例えば会議メンバーは、自分達の最初の通信が相手に受信されているかどうか、且つ/又は理解されているかどうか確証が持てなくなり、別のメンバーは自分達の通信に対して応答したのだと認識しないうちに、自分達のメッセージを本能的に繰り返し始めてしまう(即ち、衝突)。
別の例では、このような衝突を防ごうとして、会議メンバーは、実際は相手が何も通信しなかった時に、相手からの通信を辛抱強く待ってしまう。さらに一旦衝突が起こると、相手の通信を終了させてあげようとそれぞれ同時に通信を控え、互いに沈黙を認識すると両者ともほぼ同時に通信を再開し、そうした末にやっと別の衝突が起こったことを認識する。遠隔会議中のこのような衝突は、時間を浪費し、混乱を招くものである。
特許文献1は、ISDNまたはADSLのような限定された媒体での伝送のため、複数の話し手のスピーチを暗号化するシステム及び方法に関するものである。
特許文献2は、マルチキャスト会議システムに組み入れた会議端末の情報処理に関するものである。
特許文献3は、テレビ会議参加者が、会議における発言者を簡単に認識することが可能なテレビ会議端末装置に関するものである。
特許文献4は、マルチキャストを使用する場合にも、音声のぶつかりを避けることができるテレビ会議端末装置に関するものである。
米国特許第6804340号明細書 米国特許出願公開第2002065928号明細書 特開2002−158983号公報 特開2002−158984号公報
遠隔会議を仲介するためのシステム及び方法、より具体的には、遠隔会議中のターンテイキング(会話の交代)をし易くし、衝突を減らし好ましくは回避するための信号を提供するシステム及び方法の典型的な実施形態を、説明する。
遠隔会議のステータス提供システムは、おおよその遅延時間を決定するための遅延時間決定ユニットと、ステータス信号を生成しこれを提供するための、ステータス信号生成器とを含むことができる。1実施形態によると、このおおよその遅延時間とは、発信ユニットによって捕捉されて事件信号となる、第1の時間に起こっている事件が、事件信号が少なくとも1つの受信ユニットによって受信された後の第2の時間に体験されるまでに経過するおおよその時間であることから、おおよその遅延時間は、第1の時間と第2の時間との差にほぼ等しい。ステータス信号生成器は、その事件と決定したおおよその遅延時間とに基づいて、ステータス時間にステータス信号を出力する。幾つかの実施形態によると、このステータス時間は、第1の時間よりも後であるが、事件が受信ユニットによって受信されている第2の時間よりも少なくとも部分的に早い時間、及び/又は第1の時間から決定したおおよその遅延時間が経過した、少なくとも経過し始めたときの時間の少なくとも一方である。
遠隔会議のステータス提供システムは、遅延決定手段とステータス信号提供手段を含むことができる。この遅延決定手段は、発信ユニットによって捕捉されて事件信号になる元の事件を受信ユニットで体験するためのおおよその遅延時間を決定する。ステータス信号提供手段は、事件信号の全ての部分より以前に起こった元の事件が受信ユニットによって受信されたという表示、おおよその遅延時間の表示、及び事件信号のその部分が最初に発生したときの実際の速度よりも遅い速度の事件信号の一部、のうちの少なくとも1つを与えるステータス信号を、決定したおおよその遅延時間に基づいて提供する。
遠隔会議のステータスを提供するための方法は、第1の時間に起こっている事件に基づいて事件信号を捕捉するステップと、おおよその遅延時間を決定するステップと、ステータス信号を提供するステップとを含むことができる。1実施形態によると、おおよその遅延時間は、事件信号が少なくとも1つの受信ユニットによって受信される第2の時間に事件が体験されるまでに経過するおおよその時間であることから、このおおよその遅延時間は、この事件が起こった第1の時間と第2の時間との差にほぼ等しい。ステータス信号を提供するステップは、ステータス時間に、発信ユニットと受信ユニットの少なくとも一方によってステータス信号を提供するステップを含むことができ、このステップにおいてステータス信号は、事件と決定したおおよその遅延時間に基づき、幾つかの実施形態によると、このステータス時間は、事件が事件信号に基づいて体験される第2の時間よりも少なくとも部分的に早い時間及び/又は第1の時間から決定したおおよその遅延時間が経過した、少なくとも経過し始めたときの時間の少なくとも一方である。
本発明の第1の態様は、おおよその遅延時間を決定する遅延決定ユニットと、ステータス信号生成器と、を備える、遠隔会議のためにステータスを提供するシステムであって、前記おおよその遅延時間は、第一の時点で生じる事件が第二の時点に到達するまでに経過するおおよその時間量であり、すなわち、該おおよその遅延時間は該第一の時点と第二の時点との間の差におおよそ等しく、前記第一の時点は、発信ユニットによって捕捉されて事件信号となり、前記第二の時点は、前記事件信号が少なくとも一の受信ユニットによって受信された後の時点であり、前記事件の後、前記ステータス信号生成器は、前記事件および決定された前記おおよその遅延時間にもとづいて、ステータス時点におけるステータス信号を提供し、前記ステータス時点は、前記第二の時点よりも前の時点、および、決定された前記おおよその遅延時間が前記第一の時点から経過した、少なくとも経過し始めたときの時点、の少なくとも一を含む時点である。
第一の時点で生じる事件が第二の時点に到達するまでに経過するおおよその時間量とは、第一の時点で生じる事件が第二の時点で再生されるまでに経過するおおよその時間量であってよく、または、第一の時点で生じる事件が第二の時点でユーザなどによって体験されるまでに経過するおおよその時間量であってよい。また、第二の時点は、事件信号が少なくとも一の受信ユニットに受信された後の時点であるとは、事件信号が少なくとも一の受信ユニットに受信された時点を含む。受信ユニットに受信された時点は、事件信号によって示される事件が受信ユニットで再生される時点であってもよく、また、事件信号によって示される事件が受信ユニットでユーザなどによって体験される時点であってもよい。
本発明の第2の態様は、第1の態様のステータスを提供するシステムであって、前記事件信号は、カメラ(映像入力手段)およびマイクロホン(音声入力手段)の少なくとも一方を備える前記発信ユニットによって捕捉される、映像事件信号および音声事件信号の少なくとも一方であり、前記映像事件信号および音声事件信号の少なくとも一方が、ディスプレイ(映像出力手段)およびスピーカ(音声出力手段)の少なくとも一方を備える前記受信ユニットによって受信されたときに、前記事件が到達したとされる。
受信ユニットによって受信されたときに、事件が到達したとされる、とは、受信ユニットによって受信されたときに、事件が再生されることであってよく、また、受信ユニットによって受信されたときに、事件がユーザなどによって体験されることであってよい。
本発明の第3の態様は、第2の態様のステータスを提供するシステムであって、前記ステータス信号は、音声ステータス信号および映像ステータス信号の少なくとも一方の形態でレンダリングされる。
本発明の第4の態様は、第3の態様のステータスを提供するシステムであって、前記映像ステータス信号は、視認可能なオブジェクトの形態でレンダリングされ、前記オブジェクトの変化が終了するときに、前記おおよその遅延時間の経過が終了し、前記事件信号が前記受信ユニットによって受信されるように、決定された前記おおよその遅延時間が経過する間に、第一の色から第二の色への変化、輪郭オブジェクトからソリッド(輪郭だけでなく色もしくは模様などを含む)・オブジェクトへの変化、ソリッド・オブジェクトから輪郭オブジェクトへの変化、前記オブジェクトの参照部分の位置、形状、サイズのうちの少なくとも一の変化、のうちの少なくとも一によって当該視認可能なオブジェクトが変化する。
本発明の第5の態様は、第3の態様のステータスを提供するシステムであって、前記おおよその遅延時間の経過が終了するまで、および、前記受信ユニットによって前記映像事件信号が受信されるまで、の少なくとも一方までに、所定の音声、および、前記映像事件信号のレンダリングに先立って提供される低速バージョンの音声事件信号の一方として、前記音声ステータス信号がレンダリングされる。
本発明の第6の態様は、第3の態様のステータスを提供するシステムであって、複数の受信ユニットのうちの一のユニットによって提供される前記ステータス信号の形態が、当該複数の受信ユニットのうちの別のユニットによって提供される前記ステータス信号の形態と異なる。
本発明の第7の態様は、第3の態様のステータスを提供するシステムであって、前記発信ユニットは第一の位置にあり、少なくとも一の前記受信ユニットは第二の位置にある。
本発明の第8の態様は、第3の態様のステータスを提供するシステムであって、前記遅延決定ユニットは、前記事件が前記受信ユニットの各々に受信されるまでに経過する時間量を決定し、決定されたもっとも長い時間量にもとづいて、前記おおよその遅延時間を決定する。
本発明の第9の態様は、第3の態様のステータスを提供するシステムであって、前記おおよその遅延時間の経過が終了するまで、前記映像事件信号が受信ユニットの各々によって受信されるまで、の少なくとも一方までに提供される、低速バージョンの音声事件信号として、前記ステータス信号がレンダリングされ、前記事件信号の前記映像信号が受信される場合に、前記事件信号の映像事件信号および残りの部分の音声事件信号ができるだけ事件に共通するように、前記音声信号および前記映像信号は前記受信ユニットによって同期化され、一緒に提供される。
本発明の第10の態様は、第1の態様のステータスを提供するシステムであって、前記遅延決定ユニットは往復遅延時間を決定し、前記往復遅延時間は、第一の事件にもとづいて第一の発信ユニットによって生成される第一の事件信号が第一の受信ユニットによって受信され、第二の事件にもとづいて第二の発信ユニットによって生成される第二の事件信号が第二の受信ユニットによって受信されるまでに経過するおおよそ最小の時間量であり、前記第二の事件は、前記第一の事件による第一の事件信号の受信後に生じ、前記第一の発信ユニットおよび第二の受信ユニットは一方のサイトにあり、前記第二の発信ユニットおよび第一の受信ユニットは他方のサイトにある。
本発明の第11の態様は、第10の態様のステータスを提供するシステムであって、前記第一の事件信号は前記第一の発信ユニットによって捕捉される映像事件信号および音声事件信号の少なくとも一方であり、前記第二の事件信号は前記第二の発信ユニットによって捕捉される映像事件信号および音声事件信号の少なくとも一方であり、前記第一の発信ユニットおよび第二の発信ユニットの各々は、カメラおよびマイクロホンの少なくとも一方を備え、前記第一の事件信号の映像事件信号および音声事件信号の少なくとも一方が第一の受信ユニットにより受信されたときに、前記第一の事件が到達したとされ、前記第二の事件信号の映像事件信号および音声事件信号の少なくとも一方が第二の受信ユニットにより受信されたときに、前記第二の事件が到達したとされ、前記第一の受信ユニットおよび前記第二の受信ユニットの各々が、ディスプレイおよびスピーカの少なくとも一方を備える。
第一の受信ユニットにより受信されたときに、第一の事件が到達したとされ、とは、第一の受信ユニットによって受信されたときに、第一の事件が再生されることであってよく、また、第一の受信ユニットによって受信されたときに、第一の事件がユーザなどによって体験されることであってよい。
第二の受信ユニットにより受信されたときに、第二の事件が到達したとされ、とは、第二の受信ユニットによって受信されたときに、第二の事件が再生されることであってよく、また、第二の受信ユニットによって受信されたときに、第二の事件がユーザなどによって体験されることであってよい。
本発明の第12の態様は、第11の態様のステータスを提供するシステムであって、第一のサイトが第一の位置にあり、第二のサイトが第二の位置にあり、前記第一の位置と第二の位置とは異なる。
本発明の第13の態様は、第11の態様のステータスを提供するシステムであって、前記ステータス信号は、決定された前記往復遅延時間にもとづく。
本発明の第14の態様はステータス提供システムであって、発信ユニットによって捕捉されて事件信号となるオリジナル事件が受信ユニットに到達するおおよその遅延時間を決定する、遅延決定手段と、ステータス信号を提供する、ステータス信号提供手段と、を備え、前記ステータス信号は、決定された前記おおよその遅延時間にもとづいて、事件信号のすべての部分が受信ユニットによって受信される前にオリジナル事件が生じたことを示す表示、前記おおよその遅延時間を示す表示、前記オリジナル事件の間にもともと生じた事件信号の部分のオリジナル速度よりも低速な事件信号の部分の一、の少なくとも一を提供する。
オリジナル事件が受信ユニットに到達する、とは、オリジナル事件が受信ユニットで再生されることであってよく、また、オリジナル事件が受信ユニットでユーザなどによって体験されることであってよい。
本発明の第15の態様は、第14の態様のステータスを提供するシステムであって、前記事件信号の部分が映像事件部分と音声事件部分とを含み、低速で提供される前記事件信号の部分は前記音声事件部分である。
本発明の第16の態様は、(a)第一の時点で生じる事件にもとづく事件信号を捕捉し、(b)おおよその遅延時間を決定し、(c)ステータス信号を提供する、遠隔会議のためにステータスを提供する方法であって、前記おおよその遅延時間は前記事件が第二の時点に到達するまでに経過するおおよその時間量を少なくとも含み、すなわち、該おおよその遅延時間は該第一の時点と第二の時点との間の差におおよそ等しく、前記第二の時点は、前記事件信号が少なくとも一の受信ユニットによって受信された後の時点であり、前記ステータス信号は、前記事件および前記おおよその遅延時間にもとづき、該ステータス信号は、ステータス時点において発信ユニットおよび受信ユニットの少なくとも一方によってレンダリングされ、前記ステータス時点は、前記第二の時点よりも前の時点、および、決定された前記おおよその遅延時間が前記第一の時点から経過した、少なくとも経過し始めたときの時点、の少なくとも一を含む時点である。
事件が第二の時点に到達するまでに経過するおおよその時間量とは、事件が第二の時点で再生されるまでに経過するおおよその時間量であってよく、または、事件が第二の時点でユーザなどによって体験されるまでに経過するおおよその時間量であってよい。また、第二の時点は、事件信号が少なくとも一の受信ユニットに受信された後の時点であるとは、事件信号が少なくとも一の受信ユニットに受信された時点を含む。事件信号が少なくとも一の受信ユニットに受信された時点は、事件信号によって示される事件が少なくとも一の受信ユニットで再生される時点であってよく、また、事件信号によって示される事件が少なくとも一の受信ユニットでユーザなどによって体験される時点であってもよい。
本発明の第17の態様は、第16の態様のステータスを提供する方法であって、(a)が、カメラおよびマイクロホンの少なくとも一方を用いて、前記事件にもとづく映像事件信号および音声事件信号の少なくとも一方を捕捉することを含む。
本発明の第18の態様は、第16の態様のステータスを提供する方法であって、(c)が、音声ステータス信号および映像ステータス信号の少なくとも一方の形態で、ステータス信号をレンダリングすることを含む。
本発明の第19の態様は、第18の態様のステータスを提供する方法であって、(c)が、スピーカおよびディスプレイの少なくとも一方を用いて、前記音声ステータス信号および映像ステータス信号の少なくとも一方を出力するステップを含む。
本発明の第20の態様は、第18の態様のステータスを提供する方法であって、前記映像ステータス信号を提供することが、オブジェクトの変化が終了するときに、前記おおよその遅延時間の経過が終了し、前記受信ユニットが事件信号を受信するように、決定された前記おおよその遅延時間が経過する間に、第一の色から第二の色への変化、輪郭オブジェクトからソリッド・オブジェクトへの変化、ソリッド・オブジェクトから輪郭オブジェクトへの変化、オブジェクトの参照部分の位置、形状、サイズのうちの少なくとも一の変化、のうちの少なくとも一によって変化するオブジェクトの形態で、映像ステータス信号をレンダリングすること、を含む。
本発明の第21の態様は、第18の態様のステータスを提供する方法であって、ステータス提供方法前記音声ステータス信号を提供することが、前記おおよその遅延事件の経過が終了するまで、および、前記受信ユニットによって前記映像事件信号が受信されるまで、の少なくとも一方までに、所定の音声、および、該映像事件信号のレンダリングに先立って提供される低速バージョンの音声事件信号の一方をレンダリングする、ことを含む。
本発明の第22の態様は、第18の態様のステータスを提供する方法であって、(c)が、一の受信ユニットにおける前記ステータス信号の一の形態と、別の受信ユニットにおける該ステータス信号の別の形態と、を提供することを含む。
本発明の第23の態様は、第18の態様のステータスを提供する方法であって、(b)が、前記事件が前記受信ユニットの各々に受信されるまでに経過する時間量を決定し、決定されたもっとも長い時間量にもとづいて、前記おおよその遅延時間を決定する、ことを含む。
本発明の第24の態様は、第18の態様のステータスを提供する方法であって、(c)が、前記おおよその時間の経過が終了するまで、前記映像事件信号が受信ユニットによって受信されるまで、の少なくとも一方までに、前記映像事件信号のレンダリングに先立って、低速バージョンの音声事件信号であるステータス信号をレンダリングし、前記事件信号の前記映像信号が受信される場合に、前記事件信号の映像事件信号および残りの部分の音声事件信号ができるだけ事件に共通するように、前記事件信号の音声事件信号および映像事件信号を実質的に同期化して提供する、ことを含む。
種々の典型的な実施形態のこれらの特徴や他の任意の特徴、及び考えられる利点は、遠隔会議を仲介するためのシステム及び方法の典型的な実施形態の以下の詳細な説明で説明され、そこから明らかとなる。
本明細書中で説明する典型的な実施形態を、以下の図面を参照して詳細に説明する。
以下の説明を通して、幾つかの典型的な実施形態の非常に多くの具体的な構造/ステップは、典型的な実施形態を十分に理解するために説明されている。こういった具体的な構造/ステップの全てを利用する必要はない。
ステータス提供システム及び方法の典型的な実施形態を、遠隔会議システムに関連させて以下に説明する。しかしながら典型的な実施形態は、データ伝送遅延の結果として生じる衝突を減らし、好ましくは防ぐ助けとなるような、あらゆる通信システム又は方法に適用できる。したがって、本発明は以下に説明する典型的な実施形態に限定されない。
遠隔会議のステータスを提供するためのシステム及び方法の典型的な実施形態、より具体的には、遠隔会議中にターンテイキングをし易くするためにステータス信号を提供するシステム及び方法の典型的な実施形態を、以下に説明する。
遠隔会議(例えば、ビデオ会議、音声/映像対応のリアルタイムメッセージング)システムは一般に、画像及び/又は音声をある1つのサイトで捕捉し、これらをエンコードして標準的なフォーマットにし、エンコードデータを、ネットワーク接続を通じて別のサイトへと伝送し、そこでエンコードした画像及び/又は音声をデコードし、そのデコードした結果をレンダリングする。上述のように、エンコーディング/デコーディングステップや伝送ステップはそれぞれ多少時間がかかるため、第1の(例えば、ローカルの)位置にいる第1の会議メンバーが遠隔会議システムを介して何かを伝達する時間と、第2の(例えば、遠隔の)位置にいる第2の会議メンバーが、第1の会議メンバーが伝達したことを体験する時間との間に遅延が生じる。このような遅延の影響を、図1に関連させて説明する。
図1は、典型的な遠隔会議を示す。特に図1は、第1の会議メンバーAと第2の会議メンバーBが関わる典型的な遠隔会議を示す。典型的な遠隔会議中、各会議メンバーA、Bは発信信号10a−c、40a−cを出力し、もう一方の会議メンバーの発信信号に基づいて、遠隔会議中の種々の時点Tで入力信号20a−c、30a−cを受信する。
典型的な遠隔会議では、メンバーAが発信通信10aで遠隔会議を開始する。すると時間ΔT1の経過後に、メンバーBが、メンバーAの発信通信10aを、入力通信30aとして受信を始める。即ち、メンバーBは、メンバーAが発信通信10aを開始した時間から時間ΔT1が経過するまで、メンバーAの発信通信10aの受信を開始しない。メンバーBがメンバーAの発信通信10aの受信を開始するまでに経過する時間ΔT1とは実質的に、(1)メンバーAの発信通信10aがエンコードされ、(2)エンコードされた通信がメンバーAの発信ユニットからメンバーBの受信ユニットへと伝送され、(3)エンコードされた通信がデコードされて出力される間に経過する時間である。
メンバーBが発信通信40aを開始するときも、似たような状況が生じる。図1に示すように、メンバーAは、メンバーBの発信通信40aに対応する入力通信20aの受信を、時間ΔT2が経過するまで開始しない。メンバーAがメンバーBの発信通信40aの受信を開始するまでに経過する時間ΔT2とは実質的に、(1)メンバーBの発信通信40aがエンコードされ、(2)エンコードされた通信がメンバーBの発信ユニットからメンバーAの受信ユニットへと伝送され、(3)エンコードされた通信がデコードされて出力される間に経過する時間である。
遅延ΔT1及びΔT2の結果、メンバーAは、通信10aの終了から往復遅延時間ΔTRT=ΔT1+ΔT2に相当する時間が経過するまで、メンバーBからの発信通信10aに対する応答の受信を期待できない。
しかしながら上述のように、大部分のコミュニケーションは対面のシナリオで起こり、対面コミュニケーションでは、人間はこのような遅延を経験しないため、往復遅延時間ΔTRTが経過するのを待って応答を受信することに慣れていないのが通常である。遠隔会議システムによってコミュニケーションをとる場合、遠隔会議のシナリオは、他の種類のコミュニケーション(例えば、eメール、従来の郵便、電話など)に比べてより対面コミュニケーションを模倣しているため、人間は特に、対面コミュニケーションにおいて行動するように行動しがちである。
したがって例えば、遠隔会議環境で第1のメッセージを伝達した後、往復遅延時間ΔTRTの最中に、第1の会議メンバーは、第2のメンバーから応答がない、且つ/又は第2のメンバーは第1のメッセージをうまく受信できなかったのではないかと誤って思い込み、第2のメッセージを届けるため、且つ/又は第1のメッセージを繰り返すために、遅延時間ΔTRTの最中に第1のメンバーが再び話し始める可能性がある。第1のメンバーが再び話し始めた後、この第1のメンバーは第2のメンバーの応答の受信を開始する(即ち、衝突)。この衝突の結果、第1のメンバーは、例えば第2のメッセージの途中又は第1のメッセージを繰り返している途中で止めて第2のメンバーの応答を聞く。第2のメンバーの応答を聞いた後、第1のメンバーは第2のメンバーの応答に対する応答を開始し、第2のメンバーは第1のメンバーの応答を受信した後、第2のメンバーも話し始めてから、例えば「お話し下さい」と言い、且つ/又はさらに第1のメンバーの部分的な応答に対して応答する。このようなシナリオでは、対応する遅延時間の後に、メンバーは別の衝突が生じたことを認識する。
図1は、メンバーAが発信通信10bを伝達し、メンバーBが発信通信40bを伝達するときに、メンバーBは、発信通信40bが終了する前に、メンバーAの発信通信10bに対応する入力通信30bの受信を開始し、メンバーAは、発信通信10bが終了する前に、メンバーBの発信通信40bに対応する入力通信20bの受信を開始することによって生じる、衝突を示す。図1に示す典型的な遠隔会議では、幸運なことにこの衝突の後、メンバーBは、メンバーAの発信通信10cに対応する入力通信30cの受信の開始後まで発信通信40cを開始しないため、メンバーBは、発信通信10cの終了後まで入力通信20cの受信を開始しない。
以下に説明するのは、図1に関連して上述したような衝突が遠隔会議中に生じるのを減らすため、好ましくは防ぐために、遠隔会議を仲介するシステム及び方法の種々の典型的な実施形態である。本明細書中で説明する、遠隔会議のステータスを提供するシステム及び方法の典型的な実施形態では、衝突を減らすため、好ましくは防ぐためにターンテイキングを助ける目的で種々のステータス信号が提供されている。例えば、メンバーに遅延の存在を警告する信号、メンバーにおおよその遅延(例えば、片道遅延、往復遅延などの)量を知らせる信号、メンバーが受信するであろう時間よりも十分前に、別の会議メンバーが通信を開始したことをメンバーに知らせる信号、より速い手段を介して伝送され、且つ/又はより速いエンコーディング/デコーディングを要する伝達メッセージ部分に対応する信号などのステータス信号が提供される。
図2は、本明細書中で説明する遠隔会議のステータスを提供するための典型的なシステム及び方法の1つ又はそれより多くの典型的な態様に係る、ステータス提供システム及び/又は方法を利用する典型的な遠隔会議システムの図である。図2に示す典型的な遠隔会議システム100は、少なくとも2人のメンバーA、Bとの間の遠隔会議である。2人のメンバー(即ち、各サイトに1人のメンバー)しか示していないが、2つより多くのサイトが遠隔会議に参加可能であり、且つ/又は1人よりも多くのメンバーが各サイトに存在可能となっている。さらに幾つかの実施形態では、関係するサイトが、異なる大陸、異なる国、異なる州、異なる都市、異なる建物、異なる部屋、同じ部屋にあってよい。即ち、本明細書中で説明する典型的なステータス提供システム及び方法は、少なくとも1人のメンバーが、少なくとも1人の他のメンバーと、物理的な及び/又はワイヤレスの通信回線/システムの発信及び/又は受信ユニットを通じて通信する、あらゆる遠隔会議環境で使用可能である。
図2に示す典型的な遠隔会議システム100では、メンバーAは発信ユニット110を使用してメンバーBに通信し、このメンバーBは、受信ユニット160によってメンバーAの通信を受信する。メンバーBがメンバーAの通信を受信する前に、メンバーAの通信は、例えばメンバーAの発信ユニット110のマイクロホン113やカメラ115によって捕捉されて信号にされなければならない。そしてメンバーAの通信に基づいて生成された信号は、エンコーダ120によってエンコーディングプロセスを受け、そして通信回線/ネットワーク125を介してメンバーBの受信ユニット160に関連するデコーダ130へと送信される。デコーダ130は、メンバーAの通信に基づいて生成された信号をデコードし、それをメンバーBの受信ユニット160のスピーカ163及び/又はディスプレイ165で再生及び/又は表示する。そうすることで、メンバーBはメンバーAの通信を体験できる。
同様に、遠隔会議システム100のこの典型的な実施形態では、メンバーBは発信ユニット210を利用してメンバーAに通信し、このメンバーAは、受信ユニット260によってメンバーBの通信を受信する。メンバーAがメンバーBの通信を受信する前に、メンバーBの通信は、例えばメンバーBの発信ユニット210のマイクロホン213及びカメラ215によって捕捉されて信号にされなければならない。そしてメンバーBの情報に基づいて生成された信号は、エンコーダ220によってエンコーディングプロセスを受け、そして通信回線/ネットワーク225を介してメンバーAの受信ユニット260に関連するデコーダ230へと送信される。デコーダ230はメンバーBの通信に基づいて生成された信号をデコードし、それをメンバーAの受信ユニット260のスピーカ263及び/又はディスプレイ265で再生及び/又は表示する。そうすることで、メンバーAはメンバーBの通信を体験できる。
図2に示す典型的な実施形態では、発信ユニット110、210はそれぞれマイクロホン113、213とカメラ115、215を含み、受信ユニット160、260はそれぞれスピーカ163、263とディスプレイ165、265を含む。一般に、遠隔会議(例えば、ビデオ会議)の場合、カメラ、スピーカ、ディスプレイ及びマイクロホンが、少なくとも1人の会議メンバーがいる各サイトに設けられる。そうすることで、ある1つのサイトで行われた音声による通信がマイクロホンによって受信されて別のサイト(単数又は複数)にあるスピーカに転送され、カメラがそのサイト(通常は、そのサイトにいるメンバー(単数又は複数)を含む)の映像信号を別のサイト(単数又は複数)に送信し、そこでディスプレイが受信した映像信号に基づいて画像を表示する。しかしながら幾つかの実施形態では、例えば発信ユニットはカメラ又はマイクロホンだけを含んでもよいし、且つ/又は画像/音声を捕捉可能な別のデバイス(単数又は複数)を含んでもよい。これと同様に、幾つかの実施形態では、例えば受信ユニットはディスプレイ又はスピーカだけを含んでもよいし、並びに/又は画像を表示し、且つ/若しくは音声を出力できる別のデバイス(単数又は複数)を含んでもよい。さらに、図2に示す遠隔会議システムの典型的な実施形態では、発信ユニット110、210は両方ともマイクロホン113、213とカメラ115、215を含むが、幾つかの実施形態では、遠隔会議に関係するメンバー全員が、例えばマイクロホンとカメラの両方を含む発信ユニットにアクセスするとは限らない。同様に、図2に示す遠隔会議システムの典型的な実施形態では、受信ユニット160、260は両方ともスピーカ163、263とディスプレイ165、265を含むが、幾つかの実施形態では、遠隔会議に関係するメンバー全員が、例えばスピーカとディスプレイの両方を含む受信ユニットにアクセスするとは限らない。即ち、会議メンバー全員が音声信号と映像信号の両方を送受信できる能力を有する必要はない。なぜならば、例えば音声信号の送受信能力と映像信号の送受信能力の一方だけでも、会議メンバーはその会議に十分に参加可能であるためである。
図2に示す典型的な遠隔会議システムはさらに、各メンバーA、Bそれぞれに関連するステートトラッカー(状態追跡部)140、240とユーザーインタフェース150、250を含む。各ステートトラッカー140、240は、メンバーAとメンバーBとの間の通信状態に関する情報を、各通信回線145、245を介して各ユーザーインタフェース150、250に提供する。そうすることで各ユーザーインタフェース150、250は、例えばステータス信号を各メンバーA、Bそれぞれの受信ユニット260、160を通じて出力できる。図2に示す典型的な遠隔会議システムでは、メンバーA、Bの両方がステートトラッカー140、240に関連し、それぞれの受信ユニット260、160を介してステータス信号を受信できるが、幾つかの実施形態では、メンバーのうちの1人だけ又は何人かが、ステートトラッカーに関連し、且つ/又はそれぞれの受信ユニットに関連するユーザーインタフェースを介してステータス信号を受信できる。さらに幾つかの実施形態では、ステートトラッカーは例えばある1つの通信モード(例えば、映像)だけを監視してもよく、且つ/又はユーザーインタフェースは、例えば1つの通信モードによって信号を出力する(例えば、画像を表示する)ことしかできなくてもよい。
なお、上記エンコーダ120、220、デコーダ130、230、ステートトラッカー140、240、ユーザインタフェース150、250は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。上記エンコーダ120、220、デコーダ130、230、ステートトラッカー140、240、ユーザインタフェース150、250がハードウェアである場合、当該ハードウェアは専用装置または汎用装置(例えば、パーソナル・コンピュータのような情報処理装置)であってよく、エンコーダ120、220、デコーダ130、230、ステートトラッカー140、240、ユーザインタフェース150、250のうち単一または複数の機能を含む、単一または複数の装置であってよい。
上記装置は、例えば、プロセッサによる実行の際の作業領域を形成するとともにプログラムや処理対象としてのデータを格納する記憶部、通信回線125、145、225、245のような通信網およびマイクロホン(音声入力装置)113、213、カメラ(画像入力装置)115、215のような入力装置からデータを入力する入力部、通信回線125、145、225、245のような通信網およびスピーカ(音声出力装置)163、263、ディスプレイ(表示装置)165、265のような出力装置にデータを出力する出力部などを含む。プロセッサは、プログラム(ソフトウェア)を読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理をする。
通信回線125、225及び145、245には、周知の通信手段を使用できる。一般に、ステータス信号が、伝送されるデータに基づいて、ある1つのサイトでの事件が別のサイトで体験される十分前に確実に出力されるように、通信回線145、245に利用される通信手段のほうが、通信回線125、225に利用される通信手段よりもずっと速い。幾つかの実施形態では、通信回線125、225は一連の通信リンクを伴えるし、各通信リンクは異なる特徴を有してもよい。例えば第1の通信方法は、一連の総合デジタル通信網(「ISDN」)リンクを利用可能であり、第2の通信方法は、インターネットへのダイヤルアップ接続と、既に行われている、ローカルエリアネットワーク(「LAN」)への仮想プライベートネットワーク(「VPN」)接続を利用可能である。種々の実施形態では、通信リンク又は伝送ネットワークは、プライベートネットワークやパブリックスイッチサービスなどの、任意の周知の通信手段でよく、遠隔通信及び/又は衛星技術などの、任意の周知の技術を利用できる。さらに事件信号は、任意の適切な圧縮/解凍手段又は音声/映像コード−デコード(例えば、コーデック)手段によってエンコード/デコード又は圧縮/解凍可能であり、エンコーディング/デコーディングプロセスは、上述のように、待ち時間(即ち、遅延)をもたらす。一般に、カメラやマイクロホンによって捕捉された事件に基づく事件信号(単数又は複数)が関与する場合、この事件信号の音声部分と映像部分は独立して伝送されることができる。さらに、音声信号は一般に、この音声信号が映像信号よりも速く発生したサイト以外のサイトで体験できる。低ビットレートで高品質の映像を維持するために使用するフレーム間圧縮が、音声信号よりも映像信号のほうが一般に待ち時間がより長い1つの原因である。また、種々の実施形態では、音声及び/又は映像の事件信号はバッファリングされ、これが長い待ち時間の考えられる別の原因である。あるサイトでの事件が別のサイト(単数又は複数)で体験される十分前にステータス信号が確実に受信されるのを助けるようにタイムリーに、データ(例えば、決定した遅延時間(単数又は複数))をユーザーインタフェースに出力するために、幾つかの実施形態では、帯域外チャンネル(例えば、ユーザーデータグラムプロトコル(「UDP」))を通信回線145、245に利用できる。
上述のように、遠隔会議に関するエンコーディング、デコーディング、バッファリング及び/又は伝送のプロセスは時間がかかるため、あるサイトでの事件(例えば、動き又は口頭によるメッセージ)が別のサイト(単数又は複数)で体験される前に、遅延が生じる。図2の示すところによると、メンバーAのサイトでの音声による事件(例えば、口頭によるメッセージ)がメンバーBのサイトでレンダリングされる前に発生する平均遅延時間ΔTAと、メンバーAのサイトでの映像による事件(例えば、スピーチ中の唇の動き)がメンバーBのサイトでメンバーによって体験される前に発生する平均遅延時間ΔTVがある。典型的には、エンコーディングの複雑さが増し、且つ/又は映像信号をエンコードするためにフレーム間圧縮を使用するために、遅延時間ΔTAのほうが遅延時間ΔTVよりも短い。したがって一般には、例えばメンバーBのサイトにいるメンバーが、実質的に且つ好ましくは完全に同期化された(例えば、スピーチと唇の動きとがリップシンクした)音声と映像による事件を体験するために、受信ユニット130は、音声信号のレンダリングをさらに遅延する。そうすることで、音声による事件と映像による事件を両方とも遅延ΔTAV=max(ΔTA,ΔTV)=ΔTVの後に体験できる(即ち、音声と映像が実質的に且つ好ましくは完全に同期化される)。しかしながら幾つかの実施形態では、図8に関連して以下に説明するように、事件信号(例えば、音声信号)の一部を、その事件信号の別の部分に対する遅延より短い遅延(例えば、ΔTA<ΔTV)でレンダリングする。
幾つかの実施形態では、遠隔会議のはじめに、例えば最初の通信の最中に、1つ又はそれより多くのステートトラッカーによって平均遅延時間を決定する。このステートトラッカーは、片道遅延及び/又は往復遅延を決定できる。さらに幾つかの実施形態でステートトラッカーは、おおよその遅延を、遠隔会議を通じて複数回(例えば、n番目の通信毎に)決定できる。幾つかの実施形態では、ステートトラッカーは、クロック同期プロトコル(例えば、ネットワークタイムプロトコル(NTP)又はシンプルネットワークタイムプロトコル(SNTP))によって同期化されたコンピュータで実行可能で、エンコードデータはリアルタイム伝送プロトコル(例えば、リアルタイム転送プロトコル(RTP)又はリアルタイムストリーミングプロトコル(RTSP))を使用して伝送できる。そうすることで、この実施形態の使用中に連続して遅延を決定できる。また別の実施形態でステートトラッカーは、例えば、会議サイトの場所及び/又は伝送手段及び/又は遠隔会議システムなどに基づく平均遅延時間を含むルックアップテーブル(LUT)を使用して、おおよその遅延時間を決定できる。LUTは、例えば国内の遠隔会議、太平洋を横断する遠隔会議、ローカルの遠隔会議などのために設定された平均時間を含んでもよい。そしてステートトラッカーは、決定した情報(例えば、おおよその時間遅延)を、関連するユーザーインタフェース(単数又は複数)に与える。そうすることでユーザーインタフェースは、関連するメンバーに1つ又はそれより多くのステータス信号を与え、遠隔会議中にターンテイキングをし易くし、衝突を減らし、好ましくは防ぐのを助けられる。ステータス信号とユーザーインタフェースの典型的な形態を、図4〜7に関連させて以下に説明する。
図3は、遠隔会議中にステータス信号(仲介信号)を提供するための典型的な方法のフローチャートを示す。この方法はステップS300でスタートし、そこで遠隔会議が開始する。ステップS310で、第1のサイトで起こった事件に基づいて、事件信号が生成される。この実施形態の事件信号は、映像及び/又は音声を伝送する信号である。事件信号が生成された後、この事件信号を第2のサイトへ伝送するためのおおよその遅延時間を、ステップS320で決定する。おおよその遅延時間とは、例えば、その事件の片道遅延時間、その事件の往復遅延時間、第1のサイトと第2のサイトとの間の、一般的な事件の平均片道遅延時間及び/又は第1のサイトと第2のサイトとの間の、一般的な事件の平均往復遅延時間の概算値である。2つより多くのサイトが関係する遠隔会議では、決定されるおおよその遅延時間は、例えば、発信ユニットと受信ユニットとの各ペアの遅延時間及び/又は最も遠い場所に位置する(即ち、最も伝送の遅い)発信ユニットと受信ユニットとの間の遅延時間である。上述のように、平均的なおおよその遅延時間は、例えば、設定遅延値に基づいて、入力時間(即ち、会議メンバーが入力する遅延量)に基づいて、サンプル信号又は遠隔会議が最初に始まったときの、その遠隔会議の最初の通信を送信及び/又は受信することによって、例えば、そのメッセージに対応するデータ量、伝送の種類及び/又はその遠隔会議に関係する距離(単数又は複数)、ネットワーク接続の協議済みのクオリティオブサービス(QoS)パラメータに基づいて各通信のおおよその遅延時間を計算することによって、且つ/又はLUTを使用しておおよその遅延時間を獲得することによって、決定できる。幾つかの実施形態では、音声と映像それぞれに対して別々のおおよその遅延時間を決定できる。
遅延時間を決定した後、ステップS330で、決定した遅延時間とステータス信号に必要なあらゆる追加データを、エンコードされた事件信号が伝送される手段(例えば、特定のコーデック、伝送プロトコル、バッファリング方式)よりも一般に速い手段(例えば、通信回線上の特定の伝送プロトコル)によって、対応するユーザーインタフェース(単数又は複数)に伝送する。決定した遅延時間とあらゆる追加データをユーザーインタフェースが受信した後、ステップS340で、遠隔会議中にターンテイキングをし易くするためのステータス信号が、別のサイト(単数又は複数)での事件の少なくとも第1の部分を体験する前に、且つ/又は少なくともその事件の開始後の、決定した平均的なおおよその遅延時間の経過に対応する時間に、1つ又はそれより多くのサイトで、ユーザーインタフェースによって与えられる(すなわち、別のメンバーが事件を受信する前に仲介信号を出力する)。例えば幾つかの実施形態では、ステータス信号は、その事件の少なくとも第1の部分が受信サイト(単数又は複数)で体験される時間よりも前の時間に、受信サイト(単数又は複数)に与えられ、このステータス信号は、受信サイト(単数又は複数)のメンバーに、何かが届きつつあるので彼/彼女/彼らは待機してそれを体験すべきだという何らかの表示を与える。幾つかの実施形態では、ステータス信号は、決定したおおよその遅延時間が経過したときに発信サイトに与えられ、このステータス信号は、発信サイトが生成した事件信号が、おおよそいつ受信サイト(単数又は複数)で体験されるか、既に体験されたか、又は体験されようとしているかに関する表示を与える。種々の実施形態では、本発明の1つ又はそれより多くの態様にしたがうステータス信号のうちの1つ、その両方及び/又は他の種類又は組み合わせのステータス信号を利用できる。ステータス信号又は与えられたステータス信号のうちの少なくとも1つは一般に、(S320で決定されたような)決定した平均的なおおよその遅延時間に基づいている。そのため、例えばステータス信号は、事件の少なくとも開始後に、決定した平均的なおおよその遅延時間が経過したときに与えられ、決定した平均的なおおよその遅延時間の経過にわたってオブジェクトの色/陰影が第1の色/陰影から第2の色/陰影に変化するか、又は決定した平均的なおおよその遅延時間の経過にわたってバー/クロックハンドが移動するか、又は決定した平均的なおおよその遅延時間の経過にわたって時計のディスプレイがゼロまでカウントダウンできる。ステータス信号が与えられた後、ステップS350で、他のサイト(単数又は複数)のメンバー(単数又は複数)は、うまくいけば一切の衝突(単数又は複数)なしでその事件を体験できる。このプロセスはステップS360で終了し、そこで遠隔会議が終了する。
種々の種類や形態のステータス信号を、種々の実施形態で利用できる。例えばステータス信号は、ローカルな事件(即ち、そのサイトで起こった事件)がいつ遠隔サイト(即ち、その事件が起こったサイト以外のサイト)で体験されるか又は体験されている最中かに関する表示を与えるための、決定した平均的なおおよその片道遅延時間に基づく信号でもよい。例えばステータス信号は、ローカルな事件の後、そのローカルな事件に対する応答がいつローカルサイトで受信されると予想するべきか、且つ/又は予想できるかに関する表示を与えるための、決定した平均的なおおよその往復遅延時間に基づく信号でもよい。
ステータス信号は、例えば、サイトの1つでの事件の発生に基づいてもよい。そうすることで、別のサイトで事件が起こったという信号を遠隔サイトのメンバーに与えられる。他のステータス信号は、例えば、正確にどの遠隔会議メンバーが、且つ又はどのサイトが、遅延時間の経過後に遠隔サイトで体験されるであろう何かを最近通信したか、且つ/又は依然として通信しているか、に基づいてもよい。どの会議メンバーが通信した(例えば、話した)か、を検出/決定するための周知のシステムを、利用できる。例えば、ディスプレイ165、265に表示されるオブジェクトの色を、決定した遅延時間(例えば、平均的なおおよその往復遅延時間)に基づく速さで、ある色の第1の陰影(即ち、最も明るいものか又は最も暗いもの)からその色の第2の陰影へと変化させることで、このような典型的なステータス信号に通信できる。幾つかの実施形態では、例えば、決定した平均的なおおよその遅延時間がある閾値よりも大きい場合だけに、ステータス信号を与えられる。幾つかの実施形態では、ステータス信号は事件信号の一部(例えば、音声信号)であり、これは、この事件信号の残りの部分(例えば、映像信号)を体験する前に、受信サイト(単数又は複数)で体験できる。
図4は、図2に示した典型的な遠隔会議システムなどの遠隔会議システムで利用できる、遠隔会議のステータスを提供するための1つの典型的なインタフェースの図である。種々の実施形態では、このステータス信号は、例えば映像信号及び/又は音声信号の形態をとれる。図4は、2つの形態の映像ステータス信号を用いる、典型的な映像インタフェースを示す。図4に示す典型的なステータス信号の1つは、どのサイトが通信しているかに応じて色/陰影を変えるオブジェクト410、420(例えば、円)である。図2に示すもう1つの典型的なステータス信号は、サイトの音声信号に基づいて色/陰影を変える進行波ディスプレイ430、440である。
図4に示す、典型的な色が変化する視覚的オブジェクト(例えば、円)のステータス信号410、420は、そのサイトのメンバー(単数又は複数)が話しているかどうかに関する視覚的表示を、通信源を表すことで知られた第1の色でオブジェクトに着色/陰影を付けることで、行う。このオブジェクトは、例えばボタンを押すことでメンバーが次に発言をしたい旨の要求をした場合、又はステートトラッカーが、あるメンバーが話そうとしていることを周知の方法で検出可能な場合のために、第2の色/陰影を有するようにしてもよい。例えばステートトラッカーは、メンバーの口の動き、体の動き/ジェスチャーなどに基づいて、どのメンバーが話そうとしているかを決定できる。より具体的に言うと、例えばステートトラッカーは、どのメンバーがジェスチャーしているかを、動作検出器によって決定できる。さらに、例えばオブジェクトはより明るくなったりより暗くなったり(フリッカー)可能で、通信源が発言を止めようとしていることを表示可能である。
図4に示す典型的な進行波ステータス信号430、440は、いつ入力及び/又は発信事件信号(単数又は複数)が「そのチャンネルをクリアにしたか」に関する視覚的表示を与える。進行波ステータス信号インジケータは、例えば複数の垂直バーからなり、各バーの特徴(例えば、高さ、幅、色、動きなど)が、例えばある時点の音声レベルに対応する。そうすることで、複数のバーがある時間間隔にわたる音声レベルを表示できる。例えばインジケータ440は、(図4のインタフェースが表示されている)ローカルサイトで生成された音声信号の、時間にわたったレベルを表す。一番左のバーの高さが現在の音声レベルを示し、右側に続くバーの高さが、逐次的に大きくなる時間遅延後の音声レベルを示す。例えば、進行波ステータス信号430、440は、理論上では、事件信号が通信回線/ネットワークを移動するときの、その音声部分に関する音声信号(単数又は複数)の音声レベルを示す。遠隔会議に関係するサイト間の通信の平均往復遅延時間が経過した時に、進行波視覚信号の最後のバーが選択/表示(例えば、ハイライト、投影)される。即ち、例えば進行波視覚信号がクリアになったとき(即ち、色、ハイライト、投影が視覚信号を通過し、例えば全てのバーが最短の高さになったとき)、それが他のサイト(即ち、最後の通信源以外のサイト)からの応答が予測できる、最も早いおおよその時間である。典型的な実施形態では、視覚的インジケータ430は、遠隔サイト(単数又は複数)の音声のレベルを示す。遠隔サイトが多数の場合、例えば任意のサイトの最大音声レベルを表示できる。430を生成するために使用されるステータス信号は、遠隔サイトでの音声による事件の発生時間と、ローカルサイトでのその事件のレンダリング時間との間の遅延よりも少ない遅延でエンコード、伝送、そしてレンダリングされるため、ローカルのメンバーは、自分達がその事件を見聞きし始める前に音声が「入ってきた」という視覚的表示を見ることになる。
図4に示す典型的なインタフェースは、ローカルサイトと遠隔サイト両方のステータスに関する複数の信号を提供するが、一方幾つかの実施形態では、このインタフェースは、例えば、1つのサイト(例えば、ローカル又は遠隔)の状態に関する単一のステータス信号だけを含むようにしてもよい。例えば上述のように、幾つかの実施形態では、事件信号の発信ユニットで単一のステータス信号が出力され、この信号は、予測された遅延時間が経過したので事件信号が遠隔サイトで体験されるはず、体験された、又は体験されようとしていることを示す。このような実施形態では、ステータス信号は、例えば発信ユニットから受信ユニットへの事件信号の伝送のための、予測される遅延時間(又は例えば、全ての受信ユニットへの伝送のための平均遅延時間)に基づいて出力される。そうすることで発信サイトでは、その事件の後に予測された遅延時間が経過すると、音声及び/又は映像信号がレンダリングされる。この信号は、予測された遅延時間が経過し、少なくともその事件の最初の部分が受信ユニットによってその時間に又はその時間頃に受信されるであろうことを示す。その信号は、例えば遅延時間の経過直後の時点の音声信号(例えば、ビープ音)でもよいし、例えば進行波でもよい。この進行波は、予測された遅延時間の経過中はフラット(例えば、信号なし)で、予測された遅延時間が経過すると、進行波のバーが移動を開始し、その事件の時間間隔(例えば、メッセージの開始からそのメッセージの終了までに経過する時間)が経過するまで、次々とバーが移動を続け、受信サイトが既にその事件の全てを体験(即ち、全てのメッセージを受信)したはず、又は体験しようとしているという表示を与える。幾つかの実施形態では、上述のように、別のサイトにある発信ユニットで生成された事件信号の受信ユニットで、例えば単一のステータス信号が出力される。この信号は、事件信号を受信ユニットのサイトで体験する前に、何か(例えば、映像及び/又は音声のメッセージ)が届きつつあるということを示す。このような実施形態では、事件の後又は少なくとも事件の開始時に、音声信号(例えば、ビープ音)及び/又は映像信号(例えば、色が変わる球状の小さな塊)の形態でレンダリングされたステータス信号が産物として出力される(即ち、辛抱強く待機すること。何かが届きつつある。)。
図5は、図2に示す典型的な遠隔会議システムなどの遠隔会議システムで利用可能な、遠隔会議のステータス信号を提供するための別の典型的なインタフェースの図である。図5に示す典型的なインタフェースは、図4に示す典型的なインタフェースに類似している。即ち、典型的なステータス信号510、520、530及び540は、図4に示す典型的なステータス信号410、420、430及び440に類似している。図5に示す典型的なインタフェースはさらに、他のサイト(例えば、遠隔サイト)に伝送される、ローカルで捕捉された映像信号の映像画像550を含む。このような典型的な映像画像550は、遠隔サイトへの伝送のための時間遅延に適合した時間遅延で示されるため、遠隔で見られるのと同時にローカルでも見られる。このことが、ローカルサイトのメンバーに待ち時間を気づかせる助けとなる。
図6は、図2に示す典型的な遠隔会議システムなどの遠隔会議システムで利用可能な、遠隔会議のステータス信号を提供するための別の典型的なインタフェースの図である。図6では、視覚的ステータス信号610、620はオブジェクトの形態である。視覚的ステータス信号610は、例えばそのサイト(即ち、ローカルサイト)からの事件が伝送されているかどうかに基づいて色を変えるオブジェクト(例えば、円)の形態である。このインタフェースのために、事件を、閾値を超えるとメンバーが話していることを示す音声レベルとして定義できる。視覚的ステータス信号620は、例えば、遠隔会議に関係する別のサイトで起こった事件が伝送されているかどうかに基づいて、色を変えるオブジェクトの形態でレンダリングされる(即ち、例えば、決定された平均的なおおよその遅延時間がその事件の開始時間から経過し、且つ/又は決定された平均的なおおよその遅延時間がその事件の終了時間から経過するまで色を変え続ける)。
図7は、図2に示す典型的な遠隔会議システムなどの遠隔会議システムで利用可能な、遠隔会議のステータスを提供するための別の典型的なインタフェースの図である。図7に示す典型的なインタフェースは、ローカルサイトの画像710(即ち、遠隔の場所にいる他のメンバーが観察するサイトの画像)と、ある事件が最近起こった、且つ/又は起こっている最中の遠隔サイトの画像740を提供する。ローカルサイトの画像710には、ステータス信号715、720、725及び730が与えられる。遠隔サイトの画像740には、ステータス信号745、750及び760が与えられる。ステータス信号715、720、745及び750は、インタフェースに表示される各会議メンバーの周りに設けられる。オブジェクト(例えば、円)のサイズは、例えば、そのメンバーが遠隔会議中にそれまでどの程度話したか/動いたかを表示できる。オブジェクト(例えば、円)の色は、例えば、そのメンバーが現在話しているのか、話を殆ど終えようとしているのか、話すのを待っているのか、などを表示できる。ステータス信号725、760は、そのサイトのメンバーが現在通信中なのか、通信を待っているのか、ある事件の体験を待っているのか、などに基づいて、色を変えるオブジェクト(例えば、円)である。移動波の形態のステータス信号730は、例えば、遠隔サイトでの最後の通信のおおよその状況(即ち、遠隔サイトのメンバーは依然としてローカルメンバーの最後の通信を体験中である、遠隔サイトのメンバーはローカルメンバーの最後の通信の体験を未だ始めていない、遠隔サイトのメンバーはローカルメンバーの最後の通信の体験をちょうど終えたところである、など)を示す。少なくともステータス信号730は、決定した遅延時間(単数又は複数)に基づく。
図8は、図2に示す典型的な遠隔会議システムなどの遠隔会議システムで利用可能な、遠隔会議のステータスを提供するためのシステムを利用した典型的な遠隔会議の状態図である。この典型的な実施形態では、まず最初にある事件の音声部分がより遅い速度で(即ち、その音声が生成された速度よりも遅い速度で、遠隔サイトで体験される)、しかしその事件の映像部分よりも短い遅延でレンダリングされる。音声部分と映像部分は、同期化されるまで最初は非同期で再生/表示される。このような実施形態では、事件信号の映像部分と音声部分が同期化されていない時間があるが、音声信号がより早く開始することで、メンバーは、事件信号が届きつつあって、その事件信号を体験するために待機すべきだということを認識する。より具体的に言うと、例えば、図8に示す遠隔会議の典型的な部分では、映像が時間ΔTεにわたってエンコードされ、時間ΔTtにわたって伝送され、そして時間ΔTdにわたってデコードされるため、おおよそΔTV=ΔTε+ΔTt+ΔTdに等しい映像の待ち時間(遅延)の後に、映像信号のレンダリングが遠隔サイトで開始される。他方で音声信号は、エンコーディング/デコーディングされずに、又は無視できるΔTtaを生じさせるエンコーディング/デコーディングプロセスを行って、遠隔サイトへと伝送される。このような実施形態では、ΔTtaはほぼΔTtに等しく、ΔTVよりも小さい。
このように最初に受信される音声は、映像信号と同期化されるまで低速でレンダリングされる。このような音声の時間軸圧縮は、好ましくはピッチ情報を変えずに再生速度を変える任意の周知の方法で、リアルタイムで実行できる。この目的のために、時間領域法が広く使用されている。音声の再生速度はその実際の速度よりも遅いため、音声を再生するにつれ音声の待ち時間が長くなり、そのために、一般に映像チャンネルの待ち時間と同じ待ち時間に到達する。音声信号と映像信号が一旦同期化されると、音声は普通の速度で再生され、同期化が維持される。幾つかの実施形態では、音声による発言が終了した、又は殆ど終了しそうだと検出された時に、次のメンバーにできる限り早く順番を「譲る」ために、音声信号の速度を再び上げる。また、このことによって、音声レンダリングシステムは映像よりも短い待ち時間の状態に戻るため、同じ話者による、次の音声による事件を映像に先立って再生できる。
このような実施形態では、スピーチを普通に聞こえる状態にしておくように、音声信号の速度を修正できる。このような実施形態は、約0.6秒又はそれより長い片道遅延を体験する遠隔会議で特に有用である。
種々の実施形態では、遅延決定ユニットは、例えば、各事件に対して、n番目の事件毎に、新しいサイトが会議に加わる度に、会議サイトが会議から抜ける度に、且つ/又は遠隔会議の冒頭で1回、おおよその遅延時間を決定できる。種々の実施形態では、遅延決定ユニットは、例えば、予め設定された遅延時間、入力遅延時間、サンプル信号、実際の事件信号及び/又はLUTに基づいて、おおよその遅延時間を決定できる。おおよその遅延時間を決定するために実際の信号又はサンプル信号のいずれかを使用する実施形態では、実際の信号又はサンプル信号が送信されて、例えば、最も遠い場所間の片道及び/又は往復通信の時間遅延が決定される。LUTを利用する実施形態では、そのLUTは、そこに記憶されている会議サイトの場所、伝送の種類などに基づいた、平均遅延時間を有するようにしてもよい。
典型的な実施形態を上に概説してきたが、多くの変更、改変及び変形が当業者には明らかであろう。したがって、上述した典型的な実施形態は、制限ではなく例示を意図している。具体的に設計された集積回路あるいは他の電子技術からなる実施の形態に加えて、本発明の種々の実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタル・コンピュータまたはマイクロプロセッサを用いて実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成によって、および/または従来のコンポーネント回路の適切なネットワークを相互接続することによって、実現されてもよい。本発明の種々の実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータ・プログラム・プロダクトを含む。この記憶媒体は、任意のタイプのディスクを含んでよいが、本発明がそれに限定されるものではない。ディスクの種類には、フロッピー(登録商標)・ディスク、光学ディスク、DVD、CD−ROM、マイクロ・ドライブおよび磁気光学ディスク、ROM、EPROM、EEPROM、DRAM、VRAM、フラッシュ・メモリ・デバイス、磁気的または光学的カード、ナノシステム(分子メモリICを含む)、またはインストラクションおよび/またはデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含んでよい。種々の実施の形態は、一つ以上のパブリック・ネットワークおよび/またはプライベート・ネットワークを介して転送され得るコンピュータ・プログラム・プロダクトを含み、ここで、転送は、本明細書中に提供される特徴のいずれかを実行するコンピュータ・デバイスをプログラムするために使用され得るインストラクションを含む。コンピュータ可読媒体のいずれか一つに記憶された状態で、本発明は、汎用/専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマン・ユーザまたは他のメカニズムとインタラクションするのをイネーブル(相互作用可能)とするためのソフトウェアを含む。このようなソフトウェアは、デバイス・ドライバ、オペレーティング・システム、実行環境および/またはコンテナ、およびアプリケーションを含んでいてもよいが、本発明はこれに限定されるものではない。
典型的な遠隔会議の状態図である。 典型的なステータス提供システムを利用した、典型的な遠隔会議システムの図である。 遠隔会議のステータスを提供するための典型的な方法の図である。 図2に示す遠隔会議システムが利用可能な、遠隔会議のステータスを提供するためのある典型的なインタフェースの図である。 図2に示す遠隔会議システムが利用可能な、遠隔会議のステータスを提供するための別の典型的なインタフェースの図である。 図2に示す遠隔会議システムが利用可能な、遠隔会議のステータスを提供するための別の典型的なインタフェースの図である。 図2に示す遠隔会議システムが利用可能な、遠隔会議のステータスを提供するための別の典型的なインタフェースの図である。 典型的なステータス提供システムを利用した、典型的な遠隔会議の状態図である。
符号の説明
100 遠隔会議システム
110 発信ユニット
120 エンコーダ
125 通信回線、ネットワーク
130 デコーダー
160 受信ユニット
210 発信ユニット
220 エンコーダ
225 通信回線、ネットワーク
230 デコーダー
260 受信ユニット

Claims (24)

  1. おおよその遅延時間を決定する遅延決定ユニットと、
    ステータス信号生成器と、
    を備える、遠隔会議のためにステータスを提供するシステムであって、
    前記おおよその遅延時間は、第一の時点で生じる事件が第二の時点に到達するまでに経過するおおよその時間量であり、すなわち、該おおよその遅延時間は該第一の時点と第二の時点との間の差におおよそ等しく、
    前記第一の時点は、発信ユニットによって捕捉されて事件信号となり、
    前記第二の時点は、前記事件信号が少なくとも一の受信ユニットによって受信された後の時点であり、
    前記事件の後、前記ステータス信号生成器は、前記事件および決定された前記おおよその遅延時間にもとづいて、ステータス時点におけるステータス信号を提供し、
    前記ステータス時点は、前記第二の時点よりも前の時点、および、決定された前記おおよその遅延時間が前記第一の時点から経過した、少なくとも経過し始めたときの時点、の少なくとも一を含む時点である、
    遠隔会議のためにステータスを提供するシステム。
  2. 前記事件信号は、カメラおよびマイクロホンの少なくとも一方を備える前記発信ユニットによって捕捉される、映像事件信号および音声事件信号の少なくとも一方であり、
    前記映像事件信号および音声事件信号の少なくとも一方が、ディスプレイおよびスピーカの少なくとも一方を備える前記受信ユニットによって受信されたときに、前記事件が到達したとされる、
    請求項1に記載のステータスを提供するシステム。
  3. 前記ステータス信号は、音声ステータス信号および映像ステータス信号の少なくとも一方の形態でレンダリングされる、請求項2に記載のステータスを提供するシステム。
  4. 前記映像ステータス信号は、視認可能なオブジェクトの形態でレンダリングされ、
    前記オブジェクトの変化が終了するときに、前記おおよその遅延時間の経過が終了し、前記事件信号が前記受信ユニットによって受信されるように、決定された前記おおよその遅延時間が経過する間に、第一の色から第二の色への変化、輪郭オブジェクトからソリッド・オブジェクトへの変化、ソリッド・オブジェクトから輪郭オブジェクトへの変化、前記オブジェクトの参照部分の位置、形状、サイズのうちの少なくとも一の変化、のうちの少なくとも一によって当該視認可能なオブジェクトが変化する、
    請求項3に記載のステータスを提供するシステム。
  5. 前記おおよその遅延時間の経過が終了するまで、および、前記受信ユニットによって前記映像事件信号が受信されるまで、の少なくとも一方までに、所定の音声、および、前記映像事件信号のレンダリングに先立って提供される低速バージョンの音声事件信号の一方として、前記音声ステータス信号がレンダリングされる、
    請求項3に記載のステータスを提供するシステム。
  6. 複数の受信ユニットのうちの一のユニットによって提供される前記ステータス信号の形態が、当該複数の受信ユニットのうちの別のユニットによって提供される前記ステータス信号の形態と異なる、請求項3に記載のステータスを提供するシステム。
  7. 前記発信ユニットは第一の位置にあり、少なくとも一の前記受信ユニットは第二の位置にある、請求項3に記載のステータスを提供するシステム。
  8. 前記遅延決定ユニットは、前記事件が前記受信ユニットの各々に受信されるまでに経過する時間量を決定し、決定されたもっとも長い時間量にもとづいて、前記おおよその遅延時間を決定する、請求項3に記載のステータスを提供するシステム。
  9. 前記おおよその遅延時間の経過が終了するまで、前記映像事件信号が受信ユニットの各々によって受信されるまで、の少なくとも一方までに提供される、低速バージョンの音声事件信号として、前記ステータス信号がレンダリングされ、
    前記事件信号の前記映像信号が受信される場合に、前記事件信号の映像事件信号および残りの部分の音声事件信号ができるだけ事件に共通するように、前記音声信号および前記映像信号は前記受信ユニットによって同期化され、一緒に提供される、
    請求項3に記載のステータスを提供するシステム。
  10. 前記遅延決定ユニットは往復遅延時間を決定し、
    前記往復遅延時間は、
    第一の事件にもとづいて第一の発信ユニットによって生成される第一の事件信号が第一の受信ユニットによって受信され、第二の事件にもとづいて第二の発信ユニットによって生成される第二の事件信号が第二の受信ユニットによって受信されるまでに経過するおおよそ最小の時間量であり、
    前記第二の事件は、前記第一の事件による第一の事件信号の受信後に生じ、
    前記第一の発信ユニットおよび第二の受信ユニットは一方のサイトにあり、
    前記第二の発信ユニットおよび第一の受信ユニットは他方のサイトにある、
    請求項1に記載のステータスを提供するシステム。
  11. 前記第一の事件信号は前記第一の発信ユニットによって捕捉される映像事件信号および音声事件信号の少なくとも一方であり、
    前記第二の事件信号は前記第二の発信ユニットによって捕捉される映像事件信号および音声事件信号の少なくとも一方であり、
    前記第一の発信ユニットおよび第二の発信ユニットの各々は、カメラおよびマイクロホンの少なくとも一方を備え、
    前記第一の事件信号の映像事件信号および音声事件信号の少なくとも一方が第一の受信ユニットにより受信されたときに、前記第一の事件が到達したとされ、
    前記第二の事件信号の映像事件信号および音声事件信号の少なくとも一方が第二の受信ユニットにより受信されたときに、前記第二の事件が到達したとされ、
    前記第一の受信ユニットおよび前記第二の受信ユニットの各々が、ディスプレイおよびスピーカの少なくとも一方を備える、
    請求項10に記載のステータスを提供するシステム。
  12. 第一のサイトが第一の位置にあり、第二のサイトが第二の位置にあり、
    前記第一の位置と第二の位置とは異なる、
    請求項11に記載のステータスを提供するシステム。
  13. 前記ステータス信号は、決定された前記往復遅延時間にもとづく、請求項11に記載のステータスを提供するシステム。
  14. 発信ユニットによって捕捉されて事件信号となるオリジナル事件が受信ユニットに到達するおおよその遅延時間を決定する、遅延決定手段と、
    ステータス信号を提供する、ステータス信号提供手段と、
    を備え、
    前記ステータス信号は、決定された前記おおよその遅延時間にもとづいて、事件信号のすべての部分が受信ユニットによって受信される前にオリジナル事件が生じたことを示す表示、前記おおよその遅延時間を示す表示、前記オリジナル事件の間にもともと生じた事件信号の部分のオリジナル速度よりも低速な事件信号の部分の一、の少なくとも一を提供する、
    ステータス提供システム。
  15. 前記事件信号の部分が映像事件部分と音声事件部分とを含み、
    低速で提供される前記事件信号の部分は前記音声事件部分である、
    請求項14に記載のステータス提供システム。
  16. (a)第一の時点で生じる事件にもとづく事件信号を捕捉し、
    (b)おおよその遅延時間を決定し、
    (c)ステータス信号を提供する、
    遠隔会議のためにステータスを提供する方法であって、
    前記おおよその遅延時間は前記事件が第二の時点に到達するまでに経過するおおよその時間量を少なくとも含み、すなわち、該おおよその遅延時間は該第一の時点と第二の時点との間の差におおよそ等しく、
    前記第二の時点は、前記事件信号が少なくとも一の受信ユニットによって受信された後の時点であり、
    前記ステータス信号は、前記事件および前記おおよその遅延時間にもとづき、該ステータス信号は、ステータス時点において発信ユニットおよび受信ユニットの少なくとも一方によってレンダリングされ、
    前記ステータス時点は、前記第二の時点よりも前の時点、および、決定された前記おおよその遅延時間が前記第一の時点から経過した、少なくとも経過し始めたときの時点、の少なくとも一を含む時点である、
    遠隔会議のためにステータスを提供する方法。
  17. (a)が、カメラおよびマイクロホンの少なくとも一方を用いて、前記事件にもとづく映像事件信号および音声事件信号の少なくとも一方を捕捉することを含む、請求項16に記載のステータスを提供する方法。
  18. (c)が、音声ステータス信号および映像ステータス信号の少なくとも一方の形態で、ステータス信号をレンダリングすることを含む、請求項16に記載のステータスを提供する方法。
  19. (c)が、スピーカおよびディスプレイの少なくとも一方を用いて、前記音声ステータス信号および映像ステータス信号の少なくとも一方を出力するステップを含む、請求項18に記載のステータスを提供する方法。
  20. 前記映像ステータス信号を提供することが、
    オブジェクトの変化が終了するときに、前記おおよその遅延時間の経過が終了し、前記受信ユニットが事件信号を受信するように、決定された前記おおよその遅延時間が経過する間に、第一の色から第二の色への変化、輪郭オブジェクトからソリッド・オブジェクトへの変化、ソリッド・オブジェクトから輪郭オブジェクトへの変化、オブジェクトの参照部分の位置、形状、サイズのうちの少なくとも一の変化、のうちの少なくとも一によって変化するオブジェクトの形態で、映像ステータス信号をレンダリングすること、
    を含む、
    請求項18に記載のステータスを提供する方法。
  21. 前記音声ステータス信号を提供することが、
    前記おおよその遅延事件の経過が終了するまで、および、前記受信ユニットによって前記映像事件信号が受信されるまで、の少なくとも一方までに、所定の音声、および、該映像事件信号のレンダリングに先立って提供される低速バージョンの音声事件信号の一方をレンダリングする、
    ことを含む、
    請求項18に記載のステータスを提供する方法。
  22. (c)が、一の受信ユニットにおける前記ステータス信号の一の形態と、別の受信ユニットにおける該ステータス信号の別の形態と、を提供することを含む、請求項18に記載のステータスを提供する方法。
  23. (b)が、前記事件が前記受信ユニットの各々に受信されるまでに経過する時間量を決定し、決定されたもっとも長い時間量にもとづいて、前記おおよその遅延時間を決定する、ことを含む、請求項18に記載のステータスを提供する方法。
  24. (c)が、
    前記おおよその時間の経過が終了するまで、前記映像事件信号が受信ユニットによって受信されるまで、の少なくとも一方までに、前記映像事件信号のレンダリングに先立って、低速バージョンの音声事件信号であるステータス信号をレンダリングし、
    前記事件信号の前記映像信号が受信される場合に、前記事件信号の映像事件信号および残りの部分の音声事件信号ができるだけ事件に共通するように、前記事件信号の音声事件信号および映像事件信号を実質的に同期化して提供する、
    ことを含む、
    請求項18に記載のステータスを提供する方法。
JP2005362979A 2004-12-17 2005-12-16 遠隔会議のためのステータスを提供するシステム Expired - Fee Related JP5103734B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/013,682 US7688344B2 (en) 2004-12-17 2004-12-17 Systems and methods for mediating teleconferences
US11/013682 2004-12-17

Publications (2)

Publication Number Publication Date
JP2006174480A true JP2006174480A (ja) 2006-06-29
JP5103734B2 JP5103734B2 (ja) 2012-12-19

Family

ID=36595154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362979A Expired - Fee Related JP5103734B2 (ja) 2004-12-17 2005-12-16 遠隔会議のためのステータスを提供するシステム

Country Status (2)

Country Link
US (1) US7688344B2 (ja)
JP (1) JP5103734B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110558A (ja) * 2012-12-03 2014-06-12 Ricoh Co Ltd 情報処理装置、情報処理システム及びプログラム
JP2016225869A (ja) * 2015-06-01 2016-12-28 株式会社リコー 情報処理装置、情報処理システム及びプログラム
JP2018137614A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 通信装置、通信システム、通信方法及びプログラム
WO2022259485A1 (ja) * 2021-06-10 2022-12-15 マクセル株式会社 情報処理装置及びそれに用いる表示方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271335A1 (en) * 2006-05-18 2007-11-22 James Edward Bostick Electronic Conferencing System Latency Feedback
JP2007323711A (ja) * 2006-05-31 2007-12-13 Sony Corp 再生装置および再生方法、並びにプログラム
US7941483B2 (en) * 2007-03-28 2011-05-10 Sap Ag Low latency display methods for thin client devices
US8874445B2 (en) * 2007-03-30 2014-10-28 Verizon Patent And Licensing Inc. Apparatus and method for controlling output format of information
US7840415B2 (en) * 2007-07-30 2010-11-23 Eric Schifone Method and platform for providing an interactive internet computer-driven/IP based streaming video/audio apparatus
US8950001B2 (en) * 2007-08-01 2015-02-03 Avaya Inc. Continual peer authentication
US8646039B2 (en) * 2007-08-01 2014-02-04 Avaya Inc. Automated peer authentication
SG152082A1 (en) * 2007-10-19 2009-05-29 Creative Tech Ltd A method and system for processing a composite video image
JP5296373B2 (ja) 2007-12-26 2013-09-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 処理の所要時間を予め提供する技術
WO2009098878A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム
US8274546B1 (en) 2008-03-12 2012-09-25 Logitech Europe S.A. System and method for improving audio capture quality in a living room type environment
US9052867B2 (en) 2010-07-08 2015-06-09 International Business Machines Corporation Feedback mechanism
JP5811334B2 (ja) 2011-09-01 2015-11-11 株式会社リコー 伝送管理システム、伝送管理方法、プログラム、及び伝送システム
JP5962098B2 (ja) * 2012-03-19 2016-08-03 株式会社リコー 伝送端末、伝送システム、表示制御方法、及びプログラム
US9736604B2 (en) * 2012-05-11 2017-08-15 Qualcomm Incorporated Audio user interaction recognition and context refinement
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9363304B2 (en) * 2012-06-06 2016-06-07 Google Inc. Synchronizing action execution across networked nodes using relative time
WO2015131126A1 (en) 2014-02-27 2015-09-03 Cinsay, Inc. Apparatus and method for gathering analytics
US10728603B2 (en) 2014-03-14 2020-07-28 Aibuy, Inc. Apparatus and method for automatic provisioning of merchandise
US10885570B2 (en) 2014-12-31 2021-01-05 Aibuy, Inc. System and method for managing a product exchange
JP7276579B1 (ja) 2022-08-05 2023-05-18 Toto株式会社 トイレ装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342389A (ja) * 1991-05-20 1992-11-27 Seiko Epson Corp テレビ電話
JPH06276427A (ja) * 1993-03-23 1994-09-30 Sony Corp 動画像音声制御装置
JPH11275542A (ja) * 1998-03-19 1999-10-08 Nippon Telegr & Teleph Corp <Ntt> 映像通信システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0773686B1 (en) * 1991-07-15 1999-11-10 Hitachi, Ltd. Equipment for a teleconference
US5859663A (en) * 1994-09-15 1999-01-12 Intel Corporation Audio control system for video teleconferencing
US7167897B2 (en) * 1996-05-08 2007-01-23 Apple Computer, Inc. Accessories providing a telephone conference application one or more capabilities independent of the teleconference application
US6484208B1 (en) * 1996-10-15 2002-11-19 Compaq Information Technologies Group, L.P. Local access of a remotely mirrored disk in a computer network
JP2002158983A (ja) 2000-11-20 2002-05-31 Matsushita Electric Ind Co Ltd マルチキャストテレビ会議端末装置、及びテレビ会議システム
JP2002158984A (ja) 2000-11-20 2002-05-31 Matsushita Electric Ind Co Ltd マルチキャストテレビ会議端末装置、テレビ会議システム及びテレビ会議システムの制御方法
JP2002164889A (ja) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd 複数端末によるマルチキャスト会議方法、およびそれに用いる会議端末、並びに会議システム
US20020129290A1 (en) * 2001-03-06 2002-09-12 Bruno Couillard Method and system for time synchronization
US6804340B2 (en) * 2001-05-03 2004-10-12 Raytheon Company Teleconferencing system
US6831675B2 (en) * 2001-12-31 2004-12-14 V Con Telecommunications Ltd. System and method for videoconference initiation
JP2004120460A (ja) * 2002-09-27 2004-04-15 Hitachi Information Systems Ltd ビデオ会議システムとビデオ会議端末装置およびプログラム
JP2004147030A (ja) * 2002-10-23 2004-05-20 Tama Tlo Kk 受信装置、データ通信システム及びその通信方法
JP2005020520A (ja) * 2003-06-27 2005-01-20 Brother Ind Ltd テレビ会議システム
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US7499969B1 (en) * 2004-06-25 2009-03-03 Apple Inc. User interface for multiway audio conferencing
CA2489256A1 (en) * 2004-12-06 2006-06-06 Christoph Both System and method for video assisted music instrument collaboration over distance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342389A (ja) * 1991-05-20 1992-11-27 Seiko Epson Corp テレビ電話
JPH06276427A (ja) * 1993-03-23 1994-09-30 Sony Corp 動画像音声制御装置
JPH11275542A (ja) * 1998-03-19 1999-10-08 Nippon Telegr & Teleph Corp <Ntt> 映像通信システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110558A (ja) * 2012-12-03 2014-06-12 Ricoh Co Ltd 情報処理装置、情報処理システム及びプログラム
US9398252B2 (en) 2012-12-03 2016-07-19 Ricoh Company, Ltd. Information processing apparatus, information processing system and program
JP2016225869A (ja) * 2015-06-01 2016-12-28 株式会社リコー 情報処理装置、情報処理システム及びプログラム
JP2018137614A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 通信装置、通信システム、通信方法及びプログラム
WO2022259485A1 (ja) * 2021-06-10 2022-12-15 マクセル株式会社 情報処理装置及びそれに用いる表示方法

Also Published As

Publication number Publication date
JP5103734B2 (ja) 2012-12-19
US20060132607A1 (en) 2006-06-22
US7688344B2 (en) 2010-03-30

Similar Documents

Publication Publication Date Title
JP5103734B2 (ja) 遠隔会議のためのステータスを提供するシステム
ES2327288T3 (es) Sistema, metodo y nodo para limitar el numero de flujos de audio en u teleconferencia.
CN101627576B (zh) 多点会议视频切换
US8760485B2 (en) System and method for displaying participants in a videoconference between locations
EP2901669B1 (en) Near-end indication that the end of speech is received by the far end in an audio or video conference
CN102422639B (zh) 用于在会议环境中翻译参与者之间的通信的系统和方法
US9509953B2 (en) Media detection and packet distribution in a multipoint conference
US9148625B2 (en) Transition control in a videoconference
US20110216153A1 (en) Digital conferencing for mobile devices
CN109565568B (zh) 对用户设备的用户界面进行控制的方法
JP2005318534A (ja) ストリーム選択を行う会議開催方法及び装置
JP2005318535A (ja) 帯域幅制御をして会議を開催する方法及び装置
KR20080065236A (ko) 멀티미디어 회의 방법 및 신호
CN107040751A (zh) 控制实时会议会话的方法、使计算机执行该方法的计算机程序产品以及相关通信系统
EP3729770B1 (en) Managing streamed audio communication sessions
JP5436743B2 (ja) 通信端末装置および通信制御装置
JP2008227693A (ja) 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム
JP2011087074A (ja) 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム
GB2569650A (en) Managing streamed audio communication sessions
TWI419563B (zh) 多媒體傳輸系統及其方法
Kanada Simulated virtual market place by using voiscape communication medium
JP4348238B2 (ja) 遠隔通信方法及び装置
JP2008048058A (ja) ネットワークボックス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120917

R150 Certificate of patent or registration of utility model

Ref document number: 5103734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees