JP2015080210A - 会議セッションの現在状況に対する、会議システムのリアルタイム適合システム及び方法 - Google Patents
会議セッションの現在状況に対する、会議システムのリアルタイム適合システム及び方法 Download PDFInfo
- Publication number
- JP2015080210A JP2015080210A JP2014210309A JP2014210309A JP2015080210A JP 2015080210 A JP2015080210 A JP 2015080210A JP 2014210309 A JP2014210309 A JP 2014210309A JP 2014210309 A JP2014210309 A JP 2014210309A JP 2015080210 A JP2015080210 A JP 2015080210A
- Authority
- JP
- Japan
- Prior art keywords
- video
- conference
- compressed
- audio
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006978 adaptation Effects 0.000 title 1
- 238000004891 communication Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims 3
- 230000007704 transition Effects 0.000 abstract description 4
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 239000013256 coordination polymer Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 5
- 238000012045 magnetic resonance elastography Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000197200 Gallinago media Species 0.000 description 1
- 208000012195 Reunion island Larsen syndrome Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】ビデオ会議システムを現在の会議セッションの複数の状況に適合させ、それら現在の状況に基づいて、セッションを1つの会議手法から別の会議手法に自動的に変換するためのルールに基づく手法を提供する。
【解決手段】複数のルールは、わけても参加者数、共通コーデックを使用するための能力を含む判定基準を含む。1つの拡大モジュールは、1つのタイプの会議セッションから別のタイプの間での移行を管理するために使用する。会議を1つのタイプから別のタイプに移行させる状況が生じた場合、その状況が適応されなくなれば、会議を自動的に元の会議タイプに戻す。
【選択図】図1
【解決手段】複数のルールは、わけても参加者数、共通コーデックを使用するための能力を含む判定基準を含む。1つの拡大モジュールは、1つのタイプの会議セッションから別のタイプの間での移行を管理するために使用する。会議を1つのタイプから別のタイプに移行させる状況が生じた場合、その状況が適応されなくなれば、会議を自動的に元の会議タイプに戻す。
【選択図】図1
Description
この発明は、ビデオ会議に関し、詳しくは、1つの会議セッションの現在の状況(condition、コンディション、状態)に基づいて、1つの会議手法から別の会議手法に適合させる分野に関する。
日常の数多のアプリケーション及びサービスは目覚しい速さでインターネットプロトコール(IP)ネットワークに移行し、且つ、種々のマルチメディア会議設備は成長を続けているので、ますます多くの人々が、重要な通信方法として、マルチメディア会議に依存している。今日、マルチメディア会議通信は、複数の会議手法を使って実施され得る。会議手法の幾つかの例は、従来の(legacy; レガシーの、過去の)マルチメディア会議方式、メディア中継会議方式、及び、メッシュ会議方式を含む。この明細書において、マルチメディア会議、ビデオ会議(コンテンツ有り又は無し)、及び、オーディオ会議という用語は互換的に使用され、且つ、ビデオ会議という用語は、ビデオ、オーディオ及びマルチメディア会議を表す用語として使用される。
3人以上の参加者間での従来の多地点(multipoint; マルチポイント)会議は、1つの多地点制御ユニット(MCU)を必要とする。かかるMCUは、会議制御エンティティ(entity;実体、構成要素)であり、典型的には、複数のエンドポイント(Endpoint)から、様々なチャンネルを受信するネットワークのノード、又は、端末に設置されている。従来のMCUは、何らかの基準(抽出条件)に従って、オーディオ及びビジュアル信号を処理し、そして、それらを1組の接続されたチャンネルを経由して複数の参加エンドポイントのそれぞれに分配する。それら従来のMCUの例は、ポリコム社から入手できるMGC‐100及びRMX2000(登録商標)を含む(RMX2000は、ポリコム社の登録商標である)。レガシーエンドポイント(LEP)と称される、従来の通信方法における端末は、ネットワーク上のエンティティであり、他のLEP又はMCUとのリアルタイム双方向のオーディオ及び/又はオーディオ―ビジュアル通信を提供できる。LEPとMCUのより詳細な定義は、例えば、例示に限定されないがITUのウェブサイトwww.itu.intに見つかるH.320、H324及びH.323などの国際電気通信(ITU)規格を参照されたい。
共通のMCU(レガシーMCUとも言う)は、複数のオーディオ及びビデオデコーダ、エンコーダ、及び、メディアコンバイナ(オーディオミキサ及び/又はビデオ画像ビルダー)を含んでよい。該MCUは、可変数の参加者(LEP)の間でのオーディオ及びビデオ通信を処理するために、膨大な量の処理能力を使用するだろう。その通信は、多様な通信プロトコル及び圧縮規格に基づくことができ、且つ、異なる複数種類のLEPを含んでいるだろう。MCUは、複数の入力オーディオストリーム又は入力ビデオストリームを、それぞれ少なくとも1つのオーディオ出力ストリーム又はビデオ出力ストリームに結合する必要があり、このことは、該出力ストリームの送信先となる少なくとも1つの会議出席者のLEPの特質に矛盾しない。複数のエンドポイントから受信した複数の圧縮オーディオストリームは、デコードされ、且つ、その会議の1つのオーディオストリームに混合するために、何れの複数のオーディオストリームが選択されるかを決定するために、分析され得る。デコード及び解凍(decompress; デコンプレス、展開、圧縮解凍、復元)という用語は、この明細書では、互換的に使用されている。
1つの会議は、1以上のビデオ出力ストリームを有し、各出力ストリームは或る1つのレイアウトに関連付けられる。1つのレイアウトは、そのストリームを受信する1以上の会議出席者のディスプレイ上における1つの会議の見え方を定義する。1つのレイアウトは1以上のセグメントに分割され、各セグメントはそれぞれLEP経由で或る特定の会議出席者により送信された1つのビデオ入力ストリームに関連付けられる。各出力ストリームは、様々な入力ストリームにより構成され、その結果、常駐表示(continuous presence (CP);画面分割)画像になる。CP会議において、リモート端末におけるユーザは、その会議内の他の幾人かの参加者を同時に見ることができる。各参加者は、前記レイアウト内の1つのセグメントに表示され、且つ、各セグメントは互いに同じサイズ又は異なるサイズを持っている。前記レイアウトの複数のセグメントに関連付られて、表示される複数の参加者の選択は、同じセッションに参加している複数の個別の会議出席者の間で一様でなくてよい。
2つ目のタイプの通信方法は、メディア中継会議(MRC)である。MRCにおいて、メディア中継MCU(MRM)は、各参加メディア中継エンドポイント(MRE)から、1以上のストリームを受信する。MRMは、会議内の他の複数のエンドポイントから受信された1組の複数のビデオストリームを、各参加エンドポイントに中継する。各受信エンドポイントは、1つのレイアウトに従うCPビデオ画像を生成するために、複数のストリームを使用し、また、混合された会議のオーディオを生成するためにも、該複数のストリームを使用する。CPビデオ画像及び混合されたオーディオは、MREのユーザに対して提示される。1つのMREは、当該セッション内の会議出席者の端末になり得、この端末は、或る1つのMRMから中継されたメディアを受信し、且つ、1つのMRMからの指示に従い圧縮されたメディアを伝送できる。MRC、MRM又はMREについての詳細は、米国特許番号第8228363号及び8760492号を参照されたい。且つ、それら出願に記載された全ての記載内容を本明細書に援用する。本明細書において、エンドポイントという用語は、LEP又はMREのいずれも表すだろう。
いくつかのMRCシステムにおいて、転送MREは、2以上のストリームで自身からのビデオ映像を送信する。各ストリームは異なる品質レベルに関連付けられる。品質は、例えば、フレームレート、及び/又は、信号対雑音比(signal-to-noise ratio;SNR、S/N比)などに関して、異なる。同様に、各中継MREは、2以上のストリームで自身のオーディオを送信し、それらストリームは、例えば圧縮ビットレートなどに関して互いに異なる。かかるシステムは、レイアウト内での種々のセグメントサイズや、各受信エンドポイントにより使用される種々の解像度などを提供するために、複数のストリームを使用できる。更に、複数のストリームは、パケットロス(パケット損失)を克服するために使用され得る。
今日、MRCは、ますます一般的になっている。多くのビデオ会議システムは、1以上のストリーム内に複数の品質レベルを並行して伝送する。例えば、ビデオにとって、品質レベルは、例えば時間ドメイン(例えばフレーム毎秒)、空間ドメイン(例えば高精細度(HD)対CIF(Common Intermediate Format))のようないくつかのドメイン(定義域)、及び/又は、品質(例えば鮮鋭度(シャープネス))により表現される。多品質(マルチクオリティ)ストリーム用に使用できる、例えば、ビデオ圧縮規格は、H.264AVC、H.264annexG(SVC)、MPEG‐4などである。H.264などこれら圧縮規格に関する更なる情報は、ITUのウェブサイトwww.itu.int、又は、www.mpeg.orgを参照されたい。
最初の2つの通信方法、レガシーMCU及びMRCにおいては、中央エンティティがシグナリング並びに音声及びビデオメディアストリーム(それぞれMCU又はMRM)を処理するために必要である。各エンドポイントは、自身のメディアストリームを、MCU又はMRMに送信する。MCU又はMRMは、適用された通信方法の種類に従って前記メディアストリームを処理し、適切なストリームを受信エンドポイントに伝送する。MCUという用語は、本明細書では、MRM及びレガシーMCUを代表する用語として使用される。
3つ目のタイプの通信方法が使用され得る。3つ目の方法は、メッシュ会議システム(MCS)と呼ばれ得る。MCSにおいては、メディアストリームを処理するための中央エンティティがない。その代わりとして、MCSにおいては、ロスターリストサーバ(Roster List Server、RLS)が、中央のシグナリングエンティティとして使用され、複数のクライアントは互いに直接メディアを送信及び受信できる。MCSの例において、クライアントは、WebRTC(Web Real‐Time Communication:ウェブリアルタイム通信)アプリケーションプログラムインタフェース(API)を使用できる。WebRTCは、オーディオ、ビデオ及びデータ共有のブラウザ対ブラウザリアルタイム通信(P2P)を容易にするために、World Wide Web Consortium(ワールド・ワイド・ウェブ・コンソーシアム、W3C)により起草された。共通WebRTCは、ビデオ用にVP8ビデオコーデックを使用し、オーディオ用にOPUSオーディオコーデックを使用する。VP8は、グーグル社(Google.Inc)に所有されたビデオ圧縮フォーマットである。OPUSは、インターネットエンジニアリングタスクフォース(IETF)により開発された不可逆オーディオコーデックである。WebRTC及び圧縮フォーマットVP8は、現在、例えば、例示に限定されないが、Google CHROME(CHROMEはグーグル社の登録商標)、Mozilla FIREFOX (FIREFOXはモジラ財団の登録商標)、OPERA (OPERAはオペラソフトウェアASAの登録商標)などのブラウザアプリケーションにサポートされている。幾つかのブラウザは、WebRTC及びVP8コーデックを使用するためにプラグインを必要とする。他のMCSは、メッシュ会議を伝えるために、その他のWebクライアント及びその他の圧縮基準を使用するだろう。
共通RLSは、複数の仮想会議室(VMR)のディレクトリを保持できる。各VMRは、1つのビデオ会議セッションを表し、それはパスワード付き又はパスワード無しのVMR識別子(VMRID)に関連付けられている。幾つかのMCSにおいて、各VMRは、個別の統一資源位置指定子(URL)又は統一資源位置識別子(URI)を持ってよい。更に、1つのVMRは、当該VMRに既に接続された複数のエンドポイントのリストを備える。このリストにおいて、各エンドポイントは1以上のURLに関連付けられており、他の複数参加者が当該VMRにコンタクトできるようになっている。各URLは、1つのメディアタイプ又はシグナリングに関連付けられる。共通MCSにおいて、RTS状態テーブルとも呼ばれるRLSリストは、VMRを訪問した最初の参加者から始まりリアルタイムで生成され、当該VMRに新しい参加者が加わるか又は現在の参加者が当該VMRから離れるたびに更新される。例示に限定されないが、RLSの一例は、www.Vline.com.である。
ユーザがメッシュビデオ会議セッションに参加したい場合、そのユーザは、ブラウザアプリケーションを使用し、会議要請により提供されたURLをクリックして1つのRLS内の仮想会議室にコンタクトするために、Webクライアントを使用するだろう。RLSは認証プロセスを開始し、完了次第、HTML5ファイルがブラウザアプリケーションにダウンロードされ得る。ブラウザアプリケーションは、HTML5ファイルを構文解析でき、当該仮想意会議室に既に関連付けられている複数ユーザのURLのリストをダウンロードできる。また、JavaScript(登録商標)RLSWebクライアント(RLSWC)は、RLSから、例えばGoogle CHROME(登録商標)、Mozilla FIREFOX (登録商標)、又は、OPERA (登録商標)モバイルなどの要求しているブラウザアプリケーションへ、展開され得る。RLSWCは、リアルタイムセッションを確立するために必要とされる論理モジュールを含み得る。RLSWCがブラウザアプリケーションを実行するプロセッサにより使用された場合、該プロセッサは、他のブラウザアプリケーションとのシグナリング及び制御接続を確立でき、メッシュビデオ会議を管理することができる。
幾つかの場合において、RLSは、また、1つのVMR状態テーブルを、新規の参加者に転送する。VMR状態テーブルは、ビデオセッションに既に参加している複数の相手装置(peer、ピア)の情報を含む。それから、新規の参加者は、シグナリング及び制御接続を確立することにより、他の参加者のエンドポイントそれぞれとビデオ会議セッションを確立する必要がある。システムは、例えばSession Initiation Protocol(SIP;セッションイニシエーションプロトコル、セッション確立プロトコル)又はH.323などに基づき得る。そして、各エンドポイントは、他の各参加エンドポイントに自身のビデオ画像及びオーディオストリームを送信し、且つ、他の各参加エンドポイントからビデオ画像及びオーディオストリームを受信するために、1以上のSRTP/IP及びSRTCP/IP接続を確立する必要がある。SRTPとは、Secure Real-Time Transport Protocol(セキュアRTP、セキュアリアルタイムトランスポートプロトコル)を表しており、SRTCPとは、Secure Real-Time Control Protocol(セキュアRTCP、セキュアリアルタイムコントロールプロトコル)を表す。参加者が当該セッションを去る毎に、RLSは、それに応じてVMR状態テーブルを更新できる。VMR状態テーブルの更新されたコピーは、最新の変更を現在接続された参加者のそれぞれに供給され得る。幾つかの場合において、更新されたVMR状態テーブル全体が送信される。別の場合、変更分のみが送信される。したがって、MCSにおいては、1つの中央エンティティも、参加エンドポイントからメディアストリームを受信、又は、参加エンドポイントへメディアストリームを送信しない。
ビデオ会議基準及びプロトコルの更なる詳細に詳細について知るには、ITUのWebサイト、www.itu.int.、また、Internet Engineering Task Force (インターネット技術タスクフォース、IETF)のWebサイト、www.ietf.org.を訪問することを勧める。従来の多地点会議システム、MRC、MCS、MCU、RLS、LEP、MRE、Web会議クライアント及びVMRは、技術分野における通常の知識を有する者に知られており、且つ、多くの特許、特許出願、及び、技術書に記載されている。したがって、それらを詳述はしない。下記特許文献1〜10は、ビデオ会議システムを記載する特許及び特許出願の例である。
従来のMCSは、いくつかの制限に悩まされている。かかる制限の1つは帯域幅に集中する。1つメッシュ会議セッションに3つのエンドポイントが参加する場合、各エンドポイントは、2つのオーディオストリームと2つのビデオストリームを、他のエンドポイントそれぞれに1組ずつ伝達し、且つ、2つのオーディオストリームと2つのビデオストリームを、他のエンドポイントそれぞれから1組ずつ受信する。一般に、N人の参加者からなるフルメッシュ会議は、メディア種類毎にN(N−1)/2のピアーセッションを要する。N2プロパティは、少数のNを超えるフルメッシュ会議を即座に使用できなくする。かかる数量のリアルタイムデータに必要な帯域幅は、1つのエンドポイントで利用可能な帯域幅の限界に近いだろう。いかなる追加の参加者も利用可能な帯域幅を超えてしまうだろう。したがって、セッションに参加するためのいかなる追加リクエストも否認されるか、或るいは、毎秒のフレーム数、シャープネス等を減少することにより、圧縮品質が減少される。このことは、係る会議体験の質を深刻に減少させることになる。
従来のMCSの別の限界は、複数のエンドポイントの能力であり得る。例えば、従来のMCSは、全てのエンドポイントが例示に限定されないが例えばVP8など同じ圧縮フォーマットを使用できることを要求する。複数のエンドポイントのうち1つがこの要求を満たせない場合、そのエンドポイントは他のエンドポイントに直接ビデオデータを送信したり又は他のエンドポイントから直接ビデオデータを受信したりできない。
本発明は、上述の点に鑑みてなされたもので、会議システムを会議セッションの現在の状況(condition、コンディション、)にリアルタイムで適合させるためのシステム及び方法を提供することを目的とする。
上述した従来のMCSを欠くことは、いかなる方法においても、この開示に係る発明概念の範囲を制限することを意図するものではない。この欠如は、説明の目的のためにのみ示されている。この開示は、セッションの現在の状況に従い、或るビデオ会議タイプから別のものへ自動移行(transiton)するための新規手法に向けられたものである。
新規手法の一実施形態は、或る会議システムを使用するための複数の状況又は複数のルールのリスト、及び、1つの会議システムから別の会議システムに移動)するための複数のルールのリストを持ち得る。前記複数のルールのリストは、ブラウザがVMRのURLを要求したときにダウンロードされたHTMLファイルに埋め込まれ得る。以下は、MCSが使用され得る場合のための、ルールの幾つかの例である。或る1つのルールは、会議参加者数が或る設定可能な制限数よりも少数であることであり得、設定可能な制限数とは、例えば3から6人の参加者数範囲内であり得る。別のルールは、全てのエンドポイントが例えばVP8など、同じ暗号化/復号化プロトコルを使用できること、であり得る。更に、3つ目のルールは、全てのエンドポイントが、例えばメッシュ会議に参加可能な関連するRLSWCを実行できることなど、であり得る。以下は、いつMCUが使用され得るかを決定するための、ルールの幾つかの例である。第1のルールは、会議参加者の数が或る制限数を上回ることであり得る。第2のルールは、個々のエンドポイントが異なる圧縮基準を使うことであり得る。
MCSからMRCに移動するためのルールの例は、新規の会議参加者がビデオ会議セッションに参加したいこと、を含み得る。新規の会議参加者を含む会議参加者の数が関連するMCSの許容範囲を超えている場合、前記新規の会議参加者を拒否すること又は当該セッションの品質を下げることの代わりに、当該セッションはMRCに移動され得る。新規のセッションは、MRMを使用して、バックグラウンドで開始され得る。MRMがMRCの確立を完了したとき、関連するエンドポイントは自動的にMRMに切り替わり、MRMから取得されたビデオ及びオーディオストリームから生成されたCPビデオ画像及び混合オーディオ(mixed audio)を提示することを開始できる。各エンドポイントは、それから、互いのピアツーピアメディア及び制御接続を切断することにより、MCSセッションを終わらせてよい。それと並行して、MRMは、そのMRMがVMRIDに参加したいということを、RLSに通知できる。したがって、何れの追加的会議参加者がRLSを呼び出して参加リクエストを送るときでも、新規のエンドポイントは、MRMを含む更新されたVMR状態テーブルを持つ参加通知を、取得するだろう。それに応じて、新規のエンドポイントは、ビデオ会議に参加するために、該VMRIDを使ってMRMに自動的に接続するだろう。MCSからMRC又は従来の(legacy;レガシー)会議へ移動するための別のルールは、会議参加者の一人が大量のパケット損失を引き起こす不調な接続経由で接続された場合である。問題のセッションは、MCSからMRC又はレガシーMCUへ切り替えられる。
例えば、MCS又はMRMから従来の会議システムへ移動するなど、或るタイプの会議から別のタイプの会議へ移動するための別のルールは、例えば他のエンドポイントがVP8を圧縮フォーマットを使っているのに或るエンドポイントがVP8を使えない場合など、新規参加者のエンドポイントが他の参加者たちと同じ圧縮フォーマットを使えない場合である。ルールの別の例は、或るエンドポイントが複数のエンドポイントからの複数のオーディオ及び/又はビデオストリームを処理し、それぞれ、復号化して、混合オーディオに混合する及び/又はCPビデオ画像を構築するための計算能力を持たない場合である。その場合、MRC又はMCSセッションは、従来のビデオ会議セッションに移動して、MCUを使用する。新規の会議参加者のエンドポイントは、VMRIDを使っているMCUを呼び出し、該MCUを通して会議セッションを始めることができる。
上述した手法と同様にして、MCUを通じたセッションは、以前からの会議参加者の間でメッシュビデオ会議又はメディア中継ビデオ会議が続いている間にバックグラウンドで確立され得る。レガシーセッションが確立され、開始されたとき、MCUは、RLSにVMRIDを含む参加リクエストを送信するように構成され得る。RLSは、新規の会議参加者として前記MCUを含む更新されたVMR状態テーブルに関連付けられた参加通知で応じることができる。並行して、更新されたVMR状態テーブルは、以前からの会議参加者のエンドポイントのそれぞれに送信され得る。以前からの会議参加者のエンドポイントは、自動的にMCUに切り替えることができ、MRMから取得したCPビデオ画像及び混合オーディオの提示を開始できる。次に、以前からの会議参加者のエンドポイントは、ピアツーピアメディア及他のエンドポイント又はMRMそれぞれのメディア及び制御接続を切断することによりMCS又はMRCセッションを終わらせてよい。MRMが予め使用されていた場合、そのMRMは、当該MRMがメッシュ会議セッションから切断されたことをRLSに知らせる退去指標(indication)を該RLSに送信するよう構成され得る。それに応じて、MRMはVMR状態テーブルから削除され、更新されたVMR状態テーブルがVMRID経由で現在接続されている全ての会議参加者に送信される。
幾つかの実施形態において、或るエンドポイントにより使用されているRLSWCは、拡大手順(escalation procedure)を管理する拡大モジュール(escalation module)を含むように構成できる。拡大モジュールは、RLSWCの一体部分(integral part)であり、該モジュールはRLSWCとともにWeb(ウェブ)ブラウザにダウンロードされ得る。拡大モジュールのソフトウェアは、例えば読み出し書き込み可能なハードディスク、CDROM、フラッシュメモリ、ROM又はその他のメモリ又はストレージなど、コンピュータ読み取り可能な媒体に具体化されてよい。拡大手順を実行するために、ソフトウェアプログラムは、必要に応じて適宜のプロセッサにロードされてよい。拡大モジュールの一例は、どのビデオ会議タイプを使用するかに関する複数のルールのリスト及び何時或るタイプのビデオ会議システムから別のタイプに移動するかを示す複数のルールのリストを備えるように構成され得る。
VMRの一例は、IDテーブルを用いて、2以上の中央エンティティ、RLS、MRM又はMCUに関連付けられ得る。IDテーブルは、各中央エンティティのURL、各中央エンティティのVMRID、各中央エンティティで使用されるべきパスワードの要否を含み得る。幾つかの実施形態において、VMRは、2以上の中央エンティティ同士で通信する間に使用され得る1つのパスワードを持つ1つのID番号を持ってよい。また、同種のVMRとして使用できるMRM及びMCUの一例は、それらのうち1つが、セッションを処理するように要求される毎、又は、セッションから切断される毎に、RLSに通知するように構成され得る。同様に、共通RLSWCもRLSに通知できる。更に、各拡大モジュールは、何時MRM又はMCUがVMRに接続されたかを識別するように構成される。
MRM又はMCUのセッション参加リクエストに応じて、RLSは、以前の会議参加者にMRM又はMCUが参加したことを通知する更新されたVMR状態テーブルを送信してよい。かかる更新されたVMR状態テーブルを受信するにあたり、以前からの会議参加者のエンドポイントにおける拡大モジュールの一実施形態は、MRM又はMCUを呼び出して、そのVMRIDに関連付けられたビデオ会議に参加することを開始するように構成され得る。シグナリング及び制御接続、MRM又はMCUからの及びMRM又はMCUへのオーディオ及びビデオを搬送するためのSRTP/IP及びSRTCP/IP接続を確立した後、そのエンドポイントは、他の以前からの会議参加者のエンドポイントとのメディア接続を切断する。したがって、会議セッションは、それぞれ、MCSからMRC又はレガシーセッションに移動された。
幾つかの実施形態において、拡大モジュールは、1つの会議タイプから別のタイプへ移動した理由を取り込むように構成され得る。その理由は、保存されて、後に使用され得る。元の拡大理由がもはや適用されていないことを決定するにあたり、一実施形態に係る拡大モジュールは、MCSに戻ってよい。例えば、拡大理由が「会議参加者の数が設定された制限を越えている」である場合、会議参加者の数が設定された制限よりも下に戻ったとき、残りのエンドポイントは、MRC又はレガシー会議からMCSに戻る。
レガシービデオ会議への拡大である場合、以前からの会議参加者のエンドポイントの拡大モジュールは、どのエンドポイントがMCUのVMRに既に接続されているか識別し、それらエンドポイントをMCSに接続されたエンドポイントと比較するように構成される。MCSに接続されなかったエンドポイントは、その拡大理由とみなされ得る。それらエンドポイントがセッションから切断する場合、拡大モジュールは例えばMCS又はMRCに戻ることができる。
幾つかの実施形態において、拡大モジュールは、1つのRLSに具体化され得る。かかる実施形態において、RLSは、拡大処理(escalation process)を管理でき、複数の参加者のエンドポイントに或る通信タイプから別のタイプへ移動することを通知できる。
図の説明に移ると、これら図において同じ番号は様々な図を通じて同じ要素を表しており、当該開示の実施形態が描かれている。便宜上、共通グループ中の幾つかの要素にのみ、番号が付与されるだろう。図画の目的は実施形態の例を説明することであり、製造の目的ではない。したがって、図に示された特徴は、説明の便宜とわかりやすさのためにのみ選ばれたものである。なお、タイミング図に従う複数イベントは、縮尺を合わせて描かれてはない。更に、この開示に使用された言葉は、原則的に、読み易さ及び説明目的で選ばれており、発明の主題を描写又は制限したり、かかる発明の主題を定義するために必要な請求範囲を訴えたりするために選ばれているのではない。
明細書における“一実施形態”又は“或る実施形態”とは、その実施形態に関連して説明された個別の特徴、構造又は特質がこの発明の少なくとも1つの実施形態に含まれていることを意味しており、“一実施形態”又は“或る実施形態”に対する複数の言及は、必ずしも、同じ実施形態への言及の全てと、理解すべきではない。
また、以下の説明の幾つは、ソフトウェア又はファームウェアに関連する用語で記述されるが、複数の実施形態は、ここで記述された特徴及び機能を、要望通り、ソフトウェア、ファームウェア又はハードウェア、或いは、ソフトウェア、ファームウェア及びハードウェアの任意の組み合わせを含みで実装するだろう。以下の説明において、“ユニット”、“エレメント”、“モジュール”及び“論理モジュール”は互換的に使用されるだろう。ユニット又はモジュールとして示されたものは何でも、スタンドアローンユニット、又は、専用の若しくは統合されたモジュールであってよい。ユニット又はモジュールは、モジュラーであるか又はモジュラーの態様を持ち、取り外し及び別の同種のユニットモジュールへの取替えを簡単に行えるものである。各ユニット又はモジュールは、ソフトウェア、ハードウェア、及び/又は、ファームウェアのどれか1つ、又は、その任意の組み合わせであってよく、最終的に、ユニット又はモジュールに与えられた機能を実行するようにプログラムされた1以上の処理装置となる。加えて、同種の又は異なる種の複数のモジュールが、単一の処理装置により実装されてよい。論理モジュールのソフトウェアは、例えば読み書き可能なハードディスク、CDROM、フラッシュメモリ、ROM、又は、その他のメモリ若しくはストレージなど、コンピュータ読み取り可能な媒体に記録されてよい。何らかのタスクを実行するために、ソフトウェアプログラムは、必要に応じて適宜の処理装置にロードされる。本開示において、用語“タスク”、“方法”、“処理”は互換的に使用できる。
図1は、本発明の一実施形態に従う、新規のマルチメディア会議システム100を説明する図である。システム100は、1つのネットワーク110、1以上のRLS114、1以上のMCU118、複数のMCSエンドポイント(MCSEP)132、複数のMRE134、及び、複数のLEP136を具備する。ネットワーク110は、例示に限定はされないが、例えば、パケット交換ネットワーク、回線交換ネットワーク、IPネットワーク、又は、それらの任意の組み合わせであり得る。ネットワーク経由のマルチメディア通信は、例示に限定はされないが、例えば、H.320、H.323、SIP、HTTP、 HTML5、SDPなどの通信プロトコルに基づき得るものであり、且つ、例示に限定はされないが、例えば、H.263、H.264、VP8、G.711、G.719及びOpusなどのメディア圧縮規格を使用してよい。HTTPはハイパーテキスト・トランスファー・プロトコルを表し、HTMLはハイパーテキスト・マークアップ・ランゲージを表す。
RLS114の一例は、共通のHTTPを使ってネットワーク110を通じて複数のコンピューティング装置と通信できるWebサーバであり得る。RLS114は複数のVMRファイルを保存できる。各ファイルは、1つのVMRIDに関連付けられ、そのVMRIDを示す1つのURLを持つ。
幾つかの実施形態において、VMR HTML5ファイルは、1つの会議手法から別の会議手法へ移動するための複数のルールのリストと、セッションに現在接続されたMCSEP132の全ての要素のURLを含むVMR状態テーブルと、VMRIDに接続されたMCSEP132から取得されるビデオ画像が配置されるウィンドウ画面についての情報と、RLS JavaScript(登録商標)アプリケーションへのリンクと、MCU118と通信するためのSIPシグナリングを扱うことのできる別のJavaScript(登録商標)アプリケーションへのリンクとを含んでよい。このJavaScript(登録商標)アプリケーションは、SIP JavaScript(登録商標)アプリケーションと呼ばれ得る。RLS114の幾つかの実施形態は、新規のMCSEP132がVMRに接続されたとき、又は、或る会議参加者が該VMRから離れたとき、そのVMRに既に接続された全ての参加中のMCSEP132に、更新されたVMR状態テーブルを送信するように構成される。
RLS JavaScript(登録商標)アプリケーションの一実施形態において、RLS JavaScript(登録商標)アプリケーションは、ブラウザアプリケーションにより実行されているときに、VMR状態テーブルに従って別のWebRTCピアーと1つのRTCセッションを確立するようWebRTC APIに要求するように構成され得る。WebRTC API及び基礎をなす能力は、元々からブラウザにサポートされている(パフォーマンスオーバヘッドを除去すること及びプラグインのダウンロードに関連するセキュリティー問題など)。WebRTCクライアントは、MCSEP132を備える他の複数クライアントからの及び他の複数クライアントへのメディアを処理できる。
また、RLS JavaScript(登録商標)アプリケーションは、会議セッションの現在の状況を調べ、それを複数ルールのリストと比較するように構成でき、それにより、現在のセッションの状況に従いリアルタイムで会議手法を適合させることにより、或る会議システム方法から別の会議システム方法へ適合させることができる。RLS JavaScript(登録商標)アプリケーションの幾つかの実施形態は、VMRに接続された1つのMCUを識別するように構成され得る。幾つかの実施形態において、VMR状態テーブル内のMCUのURLは、MCUの代表を含み得る。
MCSEP132は、ネットワーク110を通じた有線又は無線通信能力を持つどのようなコンピューティング装置でもあり得る。MCSEP132の一例は、ラップトップコンピュータ、ノートブック、スマートフォン、タブレット、タッチスクリーン式携帯電話などであり得る。MCSEP132の一例は、例えば、WebRTC API又は同様の能力を持つ別のAPIを有するブラウザアプリケーションを使用することにより、ネットワーク110を通じたメッシュビデオ会議セッションに参加できる。例えば、例示に限定はされないがGoogle CHROME(CHROMEはグーグル社の登録商標)、Mozilla FIREFOX (FIREFOXはモジラ財団の登録商標)、OPERA (OPERAはオペラソフトウェアASAの登録商標)などのブラウザアプリケーションが使用され得る。
或るMCSEP132のユーザは、或る1つのVMR経由で管理される会議セッションに参加するよう要請されるだろう。要請は、或るVMRへの1つのリンク(典型的には1つのURL)を含む電子メールであり得る。そのリンクはRLS114を指し、同様に、該VMRを識別するために使用されるVMRIDを示し得る。そのリンクをクリックするにあたり、ユーザは、URL、VMR HTMLファイルに関連付けられたHTML5ファイルを要求するフェッチ要求を送信するブラウザアプリケーションをアクティブにする。受信されたVMR HTMLファイルは、ブラウザによって構文解析され、RLS JavaScript(登録商標)アプリケーションへのリンクをアクティブにするにあたり、JavaScript(登録商標)アプリケーションがダウロードされ、アクティブにされ得る。RLS JavaScript(登録商標)アプリケーションは、JavaScript(登録商標)コードを含み、同様にHTML5を含み得る。ブラウザはJavaScript(登録商標)アプリケーションをアクティブにするとき、HTMLファイルの構文解析を続ける。1つの会議手法から別の会議手法へ移動するための複数のルールのリスト、VMR状態テーブル、VRMIDに関連付けられたMCU118のIDなどが保存されるだろう。そして、RLS JavaScript(登録商標)アプリケーションは、例えば、例示に限定されないが、他の複数のピアーとメディア接続を設定するためのWebRTCなど、Webクライアントを呼び出す。ここではJavaScript(登録商標)に関して説明したが、その他のスクリプト言語が使用され得る。
RLS JavaScript(登録商標)アプリケーションの幾つかの実施形態は、更に、何時1つの会議手法から別の会議手法に切り替えるかを決定するように構成されてよい。決定は、複数ルールのリストに基づき得る。RLS JavaScript(登録商標)アプリケーションが、従来の会議手法に切り替えてMCU118にセッションを管理させることを決定をしたとき、JavaScript(登録商標)アプリケーション実行可能なSIPは、RLS114からダウンロードされ、MCU118に要請するためにアクティベートされ得る。幾つかの実施形態において、SIP JavaScript(登録商標)アプリケーションはRLS JavaScript(登録商標)アプリケーションの部分であり得る。別の実施形態において、SIP JavaScript(登録商標)アプリケーションはHTML5ファイルに埋め込まれ得る。RLS JavaScript(登録商標)アプリケーションについての動作の更なる説明は、図3及び図4を参照して後述する。
MCU118の一例は、複数のLEP136の間での従来のCPビデオ会議を管理するための共通MCUの要素を含むように構成され得る。また、MCU118は、1以上のMRE134と通信するためのMRIインタフェースモジュールを有し得る。更に、MCU118の実施形態は、1以上のMCSEP132と通信するためのMCSEPインタフェースモジュールを含むように構成され得る。
MCU118は、VMRIDを処理するためのCPビデオ会議を確立することにより、MRE134又はLEP136から受信したVMRIDへの参加の最初のSIP要請に応答するように構成され得る。また、MCU118は、VMRIDに参加したという指標(indication)をRLS114に送信するように構成される。それに応じて、RLS114は、MCU118のURLを持つVMR状態テーブルを更新でき、該VMRIDに既に接続されているMCSEP132に関連付けられた全ての以前からの参加者にそれを送信できる。MCU118の動作の詳細は、図2〜図4に記載される。
LEP136及びMRE134は、それぞれ、従来のLEP及びMREと同様な機能性を持ち得る。エンドポイントの各種類は、VMRへの参加を要請されたときにMCU118を呼び出すように構成され得る。
図2は、1つの会議手法から別の会議手法に移動可能に構成されたMCU200の一実施形態に関連する要素を含むブロック図を描く。MCU200は、複数のLEP136と通信するための1以上のLEPインタフェースモジュール222、複数のMRE134と通信するための1以上のMREインタフェースモジュール224、及び、複数のMCSEPと通信するための1以上のMCSEPインタフェースモジュール280を備えてよい。また、MCU200は、1つのオーディオモジュール230、1つのビデオモジュール250及び制御モジュール240を具備できる。
MCSEPインタフェースモジュール280は、HTML5及びJavaScript(登録商標)モジュール284と、WebRTCモジュール282を具備する。オーディオモジュール230は、圧縮オーディオ入力モジュール231A−Cを備え、圧縮オーディオ入力モジュール231A−Cの各々はデコーダ232を含み、デコーダ232は圧縮オーディオを取得し、それをデコードして、デコードされたオーディオを共通インタフェースバス234に供給する。出力オーディオモジュール235A−Cは、それぞれ、圧縮された混合オーディオを供給するために、分析器及びミキサ236とエンコーダ238を含む。ビデオモジュール250は、圧縮入力ビデオモジュール251A−Cを備え、圧縮入力ビデオモジュール251A−Cの各々は、圧縮ビデオをデコードし、デコードされたビデオを共通インタフェースバス254に配置するために、デコーダ252を含む。ビデオモジュール250はまた出力ビデオモジュール255A−Cを備え、出力ビデオモジュール255A−Cは、圧縮ビデオを供給するためのエディタ256及びエンコーダ258を含む。
制御モジュール240は、T16から図3とともに下記に開示されるように拡大手順の間にMCU200の内部モジュールの動作を制御するための拡大モジュール(escalation module)242を含む。
リンク203は、LEPインタフェースモジュール222をオーディオモジュール230に接続して、圧縮オーディオを供給する。リンク283aは、MCSEPインタフェースモジュール280をオーディオモジュール230に接続して、デコードされたオーディオを供給する。リンク283bは、デコード済み混合オーディオバス234を、オーディオモジュール230からMCSEPインタフェースモジュール280に接続して、デコード済み混合オーディオを関連するMCSEP132に供給する。リンク204は、制御モジュール240とLEP、MRE及びMCSEPインタフェースモジュール222、224及び280の間の制御リンクを提供する。リンク285aは、MCSEPインタフェースモジュール280をデコード済みビデオを供給するビデオモジュール250に接続して、デコード済みビデオを供給する。リンク285bは、ビデオモジュール250のエディター256をMCSEPインタフェースモジュール280に接続して、関連するMCSEP132にデコード済みCPビデオ画像を供給する。リンク205は、ビデオモジュール250をLEP及びMREインタフェースモジュール222及び224に接続して、圧縮ビデオを供給する。
LEPインタフェースモジュール222は、MCU118経由で1以上のLEP136にネットワーク接続を提供する一方、MREインタフェースモジュール224は、1以上のMRE134にネットワーク接続を提供し、MCSインタフェースモジュール280は、1以上のMCSEP132及びRLS114にネットワーク接続を提供する。LEPインタフェースモジュール222、オーディオモジュール230及びビデオモジュール250の一般的な動作は、当該技術分野の通常の知識を有するものに周知であり、詳述しない。また、HTTP,セキュアリアルタイムプロトコル(SRTP)など、HTML5+JS SIPモジュール284及びWEBRTCモジュール282の一般的な動作は周知であり、詳述しない。
図3は、VMRを管理し、メッシュ会議をレガシー会議に変換する間の、関連するイベントのタイミング図200を示す。T0(不図示)において、VMRIDが開始される。T1からT12の間、セッションは、3つのMCSEP132により実行された3つのRLSWCの間でMCS技術を使用することにより処理される。T1において、VMRIDへの参加リクエストがRLSWC AからRLS114に送信され、RLS114は、T2において、VMR状態テーブルとともに応答する。同様に、T3において、RLSWC Bは、VMRIDにより識別される会議に参加することを要求する。そして、T4において、RLSWC A及びRLSWC Bは、更新されたVMR状態テーブルを受信する。T5及びT6において、RLSWC A及びRLSWC Bの間のメディア接続がなされる。同様に、T7〜T12は、第3のエンドポイントRLSWC Cが当該VMTでの会議に参加することを示す。
T13において、第4のRLSWC Dはセッションに参加したいが、そのことはT14〜T34の矢印により示されるように、VMRセッションをMCU118に移動させる原因となる。T14において、RLS114は、更新されたVMR状態テーブルを4つの全ての参加者に送信する。T15において、RLSWC Dは、MCU118に対して会議への参加を要請する。MCU118は、T16において、それを承認し、T17において、RLSWC Dとのメディア接続を確立する。
MCU118は、それから、T18において、RLS114にVMRIDを送信することにより会議に参加することを要求し、T19において、RLS114に、更新されたVMR状態テーブルをRLSWC A〜D及びMCU118宛に送信させる。T20〜T23において、RLSWC Aは、MCU118に接続し、T24においてRLSWC B及びCへの接続を中断する(ドロップする、dropping)前に、メディア通信を始める。同様に、RLSWC Bは、T25〜T28において、MCU118に接続して、T29においてRLSWC A及びCとの接続を中断する。最後に、RLSWC Cは、T26〜T33において、MCU118に接続して、T34においてRLSWC A及びBから切断する。メッシュ会議は、今や、レガシー会議になった。
図4A及びBは、RLSWCにより実行され得る手法400の一例の関連するアクションのフローチャートを示しており、フローチャートの処理は1つの会議手法から別の手法に移動している間に、MCSEP132により実行される。別の実施形態においては、手法400はRLSサーバ114により実行され得る。幾つかの実施形態において、例えば、拡大プロセスを終わらせる手法の一部が拡大モジュール242により実施され得る。
アクション402〜424は、会議手法を変更するかどうかを決定するための更新されたVMR状態テーブルの受信にあたりRLSWCの一例が実行できるアクション(処理、actions)を示す。
ブロック402において、RLSWCタスクが始まる。ブロック404において、参加リクエストがVMRIDとともに送信され、タイマーがリセットされる。ブロック410において、VMR状態テーブルが受信されたかどうか決定される。受信されていない場合は、ブロック412においてタイマーがタイムアウト閾値を超過すると、ブロック414において、参加リクエストが不成功であったことがユーザに通知される。タイマーが閾値を超えていない場合は、タスクはブロック410に戻る。
VMR状態テーブルが受信された場合、VMR状態テーブルは、ブロック416において構文解析され、ブロック420〜424において複数ルールのリストと比較される。アクティブMCUが用いられている場合(420)又はコーデックが他のエンドポイントのコーデックと一致(match)しない場合(422)、又は、会議参加者数Nが制限値N1を越えている場合(424)、ブロック426において、WebRTC APIはMCUとメディア接続を設定するように命じる。アクション426〜444は、或るMCSから或るMCUへ手法を移動することを示す。ブロック431において、タスクはMCUが接続されるまで待ち、そして、ブロック433において、図4Bのブロック450に進む前に、レイアウト上の適切なウィンドウ又はセグメント内にCPビデオ画像を提示することを開始する。
MCUが接続されておらず(420)、全てのコーデックが一致し(422)、且つ、NがN1よりも小さい場合、アクション428〜442において、セッションは、MCSとしての動作のままである。ブロック428において、WebRTC APIは、接続されたRLSWCのそれぞれとのメッシュ会議を行い、受信されたビデオ画像を関連付けられたウィンドウに配置するように指示される。ブロック430において、タスクは、別のVMR状態テーブルを受信することを待つ。受信に応じて、ブロック432において、HTML5ファイル及びVMR状態テーブルが構文解析され、MCUの状態が調べられる。ブロック434において、アクティブなMCUが見つからない場合、タスクは、別のVMR状態テーブルを待つことに戻る。ブロック434において、アクティブなMCUが見つかった場合、ブロック436において、WebRTC APIは、そのMCUとのメディア接続を行うように指示され、該MCUが接続されるまで、ブロック440で待つ。接続に応じて、ブロック442において、RLSWCは、以前の独立したビデオ画像の提示を停止し、適切なウィンドウ内に前記MCUから受信したCPビデオ画像を提示することを開始する。幾つかの実施形態では、拡大の理由が保存される。ブロック444のタスクは、それから、図4Bのブロック450に進む。
アクション450(図4B)〜464は、MCUからMCSに戻るときに実行され得るアクションを示す。ブロック450に入り、タスクはブロック451において、別のVMR状態テーブルを待つ。ブロック452において、VMR状態テーブルが構文解析され、保存された拡大の理由と比較される。拡大の状況が依然として当てはまる場合(454)、タスクは、ブロック451において別のVMR状態テーブルを待つことに戻る。拡大の状況がもう存在しない場合、ブロック456において、タスクは、WebRTC APIは、他の接続されたRLSWCとメッシュ接続を行うことを開始して、適当なウィンドウに受信されたビデオ画像を配置するように指示される。
ブロック460において全てのメッシュ接続が完了するのを待った後、ブロック462において、MCU接続が切断され、WebRTC APIは、独立した各ビデオ画像を、HTML5ファイル内の関連付けられたウィンドウに配置するように指示される。タスクは、それから、ブロック464において、図4Aのブロック430に進む。
以上は、例示を意図したもので制限を意図したものではない。例えば、前述の実施形態は、互いに組み合わせて使用されてよい。上記の説明を吟味することで、当業者にとって他の多くの実施形態が明白であろう。
なお、上記は説明を意図したもので、制限を意図したものでないことが理解されるべきである。前記の装置、システム及び方法は、ステップの順番、及び、使用された正確な実施を変更することを含み、様々に変更されてよい。前記実施形態は種々の特徴を含んでいるが、それらの全てがこの開示における全ての実施形態に要求されるのではない。さらには、この開示の幾つかの実施形態は、幾つかの特徴のみ又は複数の特徴な可能な組み合わせのみを使用する。この開示に示された種々の特徴の組み合わせは、当業者に思いつくものであろう。更に、この開示の幾つかの実施形態は、この開示における異なる実施形態に関連して記載された特徴及び要素の組み合わせにより実施されてよい。この発明の範囲は、以下の特許請求範囲及びその等価物によってのみ制限される。
100 マルチメディア会議システム、101 ネットワーク、114 ロスターリストサーバ(RLS)、118 多地点制御ユニット(MCU)、132 メッシュ会議システムエンドポイント(MCSEP)、134 メディア中継エンドポイント(MRE)、136 レガシーエンドポイント(LEP)
Claims (19)
- ビデオ会議セッションに現在メッシュ接続されている1以上のメッシュ会議システムエンドポイントを示す仮想会議室状態テーブルを受信することと、
複数のルールのリストを用いて前記仮想会議室状態テーブルを評価することと、
前記評価に応じて、1つの多地点制御ユニットに前記ビデオ会議セッションを管理するように要請するかどうかを決定すること
を備える方法。 - 前記仮想会議室状態テーブルは、メッシュウェブクライアントのためのアプケーションプログラムインタフェースを含むように構成された、或るメッシュ会議システムエンドポイントのプロセッサにより実行されるブラウザアプリケーションにより受信されることを特徴とする請求項1に記載の方法。
- 前記アプケーションプログラムインタフェースは、ウェブリアルタイム通信アプケーションプログラムインタフェースであることを特徴とする請求項2に記載の方法。
- 前記リストのうちの1つのルールは、前記ビデオ会議セッションに参加する前記メッシュ会議システムエンドポイントの数が或る閾値を越えた場合に、前記多地点制御ユニットに該ビデオ会議セッションを管理するように要請するものである請求項1に記載の方法。
- 前記閾値が設定可能であることを特徴とする請求項4に記載の方法。
- 前記閾値は3〜6人の参加者数の範囲内であることを特徴とする請求項4に記載の方法。
- 前記多地点制御ユニットは1つのメディア中継エンドポイントを前記ビデオ会議セッションに接続するように構成されることを特徴とする請求項1に記載の方法。
- 前記ビデオ会議セッションに現在参加している1以上の前記メッシュ会議システムエンドポイントからの複数のビデオ画像のデータを含む圧縮されたビデオの1つのストリームを伝送するように前記多地点制御ユニットを構成することを更に備える請求項1に記載の方法。
- ビデオ会議セッションに参加している複数のメッシュ会議システムエンドポイントから圧縮されたオーディオ及び圧縮されたビデオを受信し、且つ、1以上の前記複数のメッシュ会議システムエンドポイントから受信された複数のビデオ画像を含む圧縮されたビデオの1つのストリームを前記メッシュ会議システムエンドポイントのそれぞれに伝送するように構成されたメッシュ会議システムエンドポイントインタフェースモジュールと、
オーディオモジュールと、
ビデオモジュールと、
この多地点制御ユニットの動作を制御するための制御モジュールと
を備える多地点制御ユニット。 - 前記メッシュ会議システムエンドポイントインタフェースモジュールが、更に、
前記オーディオモジュールからデコード済み混合オーディオを、また、前記ビデオモジュールからデコード済み常駐表示ビデオ画像を受信し、
前記混合オーディオ及び前記常駐表示ビデオ画像を圧縮し、且つ、
別のメッシュ会議システムエンドポイントに、前記圧縮された混合オーディオ及び前記圧縮された常駐表示ビデオ画像を伝送するように構成されることを特徴する請求項9に記載の多地点制御ユニット。 - 1つのビデオ会議セッションに参加している複数のメディア中継エンドポイントから複数の圧縮されたオーディオ及び圧縮されたビデオのストリームを受信し、前記複数のメディア中継エンドポイントのそれぞれに圧縮された混合オーディオ及び圧縮された常駐表示ビデオのストリームを伝送するように構成されたメディア中継エンドポイントインタフェースモジュールを更に備え、
前記圧縮された混合オーディオ及び前記圧縮された常駐表示ビデオは、前記ビデオ会議セッションに参加している1以上のメッシュ会議システムエンドポイントから受信されたオーディオ及びビデオのデータを含むものである、
ことを特徴とする請求項9に記載の多地点制御ユニット。 - 1つのビデオ会議セッションに参加している複数のレガシーエンドポイントから複数の圧縮されたオーディオ及び圧縮されたビデオのストリームを受信し、前記オーディオモジュールから混合オーディオを、また、前記ビデオモジュールから常駐表示ビデオ画像を受信し、前記混合オーディオと常駐表示ビデオ画像を圧縮し、且つ、前記圧縮された混合オーディオ及び前記圧縮された常駐表示ビデオ画像を、前記複数のレガシーエンドポイントに伝送するように構成されたレガシーエンドポイントインタフェースモジュールを更に備え、
前記圧縮された混合オーディオ及び前記圧縮された常駐表示ビデオは、前記ビデオ会議セッションに参加している1以上のメッシュ会議システムエンドポイントから受信されたオーディオ及びビデオのデータを含むものである、
ことを特徴とする請求項9に記載の多地点制御ユニット。 - 前記制御モジュールが、
1以上の拡大ルールを評価し、前記評価に応じて1つのレガシービデオ会議又は1つのメディア中継ビデオ会議を1つのメッシュビデオ会議に変換するように構成された拡大モジュール
を更に備えることを特徴とする請求項9に記載の多地点制御ユニット。 - 前記1以上の拡大ルールのうち1つの拡大ルールは、1つのメッシュビデオ会議内の最大参加者数を規定するものであることを特徴する請求項13に記載の多地点制御ユニット。
- 前記1以上の拡大ルールのうち1つの拡大ルールは、何時1つのレガシービデオ会議又は1つのメディア中継ビデオ会議を1つのメッシュビデオ会議に変換するかを決定するための参加者数の閾値を規定するものであることを特徴する請求項13に記載の多地点制御ユニット。
- メッシュ会議システムエンドポイントのプロセッサによって実行される複数の命令からなるプログラムであって、前記プロセッサに、
1つの種類のビデオ会議から別の種類のビデオ会議に変換するための1又は複数のルールを評価するステップと、
前記1又は複数のルールの評価に基づいて、1つの多地点制御ユニットに前記ビデオ会議への参加を要請するステップ
を実行させるプログラム。 - 前記1又は複数のルールは、前記ビデオ会議への参加者数に基づく1つのルールを含むことを特徴する請求項16に記載のプログラム。
- 前記1又は複数のルールは、前記多地点制御ユニットが前記ビデオ会議においてアクティブかどうかに基づく1つのルールを含むことを特徴する請求項16に記載のプログラム。
- 前記1又は複数のルールは、前記ビデオ会議において複数の参加者によって用いられているコーデックに基づく1つのルールを含むことを特徴する請求項16に記載のプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361891205P | 2013-10-15 | 2013-10-15 | |
US61/891205 | 2013-10-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015080210A true JP2015080210A (ja) | 2015-04-23 |
Family
ID=51726414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014210309A Pending JP2015080210A (ja) | 2013-10-15 | 2014-10-14 | 会議セッションの現在状況に対する、会議システムのリアルタイム適合システム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10091461B2 (ja) |
EP (1) | EP2863632B1 (ja) |
JP (1) | JP2015080210A (ja) |
CN (1) | CN104580991B (ja) |
HK (1) | HK1204179A1 (ja) |
TW (1) | TWI559777B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016213784A (ja) * | 2015-05-13 | 2016-12-15 | Kddi株式会社 | リアルタイム映像通信の品質評価方法およびシステム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160112472A1 (en) * | 2014-10-21 | 2016-04-21 | Avaya Inc. | System and method for managing communication sessions |
US20160119399A1 (en) * | 2014-10-24 | 2016-04-28 | Kevin J. Glass | Extending browser support of real time media to any available codec |
US9491406B2 (en) * | 2014-10-27 | 2016-11-08 | Polycom, Inc. | Seamless escalation of mesh videoconferences to bridged videoconferences |
US9813523B2 (en) * | 2015-03-16 | 2017-11-07 | Intel IP Corporation | Apparatus, method and system of quality of experience indication |
JP2017028347A (ja) * | 2015-07-15 | 2017-02-02 | 株式会社リコー | 情報処理装置、通信システム、プログラム |
US10686873B2 (en) | 2016-03-16 | 2020-06-16 | Polycom, Inc. | Seamless transition of a video session between a mesh topology and a centralized bridge topology |
EP3220635B1 (en) * | 2016-03-16 | 2022-02-09 | Polycom, Inc. | Seamless transition of a video session between a mesh topology and a centralized bridge topology |
US20180007102A1 (en) * | 2016-07-01 | 2018-01-04 | At&T Intellectual Property I, Lp | System and method for transition between customer care resource modes |
US9871922B1 (en) | 2016-07-01 | 2018-01-16 | At&T Intellectual Property I, L.P. | Customer care database creation system and method |
US9876909B1 (en) | 2016-07-01 | 2018-01-23 | At&T Intellectual Property I, L.P. | System and method for analytics with automated whisper mode |
US10200536B2 (en) | 2016-07-01 | 2019-02-05 | At&T Intellectual Property I, L.P. | Omni channel customer care system and method |
CN106303430B (zh) * | 2016-08-21 | 2019-05-14 | 贵州大学 | 浏览器中无插件播放实时监控的方法 |
CN106572320A (zh) * | 2016-11-11 | 2017-04-19 | 上海斐讯数据通信技术有限公司 | 多方视频通话方法及系统 |
EP3563248B1 (en) * | 2016-12-30 | 2022-11-30 | Akamai Technologies, Inc. | Unified, browser-based enterprise collaboration platform |
US10812598B2 (en) | 2016-12-30 | 2020-10-20 | Akamai Technologies, Inc. | Unified, browser-based enterprise collaboration platform |
CN110324286B (zh) * | 2018-03-30 | 2022-02-22 | 视联动力信息技术股份有限公司 | 一种会议控制系统和方法 |
FI129164B (en) * | 2018-12-20 | 2021-08-13 | Telia Co Ab | Communication solution |
CN109788072A (zh) * | 2019-03-07 | 2019-05-21 | 杭州当虹科技股份有限公司 | 一种将标准Webrtc客户端接入现有系统的方法 |
US11366583B1 (en) | 2021-02-02 | 2022-06-21 | Bank Of America Corporation | Computer-to-computer users# edit and event transfer and synchronization |
US11943072B2 (en) | 2021-03-30 | 2024-03-26 | Snap Inc. | Providing a room preview within a virtual conferencing system |
US11689696B2 (en) | 2021-03-30 | 2023-06-27 | Snap Inc. | Configuring participant video feeds within a virtual conferencing system |
CN112866624B (zh) * | 2021-04-26 | 2021-08-03 | 浙江华创视讯科技有限公司 | 视频会议类型的确定方法、装置、电子设备及存储介质 |
US11979244B2 (en) | 2021-09-30 | 2024-05-07 | Snap Inc. | Configuring 360-degree video within a virtual conferencing system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0766876A (ja) * | 1993-08-26 | 1995-03-10 | Fujitsu Ltd | 多地点会議システム及び多重接続装置 |
JP2007072739A (ja) * | 2005-09-07 | 2007-03-22 | Hitachi Communication Technologies Ltd | 多地点会議システム、多地点会議装置およびクライアント端末 |
JP2007259270A (ja) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | サーバ装置 |
JP2008016880A (ja) * | 2006-06-30 | 2008-01-24 | Toshiba Corp | 通信システム、サーバ装置及び表示制御方法 |
JP2009016907A (ja) * | 2007-06-29 | 2009-01-22 | Toshiba Corp | 会議システム |
JP2012074808A (ja) * | 2010-09-28 | 2012-04-12 | Hitachi Solutions Ltd | 仮想会議室システム、仮想会議サービス提供サーバ装置、及び仮想会議システムにおける情報処理方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7174365B1 (en) | 2000-11-08 | 2007-02-06 | Polycom Israel Ltd. | System and method for controlling one or more multipoint control units as one multipoint control unit |
US7542068B2 (en) | 2000-01-13 | 2009-06-02 | Polycom, Inc. | Method and system for controlling multimedia video communication |
US6300973B1 (en) | 2000-01-13 | 2001-10-09 | Meir Feder | Method and system for multimedia communication control |
US7085243B2 (en) | 2000-03-01 | 2006-08-01 | Polycom Israel Ltd. | System and method for providing reservationless conferencing |
US7830824B2 (en) | 2000-03-01 | 2010-11-09 | Polycom, Inc. | System and method for providing reservationless third party meeting rooms |
US8705719B2 (en) * | 2001-12-31 | 2014-04-22 | Polycom, Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
US7987233B1 (en) | 2003-08-15 | 2011-07-26 | Microsoft Corporation | System and methods for facilitating a multiparty communications session with a dynamically designated session manager |
CN100466720C (zh) * | 2005-01-17 | 2009-03-04 | 株式会社东芝 | 视频合成设备及视频合成方法 |
US7679638B2 (en) * | 2005-01-27 | 2010-03-16 | Polycom, Inc. | Method and system for allowing video-conference to choose between various associated video conferences |
US7899170B2 (en) * | 2005-04-28 | 2011-03-01 | Apple Inc. | Multi-participant conference setup |
US20160360155A1 (en) * | 2005-09-07 | 2016-12-08 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
US8134587B2 (en) * | 2008-02-21 | 2012-03-13 | Microsoft Corporation | Aggregation of video receiving capabilities |
US8340272B2 (en) | 2008-05-14 | 2012-12-25 | Polycom, Inc. | Method and system for initiating a conference based on the proximity of a portable communication device |
CN101370114B (zh) | 2008-09-28 | 2011-02-02 | 华为终端有限公司 | 视频及音频处理方法、多点控制单元和视频会议系统 |
US8228363B2 (en) | 2009-01-30 | 2012-07-24 | Polycom, Inc. | Method and system for conducting continuous presence conferences |
US8760492B2 (en) | 2009-01-30 | 2014-06-24 | Polycom, Inc. | Method and system for switching between video streams in a continuous presence conference |
US8750178B2 (en) * | 2009-06-01 | 2014-06-10 | Qualcomm Incorporated | Connection manager for a wireless communication device |
US20110187813A1 (en) * | 2010-02-01 | 2011-08-04 | Magor Corporation | Method of Connecting Mesh-Topology Video Sessions to a Standard Video Conference Mixer |
US8312164B2 (en) * | 2010-04-14 | 2012-11-13 | Adobe Systems Incorporated | Media quality enhancement among connected media communication devices |
US8655894B2 (en) * | 2010-04-26 | 2014-02-18 | Nokia Corporation | Method and apparatus for index generation and use |
WO2013066980A1 (en) | 2011-11-01 | 2013-05-10 | Teliris, Inc. | Cloud-based interoperability platform for video conferencing |
US20140028788A1 (en) | 2012-07-30 | 2014-01-30 | Polycom, Inc. | Method and system for conducting video conferences of diverse participating devices |
US9668166B2 (en) * | 2013-02-05 | 2017-05-30 | Qualcomm Incorporated | Quality of service for web client based sessions |
WO2014142715A1 (en) * | 2013-03-12 | 2014-09-18 | Telefonaktiebolaget L M Ericsson (Publ) | Use of webrtc apis for improving communicaton services |
US9473546B2 (en) * | 2013-04-23 | 2016-10-18 | Cisco Technology, Inc. | Reducing real time media traffic in a network environment |
US10055742B2 (en) * | 2013-05-15 | 2018-08-21 | Verizon Patent And Licensing Inc. | Call transfers for web-delivered calls |
US9113030B2 (en) * | 2013-07-25 | 2015-08-18 | Verizon Patent And Licensing Inc. | Multimedia-enhanced emergency call systems |
-
2014
- 2014-10-10 US US14/512,186 patent/US10091461B2/en active Active
- 2014-10-14 TW TW103135569A patent/TWI559777B/zh active
- 2014-10-14 JP JP2014210309A patent/JP2015080210A/ja active Pending
- 2014-10-15 EP EP14189013.7A patent/EP2863632B1/en active Active
- 2014-10-15 CN CN201410686825.3A patent/CN104580991B/zh active Active
-
2015
- 2015-05-07 HK HK15104362.5A patent/HK1204179A1/xx unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0766876A (ja) * | 1993-08-26 | 1995-03-10 | Fujitsu Ltd | 多地点会議システム及び多重接続装置 |
JP2007072739A (ja) * | 2005-09-07 | 2007-03-22 | Hitachi Communication Technologies Ltd | 多地点会議システム、多地点会議装置およびクライアント端末 |
JP2007259270A (ja) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | サーバ装置 |
JP2008016880A (ja) * | 2006-06-30 | 2008-01-24 | Toshiba Corp | 通信システム、サーバ装置及び表示制御方法 |
JP2009016907A (ja) * | 2007-06-29 | 2009-01-22 | Toshiba Corp | 会議システム |
JP2012074808A (ja) * | 2010-09-28 | 2012-04-12 | Hitachi Solutions Ltd | 仮想会議室システム、仮想会議サービス提供サーバ装置、及び仮想会議システムにおける情報処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016213784A (ja) * | 2015-05-13 | 2016-12-15 | Kddi株式会社 | リアルタイム映像通信の品質評価方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
TWI559777B (zh) | 2016-11-21 |
EP2863632A1 (en) | 2015-04-22 |
CN104580991A (zh) | 2015-04-29 |
CN104580991B (zh) | 2018-07-10 |
EP2863632B1 (en) | 2019-08-28 |
US20150103137A1 (en) | 2015-04-16 |
US10091461B2 (en) | 2018-10-02 |
HK1204179A1 (en) | 2015-11-06 |
TW201524215A (zh) | 2015-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2863632B1 (en) | System and method for real-time adaptation of a conferencing system to current conditions of a conference session | |
US10893080B2 (en) | Relaying multimedia conferencing utilizing software defined networking architecture | |
CN108289187B (zh) | 网络直播接入视频会议方法及系统 | |
CA2797986C (en) | Collaboration system and method | |
US10397298B2 (en) | Method and systems for optimizing bandwidth utilization in a multi-participant full mesh peer-to-peer video session | |
US9596433B2 (en) | System and method for a hybrid topology media conferencing system | |
US20130282820A1 (en) | Method and System for an Optimized Multimedia Communications System | |
NO20100962A1 (no) | System og fremgangsmate for konferanser med skalerbar mediesvitsjing | |
CN114600468A (zh) | 将复合视频流中的视频流与元数据组合 | |
Xue et al. | A WebRTC-based video conferencing system with screen sharing | |
US20150130892A1 (en) | Method and system for video conference snapshot presence | |
WO2016045496A1 (zh) | 一种媒体控制方法和设备 | |
EP2884743A1 (en) | Process for managing the exchanges of video streams between users of a video conference service | |
KR20170071251A (ko) | 회의 서비스를 제공하는 다중 접속 제어 장치 | |
Ongtang et al. | Client-based Multipoint Media Mixer to Support People with Hearing Impairment in Communication | |
US20220394212A1 (en) | Optimizing media experience in conferencing with diverse participants | |
Nam et al. | An interactive IPTV system with community participation in cloud computing environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160301 |