JP2017519379A - オブジェクトベースの遠隔会議プロトコル - Google Patents
オブジェクトベースの遠隔会議プロトコル Download PDFInfo
- Publication number
- JP2017519379A JP2017519379A JP2016555536A JP2016555536A JP2017519379A JP 2017519379 A JP2017519379 A JP 2017519379A JP 2016555536 A JP2016555536 A JP 2016555536A JP 2016555536 A JP2016555536 A JP 2016555536A JP 2017519379 A JP2017519379 A JP 2017519379A
- Authority
- JP
- Japan
- Prior art keywords
- participant
- participants
- teleconferencing
- teleconference
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
- H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルを提供する。上記オブジェクトベースの遠隔会議プロトコルは、複数の音声信号から形成される1つまたは複数の音声パケットを含む。1つまたは複数のタグ付き音声パケットは、上記音声パケットから形成される。上記タグ付き音声パケットは、メタデータパケット識別子を含む。インターリーブ伝送ストリームは、上記タグ付き音声パケットから形成される。1つまたは複数のシステムは、上記タグ付き音声パケットを受信するように構成される。上記1つまたは複数のシステムは、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。【選択図】図3
Description
関連出願
この出願は、2014年3月4日出願の米国仮出願第61/947,672号の利益を主張し、その開示はその全体を参照により本明細書に組み入れられたものとする。
この出願は、2014年3月4日出願の米国仮出願第61/947,672号の利益を主張し、その開示はその全体を参照により本明細書に組み入れられたものとする。
遠隔会議は、映像および音声(audio)部分の両方に関与しうる。遠隔会議映像の品質は順調に向上しているが、遠隔会議の音声部分は、依然として不具合となりうる。これまでの遠隔会議のシステム(またはプロトコル)は、例えばブリッジなどの音声装置への参加者全員から生じた音声信号をミキシングして、続いて、自身の音声信号供給をゲートで制御される現在の話者を伴う1つのモノラルストリームに戻す。これまでの遠隔会議システムで用いられる方法では、参加者は、空間的に他の参加者を隔離することまたは他の参加者の相対的な音のレベルを操作することができなかった。従って、これまでの遠隔会議システムは、特に大勢の参加者がいる場合に、どの参加者が話しているかに関して結果的に混乱しうるものであり、明瞭さを制限するものでもありうる。また、話すことを意図するクリアな信号伝達は難しく、かつ、その他の話者のコメントに対する態度である言語的な表現は難しいが、対人的な多数参加者の遠隔会議にはいずれも重要な構成要素となりうる。さらに、これまでの遠隔会議システムで用いられる方法は、遠隔会議参加者のサブセット間での「サイドバー(sidebar)」を許可しない。
遠隔会議に対して様々な多重チャネル(multi-channel)方式を用いて、上記で論じた問題点について改良するための試みがなされている。代替となるアプローチの一例は、各遠隔会議参加者に対して、個々の通信チャネルが必要となる。この方法では、通信チャネルのすべてが、遠隔会議の参加者全員に到達する必要がある。結果として、ひとりの遠隔会議参加者が話すことはできるが、通信チャネルのすべてを開けたままにしなければならず、それにより遠隔会議期間中に帯域幅を消費するため、このアプローチは非効率的であることがわかっている。
他の遠隔会議プロトコルでは、話している遠隔会議参加者を特定しようとする。しかしながら、これらの遠隔会議プロトコルは個々の参加者を隔離することの困難性を有しうるものであり、それにより、普通、話している遠隔会議参加者たちの音声信号が、1つの音声信号ストリームにミキシングされるため、同時に複数の遠隔会議参加者が話す(普通、ダブルトークと称される)という場合を結果としてもたらす。
遠隔会議プロトコルが向上すれば、有益でありうる。
上記目的ならびに特別に列挙されていない他の目的は、遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルによって達成される。オブジェクトベースの遠隔会議プロトコルは、複数の音声信号(speech signal)から形成される1つまたは複数の音声パケット(voice packet)を含む。1つまたは複数のタグ付き音声パケットは、上記音声パケットから形成される。上記タグ付き音声パケットは、メタデータパケット識別子を含む。インターリーブ伝送ストリーム(interleaved transmission stream)は、上記タグ付き音声パケットから形成される。1つまたは複数のシステムは、上記タグ付き音声パケットを受信するように構成される。上記1つまたは複数のシステムは、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。
上記目的ならびに特別に列挙されていない他の目的はまた、遠隔会議事象における遠隔会議の参加者に、映像および/または音声コンテンツを提供するための方法によって達成される。方法は、複数の音声信号から1つまたは複数の音声パケットを形成するステップと、上記1つまたは複数の音声パケットにメタデータパケット識別子を付加して、それによりタグ付き音声パケットを形成するステップと、上記タグ付き音声パケットからインターリーブ伝送ストリームを形成するステップと、上記インターリーブ伝送ストリームを上記遠隔会議の参加者によって用いられるシステムに伝送するステップとを含み、上記システムは、上記タグ付き音声パケットを受信するように構成されて、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。
オブジェクトベースの遠隔会議プロトコルの様々な目的および効果は、添付の図面に照らして読まれる場合に、以下の発明の詳細な説明から当業者には明らかとなるであろう。
ここで、発明の特定の実施形態を時折参照しながら、本発明を説明することとする。しかしながら、本発明は、異なる形式で具現化されてもよく、本明細書で述べる実施形態に限定するものと解釈されるべきでない。むしろ、これらの実施形態は、この開示が完成および完了されるように、かつ、当業者に対して発明の範囲を十分に伝えるように提供される。
別に規定されない場合、本明細書で用いるすべての技術および科学用語は、この発明が属する分野の当業者によって普通理解されるものと同様の意味を有する。本明細書の発明の説明で用いられる専門用語は、単にある実施形態を説明するためであり、発明の限定を意図していない。発明および添付の特許請求の範囲の記載において用いる場合、明確に別を示す文脈がなければ、単数形である“a”、“an”および“the”は同様に複数形を含むことを意図する。
別に示されていない場合、明細書および特許請求の範囲において用いられる例えば長さ、幅、高さなどの寸法の量を表すすべての数は、すべての例において用語「約(about)」で修飾されているものと理解されるものである。従って、別に示されていない場合、明細書および特許請求の範囲で述べる数値的な特性は、本発明の実施形態において得ようとする所望の特性に応じて変化しうる概算である。発明の広い範囲を説明する数値的範囲およびパラメータは概算であるが、特定の実施例で説明される数値は可能な限り正確に報告される。しかしながら、どの数値も、本質的に、それらの各測定で見られる誤差から必然的に生じるある誤差を含む。
明細書および図により、オブジェクトベースの遠隔会議プロトコル(以下「オブジェクトベースプロトコル」とする)が開示される。概して、オブジェクトベースプロトコルの第1の態様は、遠隔会議の参加者に対して分配するための記述メタデータタグ(descriptive metadata tag)を作成することを含む。本明細書で用いる場合、用語「記述メタデータタグ」は、遠隔会議および/または遠隔会議の参加者の1つまたは複数の態様に関する情報を提供するデータを意味するように規定される。限定するものではない一例として、記述メタデータタグは、特定の遠隔会議の身元(identity)を確立および/または保持しうる。オブジェクトベースプロトコルの第2の態様は、遠隔会議の参加者が話すときに作成される音声パケットに対して、メタデータパケット識別子を作成および付加することを含む。オブジェクトベースプロトコルの第3の態様は、付加されるメタデータパケット識別子を伴う音声パケットを、例えば各参加者の別個の身元を保持するような方法で、ブリッジによって順次インターリーブおよび伝送することを含む。
ここで図1を参照すると、オブジェクトベースプロトコルの第1の部分は、概して10aと示される。オブジェクトベースプロトコルの第1の部分10aは、遠隔会議を開始すると、または進行中の遠隔会議の状態が変化すると生じる。遠隔会議の状態の変化についての限定するものではない例としては、新しい参加者の遠隔会議への参加、または現在の遠隔会議の参加者が新しい部屋に入ることがある。
オブジェクトベースプロトコルの第1の部分10aは、記述メタデータ要素20a、21aを形成することと、記述メタデータ要素20a、21aを組み合わせて記述メタデータタグ22aを形成することとを含む。ある実施形態では、記述メタデータタグ22aは、システムサーバ(図示せず)によって形成されることが可能である。システムサーバは、例えば、新しい参加者が遠隔会議に参加するとき、または遠隔会議の参加者が新しい部屋に入るときなどである遠隔会議の状態が変化する場合に、記述メタデータタグ22aを伝送および反映するように構成可能である。システムサーバは、遠隔会議の参加者によって使用されるコンピュータシステム、ディスプレイ、関連のハードウェアおよびソフトウェアに対して、状態の変化を反映するように構成可能である。システムサーバは、遠隔会議の時間中、リアルタイムの記述メタデータタグ22aのコピーを保持するようにさらに構成可能である。本明細書で用いる場合、用語「システムサーバ」は、遠隔会議を容易にするように用いられる任意のコンピュータベースのハードウェアおよび関連のソフトウェアを意味するように規定される。
ここで図2を参照すると、記述メタデータタグ22aを概略的に説明している。記述メタデータタグ22aは、遠隔会議の参加者および特定の遠隔会議事象に関する情報要素を含むことが可能である。記述メタデータタグ22aに含まれる情報要素の例には、会議の場合にグローバル識別子を提供する会議識別情報30と、会議の発信位置を一意に特定するように構成される位置指定子32と、個々の会議参加者を一意に特定するように構成される参加者識別情報34と、個々に特定可能な各参加者に関して特権レベルを指定するように構成される参加者特権レベル36と、参加者が現在占有する「仮想会議室」(以下においてより詳細に説明するように、仮想会議室は動的であって、遠隔会議中に仮想会議室を変更することが可能であることを意味する)を特定するように構成される部屋識別情報38と、適切な特権レベルを有する遠隔会議の参加者により仮想会議室を施錠して、中断することなく遠隔会議の参加者間の私的な会話を許可することを支援するように構成される部屋錠40とを含むことが可能である。ある実施形態では、施錠の時に部屋にいるそうした遠隔会議の参加者のみがアクセスすることとなる。追加の遠隔会議の参加者は、解錠後に再施錠することにより部屋に招待可能である。部屋錠のフィールドは動的であり、会議中に変更可能である。
再び図2を参照すると、記述メタデータタグ22aに含まれる情報要素のさらなる例には、例えば名前、肩書き、職歴等である参加者補足情報42と、個々に特定可能な各参加者に関連するメタデータパケットを一意に特定するように構成されるメタデータパケット識別子44とを含むことが可能である。メタデータパケット識別子44を用いて、必要に応じて、局所的に記憶される会議メタデータタグに索引とすることが可能である。メタデータパケット識別子44について、以下においてより詳細に論じる。
再び図2を参照すると、1つまたは複数の情報要素30から44は、記述メタデータタグ22aに強制的に取り込むことが可能であることは、オブジェクトベースプロトコル10の意図する範囲内である。さらに、図2に示す情報要素30から44の一覧は、網羅的な一覧ではなく、他の所望の情報要素を含むことが可能であることは、オブジェクトベースプロトコル10の意図する範囲内である。
再び図1を参照すると、ある例においては、メタデータ要素20a、21aは、遠隔会議の参加者が遠隔会議サービスに同意すると作成されうる。これらのメタデータ要素の例としては、参加者識別情報34、企業42、所在地42等を含む。他の例においては、メタデータ要素20a、21aは、特定の遠隔会議事象に対して必要に応じて遠隔会議サービスによって作成されうる。これらのメタデータ要素の例としては、遠隔会議識別情報30、参加者特権レベル36、部屋識別情報38等を含む。さらに他の実施形態においては、メタデータ要素20a、21aは、他の方法によってその他の時に作成されうる。
再び図1を参照すると、伝送ストリーム25は、1つまたは複数の記述メタデータタグ22aのストリームによって形成される。伝送ストリーム25は、記述メタデータタグ22aをブリッジ26に伝える。ブリッジ26は、いくつかの機能に関して構成される。第1に、ブリッジ26は、遠隔会議の参加者が遠隔会議通話にログインすると、各遠隔会議参加者に遠隔会議識別情報を割り当てるように構成される。第2に、ブリッジ26は、各遠隔会議参加者に関する記述メタデータを認識して記憶する。第3に、遠隔会議通話への各遠隔会議参加者のログイン動作は、状態の変化とみなされ、任意の状態の変化があると、ブリッジ26は、すべての遠隔会議参加者に関する記述メタデータを集めた現在の一覧のコピーを、他の遠隔会議参加者へ伝送するように構成される。従って、遠隔会議参加者のコンピュータベースシステムのそれぞれは、その後メタデータ識別子によって索引付けられる遠隔会議メタデータの局所コピーを保持する。上記で論じたように、状態の変化はまた、遠隔会議の参加者が遠隔会議中に部屋を変更または特権レベルを変更する場合に生じうる。第4に、ブリッジ26は、上記した方法の通り、遠隔会議参加者のコンピュータベースシステムのそれぞれに記憶される情報に、記述メタデータ要素20a、21aを索引とするように構成される。
再び図1を参照すると、ブリッジ26は、記述メタデータタグ22aを伝送するように構成され、遠隔会議の参加者12aから12dのそれぞれに対して、状態の変化の情報を反映する。
上記で論じたように、オブジェクトベースプロトコルの第2の態様を図3の10bに示す。第2の態様10bは、遠隔会議の参加者12aが話すときに作成される音声パケットに対して、メタデータパケット識別子を作成および付加することを含む。遠隔会議中に参加者12aが話すと、有向矢印で示すように、参加者の音声(speech)14aが音声コーデック(audio codec)16aによって検出される。説明される実施形態においては、音声コーデック16aは、音声区間検出(voice activity detection)(一般にVADと称される)アルゴリズムを含み、参加者の音声14aを検出する。しかしながら、他の実施形態では、音声コーデック16aは、他の方法を用いて参加者の音声14aを検出することが可能である。
再び図3を参照すると、音声コーデック16aは、音声14aをデジタル音声信号17aに変換するように構成される。音声コーデック16aは、1つまたは複数のデジタル音声信号17aを組み合わせることによって、圧縮された音声パケット18aを形成するようにさらに構成される。好適な音声コーデック16aの限定するものではない例としては、カナダ、ケベック州モントリオールに本社を置くCodecProより市販されているG.723.1、G.726、G.728およびG.729モデルを含む。好適な音声コーデック16aの限定するものではないその他の例としては、Global IP Solutionsにより開発されたインターネット低ビットレートコーデック(Internet Low Bitrate Codec)(iLBC)がある。上記した音声コーデック16aを利用するオブジェクトベースプロトコル10bの実施形態を図3に示しているが、他の実施形態では、他の構成、機構および装置を用いて、音声14aをデジタル音声信号に変換し、1つまたは複数のデジタル音声信号を組み合わせることによって圧縮された音声パケット18aを形成することが可能であることを理解されたい。
再び図3を参照すると、メタデータパケット識別子44が形成されて、音声パケット18aに付加され、それによりタグ付き音声パケット27aを形成する。上記で論じたように、メタデータパケット識別子44は、個々に特定可能な遠隔会議の各参加者を一意に特定するように構成される。メタデータパケット識別子44を用いて、必要に応じて、局所的に記憶される会議記述メタデータタグに索引とすることが可能である。
ある実施形態では、上記したものと同様の手法で、システムサーバ(図示せず)によって、メタデータパケット識別子44が形成されて、音声パケット18aに付加されることが可能である。別の方法では、他の処理、構成要素およびシステムによって、メタデータパケット識別子44が形成されて、音声パケット18aに付加されることが可能である。
再び図3を参照すると、伝送ストリーム25は、1つまたは複数のタグ付き音声パケット27aによって形成される。伝送ストリーム25は、上記したような同様の手法で、タグ付き音声パケット27aをブリッジ26に伝える。
再び図3を参照すると、ブリッジ26は、遠隔会議の参加者12aによって生成されるタグ付き音声パケット27aを、インターリーブ方式で、インターリーブ伝送ストリーム28に順次伝送するように構成される。本明細書で用いる場合、用語「インターリーブ(interleaved)」は、タグ付き音声パケット27aを、伝送ストリーム25に対して、互いにランダムにミキシングするのではなく、交互に挿入することを意味するように規定される。インターリーブ方式でタグ付き音声パケット27aを伝送することにより、タグ付き音声パケット27aは、遠隔会議の参加者12aの別個の身元を保持することができる。
再び図3を参照すると、インターリーブ伝送ストリーム28が、遠隔会議の参加者12aから12dのコンピュータベースシステム(図示せず)に提供される、すなわち、遠隔会議の参加者12aから12dのそれぞれが、インターリーブ方式で配置されたタグ付き音声パケット27aを有する同様の音声ストリームを受信する。しかしながら、遠隔会議の参加者のコンピュータベースシステムがそれ自体のメタデータパケット44を認識する場合、その参加者に自身の音声が聞こえないようにタグ付き音声パケットは無視される。
再び図3を参照すると、タグ付き音声パケット27aは、遠隔会議の参加者によって有利に利用されて、遠隔会議の参加者は、遠隔会議の表示を制御することができうる。各遠隔会議参加者のタグ付き音声パケットは、独立して別個のままであるため、遠隔会議の参加者は、その参加者のコンピュータベースシステムに組み入れられるディスプレイ(図示せず)上の空間における各遠隔会議参加者の個々の位置に対して、柔軟性を有する。有利なことに、タグ付き音声パケット27aは、任意の特有の制御またはレンダリング(rendering)方法を何も必要とせず、期待しない。タグ付き音声パケット27aがクライアントに対して利用可能になされるように、様々な進歩したレンダリング技術が適用可能であり、適用されることとなることは、オブジェクトベースプロトコル10a、10bの意図する範囲内である。
ここで図4aから図4cを参照すると、参加者のディスプレイ上の空間における個々の遠隔会議参加者の位置の様々な例を示している。最初に図4aを参照すると、遠隔会議の参加者12aは、相対的な弓状形状の他の遠隔会議の参加者12bから12eの中に位置している。ここで図4bを参照すると、遠隔会議の参加者12aは、相対的な直線形状の他の遠隔会議の参加者12bから12eの中に位置している。ここで図4cを参照すると、遠隔会議の参加者12aは、相対的な教室型座席形状の他の遠隔会議の参加者12bから12eの中に位置している。遠隔会議の参加者は、任意の相対的な所望の形状または初期設定位置に位置することが可能であることを理解されたい。理論に固執することなく、遠隔会議の参加者の相対的な位置決めが、より自然な遠隔会議体験を作り出すと信じられている。
再び図4cを参照すると、遠隔会議参加者12aは、追加の遠隔会議参加者の特徴を有利に制御する。遠隔会議参加者12aは、他の遠隔会議参加者の位置決めのみならず、相対レベル制御30、ミュート32を制御し、セルフフィルタリング34の機能を制御する。相対レベル制御30は、遠隔会議の参加者に対して、話している遠隔会議参加者の音量を制御することを許可し、それにより、ある遠隔会議の参加者に対して、他の遠隔会議の参加者以上に聞こえる、または他の遠隔会議の参加者よりも聞こえないようにすることを許可する。ミュート機能32は、遠隔会議の参加者に対して、要望に応じて、他の遠隔会議参加者を選択的に弱音にすることができるように構成される。ミュート機能32は、話している遠隔会議参加者のノイズ干渉なしに、遠隔会議の参加者間のサイドバーディスカッション(side-bar discussion)を容易にする。セルフフィルタリング機能34は、活性化している遠隔会議参加者のメタデータパケット識別子を認識するように構成され、該遠隔会議参加者に自身の声が聞こえないように、その遠隔会議参加者に対して、自身のタグ付き音声パケットを弱音にすることを許可する。
オブジェクトベースプロトコル10a、10bは、公知の遠隔会議プロトコルを超える重要で新しい様相を提供するが、すべての利益はすべての実施形態に存在し得ない。第1に、オブジェクトベースプロトコル10a、10bは、参加者のディスプレイ上において遠隔会議参加者の対話型空間配置を提供する。第2に、オブジェクトベースプロトコル10a、10bは、様々な遠隔会議参加者の設定変更可能な音量を提供する。第3に、オブジェクトベースプロトコル10は、遠隔会議参加者に対して、仮想的な「部屋」内でのブレイクアウトディスカッションおよびサイドバーを許可する。第4に、タグ付き記述メタデータに背景的な情報を取り込むことにより、遠隔会議の参加者に有益な情報を提供する。第5に、オブジェクトベースプロトコル10a、10bは、空間的な分離を介して、発信している遠隔会議の場所および参加者の識別情報を提供する。第6に、オブジェクトベースプロトコル10a、10bは、例えば音声ビーム形成、ヘッドフォンまたは遠隔会議現場中に置かれる複数のスピーカなどの様々な手段を介して柔軟なレンダリングを提供するように構成される。
特許法の規定に従い、オブジェクトベースの遠隔会議プロトコルの作用の原理および形態について、その示される実施形態において説明および示した。しかしながら、上記オブジェクトベースの遠隔会議プロトコルは、具体的に説明および示したものとは別の方法で、その真意または範囲を逸脱することなく実施されてよい。
Claims (20)
- 遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルであって、前記オブジェクトベースの遠隔会議プロトコルは、
複数の音声信号(speech signal)から形成される1つまたは複数の音声パケット(voice packet)と、
前記音声パケットから形成される1つまたは複数のタグ付き音声パケットであって、メタデータパケット識別子を含む前記タグ付き音声パケットと、
前記タグ付き音声パケットから形成されるインターリーブ伝送ストリームと、
前記タグ付き音声パケットを受信するように構成される1つまたは複数のシステムとを含み、前記1つまたは複数のシステムは、前記遠隔会議事象の前記参加者の対話型空間配置を許可するようにさらに構成される、オブジェクトベースの遠隔会議プロトコル。 - 前記音声パケットは、デジタル音声信号を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記メタデータパケット識別子は、前記遠隔会議の参加者に関する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記メタデータパケット識別子は、前記遠隔会議事象に関する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記メタデータパケット識別子のタグは、前記遠隔会議の参加者を一意に特定する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 記述メタデータタグは、前記遠隔会議事象のホストとなるように構成される遠隔会議サービスによって作成される情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 記述メタデータタグは、特定の遠隔会議事象に関して作成される情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記インターリーブ伝送ストリームは、ブリッジによって形成され、前記1つまたは複数のシステムのそれぞれに記憶される情報に、前記メタデータパケット識別子を索引とするように構成される、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記遠隔会議の参加者は、参加者のシステムのディスプレイ上に弓状の配置で位置する、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 前記参加者の前記対話型空間配置は、仮想的な部屋において他の参加者とのサイドバーディスカッション(sidebar discussion)を提供する、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
- 遠隔会議事象における遠隔会議の参加者へ映像および/または音声コンテンツを提供するための方法であって、前記方法は、
複数の音声信号から1つまたは複数の音声パケットを形成するステップと、
前記1つまたは複数の音声パケットにメタデータパケット識別子を付加して、それによりタグ付き音声パケットを形成するステップと、
前記タグ付き音声パケットからインターリーブ伝送ストリームを形成するステップと、
前記インターリーブ伝送ストリームを前記遠隔会議の参加者によって用いられるシステムに伝送するステップとを含み、前記システムは、前記タグ付き音声パケットを受信するように構成されて、前記遠隔会議事象の前記参加者の対話型空間配置を許可するようにさらに構成される、方法。 - 前記音声パケットは、デジタル音声信号を含む、請求項11記載の方法。
- 前記メタデータパケット識別子は、前記遠隔会議の参加者に関する情報を含む、請求項11記載の方法。
- 前記メタデータパケット識別子は、前記遠隔会議事象に関する情報を含む、請求項11記載の方法。
- 前記メタデータパケット識別子は、前記遠隔会議の参加者を一意に特定する情報を含む、請求項11記載の方法。
- 記述メタデータタグは、前記遠隔会議事象のホストとなるように構成される遠隔会議サービスによって作成される情報を含む、請求項11記載の方法。
- 記述メタデータタグは、特定の遠隔会議事象に関して作成される情報を含む、請求項11記載の方法。
- 前記インターリーブ伝送ストリームは、ブリッジによって形成され、前記1つまたは複数のシステムのそれぞれに記憶される情報に、前記メタデータパケット識別子を索引とするように構成される、請求項11記載の方法。
- 前記遠隔会議の参加者は、参加者のシステムのディスプレイ上に弓状の配置で位置する、請求項11記載の方法。
- 前記参加者の前記対話型空間配置は、仮想的な部屋において他の参加者とのサイドバーディスカッションを提供する、請求項11記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461947672P | 2014-03-04 | 2014-03-04 | |
US61/947,672 | 2014-03-04 | ||
PCT/US2015/018384 WO2015134422A1 (en) | 2014-03-04 | 2015-03-03 | Object-based teleconferencing protocol |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017519379A true JP2017519379A (ja) | 2017-07-13 |
Family
ID=54055771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016555536A Pending JP2017519379A (ja) | 2014-03-04 | 2015-03-03 | オブジェクトベースの遠隔会議プロトコル |
Country Status (8)
Country | Link |
---|---|
US (1) | US20170085605A1 (ja) |
EP (1) | EP3114583A4 (ja) |
JP (1) | JP2017519379A (ja) |
KR (1) | KR20170013860A (ja) |
CN (1) | CN106164900A (ja) |
AU (1) | AU2015225459A1 (ja) |
CA (1) | CA2941515A1 (ja) |
WO (1) | WO2015134422A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10567185B2 (en) * | 2015-02-03 | 2020-02-18 | Dolby Laboratories Licensing Corporation | Post-conference playback system having higher perceived quality than originally heard in the conference |
US12107698B2 (en) * | 2021-03-30 | 2024-10-01 | Snap Inc. | Breakout sessions based on tagging users within a virtual conferencing system |
US20230138733A1 (en) * | 2021-10-31 | 2023-05-04 | Zoom Video Communications, Inc. | Representation of natural eye contact within a video conferencing session |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005795A1 (en) * | 1999-10-22 | 2007-01-04 | Activesky, Inc. | Object oriented video system |
US20100040217A1 (en) * | 2008-08-18 | 2010-02-18 | Sony Ericsson Mobile Communications Ab | System and method for identifying an active participant in a multiple user communication session |
JP2011040037A (ja) * | 2009-03-30 | 2011-02-24 | Avaya Inc | 永続的マルチメデア・会議・サービスのシステムと方法。 |
WO2013142668A1 (en) * | 2012-03-23 | 2013-09-26 | Dolby Laboratories Licensing Corporation | Placement of talkers in 2d or 3d conference scene |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7724885B2 (en) * | 2005-07-11 | 2010-05-25 | Nokia Corporation | Spatialization arrangement for conference call |
US8326927B2 (en) * | 2006-05-23 | 2012-12-04 | Cisco Technology, Inc. | Method and apparatus for inviting non-rich media endpoints to join a conference sidebar session |
US8279254B2 (en) * | 2007-08-02 | 2012-10-02 | Siemens Enterprise Communications Gmbh & Co. Kg | Method and system for video conferencing in a virtual environment |
CN101527756B (zh) * | 2008-03-04 | 2012-03-07 | 联想(北京)有限公司 | 一种电话会议的方法及系统 |
US10984346B2 (en) * | 2010-07-30 | 2021-04-20 | Avaya Inc. | System and method for communicating tags for a media event using multiple media types |
US8880412B2 (en) * | 2011-12-13 | 2014-11-04 | Futurewei Technologies, Inc. | Method to select active channels in audio mixing for multi-party teleconferencing |
-
2015
- 2015-03-03 EP EP15757773.5A patent/EP3114583A4/en not_active Withdrawn
- 2015-03-03 CN CN201580013300.6A patent/CN106164900A/zh active Pending
- 2015-03-03 WO PCT/US2015/018384 patent/WO2015134422A1/en active Application Filing
- 2015-03-03 JP JP2016555536A patent/JP2017519379A/ja active Pending
- 2015-03-03 US US15/123,048 patent/US20170085605A1/en not_active Abandoned
- 2015-03-03 AU AU2015225459A patent/AU2015225459A1/en not_active Abandoned
- 2015-03-03 KR KR1020167027362A patent/KR20170013860A/ko unknown
- 2015-03-03 CA CA2941515A patent/CA2941515A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005795A1 (en) * | 1999-10-22 | 2007-01-04 | Activesky, Inc. | Object oriented video system |
US20100040217A1 (en) * | 2008-08-18 | 2010-02-18 | Sony Ericsson Mobile Communications Ab | System and method for identifying an active participant in a multiple user communication session |
JP2011040037A (ja) * | 2009-03-30 | 2011-02-24 | Avaya Inc | 永続的マルチメデア・会議・サービスのシステムと方法。 |
WO2013142668A1 (en) * | 2012-03-23 | 2013-09-26 | Dolby Laboratories Licensing Corporation | Placement of talkers in 2d or 3d conference scene |
Also Published As
Publication number | Publication date |
---|---|
CA2941515A1 (en) | 2015-09-11 |
WO2015134422A1 (en) | 2015-09-11 |
EP3114583A1 (en) | 2017-01-11 |
KR20170013860A (ko) | 2017-02-07 |
AU2015225459A1 (en) | 2016-09-15 |
US20170085605A1 (en) | 2017-03-23 |
EP3114583A4 (en) | 2017-08-16 |
CN106164900A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7533346B2 (en) | Interactive spatalized audiovisual system | |
EP3282669B1 (en) | Private communications in virtual meetings | |
US8881027B1 (en) | Teleforum participant screening | |
US8606249B1 (en) | Methods and systems for enhancing audio quality during teleconferencing | |
US10732924B2 (en) | Teleconference recording management system | |
US20050271194A1 (en) | Conference phone and network client | |
US8358599B2 (en) | System for providing audio highlighting of conference participant playout | |
WO2017210991A1 (zh) | 一种语音过滤的方法、装置及系统 | |
CN102474424A (zh) | 用于在电话会议期间在计算机和演讲者之间转换音频传输的系统和方法 | |
US11115444B2 (en) | Private communications in virtual meetings | |
EP3005690B1 (en) | Method and system for associating an external device to a video conference session | |
KR20160025875A (ko) | 다자간 영상 회의 서비스의 참여자 확장 방법 | |
JP2017519379A (ja) | オブジェクトベースの遠隔会議プロトコル | |
WO2015050745A1 (en) | Teleconference system with overlay audio and method associated thereto | |
US20110179157A1 (en) | Event Management System For Creating A Second Event | |
WO2012133860A1 (ja) | 遠隔会議システム | |
US11979443B2 (en) | Capturing and presenting audience response at scale | |
WO2023141049A1 (en) | Expo floor layout | |
Akoumianakis et al. | The MusiNet project: Towards unraveling the full potential of Networked Music Performance systems | |
CN102016816A (zh) | 事件之间的消息传送 | |
US11089164B2 (en) | Teleconference recording management system | |
US20240121280A1 (en) | Simulated choral audio chatter | |
KR20180043502A (ko) | 스마트폰과 앱을 이용한 회의시스템 | |
JP2008118235A (ja) | テレビ会議システム、及び、テレビ会議システムにおける制御方法 | |
Guse et al. | STEAK: Backward-Compatible Spatial Telephone Conferencing for Asterisk |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191203 |