JP2017519379A - オブジェクトベースの遠隔会議プロトコル - Google Patents

オブジェクトベースの遠隔会議プロトコル Download PDF

Info

Publication number
JP2017519379A
JP2017519379A JP2016555536A JP2016555536A JP2017519379A JP 2017519379 A JP2017519379 A JP 2017519379A JP 2016555536 A JP2016555536 A JP 2016555536A JP 2016555536 A JP2016555536 A JP 2016555536A JP 2017519379 A JP2017519379 A JP 2017519379A
Authority
JP
Japan
Prior art keywords
participant
participants
teleconferencing
teleconference
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016555536A
Other languages
English (en)
Inventor
クレーマー,アラン
Original Assignee
コムヒア インコーポレイテッド
コムヒア インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コムヒア インコーポレイテッド, コムヒア インコーポレイテッド filed Critical コムヒア インコーポレイテッド
Publication of JP2017519379A publication Critical patent/JP2017519379A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/75Indicating network or usage conditions on the user display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルを提供する。上記オブジェクトベースの遠隔会議プロトコルは、複数の音声信号から形成される1つまたは複数の音声パケットを含む。1つまたは複数のタグ付き音声パケットは、上記音声パケットから形成される。上記タグ付き音声パケットは、メタデータパケット識別子を含む。インターリーブ伝送ストリームは、上記タグ付き音声パケットから形成される。1つまたは複数のシステムは、上記タグ付き音声パケットを受信するように構成される。上記1つまたは複数のシステムは、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。【選択図】図3

Description

関連出願
この出願は、2014年3月4日出願の米国仮出願第61/947,672号の利益を主張し、その開示はその全体を参照により本明細書に組み入れられたものとする。
遠隔会議は、映像および音声(audio)部分の両方に関与しうる。遠隔会議映像の品質は順調に向上しているが、遠隔会議の音声部分は、依然として不具合となりうる。これまでの遠隔会議のシステム(またはプロトコル)は、例えばブリッジなどの音声装置への参加者全員から生じた音声信号をミキシングして、続いて、自身の音声信号供給をゲートで制御される現在の話者を伴う1つのモノラルストリームに戻す。これまでの遠隔会議システムで用いられる方法では、参加者は、空間的に他の参加者を隔離することまたは他の参加者の相対的な音のレベルを操作することができなかった。従って、これまでの遠隔会議システムは、特に大勢の参加者がいる場合に、どの参加者が話しているかに関して結果的に混乱しうるものであり、明瞭さを制限するものでもありうる。また、話すことを意図するクリアな信号伝達は難しく、かつ、その他の話者のコメントに対する態度である言語的な表現は難しいが、対人的な多数参加者の遠隔会議にはいずれも重要な構成要素となりうる。さらに、これまでの遠隔会議システムで用いられる方法は、遠隔会議参加者のサブセット間での「サイドバー(sidebar)」を許可しない。
遠隔会議に対して様々な多重チャネル(multi-channel)方式を用いて、上記で論じた問題点について改良するための試みがなされている。代替となるアプローチの一例は、各遠隔会議参加者に対して、個々の通信チャネルが必要となる。この方法では、通信チャネルのすべてが、遠隔会議の参加者全員に到達する必要がある。結果として、ひとりの遠隔会議参加者が話すことはできるが、通信チャネルのすべてを開けたままにしなければならず、それにより遠隔会議期間中に帯域幅を消費するため、このアプローチは非効率的であることがわかっている。
他の遠隔会議プロトコルでは、話している遠隔会議参加者を特定しようとする。しかしながら、これらの遠隔会議プロトコルは個々の参加者を隔離することの困難性を有しうるものであり、それにより、普通、話している遠隔会議参加者たちの音声信号が、1つの音声信号ストリームにミキシングされるため、同時に複数の遠隔会議参加者が話す(普通、ダブルトークと称される)という場合を結果としてもたらす。
遠隔会議プロトコルが向上すれば、有益でありうる。
上記目的ならびに特別に列挙されていない他の目的は、遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルによって達成される。オブジェクトベースの遠隔会議プロトコルは、複数の音声信号(speech signal)から形成される1つまたは複数の音声パケット(voice packet)を含む。1つまたは複数のタグ付き音声パケットは、上記音声パケットから形成される。上記タグ付き音声パケットは、メタデータパケット識別子を含む。インターリーブ伝送ストリーム(interleaved transmission stream)は、上記タグ付き音声パケットから形成される。1つまたは複数のシステムは、上記タグ付き音声パケットを受信するように構成される。上記1つまたは複数のシステムは、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。
上記目的ならびに特別に列挙されていない他の目的はまた、遠隔会議事象における遠隔会議の参加者に、映像および/または音声コンテンツを提供するための方法によって達成される。方法は、複数の音声信号から1つまたは複数の音声パケットを形成するステップと、上記1つまたは複数の音声パケットにメタデータパケット識別子を付加して、それによりタグ付き音声パケットを形成するステップと、上記タグ付き音声パケットからインターリーブ伝送ストリームを形成するステップと、上記インターリーブ伝送ストリームを上記遠隔会議の参加者によって用いられるシステムに伝送するステップとを含み、上記システムは、上記タグ付き音声パケットを受信するように構成されて、上記遠隔会議事象の上記参加者の対話型空間配置を許可するようにさらに構成される。
オブジェクトベースの遠隔会議プロトコルの様々な目的および効果は、添付の図面に照らして読まれる場合に、以下の発明の詳細な説明から当業者には明らかとなるであろう。
図1は、記述メタデータタグを作成および伝送するためのオブジェクトベースの遠隔会議プロトコルの第1の部分の概略図である。
図2は、図1のオブジェクトベースの遠隔会議プロトコルの第1の部分により提供される記述メタデータタグの概略図である。
図3は、タグ付き音声パケットを組み入れるインターリーブ伝送ストリームを説明するオブジェクトベースの遠隔会議プロトコルの第2の部分の概略図である。
図4aは、遠隔会議の参加者の弓状配置を説明するディスプレイの概略図である。
図4bは、遠隔会議の参加者の直線配置を説明するディスプレイの概略図である。
図4cは、遠隔会議の参加者の教室型配置を説明するディスプレイの概略図である。
ここで、発明の特定の実施形態を時折参照しながら、本発明を説明することとする。しかしながら、本発明は、異なる形式で具現化されてもよく、本明細書で述べる実施形態に限定するものと解釈されるべきでない。むしろ、これらの実施形態は、この開示が完成および完了されるように、かつ、当業者に対して発明の範囲を十分に伝えるように提供される。
別に規定されない場合、本明細書で用いるすべての技術および科学用語は、この発明が属する分野の当業者によって普通理解されるものと同様の意味を有する。本明細書の発明の説明で用いられる専門用語は、単にある実施形態を説明するためであり、発明の限定を意図していない。発明および添付の特許請求の範囲の記載において用いる場合、明確に別を示す文脈がなければ、単数形である“a”、“an”および“the”は同様に複数形を含むことを意図する。
別に示されていない場合、明細書および特許請求の範囲において用いられる例えば長さ、幅、高さなどの寸法の量を表すすべての数は、すべての例において用語「約(about)」で修飾されているものと理解されるものである。従って、別に示されていない場合、明細書および特許請求の範囲で述べる数値的な特性は、本発明の実施形態において得ようとする所望の特性に応じて変化しうる概算である。発明の広い範囲を説明する数値的範囲およびパラメータは概算であるが、特定の実施例で説明される数値は可能な限り正確に報告される。しかしながら、どの数値も、本質的に、それらの各測定で見られる誤差から必然的に生じるある誤差を含む。
明細書および図により、オブジェクトベースの遠隔会議プロトコル(以下「オブジェクトベースプロトコル」とする)が開示される。概して、オブジェクトベースプロトコルの第1の態様は、遠隔会議の参加者に対して分配するための記述メタデータタグ(descriptive metadata tag)を作成することを含む。本明細書で用いる場合、用語「記述メタデータタグ」は、遠隔会議および/または遠隔会議の参加者の1つまたは複数の態様に関する情報を提供するデータを意味するように規定される。限定するものではない一例として、記述メタデータタグは、特定の遠隔会議の身元(identity)を確立および/または保持しうる。オブジェクトベースプロトコルの第2の態様は、遠隔会議の参加者が話すときに作成される音声パケットに対して、メタデータパケット識別子を作成および付加することを含む。オブジェクトベースプロトコルの第3の態様は、付加されるメタデータパケット識別子を伴う音声パケットを、例えば各参加者の別個の身元を保持するような方法で、ブリッジによって順次インターリーブおよび伝送することを含む。
ここで図1を参照すると、オブジェクトベースプロトコルの第1の部分は、概して10aと示される。オブジェクトベースプロトコルの第1の部分10aは、遠隔会議を開始すると、または進行中の遠隔会議の状態が変化すると生じる。遠隔会議の状態の変化についての限定するものではない例としては、新しい参加者の遠隔会議への参加、または現在の遠隔会議の参加者が新しい部屋に入ることがある。
オブジェクトベースプロトコルの第1の部分10aは、記述メタデータ要素20a、21aを形成することと、記述メタデータ要素20a、21aを組み合わせて記述メタデータタグ22aを形成することとを含む。ある実施形態では、記述メタデータタグ22aは、システムサーバ(図示せず)によって形成されることが可能である。システムサーバは、例えば、新しい参加者が遠隔会議に参加するとき、または遠隔会議の参加者が新しい部屋に入るときなどである遠隔会議の状態が変化する場合に、記述メタデータタグ22aを伝送および反映するように構成可能である。システムサーバは、遠隔会議の参加者によって使用されるコンピュータシステム、ディスプレイ、関連のハードウェアおよびソフトウェアに対して、状態の変化を反映するように構成可能である。システムサーバは、遠隔会議の時間中、リアルタイムの記述メタデータタグ22aのコピーを保持するようにさらに構成可能である。本明細書で用いる場合、用語「システムサーバ」は、遠隔会議を容易にするように用いられる任意のコンピュータベースのハードウェアおよび関連のソフトウェアを意味するように規定される。
ここで図2を参照すると、記述メタデータタグ22aを概略的に説明している。記述メタデータタグ22aは、遠隔会議の参加者および特定の遠隔会議事象に関する情報要素を含むことが可能である。記述メタデータタグ22aに含まれる情報要素の例には、会議の場合にグローバル識別子を提供する会議識別情報30と、会議の発信位置を一意に特定するように構成される位置指定子32と、個々の会議参加者を一意に特定するように構成される参加者識別情報34と、個々に特定可能な各参加者に関して特権レベルを指定するように構成される参加者特権レベル36と、参加者が現在占有する「仮想会議室」(以下においてより詳細に説明するように、仮想会議室は動的であって、遠隔会議中に仮想会議室を変更することが可能であることを意味する)を特定するように構成される部屋識別情報38と、適切な特権レベルを有する遠隔会議の参加者により仮想会議室を施錠して、中断することなく遠隔会議の参加者間の私的な会話を許可することを支援するように構成される部屋錠40とを含むことが可能である。ある実施形態では、施錠の時に部屋にいるそうした遠隔会議の参加者のみがアクセスすることとなる。追加の遠隔会議の参加者は、解錠後に再施錠することにより部屋に招待可能である。部屋錠のフィールドは動的であり、会議中に変更可能である。
再び図2を参照すると、記述メタデータタグ22aに含まれる情報要素のさらなる例には、例えば名前、肩書き、職歴等である参加者補足情報42と、個々に特定可能な各参加者に関連するメタデータパケットを一意に特定するように構成されるメタデータパケット識別子44とを含むことが可能である。メタデータパケット識別子44を用いて、必要に応じて、局所的に記憶される会議メタデータタグに索引とすることが可能である。メタデータパケット識別子44について、以下においてより詳細に論じる。
再び図2を参照すると、1つまたは複数の情報要素30から44は、記述メタデータタグ22aに強制的に取り込むことが可能であることは、オブジェクトベースプロトコル10の意図する範囲内である。さらに、図2に示す情報要素30から44の一覧は、網羅的な一覧ではなく、他の所望の情報要素を含むことが可能であることは、オブジェクトベースプロトコル10の意図する範囲内である。
再び図1を参照すると、ある例においては、メタデータ要素20a、21aは、遠隔会議の参加者が遠隔会議サービスに同意すると作成されうる。これらのメタデータ要素の例としては、参加者識別情報34、企業42、所在地42等を含む。他の例においては、メタデータ要素20a、21aは、特定の遠隔会議事象に対して必要に応じて遠隔会議サービスによって作成されうる。これらのメタデータ要素の例としては、遠隔会議識別情報30、参加者特権レベル36、部屋識別情報38等を含む。さらに他の実施形態においては、メタデータ要素20a、21aは、他の方法によってその他の時に作成されうる。
再び図1を参照すると、伝送ストリーム25は、1つまたは複数の記述メタデータタグ22aのストリームによって形成される。伝送ストリーム25は、記述メタデータタグ22aをブリッジ26に伝える。ブリッジ26は、いくつかの機能に関して構成される。第1に、ブリッジ26は、遠隔会議の参加者が遠隔会議通話にログインすると、各遠隔会議参加者に遠隔会議識別情報を割り当てるように構成される。第2に、ブリッジ26は、各遠隔会議参加者に関する記述メタデータを認識して記憶する。第3に、遠隔会議通話への各遠隔会議参加者のログイン動作は、状態の変化とみなされ、任意の状態の変化があると、ブリッジ26は、すべての遠隔会議参加者に関する記述メタデータを集めた現在の一覧のコピーを、他の遠隔会議参加者へ伝送するように構成される。従って、遠隔会議参加者のコンピュータベースシステムのそれぞれは、その後メタデータ識別子によって索引付けられる遠隔会議メタデータの局所コピーを保持する。上記で論じたように、状態の変化はまた、遠隔会議の参加者が遠隔会議中に部屋を変更または特権レベルを変更する場合に生じうる。第4に、ブリッジ26は、上記した方法の通り、遠隔会議参加者のコンピュータベースシステムのそれぞれに記憶される情報に、記述メタデータ要素20a、21aを索引とするように構成される。
再び図1を参照すると、ブリッジ26は、記述メタデータタグ22aを伝送するように構成され、遠隔会議の参加者12aから12dのそれぞれに対して、状態の変化の情報を反映する。
上記で論じたように、オブジェクトベースプロトコルの第2の態様を図3の10bに示す。第2の態様10bは、遠隔会議の参加者12aが話すときに作成される音声パケットに対して、メタデータパケット識別子を作成および付加することを含む。遠隔会議中に参加者12aが話すと、有向矢印で示すように、参加者の音声(speech)14aが音声コーデック(audio codec)16aによって検出される。説明される実施形態においては、音声コーデック16aは、音声区間検出(voice activity detection)(一般にVADと称される)アルゴリズムを含み、参加者の音声14aを検出する。しかしながら、他の実施形態では、音声コーデック16aは、他の方法を用いて参加者の音声14aを検出することが可能である。
再び図3を参照すると、音声コーデック16aは、音声14aをデジタル音声信号17aに変換するように構成される。音声コーデック16aは、1つまたは複数のデジタル音声信号17aを組み合わせることによって、圧縮された音声パケット18aを形成するようにさらに構成される。好適な音声コーデック16aの限定するものではない例としては、カナダ、ケベック州モントリオールに本社を置くCodecProより市販されているG.723.1、G.726、G.728およびG.729モデルを含む。好適な音声コーデック16aの限定するものではないその他の例としては、Global IP Solutionsにより開発されたインターネット低ビットレートコーデック(Internet Low Bitrate Codec)(iLBC)がある。上記した音声コーデック16aを利用するオブジェクトベースプロトコル10bの実施形態を図3に示しているが、他の実施形態では、他の構成、機構および装置を用いて、音声14aをデジタル音声信号に変換し、1つまたは複数のデジタル音声信号を組み合わせることによって圧縮された音声パケット18aを形成することが可能であることを理解されたい。
再び図3を参照すると、メタデータパケット識別子44が形成されて、音声パケット18aに付加され、それによりタグ付き音声パケット27aを形成する。上記で論じたように、メタデータパケット識別子44は、個々に特定可能な遠隔会議の各参加者を一意に特定するように構成される。メタデータパケット識別子44を用いて、必要に応じて、局所的に記憶される会議記述メタデータタグに索引とすることが可能である。
ある実施形態では、上記したものと同様の手法で、システムサーバ(図示せず)によって、メタデータパケット識別子44が形成されて、音声パケット18aに付加されることが可能である。別の方法では、他の処理、構成要素およびシステムによって、メタデータパケット識別子44が形成されて、音声パケット18aに付加されることが可能である。
再び図3を参照すると、伝送ストリーム25は、1つまたは複数のタグ付き音声パケット27aによって形成される。伝送ストリーム25は、上記したような同様の手法で、タグ付き音声パケット27aをブリッジ26に伝える。
再び図3を参照すると、ブリッジ26は、遠隔会議の参加者12aによって生成されるタグ付き音声パケット27aを、インターリーブ方式で、インターリーブ伝送ストリーム28に順次伝送するように構成される。本明細書で用いる場合、用語「インターリーブ(interleaved)」は、タグ付き音声パケット27aを、伝送ストリーム25に対して、互いにランダムにミキシングするのではなく、交互に挿入することを意味するように規定される。インターリーブ方式でタグ付き音声パケット27aを伝送することにより、タグ付き音声パケット27aは、遠隔会議の参加者12aの別個の身元を保持することができる。
再び図3を参照すると、インターリーブ伝送ストリーム28が、遠隔会議の参加者12aから12dのコンピュータベースシステム(図示せず)に提供される、すなわち、遠隔会議の参加者12aから12dのそれぞれが、インターリーブ方式で配置されたタグ付き音声パケット27aを有する同様の音声ストリームを受信する。しかしながら、遠隔会議の参加者のコンピュータベースシステムがそれ自体のメタデータパケット44を認識する場合、その参加者に自身の音声が聞こえないようにタグ付き音声パケットは無視される。
再び図3を参照すると、タグ付き音声パケット27aは、遠隔会議の参加者によって有利に利用されて、遠隔会議の参加者は、遠隔会議の表示を制御することができうる。各遠隔会議参加者のタグ付き音声パケットは、独立して別個のままであるため、遠隔会議の参加者は、その参加者のコンピュータベースシステムに組み入れられるディスプレイ(図示せず)上の空間における各遠隔会議参加者の個々の位置に対して、柔軟性を有する。有利なことに、タグ付き音声パケット27aは、任意の特有の制御またはレンダリング(rendering)方法を何も必要とせず、期待しない。タグ付き音声パケット27aがクライアントに対して利用可能になされるように、様々な進歩したレンダリング技術が適用可能であり、適用されることとなることは、オブジェクトベースプロトコル10a、10bの意図する範囲内である。
ここで図4aから図4cを参照すると、参加者のディスプレイ上の空間における個々の遠隔会議参加者の位置の様々な例を示している。最初に図4aを参照すると、遠隔会議の参加者12aは、相対的な弓状形状の他の遠隔会議の参加者12bから12eの中に位置している。ここで図4bを参照すると、遠隔会議の参加者12aは、相対的な直線形状の他の遠隔会議の参加者12bから12eの中に位置している。ここで図4cを参照すると、遠隔会議の参加者12aは、相対的な教室型座席形状の他の遠隔会議の参加者12bから12eの中に位置している。遠隔会議の参加者は、任意の相対的な所望の形状または初期設定位置に位置することが可能であることを理解されたい。理論に固執することなく、遠隔会議の参加者の相対的な位置決めが、より自然な遠隔会議体験を作り出すと信じられている。
再び図4cを参照すると、遠隔会議参加者12aは、追加の遠隔会議参加者の特徴を有利に制御する。遠隔会議参加者12aは、他の遠隔会議参加者の位置決めのみならず、相対レベル制御30、ミュート32を制御し、セルフフィルタリング34の機能を制御する。相対レベル制御30は、遠隔会議の参加者に対して、話している遠隔会議参加者の音量を制御することを許可し、それにより、ある遠隔会議の参加者に対して、他の遠隔会議の参加者以上に聞こえる、または他の遠隔会議の参加者よりも聞こえないようにすることを許可する。ミュート機能32は、遠隔会議の参加者に対して、要望に応じて、他の遠隔会議参加者を選択的に弱音にすることができるように構成される。ミュート機能32は、話している遠隔会議参加者のノイズ干渉なしに、遠隔会議の参加者間のサイドバーディスカッション(side-bar discussion)を容易にする。セルフフィルタリング機能34は、活性化している遠隔会議参加者のメタデータパケット識別子を認識するように構成され、該遠隔会議参加者に自身の声が聞こえないように、その遠隔会議参加者に対して、自身のタグ付き音声パケットを弱音にすることを許可する。
オブジェクトベースプロトコル10a、10bは、公知の遠隔会議プロトコルを超える重要で新しい様相を提供するが、すべての利益はすべての実施形態に存在し得ない。第1に、オブジェクトベースプロトコル10a、10bは、参加者のディスプレイ上において遠隔会議参加者の対話型空間配置を提供する。第2に、オブジェクトベースプロトコル10a、10bは、様々な遠隔会議参加者の設定変更可能な音量を提供する。第3に、オブジェクトベースプロトコル10は、遠隔会議参加者に対して、仮想的な「部屋」内でのブレイクアウトディスカッションおよびサイドバーを許可する。第4に、タグ付き記述メタデータに背景的な情報を取り込むことにより、遠隔会議の参加者に有益な情報を提供する。第5に、オブジェクトベースプロトコル10a、10bは、空間的な分離を介して、発信している遠隔会議の場所および参加者の識別情報を提供する。第6に、オブジェクトベースプロトコル10a、10bは、例えば音声ビーム形成、ヘッドフォンまたは遠隔会議現場中に置かれる複数のスピーカなどの様々な手段を介して柔軟なレンダリングを提供するように構成される。
特許法の規定に従い、オブジェクトベースの遠隔会議プロトコルの作用の原理および形態について、その示される実施形態において説明および示した。しかしながら、上記オブジェクトベースの遠隔会議プロトコルは、具体的に説明および示したものとは別の方法で、その真意または範囲を逸脱することなく実施されてよい。

Claims (20)

  1. 遠隔会議事象における遠隔会議の参加者への映像および/または音声コンテンツの提供に用いるオブジェクトベースの遠隔会議プロトコルであって、前記オブジェクトベースの遠隔会議プロトコルは、
    複数の音声信号(speech signal)から形成される1つまたは複数の音声パケット(voice packet)と、
    前記音声パケットから形成される1つまたは複数のタグ付き音声パケットであって、メタデータパケット識別子を含む前記タグ付き音声パケットと、
    前記タグ付き音声パケットから形成されるインターリーブ伝送ストリームと、
    前記タグ付き音声パケットを受信するように構成される1つまたは複数のシステムとを含み、前記1つまたは複数のシステムは、前記遠隔会議事象の前記参加者の対話型空間配置を許可するようにさらに構成される、オブジェクトベースの遠隔会議プロトコル。
  2. 前記音声パケットは、デジタル音声信号を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  3. 前記メタデータパケット識別子は、前記遠隔会議の参加者に関する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  4. 前記メタデータパケット識別子は、前記遠隔会議事象に関する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  5. 前記メタデータパケット識別子のタグは、前記遠隔会議の参加者を一意に特定する情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  6. 記述メタデータタグは、前記遠隔会議事象のホストとなるように構成される遠隔会議サービスによって作成される情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  7. 記述メタデータタグは、特定の遠隔会議事象に関して作成される情報を含む、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  8. 前記インターリーブ伝送ストリームは、ブリッジによって形成され、前記1つまたは複数のシステムのそれぞれに記憶される情報に、前記メタデータパケット識別子を索引とするように構成される、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  9. 前記遠隔会議の参加者は、参加者のシステムのディスプレイ上に弓状の配置で位置する、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  10. 前記参加者の前記対話型空間配置は、仮想的な部屋において他の参加者とのサイドバーディスカッション(sidebar discussion)を提供する、請求項1記載のオブジェクトベースの遠隔会議プロトコル。
  11. 遠隔会議事象における遠隔会議の参加者へ映像および/または音声コンテンツを提供するための方法であって、前記方法は、
    複数の音声信号から1つまたは複数の音声パケットを形成するステップと、
    前記1つまたは複数の音声パケットにメタデータパケット識別子を付加して、それによりタグ付き音声パケットを形成するステップと、
    前記タグ付き音声パケットからインターリーブ伝送ストリームを形成するステップと、
    前記インターリーブ伝送ストリームを前記遠隔会議の参加者によって用いられるシステムに伝送するステップとを含み、前記システムは、前記タグ付き音声パケットを受信するように構成されて、前記遠隔会議事象の前記参加者の対話型空間配置を許可するようにさらに構成される、方法。
  12. 前記音声パケットは、デジタル音声信号を含む、請求項11記載の方法。
  13. 前記メタデータパケット識別子は、前記遠隔会議の参加者に関する情報を含む、請求項11記載の方法。
  14. 前記メタデータパケット識別子は、前記遠隔会議事象に関する情報を含む、請求項11記載の方法。
  15. 前記メタデータパケット識別子は、前記遠隔会議の参加者を一意に特定する情報を含む、請求項11記載の方法。
  16. 記述メタデータタグは、前記遠隔会議事象のホストとなるように構成される遠隔会議サービスによって作成される情報を含む、請求項11記載の方法。
  17. 記述メタデータタグは、特定の遠隔会議事象に関して作成される情報を含む、請求項11記載の方法。
  18. 前記インターリーブ伝送ストリームは、ブリッジによって形成され、前記1つまたは複数のシステムのそれぞれに記憶される情報に、前記メタデータパケット識別子を索引とするように構成される、請求項11記載の方法。
  19. 前記遠隔会議の参加者は、参加者のシステムのディスプレイ上に弓状の配置で位置する、請求項11記載の方法。
  20. 前記参加者の前記対話型空間配置は、仮想的な部屋において他の参加者とのサイドバーディスカッションを提供する、請求項11記載の方法。
JP2016555536A 2014-03-04 2015-03-03 オブジェクトベースの遠隔会議プロトコル Pending JP2017519379A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461947672P 2014-03-04 2014-03-04
US61/947,672 2014-03-04
PCT/US2015/018384 WO2015134422A1 (en) 2014-03-04 2015-03-03 Object-based teleconferencing protocol

Publications (1)

Publication Number Publication Date
JP2017519379A true JP2017519379A (ja) 2017-07-13

Family

ID=54055771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555536A Pending JP2017519379A (ja) 2014-03-04 2015-03-03 オブジェクトベースの遠隔会議プロトコル

Country Status (8)

Country Link
US (1) US20170085605A1 (ja)
EP (1) EP3114583A4 (ja)
JP (1) JP2017519379A (ja)
KR (1) KR20170013860A (ja)
CN (1) CN106164900A (ja)
AU (1) AU2015225459A1 (ja)
CA (1) CA2941515A1 (ja)
WO (1) WO2015134422A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3780589A1 (en) * 2015-02-03 2021-02-17 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
US20220321373A1 (en) * 2021-03-30 2022-10-06 Snap Inc. Breakout sessions based on tagging users within a virtual conferencing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
US20100040217A1 (en) * 2008-08-18 2010-02-18 Sony Ericsson Mobile Communications Ab System and method for identifying an active participant in a multiple user communication session
JP2011040037A (ja) * 2009-03-30 2011-02-24 Avaya Inc 永続的マルチメデア・会議・サービスのシステムと方法。
WO2013142668A1 (en) * 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Placement of talkers in 2d or 3d conference scene

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724885B2 (en) * 2005-07-11 2010-05-25 Nokia Corporation Spatialization arrangement for conference call
US8326927B2 (en) * 2006-05-23 2012-12-04 Cisco Technology, Inc. Method and apparatus for inviting non-rich media endpoints to join a conference sidebar session
US8279254B2 (en) * 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
CN101527756B (zh) * 2008-03-04 2012-03-07 联想(北京)有限公司 一种电话会议的方法及系统
US10984346B2 (en) * 2010-07-30 2021-04-20 Avaya Inc. System and method for communicating tags for a media event using multiple media types
US8880412B2 (en) * 2011-12-13 2014-11-04 Futurewei Technologies, Inc. Method to select active channels in audio mixing for multi-party teleconferencing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
US20100040217A1 (en) * 2008-08-18 2010-02-18 Sony Ericsson Mobile Communications Ab System and method for identifying an active participant in a multiple user communication session
JP2011040037A (ja) * 2009-03-30 2011-02-24 Avaya Inc 永続的マルチメデア・会議・サービスのシステムと方法。
WO2013142668A1 (en) * 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Placement of talkers in 2d or 3d conference scene

Also Published As

Publication number Publication date
WO2015134422A1 (en) 2015-09-11
US20170085605A1 (en) 2017-03-23
CA2941515A1 (en) 2015-09-11
EP3114583A4 (en) 2017-08-16
AU2015225459A1 (en) 2016-09-15
CN106164900A (zh) 2016-11-23
KR20170013860A (ko) 2017-02-07
EP3114583A1 (en) 2017-01-11

Similar Documents

Publication Publication Date Title
US7533346B2 (en) Interactive spatalized audiovisual system
EP3282669B1 (en) Private communications in virtual meetings
US8881027B1 (en) Teleforum participant screening
US8606249B1 (en) Methods and systems for enhancing audio quality during teleconferencing
US20050271194A1 (en) Conference phone and network client
US10732924B2 (en) Teleconference recording management system
US8358599B2 (en) System for providing audio highlighting of conference participant playout
WO2017210991A1 (zh) 一种语音过滤的方法、装置及系统
CN102474424A (zh) 用于在电话会议期间在计算机和演讲者之间转换音频传输的系统和方法
US10009475B2 (en) Perceptually continuous mixing in a teleconference
EP3005690B1 (en) Method and system for associating an external device to a video conference session
KR20160025875A (ko) 다자간 영상 회의 서비스의 참여자 확장 방법
US11115444B2 (en) Private communications in virtual meetings
EP2590360B1 (en) Multi-point sound mixing method, apparatus and system
WO2015050745A1 (en) Teleconference system with overlay audio and method associated thereto
US20110179157A1 (en) Event Management System For Creating A Second Event
JP2017519379A (ja) オブジェクトベースの遠隔会議プロトコル
WO2012133860A1 (ja) 遠隔会議システム
Akoumianakis et al. The MusiNet project: Towards unraveling the full potential of Networked Music Performance systems
CN102016816A (zh) 事件之间的消息传送
US11089164B2 (en) Teleconference recording management system
US20240121280A1 (en) Simulated choral audio chatter
KR20180043502A (ko) 스마트폰과 앱을 이용한 회의시스템
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
US11979443B2 (en) Capturing and presenting audience response at scale

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203