JP2013146077A - リアルタイムマルチメディアストリーミング帯域幅管理 - Google Patents

リアルタイムマルチメディアストリーミング帯域幅管理 Download PDF

Info

Publication number
JP2013146077A
JP2013146077A JP2013024193A JP2013024193A JP2013146077A JP 2013146077 A JP2013146077 A JP 2013146077A JP 2013024193 A JP2013024193 A JP 2013024193A JP 2013024193 A JP2013024193 A JP 2013024193A JP 2013146077 A JP2013146077 A JP 2013146077A
Authority
JP
Japan
Prior art keywords
video
stream
multimedia
transcoded
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013024193A
Other languages
English (en)
Other versions
JP5722366B2 (ja
Inventor
L Sharp Ronald
ロナルド・エル・シヤープ
L Sutter Edward
エドワード・エル・サター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of JP2013146077A publication Critical patent/JP2013146077A/ja
Application granted granted Critical
Publication of JP5722366B2 publication Critical patent/JP5722366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/43Assembling or disassembling of packets, e.g. segmentation and reassembly [SAR]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ネットワーク帯域幅および高められたビデオエクスペリエンスを最適化する。
【解決手段】複数の環境ビューのそれぞれがエンコードされ、続いて、エンコードされたマルチメディアストリームがそれぞれのエンコーディング特性に応じてトランスコードされる。次いで、結果として生じるビデオストリームが好ましいビューを選択するためにユーザに提供される。ユーザのマルチメディア優先属性が視聴者のフィードバックから判定される。視聴者のフィードバックに応答して、ビデオマネージャが、エンコーディング特性をカメラ/エンコーダに伝達し、対応するエンコードされたマルチメディアストリームに関連するトランスコーディング特性をトランスコーダに伝達する。トランスポートプロセッサが、複数のトランスコードされたビデオストリームのそれぞれをトランスポートのためにエンコードし、トランスコードされたビデオストリームを視聴者へ伝達する。
【選択図】図1

Description

本発明は、リアルタイムマルチメディアストリーミングに関し、より具体的には、ネットワークを介しての複数のカメラのリアルタイムビデオストリーミングに関する。
低コスト、高解像度ビデオカメラの可用性は、様々な用途および環境においてそれらの普及を助長する。典型的な解像度、フレームレートおよび色深度においては、結果として生じるビデオイメージングをストリーミングするために必要とされる帯域幅は、たとえ先端的な圧縮方式を使用しても、非常に高い可能性がある。これは、IPベースのネットワークがそれぞれ異なるタイプのトラフィックになんらかのタイプのサービス品質(QoS)保証を提供するのに大きな課題になる。従来技術は、カメラビューの解像度および/またはフレームレートを手動で制限することにより帯域幅制約問題に対処する。この手法は、確かに帯域幅を低減するが、画質が犠牲になる。
従来技術の様々な欠点が、リアルタイムマルチメディアストリーミング方法およびシステムによって対処される。
具体的には、本方法は、トランスコードされたマルチメディアストリームを提供するために、それぞれのエンコーディング特性に応じて複数のマルチメディアストリームのそれぞれをトランスコードするステップと、各トランスコードされたマルチメディアストリームを複数の視聴者へ転送するステップと、1人または複数のユーザからのプリファレンス表示フィードバックに応答して、少なくとも1つのトランスコードされたマルチメディアストリームに関連するエンコーディング特性を適応させ、それによって、少なくとも1つのトランスコードされたマルチメディアストリームに関連する帯域幅要求を低減するステップとを含む。
他の実施形態は、1つまたは複数のカメラ/エンコーダ、1つまたは複数のトランスコーダ、および1つまたは複数のトランスポートプロセッサに通信可能に結合されたビデオマネージャを有するシステムを提供し、ビデオマネージャは、視聴者のビデオプリファレンスのインディシアを受信し、それに応答して、前記カメラ/エンコーダおよびトランスコーダのエンコーディング特性を適応させ、それによって、前記視聴者ビデオプリファレンスに応じて、トランスコードされたビデオストリームを提供する。システムは、複数のトランスコーダをさらに備え、各トランスコーダは、初期特性を有するそれぞれのビデオストリームを次に続くビデオ特性を有する次に続くビデオストリームにトランスコードするように動作可能である。システムの一部分として、トランスポートプロセッサは、複数のトランスコードされたビデオストリームのそれぞれをトランスポートのためにエンコードするように適応され、さらに、トランスポートプロセッサは、トランスコードされたビデオストリームの1つまたは複数を視聴者へ伝達する。
本実施形態の教示は、添付の図面と併せて以下の詳細な説明を考慮することにより容易に理解することができる。
一実施形態によるリアルタイムビデオストリーミングシステムのブロック図である。 一実施形態によるビデオ会議の環境ビューを例示する図である。 一実施形態による装置における各カメラの好ましい配置を示す図である。 一実施形態によるリアルタイムビデオストリーミングシステムにおけるビデオ会議のパノラマビューを示す図である。 一実施形態によるリアルタイムビデオストリーミングシステムにおけるインフレーム拡大による視聴者選択を示す図である。 一実施形態によるリアルタイムビデオストリーミングシステムにおけるフレーム選択による視聴者選択を示す図である。 一実施形態によるリアルタイムビデオストリーミングにおけるエンコーダ装置のブロック図である。 一実施形態によるリアルタイムビデオストリーミングシステムにおけるビデオトランスコーダ装置のブロック図である。 一実施形態によるリアルタイムビデオストリーミングシステムにおけるトランスポートプロセッサ装置のブロック図である。
理解を容易にするために、可能な場合は、諸図に共通である同一の要素を示すために同一の参照数字を使用してある。
従来技術の様々な欠点は、例えば、会議において話者から遠く離れたいずれかのビューの1つまたは複数を除去し、サイドビューにより低い品質を提供し、興味の中心にフォーカスして最大の品質を提供することにより対処される。帯域幅ポリシがユーザならびにアプリケーションに基づくユーザベースの帯域幅管理の概念は、視聴者のプリファレンスをエンコーディングプロセスに組み入れ、そのように帯域幅を割り当てることにより達成される。
一般に、リモート会議視聴者(参加者)は、どの一時点においてもビデオ全体の小さな部分(すなわちシーン)を見るだけであり、さらに、ほとんどの視聴者は、同じシーンを連続して見ている可能性がある。例えば、大多数の会議の参加者は、現在の話者に集中する。視聴者は、自分の後ろを見ることはできない。さらに、周囲のビューの中のシーンは重要であるが、目は、通常、センタビューと同じ解像度および品質を提供しない。
前述の諸実施形態は、主にリアルタイムビデオストリーミングの情況の中で説明されるが、当業者および本明細書の教示から情報を得た者は、本発明は、帯域幅管理が望まれるマルチメディアシステムにも適用可能であることを理解するであろう。
図1は、一実施形態によるリアルタイムビデオストリーミングシステムのブロック図を図示する。図1のシステム100は、それぞれのエンコーダ120−1から120−3までに画像信号を提供する複数のカメラ110−1から110−3までを備える。カメラ110は、ローカルカメラまたはリモートカメラを備えてよい。各エンコーダ120からのエンコードされた出力は、それぞれのビデオトランスコーダ170に供給される。エンコーダとトランスコーダとの間のリンクの長さは、数インチまたは数マイルでよい。さらに、リンクは、ケーブルリンクまたは光ファイバリンク、マイクロ波リンク、電話網リンク、そのようなリンクの組合せ、あるいは他のいかなる適切な通信経路でもよい。
トランスコードされた出力は、トランスポートプロセッサ190に供給され、トランスポートプロセッサ190は、視聴者への伝搬のためにストリームをさらにエンコードする。トランスポートプロセッサは、トランスコードされたビデオストリーム特性と一致する帯域幅を割り当てる。他の実施形態では、サイドビューは、それらの関係する重要性および利用可能なネットワーク帯域幅に基づいて帯域幅を割り当てられる。
カメラおよびそれらのそれぞれのエンコーダ、1つまたは複数のトランスコーダ170、および1つまたは複数のトランスポートプロセッサ190は、ビデオマネージャ180に通信可能に結合され、ビデオマネージャ180はまた、視聴者のビデオプリファレンスのインディシアまたは品質フィードバックを受信する。ビデオマネージャ180は、1つまたは複数のトランスポートプロセッサ190に視聴者のビデオプリファレンスおよび制御185を提供する。ビデオマネージャはまた、視聴者レベル品質選択165を適切なトランスコーダに提供する。視聴者レベル品質選択またはフィードバックは、フレームレート、解像度、色深度、符号化アルゴリズム、およびズームを含む。ビデオマネージャは、最大の必要とされる品質選択を各エンコーダ120にさらに提供する。これらの品質選択は、例として、フレームレート、解像度、色深度、符号化アルゴリズムを含む。一実施形態では、1つのカメラ、1つのエンコーダ、および1つのトランスコーダしかない。
図2は、一実施形態によるビデオ会議の環境ビューを例示する。図2を参照すると、会議室200が、マルチカメラ装置110、映写スクリーン210、ホワイトボード220、ローカル参加者230、およびマルチカメラ装置に通信可能に結合された何人かのリモート参加者(図示せず)を備えて示されている。マルチカメラ装置内の各カメラは、カメラのセットによって提供されたトータルビューのサブセットを提供し、各リモート視聴者(参加者)は、どのビュー240−270を受信するかを選択することができる。
図3は、一実施形態による装置内の各カメラの好ましい配置を図示する。図3に示すようなカメラ配置は、スター型構成310にまとめられる。このカメラ配置は、会議環境の周辺ビューに対応できる。他の実施形態では、異なる会議室の追加のビューがリモートカメラおよびそのそれぞれのエンコーダによって提供される。
図1に関して上記で説明したように、各リモートユーザは、好ましいビューを選択し、その特定のビューのサイズおよび他の属性を調整するために、ビデオマネージャと通信することができる。ビデオマネージャは、この情報によって、それに応答して、例として、ビューを話者から遠くに移動し、サイドビューに、より低い品質を提供し、中央のフォーカスにフォーカスしてそれに最大の品質を提供するなどにより、視聴者のエクスペリエンスを最適化する。目的は、帯域幅を低減し、ビデオエクスペリエンス全体を高めるために、ビデオパケットソースに視聴者情報およびネットワーク情報を提供することである。ビデオマネージャは、以下の情報の一部またはすべてを使用してネットワークの中の利用可能な帯域幅のバランスを取るためにストリームの品質を調整する:(1)現在どのビデオストリームがリモートユーザによって見られているかという知識−これは、システムが、要求されていないシーンの送信を中止するかまたは好ましいストリームに対するビデオ品質を上げることができるようにする−および(2)ストリームを見ること専用のスクリーンリアルエステートの量を含むいくつかの要因によって示されるような各ストリームのユーザにとっての重要性。
一実施形態では、視聴者は、好ましいビューを選択するための柔軟性を有せず、提供されるビューは固定である。他の実施形態では、視聴者は好ましいビューを選択することができる。
次に、図4−6に関連して、視聴者がビューを選択するかまたはそうでなければプリファレンスを示すためのやり方が説明される。例として、プリファレンスを示すためにユーザにとって利用可能な2つの主要なオプションがある:図5に示すようなインフレーム拡大、および図6に示すフレーム選択。本発明はこれら2つのオプションに限定されるのではなく、第1のプリファレンス、第2のプリファレンス、第3のプリファレンスなどを示す、いくつかのビューを選択することによるなど、他の変形形態が可能であることが当業者によって理解されるであろう。
図4は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるビデオ会議のパノラマビューを図示する。具体的には、図4の会議環境は、話者を含めて4人の参加者を示す。視聴者は、強調されるべきビューの中のエリアを選択するかまたは「クリックする」ことができる。この方法は、インフレーム拡大と呼ばれる。
図5は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるインフレーム拡大による視聴者選択を図示する。図5に示すように、視聴者によって選択されたビュー、または興味のある(中心となる)ビュー510は、より多くの画素、より高いフレームレート、およびより良い解像度に対応できるより大きい帯域幅を割り当てられる。上記で示したように、サイドビューは、あまり強調されず、より少ない画素、したがってより低い品質を与えられる。視聴者は、興味のあるビューを変更するために、広角ビューの一部をクリックすることができる。代替として、他の実施形態では、視聴者は、ビデオマネージャ(サーバ)が音声および動きに基づいてビューを選択することができるようにするために、自動ボタン520を押すことができる。
他の主要なオプションは、図6に図示するフレーム選択である。図6は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるフレーム選択による視聴者選択を図示する。具体的には、7人の会議参加者が別々に示され、ホワイトボードは会議からのメモを表示している。視聴者は、ビュー(610、620)を拡大するためにフレームまたはビデオのいずれかをクリックすることができる。選択した後は、視聴者は、フレームレート、解像度、色深度、およびズームに対する帯域幅の割当てを調整するために、選択したビデオのいずれかを「右クリックする」(すなわち、マウスの右のスイッチを押す)ことができる。この場合、2つのビデオが選択されており、その他のビデオ(選択されなかった)には低いフレームレート、解像度、および他の属性が与えられる。代替として、他の実施形態では、視聴者は、ビデオマネージャ(サーバ)が音声および動きに基づいてビューを選択することができるようにするために、自動ボタン630を押すことができる。
上記は本発明の様々な実施形態を対象とするが、本発明の基本的な範囲から逸脱することなく本発明の他のおよびさらなる実施形態を考案することができる。したがって、本発明の適切な範囲は、添付の特許請求の範囲によって決められるべきである。
図7は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるエンコーダ装置のブロック図を図示する。
エンコーダ装置700は、少なくとも、入力ビデオ信号710をメモリベースのフレームバッファ730に変換するためのビデオインターフェース720と、ビューのフィールドはより広い可能性があるので、画像を分割、「トリミング」、または最適化するための分割プロセッサ740と、ネットワーク伝送のためにストリームを圧縮しフォーマットするためのビデオストリームエンコーダ750と、ビデオフレームをパケット化するためのパケット化器および制御中央処理ユニット(CPU)760と、パケット化されたビデオストリームを下記の図8に示すビデオトランスコーダ装置800に送信するためのイーサネット(登録商標)媒体アクセス制御770を含む。CPUの制御下の制御バス780は、それぞれ異なるモジュールのそれぞれに指令および制御を提供し、モジュールは諸段階においてCPUに通信可能に結合される。各段階は、特定の機能を実行する。段階および/または機能は、帯域幅必要量を満たすために、および/またはいくつかの特性、すなわち待ち時間、応答時間などを最適化するために、結合または拡大することができる。
ビデオインターフェース720は、一実施形態では、特定用途向け専用標準製品(ASSP)または既製品の特定用途向けIC(ASIC)(どこにでも互換可能に使用される)を備える。他の実施形態では、ビデオインターフェースエンコーダ720はデジタル信号プロセッサ(DSP)を備える。ビデオインターフェースエンコーダ720は、全米テレビジョン放送方式標準化委員会(NTSC)規格、位相反転線(PAL)規格、または任意のデジタルビデオ信号など、様々な規格に合致したビデオ入力を受け入れ、ビデオ信号を処理に適したフォーマットに適応する。
分割プロセッサ740は、一実施形態では、ビデオフレームを処理するために、フィールドプログラマブルゲートアレイ(FPGA)およびDSPを結合する。他の実施形態では、分割プロセッサ740は、1つのFPGAまたは複数のFPGAを備える。他の実施形態では、分割プロセッサ740は、DSPを備える。
フレームバッファ730は、メモリである。その他の構成要素とまったく同様に、メモリは、いかなる現在存在するコンピューティング製品にも限定されず、新しい装置が入手可能になり次第それらを利用するように適応されてよい。
ビデオストリームエンコーダ750は、1つの実施形態では、ASSPとDSPの組合せを使用して設計される。他の実施形態では、ビデオストリームエンコーダ750の機能は、DSPまたは同等物によって実行される。他の実施形態では、ビデオストリームエンコーダ750は、ASSPを備える構成要素を使用して設計される。
CPU760およびイーサネットMAC770は、様々な実施形態では、既製品の標準装置を使用して実装される。しかし、その他の構成要素とまったく同様に、CPU760およびイーサネットMAC770は、いかなる現在存在するコンピューティング製品にも限定されず、新しい装置が入手可能になり次第それらを利用するように適応されてよい。具体的には、イーサネットMAC770は、ビデオストリームをビデオトランスコーダ装置800に送信する。
図8は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるビデオトランスコーダ装置のブロック図を図示する。
ビデオトランスコーダ装置800は、少なくとも、複数のエンコーダをビデオトランスコーダ装置にインターフェースするための高速イーサネットインターフェースモジュール810、ストリームの特性に基づいて入力ビデオを配信するための分配器820、分配器820によって特定のDSPに向けられた複数のストリームを並列処理するためのDSPファーム830(またはマルチコアDSP)、パケットをフレームに入れてインターネットプロトコル(IP)データユニットにするためのパケット化器840、パケット化されたビデオストリームを下記の図9に示すトランスポートプロセッサ装置900に送信するための高速イーサネットインターフェース850を含む。
高速イーサネットインターフェースモジュール810は、一実施形態では、特定用途向け専用標準製品(ASSP)または既製品の特定用途向けIC(ASIC)を備える。
分配器820は、一実施形態では、フィールドプログラマブルゲートアレイ(FPGA)から構成される。他の実施形態では、分配器モジュール820は、既製品の特定用途向けIC(ASIC)またはASSPを備える。他の実施形態では、分配器モジュール820は、デジタル信号プロセッサ(DSP)を備える。分配器820は、ストリームに基づいて、どのDSPにストリームを向けるかを判定する。その他の構成要素とまったく同様に、高速イーサネットインターフェース850および分配器モジュール820の両方は、いかなる現在存在するコンピューティング製品にも限定されず、新しい装置が入手可能になり次第それらを利用するように適応されてよい。
DSPファーム(またはマルチコアDSP)830は、様々な特性の中でとりわけ柔軟性、冗長性、およびスループットのために適応された並列アーキテクチャの中で動作する複数のDSPを備える。DSPファーム830は、適切なフレーム成形方式を使用して複数のビデオストリームのそれぞれをトランスコードし、それによって、ユーザのプリファレンスに合致するビデオストリームを生じさせる。一実施形態では、DSPファーム830は、FPGAを含む。他の実施形態では、DSPファーム830は、ASSP、またはASSPとFPGAの組合せを含む。
パケット化器840は、一実施形態では、フィールドプログラマブルゲートアレイ(FPGA)から構成される。他の実施形態では、パケット化器モジュール840は、既製品の特定用途向けIC(ASIC)またはASSPを備える。他の実施形態では、パケット化器モジュール840は、デジタル信号プロセッサ(DSP)を備える。その名前が暗に意味するように、パケット化器840は、複数のトランスコードされたストリームをフォーマットしてIPパケットにする。
高速イーサネットインターフェースモジュール850は、一実施形態では、ASSPから構成される。他の実施形態では、高速イーサネットインターフェースモジュール850は、フィールドプログラマブルゲートアレイ(FPGA)を備える。他の実施形態では、高速イーサネットインターフェースモジュール850は、デジタル信号プロセッサ(DSP)を備える。その他の構成要素とまったく同様に、高速イーサネットインターフェースモジュール850は、いかなる現在存在するコンピューティング製品にも限定されず、新しい装置が入手可能になり次第それらを利用するように適応されてよい。高速イーサネットインターフェース850は、パケット化されたビデオストリームを下記で説明するトランスポートプロセッサ装置900に送信する。
図9は、一実施形態によるリアルタイムビデオストリーミングシステムにおけるトランスポートプロセッサ装置のブロック図を図示する。
トランスポートプロセッサ900は、少なくとも、ビデオトランスコーダに由来する複数の入力とインターフェースするためのイーサネットスイッチ910を含み、ストリームルータ920に適切な入力を提供し、ストリームルータ920は、ビデオストリームのルーティングを実行し、送信のために高速イーサネット930にビデオストリームを供給する。
イーサネットスイッチ910は、一実施形態では、特定用途向け専用標準製品(ASSP)またはASICを使用して設計される。他の実施形態では、イーサネットスイッチ910は、デジタル信号プロセッサ(DSP)を備える。
ストリームルータ920は、一実施形態では、FPGAと併せてネットワークプロセッサを使用して設計される。他の実施形態では、ストリームルータ920は、ネットワークプロセッサを備える。他の実施形態では、ストリームルータは、FPGAを備える。その他の構成要素とまったく同様に、ストリームルータは、いかなる現在存在するコンピューティング製品にも限定されず、新しい装置が入手可能になり次第それらを利用するように適応されてよい。
高速イーサネット930は、一実施形態では、特定用途向け専用標準製品(ASSP)またはASICを使用して設計される。他の実施形態では、高速イーサネット930は、デジタル信号プロセッサ(DSP)を備える。

Claims (10)

  1. リアルタイムマルチメディアストリーミングのための方法であって、
    トランスコードされたマルチメディアストリームを提供するためにそれぞれのエンコーディング特性に応じて複数のマルチメディアストリームのそれぞれをトランスコードするステップと、
    各トランスコードされたマルチメディアストリームを複数の視聴者に転送し、前記複数の視聴者のそれぞれがそれぞれのトランスコードされたマルチメディアストリームを受信するステップと、
    1人または複数のユーザからのプリファレンス表示フィードバックに応答して、少なくとも1つのトランスコードされたマルチメディアストリームに関連するエンコーディング特性を適応させ、それによって、トランスコードされたマルチメディアストリームのうちの少なくとも1つに関連する帯域幅要求量を低減するステップと
    を含む、方法。
  2. 複数の視聴者が共通のトランスコードされたマルチメディアストリームを受信する、請求項1に記載の方法。
  3. 前記エンコーディング特性が以下の属性、すなわち、フレームレート、解像度、色深度、周波数成分、ズーム、符号化アルゴリズム、利用可能な帯域幅および範囲のうちの1つまたは複数を備える、請求項1に記載の方法。
  4. 前記トランスコーダに供給された前記マルチメディアストリームそれぞれが、それぞれのカメラ/エンコーダによって提供され、前記カメラ/エンコーダのそれぞれが共通の視聴環境に関する画像を提供し、前記カメラが、それに応答して、提供されたエンコーディング特性に応じて画像をエンコードするように適応される、請求項1に記載の方法。
  5. 前記トランスコーダに供給された前記マルチメディアストリームのそれぞれがそれぞれのリモートカメラ/エンコーダによって提供され、前記リモートカメラ/エンコーダのそれぞれがそれぞれ異なる視聴環境に関する画像を提供する、請求項1に記載の方法。
  6. リアルタイムマルチメディアストリーミングシステムであって、
    1つまたは複数のカメラ/エンコーダおよび1つまたは複数のトランスコーダに通信可能に結合されたビデオマネージャであって、視聴者のビデオプリファレンスのインディシアを受信し、それに応答して、前記トランスコーダのエンコーディング特性を適応させ、それによって、前記視聴者ビデオプリファレンスに応じてトランスコードされたビデオストリームを提供するビデオマネージャと、
    前記トランスコーダのそれぞれが、最初のビデオ特性を有するそれぞれのビデオストリームを、次に続くビデオ特性を有する次に続くビデオストリームにトランスコードするように動作可能であり、
    視聴者へのトランスポートのために複数のトランスコードされたビデオストリームをエンコードするように適応された前記トランスポートプロセッサと
    プリファレンス用に適応されたトランスコードされたマルチメディアストリームをユーザにルーティングするためのルータと
    を備える、リアルタイムマルチメディアストリーミングシステム。
  7. 複数の視聴者が共通のトランスポート処理されたストリームを共有する、請求項6に記載のシステム。
  8. 各視聴者が、それぞれの帯域幅割当てによって特徴付けられたそれぞれのトランスポートストリームを自分に送信してもらい、前記帯域幅がトランスコードされたビデオストリーム特性に応じて割り当てられる、請求項6に記載のシステム。
  9. リアルタイムマルチメディアトランスコーダ装置であって、
    プリファレンス用に適応されたマルチメディアストリームをトランスコードするために複数のデジタル信号プロセッサ(DSP)のうちの1つを選択するための分配器を備え、選択が前記複数のマルチメディアストリームの特性のそれぞれに応じて行われ、前記ストリームが複数のデジタル信号プロセッサ(DSP)のうちのそれぞれの1つによってトランスコードされる、
    リアルタイムマルチメディアトランスコーダ装置。
  10. リアルタイムマルチメディアエンコーディング装置であって、
    複数のエンコーダを備え、エンコーダのそれぞれが共通の視聴環境におけるそれぞれのビューに関連するそれぞれのビデオ信号を処理し、
    前記エンコーダが、プリファレンス表示制御信号に応答してエンコーディングパラメータを適応し、それによって、ユーザのプリファレンスに合致するエンコードされたビデオストリームを提供する、
    リアルタイムマルチメディアトランスコーダ装置。
JP2013024193A 2009-03-06 2013-02-12 リアルタイムマルチメディアストリーミング帯域幅管理 Active JP5722366B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/399,561 2009-03-06
US12/399,561 US8966556B2 (en) 2009-03-06 2009-03-06 Real-time multi-media streaming bandwidth management

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011553000A Division JP2012520012A (ja) 2009-03-06 2010-03-01 リアルタイムマルチメディアストリーミング帯域幅管理

Publications (2)

Publication Number Publication Date
JP2013146077A true JP2013146077A (ja) 2013-07-25
JP5722366B2 JP5722366B2 (ja) 2015-05-20

Family

ID=42101598

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011553000A Pending JP2012520012A (ja) 2009-03-06 2010-03-01 リアルタイムマルチメディアストリーミング帯域幅管理
JP2013024193A Active JP5722366B2 (ja) 2009-03-06 2013-02-12 リアルタイムマルチメディアストリーミング帯域幅管理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011553000A Pending JP2012520012A (ja) 2009-03-06 2010-03-01 リアルタイムマルチメディアストリーミング帯域幅管理

Country Status (6)

Country Link
US (1) US8966556B2 (ja)
EP (1) EP2404411B1 (ja)
JP (2) JP2012520012A (ja)
KR (2) KR20110124280A (ja)
CN (1) CN102342066B (ja)
WO (1) WO2010101800A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061243A (ja) * 2016-09-30 2018-04-12 株式会社リコー 通信端末、表示方法、及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355398B2 (en) * 2010-01-19 2013-01-15 Cisco Technology, Inc. Transporting real time video frames over an Ethernet network
US8723913B2 (en) 2010-10-07 2014-05-13 T-Mobile Usa, Inc. Rate adaptation for video calling
US8532100B2 (en) 2010-10-19 2013-09-10 Cisco Technology, Inc. System and method for data exchange in a heterogeneous multiprocessor system
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
WO2013063056A1 (en) 2011-10-24 2013-05-02 T-Mobile Usa, Inc. Optimizing video-call quality of service
US9118801B2 (en) 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
US11202003B1 (en) * 2012-05-25 2021-12-14 Altia Systems Inc. Switchable cloud-optimized real-time stitching multiple imager method and system
EP2898506B1 (en) 2012-09-21 2018-01-17 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10341673B2 (en) * 2013-05-08 2019-07-02 Integrated Device Technology, Inc. Apparatuses, methods, and content distribution system for transcoding bitstreams using first and second transcoders
US9872201B2 (en) 2015-02-02 2018-01-16 Accelerated Media Technologies, Inc. Systems and methods for electronic news gathering
KR102326282B1 (ko) * 2015-02-09 2021-11-15 한국전자통신연구원 대역폭에 적응적인 대쉬 기반 컨텐츠 제공 장치 및 방법
US10425453B2 (en) * 2015-04-17 2019-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Dynamic packager network based ABR media distribution and delivery
US10419770B2 (en) * 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
KR20170098632A (ko) 2016-02-22 2017-08-30 에스케이텔레콤 주식회사 인코더 장치 및 그 비디오 데이터 제공 방법
WO2017193374A1 (en) 2016-05-13 2017-11-16 SZ DJI Technology Co., Ltd. System and method for presenting a video via transcode
CN110719430A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 图像数据生成方法、装置、电子设备及存储介质
KR102199498B1 (ko) * 2018-09-27 2021-01-06 주식회사 오리온이엔씨 최적 해상도 및 프레임수 결정 시스템 및 방법
KR102316495B1 (ko) * 2019-04-09 2021-10-25 한국전자기술연구원 실시간 분할 영상 트랜스코딩 장치 및 방법
WO2021061827A2 (en) * 2019-09-24 2021-04-01 Rovi Guides, Inc. Systems and methods for providing content based on multiple angles
US11240540B2 (en) 2020-06-11 2022-02-01 Western Digital Technologies, Inc. Storage system and method for frame trimming to optimize network bandwidth

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177966A (ja) * 1997-12-08 1999-07-02 Toyo Commun Equip Co Ltd 画像多重化伝送方式
JP2003101992A (ja) * 2001-09-25 2003-04-04 Hitachi Kokusai Electric Inc 圧縮画像伝送装置
JP2005101980A (ja) * 2003-09-25 2005-04-14 Sony Corp カメラシステムおよびカメラ通信方法
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ
JP2006229631A (ja) * 2005-02-17 2006-08-31 Konica Minolta Holdings Inc 画像処理装置
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345279B1 (en) 1999-04-23 2002-02-05 International Business Machines Corporation Methods and apparatus for adapting multimedia content for client devices
US6981045B1 (en) * 1999-10-01 2005-12-27 Vidiator Enterprises Inc. System for redirecting requests for data to servers having sufficient processing power to transcast streams of data in a desired format
US7133401B2 (en) * 2001-10-01 2006-11-07 General Electric Company Video optical multiplexer
EP1463332B1 (en) 2003-03-25 2015-06-24 Broadcom Corporation Media processing system supporting different media formats via server-based transcoding
JP4328582B2 (ja) * 2003-08-22 2009-09-09 日本電気通信システム株式会社 遠隔画像監視システム
US7475112B2 (en) * 2005-03-04 2009-01-06 Microsoft Corporation Method and system for presenting a video conference using a three-dimensional object
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
JP4977385B2 (ja) * 2006-03-15 2012-07-18 日本電気株式会社 テレビ会議システム及びテレビ会議方法
WO2007113580A1 (en) * 2006-04-05 2007-10-11 British Telecommunications Public Limited Company Intelligent media content playing device with user attention detection, corresponding method and carrier medium
US9100702B2 (en) * 2006-09-11 2015-08-04 Tivo Inc. Personal content distribution network
CN101110760B (zh) * 2007-08-22 2010-07-28 番禺职业技术学院 流媒体流量均衡方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177966A (ja) * 1997-12-08 1999-07-02 Toyo Commun Equip Co Ltd 画像多重化伝送方式
JP2003101992A (ja) * 2001-09-25 2003-04-04 Hitachi Kokusai Electric Inc 圧縮画像伝送装置
JP2005101980A (ja) * 2003-09-25 2005-04-14 Sony Corp カメラシステムおよびカメラ通信方法
JP2006080832A (ja) * 2004-09-09 2006-03-23 Mitsubishi Electric Corp 画像トランスコーダ
JP2006229631A (ja) * 2005-02-17 2006-08-31 Konica Minolta Holdings Inc 画像処理装置
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061243A (ja) * 2016-09-30 2018-04-12 株式会社リコー 通信端末、表示方法、及びプログラム
JP7017045B2 (ja) 2016-09-30 2022-02-08 株式会社リコー 通信端末、表示方法、及びプログラム

Also Published As

Publication number Publication date
EP2404411A1 (en) 2012-01-11
WO2010101800A1 (en) 2010-09-10
EP2404411B1 (en) 2018-05-02
JP2012520012A (ja) 2012-08-30
CN102342066A (zh) 2012-02-01
KR20110124280A (ko) 2011-11-16
US20100229210A1 (en) 2010-09-09
JP5722366B2 (ja) 2015-05-20
CN102342066B (zh) 2015-03-11
KR101574031B1 (ko) 2015-12-02
US8966556B2 (en) 2015-02-24
KR20140039069A (ko) 2014-03-31

Similar Documents

Publication Publication Date Title
JP5722366B2 (ja) リアルタイムマルチメディアストリーミング帯域幅管理
US8477950B2 (en) Home theater component for a virtualized home theater system
JP2010178340A (ja) 常駐会議を行うための方法およびシステム
AU2011258272A1 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors
JP2006166418A (ja) 連続的なビデオディスプレイのためのビデオデータの送信方法及び受信方法
US20220329883A1 (en) Combining Video Streams in Composite Video Stream with Metadata
CN111147362B (zh) 多人即时通讯方法、系统、装置及电子设备
CN113194278A (zh) 一种会议控制方法、装置及计算机可读存储介质
US20240155182A1 (en) Method and apparatus for preview decoding for joint video production
US20190238921A1 (en) STANDARDIZED HOT-PLUGGABLE TRANSCEIVING unit WITH BANDWIDTH OPTIMIZATION FUNCTIONALITIES
US9319719B2 (en) Method for processing video and/or audio signals
CN113315940A (zh) 一种视频通话方法、装置及计算机可读存储介质
KR101673184B1 (ko) Sdi 포맷의 영상신호 분리처리를 통한 ip 스위칭/라우팅 장치 및 그 방법
KR20090131891A (ko) 개인별 맞춤형 실시간 동영상 제공 시스템 및 방법
Prins et al. A hybrid architecture for delivery of panoramic video
CN110633592A (zh) 一种图像处理方法和装置
CN110633605B (zh) 一种图像处理方法和装置
JP2009194495A (ja) マルチキャスト通信システム及びマルチキャスト通信方法
US20080120672A1 (en) Methods and Apparatus for Weighted Multicasting of Data Streams
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统
WO2009095079A1 (en) Method and apparatus for distributing media over a communications network

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140508

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150325

R150 Certificate of patent or registration of utility model

Ref document number: 5722366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250