JP2005506007A - 映像データ送信方法および装置 - Google Patents
映像データ送信方法および装置 Download PDFInfo
- Publication number
- JP2005506007A JP2005506007A JP2003535471A JP2003535471A JP2005506007A JP 2005506007 A JP2005506007 A JP 2005506007A JP 2003535471 A JP2003535471 A JP 2003535471A JP 2003535471 A JP2003535471 A JP 2003535471A JP 2005506007 A JP2005506007 A JP 2005506007A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- priority
- data unit
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
- H04L1/1874—Buffer management
- H04L1/1877—Buffer management for semi-reliable protocols, e.g. for less sensitive applications like streaming video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/22—Traffic shaping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/54—Loss aware scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/56—Queue scheduling implementing delay-aware scheduling
- H04L47/564—Attaching a deadline to packets, e.g. earliest due date first
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/624—Altering the ordering of packets in an individual queue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/165—Centralised control of user terminal ; Registering at central
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L2001/0098—Unequal error protection
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Communication Control (AREA)
Abstract
映像データを映像クライアントに送信するための装置および方法が提供される。映像データは一続きの映像データユニットである。送信される各々の映像データユニットに対してユニークな優先度が割り当てられる。映像データユニットはその後バッファリングされる。前記映像データユニットの第一の部分は未送信であり、前記映像データユニットの第二の部分は再送可能である。実施の形態によれば、前記第一および第二の部分から前記バッファリングされた映像データユニットの一つがその優先度に従って選択され、前記映像クライアントに対して送信される。本実施の形態により、とりわけ、非信頼性リンクを介して圧縮された映像ストリームを送信する際に、優先度を利用して、再送に加えて通常送信をスケジューリングすることにより、映像品質を向上させることが可能となる。
Description
【技術分野】
【0001】
本発明は、映像データを映像クライアントに送信するための装置および方法に関し、とりわけ、無線チャネルなどの信頼性の無いリンクを介しての、例えばMPEG−4データの圧縮映像ストリーミングに適用可能である。
【背景技術】
【0002】
一般に、映像ストリームは、画像それ自体の情報に加えて何らかのメタ情報を含んだフレームと呼ばれるビットパケットのフローにより構成される。メタ情報には、例えば送信時間、すなわちフレームが送信されるべき時間、および表示時間、すなわちフレームが表示されるべき時間が含まれる。
【0003】
映像圧縮に応じて、フレームには異なるフォーマットの映像情報が含まれる。これらのフレームのうち、あるものは独立で使うことができ、またあるものは先行するフレームに依存する。独立フレームはイントラ符号化フレームまたはIフレームと呼ばれ、一方で非独立フレームはいわゆる予測符号化フレームまたはPフレームと呼ばれる。これらの依存性により、フレーム間でそれらの重要性が異なることとなる。Pフレームの重要性は、それらに先行するIフレームに対する分離とともに低下する。
【0004】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合、二つの主要な問題が生じる。
【0005】
第1の問題は、非信頼性チャネルを介して映像フレームを送信するとパケットロスに繋がることである。映像フレーム間の相互依存性の理由から、圧縮された映像ストリームはパケットロスに対してはとりわけ弱い。
【0006】
このため、パケットロスを減じ、その結果を補償するための幾つかのメカニズムが開発されている。一般的な方法の一つは、単純に受信機から送信機にパケットロスをシグナリングして、送信機にロスのあったパケットを再送させることによる、損失パケットの再送である。これは自動再送要求(ARQ)と呼ばれる。
【0007】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合に生じる第2の問題は、遅延要求の結果および/またはトランスポートチャネルの限られた帯域幅である。全ての映像フレームは送信時間および表示時間の値を有している。表示時間よりも後に受信されたフレームは受信機側では無用のものである。つまり、時としてフレームが無用なものになってしまうほど、チャネルによりフレームが遅延されてしまうことがある。
【0008】
表示時間を制御し、リアルタイム要求に対処するために、リアルタイムプロトコル(RTP)が開発されている。このプロトコルは、RTPパケットにカプセル化される映像フレームにタイムスタンプおよびシーケンス番号などの幾つかの情報を追加する。この情報は、宛先の映像アプリケーションに対して映像フレ―ムをスケジュールされた時間に送るために用いられる。遅延ジッタやパケットロスの単純統計値などの何らかの測定を受信機において行うことが可能であり、その結果はRTP制御プロトコル(RTCP)を用いて送信元にシグナリングされる。
【0009】
上述した再送技術を考慮すると、遅延要求のため、失われた全てのパケットについて再送を行なうことはできない。さらに、異なるデータパケットは異なる重要度を有しているので、ただ単純に何の基準も無くロスのあったパケットを再送してしまうと、重要度のより低いパケットによって他のより重要度の高いパケットの送信が塞がれてしまい、結果として受信された映像ストリームの品質が低下してしまう。
【0010】
Iフレームと後続の複数のPフレームとを再送することにより受信品質を向上するデータ送信方法および装置がEP 1 130 839 A1に開示されている。ここで、Pフレームの数は、現在のチャネル状況に応じて設定される。すなわち、開示されている技術は再送対象をIフレームに、またはIフレームおよび固定数のPフレームに限定するものではなく、これをチャネル状況に適応させているものである。これにより、利用可能なチャネル帯域幅をより有効に用いることが可能となる。しかしながら、時間要求およびチャネル帯域幅制限を満たしつつ映像ストリーミングアプリケーションの品質をさらに向上させるには、限界がある。
【発明の開示】
【発明が解決しようとする課題】
【0011】
利用可能な帯域幅を有効に用い、向上した映像品質を得ることのできる、映像データを映像クライアントに送信するための改良装置および方法が提供される。
【課題を解決するための手段】
【0012】
一実施の形態において、映像データを映像クライアントに送信するための装置が提供される。映像データは一続きの映像データユニットである。本装置は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるための優先割当ユニットを備える。本装置は、割り当てられた優先度をそれぞれ有する複数の映像データユニットをバッファリングするための送信バッファをさらに備える。前記複数の映像データユニットの第一の部分は、未送信の映像データユニットを含んでいる。前記複数の映像データユニットの第二の部分は、再送可能な映像データユニットを含んでいる。本装置は、前記第一および第二の部分から、バッファリングされた映像データユニットの一つをその優先度に従って選択するための送信判断ユニットをさらに備える。本装置は、選択された映像データユニットを映像クライアントに送信するための送信手段をさらに備える。
【0013】
他の実施の形態において、映像データを映像クライアントに送信するための方法が提供される。映像データは一続きの映像データユニットである。本方法は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるステップと、割り当てられた優先度をそれぞれ有する一またはそれ以上の映像データユニットをバッファリングするステップであって、前記映像データユニットの第一の部分は未送信であり前記映像データユニットの第二の部分は再送可能であるステップと、前記第一および第二の部分から、前記バッファリングされた映像データユニットの一つをその優先度に従って選択するステップと、前記選択された映像データユニットを前記映像クライアントに送信するステップと、を有する。
【発明を実施するための最良の形態】
【0014】
同様の構成要素および構造には同様の参照番号を付し、図面を参照しながら本発明の例証的な実施の形態について説明する。
【0015】
図1を参照するに、非信頼性チャネル130を介して映像クライアント120に繋がれている映像サーバ110が記載されている。チャネル130は、伝搬遅延および/またはビットエラーを生じるものである場合に信頼性の無いものと考えられる。非信頼性チャネルの例は無線リンクである。
【0016】
映像サーバ110は、チャネル130を介して映像クライアント120に対して映像データを送信する。映像情報は、映像サーバ110のビデオデータソース135より、フレームまたはフレームセグメントの形で供給される。フレームまたはフレームセグメントは、パケットデータユニット(PDU)にカプセル化される。PDUは単一のフレームまたはフレームのセグメントを含み得る。
【0017】
PDUは重み付けユニット140に転送され、そこでは、優先度値、またはウェイトがPDUの期限切れ時間、圧縮タイプ、シーケンス番号などの何らかのPDUメタ情報を用いて割り当てられる。期限切れ時間は、PDUを送ることのできる最遅時間、すなわち、表示時間とチャネル伝搬遅延の時間差である。
【0018】
PDUはそれから送信バッファ145に保存される。送信バッファ145は、送信バッファ145における各PDUの期限切れ時間を管理し、期限切れとなったPDUを削除する制御ユニット(図示しない)により制御される。送信バッファ145は、その優先度(またはウェイト)に従ってそれぞれのPDUを選択することにより何れのPDUを送信、再送、または破棄するかを決定する送信判断ユニット160によってさらに制御される。送信判断ユニット160が送信(再送)のためのPDUを選択すると、PDUは、適当なヘッダ情報を付加することによりそれぞれのPDUをRTP PDUにカプセル化するカプセル化ユニット150に転送される。RTP PDUのヘッダ情報は送信用と再送用とで異なる。
【0019】
RTP PDUはその後、チャネル情報ブロック170により与えられるビットレートで前記RTP PDUを送るトラフィック形成器155に転送される。
【0020】
送信判断ユニット160をトリガして送信バッファ145における最も優先度の高いPDUを選択させるには幾つかの方法が可能である。
【0021】
その可能なやり方の一つは、送信判断ユニット160が、映像クライアント120からのフィードバックを受信し評価するフィードバック評価ユニット165により、トリガされることである。映像クライアント120からのフィードバックは、再送要求またはPDUが正しく受信されたことを示す肯定応答を含み得る。映像サーバ110はその後、再送を行なうか、あるいは肯定応答のあったフレームを送信バッファ145から削除するかを決定しなければならない。
【0022】
送信判断ユニット160をトリガする別の可能性は、トラフィック形成器155からの制御信号を用いるものである。トラフィック形成器155は各PDU送信の完了を送信判断ユニット160に対してシグナリングし、映像サーバ110が現在、送信バッファ145からのPDUの送信を続ける準備ができていることを示す。
【0023】
さらなる可能性は、送信判断ユニット160が送信バッファ145それ自体からトリガされることである。送信バッファ145が空いている場合には、入ってくるPDUを直ちに送信することができる。
【0024】
どのように送信判断ユニット160をトリガするかについて三つの異なる可能性について記載してきたが、他の可能性も存在し得ることは当業者にとって明らかであろう。さらに、一以上のトリガ方式を同時に用いることができることは明らかである。
【0025】
受信側において、非信頼性チャネル130を通ることにより伝搬遅延およびビットエラーの生じたPDUが受信される。検査ユニット175では、受信された各RTP PDUのヘッダ情報が検査され、受信統計が更新され、さらに必要であれば再送要求、肯定応答が生成される。生成されるメッセージは、ACK(肯定応答)、NACK(否定応答)またはMACK(多目的肯定応答)メッセージを含み、映像サーバ110に対して送り返される。
【0026】
検査されたPDUはその後受信バッファ180に転送され、そこでヘッダが除かれて、フレームが保存される。それから、映像表示アプリケーション185は、表示時間に従って受信バッファ180からフレームをリリースして、映像情報の実際のディスプレイを行なっていくことができる。
【0027】
本実施の形態によれば、各PDUはユニークな優先度を割り当てられる。このため、シーケンスの各フレームは幾つかの優先度グループ乃至はクラスの一つに分類される。シーケンスは、Iフレームに始まって、このIフレームに依存する全てのPフレームを含めた一続きのフレームである。フレームまたはフレームのセグメントは、PDUにカプセル化される。各PDUはそれから、その優先度グループに応じたユニークなウェイト(優先度)を割り当てられる。
【0028】
優先度グループは、あるタイプのフレームに属するPDUのグループである。本実施の形態においては、三つの優先度グループ(またはフレームのタイプ)が区別される:すなわち、Iフレーム(I)、より重要なPフレーム(Pm)、および重要性のより低いPフレーム(Pl)である。異なる優先度グループに属するPDUのウェイトは次式に従って計算される。
【数1】
【数2】
【数3】
【0029】
これらの数式において、Gは優先度グループの数、すなわち、本実施の形態ではG=3を表わす。
【0030】
Dはグループ内のPDUの最大数である。
【数4】
【0031】
ここで、ImaxはIフレーム優先度グループ内のPDUの最大数であり、Pm_maxはより重要度の高いPフレーム優先度グループ内のPDUの最大数であり、さらにPl_maxはより重要度の低いPフレーム優先度グループ内のPDUの最大数である。これらの数は全てのシーケンスに対して、シーケンスごとに求められる。
【0032】
SQNはシーケンス数である。上述のようにシーケンスは、Iフレームに始まって、このIフレームに依存する全てのPフレームを含めた一続きのPDUである。
【0033】
最後に、パラメータLは重み付けインターバル(weighting interval)の長さを示す値である。重み付けインターバルについては以下にさらに詳細に説明する。
【0034】
ここで図2を参照するに、グラフは上記式の依存性について例証する。図2のグラフは単に説明のためのものであり、優先度を付与したグループのコンセプトを説明するものである。
【0035】
フラグメントされていないフレームは非常に大きい場合があるので、効率的な送信のためのより小さなPDUサイズを得るために、これらはフラグメントされる。また、可能な限りほぼ一定のPDUサイズを得るためにフラグメント化が用いられる。全てのシーケンスを考慮して、Iフレームは最大で三つのPDUにセグメントされ、Pmフレームは最大で二つのPDUにセグメントされ、Plフレームも最大で二つのPDUに分けられる。
【0036】
図2の例においては、映像ストリームは各シーケンスにおいて一つのIフレームと五つの連続するPフレームを含んでいる。五つのPフレームのうち、最初の三つはより重要度の高いPフレーム優先度グループPmに属し、残りの二つはより重要度の低いPフレーム優先度グループPlに属する。
【0037】
この結果、各優先度グループにおけるPDUの最大数は以下となる。
Imax = 3 x 1 = 3
Pm_max = 2 x 3 = 6
Pl_max= 2 x 2 = 4
【0038】
したがって、パラメータDを定義する数式を当てはめると、全ての優先度グループに対するPDUの最大数は、本例においてはD=6となる。
【0039】
図2においては、各優先度グループのPDUは同じウェイト、すなわち、優先度を有するものとして示されている。しかしながら、各PDUがユニークなウェイトを有する方が、より望ましいものであることが当業者に理解されよう。そこで、図3を参照しながら、実施の形態についてより詳細に説明する。
【0040】
この例においては、複数の連続シーケンスにおける各PDUの優先度の値は次第に減少するものであることが示されている。図3の例において、最大ウェイトWmaxは16ビットアドレスに対応する一定値65,535に設定されている。個々の優先度の値はさらに次式に従って割り当てられる。
【数5】
【数6】
【数7】
【0041】
これらの数式において、パラメータPNは優先度グループにおけるPDUの数を表わす。各優先度グループの始めにおいては、この数はゼロである。これらの数式を当てはめることにより、各シーケンスのPDUに割り当てられる優先度は以下の表のとおりとなる。
【表1】
【0042】
本実施の形態に係る優先度割当は、より重要なPDUのために、より重要度の低いPDUに対してはより低いウェイトを付与することを意図している。各シーケンスについて、当該シーケンスのPDUがそれに続く五つのシーケンスの後に期限切れとなるものとして、期限切れ時間は五つのシーケンスの長さに対応する値に設定される。例えば、最初のシーケンス(SQN=0)のPDUは、六番目のシーケンス(SQN=5)が始まる前に期限切れとなる。本実施の形態においては、第一番目のシーケンスにおけるPmフレームのPDUは、第一番目から第四番目のシーケンスの全てのIフレームのPDUよりもその重要度を低くされている。このことは、図3において、水平破線により示されている。
【0043】
このシーケンスのインターバルを以下の記載においては重み付けインターバルと呼ぶこととする。したがって、重み付けインターバルとは、シーケンスmの重要度の高いPmフレームのPDUが、シーケンスmからシーケンスm+Lの全てのIフレームのPDUよりも低いウェイトを有する間のインターバルとなる。図3の例では、m=0、L=3である。重み付けインターバルの長さ、すなわち、インターバル内のシーケンス数はL+1により与えられ、図3の例ではすなわち4となる。
【0044】
重み付けインターバルはまた、より重要度の低いPlフレームのPDUについても表わすことができる。図3の例においては、第一番目のシーケンス(SQN=0)のPlフレームのPDUには第五番目のシーケンス(SQN=4)のIフレームのPDUよりも低いウェイトが割り当てられているが、第六番目のシーケンス(SQN=5)のIフレームのPDUよりは高いウェイトが割り当てられているので、より重要度の低いPlフレームのPDUに対する重み付けインターバルの長さはL+2と等しく、よって、これはより重要度の高いPmフレームのPDUの重み付けインターバル長を一シーケンス分上回ることとなる。
【0045】
上述の重み付けインターバルを用いることにより、期限切れとなる前にIフレームのPDUを再送することのできる回数が増える結果、Iフレームを受信することのできる可能性も増す。これにより、L+1シーケンスに相当する時間に亘って、IフレームのPDUの送信または再送を優先して、PmフレームのPDUの送信または再送が遅延されたり、あるいはそれらが破棄されたりすることとなる。したがって、第一番目シーケンスのPmフレームPDUの送信または再送は、第四番目シーケンスのIフレームPDUまでは最も高い優先度を有することが無く、これらのPDUの送信が成功するまでに有する時間は、それらが期限切れとなるまで、すなわち、第六番目のシーケンスの開始までとなる。同様のことは、それらがより重要でないために受信機への送信または再送が成功するのに有する時間はより短いものとなるものの、PlフレームPDUについてもあてはまる。
【0046】
実施の形態によれば、重み付けインターバルの長さは、PDUの期限切れ時間および送信時間に従って設定される。例えば、パラメータLは期限切れ時間texp、送信時間tsend、シーケンス継続時間Tseqおよび優先度グループの数Gに基づいて、算出することができる。
【数8】
【0047】
Tseqの値は、一つのシーケンスに亘る時間を表し、これは全てのシーケンスについて固定されているものとする。
【0048】
本実施の形態によれば、ユニークな優先度が各々の映像データユニットに対して割り当てられ、送信のためのデータをスケジューリングするにあたって、この優先度が用いられる。本実施の形態は、再送のためにスケジューリングされるフレームのみならず、初回の、すなわち、通常の送信のためにスケジューリングされるフレームをも考慮することにより、従来技術の限界を克服するものである。さらに、本実施の形態はユニークな優先度をデータに対して割り当て、これにより複数のデータユニットが同じ優先度を有することを避けるものである。何れの時点においても、どのデータユニットを送信のためにスケジューリングすべきかが明確に定義されるので、この割当には利点がある。
【0049】
本実施の形態によれば、送信することのできる映像データユニットは、その優先度に従って選択(すなわち、スケジューリング)される。この結果、より重要なフレームを優先するために、より重要でないフレームが、ストリーム内のその位置に関わらず、遅延されたり、さらには破棄されたりするといったことが行なわれる。これにより、より重要なフレームの再送のための時間量を増やすこととなるので、この重要フレームを受信できる可能性が上がる。
【0050】
さらに、本実施の形態は、利用可能な帯域幅を通常送信と再送の両方のために効率的に扱うことが可能となるという点で有利である。通常送信および再送は、リンクの同じ利用可能帯域幅を共有する。帯域幅を初回送信と再送の何れに用いるかは固定されておらず、これはデータユニットに対して割り当てられる優先度、またさらに何れのデータユニットがどの位再送要求されるかに依存している。本実施の形態に係る優先度割当を用いることにより、チャネルが最大限に利用される。
【0051】
また、本実施の形態には、実際に見られる映像ストリームに突然の改善や漸次的変化が無く映像品質が一定に保たれるような程度に、受信された圧縮映像ストリームの品質が依存する、ということを考慮している点での利点がある。
【0052】
ユニークな優先度の割当は、望ましくは映像フレームのメタ情報、例えば、送信時間、表示時間、送信遅延、重要度または圧縮タイプすなわち当該フレームがIフレームであるかPフレームであるか、に基づいて行なわれる。この情報を用いることで、またさらに例えば利用可能帯域幅および受信統計のような現在のチャネル状況についての付加情報を用いることで、本実施の形態は何れのフレームを送信、再送、破棄すべきかについて、より良く決定を下すことができる。
【0053】
さらに、本実施の形態は、単一のPDUのみでなく、複数シーケンスの複数PDUの重み付けインターバルをも考慮する重み付けアルゴリズムを提供する(これについては、以下により詳細に詳述する)。リンク品質における大きな変動があっても、受信された映像ストリームの品質には大きな変動が生じないという点でこの重み付けメカニズムは有利である。
【0054】
本発明は実際的な実施の形態に即して記載されているものであるが、上記の教示に照らして、さらに添付の特許請求の範囲内で、その発明の本旨および意図された範囲から逸脱すること無く、本発明についての様々な修正、変更、改良が行なわれ得るということは、当業者にとって明らかであろう。また、ここに記載される発明を無用に不明瞭なものとすることのないように、当業者が熟知していると信じられる内容については、ここには記載されていない。したがって、本発明は、具体的に例示された実施の形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものであることが理解される。
【図面の簡単な説明】
【0055】
【図1】一実施の形態に係る動作を行なう映像サーバおよび映像クライアントの構成を示すブロック図
【図2】一実施の形態に係るシーケンス内の優先度割当を示すグラフ
【図3】他の実施の形態に係る複数シーケンスのデータユニットに対する優先度割当を示すグラフ
【0001】
本発明は、映像データを映像クライアントに送信するための装置および方法に関し、とりわけ、無線チャネルなどの信頼性の無いリンクを介しての、例えばMPEG−4データの圧縮映像ストリーミングに適用可能である。
【背景技術】
【0002】
一般に、映像ストリームは、画像それ自体の情報に加えて何らかのメタ情報を含んだフレームと呼ばれるビットパケットのフローにより構成される。メタ情報には、例えば送信時間、すなわちフレームが送信されるべき時間、および表示時間、すなわちフレームが表示されるべき時間が含まれる。
【0003】
映像圧縮に応じて、フレームには異なるフォーマットの映像情報が含まれる。これらのフレームのうち、あるものは独立で使うことができ、またあるものは先行するフレームに依存する。独立フレームはイントラ符号化フレームまたはIフレームと呼ばれ、一方で非独立フレームはいわゆる予測符号化フレームまたはPフレームと呼ばれる。これらの依存性により、フレーム間でそれらの重要性が異なることとなる。Pフレームの重要性は、それらに先行するIフレームに対する分離とともに低下する。
【0004】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合、二つの主要な問題が生じる。
【0005】
第1の問題は、非信頼性チャネルを介して映像フレームを送信するとパケットロスに繋がることである。映像フレーム間の相互依存性の理由から、圧縮された映像ストリームはパケットロスに対してはとりわけ弱い。
【0006】
このため、パケットロスを減じ、その結果を補償するための幾つかのメカニズムが開発されている。一般的な方法の一つは、単純に受信機から送信機にパケットロスをシグナリングして、送信機にロスのあったパケットを再送させることによる、損失パケットの再送である。これは自動再送要求(ARQ)と呼ばれる。
【0007】
非信頼性リンクを介してリアルタイム映像ストリームを送信する場合に生じる第2の問題は、遅延要求の結果および/またはトランスポートチャネルの限られた帯域幅である。全ての映像フレームは送信時間および表示時間の値を有している。表示時間よりも後に受信されたフレームは受信機側では無用のものである。つまり、時としてフレームが無用なものになってしまうほど、チャネルによりフレームが遅延されてしまうことがある。
【0008】
表示時間を制御し、リアルタイム要求に対処するために、リアルタイムプロトコル(RTP)が開発されている。このプロトコルは、RTPパケットにカプセル化される映像フレームにタイムスタンプおよびシーケンス番号などの幾つかの情報を追加する。この情報は、宛先の映像アプリケーションに対して映像フレ―ムをスケジュールされた時間に送るために用いられる。遅延ジッタやパケットロスの単純統計値などの何らかの測定を受信機において行うことが可能であり、その結果はRTP制御プロトコル(RTCP)を用いて送信元にシグナリングされる。
【0009】
上述した再送技術を考慮すると、遅延要求のため、失われた全てのパケットについて再送を行なうことはできない。さらに、異なるデータパケットは異なる重要度を有しているので、ただ単純に何の基準も無くロスのあったパケットを再送してしまうと、重要度のより低いパケットによって他のより重要度の高いパケットの送信が塞がれてしまい、結果として受信された映像ストリームの品質が低下してしまう。
【0010】
Iフレームと後続の複数のPフレームとを再送することにより受信品質を向上するデータ送信方法および装置がEP 1 130 839 A1に開示されている。ここで、Pフレームの数は、現在のチャネル状況に応じて設定される。すなわち、開示されている技術は再送対象をIフレームに、またはIフレームおよび固定数のPフレームに限定するものではなく、これをチャネル状況に適応させているものである。これにより、利用可能なチャネル帯域幅をより有効に用いることが可能となる。しかしながら、時間要求およびチャネル帯域幅制限を満たしつつ映像ストリーミングアプリケーションの品質をさらに向上させるには、限界がある。
【発明の開示】
【発明が解決しようとする課題】
【0011】
利用可能な帯域幅を有効に用い、向上した映像品質を得ることのできる、映像データを映像クライアントに送信するための改良装置および方法が提供される。
【課題を解決するための手段】
【0012】
一実施の形態において、映像データを映像クライアントに送信するための装置が提供される。映像データは一続きの映像データユニットである。本装置は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるための優先割当ユニットを備える。本装置は、割り当てられた優先度をそれぞれ有する複数の映像データユニットをバッファリングするための送信バッファをさらに備える。前記複数の映像データユニットの第一の部分は、未送信の映像データユニットを含んでいる。前記複数の映像データユニットの第二の部分は、再送可能な映像データユニットを含んでいる。本装置は、前記第一および第二の部分から、バッファリングされた映像データユニットの一つをその優先度に従って選択するための送信判断ユニットをさらに備える。本装置は、選択された映像データユニットを映像クライアントに送信するための送信手段をさらに備える。
【0013】
他の実施の形態において、映像データを映像クライアントに送信するための方法が提供される。映像データは一続きの映像データユニットである。本方法は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるステップと、割り当てられた優先度をそれぞれ有する一またはそれ以上の映像データユニットをバッファリングするステップであって、前記映像データユニットの第一の部分は未送信であり前記映像データユニットの第二の部分は再送可能であるステップと、前記第一および第二の部分から、前記バッファリングされた映像データユニットの一つをその優先度に従って選択するステップと、前記選択された映像データユニットを前記映像クライアントに送信するステップと、を有する。
【発明を実施するための最良の形態】
【0014】
同様の構成要素および構造には同様の参照番号を付し、図面を参照しながら本発明の例証的な実施の形態について説明する。
【0015】
図1を参照するに、非信頼性チャネル130を介して映像クライアント120に繋がれている映像サーバ110が記載されている。チャネル130は、伝搬遅延および/またはビットエラーを生じるものである場合に信頼性の無いものと考えられる。非信頼性チャネルの例は無線リンクである。
【0016】
映像サーバ110は、チャネル130を介して映像クライアント120に対して映像データを送信する。映像情報は、映像サーバ110のビデオデータソース135より、フレームまたはフレームセグメントの形で供給される。フレームまたはフレームセグメントは、パケットデータユニット(PDU)にカプセル化される。PDUは単一のフレームまたはフレームのセグメントを含み得る。
【0017】
PDUは重み付けユニット140に転送され、そこでは、優先度値、またはウェイトがPDUの期限切れ時間、圧縮タイプ、シーケンス番号などの何らかのPDUメタ情報を用いて割り当てられる。期限切れ時間は、PDUを送ることのできる最遅時間、すなわち、表示時間とチャネル伝搬遅延の時間差である。
【0018】
PDUはそれから送信バッファ145に保存される。送信バッファ145は、送信バッファ145における各PDUの期限切れ時間を管理し、期限切れとなったPDUを削除する制御ユニット(図示しない)により制御される。送信バッファ145は、その優先度(またはウェイト)に従ってそれぞれのPDUを選択することにより何れのPDUを送信、再送、または破棄するかを決定する送信判断ユニット160によってさらに制御される。送信判断ユニット160が送信(再送)のためのPDUを選択すると、PDUは、適当なヘッダ情報を付加することによりそれぞれのPDUをRTP PDUにカプセル化するカプセル化ユニット150に転送される。RTP PDUのヘッダ情報は送信用と再送用とで異なる。
【0019】
RTP PDUはその後、チャネル情報ブロック170により与えられるビットレートで前記RTP PDUを送るトラフィック形成器155に転送される。
【0020】
送信判断ユニット160をトリガして送信バッファ145における最も優先度の高いPDUを選択させるには幾つかの方法が可能である。
【0021】
その可能なやり方の一つは、送信判断ユニット160が、映像クライアント120からのフィードバックを受信し評価するフィードバック評価ユニット165により、トリガされることである。映像クライアント120からのフィードバックは、再送要求またはPDUが正しく受信されたことを示す肯定応答を含み得る。映像サーバ110はその後、再送を行なうか、あるいは肯定応答のあったフレームを送信バッファ145から削除するかを決定しなければならない。
【0022】
送信判断ユニット160をトリガする別の可能性は、トラフィック形成器155からの制御信号を用いるものである。トラフィック形成器155は各PDU送信の完了を送信判断ユニット160に対してシグナリングし、映像サーバ110が現在、送信バッファ145からのPDUの送信を続ける準備ができていることを示す。
【0023】
さらなる可能性は、送信判断ユニット160が送信バッファ145それ自体からトリガされることである。送信バッファ145が空いている場合には、入ってくるPDUを直ちに送信することができる。
【0024】
どのように送信判断ユニット160をトリガするかについて三つの異なる可能性について記載してきたが、他の可能性も存在し得ることは当業者にとって明らかであろう。さらに、一以上のトリガ方式を同時に用いることができることは明らかである。
【0025】
受信側において、非信頼性チャネル130を通ることにより伝搬遅延およびビットエラーの生じたPDUが受信される。検査ユニット175では、受信された各RTP PDUのヘッダ情報が検査され、受信統計が更新され、さらに必要であれば再送要求、肯定応答が生成される。生成されるメッセージは、ACK(肯定応答)、NACK(否定応答)またはMACK(多目的肯定応答)メッセージを含み、映像サーバ110に対して送り返される。
【0026】
検査されたPDUはその後受信バッファ180に転送され、そこでヘッダが除かれて、フレームが保存される。それから、映像表示アプリケーション185は、表示時間に従って受信バッファ180からフレームをリリースして、映像情報の実際のディスプレイを行なっていくことができる。
【0027】
本実施の形態によれば、各PDUはユニークな優先度を割り当てられる。このため、シーケンスの各フレームは幾つかの優先度グループ乃至はクラスの一つに分類される。シーケンスは、Iフレームに始まって、このIフレームに依存する全てのPフレームを含めた一続きのフレームである。フレームまたはフレームのセグメントは、PDUにカプセル化される。各PDUはそれから、その優先度グループに応じたユニークなウェイト(優先度)を割り当てられる。
【0028】
優先度グループは、あるタイプのフレームに属するPDUのグループである。本実施の形態においては、三つの優先度グループ(またはフレームのタイプ)が区別される:すなわち、Iフレーム(I)、より重要なPフレーム(Pm)、および重要性のより低いPフレーム(Pl)である。異なる優先度グループに属するPDUのウェイトは次式に従って計算される。
【数1】
【数2】
【数3】
【0029】
これらの数式において、Gは優先度グループの数、すなわち、本実施の形態ではG=3を表わす。
【0030】
Dはグループ内のPDUの最大数である。
【数4】
【0031】
ここで、ImaxはIフレーム優先度グループ内のPDUの最大数であり、Pm_maxはより重要度の高いPフレーム優先度グループ内のPDUの最大数であり、さらにPl_maxはより重要度の低いPフレーム優先度グループ内のPDUの最大数である。これらの数は全てのシーケンスに対して、シーケンスごとに求められる。
【0032】
SQNはシーケンス数である。上述のようにシーケンスは、Iフレームに始まって、このIフレームに依存する全てのPフレームを含めた一続きのPDUである。
【0033】
最後に、パラメータLは重み付けインターバル(weighting interval)の長さを示す値である。重み付けインターバルについては以下にさらに詳細に説明する。
【0034】
ここで図2を参照するに、グラフは上記式の依存性について例証する。図2のグラフは単に説明のためのものであり、優先度を付与したグループのコンセプトを説明するものである。
【0035】
フラグメントされていないフレームは非常に大きい場合があるので、効率的な送信のためのより小さなPDUサイズを得るために、これらはフラグメントされる。また、可能な限りほぼ一定のPDUサイズを得るためにフラグメント化が用いられる。全てのシーケンスを考慮して、Iフレームは最大で三つのPDUにセグメントされ、Pmフレームは最大で二つのPDUにセグメントされ、Plフレームも最大で二つのPDUに分けられる。
【0036】
図2の例においては、映像ストリームは各シーケンスにおいて一つのIフレームと五つの連続するPフレームを含んでいる。五つのPフレームのうち、最初の三つはより重要度の高いPフレーム優先度グループPmに属し、残りの二つはより重要度の低いPフレーム優先度グループPlに属する。
【0037】
この結果、各優先度グループにおけるPDUの最大数は以下となる。
Imax = 3 x 1 = 3
Pm_max = 2 x 3 = 6
Pl_max= 2 x 2 = 4
【0038】
したがって、パラメータDを定義する数式を当てはめると、全ての優先度グループに対するPDUの最大数は、本例においてはD=6となる。
【0039】
図2においては、各優先度グループのPDUは同じウェイト、すなわち、優先度を有するものとして示されている。しかしながら、各PDUがユニークなウェイトを有する方が、より望ましいものであることが当業者に理解されよう。そこで、図3を参照しながら、実施の形態についてより詳細に説明する。
【0040】
この例においては、複数の連続シーケンスにおける各PDUの優先度の値は次第に減少するものであることが示されている。図3の例において、最大ウェイトWmaxは16ビットアドレスに対応する一定値65,535に設定されている。個々の優先度の値はさらに次式に従って割り当てられる。
【数5】
【数6】
【数7】
【0041】
これらの数式において、パラメータPNは優先度グループにおけるPDUの数を表わす。各優先度グループの始めにおいては、この数はゼロである。これらの数式を当てはめることにより、各シーケンスのPDUに割り当てられる優先度は以下の表のとおりとなる。
【表1】
【0042】
本実施の形態に係る優先度割当は、より重要なPDUのために、より重要度の低いPDUに対してはより低いウェイトを付与することを意図している。各シーケンスについて、当該シーケンスのPDUがそれに続く五つのシーケンスの後に期限切れとなるものとして、期限切れ時間は五つのシーケンスの長さに対応する値に設定される。例えば、最初のシーケンス(SQN=0)のPDUは、六番目のシーケンス(SQN=5)が始まる前に期限切れとなる。本実施の形態においては、第一番目のシーケンスにおけるPmフレームのPDUは、第一番目から第四番目のシーケンスの全てのIフレームのPDUよりもその重要度を低くされている。このことは、図3において、水平破線により示されている。
【0043】
このシーケンスのインターバルを以下の記載においては重み付けインターバルと呼ぶこととする。したがって、重み付けインターバルとは、シーケンスmの重要度の高いPmフレームのPDUが、シーケンスmからシーケンスm+Lの全てのIフレームのPDUよりも低いウェイトを有する間のインターバルとなる。図3の例では、m=0、L=3である。重み付けインターバルの長さ、すなわち、インターバル内のシーケンス数はL+1により与えられ、図3の例ではすなわち4となる。
【0044】
重み付けインターバルはまた、より重要度の低いPlフレームのPDUについても表わすことができる。図3の例においては、第一番目のシーケンス(SQN=0)のPlフレームのPDUには第五番目のシーケンス(SQN=4)のIフレームのPDUよりも低いウェイトが割り当てられているが、第六番目のシーケンス(SQN=5)のIフレームのPDUよりは高いウェイトが割り当てられているので、より重要度の低いPlフレームのPDUに対する重み付けインターバルの長さはL+2と等しく、よって、これはより重要度の高いPmフレームのPDUの重み付けインターバル長を一シーケンス分上回ることとなる。
【0045】
上述の重み付けインターバルを用いることにより、期限切れとなる前にIフレームのPDUを再送することのできる回数が増える結果、Iフレームを受信することのできる可能性も増す。これにより、L+1シーケンスに相当する時間に亘って、IフレームのPDUの送信または再送を優先して、PmフレームのPDUの送信または再送が遅延されたり、あるいはそれらが破棄されたりすることとなる。したがって、第一番目シーケンスのPmフレームPDUの送信または再送は、第四番目シーケンスのIフレームPDUまでは最も高い優先度を有することが無く、これらのPDUの送信が成功するまでに有する時間は、それらが期限切れとなるまで、すなわち、第六番目のシーケンスの開始までとなる。同様のことは、それらがより重要でないために受信機への送信または再送が成功するのに有する時間はより短いものとなるものの、PlフレームPDUについてもあてはまる。
【0046】
実施の形態によれば、重み付けインターバルの長さは、PDUの期限切れ時間および送信時間に従って設定される。例えば、パラメータLは期限切れ時間texp、送信時間tsend、シーケンス継続時間Tseqおよび優先度グループの数Gに基づいて、算出することができる。
【数8】
【0047】
Tseqの値は、一つのシーケンスに亘る時間を表し、これは全てのシーケンスについて固定されているものとする。
【0048】
本実施の形態によれば、ユニークな優先度が各々の映像データユニットに対して割り当てられ、送信のためのデータをスケジューリングするにあたって、この優先度が用いられる。本実施の形態は、再送のためにスケジューリングされるフレームのみならず、初回の、すなわち、通常の送信のためにスケジューリングされるフレームをも考慮することにより、従来技術の限界を克服するものである。さらに、本実施の形態はユニークな優先度をデータに対して割り当て、これにより複数のデータユニットが同じ優先度を有することを避けるものである。何れの時点においても、どのデータユニットを送信のためにスケジューリングすべきかが明確に定義されるので、この割当には利点がある。
【0049】
本実施の形態によれば、送信することのできる映像データユニットは、その優先度に従って選択(すなわち、スケジューリング)される。この結果、より重要なフレームを優先するために、より重要でないフレームが、ストリーム内のその位置に関わらず、遅延されたり、さらには破棄されたりするといったことが行なわれる。これにより、より重要なフレームの再送のための時間量を増やすこととなるので、この重要フレームを受信できる可能性が上がる。
【0050】
さらに、本実施の形態は、利用可能な帯域幅を通常送信と再送の両方のために効率的に扱うことが可能となるという点で有利である。通常送信および再送は、リンクの同じ利用可能帯域幅を共有する。帯域幅を初回送信と再送の何れに用いるかは固定されておらず、これはデータユニットに対して割り当てられる優先度、またさらに何れのデータユニットがどの位再送要求されるかに依存している。本実施の形態に係る優先度割当を用いることにより、チャネルが最大限に利用される。
【0051】
また、本実施の形態には、実際に見られる映像ストリームに突然の改善や漸次的変化が無く映像品質が一定に保たれるような程度に、受信された圧縮映像ストリームの品質が依存する、ということを考慮している点での利点がある。
【0052】
ユニークな優先度の割当は、望ましくは映像フレームのメタ情報、例えば、送信時間、表示時間、送信遅延、重要度または圧縮タイプすなわち当該フレームがIフレームであるかPフレームであるか、に基づいて行なわれる。この情報を用いることで、またさらに例えば利用可能帯域幅および受信統計のような現在のチャネル状況についての付加情報を用いることで、本実施の形態は何れのフレームを送信、再送、破棄すべきかについて、より良く決定を下すことができる。
【0053】
さらに、本実施の形態は、単一のPDUのみでなく、複数シーケンスの複数PDUの重み付けインターバルをも考慮する重み付けアルゴリズムを提供する(これについては、以下により詳細に詳述する)。リンク品質における大きな変動があっても、受信された映像ストリームの品質には大きな変動が生じないという点でこの重み付けメカニズムは有利である。
【0054】
本発明は実際的な実施の形態に即して記載されているものであるが、上記の教示に照らして、さらに添付の特許請求の範囲内で、その発明の本旨および意図された範囲から逸脱すること無く、本発明についての様々な修正、変更、改良が行なわれ得るということは、当業者にとって明らかであろう。また、ここに記載される発明を無用に不明瞭なものとすることのないように、当業者が熟知していると信じられる内容については、ここには記載されていない。したがって、本発明は、具体的に例示された実施の形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものであることが理解される。
【図面の簡単な説明】
【0055】
【図1】一実施の形態に係る動作を行なう映像サーバおよび映像クライアントの構成を示すブロック図
【図2】一実施の形態に係るシーケンス内の優先度割当を示すグラフ
【図3】他の実施の形態に係る複数シーケンスのデータユニットに対する優先度割当を示すグラフ
Claims (26)
- 映像データを映像クライアントに送信するための装置であって、
前記映像データは一続きの映像データユニットであり、前記装置は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てる優先割当ユニットと、
割り当てられた優先度をそれぞれ有する複数の映像データユニットをバッファリングする送信バッファであって、前記複数の映像データユニットの第一の部分は、未送信の映像データユニットを含んでおり、前記複数の映像データユニットの第二の部分は、再送可能な映像データユニットを含んでいる送信バッファと、
前記第一および第二の部分から、前記バッファリングされた映像データユニットの一つをその優先度に従って選択する送信判断ユニットと、
前記選択された映像データユニットを前記映像クライアントに送信する送信手段と、
を具備する装置。 - 前記映像データユニットはパケットデータグラムユニットである、請求項1記載の装置。
- 前記映像データはイントラ符号化および予測符号化フレームを含む映像ストリームにて送信され、前記映像データユニットはイントラ符号化または予測符号化フレームでありまたはそのセグメントである、請求項1記載の装置。
- 前記映像クライアントからのフィードバックメッセージを受信して、映像データユニットの再送実行のために前記送信判断ユニットを動作させるフィードバック評価ユニットをさらに具備し、
前記送信判断ユニットは、前記データユニットが初めて送信されるものか、再送されるものであるかに関わらず、前記バッファリングされたデータユニットの前記一つを選択するように設けられている、請求項1記載の装置。 - 前記優先割当ユニットは、前記ユニークな優先度を前記それぞれの映像データユニットの送信時間、および/または表示時間、および/または送信遅延に従って割り当てるように設けられている、請求項1記載の装置。
- 前記送信判断ユニットは、前記映像クライアントからの肯定応答または否定応答メッセージを受けて前記映像データユニットを選択するようトリガされる、請求項1記載の装置。
- 前記送信判断ユニットは、前記先に選択された映像データユニットの一つが送信されたことを前記送信手段が示した場合には前記映像データユニットを選択するようトリガされる、請求項1記載の装置。
- 前記送信判断ユニットは、前記送信バッファが空いており、最初の映像データユニットを受信した場合には前記映像データユニットを選択するようトリガされる、請求項1記載の装置。
- 前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記予測符号化フレームは少なくとも二つの異なる優先度クラスに分けられる、請求項1記載の装置。
- 前記イントラ符号化フレームに対して割り当てられる前記優先度と前記優先度クラスのうち一つのクラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および/または前記優先度クラスの数に依存した分だけ異なる、請求項9記載の装置。
- 一の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度と他の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および/または前記優先度クラスの数に依存した分だけ異なる、請求項9記載の装置。
- 前記映像データユニットはシーケンスに配置され、前記優先割当ユニットは、前記優先度が一のシーケンスから次のシーケンスへと次第に低下するように前記優先度を前記映像データユニットに割り当てるように設けられている、請求項1記載の装置。
- 前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記イントラ符号化フレーム優先度と前記予測符号化フレーム優先度との差は重み付けインターバルの長さを示すパラメータに依存し、前記重み付けインターバルは、前記重み付けインターバル内の最初のシーケンスの前記予測符号化フレーム映像データユニットが前記重み付けインターバル内の最後のシーケンスの前記イントラ符号化フレーム映像データユニットよりも低い優先度を有する幾つかのシーケンスからなるグループである、請求項12記載の装置。
- 映像データを映像クライアントに送信するための方法であって、
前記映像データは一続きの映像データユニットであり、前記方法は、送信される各々の映像データユニットに対して、ユニークな優先度を割り当てるステップと、
割り当てられた優先度をそれぞれ有する一またはそれ以上の映像データユニットをバッファリングし、前記映像データユニットの第一の部分は未送信であり、前記映像データユニットの第二の部分は再送可能であるステップと、
前記第一および第二の部分から、前記バッファされた映像データユニットの一つをその優先度に従って選択するステップと、
前記選択された映像データユニットを前記映像クライアントに送信するステップと、
を含む方法。 - 前記映像データユニットはパケットデータグラムユニットである、請求項14記載の方法。
- 前記映像データはイントラ符号化および予測符号化フレームを含む映像ストリームで送信され、前記映像データユニットはイントラ符号化または予測符号化フレームでありまたはそのセグメントである、請求項14記載の方法。
- 前記映像クライアントからのフィードバックメッセージを受信するステップと、映像データユニットの再送を実行するステップと、を含むフィードバック評価メカニズムをさらに含み、前記データユニットが初めて送信されるものか、再送されるものであるかに関わらず、前記バッファリングされたデータユニットの前記一つが選択される、請求項14記載の方法。
- 前記ユニークな優先度の割当は、前記それぞれの映像データユニットの送信時間、および/または表示時間、および/または送信遅延に従って行なわれる、請求項14記載の方法。
- 前記映像クライアントからの肯定応答または否定応答メッセージを受けて前記映像データユニットの前記選択がトリガされて行なわれる、請求項14記載の方法。
- 前記先に選択された映像データユニットの一つが送信された場合には前記映像データユニットの前記選択がトリガされて行なわれる、請求項14記載の方法。
- 映像データユニットが初めてバッファされた場合には前記映像データユニットの前記選択がトリガされて行なわれる、請求項14記載の方法。
- 前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記予測符号化フレームは少なくとも二つの異なる優先度クラスに分けられる、請求項14記載の方法。
- 前記イントラ符号化フレームに対して割り当てられる前記優先度と前記優先度クラスのうち一つのクラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および/または前記優先度クラスの数に依存した分だけ異なる、請求項22記載の方法。
- 一の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度と他の優先度クラスの前記予測符号化フレームに対して割り当てられる前記優先度とが、前記優先度クラスにおけるパケットデータグラムユニットの全最大数、および/または前記優先度クラスの数に依存した分だけ異なる、請求項22記載の方法。
- 前記映像データユニットはシーケンスに配置され、前記優先割当は、前記優先度が一のシーケンスから次のシーケンスへと次第に低下するように前記優先度を前記映像データユニットに割り当てるように行われる、請求項14記載の方法。
- 前記映像データはイントラ符号化フレームおよび予測符号化フレームを含む映像ストリームで送信され、前記イントラ符号化フレーム優先度と前記予測符号化フレーム優先度との差は重み付けインターバルの長さを示すパラメータに依存し、前記重み付けインターバルは、前記重み付けインターバル内の最初のシーケンスの前記予測符号化フレーム映像データユニットが前記重み付けインターバル内の最後のシーケンスの前記イントラ符号化フレーム映像データユニットよりも低い優先度を有する幾つかのシーケンスからなるグループである、請求項25記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01123873A EP1301041A1 (en) | 2001-10-05 | 2001-10-05 | Video data transmission method and apparatus |
PCT/EP2002/011225 WO2003032643A2 (en) | 2001-10-05 | 2002-10-07 | Video data transmission method and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005506007A true JP2005506007A (ja) | 2005-02-24 |
Family
ID=8178862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003535471A Withdrawn JP2005506007A (ja) | 2001-10-05 | 2002-10-07 | 映像データ送信方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20050036546A1 (ja) |
EP (1) | EP1301041A1 (ja) |
JP (1) | JP2005506007A (ja) |
CN (1) | CN1320795C (ja) |
WO (1) | WO2003032643A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008301139A (ja) * | 2007-05-31 | 2008-12-11 | Kddi Corp | 符号化画像に優先度を割り当てる映像データ送信装置、プログラム及び方法 |
JP2010529800A (ja) * | 2007-06-13 | 2010-08-26 | エヌエックスピー ビー ヴィ | 電子装置および保証型サービスを確実化する方法 |
WO2019107181A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 送信装置、送信方法、および受信装置 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100537499B1 (ko) * | 2002-07-26 | 2005-12-19 | 삼성전자주식회사 | 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법 |
GB0218961D0 (en) * | 2002-08-15 | 2002-09-25 | Koninkl Philips Electronics Nv | Transmission method and system |
US7376082B2 (en) * | 2002-12-31 | 2008-05-20 | International Business Machines Corporation | Quality of service for iSCSI |
US7274740B2 (en) | 2003-06-25 | 2007-09-25 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
US9325998B2 (en) | 2003-09-30 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
US20070097987A1 (en) * | 2003-11-24 | 2007-05-03 | Rey Jose L | Feedback provision using general nack report blocks and loss rle report blocks |
US8737219B2 (en) | 2004-01-30 | 2014-05-27 | Hewlett-Packard Development Company, L.P. | Methods and systems that use information about data packets to determine an order for sending the data packets |
JP2006025200A (ja) * | 2004-07-08 | 2006-01-26 | Funai Electric Co Ltd | テレビジョン放送受信システム |
KR101277877B1 (ko) | 2005-01-21 | 2013-07-30 | 삼성전자주식회사 | 동기화 이더넷 시스템에서 지터없이 데이터를 전송하는 방법 |
WO2007002034A2 (en) * | 2005-06-20 | 2007-01-04 | Comcast Cable Holdings, Llc | Method and system of managing and allocating communication related resources |
US9544602B2 (en) | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
US8665967B2 (en) * | 2006-02-15 | 2014-03-04 | Samsung Electronics Co., Ltd. | Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels |
US7881258B2 (en) | 2006-03-22 | 2011-02-01 | Sibeam, Inc. | Mechanism for streaming media data over wideband wireless networks |
US8411581B2 (en) * | 2006-07-25 | 2013-04-02 | Broadcom Corporation | Method and system for medium access control (MAC) layer specialization for voice and multimedia data streams |
US7684430B2 (en) * | 2006-09-06 | 2010-03-23 | Hitachi, Ltd. | Frame-based aggregation and prioritized channel access for traffic over wireless local area networks |
US8861597B2 (en) | 2006-09-18 | 2014-10-14 | Sharp Laboratories Of America, Inc. | Distributed channel time allocation for video streaming over wireless networks |
WO2008046822A1 (en) * | 2006-10-16 | 2008-04-24 | Nokia Siemens Networks Gmbh & Co. Kg | Method for controlling retransmissions of multicast scalable data |
JP5197238B2 (ja) * | 2008-08-29 | 2013-05-15 | キヤノン株式会社 | 映像送信装置、その制御方法、および制御方法を実行するプログラム |
US8929443B2 (en) * | 2009-01-09 | 2015-01-06 | Microsoft Corporation | Recovering from dropped frames in real-time transmission of video over IP networks |
US20110058554A1 (en) * | 2009-09-08 | 2011-03-10 | Praval Jain | Method and system for improving the quality of real-time data streaming |
US8754900B2 (en) * | 2010-06-17 | 2014-06-17 | Thinci, Inc. | Processing of graphics data of a server system for transmission |
US9373152B2 (en) | 2010-06-17 | 2016-06-21 | Thinci, Inc. | Processing of graphics data of a server system for transmission including multiple rendering passes |
CN103229159A (zh) * | 2010-11-24 | 2013-07-31 | 安通斯公司 | 智能老化重试缓冲器 |
EP2665239B1 (en) | 2012-05-14 | 2016-08-31 | Alcatel Lucent | An adaptive streaming aware networks node, client and method with priority marking |
US9930082B2 (en) | 2012-11-20 | 2018-03-27 | Nvidia Corporation | Method and system for network driven automatic adaptive rendering impedance |
US10616086B2 (en) * | 2012-12-27 | 2020-04-07 | Navidia Corporation | Network adaptive latency reduction through frame rate control |
US9819604B2 (en) | 2013-07-31 | 2017-11-14 | Nvidia Corporation | Real time network adaptive low latency transport stream muxing of audio/video streams for miracast |
WO2015136781A1 (ja) * | 2014-03-11 | 2015-09-17 | セイコーインスツル株式会社 | 通信システム、電子機器、通信方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768527A (en) * | 1996-04-23 | 1998-06-16 | Motorola, Inc. | Device, system and method of real-time multimedia streaming |
JPH11196072A (ja) * | 1997-12-30 | 1999-07-21 | Sony Corp | 誤り訂正符号化方法及びその装置並びにデータ伝送方法 |
DE69938094T2 (de) * | 1998-11-30 | 2009-02-05 | Matsushita Electric Industries Co. Ltd., Kadoma | Paketwiederübertragungskontrolle mit Prioritätsinformationen |
US6335933B1 (en) * | 1999-05-21 | 2002-01-01 | Broadcom Homenetworking, Inc. | Limited automatic repeat request protocol for frame-based communication channels |
US7093028B1 (en) * | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
DE60020672T2 (de) * | 2000-03-02 | 2005-11-10 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zur Wiederholung der Videodatenrahmen mit Prioritätsstufen |
-
2001
- 2001-10-05 EP EP01123873A patent/EP1301041A1/en not_active Withdrawn
-
2002
- 2002-10-07 US US10/490,416 patent/US20050036546A1/en not_active Abandoned
- 2002-10-07 JP JP2003535471A patent/JP2005506007A/ja not_active Withdrawn
- 2002-10-07 WO PCT/EP2002/011225 patent/WO2003032643A2/en active Application Filing
- 2002-10-07 CN CNB028196805A patent/CN1320795C/zh not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008301139A (ja) * | 2007-05-31 | 2008-12-11 | Kddi Corp | 符号化画像に優先度を割り当てる映像データ送信装置、プログラム及び方法 |
JP2010529800A (ja) * | 2007-06-13 | 2010-08-26 | エヌエックスピー ビー ヴィ | 電子装置および保証型サービスを確実化する方法 |
WO2019107181A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 送信装置、送信方法、および受信装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1301041A1 (en) | 2003-04-09 |
WO2003032643A2 (en) | 2003-04-17 |
CN1320795C (zh) | 2007-06-06 |
US20050036546A1 (en) | 2005-02-17 |
WO2003032643A3 (en) | 2003-09-04 |
CN1565128A (zh) | 2005-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005506007A (ja) | 映像データ送信方法および装置 | |
JP4623616B2 (ja) | データ伝送方法および装置 | |
EP2061174B1 (en) | Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control | |
US7315898B2 (en) | Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program | |
US7707303B2 (en) | Method and devices for controlling retransmissions in data streaming | |
JP4116470B2 (ja) | メディア・ストリーミング配信システム | |
JP3757857B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP3590949B2 (ja) | データ伝送装置およびデータ伝送方法 | |
US7756127B2 (en) | Mobile terminal | |
US8516346B2 (en) | Packet transmission apparatus, communication system and program | |
US20030235196A1 (en) | Methods and systems for provision of streaming data services in an internet protocol network | |
CN102340535B (zh) | 数据传输方法、设备和系统 | |
US9641445B2 (en) | Communication apparatus, communication method, and program | |
JP2007515872A (ja) | 一般nackレポートブロックおよび消失rleレポートブロックを使用するフィードバックの提供 | |
EP1716672B1 (en) | Method, apparatus and computer program product for controlling data packet transmissions | |
JP2007324700A (ja) | 伝送制御方法 | |
EP1450535A1 (en) | A relay for hierarchical retransmissions in multimedia streaming | |
JP2004153610A (ja) | 動画像配信方法、無線端末、動画像配信制御装置、及び動画像配信システム | |
JP3848222B2 (ja) | 再送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050322 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071012 |