JP2008503119A - Apparatus and method for generating a transmission frame - Google Patents
Apparatus and method for generating a transmission frame Download PDFInfo
- Publication number
- JP2008503119A JP2008503119A JP2007515785A JP2007515785A JP2008503119A JP 2008503119 A JP2008503119 A JP 2008503119A JP 2007515785 A JP2007515785 A JP 2007515785A JP 2007515785 A JP2007515785 A JP 2007515785A JP 2008503119 A JP2008503119 A JP 2008503119A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- transmission
- reconstruction
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
第1の情報フレームと第2の情報フレームとを含む情報信号から送信フレームを生成するための装置であって、該第1の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第1の再構築歪み値を提供し、また該第2の情報フレームを置換フレームで置換する場合の再構築歪みを示す第2の再構築歪み値を提供するためのプロバイダー(105)と、該第1の再構築歪み値に応じて、または該第2の再構築値に応じて、該第1の情報フレームまたは該第2の情報フレームのいずれかを該送信フレームに導入するための手段(107)とを備える。本発明によると、レート歪みが最適化されたレート削減が達成可能である。 An apparatus for generating a transmission frame from an information signal including a first information frame and a second information frame, the first indicating a reconstruction distortion when the first information frame is replaced with a replacement frame A provider (105) for providing a second reconstruction distortion value, and indicating a second reconstruction distortion value when replacing the second information frame with a replacement frame; Means (107) for introducing either the first information frame or the second information frame into the transmission frame in response to the reconstruction distortion value of the second or the second reconstruction value With. According to the present invention, rate reduction with optimized rate distortion can be achieved.
Description
本発明は、電気通信分野、特に通信ネットワーク、例えばインターネット上の信号送信分野に関する。 The present invention relates to the field of telecommunications, in particular to the field of signal transmission on communication networks, for example the Internet.
インターネット、つまりリソースが多数のユーザによって共有されている任意のネットワークでのビデオストリーミングは、経路に沿った1つ以上のポイントにおいてネットワークノードの受信レートが発信レートよりも高くなり得るという問題に常に直面している。これはそのノードのバッファ占有量の増加、ひいてはパケット損失をもたらす。ビデオ信号については、発信リンクがサポートできるより多くのトラフィックが入ってくると、ビデオデータはより低いレートでトランスコード化されなければならないか、あるいは、ビデオパケットがドロップされなければならない。 Video streaming over the Internet, or any network where resources are shared by many users, always faces the problem that at one or more points along the path, the receiving rate of the network node can be higher than the outgoing rate. is doing. This leads to an increase in the buffer occupancy of the node and thus packet loss. For video signals, if more traffic comes in than the outgoing link can support, the video data must be transcoded at a lower rate or video packets must be dropped.
トランスコード化は計算量の点で負担が大きく、ランダムなフレームドロップが、ビデオ品質に悪影響を与える恐れがある。スケーラブルビデオは、ビデオビットストリームのそれ程重要でない部分を最初にドロップする機会を提供するが、こうするとトラフィックが大きくなるにつれてかなりのドロップが生じてしまう。 Transcoding is computationally expensive and random frame drops can adversely affect video quality. Scalable video provides the opportunity to drop less important parts of the video bitstream first, but this can cause significant drops as traffic increases.
ネットワークノードにおける優先順位機構と共にビデオパケットのサービス品質(QOS)ラベリングは、重要性がコントロールされたデータドロップを担っている。パケットのラベリング(つまり重要性)は送信前に送信者によって決定されて、実際の送信状況を反映していない。これは、パケットの重要性が送信経路にわたって変化する場合には不都合である。 The quality of service (QOS) labeling of video packets along with the priority mechanism at the network node is responsible for data drop with controlled importance. Packet labeling (ie importance) is determined by the sender prior to transmission and does not reflect the actual transmission situation. This is inconvenient if the importance of the packet varies across the transmission path.
以下例証として、ピクチャ構成グループ:IBBPBBP...を有する、時間スケーラビリティを備えたビデオストリームについて検討する。ネットワークノードがBフレームをドロップすると、他のフレームには影響しない。しかしながら、Iフレーム後のPフレームがドロップされると、次のIフレームまでの後続の全フレーム(BおよびPフレーム)が、ドロップしたフレームに左右されるため、影響されることになる。従って、最初のPフレームがドロップされることがわかっている場合、後続の全フレームの重要性が変化する。通常少数の異なる重要性ラベルのみがあるが、同一ラベルの異なるフレームは、受信機における再構築品質に対して異なる影響を依然として有することになる。 As an example, picture composition group: IBBPBBP. . . Consider a video stream with temporal scalability having When a network node drops a B frame, it does not affect other frames. However, if the P frame after the I frame is dropped, all subsequent frames (B and P frames) up to the next I frame are affected by the dropped frame, and thus are affected. Thus, if the first P frame is known to be dropped, the importance of all subsequent frames changes. Usually there are only a few different importance labels, but different frames of the same label will still have different effects on the reconstruction quality at the receiver.
C.Shannonによるレート歪み理論から既知であるように、レートが低下するにつれて情報歪みは増大する。この点において、用語「歪み」は、例えば特定のレートを有する信号のサンプルとレート低下後の信号のサンプルとの差についての何がしかの測度のことである。 C. As is known from Shannon's rate distortion theory, information distortion increases as the rate decreases. In this regard, the term “distortion” is some measure of the difference between, for example, a sample of a signal having a particular rate and a sample of the signal after the rate reduction.
例えばピクチャグループ内の特定のフレームがドロップされる場合、フレームドロップによって生じたレート低下に関連した歪みの増大が観察される。受信機において、欠落フレームと関連した情報損失は、隠蔽ストラテジーに際し、例えば、欠落フレームが備える何らかの情報を備える事前受信フレームを導入することによる欠落フレームの再構築時に、受信機において少なくとも部分的に補償可能である。従って、受信機において隠蔽ストラテジーを適用した後で得られる再構築歪みは、隠蔽ストラテジーを適用しない場合の歪みとは異なることがある。以下、用語「再構築歪み」は、隠蔽ストラテジーを適用した後、例えば欠落フレームを他のフレームで置換した後に受信機によって観察される結果として残る金融派生情報歪みのことである。 For example, when a particular frame within a picture group is dropped, an increase in distortion associated with the rate reduction caused by the frame drop is observed. At the receiver, the information loss associated with the missing frame is at least partially compensated at the receiver during the concealment strategy, for example during reconstruction of the missing frame by introducing a pre-received frame with some information that the missing frame comprises. Is possible. Therefore, the reconstruction distortion obtained after applying the concealment strategy at the receiver may be different from the distortion without applying the concealment strategy. Hereinafter, the term “reconstruction distortion” refers to the financial derivative information distortion that remains as a result of being observed by the receiver after applying a concealment strategy, for example after replacing a missing frame with another frame.
Ralph Keller、Sumi Choi、Dan Decasper、Marcel Dasen、George FankhauserおよびBernhard Plattnerは「An Active Router Architecture for Multicast Video Distribution,」Proc. Infocom 2000, Tel Aviv, Israel March 2000において、アクティブルーターで実現可能なスケーラブルビデオに対するドロップストラテジーについて説明している。しかしながら、ここに開示されているドロップストラテジーを適用した後に、歪みがかなり大きくなることがあるため、ドロップの決定はレート歪みが最適な方法ではなされない。G. Ravindra、N. Balakrishnan、K.R. Ramakrishannは「Active Router Approach for Selective Packet Discard of Streamed MPEG Video under Low Bandwidth Conditions,」Proc. ICME 2000, New York, July 2000において、既にドロップしたフレームに依存している全フレームを破棄するビデオフレームのドロップストラテジーについて開示している。しかしながら、ドロップの決定は、レート歪みが最適となる方法によって多数の同時ビデオストリームについて考慮することはないため、他のビデオストリームよりもかなり大きな歪みに遭うビデオストリームもある。 Ralph Keller, Sumi Choi, Dan Decasper, Marcel Dasen, George Fankhauser and Bernhard Plattner, “An Active Router Architecture for Multicast Video Distribution,” Proc. Infocom 2000, Tel Aviv, Israel March 2000 Describes the drop strategy for. However, after applying the drop strategy disclosed here, the distortion can be quite large, so the drop determination is not made in a way that rate distortion is optimal. G. Ravindra, N. Balakrishnan, and KR Ramakrishann rely on frames already dropped in "Active Router Approach for Selective Packet Discard of Streamed MPEG Video under Low Bandwidth Conditions," Proc. ICME 2000, New York, July 2000 A video frame drop strategy for discarding all frames is disclosed. However, the drop decision does not take into account a large number of simultaneous video streams in a way that rate distortion is optimal, so some video streams experience significantly more distortion than other video streams.
本発明の目的は、レート低下に対してレート歪みが最適化された概念を提供することである。 An object of the present invention is to provide a concept in which rate distortion is optimized for rate reduction.
この目的は、請求項1に記載の送信フレーム生成装置や、請求項14に記載の通信ネットワークノードや、請求項15に記載の送信信号生成装置や、請求項16に記載の欠落フレーム再構築装置や、請求項17に記載の送信フレーム生成方法や、請求項18に記載の転送方法や、請求項19に記載の送信信号生成方法や、請求項20に記載の欠落フレーム再構築方法や、請求項21に記載のコンピュータプログラムによって達成される。
The object is to provide a transmission frame generation device according to
本発明は、送信されない情報フレームが受信機において、置換フレーム、例えば事前送信された情報フレームと置換される場合に、情報フレームを送信するか否かの決定が、受信機で生じる追加の再構築歪みを考慮する際になされると、レート歪みが最適なレート低減が達成可能であるという見解に基づいている。すなわち、本発明は、フレーム損失を補償するために隠蔽ストラテジーを適用した後に受信機において生じる再構築歪みに関する情報を積極的に利用しており、例えば複数の情報フレームのうちの最小の再構築歪みに関連する特定の情報フレームのみが所望のレート低下を達成するために送信されない。 The present invention provides an additional reconstruction where the decision whether to transmit an information frame occurs at the receiver when a non-transmitted information frame is replaced at the receiver with a replacement frame, eg, a pre-transmitted information frame. When made when considering distortion, rate distortion is based on the view that an optimal rate reduction can be achieved. That is, the present invention actively uses information on reconstruction distortion that occurs at the receiver after applying a concealment strategy to compensate for frame loss, eg, minimum reconstruction distortion of multiple information frames. Only the specific information frame associated with is not transmitted to achieve the desired rate reduction.
例えば複数の情報フレームを備える情報信号が、情報信号と関連したデータレートをサポートしない通信リンクを介して送信される場合、レート低下が実行されることがある。本発明によると、情報信号が備える1サブセットの情報フレームのみを備える送信フレームが提供され、隠蔽ストラテジー、例えば他のフレームによる欠落フレームの置換が実行される場合に、送信フレームに導入されない情報フレームが、送信フレームに導入されない情報フレームごとに、受信機で観察され、結果として生じる追加の再構築歪みを積極的に利用する際に判断される。本発明により、特定のフレーム組み合わせのみが送信信号に導入されないように選択されることになり、これは、例えば隠蔽ストラテジーを実行する際に受信機において追加の再構築歪みが最小となることに関連している。このように、例えば最小の達成可能な追加の再構築歪みと関連したレート低下が達成可能である。 For example, if an information signal comprising a plurality of information frames is transmitted over a communication link that does not support the data rate associated with the information signal, rate reduction may be performed. According to the present invention, when a transmission frame including only a subset of information frames included in an information signal is provided and a concealment strategy, for example, replacement of a missing frame by another frame is performed, an information frame that is not introduced into the transmission frame is provided. For each information frame that is not introduced in the transmission frame, it is observed at the receiver and is determined when positively utilizing the resulting additional reconstruction distortion. According to the present invention, only certain frame combinations will be chosen not to be introduced into the transmitted signal, which is related to minimizing additional reconstruction distortion at the receiver, for example when performing a concealment strategy. is doing. In this way, a rate reduction associated with, for example, the minimum achievable additional reconstruction distortion can be achieved.
本発明はさらに、例えば共通通信リンクを介して送信される複数の情報信号に対する、ジョイントレート歪みが最適化されたレート低下の概念を提供する。本発明によると、いずれの情報信号のいずれの情報フレームが例えばドロップされるか否かに関する決定は、特定の情報信号の特定の情報フレームを送信せずに、選択された隠蔽ストラテジーに従って欠落情報フレームを別の置換フレームで置換することに関連した再構築歪み情報を積極的に利用する際に、全情報信号について一緒になされることがある。情報信号ごとのドロップパターンである、送信されない情報フレームを示すドロップパターンは、最小の追加の再構築歪みと関連したデータレートの必要なドロップが全部達成可能であるように決定される。すなわち、レート低減について、受信機における知覚品質に対する悪影響が最も小さい情報フレームのみが送信されないことになる。 The present invention further provides the concept of rate reduction with optimized joint rate distortion, for example for multiple information signals transmitted over a common communication link. According to the present invention, the determination as to which information frame of which information signal is dropped, for example, is determined by the missing information frame according to the selected concealment strategy without transmitting the specific information frame of the specific information signal. When actively using the reconstruction distortion information associated with substituting with another permutation frame, it may be done together for all information signals. The drop pattern for the information signal that is not transmitted, which is the drop pattern for each information signal, is determined such that all the required drops of the data rate associated with the minimum additional reconstruction distortion can be achieved. That is, only information frames that have the least adverse effect on the perceived quality at the receiver for rate reduction will not be transmitted.
本発明のレート歪みが最適化されたフレームドロップストラテジーは、例えば重いトラフィック負荷の場合のアクティブネットワークに適用可能である。本発明のアプローチは、ビットストリーム(例えばビデオビットストリーム)に伴って送信されるサイド情報に依存している。サイド情報は、特定のフレーム損失パターンが付与されたピクチャグループについて観察される、好ましくは平均二乗誤差の意味で再構築歪みについて記述する歪み行列に配列された各ピクチャの(バイト単位の)フレームサイズならびに歪み値を含有するレートベクトルからなってもよい。サービス品質に基づくアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と、優先順位に基づいたドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察され得て、これは例えば最大7dBの改良によって反映される。 The rate distortion optimized frame drop strategy of the present invention can be applied to an active network, for example, in case of heavy traffic loads. The approach of the present invention relies on side information transmitted with a bitstream (eg, a video bitstream). Side information is the frame size (in bytes) of each picture that is observed for a group of pictures given a particular frame loss pattern, preferably arranged in a distortion matrix that describes the reconstruction distortion in the sense of mean square error. As well as a rate vector containing distortion values. Contrary to the quality of service approach, the scheme of the present invention provides greater flexibility and supports dynamic frame importance control. When comparing the rate-distortion optimized drop concept of the present invention with a priority-based drop strategy, a fairly good reconstruction quality can be observed, which is reflected, for example, by an improvement of up to 7 dB. .
加えて、レート低下に対する本発明のレート歪みが最適化された概念によって、様々な送信特性に対してレートを動的に適応させることが可能になる。このために、さらに、例えば追加歪みと関連した予想フレームの損失レートを示すチャネルの状態に関する情報を、データレートの低下に関して考慮することが可能である。従来のレートの適応の機構と比較する場合、異なる情報信号、例えば異なるユーザの品質改良が達成可能である。さらに、提案されたレートが最適化されたレート低減スキームは、例えば再構築歪み値に関する情報がソース側で既に使用可能であるため、実現が容易である。さらに、クライアントソフトウェアの修正は必要ない。 In addition, the rate distortion optimized concept of the present invention for rate reduction allows the rate to be dynamically adapted to various transmission characteristics. To this end, information regarding the state of the channel indicating, for example, the loss rate of the expected frame associated with additional distortion can be taken into account with respect to the data rate reduction. When compared with conventional rate adaptation mechanisms, different information signals, for example quality improvements for different users, can be achieved. Furthermore, the proposed rate reduction scheme with optimized rate is easy to implement because, for example, information about the reconstruction distortion value is already available on the source side. Furthermore, no modification of client software is necessary.
本発明のさらなる利点は、かなりの複雑さおよび遅延増加と関連のあるトランスコード化が必要ないという点である。加えて、通信ネットワークのルーティングノードにおいて、異なる伝送の遅延や、転送される情報フレームを記憶するための有限のバッファサイズを考慮する目的に対して、簡単なドロップストラテジーが適用可能であるため、通信ネットワーク上において簡略化された送信スキームが達成可能である。さらに、本発明の機構を実現しないノードの再構築歪み値に関する追加情報のトランスペアレントな送信も達成可能である。 A further advantage of the present invention is that transcoding associated with considerable complexity and increased delay is not required. In addition, a simple drop strategy can be applied to the purpose of considering different transmission delays and a finite buffer size for storing transferred information frames in the communication network routing node. A simplified transmission scheme can be achieved over the network. Furthermore, transparent transmission of additional information regarding the reconstruction distortion values of nodes that do not implement the mechanism of the present invention can also be achieved.
本発明のさらなる利点は、ユーザが知覚する品質全体が、サービス履歴を積極的に考慮する際に、レート低減パターンに関する以前の良好でない決定についての知識に基づいて決定が行なわれる恐れがあるということを利用することによって達成可能である。 A further advantage of the present invention is that the overall quality perceived by the user may be determined based on knowledge of previous bad decisions regarding rate reduction patterns when actively considering the service history. This can be achieved by using.
本発明のさらなる利点は、本発明のレートが最適化されたレート低下の概念が、実現の複雑さが少なく、よって低コストであることのみと関連している。 A further advantage of the present invention is only related to the fact that the rate-optimized concept of the present invention is less complex to implement and therefore less expensive.
本発明のさらなる実施形態について以下の図面を参照して詳細に説明する。 Further embodiments of the present invention will be described in detail with reference to the following drawings.
図1は、情報信号から送信フレームを生成するための本発明の装置のブロック図を示している。図1に示されるように、情報信号は第1の情報フレーム101と第2の情報フレーム103とを備え、これらは例証として時間に関して配列されている。
FIG. 1 shows a block diagram of the inventive apparatus for generating a transmission frame from an information signal. As shown in FIG. 1, the information signal comprises a
この装置は、再構築歪み値を提供するためのプロバイダー105を備え、プロバイダー105は、第1の情報フレームまたは第2の情報フレームのいずれかを送信フレームに導入するための手段107に結合されている。導入手段107は、情報信号を受信するための入力と、送信フレームを提供するための出力とを備える。 The apparatus comprises a provider 105 for providing a reconstruction distortion value, and the provider 105 is coupled to a means 107 for introducing either a first information frame or a second information frame into a transmission frame. Yes. The introducing means 107 comprises an input for receiving an information signal and an output for providing a transmission frame.
一般的に、導入手段107は、M個の情報フレームのうちのN個の情報フレームを送信フレームに導入するように構成されてもよい。ここでMはN以上の数字であり、Mは情報信号が備える情報フレーム数を示している。 In general, the introducing means 107 may be configured to introduce N information frames out of M information frames into the transmission frame. Here, M is a number equal to or greater than N, and M indicates the number of information frames included in the information signal.
図1に示された装置は、レート歪みが最適化された方法で情報信号から送信フレームを生成するように構成される。このために、プロバイダー105は、第1の情報フレームを置換フレームで置換する場合の再構築歪みを示す第1の再構築歪み値を提供し、第2の情報フレームを置換フレームで置換する場合の再構築歪みを示す第2の再構築歪み値を提供するように構成される。例えば、第1の再構築歪み値は、例えば受信機によって受信される先行情報フレームで第1の情報フレームを置換する場合の再構築歪みを示す。従って、第2の再構築歪み値は、例えば受信機によって受信されたさらなる先行情報フレームで第2の情報フレームが置換される場合の再構築歪みを示してもよい。 The apparatus shown in FIG. 1 is configured to generate a transmission frame from an information signal in a rate-distortion optimized manner. To this end, the provider 105 provides a first reconstruction distortion value indicating a reconstruction distortion when replacing the first information frame with a replacement frame, and replacing the second information frame with a replacement frame. It is configured to provide a second reconstruction distortion value indicative of the reconstruction distortion. For example, the first reconstruction distortion value indicates the reconstruction distortion when replacing the first information frame with a preceding information frame received by the receiver, for example. Thus, the second reconstruction distortion value may indicate the reconstruction distortion when the second information frame is replaced with, for example, a further preceding information frame received by the receiver.
レート低下を達成するために、手段107は、第1の再構築歪み値に応じて、または第2の再構築歪み値に応じて第1の情報フレームまたは第2の情報フレームのいずれかを送信フレームに導入するように構成される。 In order to achieve the rate reduction, the means 107 transmits either the first information frame or the second information frame in response to the first reconstruction distortion value or in response to the second reconstruction distortion value. Configured to be introduced into the frame.
一般的に、プロバイダー105は、情報信号が備える情報フレームを任意の置換フレームで置換する場合の複数の再構築歪みを示す複数の再構築歪み値を提供するように構成されることができるため、提供された再構築歪み値に基づいて、導入手段107は、情報信号が備える1セットの情報フレームのうちの特定の1つのサブセットの情報フレームのみを送信フレームに導入してもよく、この場合、1サブセットの導入されない情報フレームは、例えば、欠落している(つまり送信されない)フレームが情報を再構築するために先行フレームで置換される場合に受信機で観察される最小の追加の再構築歪みに関連している。 In general, the provider 105 can be configured to provide a plurality of reconstruction distortion values indicating a plurality of reconstruction distortions when replacing an information frame included in the information signal with an arbitrary replacement frame, Based on the provided reconstruction distortion value, the introducing means 107 may introduce only a specific subset of information frames of the set of information frames included in the information signal into the transmission frame, in this case, A subset of unintroduced information frames may be, for example, the minimum additional reconstruction distortion observed at the receiver when a missing (ie, not transmitted) frame is replaced with a previous frame to reconstruct the information. Is related to.
例えば、導入手段107は、最適化目的に応じて第1の情報フレームまたは第2の情報フレームのいずれかを送信フレームに導入するように構成されており、この場合、最適化目的は、ジョイントレートおよび追加の再構築歪みの低減であってもよい。例えば、最適化目的は、隠蔽ストラテジーを実行する際、例えば送信フレームを他のフレームで置換する際に受信機で観察されるレート低減と追加の再構築歪みとのトレードオフであってもよい。 For example, the introduction unit 107 is configured to introduce either the first information frame or the second information frame into the transmission frame according to the optimization purpose. In this case, the optimization purpose is the joint rate. And a reduction in additional reconstruction distortion. For example, the optimization objective may be a trade-off between rate reduction and additional reconstruction distortion observed at the receiver when performing a concealment strategy, eg, replacing a transmitted frame with another frame.
例えば、送信フレームに導入されない情報フレームはドロップ可能である。しかしながら、現在の送信フレームに含まれない情報フレームは事前記憶することができるため、情報損失を少なくするために、その含まれないフレームを例えば以下の時間定数で以下の送信フレームに導入することも可能である。 For example, an information frame that is not introduced into a transmission frame can be dropped. However, since information frames that are not included in the current transmission frame can be stored in advance, in order to reduce information loss, frames that are not included may be introduced into the following transmission frames with the following time constant, for example. Is possible.
本発明のさらなる態様によると、導入手段107は、レートおよび追加の再構築歪みを低減するために情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するように構成されてもよい。例えば、導入手段107は、情報信号に含まれ、かつ送信フレームに導入されないフレームの組合せを示すドロップパターンを決定するように構成されてもよい。従って、挿入手段107は、情報信号のうちのいずれの情報フレームが送信のために送信フレームに導入されるかを決定するように構成されてもよい。このために、導入手段107は、いずれの情報フレームが送信フレームに導入されないのかを決定する手段を備えてもよいため、例えば最小の追加の再構築歪みと関連したレート低減が達成可能である。 According to a further aspect of the invention, the introducing means 107 may be configured to determine which information frames of the information signal are not introduced into the transmission frame in order to reduce the rate and the additional reconstruction distortion. Good. For example, the introducing unit 107 may be configured to determine a drop pattern indicating a combination of frames that are included in the information signal and that are not introduced into the transmission frame. Accordingly, the insertion means 107 may be configured to determine which information frame of the information signal is introduced into the transmission frame for transmission. To this end, the introducing means 107 may comprise means for determining which information frames are not introduced into the transmission frame, so that for example a rate reduction associated with minimal additional reconstruction distortion can be achieved.
一般的に、情報信号は複数の情報フレームを備えてもよく、この場合プロバイダー105は、情報フレームを置換フレームによって置換する場合の異なる再構築歪みを示す異なる再構築歪み値を提供するように構成してもよい。この場合、導入手段107は、レートおよび追加再構築歪みの低下に対して、送信フレームに導入されない情報フレームの組み合わせを示す低下パターンを判断するように構成してもよい。 In general, an information signal may comprise multiple information frames, in which case provider 105 is configured to provide different reconstruction distortion values indicative of different reconstruction distortions when replacing the information frame with a replacement frame. May be. In this case, the introduction unit 107 may be configured to determine a reduction pattern indicating a combination of information frames that are not introduced into the transmission frame with respect to a reduction in the rate and additional reconstruction distortion.
例えば、情報信号はさらに第3の情報フレームを備えてもよく、この場合プロバイダー105は、第3の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第3の再構築歪み値を提供するように構成されてもよい。第3の再構築歪み値を考慮する際に、導入手段107は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するように構成されてもよいため、レートおよび追加再構築歪みの低減はレート歪みが最適化された方法で達成可能である。 For example, the information signal may further comprise a third information frame, in which case provider 105 provides a third reconstruction distortion value indicative of the reconstruction distortion when replacing the third information frame with a replacement frame. It may be configured to. In considering the third reconstruction distortion value, the introduction means 107 may be configured to determine which information frames of the information signal are not introduced into the transmission frame, so that the rate and the additional reconstruction The reduction of construction distortion can be achieved in a way that rate distortion is optimized.
情報信号のうちのいずれの情報フレームが送信フレームに導入されないかを決定するために、導入手段107はコスト関数を最小化するように構成されてもよく、レート低減は、選択された情報フレームを送信しない場合、および例えば受信機において送信された選択情報フレームを他の情報フレームで置換する場合に生じる追加の再構築歪みに関連した最小コストによって達成可能である。 In order to determine which information frames of the information signal are not introduced into the transmission frame, the introducing means 107 may be configured to minimize the cost function, and the rate reduction is performed by selecting the selected information frame. This can be achieved by the minimum cost associated with the additional reconstruction distortion that would otherwise occur when not transmitting and, for example, replacing selected information frames transmitted at the receiver with other information frames.
本発明のさらなる態様では、図1に示された本発明の装置はさらに、情報信号のフレーム、いずれのフレームが送信信号に導入されるか否かを選択する選択器を備えてもよい。例えば、後に選択された情報フレームは送信フレームに直接導入可能であるため、送信フレームにおいては、情報信号において選択されたフレームの出現順位を維持することが可能である。しかしながら、導入手段107は、送信フレームにおける選択情報フレームの出現順位を再配列し、フレームレートに応じて、例えば降順または昇順フレームレート順位で選択フレームを配列するように構成されてもよい。このために、例えばネットワーク構成や、現在使用可能な帯域を考慮することが可能である。 In a further aspect of the present invention, the apparatus of the present invention shown in FIG. 1 may further comprise a selector for selecting a frame of the information signal, which frame is to be introduced into the transmission signal. For example, since the information frame selected later can be directly introduced into the transmission frame, it is possible to maintain the appearance order of the frame selected in the information signal in the transmission frame. However, the introducing unit 107 may be configured to rearrange the appearance order of the selection information frames in the transmission frame and arrange the selection frames in, for example, descending order or ascending order frame rate order according to the frame rate. For this purpose, it is possible to consider, for example, the network configuration and the currently available bandwidth.
本発明のさらなる態様によると、導入手段107は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために、あるいはいずれの情報フレームが送信フレームに導入されるのかを決定するために、最適化問題を解決するように構成してもよい。最適化問題はコスト関数として構築されることがあり、これは、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを決定するために最小化される。コスト関数は例えば、データレート削減と関連した追加コストとして追加の再構築歪みを反映することがある。しかしながら、コスト関数はさらに、全低下(または破棄)フレームを考慮する場合にレート低減と、全再構築歪みの追加増加との組み合わせを反映することがある。 According to a further aspect of the invention, the introducing means 107 determines which information frame of the information signal is not introduced into the transmission frame or which information frame is introduced into the transmission frame. In order to do so, the optimization problem may be solved. The optimization problem may be constructed as a cost function, which is minimized to determine which information frames of the information signal are not introduced into the transmission frame. The cost function may reflect additional reconstruction distortion as an additional cost associated with data rate reduction, for example. However, the cost function may also reflect a combination of rate reduction and an additional increase in total reconstruction distortion when considering all degraded (or discarded) frames.
導入手段107は、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのかを判断するために、コスト関数を最小化するように構成されてもよい。 The introducing means 107 may be configured to minimize the cost function in order to determine which information frame of the information signal is not introduced into the transmission frame.
本発明のさらなる態様によると、導入手段107は、特定の再構築歪みと関連した特定のデータレートの低減に対していずれのフレーム結合が送信信号に導入されないのかを判断するために、例えば所定のフレーム結合を参照するように構成されてもよい。所定の設定は例えば、上記コスト関数のいずれかを最小にすることによってアプリオリに算出されてもよい。低下されるフレーム結合を示す事前に算出された設定は、例えば必要なデータレート低下に応じて扱われることがある。従って、特定のフレーム結合や特定のフレームは、例えば受信機において隠蔽ストラテジーを適用する場合の最小の追加の再構築歪みを得ながら最大のレート低減を達成するために、特定のフレームの組合せまたは特定のフレームをドロップさせるように迅速に判断可能である。 According to a further aspect of the invention, the introducing means 107 determines, for example, a predetermined combination of frames to be introduced into the transmitted signal for a specific data rate reduction associated with a specific reconstruction distortion. It may be configured to refer to a frame combination. For example, the predetermined setting may be calculated a priori by minimizing any one of the cost functions. A pre-calculated setting that indicates a reduced frame combination may be handled, for example, depending on the required data rate reduction. Thus, a specific frame combination or a specific frame may be a specific frame combination or specific to achieve maximum rate reduction while obtaining the minimum additional reconstruction distortion when applying concealment strategies at the receiver, for example. It is possible to quickly determine to drop the frame.
本発明のさらなる態様によると、導入手段107は、算出手段によってコスト関数を最小にするように構成されてもよい。例えば、導入手段107はドロップされる全ての可能なフレームの組合せを判断して、レート低下およびこれと関連する追加の再構築歪みを判断して、コスト関数が最小となるようにドロップされる特定のフレームの組合せを選択してもよい。 According to a further aspect of the invention, the introducing means 107 may be configured to minimize the cost function by the calculating means. For example, the introductory means 107 determines all possible frame combinations that are dropped, determines the rate drop and the additional reconstruction distortion associated therewith, and identifies that are dropped so that the cost function is minimized. A combination of frames may be selected.
例えば、コスト関数は、情報信号のうちの特定の情報フレームを送信フレームに導入しないことに関連した再構築歪み値と、特定のフレームを導入しない場合に保存されるビット数との差を備えることがある。すなわち、コスト関数は、受信機において隠蔽ストラテジーを実行した後に特定の情報フレームを送信しない場合の再構築歪み値とデータレートの低下との差を備えることがある。導入手段107はこの場合、コスト関数が最小となるような特定の情報フレームを決定するように構成されてもよい。 For example, the cost function comprises the difference between the reconstruction distortion value associated with not introducing a particular information frame of the information signal into the transmission frame and the number of bits stored if the particular frame is not introduced. There is. That is, the cost function may comprise the difference between the reconstruction distortion value and the data rate decrease when a specific information frame is not transmitted after executing a concealment strategy at the receiver. In this case, the introducing means 107 may be configured to determine a specific information frame that minimizes the cost function.
上記実施形態では、レート歪みが最適化されたレート低下に関する本発明の概念を、単一のユーザシナリオ、つまり複数の情報フレームを有する単一の情報信号に関して取り扱った。しかしながら、本発明の概念はまた、例えば複数のユーザと関連した複数の情報信号に適用することができ、この場合、複数の情報信号が、各々が複数の情報フレームを備え、共有媒体を介して、例えば遠隔受信機への共通通信リンクを介して送信される。 In the above embodiments, the inventive concept of rate reduction with optimized rate distortion has been dealt with for a single user scenario, ie a single information signal with multiple information frames. However, the inventive concept can also be applied to, for example, a plurality of information signals associated with a plurality of users, in which case the plurality of information signals each comprise a plurality of information frames via a shared medium. For example, via a common communication link to a remote receiver.
本発明のさらなる態様によると、本発明の装置は、さらなる情報信号からさらなる送信フレームをさらに生成するように構成されることができ、この場合、このさらなる情報信号は、さらなる第1の情報フレームとさらなる第2の情報フレームとを備える。すなわち、さらなる情報信号は、情報信号について上述したように、複数のフレームを備えてもよい。好ましくは、提供手段105は、さらなる第1の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第1の再構築歪み値を提供するように、かつさらなる第2の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第2の再構築歪み値を提供するように構成される。 According to a further aspect of the present invention, the apparatus of the present invention may be configured to further generate a further transmission frame from the further information signal, in which case this further information signal may be a further first information frame and A further second information frame. That is, the further information signal may comprise a plurality of frames as described above for the information signal. Preferably, the providing means 105 provides a further first reconstruction distortion value indicative of the reconstruction distortion when replacing the further first information frame with a replacement frame and replacing the further second information frame It is configured to provide a further second reconstruction distortion value indicative of the reconstruction distortion when replaced by a frame.
従って、導入手段107は、さらなる第1の再構築歪み値に応じて、またはさらなる第2の再構築歪み値に応じてさらなる第1の情報フレームまたはさらなる第2の情報フレームのいずれかをさらなる送信フレームに導入するように構成されてもよい。 Thus, the introducing means 107 further transmits either a further first information frame or a further second information frame in response to a further first reconstruction distortion value or in response to a further second reconstruction distortion value. It may be configured to be introduced into the frame.
レートおよび追加再構築歪みの低減について、さらなる情報信号のうちのいずれの情報フレームがさらなる送信信号に導入されないのかを決定するために、導入手段107は例えば、例えばさらなる情報信号が有するフレームの破棄と関連した再構築歪み値を参照するように構成されてもよい。 For the purpose of reducing the rate and the additional reconstruction distortion, in order to determine which information frames of the further information signal are not introduced into the further transmission signal, the introducing means 107 may e.g. discard frames that the further information signal has It may be configured to reference an associated reconstruction distortion value.
従って、さらなる情報信号はさらなる第3の情報フレームを備えてもよく、この場合、プロバイダー105は、さらなる第3の情報フレームを置換フレームで置換する場合のさらなる第3の再構築歪み値を提供するように構成されてもよい。一般的に、さらなる情報信号は複数のさらなる情報フレームを備えてもよく、この場合、プロバイダー105は複数のさらなる再構築歪み値を提供するように構成されており、さらなる再構築歪み値のそれぞれは、例えばフレーム置換に応じた隠蔽ストラテジーを適用する場合に受信機においてさらなる情報信号の関連情報フレームを別の置換フレームで置換する際の追加の再構築歪みと関連している。例えば、置換フレームは同じ種類の事前送信済みフレーム、例えばピクチャグループのBフレームやPフレームであってもよい。同様の事柄が情報信号に当てはまる。 Thus, the additional information signal may comprise an additional third information frame, in which case provider 105 provides an additional third reconstruction distortion value when replacing the additional third information frame with a replacement frame. It may be configured as follows. In general, the further information signal may comprise a plurality of further information frames, in which case provider 105 is configured to provide a plurality of further reconstruction distortion values, each of the further reconstruction distortion values being This is associated with additional reconstruction distortion when replacing a related information frame of a further information signal with another replacement frame at the receiver, for example when applying a concealment strategy according to frame replacement. For example, the replacement frame may be a pre-transmitted frame of the same type, for example, a B frame or a P frame of a picture group. Similar considerations apply to information signals.
一般的に、導入手段107は、レートおよび追加再構築歪み低下についてさらなる送信信号に導入されない情報フレーム(例えば低下パターン)の組み合わせを判断するように構成されてもよい。 In general, the introduction means 107 may be configured to determine a combination of information frames (eg, reduction patterns) that are not introduced into further transmission signals for rate and additional reconstruction distortion reduction.
上記説明によると、導入手段107はさらに、さらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを判断するためにコスト関数を最小にするように構成されてもよい。 According to the above description, the introducing means 107 may be further configured to minimize the cost function in order to determine which information frames of the further information signal are not introduced into the further transmission frame.
さらにまた、導入手段107は、ジョイントレートおよび追加再構築歪み低下について、情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを共に決定するように構成されてもよい。すなわち、全追加命令歪み低下と関連した全レート低下が考慮される。これは例えば、送信フレームおよびさらなる送信フレームが共通通信リンクを介して、例えば共有媒体を介して送信される場合に好都合である。この場合、共通通信リンクの帯域は全使用可能なデータレートを決定する。 Furthermore, the introduction means 107 determines which information frame of the information signal is not introduced into the transmission frame and which information frame of the further information signal is a further transmission frame for the joint rate and the additional reconstruction distortion reduction. It may be configured to determine together whether or not to be introduced. That is, a reduction in the total rate associated with a reduction in total additional instruction distortion is taken into account. This is advantageous, for example, if the transmission frame and further transmission frames are transmitted via a common communication link, for example via a shared medium. In this case, the bandwidth of the common communication link determines all usable data rates.
一般的に、複数の情報信号は、割り当てられたネットワークリソース、例えば帯域や送信電力に関して情報信号、例えばユーザ間の公正を同時に考慮する際に、情報信号ごとに適切なドロップパターンを判断するために、共に考慮されてもよい。 In general, multiple information signals are used to determine an appropriate drop pattern for each information signal when considering information signals such as bandwidth and transmission power, eg, fairness among users at the same time. , May be considered together.
送信フレームおよびさらなる送信フレームが共通通信リンクを介して送信される場合、本発明の装置は、情報信号の情報フレームと、さらなる情報信号の情報フレームとを待ち行列にする(enqueuing)ためのバッファを備えてもよく、この場合判断手段107は、バッファ長に応じて、またはバッファ容量に応じて情報信号のうちのいずれの情報フレームが送信フレームに導入されないのか、かつさらなる情報信号のうちのいずれの情報フレームがさらなる送信フレームに導入されないのかを決定するように構成されてもよい。 When a transmission frame and a further transmission frame are transmitted over a common communication link, the apparatus of the present invention provides a buffer for queuing the information frame of the information signal and the information frame of the further information signal. In this case, the determination means 107 determines which information frame of the information signal is not introduced into the transmission frame according to the buffer length or according to the buffer capacity, and which of the further information signals It may be configured to determine whether an information frame is not introduced in a further transmission frame.
本発明のさらなる態様によると、導入手段107は、情報信号のうちのいずれの情報フレームが送信フレームに導入されるか、かつコスト関数を最小にすることによってさらなる情報信号のうちのいずれの情報フレームがさらなる情報フレームに導入されるかを決定するように構成されてもよい。 According to a further aspect of the invention, the introducing means 107 determines which information frame of the information signal is introduced into the transmission frame and which information frame of the additional information signal by minimizing the cost function. May be configured to be introduced in further information frames.
コスト関数は例えば、情報信号の特定のフレームを送信フレームに導入しないことと関連した再構築歪み値と、さらなる情報信号の特定のフレームをさらなるフレームに導入しないことと関連した再構築歪み値との第1の合計と、情報信号の特定のフレームを送信フレームに導入しない場合に保存されるビット数と、さらなる情報信号の特定のフレームをさらなる送信フレームに導入しない場合に保存されるビット数との第2の合計との差を備えることがある。すなわち、第1の合計は、送信されない情報フレームを置換フレームで置換することと関連した再構築歪み値の合計を備え、第2の合計は、情報フレームを送信しない場合に保存される全ビットまたはバイト数を備える。そして導入手段107は、コスト関数が最小となるように、情報信号の特定のフレームとさらなる情報信号の特定のフレームとを決定するように構成される。この問題について詳細に後述する。 The cost function may be, for example, a reconstruction distortion value associated with not introducing a particular frame of an information signal into a transmission frame, and a reconstruction distortion value associated with not introducing a particular frame of an additional information signal into an additional frame. A first sum, a number of bits stored when a specific frame of the information signal is not introduced into the transmission frame, and a number of bits stored when a specific frame of the further information signal is not introduced into the further transmission frame. May have a difference from the second sum. That is, the first sum comprises the sum of the reconstruction distortion values associated with replacing information frames that are not transmitted with replacement frames, and the second sum is all bits stored if no information frames are transmitted or Provide the number of bytes. The introducing means 107 is then configured to determine a specific frame of the information signal and a specific frame of the further information signal so that the cost function is minimized. This problem will be described in detail later.
本発明のさらなる態様によると、導入手段107はさらに、コスト関数をセットアップするように構成されてもよい。例えば、導入手段107は、上記の合計および/または合計の差を決定するように構成されてもよい。 According to a further aspect of the invention, the introducing means 107 may further be configured to set up a cost function. For example, the introduction means 107 may be configured to determine the sum and / or the difference between the sums.
ラグランジュコスト関数であってもよいコスト関数を最小にするために、本装置はさらに、いずれの情報フレームが送信フレームに導入されないのか、あるいはいずれのさらなる情報フレームがさらなる送信フレームに導入されないのかを判断するための最適化器を備えてもよい。 In order to minimize the cost function, which may be a Lagrangian cost function, the apparatus further determines which information frame is not introduced into the transmission frame or which further information frame is not introduced into the further transmission frame. An optimizer may be provided.
本発明のさらなる態様によると、導入手段107はさらに、フレーム情報、例えばサイド情報を送信フレームに導入するように構成されてもよく、フレーム情報は、送信フレームに導入されない情報フレームの種類を示している。例えば、フレーム情報は、ビデオ信号の場合については、Iフレーム、またはBフレーム、あるいはPフレームが送信フレームに導入されなかったか否かを示す。 According to a further aspect of the invention, the introducing means 107 may be further configured to introduce frame information, eg side information, into the transmission frame, the frame information indicating the type of information frame not introduced into the transmission frame. Yes. For example, the frame information indicates whether or not an I frame, a B frame, or a P frame has been introduced into the transmission frame in the case of a video signal.
再構築歪み値を導入手段107に提供するために、プロバイダー105はこれを受信するように、例えば、遠隔送信機が、通信ネットワーク上で再構築歪み値または再構築歪み値を示す情報を送信するように構成される場合に遠隔送信機から第1の再構築歪み値または第2の再構築歪み値を受信するように構成されてもよい。 In order to provide the reconstruction distortion value to the introduction means 107, for example, the remote transmitter transmits information indicating the reconstruction distortion value or the reconstruction distortion value over the communication network so that the provider 105 receives it. May be configured to receive a first reconstruction distortion value or a second reconstruction distortion value from a remote transmitter.
しかしながら、プロバイダー105は、情報信号の第1の情報フレームまたは第2の情報フレームが備える情報の種類から第1の再構築歪み値または第2の再構築歪み値を推定するように構成されてもよい。この点において、用語「情報フレームの種類」は、情報フレームが備える情報の種類のことをいう。例えば、ビデオ信号の場合やピクチャの場合、情報の種類を示す情報とは例えばビデオフレームのタイプのことをいう。同様の事項がさらなる情報信号の場合、一般的に複数の情報信号に当てはまり、各情報信号は複数の情報フレームを備える。 However, the provider 105 may be configured to estimate the first reconstruction distortion value or the second reconstruction distortion value from the type of information included in the first information frame or the second information frame of the information signal. Good. In this respect, the term “information frame type” refers to the type of information provided in the information frame. For example, in the case of a video signal or a picture, the information indicating the type of information refers to the type of a video frame, for example. The same applies for further information signals, generally for a plurality of information signals, each information signal comprising a plurality of information frames.
加えて、プロバイダー105は、第1の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供し、また第2の情報フレームを異なる置換フレームで置換する場合に、各々が再構築歪みを示す複数の再構築歪み値を提供するように構成されてもよい。すなわち、プロバイダー105は、例えば特定の情報フレームを全ての可能な置換フレームで置換する場合の再構築歪み値を決定するように構成されてもよい。 In addition, when the provider 105 replaces the first information frame with a different replacement frame, the provider 105 provides a plurality of reconstruction distortion values, each indicating a reconstruction distortion, and the second information frame with a different replacement frame. When replacing, it may be configured to provide a plurality of reconstruction distortion values, each indicating a reconstruction distortion. That is, provider 105 may be configured to determine a reconstruction distortion value, for example, when replacing a particular information frame with all possible replacement frames.
本発明のさらなる態様では、プロバイダー105は再構築歪み値を決定するように構成されてもよい。例えば、プロバイダー105は、受信機において適用された隠蔽ストラテジー、例えばフレーム置換をエミュレートするように構成されてもよい。プロバイダー105は、低下されるフレームを特定の置換フレームであって、例えば同種の事前送信されたフレームで置換するように、かつ再構築歪みを決定するために置換フレームを備える派生情報信号を復号化するように構成されてもよい。例えば、再構築歪みを判断するために適用される復号スキームは、受信機において適用されるソース復号スキームであってもよい。加えて、プロバイダー105は、再構築歪み値を決定するために隠蔽ストラテジーを適用した後、オリジナルの情報信号を復号化し、復号化されたオリジナル情報信号を結果として得られる復号情報信号と比較してもよい。 In a further aspect of the invention, the provider 105 may be configured to determine a reconstruction distortion value. For example, provider 105 may be configured to emulate a concealment strategy applied at the receiver, eg, frame replacement. Provider 105 decodes the derived information signal to replace the degraded frame with a specific replacement frame, eg, with a similar pre-transmitted frame, and with the replacement frame to determine reconstruction distortion It may be configured to. For example, the decoding scheme applied to determine reconstruction distortion may be a source decoding scheme applied at the receiver. In addition, the provider 105 applies the concealment strategy to determine the reconstruction distortion value, then decodes the original information signal and compares the decoded original information signal with the resulting decoded information signal. Also good.
本発明はさらに、情報信号から送信信号を生成するための装置を提供し、ここで情報信号は上述のように情報フレームを備える。 The invention further provides an apparatus for generating a transmission signal from an information signal, wherein the information signal comprises an information frame as described above.
本発明の装置は、情報フレームを置換フレームによって置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーを備えてもよい。例えば、送信信号生成装置は上記プロバイダーを備えてもよい。 The apparatus of the present invention may comprise a provider for providing a reconstruction distortion value indicative of a reconstruction distortion when replacing an information frame with a replacement frame. For example, the transmission signal generation device may include the provider.
加えて、本発明の装置は、送信信号を取得するために情報信号と再構築歪み値とを組合せる結合器を備えてもよい。 In addition, the apparatus of the present invention may comprise a combiner that combines the information signal and the reconstructed distortion value to obtain the transmitted signal.
プロバイダーはさらに、再構築歪み値を決定するための手段を備えてもよく、ここで判断手段は、情報フレームをさらなる置換フレームで置換する場合のさらなる再構築歪み値を決定するように構成されてもよい。 The provider may further comprise means for determining a reconstruction distortion value, wherein the determining means is configured to determine a further reconstruction distortion value when replacing the information frame with a further replacement frame. Also good.
加えて、判断手段は、再構築歪み値を決定するためにMSE歪み値を決定するように構成されてもよい。 In addition, the determining means may be configured to determine an MSE distortion value to determine a reconstructed distortion value.
例えば、決定手段は、情報フレームを先行情報フレームで置換する場合に生じる再構築歪み値を決定断するように構成されてもよい。 For example, the determining means may be configured to determine and reconstruct a reconstruction distortion value that occurs when an information frame is replaced with a preceding information frame.
本発明のさらなる態様によると、判断手段は、再構築歪み値を決定するために、情報フレームを置換フレームで置換することによって情報信号から得られたテスト信号を復号化するように構成されてもよい。例えば情報信号がオリジナル信号をソースコード化することにより生じる場合、決定手段は、再構築歪み値を決定するために、テスト信号をソース復号化して、ソース復号化されたテスト信号をオリジナル信号と比較するように構成されてもよい。 According to a further aspect of the invention, the determining means may be configured to decode the test signal obtained from the information signal by replacing the information frame with a replacement frame to determine a reconstruction distortion value. Good. For example, if the information signal is generated by source-coding the original signal, the determining means source-decodes the test signal and compares the source-decoded test signal with the original signal to determine the reconstruction distortion value It may be configured to.
送信信号生成装置が備える決定手段の機能性はまた、上記導入手段が備える決定手段も備えてもよい点に注目すべきである。 It should be noted that the functionality of the decision means provided in the transmission signal generator may also comprise the decision means provided in the introduction means.
加えて、送信信号生成装置は、情報信号を取得するためにオリジナル信号をソースコード化するソースコーダーを備えてもよく、この場合ソースコーダーは、隠蔽ストラテジー、例えばフレーム置換と関連した再構築歪み値を決定するように構成される。 In addition, the transmission signal generator may comprise a source coder that source codes the original signal to obtain an information signal, in which case the source coder may use a concealment strategy, eg a reconstruction distortion value associated with frame replacement. Configured to determine.
加えて、結合器は、送信信号を取得するために、再構築歪み値を情報フレームに付加するように構成されてもよい。 In addition, the combiner may be configured to add the reconstructed distortion value to the information frame to obtain the transmitted signal.
装置はさらに、さらなる情報信号からさらなる送信信号を生成するように構成されてもよく、情報信号はさらなる情報フレームを備え、この場合プロバイダーは、さらなる情報フレームを置換フレームで置換する場合に生じる再構築歪み値を提供するように構成されてもよい。さらに、結合器は、さらなる送信信号を取得するためにさらなる情報信号と再構築歪み値とを結合するように構成されてもよい。 The apparatus may further be configured to generate a further transmission signal from the further information signal, the information signal comprising a further information frame, in which case the provider reconstructs when replacing the further information frame with a replacement frame It may be configured to provide a distortion value. Further, the combiner may be configured to combine the further information signal and the reconstructed distortion value to obtain a further transmitted signal.
通信について、装置はさらに、送信信号を送信したり、さらなる送信信号を送信したりするための送信機を備えてもよい。 For communication, the apparatus may further comprise a transmitter for transmitting transmission signals or transmitting further transmission signals.
本発明はさらに、情報信号を受信するための受信機と、上述のような情報信号から送信フレームを生成するための装置と、送信フレームに基づいて送信信号を生成するための手段とを備える通信ネットワークを提供する。 The invention further comprises a communication comprising a receiver for receiving an information signal, an apparatus for generating a transmission frame from the information signal as described above, and means for generating a transmission signal based on the transmission frame Provide a network.
送信信号生成手段は、送信信号を取得するために、フレーム情報(例えばサイド情報)を送信フレームに付加するように構成されてもよい。フレーム情報は上述のように、送信信号に導入されない情報フレームの種類を示すことがある。例えば、フレーム情報は、欠落フレームを同種の置換フレームによって、例えば同じタイプの情報を備える情報フレームによって置換することによって、欠落している情報フレームを再構築するためにリモートの受信機によって使用されてもよい。 The transmission signal generation means may be configured to add frame information (for example, side information) to the transmission frame in order to acquire the transmission signal. As described above, the frame information may indicate the type of information frame that is not introduced into the transmission signal. For example, the frame information is used by a remote receiver to reconstruct a missing information frame by replacing the missing frame with the same type of replacement frame, for example, an information frame with the same type of information. Also good.
加えて、送信信号生成手段は、送信信号を取得するために、再構築歪み値を送信フレームに付加するように構成されてもよい。再構成歪み値は、上記のように、情報フレームを置換フレームで置換する場合の再構築歪みを示すことがある。 In addition, the transmission signal generating means may be configured to add the reconstructed distortion value to the transmission frame in order to obtain the transmission signal. As described above, the reconstruction distortion value may indicate a reconstruction distortion when an information frame is replaced with a replacement frame.
再構築歪み値は、例えば通信ネットワーク上のリモートの送信機から送信可能であってもよい。この場合、受信機は、再構築歪み値を受信するように、または遠隔送信機から受信された信号の再構築歪み値を検出するように構成されてもよい。 The reconstruction distortion value may be transmittable from a remote transmitter on the communication network, for example. In this case, the receiver may be configured to receive the reconstruction distortion value or to detect the reconstruction distortion value of the signal received from the remote transmitter.
加えて、受信機は、例えばマルチユーザ送信シナリオにおいてさらなる情報信号を受信するように構成されてもよい。この場合、送信フレーム生成装置は、上述のように、さらなる情報信号からさらなる送信フレームを生成するように構成されてもよい。この場合、生成手段は、さらなる送信フレームに基づいてさらなる送信信号を生成するように構成されてもよい。 In addition, the receiver may be configured to receive further information signals, for example in a multi-user transmission scenario. In this case, the transmission frame generation device may be configured to generate a further transmission frame from the further information signal as described above. In this case, the generating means may be configured to generate a further transmission signal based on the further transmission frame.
加えて、生成手段は、送信信号を取得するために、フレーム情報を送信フレームに添付するように構成されてもよく、フレーム情報は送信フレームに導入されない情報フレームの種類を示している。従って、生成手段は、さらなる送信信号を取得するために、再構築歪み値をさらなる送信フレームに付加するように構成されてもよく、再構築歪み値は、情報フレームを置換フレームで置換する際の再構築歪みを示している。 In addition, the generating means may be configured to attach the frame information to the transmission frame in order to obtain the transmission signal, and the frame information indicates the type of information frame that is not introduced into the transmission frame. Thus, the generating means may be configured to add a reconstruction distortion value to the further transmission frame in order to obtain a further transmission signal, the reconstruction distortion value being used when replacing the information frame with a replacement frame. Reconstruction distortion is shown.
本発明のさらなる態様によると、生成手段は、送信信号と、送信信号に時間的に後続するさらなる送信信号とを備える複合送信信号を生成するように構成されてもよい。例えば、生成手段は、送信される信号フレーム内の送信信号の後にさらなる送信信号を配列するように構成される。 According to a further aspect of the invention, the generating means may be configured to generate a composite transmission signal comprising a transmission signal and a further transmission signal temporally following the transmission signal. For example, the generating means is arranged to arrange further transmission signals after the transmission signals in the transmitted signal frame.
さらに、装置は、送信信号や送信フレームや信号フレームを送信するための送信機を備えてもよい。 Furthermore, the apparatus may include a transmitter for transmitting a transmission signal, a transmission frame, and a signal frame.
送信機は無線または有線送信機であってもよい。例えば、無線送信の場合、送信機は、任意のWLANシステムの送信機機能性、例えばチャネルコード化、変調などを内蔵してもよい。従って、本発明の受信機は、例えば任意のチャネル復号化スキームを適用することによって送信信号を受信し、これを変調および復号化するように構成される。 The transmitter may be a wireless or wired transmitter. For example, for wireless transmission, the transmitter may incorporate transmitter functionality of any WLAN system, such as channel coding, modulation, and the like. Thus, the receiver of the present invention is configured to receive, modulate and decode the transmitted signal, for example by applying any channel decoding scheme.
加えて、本発明は、受信フレームにおける欠落フレームを再構築するための装置を提供しており、受信フレームは、フレーム情報、例えば上記のように少なくとも2種類のフレームの欠落フレームの種類を示すサイド情報を備える。例えば、フレーム情報は、BフレームまたはPフレームに関する情報を備え、これはピクチャグループを備えるビデオ信号の受信可能なバージョンに含まれていない。 In addition, the present invention provides an apparatus for reconstructing a missing frame in a received frame, wherein the received frame is a side that indicates frame information, eg, the type of missing frame of at least two types of frames as described above. Provide information. For example, the frame information comprises information about a B frame or a P frame, which is not included in a receivable version of a video signal comprising a picture group.
欠落フレーム再構築装置は、受信フレームのフレーム情報を検出するための手段と、欠落フレームを再構築するためにフレーム情報に応答して欠落フレームの置換フレームを生成するための手段とを備えてもよく、ここでは置換フレームの種類は好ましくは欠落フレームの種類に一致している。例えば、フレーム情報は、Bフレームが欠落していることを示している。この場合、生成手段は、欠落しているBフレームを事前受信されたBフレームによって、または事前受信されたIフレームによって置換するように構成されてもよく、これはこの場合は隠蔽ストラテジーである。 The missing frame reconstructing device may include means for detecting frame information of the received frame and means for generating a replacement frame of the missing frame in response to the frame information to reconstruct the missing frame. Well, here the type of replacement frame preferably matches the type of missing frame. For example, the frame information indicates that the B frame is missing. In this case, the generating means may be arranged to replace the missing B frame with a pre-received B frame or with a pre-received I frame, which in this case is a concealment strategy.
以下、本発明のさらなる実施形態について図3〜8を参照して説明する。 In the following, further embodiments of the present invention will be described with reference to FIGS.
K個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。アクティブネットワークノードは、受信データストリームを1つ以上の発信リンク(無線または有線)に転送しなければならず、またパケットの転送に必要とされるよりも多くの計算リソースを有するエンティティである。例として、プログラマブルまたはアクティブなルーターや、セルラーネットワークの基地局や、ケーブルネットワークのケーブルヘッドエンドがある。 Consider a scenario where K video streams enter an active network node and exit a node on the same outgoing link. An active network node is an entity that must transfer a received data stream to one or more outgoing links (wireless or wired) and has more computational resources than is required for packet transfer. Examples are programmable or active routers, cellular network base stations, and cable network cable headends.
本発明のフレームドロップストラテジーは、ビデオビットストリームに伴って送られるサイド情報に依存している。以下、ビデオがピクチャグループ(Group of Pictures; GoP)において発せられ、かつアクティブネットワークノードがGoPのフレーム構造を知っていると仮定する。この情報はビットストリームに伴ってシグナリングされるか、前のGoPから推論可能であるかのいずれかである。ビデオkのGoP構造は、2つのIまたはPフレーム間のGoP長LkおよびBフレーム数Bkによって判断される。一例として、GoP構造IB1B2、P1B3B4P2B5B6となるLk=9およびBk=2について考えてみる。レートベクトルは、GoPにおける各フレームのフレームサイズからなる。ビデオkにおけるフレームnのフレームサイズは
各ビデオフレームが正しく受信されれば、フレーム歪みDk(n)は、エンコーダーにおける量子化ステップに起因する符号化歪み
以下の例は、Lk=9かつBk=2のGoPの歪み行列を示している。
歪み行列
上述のように、K個のビデオストリームがアクティブネットワークノードに入ってきて、同じ発信リンク上のノードを出て行くシナリオを検討する。この発信リンクは送信レートRoutを有する。発信リンクはサイズBmaxのリンクバッファを有し、現在のバッファ占有量はB(t)と記される。ドロップストラテジーは現在のバッファ占有量に基づいている。バッファが空の場合、フレームがドロップするはずはない。バッファが一杯である場合、受信機における知覚品質に対する悪影響が最も少ないフレームがドロップされるはずである。いずれのフレームをドロップさせるかという判断は、全ビデオストリームに対して共になされなければならない。上記のレートベクトルと歪み行列を考えると、アクティブネットワークノードはレート歪みが最適化されたフレームドロップを実行可能である。このために、ノードは、バッファ占有量が現在どのくらいかを決定して、最適なドロップパターンを決定するラグランジュコスト関数、
アクティブノードに入ってくる現在のフレームがIフレームであれば、このフレームをドロップするか、あるいは、これを発信リンクに送信するかが可能である。これをドロップするならば、このことは、後続の全てのPおよびBフレームが復号化不可能であり、またドロップしなければならないことを意味している。このドロップストラテジーはこのGoPの歪みをかなり増大させるが、同時に、このGoPの送信レートを0に低減させることが可能になる。時間nでIフレームをドロップしなければ、依然として後続の全てのPフレームをドロップすると判断可能である。このことは歪みの低減をもたらすことになり、またレートセービングがより小さくなる。後続のPフレームをドロップさせないと判断すれば、全てのBフレームをドロップさせると判断することができる。また、追加歪みは削減されるが、レートセービングも小さい。ゆえに現在の受信フレームがIフレームであれば、全4個の低下選択{I、P、B、N}があり、ここでNは何もドロップしないことを示している。現在のフレームがPフレームであれば、選択は{P、B、N}に削減される。現在のフレームがBフレームであれば、選択はまた{P、B、N}である。この場合Pは、現在のBフレーム後に送信される次のPフレームを示していることに注目する必要がある。Bフレームについて他のドロップパターンを想定してもよい。しかしながら、単一のBフレームをドロップさせる場合は、通常、レートセービングが非常に小さいため、以下Bフレームのドロップは常に、このBフレームと、同一GoPにおけるBフレームに続く全てとをドロップさせることを意味している。同様に、Pフレームのドロップは常に、次のIフレームまでの全てのPおよびBフレームのドロップを意味している。IフレームのドロップはGoP全体のドロップとなる。ビデオkについて時間nでの1セットの可能なドロップパターンをAk(n)と記す場合、k個のビデオについて、
本発明によると、λ(n)をバッファ占有量B(n)の関数として決定する。バッファが空であれば、ビデオフレームのドロップを望まない。これはλ(n)の適切な選択によって反映されなければならない。バッファが一杯の場合、λ(n)は、アウトリンクバッファのこれらのフレームの待ち行列化が失敗することになるため、可能な全てのフレームがドロップされるように選択されなければならない。バッファレベルにおいてλ(n)の適切な値を決定するために、これ未満ではドロップが生じないという最小バッファ占有量Bminを定義する。BminとBmax間のλ(n)の値は、λmin(n)とλmax(n)を線形補間することによって得られる。図3aは、λmin(n)とλmax(n)との線形補間を現在のバッファ占有量B(n)の関数として示しており、以下を得る。
線形補間はλ(n)を補間する最も簡単な方法である。バッファ占有量がBmaxに近づくにつれてよりアグレッシブな低下となる補間関数は、現在のバッファレベルB(n)に対するλmin(n)とλmax(n)間のλ(n)の二次補間を示す図3bに示されるように、λ(n)の二次補間によって実現可能である。 Linear interpolation is the simplest way to interpolate λ (n). An interpolation function that decreases more aggressively as the buffer occupancy approaches B max is a quadratic interpolation of λ (n) between λ min (n) and λ max (n) for the current buffer level B (n). As shown in FIG. 3b, it can be realized by quadratic interpolation of λ (n).
3つのコントロールポイントA、BおよびCによって、以下によるλ(n)の二次ベジエ曲線を定義可能である。
A=(Ax、Ay)=(Bmax、λmin(n))
B=(Bx、By)=(Bmax、λmin(n))
C=(Cx、Cy)=(Bmax、λmin(n))
A = (A x , A y ) = (B max , λ min (n))
B = (B x , B y ) = (B max , λ min (n))
C = (C x , C y ) = (B max , λ min (n))
補間ポイントP=(Px、Py)は、0から1にパラメータtを変化させることによってこの曲線上をAからCに移動する。所与のB(n)について、(7a)および(7b)からtを、次いでλ(n)=Pyを決定する。 The interpolation point P = (P x , P y ) moves from A to C on this curve by changing the parameter t from 0 to 1. For a given B (n), t, and then determines a λ (n) = P y from (7a) and (7b).
λmin(n)を判断するために、ドロップパターンごとに(6)を評価して、(6)の最小値がドロップパターンについて得られるようにλmin(n)を選択し、ここでは全k個のビデオストリームについてはドロップがない。このことは以下を意味している。
これは以下をもたらす。
優先順位ベースの低下と比較した場合、提案されたRD最適化ドロップストラテジーを使用することによって、平均的な再構築品質に関してどの程度の改良が達成可能かを詳細に調べる。シミュレーションにおいては、新たなH.264コーデックによって符号化された4個のビデオストリームがアクティブネットワークノードに入ってきて、同一の発信リンク上で送出されなければならないと仮定する。図6は、4個のビデオの主要特徴を要約したものである。 Examine in detail how much improvement can be achieved with respect to average reconstruction quality by using the proposed RD optimized drop strategy when compared to priority-based degradation. In the simulation, a new H.264. Assume that four video streams encoded by the H.264 codec must enter the active network node and be sent out on the same outgoing link. FIG. 6 summarizes the main features of the four videos.
4個のビデオの組合せでの平均レートは290kbpsである。特定の時点での実際のレートは、異なるフレームタイプと、シーケンスにおける種々の動きとによって大きく変化する。4個のビデオのGoP長はそれぞれ、L1=18、L2=22、L3=26およびL4=24である。全ビデオのGoP構造は、Bk=1に相当するIBPBPである。アウトリンクバッファのサイズは32KByteに設定される。シミュレーションは3000フレームのビデオセッション長について実行される。このために、ビデオシーケンスは連続的に反復される。シミュレーション時間は、フレーム期間の倍数でインクリメントされる。このことは、フレーム期間ごとに、各々が1個のビデオからの4個の新たなフレームがネットワークノードに入ってきて転送されて、ドロップの決定がなされることを意味している。 The average rate for the combination of four videos is 290 kbps. The actual rate at a particular point in time varies greatly with different frame types and various movements in the sequence. The GoP lengths of the four videos are L 1 = 18, L 2 = 22, L 3 = 26 and L 4 = 24, respectively. The GoP structure of all videos is IBPBP corresponding to B k = 1. The size of the out link buffer is set to 32 KBytes. The simulation is performed for a video session length of 3000 frames. For this, the video sequence is continuously repeated. The simulation time is incremented by a multiple of the frame period. This means that for each frame period, four new frames each from one video enter the network node and are forwarded to make a drop decision.
アウトリンクバッファは、全く同様にいずれの場合(RD最適化ドロップおよび優先順位ベースドロップ)にも作用する。ビデオフレームが発信リンク上を送信されると、まず出力バッファに配置される。バッファがかなり一杯でフレームを収容できない場合、ドロップされる。2つ以上のフレームが同時にアウトリンクバッファに送られると、パケットはこのコンテンツ(I、BまたはPフレーム)に従ってラベリングされるとする。バッファが全フレームを収容できない場合、常にBフレームを最初にドロップさせる。バッファが依然として残りのフレームに対して十分な空きがない場合、Pフレームが次に同様に低下されて、最終的にIフレームがドロップされる。このドロップ機構は、比較に使用される優先順位ベースのドロップストラテジーに相当する。 The out-link buffer works in exactly the same way in both cases (RD optimized drop and priority based drop). When a video frame is transmitted on the outgoing link, it is first placed in the output buffer. If the buffer is quite full and cannot contain frames, it is dropped. If two or more frames are sent to the out-link buffer at the same time, the packet is labeled according to this content (I, B or P frame). If the buffer cannot accommodate all frames, always drop the B frame first. If the buffer still does not have enough room for the remaining frames, the P frame is then lowered as well, and eventually the I frame is dropped. This drop mechanism corresponds to a priority-based drop strategy used for comparison.
RD最適化ドロップストラテジーについて、同一のアウトリンクバッファが使用されるが、アクティブネットワークノードは、いずれのフレームをバッファに送るかを事前に決定する。(6)の最小化によってドロップされると判断されたフレームはバッファには渡されない。最適化にかかわらず、データの追加損失をもたらす、収容可能であるより多くのデータがバッファに渡されるということが依然として生じる場合がある。従って、最適化低下パターンが判断された後にランダムなドロップが生じる場合もある。 For the RD optimized drop strategy, the same out-link buffer is used, but the active network node determines in advance which frames to send to the buffer. Frames determined to be dropped by minimization in (6) are not passed to the buffer. Despite optimization, it may still occur that more data is passed to the buffer than can be accommodated, resulting in additional loss of data. Therefore, random drops may occur after the optimization degradation pattern is determined.
実験において、ドロップ決定時の(3)における置換フレームRとして前のGOPのIフレームを使用する。しかしながら、受信機において再構築歪みを測定する場合に、例のみとして示すなら、最近うまく復号化されたフレームを低下フレームを置換するものとして使用する。 In the experiment, the I frame of the previous GOP is used as the replacement frame R in (3) when the drop is determined. However, when measuring reconstruction distortion at the receiver, if given as an example only, a recently successfully decoded frame is used as a replacement for the degraded frame.
図4aは、本書で提案されたRDが最適化されたビデオフレーム低下概念によって得られる改良を示している。PSNR値が4個のビデオシーケンスについて平均化される。発信ビットレートRoutが受信レート(290kbps)よりも大きい場合、RDが最適化されたドロップと優先順位に基づいたドロップとが同様に動作する。これは、バッファがめったにオーバーフローしないこのケースのような場合に想定され、いずれの場合でも少数のフレームのみしか失われない。しかしながら、発信レートが4個のビデオの全平均レートよりも小さい場合、RDが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすということがわかる。発信リンクレートをRout=150kbpsに選択すると、約7.5dBの改良が見られる。 FIG. 4a shows the improvement obtained by the RD-optimized video frame degradation concept proposed in this document. The PSNR values are averaged over 4 video sequences. When the transmission bit rate R out is larger than the reception rate (290 kbps), the drop with the RD optimized and the drop based on the priority order operate similarly. This is assumed in cases like this where the buffer rarely overflows, in which case only a few frames are lost. However, it can be seen that if the outgoing rate is less than the total average rate of the four videos, the RD optimized drop provides a significant improvement in terms of the quality of the reconstructed video. If the outgoing link rate is selected as R out = 150 kbps, an improvement of about 7.5 dB is seen.
バッファレベルがBminより大きい場合のみ、RDが最適化されたドロップストラテジーがビデオフレームの低下を開始することになる。 Only when the buffer level is greater than B min , the RD optimized drop strategy will start to reduce the video frame.
ラグランジュの未定乗数に対すして線形かつ二次補間を用いた、本願発明者らのRDが最適化されたドロップアプローチ(RDOD)が既に紹介されている。シミュレーションにおいて、さらにRDODを優先順位ベースのランダムドロップ(PRD)と比較する。PRDの動作原理が導入されている。従来のPRDと比較して、バッファが100%占有する前に優先順位ベースのドロップが開始されると、性能改良が期待できる。バッファ負荷が現在のしきい値B1を越える前にBフレームをドロップすることと、しきい値B2を超える場合にPフレームをドロップすることとによって、I対BおよびPフレームの優先順位付けがより強力になる。このアプローチを、優先順位に基づいた早期ランダム低下(PRED)と称する。シミュレーションにおいて、しきい値B1およびしきい値B2はBmaxの70%および90%に設定される。 We have already introduced our RD optimized drop approach (RDOD) using linear and quadratic interpolation for Lagrange's undetermined multiplier. In the simulation, RDOD is further compared with priority-based random drop (PRD). The operating principle of PRD has been introduced. Compared to conventional PRD, performance improvement can be expected if priority-based drop is initiated before the buffer is 100% occupied. Prioritizing I vs B and P frames by dropping B frames before the buffer load exceeds the current threshold B 1 and dropping P frames when the threshold B 2 is exceeded Become more powerful. This approach is referred to as early random drop (PRED) based on priority. In the simulation, the threshold values B 1 and B 2 are set to 70% and 90% of B max .
図4bはビデオ再構築品質対アウトリンクレートを示しており、ここではRDが最適化されたビデオフレームのドロップのコンセプトによって得られる本発明の改良が示される。PSNR値が4個のビデオシーケンスについて平均化される。発信ビットレートRoutが平均受信レート(290kbps)よりも大きい場合、RDが最適化されたドロップおよび優先順位ベースのドロップが同様の効果をもたらす。これはバッファがほとんどオーバーフローしないこのケースのような場合に想定され、いずれの場合にも少数のフレームのみしか失われない。しかしながら、発信レートが4個のビデオの全平均レートよりも小さい場合、RDが最適化されたドロップが再構築されたビデオの品質に関してかなりの改良をもたらすことが分かる。λ(n)の二次補間(RDOD_QI)は線形補間(RDOD_L1)よりも良好な性能をもたらす、発信リンクレートをRout=150kbpsに選択すると、RDOD_QIとPERD間には約8dBの改良がみられる。 FIG. 4b shows the video reconstruction quality versus the out-link rate, which shows the improvement of the present invention obtained by the concept of RD optimized video frame dropping. The PSNR values are averaged over 4 video sequences. If the outgoing bit rate R out is greater than the average received rate (290 kbps), RD optimized drops and priority based drops have similar effects. This is assumed in cases like this where the buffer hardly overflows, in which case only a few frames are lost. However, it can be seen that if the outgoing rate is less than the total average rate of the four videos, the RD optimized drop provides a significant improvement in terms of the quality of the reconstructed video. λ (n) quadratic interpolation (RDOD_QI) yields better performance than linear interpolation (RDOD_L1). If the outgoing link rate is selected as R out = 150 kbps, an improvement of about 8 dB is seen between RDOD_QI and PERD. .
λ(n)の計算はλmin(n)およびλmax(n)に、すなわちBminの選択に依存している。図4aは、再構築ビデオ品質をBminの関数として示している。Bminは、十分小さく選択する限り再構築品質に関してほとんど影響を与えないことが観察可能である。図4aのシミュレーションの発信レートは200kbpsおよび250kbpsである。 The calculation of λ (n) depends on λ min (n) and λ max (n), ie the choice of B min . FIG. 4a shows the reconstructed video quality as a function of Bmin . It can be observed that B min has little effect on the reconstruction quality as long as it is chosen small enough. The transmission rates for the simulation of FIG. 4a are 200 kbps and 250 kbps.
好ましくは、バッファレベルがBminよりも大きい場合のみ、RDが最適化されたドロップストラテジーがビデオフレームの低下を開始する。ここで、Bmaxは常に100%占有量に相当すると仮定する。上記のように、λ(n)の計算はλmin(n)およびλmax(n)に、すなわちBminの選択に依存している。図4bは、再構築ビデオ品質を、RDPD_QIに対するBminの関数として示している。Bminは、十分小さく選択される限り再構築品質に対する影響はほとんどないことがわかる。図5aのシミュレーションの発信レートは200kbpsおよび250kbpsである。 Preferably, only when the buffer level is greater than B min , the RD optimized drop strategy starts to reduce the video frame. Here, it is assumed that B max always corresponds to 100% occupation. As mentioned above, the calculation of λ (n) depends on λ min (n) and λ max (n), ie the choice of B min . FIG. 4b shows the reconstructed video quality as a function of B min for RDPD_QI. It can be seen that B min has little effect on the reconstruction quality as long as it is selected sufficiently small. The transmission rates for the simulation of FIG. 5a are 200 kbps and 250 kbps.
上記のように、新たな受信データが使用可能になるたびにλ(n)が再計算されてもよい。RDOP_QIを使用する場合、バッファ占有量B(n)がBmaxより小さい限りλ(n)はほとんど変化しないことがわかる。計算の複雑さを削減するために、まずλ(n)の算出を考慮して、λ(n)の値をリフレッシュする前に後続のm個のフレームに対してこのλ(n)を使用する。 As described above, λ (n) may be recalculated each time new received data becomes available. When RDOP_QI is used, it can be seen that λ (n) hardly changes as long as the buffer occupation amount B (n) is smaller than B max . To reduce the computational complexity, first consider the calculation of λ (n) and use this λ (n) for the subsequent m frames before refreshing the value of λ (n). .
例えば、各n番目のフレームと関連したn番目の時点に対してλ(n)が決定されて、例えば後続のn−1個のフレームについて使用されてもよい。従って、λ(n)が全フレームについてではなくn番目のフレームに対して決定されてもよいため、複雑さを削減することは達成することができる。さらに、例えば、さらに複雑さを削減するために、(送信可能かつ受信可能な)再構築歪み値が大きく変化する場合のみλ(n)が決定されてもよい。加えて、λ(n)の算出レートは適応的に低減可能である。例えば、送信の開始において、λ(n)がフレームごとに判断されてもよい。続いて、例えばn番目、第2または第3のフレームごとにλ(n)を算出する場合に、例えば派生エラーが決定されることがある。派生エラーが受入れ可能である場合、n番目のフレームごとにλ(n)を計算することは十分であり、ここでnは適応的に(段階的に)決定可能である。従って、正確さと複雑さのトレードオフの関係を得ることができる。加えて、多数の情報信号、例えばビデオストリームが変化する場合のみλ(n)が決定されてもよく、これによって、複雑さが一層削減される。 For example, λ (n) may be determined for the nth time point associated with each nth frame and used, for example, for the subsequent n−1 frames. Thus, a reduction in complexity can be achieved because λ (n) may be determined for the nth frame rather than for the entire frame. Further, for example, in order to further reduce complexity, λ (n) may be determined only when the reconstruction distortion value (transmittable and receivable) changes significantly. In addition, the calculation rate of λ (n) can be adaptively reduced. For example, λ (n) may be determined for each frame at the start of transmission. Subsequently, for example, when λ (n) is calculated every n-th, second, or third frame, a derived error may be determined, for example. If the derived error is acceptable, it is sufficient to calculate λ (n) every nth frame, where n can be determined adaptively (stepwise). Therefore, a trade-off relationship between accuracy and complexity can be obtained. In addition, λ (n) may be determined only when a large number of information signals, eg, video streams, change, which further reduces complexity.
図5bは、平均的なビデオ再構築品質をλのリフレッシュ間隔の関数として示している。図5bに示されるように、約50個のビデオフレームについてλ(n)を反復する場合に観察される品質低下はわずか0.3dBである。 FIG. 5b shows the average video reconstruction quality as a function of the refresh interval of λ. As shown in FIG. 5b, the quality degradation observed when repeating λ (n) for approximately 50 video frames is only 0.3 dB.
本発明のRDが最適化されたビデオフレームドロップストラテジーはアクティブネットワークノードにも適用することができる。RD最適化はレートベクトルと歪み行列を使用して、ネットワーク負荷が重い場合にいずれのフレームがドロップされるかを判断する。レートベクトルおよび歪み行列は、ビデオの各GoPに伴ってサイド情報として送られる。ネットワーク自体から抽出される情報は、バッファ占有量レベルのみである。本発明のスキームを優先順位ベースのドロップと比較と、かなりの品質改良が達成可能なことがわかる。 The RD optimized video frame drop strategy of the present invention can also be applied to active network nodes. RD optimization uses rate vectors and distortion matrices to determine which frames are dropped when the network load is heavy. The rate vector and distortion matrix are sent as side information with each GoP of the video. The only information extracted from the network itself is the buffer occupancy level. Comparing the inventive scheme with priority-based drops, it can be seen that significant quality improvements can be achieved.
本発明は、トラフィック負荷が大きい場合にアクティブネットワークノードに適用可能なレート歪みが最適化されたビデオフレームドロップストラテジーを実現するシステムおよび方法を含んでいる。本発明のアプローチは、ビデオビットストリームに伴って送られるサイド情報に依存している。 The present invention includes systems and methods that implement a rate distortion optimized video frame drop strategy applicable to active network nodes when traffic loads are high. Our approach relies on side information sent along with the video bitstream.
サイド情報は、各ピクチャの(バイト単位の)フレームサイズ、ならびに特定のフレーム損失パターンを付与されたピクチャグループについて観察される(MSEの)再構築歪みを記述する歪み行列を含有するレートベクトルからなる。このサイド情報は、レート歪み(RD)が最適化された方法で、ノードのオーバーロードの場合にいずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するためにアクティブネットワークノードによって使用可能である。 The side information consists of a frame size (in bytes) for each picture, as well as a rate vector containing a distortion matrix that describes the reconstruction distortion (in MSE) observed for a group of pictures given a particular frame loss pattern. . This side information is in a rate-distortion (RD) optimized manner by the active network node to dynamically determine which frames of which video stream are degraded in case of node overload. It can be used.
最適なドロップパターンを見つけるために、本願発明者らは、現在のバッファ占有量レベルと共にレートベクトルおよび歪み行列を使用するラグランジュコスト関数を提案する。 In order to find the optimal drop pattern, we propose a Lagrangian cost function that uses a rate vector and a distortion matrix with the current buffer occupancy level.
より簡単なセットアップのために、歪み行列の一部のみが送信可能である。例えば、行列の第1の列が、前のピクチャグループの参照ピクチャ(R)を参照する歪み値を含有し、これは最適化についてすでに十分な情報である場合がある。 For a simpler setup, only part of the distortion matrix can be transmitted. For example, the first column of the matrix contains a distortion value that refers to the reference picture (R) of the previous picture group, which may already be sufficient information for optimization.
GoPにおける参照ピクチャRの位置は、送信経路の予想品質を反映するためにエンコーダーによって選択可能である。これは、Iフレームを見つけるドロップの決定に関して重要であり、これは、前のGoPの最後のオリジナルピクチャと比較した条件、つまりRが前のGoPのIフレームを参照する(高い低下パーセンテージとする)悪い条件において、またRが中間Pフレームを表す通常の条件に左右される。極めて良好な条件が期待できる場合、Rは前のGoPの最後のフレームとなるはずである。 The position of the reference picture R in GoP can be selected by the encoder to reflect the expected quality of the transmission path. This is important for the decision to drop to find an I frame, which refers to the condition compared to the last original picture of the previous GoP, ie R refers to the previous GoP I frame (with a high drop percentage). In bad conditions, it also depends on the normal conditions where R represents an intermediate P frame. If very good conditions can be expected, R should be the last frame of the previous GoP.
先行しているネットワーク要素において実行されたフレームドロップの決定は受信パケットから観察可能である。これらは現在のネットワークノードに対するフレームドロップの自由度を制限し、決定処理の複雑さを削減する。 Frame drop decisions performed in the preceding network element can be observed from the received packet. These limit the frame drop freedom for current network nodes and reduce the complexity of the decision process.
加えて、1つのノード内に、1つのGoP内で実行される決定が記憶されるべきである。このことは同じGoPにおける次のフレームを見つける判断を簡略化する、つまり自由度の数が前のドロップの決定によって削減されて、計算が簡略化される。 In addition, decisions to be performed within one GoP should be stored within one node. This simplifies the decision to find the next frame in the same GoP, i.e. the number of degrees of freedom is reduced by the determination of the previous drop, which simplifies the calculation.
加えて、1つのノード内に先行しているGoPに適用されたドロップの決定が記憶されるべきである。従って、Rの選択に応じて、Iフレームのどろっぷを行うという決定において、実際の歪みを考慮するために、修正歪み値を使用しなければならない。 In addition, the drop decision applied to the preceding GoP in one node should be stored. Therefore, the correction distortion value must be used to take into account the actual distortion in the decision to perform I frame sag depending on the choice of R.
これに加えて、ユーザが知覚したサービス品質全体を考慮する判断をするためにストリーム全体の品質低下全体を得るためには、サービス履歴を含まなければならず、例えばストリームがドロップの影響を過度に被る場合、このストリームはより高い優先順位を得るはずである。このようなサービス履歴は、コスト関数における歪み行列の値への追加係数によって表されることが可能である。 In addition to this, in order to obtain the overall quality degradation of the entire stream in order to make a decision that considers the overall service quality perceived by the user, the service history must be included, e.g. the stream excessively affects the effects of the drop. If so, this stream should get a higher priority. Such a service history can be represented by an additional factor to the value of the distortion matrix in the cost function.
QoSベースのアプローチとは反対に、本発明のスキームはより大きな柔軟性を提供し、動的データ重要性コントロールをサポートする。本発明のレート歪みが最適化されたドロップ概念と優先順位ベースのドロップストラテジーとを比較する場合、かなり良好な再構築品質が観察される。最大7dBの改良がシミュレーションセットアップについて得られる。 Contrary to the QoS-based approach, the scheme of the present invention provides greater flexibility and supports dynamic data importance control. When comparing the rate distortion optimized drop concept of the present invention with a priority-based drop strategy, a fairly good reconstruction quality is observed. Up to 7 dB improvement is obtained for the simulation setup.
上記歪み行列のシグナリングが、例えばRTPプロトコル(RTPペイロードヘッダー)への拡張子として実現可能である。 The distortion matrix signaling can be realized, for example, as an extension to the RTP protocol (RTP payload header).
上記のように、本発明は、ネットワークノードにおける多数の受信ビデオストリームを様々な送信条件に、例えばビデオストリームの知覚品質をユーザに対して最適化する際の発信データレートに動的に適応させる方法に関する問題に対処する。 As described above, the present invention dynamically adapts a number of received video streams at a network node to various transmission conditions, for example to the outgoing data rate when optimizing the perceived quality of the video stream for the user. Address issues with.
本発明は、例示のためだけに示せば、アクティブネットワークノードおよびモバイルベースステーションに対するレート歪みが最適化されたビデオフレームドロップを提供する。特に、本発明のシステムおよび方法は、ネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。ユーザが知覚する品質に対するビデオ特徴が考慮されるため、本発明のアプローチは既知の従来のアプローチと比較して最適化されている。さらに、本発明の概念は、ビデオビットストリームに伴って送信されることがあるサイド情報に依存しており、この場合サイド情報は、例えばバイト単位のフレームサイズを含有するレートベクトルと、ピクチャグループの(MSEの)再構築歪みを記述する歪み行列とを備えてもよい。 The present invention, for illustrative purposes only, provides video frame drops with optimized rate distortion for active network nodes and mobile base stations. In particular, the system and method of the present invention includes shaping of video packet traffic at a network node. The approach of the present invention is optimized compared to known conventional approaches because the video features for the quality perceived by the user are taken into account. Furthermore, the inventive concept relies on side information that may be transmitted with the video bitstream, where the side information includes, for example, a rate vector containing a frame size in bytes, a picture group's And a distortion matrix describing the reconstruction distortion (of MSE).
サービスベースアプローチの品質とは反対に、本発明のスキームはより大きな柔軟性を提供し、動的フレーム重要性コントロールをサポートする。より具体的には、QOS(QOS=サービス品質)の提供は、共有、例えば無線ネットワークリソースでの、例えばビデオストリーミングのバッファ問題と関連している。従って、ビデオデータについて、しばしばビデオ品質に強い悪影響を及ぼすランダムなフレームドロップである計算負荷の多いトランスコード化やバケット低下が適用されることがある。スケーラブルビデオの場合、既知の従来のアプローチがそれほど重要でない部分を最初にドロップし、これによってかなりの品質低下が生じることがある。加えて、QOSラベリングはパケットのこのような重要性コントロール低下およびラベリング(つまり重要性)をサポートする。これは送信前に送信者によって判断可能であるが、この場合は実際の送信状況は考慮されない。しかしながら、パケットの重要性は送信経路に沿って変化し、パケットの重要性は他のパケットのドロップに左右され、さらには少数のQOSラベルのみが使用可能である。 Contrary to the quality of the service-based approach, the scheme of the present invention provides greater flexibility and supports dynamic frame importance control. More specifically, the provision of QOS (QOS = Quality of Service) is associated with buffering issues of sharing, for example video streaming, eg with wireless network resources. Therefore, computationally intensive transcoding and bucket reduction, which are random frame drops that often have a negative impact on video quality, may be applied to video data. In the case of scalable video, known conventional approaches may drop less important parts first, which can cause significant quality degradation. In addition, QOS labeling supports this loss of importance control and labeling (ie importance) of packets. This can be determined by the sender before transmission, but in this case the actual transmission situation is not considered. However, the importance of the packet varies along the transmission path, the importance of the packet depends on the drop of other packets, and only a few QOS labels can be used.
本発明は、例えばパケットを低下させることによってネットワークノードにおけるビデオパケットトラフィックのシェーピングを含む。本発明の低下パターンは、ビデオ特徴、例えばユーザ知覚品質が考慮されるために最適化される。ビデオビットストリームに伴って送信可能なサイド情報は、いずれのビデオストリームのいずれのフレームが低下されるかを動的に判断するために、アクティブネットワークノードによって使用されてもよい。例えば、アクティブネットワークノードは上記の本発明の装置の1つを内蔵している。加えて、決定には、グローバルな正しさを考慮するために、セッション履歴を含んでもよい。 The present invention includes shaping of video packet traffic at a network node, for example by dropping packets. The degradation pattern of the present invention is optimized because video features such as user perceived quality are considered. Side information that can be transmitted with the video bitstream may be used by the active network node to dynamically determine which frames of which video streams are degraded. For example, an active network node incorporates one of the devices of the present invention described above. In addition, the determination may include a session history to take into account global correctness.
図7は、アプリケーションがネットワークに追加の情報(クロスレイヤーの認識)をもたらす本発明の通信ネットワークシナリオを示している。 FIG. 7 shows a communication network scenario of the present invention where an application brings additional information (cross-layer recognition) to the network.
図7に示されるように、ネットワークノード/ゲートウェイは、レート歪み行列やレートベクトルに関するサイド情報に伴った複数のビデオストリームを受信し、この場合決定アルゴリズムが、レート歪み行列が備えるレート歪み値に応じてフレームのドロップストラテジーを決定するために適用される。 As shown in FIG. 7, the network node / gateway receives a plurality of video streams accompanied by side information regarding a rate distortion matrix and rate vector, and in this case, a determination algorithm depends on a rate distortion value included in the rate distortion matrix. Applied to determine the frame drop strategy.
全ての上記実施形態が、本発明のアプローチを内蔵する装置の機能性を高めるために相互に組合せ可能である点に注目すべきである。加えて、本発明は、送信フレームを生成し、送信信号を生成し、欠落フレームを再構築または転送して、本発明の概念が実行されるような方法も提供する。 It should be noted that all the above embodiments can be combined with each other to enhance the functionality of the device incorporating the inventive approach. In addition, the present invention also provides a method in which a transmission frame is generated, a transmission signal is generated, and a missing frame is reconstructed or transferred to implement the inventive concept.
さらに、本発明の方法の特定の実施要件に応じて、本発明の方法はハードウェアまたはソフトウェアで実行可能である、実施は、ディジタル記憶媒体、特に電子読み取り可能な信号を記憶しているディスクやCDを使用して実行可能であり、これは本発明の方法が実行されるようにプログラマブルコンピュータシステムと協働することができる。一般的に、本発明は従って、機械が読み取り可能な媒体に記憶されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行する場合に本発明の方法のうちの少なくとも1つを実行するように構成されている。すなわち、本発明の方法は従って、コンピュータプログラムがコンピュータ上で実行する場合に本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。 Further, depending on the specific implementation requirements of the method of the present invention, the method of the present invention can be implemented in hardware or software, and can be implemented on a digital storage medium, particularly a disk storing electronically readable signals. It can be performed using a CD, which can work with a programmable computer system such that the method of the present invention is performed. In general, the present invention is therefore a computer program product having program code stored on a machine-readable medium, the program code being one of the methods of the present invention when the computer program product executes on a computer. Are configured to perform at least one of the following: That is, the method of the present invention is therefore a computer program having program code for performing the method of the present invention when the computer program is executed on a computer.
Claims (21)
前記第1の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第1の再構築歪み値を提供し、前記第2の情報フレームを置換フレームによって置換する場合の再構築歪みを示す第2の再構築歪み値を提供するプロバイダー(105)と、
前記第1の再構築歪み値に応じてまたは前記第2の再構築値に応じて前記第1の情報フレームまたは前記第2の情報フレームのいずれかを前記送信フレームに導入する導入手段(107)と
を備える装置。 An apparatus for generating a transmission frame from an information signal including a first information frame and a second information frame,
Providing a first reconstruction distortion value indicating a reconstruction distortion when the first information frame is replaced by a replacement frame, and indicating a reconstruction distortion when the second information frame is replaced by a replacement frame; A provider (105) that provides two reconstruction distortion values;
Introducing means (107) for introducing either the first information frame or the second information frame into the transmission frame according to the first reconstruction distortion value or according to the second reconstruction value A device comprising:
前記提供手段(105)が、前記さらなる第1の情報フレームを置換フレームで置換する場合の再構築歪みを示すさらなる第1の再構築歪み値を提供し、前記さらなる第2の情報フレームを置換フレームにより置換する場合の再構築歪みを示すさらなる第2の再構築歪み値を提供するようにされており、
前記導入手段(107)が、前記さらなる第1の再構築歪み値に応じてまたは前記さらなる第2の再構築歪み値に応じて、前記さらなる第1の情報フレームまたは前記さらなる第2の情報フレームのいずれかを前記さらなる送信フレームに導入するようにされている、請求項1〜6に記載の装置。 An apparatus adapted to generate a further transmission frame from a further information signal, the further information signal comprising a further first information frame and a further second information frame;
The providing means (105) provides a further first reconstruction distortion value indicating a reconstruction distortion when replacing the further first information frame with a replacement frame, and replacing the further second information frame with a replacement frame. Providing a second second reconstruction distortion value indicative of the reconstruction distortion when substituting
The introducing means (107) is adapted to determine the further first information frame or the further second information frame according to the further first reconstruction distortion value or according to the further second reconstruction distortion value. Apparatus according to claims 1-6, adapted to introduce any into said further transmission frame.
前記情報信号から送信フレームを生成するための請求項1〜13に記載の前記装置と、
前記送信フレームに基づいて送信信号を生成する手段と
を備えてなる通信ネットワークノード。 A receiver for receiving information signals;
The apparatus of claims 1-13 for generating a transmission frame from the information signal;
Means for generating a transmission signal based on the transmission frame.
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するためのプロバイダーと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるための結合器と
を備える装置。 An apparatus for generating a transmission signal from an information signal including an information frame,
A provider for providing a reconstruction distortion value indicating the reconstruction distortion when replacing the information frame with a replacement frame;
An apparatus comprising a combiner for combining the information signal and the reconstructed distortion value to obtain the transmission signal.
前記受信フレームにおいて前記フレーム情報を検出する手段と、
前記欠落フレームを構築するために、前記フレーム情報に応答して前記欠落フレームにおける置換フレームを生成する手段であって、前記置換フレームの種類が前記欠落フレームの種類に一致している手段と
を備えてなる装置。 An apparatus for reconstructing a missing frame in a received frame, wherein the received frame includes frame information indicating a type of a missing frame of at least two types of frames,
Means for detecting the frame information in the received frame;
Means for generating a replacement frame in the missing frame in response to the frame information in order to construct the missing frame, wherein the type of the replacement frame matches the type of the missing frame. Device.
前記第1の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第1の再構築歪み値を提供し、前記第2の情報フレームを置換フレームにより置換する場合の再構築歪みを示す第2の再構築歪み値を提供するステップと、
前記第1の再構築歪み値に応じてまたは第2の再構築歪み値に応じて、前記第1の情報フレームまたは前記第2の情報フレームのいずれかを前記送信フレームに導入するステップと
を含む方法。 A method for generating a transmission frame from an information signal including a first information frame and a second information frame,
Providing a first reconstruction distortion value indicating a reconstruction distortion when the first information frame is replaced by a replacement frame, and indicating a reconstruction distortion when the second information frame is replaced by a replacement frame; Providing two reconstruction distortion values;
Introducing either the first information frame or the second information frame into the transmission frame according to the first reconstruction distortion value or according to a second reconstruction distortion value. Method.
請求項17に記載の情報信号から送信フレームを生成するステップと、
前記送信フレームに基づいて送信信号を生成するステップと
を含む信号転送方法。 Receiving an information signal;
Generating a transmission frame from the information signal according to claim 17;
Generating a transmission signal based on the transmission frame.
前記情報フレームを置換フレームにより置換する場合の再構築歪みを示す再構築歪み値を提供するステップと、
前記送信信号を取得するために、前記情報信号と前記再構築歪み値とを組合せるステップと
を含む方法。 A method for generating a transmission signal from an information signal including an information frame, comprising:
Providing a reconstruction distortion value indicating the reconstruction distortion when replacing the information frame with a replacement frame;
Combining the information signal and the reconstructed distortion value to obtain the transmission signal.
前記受信フレームにおける前記フレーム情報を検出するステップと、
前記欠落フレームを再構築するために、前記フレーム情報に応答して前記欠落フレームの置換フレームを生成するステップであって、前記置換フレームの種類が前記欠落フレームの種類に一致しているステップと
を含む方法。 A method for reconstructing a missing frame in a received frame, wherein the received frame includes frame information indicating a type of the missing frame of at least two types of frames:
Detecting the frame information in the received frame;
Generating a replacement frame for the missing frame in response to the frame information to reconstruct the missing frame, wherein the type of the replacement frame matches the type of the missing frame; Including methods.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2004/006438 WO2005125213A1 (en) | 2004-06-15 | 2004-06-15 | Apparatus and method for generating a transmit frame |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008503119A true JP2008503119A (en) | 2008-01-31 |
JP2008503119A5 JP2008503119A5 (en) | 2010-09-09 |
JP4584992B2 JP4584992B2 (en) | 2010-11-24 |
Family
ID=34958102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007515785A Expired - Fee Related JP4584992B2 (en) | 2004-06-15 | 2004-06-15 | Apparatus and method for generating a transmission frame |
Country Status (6)
Country | Link |
---|---|
US (1) | US7760661B2 (en) |
EP (1) | EP1757100B1 (en) |
JP (1) | JP4584992B2 (en) |
CN (1) | CN1998238B (en) |
DE (1) | DE602004016224D1 (en) |
WO (1) | WO2005125213A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012157051A (en) * | 2010-02-25 | 2012-08-16 | Ntt Docomo Inc | Rate shaping method and rate shaping apparatus |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4657231B2 (en) * | 2007-03-07 | 2011-03-23 | 日本電信電話株式会社 | Process history conversion method, apparatus, and program for converting system level process execution history to business level process execution history |
JP4934524B2 (en) * | 2007-06-25 | 2012-05-16 | パナソニック株式会社 | Data communication apparatus and data communication method |
EP2051474A1 (en) * | 2007-10-15 | 2009-04-22 | Alcatel Lucent | Media acceleration in congestions assigned by IPD |
US8665281B2 (en) * | 2008-02-07 | 2014-03-04 | Microsoft Corporation | Buffer management for real-time streaming |
TWI418906B (en) * | 2009-10-06 | 2013-12-11 | Au Optronics Corp | Display panel with optimum pad layout of the gate driver |
CN101742437B (en) * | 2009-12-11 | 2013-08-07 | 中兴通讯股份有限公司 | Communication method for mobile video, service terminal and server |
US8689275B2 (en) * | 2010-11-02 | 2014-04-01 | Xyratex Technology Limited | Method of evaluating the profit of a substream of encoded video data, method of operating servers, servers, network and apparatus |
US9246830B2 (en) * | 2011-10-05 | 2016-01-26 | Futurewei Technologies, Inc. | Method and apparatus for multimedia queue management |
WO2014078744A2 (en) * | 2012-11-16 | 2014-05-22 | Vid Scale, Inc. | Systems and methods for implementing model-based qoe scheduling |
US9788078B2 (en) * | 2014-03-25 | 2017-10-10 | Samsung Electronics Co., Ltd. | Enhanced distortion signaling for MMT assets and ISOBMFF with improved MMT QoS descriptor having multiple QoE operating points |
US11108843B2 (en) * | 2018-04-09 | 2021-08-31 | Lumenradio Ab | Streaming using constrained dynamic multi-hop network |
US11350142B2 (en) * | 2019-01-04 | 2022-05-31 | Gainspan Corporation | Intelligent video frame dropping for improved digital video flow control over a crowded wireless network |
US11240540B2 (en) * | 2020-06-11 | 2022-02-01 | Western Digital Technologies, Inc. | Storage system and method for frame trimming to optimize network bandwidth |
CN115170818A (en) * | 2022-07-27 | 2022-10-11 | 北京拙河科技有限公司 | Dynamic frame image feature extraction method and device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5953506A (en) * | 1996-12-17 | 1999-09-14 | Adaptive Media Technologies | Method and apparatus that provides a scalable media delivery system |
JP2001112006A (en) * | 1999-10-01 | 2001-04-20 | Mitsubishi Electric Inf Technol Center America Inc | Rate-distortion characteristic estimation method |
US20020010938A1 (en) * | 2000-05-31 | 2002-01-24 | Qian Zhang | Resource allocation in multi-stream IP network for optimized quality of service |
US20030053537A1 (en) * | 2001-03-05 | 2003-03-20 | Chang-Su Kim | Systems and methods for reducing frame rates in a video data stream |
US20030067877A1 (en) * | 2001-09-27 | 2003-04-10 | Raghupathy Sivakumar | Communication system and techniques for transmission from source to destination |
WO2004045218A1 (en) * | 2002-11-08 | 2004-05-27 | Apple Computer, Inc. | Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and visual mask |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259541A (en) * | 1992-10-30 | 1994-09-16 | Toshiba Corp | Method for correcting image distorting and its system |
US6920175B2 (en) * | 2001-01-03 | 2005-07-19 | Nokia Corporation | Video coding architecture and methods for using same |
US20030043908A1 (en) * | 2001-09-05 | 2003-03-06 | Gao Cheng Wei | Bandwidth scalable video transcoder |
JP3594589B2 (en) * | 2003-03-27 | 2004-12-02 | 三菱電機株式会社 | Liquid crystal driving image processing circuit, liquid crystal display device, and liquid crystal driving image processing method |
WO2005072337A2 (en) * | 2004-01-23 | 2005-08-11 | Sarnoff Corporation | Method and apparatus for digital video reconstruction |
US7860005B2 (en) * | 2004-01-30 | 2010-12-28 | Hewlett-Packard Development Company, L.P. | Methods and systems that use information about a frame of video data to make a decision about sending the frame |
-
2004
- 2004-06-15 JP JP2007515785A patent/JP4584992B2/en not_active Expired - Fee Related
- 2004-06-15 CN CN2004800433534A patent/CN1998238B/en not_active Expired - Fee Related
- 2004-06-15 EP EP04739908A patent/EP1757100B1/en not_active Expired - Fee Related
- 2004-06-15 WO PCT/EP2004/006438 patent/WO2005125213A1/en active IP Right Grant
- 2004-06-15 DE DE602004016224T patent/DE602004016224D1/en active Active
-
2006
- 2006-12-13 US US11/638,833 patent/US7760661B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5953506A (en) * | 1996-12-17 | 1999-09-14 | Adaptive Media Technologies | Method and apparatus that provides a scalable media delivery system |
JP2001112006A (en) * | 1999-10-01 | 2001-04-20 | Mitsubishi Electric Inf Technol Center America Inc | Rate-distortion characteristic estimation method |
US20020010938A1 (en) * | 2000-05-31 | 2002-01-24 | Qian Zhang | Resource allocation in multi-stream IP network for optimized quality of service |
US20030053537A1 (en) * | 2001-03-05 | 2003-03-20 | Chang-Su Kim | Systems and methods for reducing frame rates in a video data stream |
US20030067877A1 (en) * | 2001-09-27 | 2003-04-10 | Raghupathy Sivakumar | Communication system and techniques for transmission from source to destination |
WO2004045218A1 (en) * | 2002-11-08 | 2004-05-27 | Apple Computer, Inc. | Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and visual mask |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012157051A (en) * | 2010-02-25 | 2012-08-16 | Ntt Docomo Inc | Rate shaping method and rate shaping apparatus |
Also Published As
Publication number | Publication date |
---|---|
EP1757100A1 (en) | 2007-02-28 |
US20070154065A1 (en) | 2007-07-05 |
WO2005125213A1 (en) | 2005-12-29 |
CN1998238A (en) | 2007-07-11 |
DE602004016224D1 (en) | 2008-10-09 |
JP4584992B2 (en) | 2010-11-24 |
US7760661B2 (en) | 2010-07-20 |
CN1998238B (en) | 2010-12-22 |
EP1757100B1 (en) | 2008-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7760661B2 (en) | Apparatus and method for generating a transmit frame | |
Nguyen et al. | Distributed video streaming with forward error correction | |
US9215498B2 (en) | Video data transmission processing method, video data sending processing method, apparatus, network system | |
EP1709783A1 (en) | Methods and systems that use information about data packets to determine an order for sending the data packets | |
KR100592547B1 (en) | Packet scheduling method for streaming multimedia | |
Tu et al. | Rate-distortion optimized video frame dropping on active network nodes | |
US20060285149A1 (en) | Image data distribution control method, device, system and program | |
JP5676781B2 (en) | Video packet scheduling method for multimedia streaming | |
Afzal et al. | A novel scheduling strategy for MMT-based multipath video streaming | |
JP2008193661A (en) | Transcoding node and method for multiple description trancoding | |
Xie et al. | Rate-distortion optimized dynamic bitstream switching for scalable video streaming | |
Stockhammer et al. | Optimized h. 264-based bitstream switching for wireless video streaming | |
Stockhammer et al. | Optimized H. 264/AVC-based bit stream switching for mobile video streaming | |
Ghareeb et al. | A multipath video streaming approach for SNR scalable video coding (SVC) in overlay networks | |
El Essaili et al. | Multiple description video transcoding | |
Ozcelebi et al. | Minimum delay content adaptive video streaming over variable bitrate channels with a novel stream switching solution | |
Luo et al. | An end-to-end video transmission framework with efficient bandwidth utilization | |
WO2006135250A2 (en) | Method for down-speeding in an ip communication network | |
Combernoux et al. | Cross-layer optimization of a multimedia streaming system via dynamic programming | |
Begen et al. | Packet scheduling for multiple description video streaming in multipoint-to-point networks | |
Vaz et al. | Video quality optimization algorithm for video-telephony over IP networks | |
Jaime et al. | Effect of varying the intra-frame packet burstiness on the performance of wireless video streaming | |
Futemma et al. | TFRC-based rate control scheme for real-time JPEG 2000 video transmission | |
Xie et al. | Optimal packet scheduling for multi-description multi-path video streaming over wireless networks | |
Ye et al. | Bitrate adaptation in backward-shifted coding for HTTP adaptive video streaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20100323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100713 |
|
A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20100713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100820 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100902 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |