JP2012090039A - Data multiplexing device and data multiplexing method - Google Patents
Data multiplexing device and data multiplexing method Download PDFInfo
- Publication number
- JP2012090039A JP2012090039A JP2010234412A JP2010234412A JP2012090039A JP 2012090039 A JP2012090039 A JP 2012090039A JP 2010234412 A JP2010234412 A JP 2010234412A JP 2010234412 A JP2010234412 A JP 2010234412A JP 2012090039 A JP2012090039 A JP 2012090039A
- Authority
- JP
- Japan
- Prior art keywords
- real
- data
- time data
- time
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
この発明は、例えば、複数の番組のメディアデータを効率よく多重化して出力するデータ多重化装置及びデータ多重化方法に関するものである。 The present invention relates to a data multiplexing apparatus and a data multiplexing method for efficiently multiplexing and outputting media data of a plurality of programs, for example.
例えば、デジタル放送のように、伝送帯域が限られている状況化では、複数の番組を効率よく多重化して出力する必要があり、以下の特許文献1には、複数の番組を効率よく多重化して出力するデータ多重化装置(統計多重を行うデータ多重化装置)が開示されている。
一般に、ビデオデータを符号化する場合、入力画像の複雑さや動きの大きさなどが異なると、同じ画質のビデオ符号化データを生成する場合でも符号量が大きく変動する。
上記のデータ多重化装置では、複数の番組を多重化して出力する際、複数の番組のビデオの画質が均等になるように、各番組の入力画像の複雑さを符号化前に調査し、複雑な入力画像の番組には多くの符号量を割り当て、複雑でない入力画像の番組には少ない符号量を割り当てるようにしている。
このとき、符号量の合計が伝送帯域と一致するように制御することで、限られた伝送帯域の中で、複数の番組の画質を同等に保ちながら、複数の番組の多重化を行うことが可能となる。
For example, in a situation where the transmission band is limited as in digital broadcasting, it is necessary to efficiently multiplex and output a plurality of programs. Patent Document 1 below efficiently multiplexes a plurality of programs. A data multiplexing apparatus (data multiplexing apparatus that performs statistical multiplexing) is disclosed.
In general, when video data is encoded, if the complexity of the input image, the size of the motion, and the like are different, the code amount greatly fluctuates even when video encoded data having the same image quality is generated.
In the above data multiplexing device, when a plurality of programs are multiplexed and output, the complexity of the input images of each program is checked before encoding so that the video quality of the plurality of programs is equalized. A large code amount is assigned to a program with a simple input image, and a small code amount is assigned to a program with a non-complex input image.
At this time, by controlling the total code amount to match the transmission band, it is possible to multiplex a plurality of programs while maintaining the same image quality of the plurality of programs within the limited transmission band. It becomes possible.
また、以下の特許文献2には、統計多重を行う際に、空いている帯域で他のデータを多重する方法が開示されている。
統計多重によって可変レートのデータの総和を出力レートに合わせ込めない場合、空いている帯域で他のデータを多重することで効率的な多重化を達成することができる。
Patent Document 2 below discloses a method of multiplexing other data in an available band when performing statistical multiplexing.
If the sum of the variable rate data cannot be matched to the output rate by statistical multiplexing, it is possible to achieve efficient multiplexing by multiplexing other data in an available band.
従来のデータ多重化装置は以上のように構成されているので、ある時刻において、複数の番組の画質を均等にすることを目的として、符号量の配分を行うようにしている。このため、入力画像が複雑な番組と入力画像が複雑でない番組が混在する場合、入力画像が複雑でない番組に割り当てる符号量を減らして、入力画像が複雑な番組により多くの符号量を割り当てることで、入力画像が複雑な番組の画質低下を抑えることができる。しかし、全ての番組の入力画像が複雑な場合、符号量を減らせる番組が存在しないため、全ての番組で画質低下が発生してしまう課題があった。
また、ある時刻において、複数の番組の画質を均等にすることは可能であるが、ある1つの番組に着目すると、時刻の経過に伴って画質が変動してしまうため(番組の入力画像の複雑さは逐次変動するため)、時間軸方向では番組の画質を安定させることが困難である課題があった。
さらに、他のデータを用いて出力レートの合わせ込みを行う場合には、他のデータの伝送容量が保証できないという課題があった。
Since the conventional data multiplexing apparatus is configured as described above, the code amount is distributed for the purpose of equalizing the image quality of a plurality of programs at a certain time. For this reason, when a program with a complex input image and a program with a complex input image are mixed, the amount of code allocated to a program with a complex input image is reduced, and a larger amount of code is allocated to a program with a complex input image. Therefore, it is possible to suppress a deterioration in the image quality of a program having a complicated input image. However, when the input images of all the programs are complicated, there is no program that can reduce the code amount, and there is a problem that the image quality is deteriorated in all the programs.
In addition, it is possible to make the image quality of a plurality of programs uniform at a certain time, but if attention is paid to a certain program, the image quality changes with the passage of time (the complexity of the input image of the program). Since the time fluctuates sequentially, there is a problem that it is difficult to stabilize the image quality of the program in the time axis direction.
Furthermore, when the output rate is adjusted using other data, there is a problem that the transmission capacity of the other data cannot be guaranteed.
この発明は上記のような課題を解決するためになされたもので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
さらに、同時に送出する他のデータの伝送容量を保証することができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
The present invention has been made in order to solve the above-described problems, and is a data that can achieve high-quality program multiplexing while suppressing temporal fluctuations in image quality while equalizing the image quality of a plurality of programs. An object is to obtain a multiplexing device and a data multiplexing method.
It is another object of the present invention to provide a data multiplexing apparatus and a data multiplexing method capable of guaranteeing the transmission capacity of other data sent simultaneously.
この発明に係るデータ多重化装置は、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するようにしたものである。 The data multiplexing device according to the present invention includes: encoded data output from the real-time data encoding means; and non-real-time data output from the non-real-time data output means. Multiplexing means for multiplexing the encoded data preferentially, and multiplexing and outputting the non-real time data output from the non-real time data output means within the range of the difference between the band of the multiplexed data and a predetermined transmission rate. The real-time data rate control means measures the average rate of the encoded data of the real-time data included in the multiplexed data output from the multiplexing means, and the average rate approaches the desired average rate. The code amount of the encoded data output from the real-time data encoding means It is obtained by Gosuru way.
この発明によれば、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果がある。 According to the present invention, the encoded data of the real-time data output from the real-time data encoding means among the encoded data output from the real-time data encoding means and the non-real-time data output from the non-real-time data output means is obtained. Multiplexing means for multiplexing and outputting non-real time data output from the non-real time data output means within the range of the difference between the multiplexed data bandwidth and a predetermined transmission rate is provided, and real time data is provided. The rate control means measures the average rate of the encoded data of the real-time data included in the multiplexed data output from the multiplexing means, and encodes the real-time data so that the average rate approaches the desired average rate. The code amount of the encoded data output from the means is controlled. Since the, while achieving equalization of the image quality of a plurality of programs, suppress time variation in image quality, there is an effect that it is possible to achieve a high-quality programs multiplexed.
実施の形態1.
図1はこの発明の実施の形態1によるデータ多重化装置を示す構成図である。
図1において、リアルタイムデータ符号化部1a,1bは例えばエンコーダなどから構成されており、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ(例えば、ビデオデータやオーディオデータなどを含むメディアデータ)をリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する処理を実施する。
図1では、2台のリアルタイムデータ符号化部1a,1bがデータ多重化装置に多重化されている例を示しているが、1台だけ搭載されていてもよし、3台以上搭載されていてもよい。
なお、リアルタイムデータ符号化部1a,1bはリアルタイムデータ符号化手段を構成している。
Embodiment 1 FIG.
1 is a block diagram showing a data multiplexing apparatus according to Embodiment 1 of the present invention.
In FIG. 1, real-
Although FIG. 1 shows an example in which two real-time
The real-time
非リアルタイムデータ出力部2a,2bは例えばサーバなどから構成されており、復号装置側で非リアルタイムに復号されて再生(復号装置側で一旦蓄積されてから復号されて再生)されることが想定される非リアルタイムデータ(例えば、以前から蓄積している符号化されたデータやファイルなど)を出力する処理を実施する。
図1では、2台の非リアルタイムデータ出力部2a,2bがデータ多重化装置に多重化されている例を示しているが、1台だけ搭載されていてもよいし、3台以上搭載されていてもよい。
なお、非リアルタイムデータ出力部2a,2bは非リアルタイムデータ出力手段を構成している。
The non-real-time
Although FIG. 1 shows an example in which two non-real-time
The non-real time
多重化部3は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、リアルタイムデータ符号化部1a,1b及び非リアルタイムデータ出力部2a,2bから出力された符号化データのうち、リアルタイムデータ符号化部1a,1bから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内(残っている伝送レートの範囲内)で、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを多重化して出力する処理を実施する。
なお、多重化部3は多重化手段を構成している。
The
The
リアルタイムデータレート制御部4は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部3から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部4は多重化部3から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートが所望の平均レートより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与え、そのリアルタイムデータの符号化データの平均レートが所望の平均レートより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える処理を実施する。
なお、リアルタイムデータレート制御部4はリアルタイムデータレート制御手段を構成している。
The real-time data rate control unit 4 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer or the like, and a code of real-time data included in the multiplexed data output from the
That is, the real time data rate control unit 4 determines the code amount of the encoded data when the average rate of the encoded data of the real time data included in the multiplexed data output from the
The real time data rate control unit 4 constitutes a real time data rate control means.
図1では、データ多重化装置の構成要素であるリアルタイムデータ符号化部1a,1b、非リアルタイムデータ出力部2a,2b、多重化部3及びリアルタイムデータレート制御部4のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部1a,1b、非リアルタイムデータ出力部2a,2b、多重化部3及びリアルタイムデータレート制御部4の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1によるデータ多重化装置の処理内容(データ多重化方法)を示すフローチャートである。
In FIG. 1, each of the real-time
FIG. 2 is a flowchart showing the processing contents (data multiplexing method) of the data multiplexing apparatus according to Embodiment 1 of the present invention.
次に動作について説明する。
まず、リアルタイムデータ符号化部1a,1bは、初期画質レベルを設定する(ステップST1)。
リアルタイムデータ符号化部1a,1bは、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ(例えば、ビデオデータを含むメディアデータ)を入力すると、その設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する(ステップST2)。
Next, the operation will be described.
First, the real-time
When the real-time
リアルタイムデータ符号化部1a,1bでは、画質を安定させるため、出力する符号化データのデータ量が時間の経過に伴って変化することを想定している。
即ち、入力画像が複雑であれば、符号化データのデータ量が一時的に多くなる一方、入力画像が複雑でなければ、符号化データのデータ量が少なくなることを想定している。
なお、リアルタイムデータ符号化部1a,1bは、デジタル放送で、1つの番組を構成する複数のメディアを含む符号化データ列(例えば、MPEG−2 TS)を出力する装置に相当する。
In the real-time
That is, it is assumed that if the input image is complicated, the amount of encoded data is temporarily increased, whereas if the input image is not complicated, the amount of encoded data is decreased.
The real-time
非リアルタイムデータ出力部2a,2bは、復号装置側で非リアルタイムに復号されて再生(復号装置側で一旦蓄積されてから復号されて再生)されることが想定される非リアルタイムデータ(例えば、以前から蓄積している符号化されたデータやファイルなど)を出力する(ステップST3)。
なお、非リアルタイムデータは、図示せぬ非リアルタイムデータ出力部2a,2bの内部メモリに蓄積されているデータであってもよいし、外部から入力されたデータであってもよい。
The non-real-time
The non-real time data may be data stored in the internal memory of the non-real time
多重化部3は、リアルタイムデータ符号化部1a,1bからリアルタイムデータの符号化データを受け、非リアルタイムデータ出力部2a,2bから非リアルタイムデータを受けると、それらの符号化データの中で、リアルタイムデータ符号化部1a,1bから出力されたリアルタイムデータの符号化データを優先的に多重化する(ステップST4)。
ただし、多重化部3は、所定の伝送レートTRNrateの範囲内で、リアルタイムデータの符号化データを多重化する。
However, the
多重化部3は、リアルタイムデータの符号化データが多重化されている多重化データの帯域である出力レートOUTrateが所定の伝送レートTRNrateに到達していなければ(OUTrate<TRNrate)、残っている伝送レート(=TRNrate−OUTrate)の範囲内で、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを多重化する(ステップST5,ST6)。
多重化データの出力レートOUTrateが所定の伝送レートTRNrateに到達していれば(OUTrate=TRNrate)、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータは多重化されない。
If the output rate OUTrate, which is a band of multiplexed data in which encoded data of real-time data is multiplexed, does not reach the predetermined transmission rate TRNrate (OUTrate <TRNrate), the
If the output rate OUTrate of the multiplexed data has reached the predetermined transmission rate TRNrate (OUTrate = TRNrate), the non-realtime data output from the non-realtime
多重化部3は、リアルタイムデータの符号化データが多重化されている多重化データの出力レートOUTrateが一時的に所定の伝送レートTRNrateを超えることがある場合を想定して、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを一時的に格納する入力バッファ等を内部に備えており、一時的な符号化データの過多に対応可能な構成になっている。
したがって、多重化部3は、非リアルタイムデータ出力部2a,2bから出力された全ての非リアルタイムデータを多重化することができない場合、一部の非リアルタイムデータを入力バッファに一時的に格納し、多重化が可能なタイミングで、入力バッファから非リアルタイムデータを読み出して多重化する。
The
Therefore, when the
多重化部3は、リアルタイムデータの符号化データ及び非リアルタイムデータを多重化すると、その多重化データを出力する(ステップST7)。
多重化部3が上記のような処理を行うことで、リアルタイムデータ符号化部1a,1bから出力されたリアルタイムデータの符号化データを優先して多重化しながら、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを所定の伝送レートTRNrateになるまで多重化することができる。
仮に、リアルタイムデータの符号化データと非リアルタイムデータを合わせても、多重化データの出力レートOUTrateが所定の伝送レートTRNrateに到達しない場合は、例えば、スタッフィングデータ等を多重化することで、多重化データの出力レートOUTrateが所定の伝送レートTRNrateに達するようにすることも可能である。
The
If the output rate OUTrate of the multiplexed data does not reach the predetermined transmission rate TRNrate even if the encoded data of the real-time data and the non-realtime data are combined, for example, multiplexing is performed by multiplexing stuffing data or the like. It is also possible to make the data output rate OUTrate reach a predetermined transmission rate TRNrate.
リアルタイムデータレート制御部4は、多重化部3が多重化データを出力すると、その多重化データに含まれているリアルタイムデータの符号化データの平均レートAVErateを計測する(ステップST8)。
リアルタイムデータレート制御部4は、リアルタイムデータの符号化データの平均レートAVErateを計測すると、その平均レートAVErateが所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御する。
When the
When the real-time data rate control unit 4 measures the average rate AVErate of the encoded data of the real-time data, the real-time data rate control unit 4 outputs the average rate AVErate from the real-time
即ち、リアルタイムデータレート制御部4は、リアルタイムデータの符号化データの平均レートAVErateが所望の平均レートAVEraterefより高い場合(ステップST9)、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える(ステップST10)。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる(画質を低下させる)指示が考えられる。
これにより、リアルタイムデータ符号化部1a,1bから出力されるリアルタイムデータの符号化データの平均レートAVErateが下がるため、リアルタイムデータの符号化データの平均レートAVErateを所望の平均レートAVEraterefに近づけることが可能になる。
That is, when the average rate AVErate of the encoded data of the real-time data is higher than the desired average rate AVErate ref (step ST9), the real-time data rate control unit 4 gives an instruction to reduce the code amount of the encoded data. 1a and 1b are provided (step ST10).
As an instruction to reduce the code amount of the encoded data, for example, an instruction to lower the previously set image quality level (decrease the image quality) can be considered.
As a result, the average rate AVErate of the encoded data of the real-time data output from the real-time
リアルタイムデータレート制御部4は、リアルタイムデータの符号化データの平均レートAVErateが所望の平均レートAVEraterefより低い場合(ステップST9)、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える(ステップST11)。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる(画質を向上させる)指示が考えられる。
これにより、リアルタイムデータ符号化部1a,1bから出力されるリアルタイムデータの符号化データの平均レートAVErateが上がるため、リアルタイムデータの符号化データの平均レートAVErateを所望の平均レートAVEraterefに近づけることが可能になる。
When the average rate AVErate of the encoded data of the real-time data is lower than the desired average rate AVErate ref (step ST9), the real-time data rate control unit 4 gives an instruction to increase the code amount of the encoded data in the real-time
As an instruction to increase the code amount of encoded data, for example, an instruction to increase a previously set image quality level (improve image quality) can be considered.
As a result, the average rate AVErate of the encoded data of the real-time data output from the real-time
ここでは、リアルタイムデータの符号化データの平均レートAVErateが所望の平均レートAVEraterefより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える一方、リアルタイムデータの符号化データの平均レートAVErateが所望の平均レートAVEraterefより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与えるものを示したが、リアルタイムデータの符号化データの平均レートAVErateと所望の平均レートAVEraterefとの差が小さい場合(差が所定の閾値より小さい場合)、符号化データの符号量を変更する指示をリアルタイムデータ符号化部1a,1bに与えないようにしてもよい。
この場合、リアルタイムデータの符号化データの平均レートAVErateと所望の平均レートAVEraterefが近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
Here, when the average rate AVErate of the encoded data of the real-time data is higher than the desired average rate AVErate ref, an instruction to reduce the code amount of the encoded data is given to the real-time
In this case, since the image quality level is not changed when the average rate AVErate of the encoded data of the real-time data is close to the desired average rate AVErate ref , the image quality can be stabilized.
なお、リアルタイムデータレート制御部4は、多重化部3から出力された多重化データの調査を行わずに、多重化部3よりリアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップST2の処理に戻り、ステップST2〜ST11の処理が繰り返し実施される。
The real-time data rate control unit 4 receives the notification of the rate information of the real-time data from the
Thereafter, the process returns to step ST2, and the processes of steps ST2 to ST11 are repeatedly performed.
ここで、図3は多重化部3から出力される多重化データの一例を示す説明図である。
ただし、図3では、3台のリアルタイムデータ符号化部1と、1台の非リアルタイムデータ出力部2がデータ多重装置に搭載されている場合の多重化データの一例を示している。
多重化部3は、上述したように、多重化データの出力レートOUTrateが所定の伝送レートTRNrateと一致するように、リアルタイムデータの符号化データ(1)〜(3)と非リアルタイムデータとを多重化するので、リアルタイムデータの符号化データ(1)〜(3)と非リアルタイムデータとの合計レートは、常に伝送レートTRNrateと一致する。
Here, FIG. 3 is an explanatory diagram showing an example of multiplexed data output from the
However, FIG. 3 shows an example of multiplexed data when three real-time data encoding units 1 and one non-real-time data output unit 2 are mounted on the data multiplexing device.
As described above, the
ただし、リアルタイムデータの符号化データ(1)〜(3)の出力レートは、入力画像の複雑さ等により変動する。
このため、所望の平均レートAVErateref(図3の中段の点線)が予め設定され、リアルタイムデータの符号化データ(1)〜(3)の出力レートの合計が、所望の平均レートAVEraterefの付近で変動する。
However, the output rate of the encoded data (1) to (3) of the real-time data varies depending on the complexity of the input image.
For this reason, a desired average rate AVErate ref (the middle dotted line in FIG. 3) is preset, and the sum of the output rates of the encoded data (1) to (3) of the real-time data is in the vicinity of the desired average rate AVErate ref . It fluctuates with.
例えば、リアルタイムデータの符号化データ(1)〜(3)の出力レートの合計が、所望の平均レートAVEraterefを超えた場合には、リアルタイムデータレート制御部4が、3台のリアルタイムデータ符号化部1に対して、符号化データの符号量を下げる指示を出力することで、リアルタイムデータの符号化データ(1)〜(3)の出力レートが下がり、最終的に符号化データ(1)〜(3)の出力レートの合計が所望の平均レートAVEraterefに近づくことになる。
逆に、リアルタイムデータの符号化データ(1)〜(3)の出力レートの合計が、所望の平均レートAVEraterefに満たない場合には、リアルタイムデータレート制御部4が、3台のリアルタイムデータ符号化部1に対して、符号化データの符号量を上げる指示を出力することで、リアルタイムデータの符号化データ(1)〜(3)の出力レートが上がり、最終的に符号化データ(1)〜(3)の出力レートの合計が所望の平均レートAVEraterefに近づくことになる。
For example, when the sum of the output rates of the encoded data (1) to (3) of the real-time data exceeds a desired average rate AVErate ref , the real-time data rate control unit 4 encodes three real-time data By outputting an instruction to reduce the code amount of the encoded data to the unit 1, the output rate of the encoded data (1) to (3) of the real-time data is lowered, and finally the encoded data (1) to The sum of the output rates in (3) approaches the desired average rate AVErate ref .
On the other hand, when the total output rate of the encoded data (1) to (3) of the real-time data is less than the desired average rate AVErate ref , the real-time data rate control unit 4 uses the three real-time data codes. By outputting an instruction for increasing the code amount of the encoded data to the encoding unit 1, the output rate of the encoded data (1) to (3) of the real-time data is increased, and finally the encoded data (1) The sum of the output rates of (3) approaches the desired average rate AVErate ref .
このように、実際に出力しているリアルタイムデータの符号化データ(1)〜(3)の出力レートの合計を監視し、所望の平均レートAVEraterefとの差に応じて符号化データ(1)〜(3)の符号量を調整することで、リアルタイムデータの総レートと非リアルタイムデータの総レートを所望のレートに近づけることができる。
このとき、リアルタイムデータの符号化データ(1)〜(3)の一時的な符号量の増減を許しているため、急激な画質低下は発生せずに、安定した画質のリアルタイム番組の多重化が行える。
In this way, the sum of the output rates of the encoded data (1) to (3) of the real-time data that is actually output is monitored, and the encoded data (1) according to the difference from the desired average rate AVErate ref. By adjusting the amount of code in (3), the total rate of real-time data and the total rate of non-real-time data can be brought close to desired rates.
At this time, since the temporary code amount of the encoded data (1) to (3) of the real-time data is allowed to increase / decrease, a real-time program with stable image quality can be multiplexed without causing a sharp image quality degradation. Yes.
ただし、リアルタイムデータレート制御部4は、リアルタイムデータの符号化データの平均レートAVErateを計測する際、ある期間毎に平均レートAVErateを計測して、その平均レートAVErateが所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御しようとすると、その時点でのリアルタイムデータの符号化データの平均レートAVErateを所望の平均レートAVEraterefに近づけることができるが、長い期間で見ると、リアルタイムデータの符号化データの平均レートAVErateが所望の平均レートAVEraterefからずれてしまうことがある。
However, when the real-time data rate control unit 4 measures the average rate AVErate of the encoded data of the real-time data, the real-time data rate control unit 4 measures the average rate AVErate every certain period, and the average rate AVErate approaches the desired average rate AVErate ref . As described above, when the code amount of the encoded data output from the real-time
そこで、リアルタイムデータレート制御部4は、多重化部3から多重化データの出力が開始された時点TSTARTから多重化データに含まれているリアルタイムデータの符号化データのデータ量Dを累積するとともに、その出力開始時点TSTARTから現時点TNOWに至るまでの経過時間ΔT(=TNOW−TSTART)と所望の平均レートAVEraterefを乗算する。
そして、リアルタイムデータレート制御部4は、データ量Dの累積値Daccumと、経過時間ΔTと所望の平均レートAVEraterefの乗算結果ΔT×AVEraterefとを比較し、データ量Dの累積値Daccumが乗算結果ΔT×AVEraterefより大きければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える。
一方、データ量Dの累積値Daccumが乗算結果ΔT×AVEraterefより小さければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える。
このようにすることで、データ量Dの累積値Daccumを所望のデータ総量に近づけることができるため、長い期間で見ても、リアルタイムデータの符号化データの平均レートAVErateを所望の平均レートAVEraterefに近づけることができる。
Therefore, the real-time data rate control unit 4 accumulates the data amount D of the encoded data of the real-time data included in the multiplexed data from the time T START when the output of the multiplexed data from the
The real-time data rate control unit 4 compares the accumulated value Daccum of the data amount D with the multiplication result ΔT × AVErate ref of the elapsed time ΔT and the desired average rate AVErate ref , and multiplies the accumulated value Daccum of the data amount D. If the result is larger than ΔT × AVErate ref, an instruction to reduce the code amount of the encoded data is given to the real-time
On the other hand, if the accumulated value Daccum of the data amount D is smaller than the multiplication result ΔT × AVErate ref, an instruction to increase the code amount of the encoded data is given to the real-time
In this way, since the accumulated value Daccum of the data amount D can be brought close to the desired total data amount, the average rate AVErate of the encoded data of the real-time data can be set to the desired average rate AVErate ref even in a long period of time. Can be approached.
図4は3種類のビデオ画質をほぼ一定にしてビデオデータを符号化したときの各ビデオデータの符号化データのビットレートを示す説明図である。
各ビデオデータの符号化データは、ビットレートが時々刻々と変動し、3つの符号化データの総出力レートも変動する。
図5は図4のビデオデータの符号化データの情報量の累計結果を示す説明図である。
また、図6は情報量の累計結果と、所望の累計情報量(リアルタイムデータの符号化データの所望の平均レートを120kbpsとする場合の所望の累計情報量)との差を示す説明図である。
図5のように、符号化データの総出力レートのレート変動を多少許容することで、画質が一定の符号化処理を行えるとともに、所望の平均レートも達成することができる。
FIG. 4 is an explanatory diagram showing the bit rate of the encoded data of each video data when the video data is encoded with the three types of video image quality being substantially constant.
The bit rate of the encoded data of each video data varies from moment to moment, and the total output rate of the three encoded data also varies.
FIG. 5 is an explanatory diagram showing a cumulative result of the information amount of the encoded data of the video data in FIG.
FIG. 6 is an explanatory diagram showing the difference between the accumulated information amount and the desired accumulated information amount (desired accumulated information amount when the desired average rate of encoded data of real-time data is 120 kbps). .
As shown in FIG. 5, by allowing the rate variation of the total output rate of encoded data to some extent, it is possible to perform encoding processing with a constant image quality and to achieve a desired average rate.
以上で明らかなように、この実施の形態1によれば、リアルタイムデータ符号化部1a,1b及び非リアルタイムデータ出力部2a,2bから出力された符号化データのうち、リアルタイムデータ符号化部1a,1bから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートOUTrateと所定の伝送レートTRNrateの差分の範囲内で、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを多重化して出力する多重化部3を設け、リアルタイムデータレート制御部4が、多重化部3から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートAVErateを計測し、その平均レートAVErateが所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果を奏する。
As apparent from the above, according to the first embodiment, among the encoded data output from the real-time
実施の形態2.
上記実施の形態1では、リアルタイムデータレート制御部4が、多重化部3から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートAVErateを計測し、その平均レートAVErateが所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するものを示したが、多重化部3から出力された多重化データに含まれている非リアルタイムデータの平均レートAVErate’を計測し、その平均レートAVErate’が所望の平均レートAVErateref’に近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するようにしてもよい。
Embodiment 2. FIG.
In the first embodiment, the real-time data rate control unit 4 measures the average rate AVErate of the encoded data of the real-time data included in the multiplexed data output from the
図7はこの発明の実施の形態2によるデータ多重化装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
リアルタイムデータレート制御部5は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部3から出力された多重化データに含まれている非リアルタイムデータの平均レートAVErate’を計測し、その平均レートAVErat’が所望の平均レートAVErateref’に近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部5は多重化部3から出力された多重化データに含まれている非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与え、その非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える処理を実施する。
なお、リアルタイムデータレート制御部5はリアルタイムデータレート制御手段を構成している。
FIG. 7 is a block diagram showing a data multiplexing apparatus according to Embodiment 2 of the present invention. In FIG. 7, the same reference numerals as those in FIG.
The real-time data
That is, if the average rate AVErate ′ of the non-real-time data included in the multiplexed data output from the
The real time data
図7では、データ多重化装置の構成要素であるリアルタイムデータ符号化部1a,1b、非リアルタイムデータ出力部2a,2b、多重化部3及びリアルタイムデータレート制御部5のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部1a,1b、非リアルタイムデータ出力部2a,2b、多重化部3及びリアルタイムデータレート制御部5の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図8はこの発明の実施の形態2によるデータ多重化装置の処理内容(データ多重化方法)を示すフローチャートである。
In FIG. 7, each of the real-time
FIG. 8 is a flowchart showing the processing contents (data multiplexing method) of the data multiplexing apparatus according to the second embodiment of the present invention.
次に動作について説明する。
ただし、リアルタイムデータレート制御部5以外は、上記実施の形態1と同様であるため、リアルタイムデータレート制御部5の処理内容のみを説明する。
リアルタイムデータレート制御部5は、多重化部3が多重化データを出力すると、その多重化データに含まれている非リアルタイムデータの平均レートAVErate’を計測する(ステップST21)。
リアルタイムデータレート制御部5は、非リアルタイムデータの平均レートAVErate’を計測すると、その平均レートAVErate’が所望の平均レートAVErateref’に近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御する。
Next, the operation will be described.
However, since the components other than the real-time data
When the
When the real-time data
即ち、リアルタイムデータレート制御部5は、非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より高い場合(ステップST22)、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える(ステップST23)。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる(画質を向上させる)指示が考えられる。
これにより、リアルタイムデータ符号化部1a,1bから出力されるリアルタイムデータの符号化データの平均レートAVErateが上がるため、多重化部3で非リアルタイムデータ出力部2a,2bから出力される非リアルタイムデータが多重化される割合が低下する。そのため、非リアルタイムデータの平均レートAVErate’を所望の平均レートAVErateref’に近づけることが可能になる。
That is, when the average rate AVErate ′ of the non-real-time data is higher than the desired average rate AVErate ref ′ (step ST22), the real-time data
As an instruction to increase the code amount of encoded data, for example, an instruction to increase a previously set image quality level (improve image quality) can be considered.
As a result, the average rate AVErate of the encoded data of the real-time data output from the real-time
リアルタイムデータレート制御部5は、非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より低い場合(ステップST22)、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える(ステップST24)。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる(画質を低下させる)指示が考えられる。
これにより、リアルタイムデータ符号化部1a,1bから出力されるリアルタイムデータの符号化データの平均レートAVErateが下がるため、多重化部3で非リアルタイムデータ出力部2a,2bから出力される非リアルタイムデータが多重化される割合が上昇する。そのため、非リアルタイムデータの平均レートAVErate’を所望の平均レートAVErateref’に近づけることが可能になる。
When the average rate AVErate ′ of the non-real-time data is lower than the desired average rate AVErate ref ′ (step ST22), the real-time data
As an instruction to reduce the code amount of the encoded data, for example, an instruction to lower the previously set image quality level (decrease the image quality) can be considered.
As a result, the average rate AVErate of the encoded data of the real-time data output from the real-time
ここでは、非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える一方、非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与えるものを示したが、非リアルタイムデータの平均レートAVErate’と所望の平均レートAVErateref’との差が小さい場合(差が所定の閾値より小さい場合)、符号化データの符号量を変更する指示をリアルタイムデータ符号化部1a,1bに与えないようにしてもよい。
この場合、非リアルタイムデータの平均レートAVErate’と所望の平均レートAVErateref’が近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
Here, when the average rate AVErate ′ of the non-real-time data is higher than the desired average rate AVErate ref ′, an instruction to increase the code amount of the encoded data is given to the real-time
In this case, since the image quality level is not changed when the average rate AVErate ′ of the non-real time data is close to the desired average rate AVErate ref ′, the image quality can be stabilized.
また、リアルタイムデータレート制御部5は、多重化部3から出力された多重化データの調査を行わずに、多重化部3より非リアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップST2の処理に戻り、ステップST2〜ST24の処理が繰り返し実施される。
Further, the real-time data
Thereafter, the process returns to step ST2, and the processes of steps ST2 to ST24 are repeatedly performed.
ただし、リアルタイムデータレート制御部5は、非リアルタイムデータの平均レートAVErate’を計測する際、ある期間毎に平均レートAVErate’を計測して、その平均レートAVErate’が所望の平均レートAVErateref’に近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御しようとすると、その時点での非リアルタイムデータの平均レートAVErate’を所望の平均レートAVErateref’に近づけることができるが、長い期間で見ると、非リアルタイムデータの平均レートAVErate’が所望の平均レートAVErateref’からずれてしまうことがある。
However, when the real-time data
そこで、リアルタイムデータレート制御部5は、多重化部3から多重化データの出力が開始された時点TSTARTから多重化データに含まれている非リアルタイムデータのデータ量Dを累積するとともに、その出力開始時点TSTARTから現時点TNOWに至るまでの経過時間ΔT(=TNOW−TSTART)と所望の平均レートAVErateref’を乗算する。
そして、リアルタイムデータレート制御部5は、データ量Dの累積値Daccumと、経過時間ΔTと所望の平均レートAVErateref’の乗算結果ΔT×AVErateref’とを比較し、データ量Dの累積値Daccumが乗算結果ΔT×AVErateref’より大きければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部1a,1bに与える。
一方、データ量Dの累積値Daccumが乗算結果ΔT×AVErateref’より小さければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部1a,1bに与える。
このようにすることで、データ量Dの累積値Daccumを所望のデータ総量に近づけることができるため、長い期間で見ても、非リアルタイムデータの平均レートAVErate’を所望の平均レートAVErateref’に近づけることができる。
Therefore, the real-time data
Then, the real-time data
On the other hand, if the accumulated value Daccum of the data amount D is smaller than the multiplication result ΔT × AVErate ref ′, an instruction to reduce the code amount of the encoded data is given to the real-time
In this way, since the accumulated value Daccum of the data amount D can be brought close to the desired total data amount, the average rate AVErate ′ of the non-real-time data can be changed to the desired average rate AVErate ref ′ even in a long period. You can get closer.
以上で明らかなように、この実施の形態2によれば、リアルタイムデータ符号化部1a,1b及び非リアルタイムデータ出力部2a,2bから出力された符号化データのうち、リアルタイムデータ符号化部1a,1bから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートOUTrateと所定の伝送レートTRNrateの差分の範囲内で、非リアルタイムデータ出力部2a,2bから出力された非リアルタイムデータを多重化して出力する多重化部3を設け、リアルタイムデータレート制御部5が、多重化部3から出力された多重化データに含まれている非リアルタイムデータの平均レートAVErate’を計測し、その平均レートAVErate’が所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるとともに、非リアルタイムデータの平均レートを保証することができる効果を奏する。
As is apparent from the above, according to the second embodiment, among the encoded data output from the real-time
なお、この実施の形態2では、リアルタイムデータレート制御部5が、多重化部3から出力された多重化データに含まれている非リアルタイムデータの平均レートAVErate’が所望の平均レートAVEraterefに近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するものを示したが、非リアルタイムデータ出力部2a,2bが非リアルタイムデータを固定レートで多重化部3に出力し、多重化部3が、非リアルタイムデータを一時的に入力バッファ(図示せず)に蓄積しながら多重化を行う場合、リアルタイムデータレート制御部5が、多重化部3の入力バッファに蓄積された非リアルタイムデータのデータ総量に基づいて、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するようにしてもよい。
この場合も、非リアルタイムデータの出力データ総量を所望の値に保つことができる。また、リアルタイムデータに含まれるビデオ画質の急激な変動を抑えることができる。
In the second embodiment, the real-time data
Also in this case, the total output data amount of the non-real time data can be kept at a desired value. In addition, it is possible to suppress a sudden change in video image quality included in the real-time data.
図6に示すように、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が大きくなると、非リアルタイムデータの総量も所望の非リアルタイムデータの総量からずれてしまう。
例えば、非リアルタイムデータを或るレートで伝送することを想定した場合、実際のデータ総量と想定のデータ総量の差を想定レートで割った時間だけ、非リアルタイムデータの送信タイミングがずれることになる。
図6の例では、非リアルタイムデータの想定レートが120kbpsとして、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が12kbyteであった場合、12k×8/120k=0.8となり、非リアルタイムデータの送信タイミングが、0.8秒だけ想定のタイミングよりずれることになる。
As shown in FIG. 6, when the difference between the total amount of actual real-time data and the total amount of desired real-time data increases, the total amount of non-real-time data also deviates from the total amount of desired non-real-time data.
For example, when it is assumed that non-real-time data is transmitted at a certain rate, the transmission timing of non-real-time data is shifted by the time obtained by dividing the difference between the actual total data amount and the assumed total data amount by the assumed rate.
In the example of FIG. 6, when the assumed rate of non-real-time data is 120 kbps, and the difference between the total amount of actual real-time data and the total amount of desired real-time data is 12 kbytes, 12k × 8 / 120k = 0.8, The transmission timing of the non-real time data is shifted from the assumed timing by 0.8 seconds.
そのため、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が、ある閾値を超えないように、リアルタイムデータレート制御部5が、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きく変動することがなくなる。
このように、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が所定の閾値以下になるように制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きくずれることがなくなり、復号装置側で想定したタイミングで受信することが可能になる。
For this reason, the real-time data
In this way, by controlling the difference between the actual total amount of non-real-time data and the estimated total amount of data to be equal to or less than a predetermined threshold, the transmission timing of non-real-time data is greatly deviated from the assumed transmission timing. Therefore, it is possible to receive at the timing assumed on the decoding device side.
上記実施の形態1,2では、リアルタイムデータ符号化部1a,1bが、リアルタイムデータとして、例えば、ビデオデータを含むメディアデータを符号化する際、設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化(ビデオ画質が一定になるように符号化)し、リアルタイムデータレート制御部4,5から符号量を下げる指示を受けると、画質が少し低下するように符号化処理を実施して、符号化データの符号量を低下させる。逆に、リアルタイムデータレート制御部4,5から符号量を上げる指示を受けると、画質が少し向上するように符号化処理を実施して、符号化データの符号量を増加させる。
このように、リアルタイムデータ符号化部1a,1bでは、符号化データの出力レートを直接制御するのではなく、画質レベルを制御するようにしているので、リアルタイムデータレート制御部4,5から指示を受けなければ、画質が一定になる。また、リアルタイムデータレート制御部4,5から指示を受けても、画質を安定的に少しだけ調整するため、画質の変動は抑えられる。
なお、リアルタイムデータ符号化部1a,1bが画質レベルを制御するのではなく、符号化データの出力レートを所望のレートに合わせようとすると、入力画像の複雑さに依存して画質レベルが変動してしまうため、画質レベルが安定しなくなる不具合を生じることが想定される。
In the first and second embodiments, when the real-time
Thus, since the real-time
When the real-time
上記実施の形態1,2では、リアルタイムデータレート制御部4,5が、逐次、平均レートAVErate(AVErate’)が所望の平均レートAVErateref(AVErateref’)に近づくように、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するものを示したが、リアルタイムデータレート制御部4,5が制御を行う度に、リアルタイムデータ符号化部1a,1bから出力される符号化データの画質が変動する。
リアルタイムデータ符号化部1a,1bから出力される符号化データの画質の変動を抑制するため、リアルタイムデータレート制御部4,5における符号量の制御回数及び制御幅を制限し、所定の制御回数及び制御幅の範囲内で、リアルタイムデータレート制御部4,5が符号化データの符号量を制御するようにしてもよい。
In the first and second embodiments, the real-time data
In order to suppress fluctuations in the image quality of the encoded data output from the real-time
リアルタイムデータレート制御部4,5における符号量の制御回数として、例えば、1分間の上限制御回数“N回”が設定された場合、リアルタイムデータレート制御部4,5における制御回数が、1分間でN回を超えないように制限される。
また、リアルタイムデータレート制御部4,5における符号量の制御幅として、例えば、1回の制御による画質の上限変動幅Wが設定された場合、リアルタイムデータレート制御部4,5における1回の制御で、画質の上限変動幅Wを超えないように制限される。
For example, when the upper limit control count “N times” for 1 minute is set as the number of times of code amount control in the real-time data
Further, as the control range of the code amount in the real-time data
ここでは、リアルタイムデータレート制御部4,5における符号量の制御回数及び制御幅を制限するものを示したが、リアルタイムデータレート制御部4,5が、多重化部3から多重化データの出力が開始された時点TSTARTから非リアルタイムデータのデータ量Dを累積し、そのデータ量Dの累積値Daccumと所望のデータ総量の差が所定値を超えた場合に限り、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量を制御するようにしてもよい。
これにより、データ量Dの累積値Daccumと所望のデータ総量の差が所定値の範囲内で変動している間は、リアルタイムデータ符号化部1a,1bから出力される符号化データの符号量が制御されないため、リアルタイムデータの画質が安定する。また、差が所定値の範囲を超えた場合でも、大きく画質を変えるような制御を与えず、少しずつ画質を変更するようにすることで、画質変化をなだらかに推移させることができる。
Here, what restricts the number of times of control and the control width of the code amount in the real-time data
Thereby, while the difference between the accumulated value Daccum of the data amount D and the desired total amount of data fluctuates within a predetermined value range, the code amount of the encoded data output from the real-time
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1a,1b リアルタイムデータ符号化部(リアルタイムデータ符号化手段)、2a,2b 非リアルタイムデータ出力部(非リアルタイムデータ出力手段)、3 多重化部(多重化手段)、4,5 リアルタイムデータレート制御部(リアルタイムデータレート制御手段)。 1a, 1b Real-time data encoding section (real-time data encoding means), 2a, 2b Non-real-time data output section (non-real-time data output means), 3 Multiplexing section (multiplexing means), 4, 5 Real-time data rate control section (Real time data rate control means).
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010234412A JP5677018B2 (en) | 2010-10-19 | 2010-10-19 | Data multiplexing apparatus, data multiplexing method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010234412A JP5677018B2 (en) | 2010-10-19 | 2010-10-19 | Data multiplexing apparatus, data multiplexing method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012090039A true JP2012090039A (en) | 2012-05-10 |
JP5677018B2 JP5677018B2 (en) | 2015-02-25 |
Family
ID=46261200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010234412A Expired - Fee Related JP5677018B2 (en) | 2010-10-19 | 2010-10-19 | Data multiplexing apparatus, data multiplexing method and system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5677018B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015194395A1 (en) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
WO2017047424A1 (en) * | 2015-09-17 | 2017-03-23 | ソニー株式会社 | Transmission device, receiving device, and data processing method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05260091A (en) * | 1992-03-13 | 1993-10-08 | Fujitsu Ltd | Multimedium multiplexing system |
JP2000324087A (en) * | 1999-05-12 | 2000-11-24 | Sony Corp | Method and device for multiplexing signal |
JP2001285815A (en) * | 2000-03-30 | 2001-10-12 | Canon Inc | Signal processor, signal processing system, printer, user interface device and data broadcasting receiver |
JP2001359061A (en) * | 2000-04-11 | 2001-12-26 | Sony Corp | Data transmitter, data receiver, data transmission method, and data reception method |
JP2002064827A (en) * | 2000-08-17 | 2002-02-28 | Sony Corp | Statistical multiplex system, statistical multiplex control apparatus and method for statistically multiplexing |
JP2003087753A (en) * | 2001-09-06 | 2003-03-20 | Toshiba Corp | Program transmission processing apparatus |
-
2010
- 2010-10-19 JP JP2010234412A patent/JP5677018B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05260091A (en) * | 1992-03-13 | 1993-10-08 | Fujitsu Ltd | Multimedium multiplexing system |
JP2000324087A (en) * | 1999-05-12 | 2000-11-24 | Sony Corp | Method and device for multiplexing signal |
JP2001285815A (en) * | 2000-03-30 | 2001-10-12 | Canon Inc | Signal processor, signal processing system, printer, user interface device and data broadcasting receiver |
JP2001359061A (en) * | 2000-04-11 | 2001-12-26 | Sony Corp | Data transmitter, data receiver, data transmission method, and data reception method |
JP2002064827A (en) * | 2000-08-17 | 2002-02-28 | Sony Corp | Statistical multiplex system, statistical multiplex control apparatus and method for statistically multiplexing |
JP2003087753A (en) * | 2001-09-06 | 2003-03-20 | Toshiba Corp | Program transmission processing apparatus |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015194395A1 (en) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
JPWO2015194395A1 (en) * | 2014-06-20 | 2017-04-20 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
US10349099B2 (en) | 2014-06-20 | 2019-07-09 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
US10863214B2 (en) | 2014-06-20 | 2020-12-08 | Saturn Licensing Llc | Transmission device, transmission method, reception device, and reception method |
WO2017047424A1 (en) * | 2015-09-17 | 2017-03-23 | ソニー株式会社 | Transmission device, receiving device, and data processing method |
EP3352462A4 (en) * | 2015-09-17 | 2019-07-31 | Sony Corporation | Transmission device, receiving device, and data processing method |
US10412426B2 (en) | 2015-09-17 | 2019-09-10 | Sony Corporation | Transmission device, receiving device, and data processing method |
US11218747B2 (en) | 2015-09-17 | 2022-01-04 | Saturn Licensing Llc | Transmission device, receiving device, and data processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5677018B2 (en) | 2015-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11729109B2 (en) | Excess bitrate distribution based on quality gain in SABR server | |
EP3022884B1 (en) | Quality optimization with buffer and horizon constraints in adaptive streaming | |
US11677799B2 (en) | Client feedback enhanced methods and devices for efficient adaptive bitrate streaming | |
US10623785B2 (en) | Streaming manifest quality control | |
US8910229B2 (en) | Methods and devices for efficient adaptive bitrate streaming | |
JP4489794B2 (en) | Generalized reference decoder for video or video processing | |
US9451320B2 (en) | Utilizing multi-dimensional resource allocation metrics for concurrent decoding of time-sensitive and non-time-sensitive content | |
US8928804B2 (en) | Managing encoder parameters for parallel transcoding | |
EP2612495B1 (en) | Adaptive streaming of video at different quality levels | |
US20110270913A1 (en) | Controlling an adaptive streaming of digital content | |
US8996713B2 (en) | Video streaming | |
JP2006506926A (en) | Video transmission method | |
US9571871B2 (en) | Method for delivering video content encoded at one or more quality levels over a data network | |
JP5677018B2 (en) | Data multiplexing apparatus, data multiplexing method and system | |
EP2553928A1 (en) | Methods and devices for providing an encoded digital signal | |
Chang et al. | Optimal DASH video scheduling over variable-bit-rate networks | |
Yu et al. | An adaptive streaming system for mpeg-4 scalable to lossless audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5677018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |