JP2013255208A - Video encoding device, video encoding method and video encoding program - Google Patents

Video encoding device, video encoding method and video encoding program Download PDF

Info

Publication number
JP2013255208A
JP2013255208A JP2012166237A JP2012166237A JP2013255208A JP 2013255208 A JP2013255208 A JP 2013255208A JP 2012166237 A JP2012166237 A JP 2012166237A JP 2012166237 A JP2012166237 A JP 2012166237A JP 2013255208 A JP2013255208 A JP 2013255208A
Authority
JP
Japan
Prior art keywords
encoding
bit rate
value
setting value
rate setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012166237A
Other languages
Japanese (ja)
Other versions
JP5592913B2 (en
Inventor
Taku Sano
卓 佐野
Kazuto Kamikura
一人 上倉
Hirohisa Jozawa
裕尚 如澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012166237A priority Critical patent/JP5592913B2/en
Publication of JP2013255208A publication Critical patent/JP2013255208A/en
Application granted granted Critical
Publication of JP5592913B2 publication Critical patent/JP5592913B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To sufficiently keep subjective image quality of respective pieces of video data when a plurality of pieces of video data are encoded in parallel.SOLUTION: A video encoding device includes: means for calculating average values of a plurality of pictures of one picture average value of first and second video data, respectively; means for calculating a differential value of the average values of a plurality of pictures of the first and second video data; means for determining a bit rate setting value when the first and second video data are encoded in accordance with the differential value and a present setting value; means for using a setting value which reduces a bit rate from the setting value which is set at present in the bit rate setting values to encode and output one of the first and second video data; and means for using a setting value which increases the bit rate from the setting value which is set at present in the new bit rate setting values to encode and output the other of the first and second video data after prescribed time elapses from execution of encoding using the new bit rate setting value.

Description

本発明は、複数の映像データを並行して符号化処理する映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。   The present invention relates to a video encoding device, a video encoding method, and a video encoding program for encoding a plurality of video data in parallel.

映像符号化技術は、MPEG−2、H.263、MPEG−4を経て、最近ではH.264規格が主流となっている。H.264規格ではMPEG−2の2倍以上の圧縮率が得られ、地上波デジタル放送のワンセグ放送(携帯電話・移動体端末向けの1セグメント部分受信サービス)やBlu−ray(登録商標)規格に採用されている。また、H.264規格の次の映像符号化規格としてHEVC(High Efficiency Video Coding)が現在提案されている。   Video encoding techniques include MPEG-2, H.264, and the like. H.263, MPEG-4, and recently H.264. The H.264 standard has become mainstream. H. The H.264 standard provides a compression ratio more than twice that of MPEG-2, and is adopted for one-segment broadcasting of terrestrial digital broadcasting (one-segment partial reception service for mobile phones and mobile terminals) and Blu-ray (registered trademark) standards. Has been. H. As a video encoding standard next to the H.264 standard, HEVC (High Efficiency Video Coding) is currently proposed.

映像を符号化する際には、Blu−ray(登録商標)規格のような蓄積メディアは画質が最も重要な条件になるため、映像特性に応じて符号化レートを変化させ高画質に符号化を行うVBR(Variable Bit Rate)方式がよく用いられる。また、ワンセグ放送やIPTV(Internet Protocol TeleVision)のような映像配信システムについては伝送レートに限りがあるため、符号化レートを一定にさせ符号化を行うCBR(Constant Bit Rate)方式を用いる。   When encoding video, storage media such as the Blu-ray (registered trademark) standard is the most important condition for image quality. Therefore, the encoding rate is changed according to the video characteristics and encoding is performed with high image quality. A VBR (Variable Bit Rate) method is often used. In addition, a video distribution system such as one-segment broadcasting or IPTV (Internet Protocol TeleVision) has a limited transmission rate, and therefore, a CBR (Constant Bit Rate) system that performs encoding with a constant encoding rate is used.

近年では、3D映像サービスの普及により左右2つの映像を同時に符号化し伝送するニーズや、複数チャンネルの映像ストリームを同時に配信し視聴可能とするマルチディスプレイサービス等の要求が高まってきている。また、フルHDの4倍の解像度である4Kx2K映像やNHK(日本放送協会)が提唱しているSHV(Super High Vision、フルHDの16倍の解像度)の映像等、フルHDを超える大画面化が進みつつある。   In recent years, with the widespread use of 3D video services, there has been an increasing need for simultaneous encoding and transmission of two left and right videos, and a multi-display service that enables simultaneous delivery and viewing of multiple channels of video streams. In addition, 4Kx2K video, which is 4 times the resolution of full HD, and SHV (Super High Vision, 16 times the resolution of full HD) advocated by NHK (Japan Broadcasting Corporation), have a larger screen than full HD. Is progressing.

しかし映像符号化装置についてはまだフルHDレベルの製品が主流であるため、4Kx2K映像やSHV映像の符号化を行う際にはフルHD対応の符号化装置を複数用いて符号化し伝送を行う場合が多い。また、IPTVの多チャンネル化やスポーツ中継等で複数カメラの映像を同時に放送局へ伝送する場合など、フルHDサイズの映像を複数同時に符号化し伝送する機会も多くなってきている。   However, full HD level products are still mainstream for video encoding devices, so when encoding 4Kx2K video and SHV video, encoding may be performed using multiple full HD compatible encoding devices. Many. In addition, there are increasing opportunities to simultaneously encode and transmit a plurality of full HD size images, such as when transmitting images from a plurality of cameras to a broadcasting station at the same time in IPTV multi-channel or sports broadcasting.

従来、限られた伝送レートの中で複数の映像ストリームを伝送する際は、最大の伝送レートを映像ストリームの数で均等に配分し個々に符号化処理を行っていたため、映像特性に応じて主観画質に差異が生じてしまう。例えば、一方がニュース番組等の比較的動きの少ないコンテンツであり、他方がスポーツ中継のような動きの大きいコンテンツである場合、動きの少ないコンテンツでは十分な符号量が割り当てられるため主観画質は良いが、動きの大きいコンテンツでは符号量割り当てが少ないため主観画質が悪くなってしまうという問題がある。また、スポーツ中継を大画面で符号化・伝送を行う際には、プレーヤが映っていない領域では十分な符号量が割り当てられるため主観画質はよいが、プレーヤが大きく動いている領域では符号量割り当てが少ないため主観画質が悪くなってしまう。視聴する立場から見てもプレーヤが動いている部分が注視領域となる事が多いため、全体の主観画質が悪く感じられてしまうという問題がある。   Conventionally, when transmitting multiple video streams within a limited transmission rate, the maximum transmission rate is evenly distributed according to the number of video streams, and encoding is performed individually. There will be a difference in image quality. For example, if one is content with relatively little movement, such as a news program, and the other is content with large movement, such as a sports broadcast, the subjective image quality is good because a sufficient amount of code is allocated for content with little movement. However, there is a problem that the subjective image quality deteriorates because the code amount allocation is small in content with large movement. Also, when encoding and transmitting sports broadcasts on a large screen, a sufficient code amount is allocated in an area where the player is not shown, so the subjective image quality is good, but in areas where the player is moving greatly, the code amount is allocated. Subjective image quality deteriorates because there are few. From the viewpoint of viewing, since the portion where the player is moving is often the gaze area, there is a problem that the overall subjective image quality is felt poor.

このような問題を解決するために、合計の符号化レートを一定に保ちつつ個々の符号化レートを動的に変化させる統計多重符号量制御方式が知られている。この方式ではそれぞれの映像特性に応じて符号化レートを設定できるため、上記の問題が発生するような場合でも動きの少ないコンテンツの符号化レートを下げ、動きの大きい符号化レートを上げることで双方の主観画質を均等に保つことができる。   In order to solve such a problem, a statistical multiplex code amount control method is known in which each coding rate is dynamically changed while keeping the total coding rate constant. In this method, the coding rate can be set according to the video characteristics of each, so even if the above problem occurs, both the coding rate of content with little motion is lowered and the coding rate with large motion is raised. The subjective image quality can be kept uniform.

また、複数チャネル間の適応ビットレート配分を実現する機能を有する映像符号化装置も知られている(例えば、特許文献1参照)。これは、各符号化部において各チャネルの入力画像の内容に応じた可変ビットレートの符号化ストリームを生成し、一本のストリームに多重化する動画像符号化装置において、各符号化部のストリームバッファに対して直接同じタイミングで出力ビットレートの切替えを指示することなく、符号化部のストリームバッファから出力された符号化ストリームのビットレートの総和を常に一定値以下にするものである。これにより、複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置の実現がより容易になる。   A video encoding device having a function of realizing adaptive bit rate distribution among a plurality of channels is also known (see, for example, Patent Document 1). This is because each encoding unit generates a variable bit rate encoded stream corresponding to the content of the input image of each channel and multiplexes it into a single stream. Without directly instructing the buffer to switch the output bit rate at the same timing, the sum of the bit rates of the encoded streams output from the stream buffer of the encoding unit is always kept below a certain value. This makes it easier to implement a moving picture coding apparatus having an adaptive bit rate distribution function between a plurality of channels.

特開2005−252752号公報JP 2005-252752 A

しかしながら、特許文献1に記載の映像符号化装置では複雑さ指標と呼ばれる量子化パラメータに発生符号量を乗じた値を元に新たなビットレートを設定している。そのため、量子化マトリックスセットを適応的に切り替えた場合、複雑さ指標の傾向も変わってしまうため適切な制御ができなくなる場合がある。したがって、双方の主観画質を良好に保つことができないという問題がある。   However, in the video encoding device described in Patent Document 1, a new bit rate is set based on a value obtained by multiplying a quantization parameter called a complexity index by a generated code amount. For this reason, when the quantization matrix set is adaptively changed, the tendency of the complexity index also changes, so that appropriate control may not be possible. Therefore, there is a problem that the subjective image quality of both cannot be kept good.

本発明は、このような事情に鑑みてなされたもので、複数の映像データを並行して符号化処理を行う際に、各映像データの主観画質を良好に保つことができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and when performing a coding process on a plurality of video data in parallel, a video coding apparatus capable of maintaining good subjective image quality of each video data, An object is to provide a video encoding method and a video encoding program.

本発明は、複数の映像データを並行して符号化処理する映像符号化装置であって、第1の映像データと第2の映像データをそれぞれ入力する映像入力手段と、前記第1及び第2の映像データそれぞれについて符号化処理単位毎の量子化パラメータの1ピクチャ平均値を算出する平均値算出手段と、前記第1及び第2の映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、前記第1の映像データの前記複数ピクチャ平均値と前記第2の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出手段と、前記差分値と現在設定されているビットレート設定値とに応じて、前記第1の映像データ及び第2の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定手段と、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第1または第2の映像データのうち、いずれか一方を符号化して出力する第1の符号化手段と、前記第1の符号化手段により前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第1または第2の映像データのうち、他方を符号化して出力する第2の符号化手段とを備えたことを特徴とする。   The present invention is a video encoding apparatus for encoding a plurality of video data in parallel, wherein the first and second video input means for inputting the first video data and the second video data respectively. Average value calculating means for calculating an average value of one picture of a quantization parameter for each video processing unit, and an average of a plurality of pictures of the average value of one picture of each of the first and second video data A plurality of picture average value calculating means for calculating a value; a difference calculating means for calculating a difference value between the plurality of picture average values of the first video data and the plurality of picture average values of the second video data; A new bit rate setting value for encoding each of the first video data and the second video data is determined according to the difference value and the currently set bit rate setting value. A setting value determining means that performs a setting value that decreases a bit rate from a setting value that is currently set among the new bit rate setting values. A first encoding unit that encodes and outputs the first bit; and after the predetermined time elapses after the first encoding unit executes encoding using the new bit rate setting value, the new bit Second encoding that encodes and outputs the other of the first or second video data using a setting value that increases the bit rate from the currently set setting value among the rate setting values Means.

本発明は、複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置であって、複数の映像データそれぞれを入力する映像入力手段と、前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの1ピクチャ平均値を算出する平均値算出手段と、前記映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出手段と、前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定手段と、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第1の符号化手段と、前記第1の符号化手段により前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第2の符号化手段とを備えたことを特徴とする。   The present invention relates to a video encoding device that encodes a plurality of video data in parallel by a plurality of encoding processes, the video input means for inputting each of the plurality of video data, and the encoding process for each of the video data An average value calculating means for calculating an average value of one picture of a quantization parameter for each unit; an average value calculating means for calculating an average value for a plurality of pictures of the average value of one picture for each of the video data; Maximum / minimum value calculating means for calculating the maximum and minimum values of the average value for a plurality of pictures calculated from each data, encoding information used for encoding the video data indicating the maximum value, and the minimum Coding bit rate setting for determining a new coding bit rate setting value using coding information used for coding processing of the video data indicating the value When the determination unit and the encoding process using the encoding bit rate setting value that decreases the setting value of the encoding bit rate that is currently set when the new encoding bit rate setting value is set, First encoding means for performing encoding by setting a set value of the new encoding bit rate, and encoding using the new encoding bit rate set value by the first encoding means When the new encoding bit rate setting value is set after a predetermined time has elapsed after the encoding process with the bit rate setting value decreased, the setting value of the currently set encoding bit rate increases. And a second encoding means for performing encoding by setting the new encoding bit rate setting value for the encoding process using the encoding bit rate setting value to be To do.

本発明は、前記符号化ビットレート設定値決定手段は、前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする。   In the present invention, the encoding bit rate setting value determining means calculates a difference value between a maximum value and a minimum value of a plurality of picture average values calculated from the video data, and calculates the difference value and a plurality of values calculated from the video data. The new encoding bit rate setting value is determined according to the encoding bit rate setting value of the encoding process in which the average value for pictures is the minimum value.

本発明は、前記符号化ビットレート設定値決定手段は、前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が2つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が1つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする。   In the present invention, after the encoding bit rate setting value determining means determines the encoding bit rate setting value, two or more encoding processes that have not been used for the encoding bit rate setting value change process remain. In this case, the determination of the encoding bit rate setting value is repeatedly performed until the number of encoding processes not used for the encoding bit rate setting value changing process is one or less.

本発明は、複数の映像データを並行して符号化処理する映像符号化装置が行う映像符号化方法であって、第1の映像データと第2の映像データをそれぞれ入力する映像入力ステップと、前記第1及び第2の映像データそれぞれについて符号化処理単位毎の量子化パラメータの1ピクチャ平均値を算出する平均値算出ステップと、前記第1及び第2の映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、前記第1の映像データの前記複数ピクチャ平均値と前記第2の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出ステップと、前記差分値と現在設定されているビットレート設定値とに応じて、前記第1の映像データ及び第2の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定ステップと、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第1または第2の映像データのうち、いずれか一方を符号化して出力する第1の符号化ステップと、前記第1の符号化ステップにより前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第1または第2の映像データのうち、他方を符号化して出力する第2の符号化ステップとを有することを特徴とする。   The present invention is a video encoding method performed by a video encoding device that performs encoding processing on a plurality of video data in parallel, wherein the video input step inputs the first video data and the second video data, respectively. An average value calculating step of calculating a one-picture average value of a quantization parameter for each encoding processing unit for each of the first and second video data; and the one-picture average value of each of the first and second video data A plurality of picture average value calculating step for calculating an average value for a plurality of pictures, and a difference value between the plurality of picture average values of the first video data and the plurality of picture average values of the second video data. Each of the first video data and the second video data is encoded according to a difference calculation step and the difference value and the currently set bit rate setting value. A setting value determining step for determining a new bit rate setting value at the time of use, and a setting value for reducing the bit rate from the currently set setting value among the new bit rate setting values. A first encoding step for encoding and outputting one of the first and second video data, and encoding using the new bit rate setting value by the first encoding step; After the predetermined time elapses, the other one of the first and second video data using the setting value that increases the bit rate from the currently set setting value among the new bit rate setting values. And a second encoding step for encoding and outputting.

本発明は、複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置が行う映像符号化方法であって、複数の映像データそれぞれを入力する映像入力ステップと、前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの1ピクチャ平均値を算出する平均値算出ステップと、前記映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出ステップと、前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定ステップと、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第1の符号化ステップと、前記第1の符号化ステップにより前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第2の符号化ステップとを有することを特徴とする。   The present invention is a video encoding method performed by a video encoding apparatus that encodes a plurality of video data in parallel by a plurality of encoding processes, the video input step for inputting each of a plurality of video data, and the video An average value calculating step of calculating an average value of one quantization parameter for each encoding processing unit for each data, and an average value of a plurality of pictures for calculating an average value for a plurality of pictures of the one picture average value of each of the video data A calculation step; a maximum / minimum value calculation step for calculating a maximum value and a minimum value of the average value for a plurality of pictures calculated from each of the video data; and a code used for encoding the video data indicating the maximum value A new encoding bit rate setting using the encoding information and the encoding information used for encoding the video data indicating the minimum value. An encoding bit rate setting value determining step for determining a value, and an encoding bit rate setting in which the set value of the currently set encoding bit rate is reduced when the new encoding bit rate setting value is set A first encoding step for performing encoding by setting a set value of the new encoding bit rate for the encoding processing using a value, and the new encoding by the first encoding step. When the new encoding bit rate setting value is set after the elapse of a predetermined time after executing the encoding process using the bit rate setting value to reduce the encoding bit rate setting value, the current setting is performed. For the encoding process using the encoding bit rate setting value that increases the encoding bit rate setting value, the encoding value is set by setting the new encoding bit rate setting value. And having a second coding step.

本発明は、前記符号化ビットレート設定値決定ステップは、前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする。   In the present invention, the encoding bit rate setting value determining step calculates a difference value between a maximum value and a minimum value of a plurality of picture average values calculated from the video data, and calculates the difference value and a plurality of values calculated from the video data. The new encoding bit rate setting value is determined according to the encoding bit rate setting value of the encoding process in which the average value for pictures is the minimum value.

本発明は、前記符号化ビットレート設定値決定ステップは、前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が2つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が1つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする。   In the present invention, the encoding bit rate setting value determining step includes two or more encoding processes that are not used for the encoding bit rate setting value changing process after the encoding bit rate setting value is determined. In this case, the determination of the encoding bit rate setting value is repeatedly performed until the number of encoding processes not used for the encoding bit rate setting value changing process is one or less.

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。   The present invention is a video encoding program for causing a computer to function as the video encoding device.

本発明によれば、複数の映像データを並行して符号化処理する際に、入力した複数の映像データそれぞれの符号化ビットレートを動的に変化させながら映像符号化処理を行うようにしたため、ビットレートを一定に保ちつつ最適な符号量で符号化処理を行うことができる。そのため、映像の主観画質を向上させることができるという効果が得られる。   According to the present invention, when encoding a plurality of video data in parallel, the video encoding process is performed while dynamically changing the encoding bit rate of each of the plurality of input video data. Encoding processing can be performed with an optimal code amount while keeping the bit rate constant. Therefore, an effect that the subjective image quality of the video can be improved is obtained.

本発明の第1実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of 1st Embodiment of this invention. ビットレートの変更量を示す説明図である。It is explanatory drawing which shows the change amount of a bit rate. QmatとQoffsetの対応の一例を示す説明図である。It is explanatory drawing which shows an example of a response | compatibility of Qmat and Qoffset. 本発明の第2実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of 2nd Embodiment of this invention. QmatとQoffsetの対応の一例を示す説明図である。It is explanatory drawing which shows an example of a response | compatibility of Qmat and Qoffset. 本発明の第3実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of 3rd Embodiment of this invention.

<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像符号化装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、少なくとも2つの映像コンテンツデータ(第1、第2の映像コンテンツデータ)を入力し、それぞれ符号化を行い、多重化したトランスポートストリーム(TS)を出力する映像符号化装置である。
<First Embodiment>
Hereinafter, a video encoding apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure, reference numeral 10 denotes video encoding that inputs at least two video content data (first and second video content data), performs encoding, and outputs a multiplexed transport stream (TS). Device.

符号11、12はそれぞれ映像符号化部であり、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの1ピクチャ平均値を算出する。さらに現在符号化を行ったピクチャから過去数ピクチャ分の1ピクチャ平均値の平均値を算出する。平均値を算出するピクチャ数は予め任意に設定しておく。符号化構成に応じて1GOP(Group of Picture)にあたるピクチャ枚数を設定しておけばよい。映像符号化部11、12は、それぞれ動作を統括して制御する制御部111、121と、ストリームを生成するストリーム生成部112、122を備える。   Reference numerals 11 and 12 denote video encoding units, which encode video content and calculate an average value of one quantization parameter parameter from the encoding result. Further, the average value of the average values of one picture for the past several pictures is calculated from the currently encoded picture. The number of pictures for calculating the average value is arbitrarily set in advance. The number of pictures corresponding to 1 GOP (Group of Pictures) may be set according to the encoding configuration. The video encoding units 11 and 12 include control units 111 and 121 that control and control operations, respectively, and stream generation units 112 and 122 that generate streams.

符号13はホストCPUであり、2つの映像符号化部の全体制御と新たなビットレート設定値の決定処理を行う出力ビットレート決定制御部131を備える。符号14は、映像符号化部11、12から出力された2系統のエレメンタリーストリーム(ES)を多重化し1系統のトランスポートストリーム(TS)にして出力する多重化部である。   Reference numeral 13 denotes a host CPU, which includes an output bit rate determination control unit 131 that performs overall control of two video encoding units and determination processing of a new bit rate setting value. Reference numeral 14 is a multiplexing unit that multiplexes the two elementary streams (ES) output from the video encoding units 11 and 12 and outputs the multiplexed stream as one transport stream (TS).

次に、図1を参照して、図1に示す映像符号化装置10の動作を説明する。まず、映像符号化部11、12の制御部111、122のそれぞれは、入力した第1の映像コンテンツデータと第2の映像コンテンツデータそれぞれを符号化した際に用いた処理ブロック毎の量子化パラメータの1ピクチャ平均値を算出する。さらに制御部111、122のそれぞれは、現在符号化を行ったピクチャから過去数ピクチャ分の1ピクチャ平均値の平均値を算出する。   Next, the operation of the video encoding device 10 shown in FIG. 1 will be described with reference to FIG. First, each of the control units 111 and 122 of the video encoding units 11 and 12 uses the quantization parameter for each processing block used when encoding the input first video content data and second video content data, respectively. The average value of one picture is calculated. Furthermore, each of the control units 111 and 122 calculates an average value of one-picture average values for the past several pictures from the currently encoded picture.

ここでは、制御部111において算出した量子化パラメータの複数ピクチャ平均値をQaveとし、制御部121において算出した量子化パラメータの複数ピクチャ平均値をQaveとする。制御部111と制御部121のそれぞれは、算出したそれぞれの量子化パラメータの複数ピクチャ平均値をホストCPU13へ出力する。同時にそれぞれの映像符号化部11、12において設定されている出力ビットレート設定値(それぞれBR,BRとする)と、そのピクチャの符号化に用いた量子化マトリックス番号(Qmat,Qmat)もホストCPU13へ出力する。 Here, the average value of multiple pictures of the quantization parameter calculated by the control unit 111 is Qave 1, and the average value of multiple pictures of the quantization parameter calculated by the control unit 121 is Qave 2 . Each of the control unit 111 and the control unit 121 outputs the calculated multiple picture average value of each quantization parameter to the host CPU 13. At the same time, output bit rate set values (respectively referred to as BR 1 and BR 2 ) set in the respective video encoding units 11 and 12 and quantization matrix numbers (Qmat 1 and Qmat 2 ) used for encoding the picture ) Is also output to the host CPU 13.

次に、出力ビットレート決定制御部131は、量子化パラメータ平均値の差分Diff_Qを算出する。量子化パラメータ平均値の差分Diff_Qは、(1)式によって算出する。

Figure 2013255208
ここで、Qoffset,Qoffsetは量子化マトリックスセットに応じたオフセット値であり、予め任意に設定しておく。係数の小さい量子化マトリックスの場合はQoffsetは小さな値に、係数の大きい量子化マトリックスの場合はQoffsetを大きな値に設定しておけばよい。図3に、QmatとQoffsetの対応の一例を示す。 Next, the output bit rate determination control unit 131 calculates the difference Diff_Q of the quantization parameter average value. The difference Diff_Q of the quantization parameter average value is calculated by the equation (1).
Figure 2013255208
Here, Qoffset 1 and Qoffset 2 are offset values according to the quantization matrix set, and are arbitrarily set in advance. In the case of a quantization matrix having a small coefficient, Qoffset may be set to a small value, and in the case of a quantization matrix having a large coefficient, Qoffset may be set to a large value. FIG. 3 shows an example of the correspondence between Qmat and Qoffset.

そして、出力ビットレート決定制御部131は、Diff_Qが正の値の場合、映像符号化部11の方が主観画質が悪いことが想定されるため、映像符号化部11のビットレート設定値を増加させ、映像符号化部12のビットレート設定値を減少させる。反対にDiff_Qが負の値の場合、映像符号化部12の方が主観画質が悪いことが想定されるため、映像符号化部12のビットレート設定値を増加させ、映像符号化部11のビットレート設定値を減少させる。   Then, when Diff_Q is a positive value, the output bit rate determination control unit 131 increases the bit rate setting value of the video encoding unit 11 because the video encoding unit 11 is assumed to have poor subjective image quality. The bit rate setting value of the video encoding unit 12 is decreased. On the other hand, when Diff_Q is a negative value, it is assumed that the video encoding unit 12 has a lower subjective image quality. Therefore, the bit rate setting value of the video encoding unit 12 is increased, and the bit of the video encoding unit 11 is increased. Decrease the rate setting.

増加又は減少させるビットレート値は(2)式のように算出する。ビットレート設定値を下げようとする側の現在のビットレートをBRdecとする。

Figure 2013255208
これらの値からビットレートの変更量BRvalは(3)式により示される。
Figure 2013255208
The bit rate value to be increased or decreased is calculated as in equation (2). Let BRdec be the current bit rate on the side where the bit rate setting value is to be lowered.
Figure 2013255208
From these values, the bit rate change amount BRval is expressed by equation (3).
Figure 2013255208

実際にハードウェア又はソフトウェアに実装する際はBRvalは適宜四捨五入して用いる。BRbaseはビットレート変更幅の元となるパラメータであり、BRbaseを大きくするとビットレートが急峻に変更され、BRbaseを小さくするとビットレートは緩やかに推移する。   When actually mounted on hardware or software, BRval is rounded off as appropriate. BRbase is a parameter that is a source of the bit rate change width. When BRbase is increased, the bit rate is changed abruptly, and when BRbase is decreased, the bit rate is gradually changed.

またBRdecにこれからビットレート設定値を下げようとする側の現在のビットレートを設定することにより、2つの映像符号化部のビットレートの差が大きくなる方向には緩やかに推移し、2つの映像符号化部11、12のビットレートの差が小さくなる方向には急峻に推移する。これによってシーンチェンジ等の急激な映像特性の変化に対しても主観画質の低下を防ぐ効果がある。   In addition, by setting the current bit rate on the side where the bit rate setting value is going to be lowered to BRdec, the bit rate difference between the two video encoding units gradually changes and the two video images change. It changes sharply in the direction in which the difference between the bit rates of the encoding units 11 and 12 decreases. This has the effect of preventing the deterioration of the subjective image quality even when the video characteristics change suddenly such as a scene change.

図2に、BRbase=0.01とした場合のDiff_QとBRdecに応じたビットレート変更量の関係を定義したテーブル構造を示す。図2に示すテーブルは、ホストCPU131内に保持しておき、出力ビットレート決定制御部131が、このテーブルを参照して、ビットレート変更量を決定する。   FIG. 2 shows a table structure that defines the relationship between Diff_Q and BRdec according to BRdec when BRbase = 0.01. The table shown in FIG. 2 is held in the host CPU 131, and the output bit rate determination control unit 131 refers to this table to determine the bit rate change amount.

次に、出力ビットレート決定制御部131は、(4)式により新たなビットレート設定値(BRnew,BRnew)を得る。

Figure 2013255208
Next, the output bit rate determination control unit 131 obtains new bit rate setting values (BRnew 1 , BRnew 2 ) according to equation (4).
Figure 2013255208

ビットレートを変更する際はビットレートを下げる側の映像符号化部への送信を先に行いビットレート変更処理を実行する。その後一定時間経過した後にビットレートを上げる側の映像符号化部ビットレート設定値を送信し、ビットレート変更処理を実行する。これによって全体の符号量が設定値以上になり、デコーダバッファにアンダーフローが発生するのを回避することができる。   When changing the bit rate, transmission to the video encoding unit on the bit rate lowering side is performed first, and the bit rate changing process is executed. Thereafter, after a predetermined time has elapsed, the bit rate setting value on the video encoding unit that increases the bit rate is transmitted, and the bit rate changing process is executed. As a result, it is possible to avoid the occurrence of underflow in the decoder buffer due to the total code amount exceeding the set value.

次に、出力ビットレート決定制御部131は、得られた新たなビットレート設定値をそれぞれ映像符号化部11、12に出力する。これを受けて、映像符号化部11、12は、新たなビットレート設定値を用いてストリームを生成して出力する。多重化部14は、2つの映像符号化部11、12から出力するストリームを多重化して出力する。   Next, the output bit rate determination control unit 131 outputs the obtained new bit rate setting values to the video encoding units 11 and 12, respectively. In response to this, the video encoding units 11 and 12 generate and output a stream using the new bit rate setting value. The multiplexing unit 14 multiplexes and outputs the streams output from the two video encoding units 11 and 12.

なお、前述した説明ではホストCPU131内の出力ビットレート決定制御部131においてビットレート変更処理を行う構成としたが、どちらか一方の映像符号化部で前述の演算処理を行うようにしてもよい。例えば、映像符号化部12において算出した量子化パラメータ平均値Qaveと出力ビットレート設定値BRと量子化マトリックスセット番号をホストCPU13経由で映像符号化部11へ出力し、映像符号化部11にて新たなビットレート設定値BRnew,BRnewを算出し、BRnewをホストCPU13経由で映像符号化部12へする。これにより、ホストCPU13の処理負荷を低減することができる。 In the above description, the output bit rate determination control unit 131 in the host CPU 131 is configured to perform the bit rate changing process. However, either one of the video encoding units may perform the above arithmetic process. For example, the quantization parameter average value Qave 2 , the output bit rate setting value BR 2, and the quantization matrix set number calculated in the video encoding unit 12 are output to the video encoding unit 11 via the host CPU 13, and the video encoding unit 11 is output. The new bit rate set values BRnew 1 and BRnew 2 are calculated at, and the BRnew 2 is converted to the video encoding unit 12 via the host CPU 13. Thereby, the processing load of the host CPU 13 can be reduced.

このように、複数の映像を並行して符号化する際に伝送レートが一定という条件下でのビットレート変更処理について、確実な制御を可能とすることができ、双方の映像の主観画質を良好に保つことができる。特に、前述した映像符号化装置においては、新たなビットレート算出の際に量子化マトリックスセットに応じたオフセット値を設定するようにしたため、第1及び第2の映像データの主観画質を良好に保つことができる。   In this way, it is possible to reliably control the bit rate changing process under the condition that the transmission rate is constant when encoding a plurality of videos in parallel, and the subjective image quality of both videos is good. Can be kept in. In particular, in the video encoding device described above, since the offset value corresponding to the quantization matrix set is set when calculating a new bit rate, the subjective image quality of the first and second video data is kept good. be able to.

<第2実施形態>
次に、本発明の第2実施形態による映像符号化装置を説明する。図4は同実施形態の構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図1に示す装置と異なる点は、新たに映像符号化部15、16が新たに設けられており、これに伴い、ホストCPU130、多重化部140が設けられている点である。映像符号化装置100は、4つの映像コンテンツデータ(第1、第2、第3、第4の映像コンテンツデータ)を入力し、それぞれ符号化を行い、多重化したTSストリーム(トランスポートストリーム)を出力する。
Second Embodiment
Next, a video encoding apparatus according to the second embodiment of the present invention will be described. FIG. 4 is a block diagram showing the configuration of the embodiment. In this figure, the same parts as those in the apparatus shown in FIG. The apparatus shown in this figure is different from the apparatus shown in FIG. 1 in that video encoding units 15 and 16 are newly provided, and accordingly, a host CPU 130 and a multiplexing unit 140 are provided. It is. The video encoding apparatus 100 inputs four video content data (first, second, third, and fourth video content data), encodes each, and multiplexes TS streams (transport streams). Output.

映像符号化部11、12、15、16は、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの1ピクチャ平均値を算出する。さらに現在符号化を行ったピクチャから過去数ピクチャ分の1ピクチャ平均値の平均値を算出する。平均値を算出するピクチャ数はあらかじめ任意に設定しておく。少なくとも1GOP(Group of Picture)にあたるピクチャ枚数以上のピクチャ枚数を設定しておけばよい。映像符号化部11、12、15、16は、それぞれ動作を統括して制御する制御部111、121、151、161と、ストリームを生成するストリーム生成部112、122、152、152を備える。   The video encoding units 11, 12, 15, and 16 encode video content and calculate an average value of one quantization parameter parameter from the encoding result. Further, the average value of the average values of one picture for the past several pictures is calculated from the currently encoded picture. The number of pictures for calculating the average value is arbitrarily set in advance. It suffices to set at least the number of pictures corresponding to one GOP (Group of Pictures). The video encoding units 11, 12, 15, and 16 include control units 111, 121, 151, and 161 that collectively control operations and stream generation units 112, 122, 152, and 152 that generate streams, respectively.

ホストCPU130は、4つの映像符号化部11、12、15、16の全体制御と新たな符号化ビットレート設定値の決定処理を行う出力ビットレート決定制御部131を備える。多重化部140は、映像符号化部11、12、15、16から出力されたエレメンタリーストリーム(ES)を多重化し1系統のトランスポートストリーム(TS)にして出力する。   The host CPU 130 includes an output bit rate determination control unit 131 that performs overall control of the four video encoding units 11, 12, 15, and 16 and processing for determining a new encoding bit rate setting value. The multiplexing unit 140 multiplexes the elementary streams (ES) output from the video encoding units 11, 12, 15, and 16 and outputs them as a single transport stream (TS).

次に、図4を参照して、図4に示す映像符号化装置100の動作を説明する。まず、制御部111、121、151、161のそれぞれは、入力した第1〜第4の映像コンテンツデータを符号化した際に用いた処理ブロックごとの量子化パラメータの1ピクチャ平均値を算出する。さらに制御部111、121、151、161のそれぞれは、現在符号化を行ったピクチャから過去数ピクチャ分の1ピクチャ平均値の平均値を算出する。   Next, the operation of the video encoding device 100 shown in FIG. 4 will be described with reference to FIG. First, each of the control units 111, 121, 151, 161 calculates an average value of one picture of a quantization parameter for each processing block used when the input first to fourth video content data is encoded. Further, each of the control units 111, 121, 151, and 161 calculates an average value of one-picture average values for the past several pictures from the picture that is currently encoded.

ここでは制御部111、121、151、161において算出した量子化パラメータの複数ピクチャ平均値をそれぞれQave1、Qave2、Qave3、Qave4とする。制御部111、121、151、161それぞれは算出したそれぞれの量子化パラメータの複数ピクチャ平均値をホストCPU130へ出力する。同時にそれぞれの映像符号化部11、12、15、16において設定されている出力ビットレート設定値(それぞれBR1、BR2、BR3、BR4とする)と、そのピクチャの符号化に用いた量子化マトリックス番号(Qmat1、Qmat2、Qmat3、Qmat4)もホストCPU130へ出力する。   Here, the average values of multiple pictures of the quantization parameters calculated by the control units 111, 121, 151, and 161 are Qave1, Qave2, Qave3, and Qave4, respectively. Each of the control units 111, 121, 151, 161 outputs the calculated multiple picture average value of each quantization parameter to the host CPU 130. At the same time, the output bit rate setting values (respectively referred to as BR1, BR2, BR3, and BR4) set in the respective video encoding units 11, 12, 15, and 16, and the quantization matrix number used for encoding the picture (Qmat1, Qmat2, Qmat3, Qmat4) are also output to the host CPU.

次に、出力ビットレート決定制御部131は、量子化パラメータ平均値Qave1〜Qave4の中から最大値と最小値を選択し、その値をそれぞれQmax、Qminとする。また、Qmaxが選択された映像符号化部に対応する出力ビットレート設定値と、量子化マトリックス番号をそれぞれBRmax、Qmat_maxとし、Qminが選択された映像符号化部に対応する出力ビットレート設定値と、量子化マトリックス番号をそれぞれBRmin、Qmat_minとする。   Next, the output bit rate determination control unit 131 selects the maximum value and the minimum value from the quantization parameter average values Qave1 to Qave4, and sets these values as Qmax and Qmin, respectively. Also, the output bit rate setting value corresponding to the video encoding unit for which Qmax is selected, the output bit rate setting value corresponding to the video encoding unit for which Qmin is selected, and the quantization matrix numbers are BRmax and Qmat_max, respectively. The quantization matrix numbers are BRmin and Qmat_min, respectively.

次に、出力ビットレート決定制御部131は、量子化パラメータ平均値の差分Diff_Qを算出する。量子化パラメータ平均値の差分Diff_Qは(5)式によって算出する。

Figure 2013255208
ここで、Qoffset_max、Qoffset_minは量子化マトリックスセットに応じたオフセット値であり、予め任意に設定しておく。量子化係数が比較的小さい量子化マトリックスの場合はQoffsetは小さな値に、量子化係数が比較的大きい量子化マトリックスの場合はQoffsetを大きな値に設定しておけばよい。図5にQmatとQoffsetの対応の一例を示す。 Next, the output bit rate determination control unit 131 calculates the difference Diff_Q of the quantization parameter average value. The difference Diff_Q of the quantization parameter average value is calculated by the equation (5).
Figure 2013255208
Here, Qoffset_max and Qoffset_min are offset values according to the quantization matrix set, and are arbitrarily set in advance. In the case of a quantization matrix having a relatively small quantization coefficient, Qoffset may be set to a small value, and in the case of a quantization matrix having a relatively large quantization coefficient, Qoffset may be set to a large value. FIG. 5 shows an example of the correspondence between Qmat and Qoffset.

符号化ビットレートの変更量BRvalは(6)式により示される。

Figure 2013255208
実際にハードウェア又はソフトウェアに実装する際はBRvalは適宜四捨五入して用いる。BRbaseは符号化ビットレート変更幅のもととなるパラメータであり、BRbaseを大きくすると符号化ビットレートが急峻に変更され、BRbaseを小さくすると符号化ビットレートは緩やかに推移する。 The change amount BRval of the encoding bit rate is expressed by equation (6).
Figure 2013255208
When actually mounted on hardware or software, BRval is rounded off as appropriate. BRbase is a parameter that is a source of the change width of the encoding bit rate. When the BRbase is increased, the encoding bit rate is changed abruptly, and when the BRbase is decreased, the encoding bit rate is gradually changed.

またこれにより2つの映像符号化部の符号化ビットレートの差が大きくなる方向には緩やかに推移し、2つの映像符号化部の符号化ビットレートの差が小さくなる方向には急峻に推移する。これによってシーンチェンジ等の急激な映像特性の変化に対しても主観画質の低下を防ぐ効果がある。   In addition, this causes a gradual transition in the direction in which the difference between the encoding bit rates of the two video encoding units increases, and a steep transition in the direction in which the difference between the encoding bit rates of the two video encoding units decreases. . This has the effect of preventing the deterioration of the subjective image quality even when the video characteristics change suddenly such as a scene change.

最後に、出力ビットレート決定制御部131は、BRmaxに対応する映像符号化部の出力ビットレート設定値にBRvalを加算し、BRminに対応する符号化部の出力ビットレート設定値にBRvalを減算することで新たな符号化ビットレートを設定する。   Finally, the output bit rate determination control unit 131 adds BRval to the output bit rate setting value of the video encoding unit corresponding to BRmax, and subtracts BRval from the output bit rate setting value of the encoding unit corresponding to BRmin. Thus, a new encoding bit rate is set.

4つ以上の映像符号化部で構成されている映像符号化装置の場合、今回符号化ビットレート変更量算出に用いた符号化部情報を除いた残りの符号化部の情報を用いて出力ビットレート決定制御部131による上記の処理を行い、残りの符号化部情報が1つ以下になるまで繰り返す。   In the case of a video encoding device composed of four or more video encoding units, output bits using the information of the remaining encoding units excluding the encoding unit information used for calculating the encoding bit rate change amount this time The above processing by the rate determination control unit 131 is performed, and the processing is repeated until the remaining encoding unit information becomes one or less.

符号化ビットレート変更する際は符号化ビットレートを下げる側の映像符号化部への送信を先に行い符号化ビットレート変更処理を実行する。その後一定時間経過した後に符号化ビットレートを上げる側の映像符号化部へ符号化ビットレート設定値を送信し、符号化ビットレート変更処理を実行する。   When changing the encoding bit rate, transmission to the video encoding unit that lowers the encoding bit rate is performed first, and the encoding bit rate changing process is executed. Thereafter, after a predetermined time has elapsed, the encoding bit rate setting value is transmitted to the video encoding unit that increases the encoding bit rate, and the encoding bit rate changing process is executed.

図4では4つの映像符号化部11、12、15、16で構成された例を示したが、2つ以上の任意の数の映像符号化部で構成された符号化装置であれば、上記処理動作が適用可能である。   FIG. 4 shows an example configured with four video encoding units 11, 12, 15, and 16. However, if the encoding device is configured with two or more arbitrary number of video encoding units, Processing operations are applicable.

<第3実施形態>
次に、本発明の第3実施形態による映像符号化装置を説明する。図6は同実施形態の構成を示すブロック図である。この図において、符号21、22、23、24はそれぞれ映像符号化装置であり、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの1ピクチャ平均値を算出する。複数ある映像符号化装置のうちの1つをマスター装置とし、その他の映像符号化装置はマスター装置に対して符号化パラメータを送信する。マスター装置は、図4に示すホストCPU130が行った出力ビットレート決定処理を実行し、新たな符号化ビットレートを各符号化装置に送信する。図6においては、符号化装置21をマスター装置とした場合の図である。各映像符号化装置21、22、23、24が備える制御部211、221、231、241は、図4に示す映像符号化部11、12、15、16が備える制御部111、121、151、161と同等であるので詳細な処理動作の説明を省略する。また、図6に示すストリーム生成部212、222、232、242についても、図4に示すストリーム生成部112、122、152、162と同等であるので、詳細な処理動作の説明を省略する。
<Third Embodiment>
Next, a video encoding device according to a third embodiment of the present invention will be described. FIG. 6 is a block diagram showing the configuration of the embodiment. In this figure, reference numerals 21, 22, 23, and 24 denote video encoding apparatuses, which encode video content and calculate an average value of one picture of a quantization parameter from the encoding result. One of the plurality of video encoding devices is set as a master device, and the other video encoding devices transmit encoding parameters to the master device. The master device executes output bit rate determination processing performed by the host CPU 130 shown in FIG. 4 and transmits a new encoding bit rate to each encoding device. In FIG. 6, it is a figure at the time of setting the encoding apparatus 21 as a master apparatus. The control units 211, 221, 231, and 241 included in each of the video encoding devices 21, 22, 23, and 24 are the control units 111, 121, 151, and the video encoding units 11, 12, 15, and 16 illustrated in FIG. Since it is equivalent to 161, detailed description of the processing operation will be omitted. Also, the stream generation units 212, 222, 232, and 242 shown in FIG. 6 are equivalent to the stream generation units 112, 122, 152, and 162 shown in FIG.

以上説明したように、2つ以上の複数の映像を並行して符号化する際に伝送レートが一定という条件下での符号化ビットレート変更処理について、確実な制御を行うことができ、全体の映像の主観画質を良好に保つことができる。   As described above, when encoding two or more videos in parallel, the coding bit rate changing process under the condition that the transmission rate is constant can be reliably controlled. The subjective image quality of the video can be kept good.

なお、図1、図4、図6における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。   1, 4, and 6, a program for realizing the functions of the processing unit is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Thus, the video encoding process may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。   As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Accordingly, additions, omissions, substitutions, and other changes of the components may be made without departing from the technical idea and scope of the present invention.

複数の映像データを並行して符号化処理することが不可欠な映像符号化装置に適用できる。   The present invention can be applied to a video encoding apparatus in which it is indispensable to encode a plurality of video data in parallel.

10・・・映像符号化装置、11・・・映像符号化装置、111・・・制御部、112・・・ストリーム生成部、12・・・映像符号化装置、121・・・制御部、122・・・ストリーム生成部、13・・・ホストCPU、131・・・出力ビットレート決定制御部、14・・・多重化部   DESCRIPTION OF SYMBOLS 10 ... Video coding apparatus, 11 ... Video coding apparatus, 111 ... Control part, 112 ... Stream production | generation part, 12 ... Video coding apparatus, 121 ... Control part, 122 ... Stream generation unit, 13 ... Host CPU, 131 ... Output bit rate determination control unit, 14 ... Multiplexing unit

Claims (9)

複数の映像データを並行して符号化処理する映像符号化装置であって、
第1の映像データと第2の映像データをそれぞれ入力する映像入力手段と、
前記第1及び第2の映像データそれぞれについて符号化処理単位毎の量子化パラメータの1ピクチャ平均値を算出する平均値算出手段と、
前記第1及び第2の映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、
前記第1の映像データの前記複数ピクチャ平均値と前記第2の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出手段と、
前記差分値と現在設定されているビットレート設定値とに応じて、前記第1の映像データ及び第2の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定手段と、
前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第1または第2の映像データのうち、いずれか一方を符号化して出力する第1の符号化手段と、
前記第1の符号化手段により前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第1または第2の映像データのうち、他方を符号化して出力する第2の符号化手段と
を備えたことを特徴とする映像符号化装置。
A video encoding device for encoding a plurality of video data in parallel,
Video input means for inputting the first video data and the second video data respectively;
Average value calculating means for calculating an average value of one picture of a quantization parameter for each encoding processing unit for each of the first and second video data;
A plurality of picture average value calculating means for calculating a mean value of a plurality of pictures of the one picture average value of each of the first and second video data;
Difference calculating means for calculating a difference value between the plurality of picture average values of the first video data and the plurality of picture average values of the second video data;
Setting value determining means for determining a new bit rate setting value for encoding each of the first video data and the second video data according to the difference value and the currently set bit rate setting value When,
Of the new bit rate setting values, a setting value that decreases the bit rate from the currently set value is used to encode and output either one of the first or second video data. First encoding means for:
After a predetermined time has elapsed since the first encoding means performed encoding using the new bit rate setting value, the bit rate from the currently set setting value among the new bit rate setting values And a second encoding means for encoding and outputting the other of the first or second video data using a set value for increasing the video encoding device.
複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置であって、
複数の映像データそれぞれを入力する映像入力手段と、
前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの1ピクチャ平均値を算出する平均値算出手段と、
前記映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、
前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出手段と、
前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定手段と、
前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第1の符号化手段と、
前記第1の符号化手段により前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第2の符号化手段と
を備えたことを特徴とする映像符号化装置。
A video encoding device that encodes a plurality of video data by a plurality of encoding processes in parallel,
Video input means for inputting each of a plurality of video data;
Average value calculating means for calculating an average value of one picture of a quantization parameter for each encoding processing unit for each of the video data;
A plurality of picture average value calculating means for calculating a mean value of a plurality of pictures of the one picture average value of each of the video data;
Maximum / minimum value calculating means for calculating a maximum value and a minimum value of the average value for a plurality of pictures calculated from each of the video data;
A new encoding bit rate setting value is obtained using the encoding information used in the encoding process of the video data indicating the maximum value and the encoding information used in the encoding process of the video data indicating the minimum value. A coding bit rate setting value determining means for determining;
When the new encoding bit rate setting value is set, the new encoding bit rate setting value that reduces the currently set encoding bit rate setting value is reduced with respect to the encoding process using the encoding bit rate setting value. First encoding means for performing encoding by setting a set value of an encoding bit rate;
After the predetermined time has elapsed after executing a coding process in which the first coding means uses the new coding bit rate setting value to decrease the coding bit rate setting value, the new coding bit When the rate setting value is set, the new encoding bit rate setting is set for the encoding process using the encoding bit rate setting value that increases the currently set encoding bit rate setting value. And a second encoding means for performing encoding by setting a value.
前記符号化ビットレート設定値決定手段は、
前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする請求項2に記載の映像符号化装置。
The encoding bit rate setting value determining means includes:
The encoding process in which a difference value between a maximum value and a minimum value of a plurality of picture average values calculated from the video data is calculated, and the difference value and the average value for a plurality of pictures calculated from the video data are minimum values. The video encoding apparatus according to claim 2, wherein the new encoding bit rate setting value is determined in accordance with the encoding bit rate setting value.
前記符号化ビットレート設定値決定手段は、
前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が2つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が1つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする請求項2に記載の映像符号化装置。
The encoding bit rate setting value determining means includes:
After the determination of the coding bit rate setting value, when two or more coding processes that have not been used for the coding bit rate setting value change process remain, they are used for the coding bit rate setting value change process. 3. The video encoding apparatus according to claim 2, wherein the determination of the encoding bit rate setting value is repeatedly executed until there is one or less encoding process.
複数の映像データを並行して符号化処理する映像符号化装置が行う映像符号化方法であって、
第1の映像データと第2の映像データをそれぞれ入力する映像入力ステップと、
前記第1及び第2の映像データそれぞれについて符号化処理単位毎の量子化パラメータの1ピクチャ平均値を算出する平均値算出ステップと、
前記第1及び第2の映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、
前記第1の映像データの前記複数ピクチャ平均値と前記第2の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出ステップと、
前記差分値と現在設定されているビットレート設定値とに応じて、前記第1の映像データ及び第2の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定ステップと、
前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第1または第2の映像データのうち、いずれか一方を符号化して出力する第1の符号化ステップと、
前記第1の符号化ステップにより前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第1または第2の映像データのうち、他方を符号化して出力する第2の符号化ステップと
を有することを特徴とする映像符号化方法。
A video encoding method performed by a video encoding device for encoding a plurality of video data in parallel,
A video input step for inputting the first video data and the second video data respectively;
An average value calculating step of calculating an average value of one picture of a quantization parameter for each encoding processing unit for each of the first and second video data;
A plurality of picture average value calculating step of calculating an average value of a plurality of pictures of the one picture average value of each of the first and second video data;
A difference calculating step of calculating a difference value between the plurality of picture average values of the first video data and the plurality of picture average values of the second video data;
A setting value determining step for determining a new bit rate setting value when encoding each of the first video data and the second video data according to the difference value and the currently set bit rate setting value. When,
Of the new bit rate setting values, a setting value that decreases the bit rate from the currently set value is used to encode and output either one of the first or second video data. A first encoding step,
After a predetermined time has elapsed after executing the encoding using the new bit rate setting value in the first encoding step, the bit rate from the currently set setting value among the new bit rate setting values. And a second encoding step of encoding and outputting the other of the first or second video data using a set value that increases the video encoding method.
複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置が行う映像符号化方法であって、
複数の映像データそれぞれを入力する映像入力ステップと、
前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの1ピクチャ平均値を算出する平均値算出ステップと、
前記映像データそれぞれの前記1ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、
前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出ステップと、
前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定ステップと、
前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第1の符号化ステップと、
前記第1の符号化ステップにより前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第2の符号化ステップと
を有することを特徴とする映像符号化方法。
A video encoding method performed by a video encoding device that encodes a plurality of video data by a plurality of encoding processes in parallel,
A video input step for inputting each of a plurality of video data;
An average value calculating step of calculating an average value of one picture of a quantization parameter for each encoding processing unit for each of the video data;
A plurality of picture average value calculating step of calculating a mean value of a plurality of pictures of the one picture average value of each of the video data;
A maximum / minimum value calculating step of calculating a maximum value and a minimum value of the average value for a plurality of pictures calculated from each of the video data;
A new encoding bit rate setting value is obtained using the encoding information used in the encoding process of the video data indicating the maximum value and the encoding information used in the encoding process of the video data indicating the minimum value. An encoding bit rate setting value determination step to be determined;
When the new encoding bit rate setting value is set, the new encoding bit rate setting value that reduces the currently set encoding bit rate setting value is reduced with respect to the encoding process using the encoding bit rate setting value. A first encoding step for performing encoding by setting a setting value of an encoding bit rate;
After a predetermined time has elapsed after executing the encoding process in which the encoding bit rate setting value is decreased using the new encoding bit rate setting value in the first encoding step, the new encoding bit is set. When the rate setting value is set, the new encoding bit rate setting is set for the encoding process using the encoding bit rate setting value that increases the currently set encoding bit rate setting value. And a second encoding step for performing encoding by setting a value.
前記符号化ビットレート設定値決定ステップは、
前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする請求項6に記載の映像符号化方法。
The encoding bit rate setting value determining step includes:
The encoding process in which a difference value between a maximum value and a minimum value of a plurality of picture average values calculated from the video data is calculated, and the difference value and the average value for a plurality of pictures calculated from the video data are minimum values. The video encoding method according to claim 6, wherein the new encoding bit rate setting value is determined in accordance with the encoding bit rate setting value.
前記符号化ビットレート設定値決定ステップは、
前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が2つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が1つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする請求項6に記載の映像符号化方法。
The encoding bit rate setting value determining step includes:
After the determination of the coding bit rate setting value, when two or more coding processes that have not been used for the coding bit rate setting value change process remain, they are used for the coding bit rate setting value change process. 7. The video encoding method according to claim 6, wherein the determination of the encoding bit rate setting value is repeatedly executed until the number of encoding processes that have not been reached is one or less.
コンピュータを、請求項1から4のいずれか1項に記載の映像符号化装置として機能させるための映像符号化プログラム。   A video encoding program for causing a computer to function as the video encoding device according to any one of claims 1 to 4.
JP2012166237A 2012-02-01 2012-07-26 Video encoding apparatus, video encoding method, and video encoding program Active JP5592913B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012166237A JP5592913B2 (en) 2012-02-01 2012-07-26 Video encoding apparatus, video encoding method, and video encoding program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012020317 2012-02-01
JP2012020317 2012-02-01
JP2012166237A JP5592913B2 (en) 2012-02-01 2012-07-26 Video encoding apparatus, video encoding method, and video encoding program

Publications (2)

Publication Number Publication Date
JP2013255208A true JP2013255208A (en) 2013-12-19
JP5592913B2 JP5592913B2 (en) 2014-09-17

Family

ID=49952351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012166237A Active JP5592913B2 (en) 2012-02-01 2012-07-26 Video encoding apparatus, video encoding method, and video encoding program

Country Status (1)

Country Link
JP (1) JP5592913B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252752A (en) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for encoding moving image, and computer readable recording medium with program recorded thereon
JP2008527945A (en) * 2005-01-19 2008-07-24 トムソン ライセンシング Method and apparatus for real-time parallel encoding
WO2009148076A1 (en) * 2008-06-05 2009-12-10 日本電信電話株式会社 Video encoding amount control method, video encoding amount control device, video encoding amount control program, and computer readable recording medium on which said program is recorded
JP2010136037A (en) * 2008-12-04 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> Video code amount control method, video-encoding device, video code amount control program, and recording medium for the program
JP2010136047A (en) * 2008-12-04 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> Video coded amount control method, video-encoding device, video coded amount control program, and recording medium for the program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252752A (en) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for encoding moving image, and computer readable recording medium with program recorded thereon
JP2008527945A (en) * 2005-01-19 2008-07-24 トムソン ライセンシング Method and apparatus for real-time parallel encoding
WO2009148076A1 (en) * 2008-06-05 2009-12-10 日本電信電話株式会社 Video encoding amount control method, video encoding amount control device, video encoding amount control program, and computer readable recording medium on which said program is recorded
JP2010136037A (en) * 2008-12-04 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> Video code amount control method, video-encoding device, video code amount control program, and recording medium for the program
JP2010136047A (en) * 2008-12-04 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> Video coded amount control method, video-encoding device, video coded amount control program, and recording medium for the program

Also Published As

Publication number Publication date
JP5592913B2 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
US9407941B2 (en) Distributing audio video content
US8687114B2 (en) Video quality adaptation based upon scenery
JP6305279B2 (en) Video compression device and video playback device
RU2487407C2 (en) System and method of compressing streaming interactive video
KR101640508B1 (en) Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
CN109729437B (en) Streaming media self-adaptive transmission method, terminal and system
EP3172862A1 (en) Joint quality management across multiple streams
US10158861B2 (en) Systems and methods for improving video compression efficiency
US20200204759A1 (en) Video Chunk Combination Optimization
JP2011019068A (en) Quality control device, quality control system, quality control method, and program
US20160337671A1 (en) Method and apparatus for multiplexing layered coded contents
US20130215973A1 (en) Image processing apparatus, image processing method, and image processing system
JP5592913B2 (en) Video encoding apparatus, video encoding method, and video encoding program
KR20120012089A (en) System and method for proving video using scalable video coding
Nguyen et al. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops
Hua et al. Multicast scheduling for stereoscopic video in wireless networks
US20230308719A1 (en) A method of controlling energy consumed by a mulitmedia streaming application
JP6231046B2 (en) Video data distribution management device, video data distribution management method, and program
KR101647072B1 (en) Apparatus for Encoding, Driving Method and Encoding Method Thereof
Kobayashi et al. A real-time 4K HEVC multi-channel encoding system with content-aware bitrate control
Jamali et al. A Parametric Rate-Distortion Model for Video Transcoding
Hung et al. LVSUM-Optimized Live 360 Degree Video Streaming in Unicast and Multicast Over Mobile Networks
EP4324202A1 (en) Block importance mapping
Kao et al. An algorithm for packing bitstream of scalable video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140801

R150 Certificate of patent or registration of utility model

Ref document number: 5592913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150