JP2020127120A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

Abstract

【課題】バッファにおいてアンダフローが発生しないように動画像の符号化処理を制御する。【解決手段】動画像符号化装置は、時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行う先行符号化部と、前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出する算出部と、前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する補正部とを有する。【選択図】図１０

Description

本発明は、動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。

８Ｋ・１２０Ｈｚの動画像を時間方向及び空間方向に分割し、複数のエンコーダを用いて並列処理することで、リアルタイムの符号化処理を行い、ビットストリームを伝送する動画像符号化装置の開発が進められている。

当該動画像符号化装置では、伝送するビットストリームを保持する伝送バッファにおいてアンダフローまたはオーバフローが発生しないよう、レートコントローラがＳＯＰ（Structure Of Picture）単位で各フレームの目標符号量を算出する。そして、各エンコーダが、算出された目標符号量のもとで発生符号量を制御しながら、各フレームの符号化処理を行う。

特開２００８−０８５６７３号公報 特開２０００−２３２６４４号公報 特開２００２−２３２８８２号公報

"８Ｋ１２０Ｈｚ ＨＥＶＣ リアルタイムコーデック装置の開発"、２０１８ 映像情報メディア学会年次大会、ｎｏ．２２Ｃ−１、Ａｕｇ.２０１８ "８Ｋ１２０Ｈｚ ＨＥＶＣ エンコーダの高効率・高画質アーキテクチャの開発"、２０１８ 映像情報メディア学会年次大会、ｎｏ．２２Ｃ−２、Ａｕｇ．２０１８ "A Study on the Required Video Bit-rate for 8K 120-Hz HEVC/H.265 Temporal Scalable Coding，"2018 Picture Coding Symposium (PCS)，San Francisco．CA，pp．106-110，2018

しかしながら、目標符号量と実際の発生符号量とが一致するとは限らず、例えば、目標符号量よりも実際の発生符号量が大きい状態が続き、誤差が累積すると、伝送バッファにおいてアンダフローが発生する。

一つの側面では、バッファにおいてアンダフローが発生しないように動画像の符号化処理を制御することを目的としている。

一態様によれば、動画像符号化装置は、
時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行う先行符号化部と、
前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出する算出部と、
前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する補正部とを有する。

バッファにおいてアンダフローが発生しないように動画像の符号化処理を制御することができる。

第１の実施形態に係る動画像符号化装置の適用例を示す図である。 第１の実施形態に係る動画像符号化装置のハードウェア構成の一例を示す図である。 比較例の動画像符号化装置の機能構成の一例を示す図である。 符号化処理時のＳＯＰ内の各フレームの関係を説明するための図である。 伝送バッファ位置を説明するための図である。 比較例の動画像符号化装置による符号化処理における、フィードバック制御を説明するための図である。 比較例の動画像符号化装置による符号化処理における、各フレームの仮の伝送バッファ位置及び実際の伝送バッファ位置を示す図である。 比較例の動画像符号化装置による符号化処理における、アンダフローの発生例を示す図である。 第１の実施形態に係る動画像符号化装置の符号化処理時の制御の概要を、伝送バッファ位置の観点から説明するための図である。 第１の実施形態に係る動画像符号化装置の機能構成の一例を示す図である。 第１の実施形態に係る動画像符号化装置の機能構成の詳細を示す図である。 各スライスの仮の伝送バッファ位置の算出方法を説明するための図である。 スライス［０］の実際の伝送バッファ位置の具体例及びスライス［０］の誤差の具体例を示す図である。 スライス単位の目標符号量の第２の補正方法を示す図である。 スライス単位の目標符号量の第２の補正方法による補正処理の具体例を示す第１の図である。 第１の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。 スライス［０］の仮の伝送バッファ位置の具体例及びスライス［０］の実際の伝送バッファ位置の具体例を示す図である。 第２の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。 第３の実施形態に係る動画像符号化装置の機能構成の詳細を示す図である。 第３の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。 スライス単位の目標符号量の第２の補正方法による補正処理の具体例を示す第２の図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜動画像符号化装置の適用例＞
はじめに、第１の実施形態に係る動画像符号化装置の適用例について説明する。図１は、第１の実施形態に係る動画像符号化装置の適用例を示す図である。図１に示すように、第１の実施形態に係る動画像符号化装置１２０は、例えば、映像表示システム１００に適用され、撮像装置１１０により生成された８Ｋ・１２０Ｈｚの動画像をリアルタイムに符号化し、ビットストリームを動画像復号装置１３０に伝送する。動画像復号装置１３０では、動画像符号化装置１２０より伝送されたビットストリームを復号し、映像表示装置１４０に出力する。これにより、映像表示装置１４０では、８Ｋ・１２０Ｈｚの映像を表示することができる。

＜動画像符号化装置のハードウェア構成＞
次に、動画像符号化装置１２０のハードウェア構成について説明する。図２は、第１の実施形態に係る動画像符号化装置のハードウェア構成の一例を示す図である。図２（ａ）に示すように、動画像符号化装置１２０は、制御装置２１０、信号変換装置２２０、符号化装置２３０、再構成装置２４０を有する。

このうち、信号変換装置２２０、符号化装置２３０、再構成装置２４０のハードウェア構成の詳細は割愛し、ここでは、制御装置２１０のハードウェア構成の詳細について説明する。図２（ｂ）は、制御装置２１０のハードウェア構成の詳細を示す図である。

図２（ｂ）に示すように、制御装置２１０は、ＣＰＵ（Central Processing Unit）２１１、ＲＯＭ（Read Only Memory）２１２、ＲＡＭ（Random Access Memory）２１３を有する。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３は、いわゆるコンピュータを形成する。

また、制御装置２１０は、補助記憶装置２１４、表示装置２１５、操作装置２１６、Ｉ／Ｆ（Interface）装置２１７、ドライブ装置２１８を有する。なお、制御装置２１０の各ハードウェアは、バス２１９を介して相互に接続されている。

ＣＰＵ２１１は、補助記憶装置２１４にインストールされている各種プログラム（例えば、後述する動画像符号化プログラム等）を実行する演算デバイスである。

ＲＯＭ２１２は、不揮発性メモリである。ＲＯＭ２１２は、補助記憶装置２１４にインストールされている各種プログラムをＣＰＵ２１１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２１２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２１３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２１３は、補助記憶装置２１４にインストールされている各種プログラムがＣＰＵ２１１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２１４は、各種プログラムを格納する補助記憶デバイスである。表示装置２１５は、制御装置２１０の内部状態を表示する表示デバイスである。操作装置２１６は、制御装置２１０に対して各種指示を入力するための入力デバイスである。Ｉ／Ｆ装置２１７は、信号変換装置２２０、符号化装置２３０との間で信号を送受信するための接続デバイスである。

ドライブ装置２１８は、コンピュータ読み取り可能な記録媒体をセットするためのデバイスである。ここでいう記録媒体には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２１４にインストールされる各種プログラムは、例えば、配布された記録媒体がドライブ装置２１８にセットされ、該記録媒体に記録された各種プログラムがドライブ装置２１８により読み出されることでインストールされてもよい。

＜動画像符号化装置の機能の詳細＞
次に、動画像符号化装置１２０の機能の詳細について説明する。ただし、以下では、まず、比較例の動画像符号化装置の機能について説明し、比較例の動画像符号化装置を用いた場合の問題点について説明する（下記（１））。その後、当該問題点を解決するための機能を中心に、第１の実施形態に係る動画像符号化装置１２０の詳細について説明する（下記（２））。

（１）比較例の動画像符号化装置の機能の説明
（１−１）比較例の動画像符号化装置の機能構成
はじめに、比較例の動画像符号化装置の機能構成について説明する。図３は、比較例の動画像符号化装置の機能構成の一例を示す図である。図３に示すように、比較例の動画像符号化装置３００は、受信部３０１、時空間分割部３０２、ダウンコンバータ３０３、先行符号化部３０４、レートコントローラ３０５、８Ｋ１２０Ｈｚエンコーダ３０６、ストリーム結合部３０７を有する。なお、各機能ブロックを囲む点線は、各機能ブロックが実現されるハードウェア（図２参照）を示している。

受信部３０１は、撮像装置１１０により生成された８Ｋ・１２０Ｈｚの動画像を受信する。

時空間分割部３０２は、８Ｋ・１２０Ｈｚの動画像を時間方向及び空間方向に分割し（時分割及び空間分割し）、複数台の４Ｋ６０Ｈｚエンコーダに入力する。

図３の例は、時空間分割部３０２が、動画像内の連続する２４フレームを、８フレームずつ３つのＳＯＰに時分割し、各ＳＯＰを、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３に入力する様子を示している。

また、図３の例は、時空間分割部３０２が、各ＳＯＰに含まれる各フレームを、４つに空間分割し、８Ｋ６０Ｈｚエンコーダに含まれる４つの４Ｋ６０Ｈｚエンコーダそれぞれにわけて入力する様子を示している。

なお、時空間分割部３０２では、ＡＲＩＢ（Association of Radio Industries and Business）規格に基づく形状により、空間分割を行うものとする。時空間分割部３０２が空間分割することで得られる各領域を、以下では、“スライス”と称す。また、時空間分割部３０２が空間分割することで得られる４つのスライスを、本実施形態では、スライス［０］、スライス［１］、スライス［２］、スライス［３］と称す。図３の例は、スライス［０］〜スライス［２］については、縦方向の画素数が“１０８８”であり、スライス［３］については縦方向の画素数が“１０５６”であることを示している。

ダウンコンバータ３０３は、時空間分割部３０２により時分割及び空間分割された、８Ｋ・１２０Ｈｚの動画像をダウンコンバートすることで４Ｋ・６０Ｈｚの動画像を生成する（これにより、各ＳＯＰに含まれるフレームは４フレームとなる）。

先行符号化部３０４は、各ＳＯＰにおいて、４フレームにそれぞれ含まれる４スライスについて符号化処理を行い、符号化結果から、スライス単位の符号化難易度（ＧＣＭ：Global Complexity Measure）を算出する。なお、ＧＣＭは、量子化ステップ（Quant）と発生符号量（bits）との積により算出される。

先行符号化部３０４は、算出したＧＣＭ（４Ｋ・６０Ｈｚの動画像１ＳＯＰの各フレームの各スライスのＧＣＭ）に基づいて、８Ｋ・１２０Ｈｚの動画像１ＳＯＰの各フレームの各スライスのＧＣＭを推定する。更に、先行符号化部３０４は、推定したＧＣＭを、レートコントローラ３０５に通知する。

なお、図３の例では、ダウンコンバータ３０３と先行符号化部３０４とを別々に設けているが、ダウンコンバータ３０３は、先行符号化部３０４の一部として設けられてもよい。

レートコントローラ３０５は、先行符号化部３０４より通知された８Ｋ・１２０Ｈｚの動画像１ＳＯＰの各フレームの各スライスのＧＣＭに基づいて、１ＳＯＰの各フレームの目標符号量と、１ＳＯＰの各フレームの仮の伝送バッファ位置（残量）とを算出する。

ここで、伝送バッファ位置とは、４Ｋ６０Ｈｚエンコーダにより符号化処理されたビットストリームを保持するバッファ（例えば、再構成装置内に設けられた伝送用のバッファ）の残量を指す。このうち、符号化処理前に予め算出した伝送バッファ位置を、“仮の伝送バッファ位置”と称し、符号化処理後に発生符号量に基づいて算出した伝送バッファ位置を、“実際の伝送バッファ位置”と称す。

なお、伝送バッファ位置（残量）の算出方法については、下記（１−３）において詳説し、各フレームの目標符号量の算出方法については、下記（１−４）において詳説する。

また、レートコントローラ３０５は、１ＳＯＰの各フレームに含まれる４スライスそれぞれのＧＣＭの比率に基づいて、算出した１ＳＯＰの各フレームの目標符号量を、各スライスに分割し、１ＳＯＰの各フレームの各スライスの目標符号量を算出する。

また、レートコントローラ３０５は、１ＳＯＰの各フレームの各スライスの目標符号量を、対応する４Ｋ６０Ｈｚエンコーダに通知する。例えば、レートコントローラ３０５は、８Ｋ６０Ｈｚエンコーダ３０６＿１に含まれる４つの４Ｋ６０Ｈｚエンコーダそれぞれに、１ＳＯＰの各フレームの各スライスの目標符号量を通知する。

また、レートコントローラ３０５は、対応する４つの４Ｋ６０Ｈｚエンコーダそれぞれから、１ＳＯＰの各フレームの各スライスについて符号化処理を行った際の発生符号量について、フィードバックを受け付ける。そして、レートコントローラ３０５は、受け付けた発生符号量をフレーム単位で合算し、各フレームの実際の伝送バッファ位置を算出する。

例えば、レートコントローラ３０５は、８Ｋ６０Ｈｚエンコーダ３０６＿１に含まれる４つの４Ｋ６０Ｈｚエンコーダそれぞれから、各フレームの各スライスについて符号化処理を行った際の発生符号量について、フィードバックを受け付ける。そして、レートコントローラ３０５は、各フレームの実際の伝送バッファ位置を算出する。

８Ｋ１２０Ｈｚエンコーダ３０６は、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３を有する。８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３それぞれが並列に符号化処理を行うことで、８Ｋ１２０Ｈｚエンコーダ３０６は、８Ｋ・１２０Ｈｚの動画像をリアルタイムに符号化することができる。

また、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３は、それぞれ、４つの４Ｋ６０Ｈｚエンコーダを有する。４つの４Ｋ６０Ｈｚエンコーダそれぞれが並列に符号化処理を行うことで、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３は、それぞれ、８Ｋ・６０Ｈｚの動画像をリアルタイムに符号化することができる。

４Ｋ６０Ｈｚエンコーダでは、レートコントローラ３０５より通知された、１ＳＯＰの各フレームの各スライスの目標符号量のもとで発生符号量を制御しながら、１ＳＯＰの各フレームの各スライスについて符号化処理を行う。

ストリーム結合部３０７は、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３それぞれから出力されるビットストリームを結合することで、８Ｋ・１２０Ｈｚビットストリームを生成し、伝送する。

（１−２）符号化処理時のＳＯＰ内の各フレームの関係
次に、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３それぞれに含まれる、４Ｋ６０Ｈｚエンコーダが符号化処理する際の、ＳＯＰ内の各フレームの関係について説明する。図４は、符号化処理時のＳＯＰ内の各フレームの関係を説明するための図である。図４において、横軸は、１ＳＯＰに含まれる各フレーム（８フレーム）の表示順序を表しており、縦軸は、各フレームの階層を識別するＴＩＤ（Temporal ID）を示している（上にいくほど階層が深く、下にいくほど階層が浅いことを示している）。また、“Ｉ”はＩ（Intra）ピクチャ、“Ｐ”はＰ（Predictive）ピクチャ、“Ｂ”はＢピクチャをそれぞれ表す。

また、図４内に示す各矩形（“Ｂ”の文字を含む各矩形）は、１ＳＯＰに含まれる各フレームを表しており、“Ｂ”の右下の数字は、符号化（または復号）順序を示している。更に、各矩形からのびる矢印は、各矩形で表されるフレームが符号化処理の際に参照する参照先のフレームを示している。

例えば、“Ｂ_１”の文字を含む矩形で表されるフレームは、表示順序が０番目のフレームであり、符号化順序が１番目のフレームであることを示している。また、“Ｂ_１”の文字を含む矩形で表されるフレームは、符号化処理の際に、
・１つ前のＳＯＰに含まれる、表示順序が７番目のフレーム（“Ｉ／Ｐ／Ｂ_０”の文字を含む矩形で表されるフレーム）、
・同一ＳＯＰに含まれる、表示順序が７番目のフレーム（“Ｉ／Ｐ／Ｂ_０”の文字を含む矩形で表されるフレーム）、
のいずれか一方または両方を参照することを示している。

（１−３）伝送バッファ位置の説明
次に、伝送バッファ位置（残量）について説明する。図５は、伝送バッファ位置を説明するための図である。図５において、横軸は、１ＳＯＰに含まれる各フレームの符号化順序を示しており、縦軸は、伝送バッファの位置（残量）を示している。

また、図５において、“Ｒ”はビットレート［ビット／秒］を、“Ｐ”はフレームレート［Ｈｚ］を、“Ｂ”は、伝送バッファの容量［ビット］を表している。更に、“Ｄ（ｎ）”は、符号化順序がｎ番目のフレームの発生符号量［ビット］を表している。なお、ここでは、“Ｒ”が固定であるとする（ＣＢＲ：Constant Bit Rate）。

図５に示すように、例えば、８Ｋ６０Ｈｚエンコーダ３０６＿１が１ＳＯＰの各フレームについて符号化処理を行った場合、フレーム単位の実際の伝送バッファ位置は、矢印に沿って遷移する。

具体的には、符号化順序が０番目のフレームについて符号化処理が開始される前は、実際の伝送バッファ位置が符号５０１で示す位置にあったところ、符号化処理が行われると、発生符号量（Ｄ（０））の分だけ下がり、符号５０２で示す位置に遷移する。

その後、符号化順序が１番目のフレームについて符号化処理が開始される前までの間に、実際の伝送バッファ位置は、バッファ回復量（Ｒ／Ｐ）の分だけ上がり、符号５０３で示す位置に遷移する。以降、同様の処理が繰り返されることで、実際の伝送バッファ位置は上下に遷移し、１ＳＯＰの全フレームの符号化処理が行われることで、符号５１５に示す位置に遷移する。

ここで、図５の上記説明において、符号化順序がｎ番目のフレームの発生符号量Ｄ（ｎ）を、符号化順序がｎ番目のフレームの目標符号量に読み替えることで、符号５０１、５０３、５１５で示す位置は、各フレームの仮の伝送バッファ位置を表すことになる。

なお、本実施形態においては、符号５０１で示す位置を、１ＳＯＰの先頭の実際の伝送バッファ位置（または１ＳＯＰの先頭の仮の伝送バッファ位置）と称する。また、符号５１５で示す位置を、１ＳＯＰの終端の実際の伝送バッファ位置（または１ＳＯＰの終端の仮の伝送バッファ位置）と称する。

レートコントローラ３０５では、実際の伝送バッファ位置（残量）が、オーバフロー領域及びアンダフロー領域に含まれることがないように、１ＳＯＰの各フレームの目標符号量を算出する。これにより、各フレームの発生符号量Ｄ（ｎ）が各フレームの目標符号量と一致している限りにおいては、レートコントローラ３０５は、伝送バッファにおいてオーバフローまたはアンダフローが発生することなく、符号化処理を制御することができる。

一方で、各フレームの発生符号量Ｄ（ｎ）が各フレームの目標符号量と一致せず、かつ発生符号量Ｄ（ｎ）が伝送バッファの回復量Ｒ／Ｐよりも小さい状態が続くと、伝送バッファにおいてはオーバフローが発生する。なお、伝送バッファにおいてオーバフローが発生した場合、動画像復号装置１３０では、発生符号量の不足分としてダミーデータを挿入することで対処する。

また、各フレームの発生符号量Ｄ（ｎ）が各フレームの目標符号量と一致せず、かつ発生符号量Ｄ（ｎ）が伝送バッファの回復量Ｒ／Ｐよりも大きい状態が続くと、伝送バッファにおいてはアンダフローが発生する。なお、伝送バッファにおいてアンダフローが発生した場合、動画像復号装置１３０では、発生符号量の超過分を取り戻すことができない。このため、レートコントローラ３０５では、伝送バッファにおいてアンダフローが発生することがないように、各フレームの目標符号量を算出することが求められる。

（１−４）比較例の動画像符号化装置におけるフィードバック制御
しかしながら、各フレームの目標符号量と各フレームの発生符号量Ｄ（ｎ）とは必ずしも一致せず、仮の伝送バッファ位置と実際の伝送バッファ位置との間には、誤差が発生する。このため、比較例の動画像符号化装置３００では、上述したように発生符号量をフィードバックし、実際の伝送バッファ位置を算出することで誤差の累積を抑えている。

そこで、以下では、比較例の動画像符号化装置３００による符号化処理における、フィードバック制御について説明する。図６は、比較例の動画像符号化装置による符号化処理における、フィードバック制御を説明するための図である。

上述したように、８Ｋ・１２０Ｈｚの動画像１ＳＯＰ分がダウンコンバートされることで得られた４Ｋ・６０Ｈｚの動画像（４フレーム）について、先行符号化部３０４では、先行符号化することで、４スライスの各ＧＣＭを算出する（図６の処理Ｉ）。図６の例では、算出した４スライスの各ＧＣＭを、ＧＣＭ_４Ｋ［０］〜ＧＣＭ_４Ｋ［３］としている。なお、図６の例では、１番手前のフレームについてのみ４スライスの各ＧＣＭを示しているが、残りの３フレームについても同様に、４スライスの各ＧＣＭが算出されているものとする。

続いて、先行符号化部３０４では、算出した４スライスの各ＧＣＭに基づいて、８Ｋ・１２０Ｈｚの動画像のＧＣＭを推定する（図６の処理ＩＩ）。図６の例では、推定した４スライスの各ＧＣＭを、ＧＣＭ_８Ｋ［０］〜ＧＣＭ_８Ｋ［３］としている。なお、図６の例では、１番手前のフレームについてのみ４スライスの各ＧＣＭを示しているが、残りの７フレームについても同様に、４スライスの各ＧＣＭが推定されているものとする。

続いて、レートコントローラ３０５では、８Ｋ・１２０Ｈｚの動画像の各ＧＣＭに基づいて、フレーム単位の目標符号量と、各フレームの仮の伝送バッファ位置とを算出する（図６の処理ＩＩＩ）。なお、図６の例では、１番手前のフレームについてのみ目標符号量を示しているが、残りの７フレームについても同様に目標符号量が算出されているものとする。

続いて、レートコントローラ３０５では、フレーム単位の目標符号量と、スライス単位で推定した各ＧＣＭの比率とに基づいて、各スライスの目標符号量を算出する（図６の処理ＩＶ）。図６の例では、算出した４スライスの目標符号量を、ＳｌｉｃｅＴａｒｇｅｔ［０］〜ＳｌｉｃｅＴａｒｇｅｔ［３］としている。なお、図６の例では、１番手前のフレームについてのみ４スライスの目標符号量を示しているが、残りの７フレームについても同様に、４スライスの目標符号量が算出されているものとする。

続いて、レートコントローラ３０５では、４スライスの目標符号量１ＳＯＰ分（８フレーム分）を、対応する各４Ｋ６０Ｈｚエンコーダに通知する。そして、各４Ｋ６０Ｈｚエンコーダでは、通知されたスライス単位の目標符号量のもとで各フレームの各スライスについて符号化処理を行う（図６の処理Ｖ）。そして、各４Ｋ６０Ｈｚエンコーダでは、符号化処理を行った際の各スライスの発生符号量を、レートコントローラ３０５にフィードバックする（図６の処理ＶＩ）。これにより、レートコントローラ３０５では、フィードバックされた発生符号量に基づいて、フレーム単位の実際の伝送バッファ位置を算出し、フレーム単位の目標符号量の算出に反映することで、誤差の累積を抑えている。

（１−５）比較例の動画像符号化装置におけるフィードバック制御の問題点
次に、比較例の動画像符号化装置３００におけるフィードバック制御の問題点について説明する。図７は、比較例の動画像符号化装置による符号化処理における、各フレームの仮の伝送バッファ位置及び実際の伝送バッファ位置を示す図である。

図７において、グラフ７０１〜７０４は、レートコントローラ３０５において算出された、１ＳＯＰに含まれる各フレームの仮の伝送バッファ位置を表している。

このうち、グラフ７０１は、８Ｋ６０Ｈｚエンコーダ３０６＿１において符号化処理されるＳＯＰに含まれる各フレームの仮の伝送バッファ位置を表している。レートコントローラ３０５では、１ＳＯＰの各フレーム７２１について算出した目標符号量に基づいて、各フレームの仮の伝送バッファ位置を算出する。

８Ｋ６０Ｈｚエンコーダ３０６＿１の各４Ｋ６０Ｈｚエンコーダでは、レートコントローラ３０５により算出されたスライス単位の目標符号量のもとで符号化処理を行い、各フレームのビットストリーム７３１を生成する。

グラフ７１１は、８Ｋ６０Ｈｚエンコーダ３０６＿１により符号化処理が行われることで遷移する、各フレームの実際の伝送バッファ位置を示している。グラフ７１１の例は、各フレームの実際の伝送バッファ位置が仮の伝送バッファ位置と一致している場合を示している。なお、グラフ７１１において先頭の実際の伝送バッファ位置は、１ＳＯＰ前のＳＯＰの終端の仮の伝送バッファ位置によって更新される。

グラフ７０２は、８Ｋ６０Ｈｚエンコーダ３０６＿２において符号化処理されるＳＯＰに含まれる各フレームの仮の伝送バッファ位置を表している。レートコントローラ３０５では、１ＳＯＰの各フレーム７２２について算出した目標符号量に基づいて、各フレームの仮の伝送バッファ位置を算出する。

８Ｋ６０Ｈｚエンコーダ３０６＿２の各４Ｋ６０Ｈｚエンコーダでは、レートコントローラ３０５により算出されたスライス単位の目標符号量のもとで符号化処理を行い、各フレームのビットストリーム７３２を生成する。

グラフ７１２は、８Ｋ６０Ｈｚエンコーダ３０６＿２により符号化処理が行われることで遷移する、各フレームの実際の伝送バッファ位置を示している。グラフ７１２の例は、各フレームの実際の伝送バッファ位置が仮の伝送バッファ位置と一致している場合を示している。なお、グラフ７１２において先頭の実際の伝送バッファ位置は、１ＳＯＰ前のＳＯＰの終端の仮の伝送バッファ位置によって更新される。

グラフ７０３は、８Ｋ６０Ｈｚエンコーダ３０６＿３において符号化処理されるＳＯＰに含まれる各フレームの仮の伝送バッファ位置を表している。レートコントローラ３０５では、１ＳＯＰの各フレーム７２３について算出した目標符号量に基づいて、各フレームの仮の伝送バッファ位置を算出する。

８Ｋ６０Ｈｚエンコーダ３０６＿３の各４Ｋ６０Ｈｚエンコーダでは、レートコントローラ３０５により算出されたスライス単位の目標符号量のもとで符号化処理を行い、各フレームのビットストリーム７３３を生成する。

グラフ７１３は、８Ｋ６０Ｈｚエンコーダ３０６＿３により符号化処理が行われることで遷移する、各フレームの実際の伝送バッファ位置を示している。グラフ７１３の例は、各フレームの実際の伝送バッファ位置が仮の伝送バッファ位置と一致している場合を示している。なお、グラフ７１３において先頭の実際の伝送バッファ位置は、１ＳＯＰ前のＳＯＰの終端の仮の伝送バッファ位置によって更新される。

このように、レートコントローラ３０５では、グラフ７０１〜７０３に示す、３ＳＯＰ分の各フレームの目標符号量及び仮の伝送バッファ位置を、並列して算出する。これにより、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３では、符号化処理を並列に実行することができる。

一方で、装置間の通信によって８Ｋ６０Ｈｚエンコーダで生成したストリームの発生符号量をレートコントローラ３０５にフィードバックするのは時間がかかる。例えば、ビットストリーム７３１を生成した際の発生符号量がレートコントローラ３０５にフィードバックされるのは、次の３ＳＯＰ分の各フレームの目標符号量及び仮の伝送バッファ位置を算出するタイミングとなる。

図７の例は、符号化順序が０番目のフレームの発生符号量が、３ＳＯＰ後の各フレーム７２４において、符号化順序が１番目（全体の通し番号では、２５番目）のフレームの目標符号量の算出に反映されることを示している。

同様に、図７の例は、符号化順序が１番目のフレームの発生符号量が、３ＳＯＰ後の各フレーム７２４において、符号化順序が２番目（全体の通し番号では、２６番目）のフレームの目標符号量の算出に反映されることを示している。

同様に、図７の例は、符号化順序が２番目のフレームの発生符号量が、３ＳＯＰ後の各フレーム７２４において、符号化順序が３番目（全体の通し番号では、２７番目）のフレームの目標符号量の算出に反映されることを示している。

このように、比較例の動画像符号化装置３００の場合、発生符号量が、現在符号化処理中のＳＯＰから数えて、３ＳＯＰ後の各フレームの目標符号量に反映されることになる。このため、現在符号化処理中のＳＯＰの各フレームの発生符号量や、１ＳＯＰ後または２ＳＯＰ後の各フレームの発生符号量が、全て、フレーム単位の目標符号量と一致していれば、伝送バッファにおいてオーバフローまたはアンダフローが発生することはない。一方で、各フレームの発生符号量が、フレーム単位の目標符号量と一致しておらず、かつ、発生符号量がバッファ回復量よりも小さい（または大きい）状態が続くと、伝送バッファにおいてオーバフローまたはアンダフローが発生することになる。

図８は、比較例の動画像符号化装置による符号化処理における、アンダフローの発生例を示す図である。図８において、グラフ８１１〜８１３は、図７のグラフ７１１〜７１３に、各フレームの仮の伝送バッファ位置と一致しない実際の伝送バッファ位置を加筆したものである。

図８の例によれば、グラフ８１１に示すように、１ＳＯＰ目において、符号化順序が０番目のフレームが符号化処理される前は、仮の伝送バッファ位置と実際の伝送バッファ位置とが一致していた。しかしながら、図８の例によれば、１ＳＯＰ目の各フレームの符号化処理が進むことで両者の誤差が徐々に大きくなっている。

この結果、グラフ８１２に示すように、２ＳＯＰ目においては、先頭の仮の伝送バッファ位置と先頭の実際の伝送バッファ位置とが一致せず、かつ、符号化処理が進むことで両者の誤差は更に大きくなっている。

この結果、グラフ８１３に示すように、３ＳＯＰ目においては、先頭の仮の伝送バッファ位置と実際の伝送バッファ位置との誤差は更に広がり、符号化順序が０番目のフレームの符号化処理が行われた時点で、アンダフローが発生している。

このように、比較例の動画像符号化装置３００の場合、発生符号量がフィードバックされるまでの間において、
・各フレームの発生符号量が、各フレームの目標符号量と一致せず、かつ、
・各フレームの発生符号量が伝送バッファの回復量よりも大きい状態または小さい状態、
が続くと、アンダフローまたはオーバフローが発生することになる。

（２）第１の実施形態に係る動画像符号化装置の機能の説明
比較例の動画像符号化装置３００における上記問題を解決すべく、第１の実施形態に係る動画像符号化装置１２０では、各ＳＯＰの終端で仮の伝送バッファ位置と実際の伝送バッファ位置とが一致するように制御する。

図９は、第１の実施形態に係る動画像符号化装置の符号化処理時の制御の概要を、伝送バッファ位置の観点から説明するための図である。図９に示すように、レートコントローラ３０５で算出された１ＳＯＰの先頭の仮の伝送バッファ位置と、実際の伝送バッファ位置とは一致していたものの、符号化順序が０番目のフレームの符号化処理が行われた時点で、誤差が発生したとする。

このような場合でも、第１の実施形態に係る動画像符号化装置１２０では、１ＳＯＰの終端で仮の伝送バッファ位置と実際の伝送バッファ位置とが一致するように、１フレームの符号化処理が完了するごとに、次のフレームの目標符号量を逐次補正する。

これにより、第１の実施形態に係る動画像符号化装置１２０によれば、１ＳＯＰの終端で仮の伝送バッファ位置と、実際の伝送バッファ位置とを一致させることができる（図９の符号９００参照）。この結果、第１の実施形態に係る動画像符号化装置１２０によれば、ＳＯＰ間で誤差が累積していくことがなくなり、伝送バッファにおいてアンダフローまたはオーバフローが発生することを回避することができる。

なお、第１の実施形態に係る動画像符号化装置１２０では、目標符号量の補正を、スライス単位で行う。このため、第１の実施形態に係る動画像符号化装置１２０では、目標符号量の補正に際して、
・スライス単位の仮の伝送バッファ位置、
・スライス単位の実際の伝送バッファ位置、
・スライス単位の誤差、
を算出する。以下、第１の実施形態に係る動画像符号化装置の機能の詳細について説明する。

（２−１）第１の実施形態に係る動画像符号化装置の機能構成
はじめに、第１の実施形態に係る動画像符号化装置１２０の機能構成について説明する。図１０は、第１の実施形態に係る動画像符号化装置の機能構成の一例を示す図である。図３に示した比較例の動画像符号化装置３００の機能構成とは、制御装置２１０の機能構成において相違する。

図１０に示すように、第１の実施形態に係る動画像符号化装置１２０の場合、動画像符号化プログラムが実行されることで、制御装置２１０は、ダウンコンバータ３０３、先行符号化部３０４として機能する。また、制御装置２１０は、レートコントローラ１０００、個別制御部１０１０＿１〜１０１０＿３として機能する。つまり、図３とは、制御装置２１０のレートコントローラ１０００の機能と、制御装置２１０が個別制御部１０１０＿１〜１０１０＿３を有する点とにおいて相違する。

レートコントローラ１０００は算出部の一例であり、上述したレートコントローラ３０５の機能に加えて、１ＳＯＰの各フレームの仮の伝送バッファ位置を、個別制御部１０１０＿１〜１０１０＿３に通知する機能を有する。

個別制御部１０１０＿１〜１０１０＿３は補正部の一例であり、レートコントローラ１０００から、
・１ＳＯＰの各フレームの各スライスの目標符号量、
・１ＳＯＰの各フレームの仮の伝送バッファ位置、
を取得する。

また、個別制御部１０１０＿１〜１０１０＿３は、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３がそれぞれ有する各４Ｋ６０Ｈｚエンコーダから、各フレームの各スライスの符号化処理が完了するごとに、スライス単位の発生符号量を取得する。

また、個別制御部１０１０＿１〜１０１０＿３は、各フレームの各スライスの符号化処理が行われるごとに、次のフレームの各スライスの目標符号量を補正する。また、個別制御部１０１０＿１〜１０１０＿３は、補正後の各スライスの目標符号量を、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３がそれぞれ有する各４Ｋ６０Ｈｚエンコーダに通知する。

（２−２）第１の実施形態に係る動画像符号化装置の機能構成の詳細
次に、第１の実施形態に係る動画像符号化装置１２０の機能構成の詳細について説明する。図１１は、第１の実施形態に係る動画像符号化装置の機能構成の詳細を示す図である。ただし、図１１では、説明の簡略化のため、レートコントローラ１０００、個別制御部１０１０＿１、８Ｋ６０Ｈｚエンコーダ３０６＿１に含まれる４つの４Ｋ６０Ｈｚエンコーダのうち、スライス［０］を符号化処理する４Ｋ６０Ｈｚエンコーダのみを示している。

図１１に示すように、個別制御部１０１０＿１は、目標符号量保存部１１０１、発生符号量保存部１１０２、目標符号量再計算部１１０３を有する。

目標符号量保存部１１０１は、レートコントローラ１０００から通知される、１ＳＯＰの各フレームの各スライスの目標符号量を保存する。また、目標符号量保存部１１０１は、レートコントローラ１０００から通知される、１ＳＯＰの各フレームの仮の伝送バッファ位置を保存する。

発生符号量保存部１１０２は、４Ｋ６０Ｈｚエンコーダが各フレームのスライス［０］の符号化処理を完了するごとに、各フレームのスライス［０］の発生符号量を、４Ｋ６０Ｈｚエンコーダより取得し、保存する。

目標符号量再計算部１１０３は、目標符号量保存部１１０１より、
・１ＳＯＰの各フレームの各スライスの目標符号量と、
・１ＳＯＰの各フレームの仮の伝送バッファ位置と、
を読み出し、１ＳＯＰの各フレームのスライス［０］の仮の伝送バッファ位置を算出する。なお、“１ＳＯＰの各フレームの各スライスの仮の伝送バッファ位置の算出方法”は、下記（２−３）において後述する。

また、目標符号量再計算部１１０３は、発生符号量保存部１１０２より、処理対象のフレームの１つ前のフレームのスライス［０］の発生符号量を読み出し、実際の伝送バッファ位置を算出する。なお、“実際の伝送バッファ位置の算出方法”は、下記（２−４）において後述する。

また、目標符号量再計算部１１０３は、
・処理対象のフレームのスライス［０］について符号化処理を開始する前の時点での仮の伝送バッファ位置と、
・処理対象のフレームのスライス［０］について符号化処理を開始する前の時点での実際の伝送バッファ位置と、
に基づいて、スライス［０］の誤差を算出する。なお、“誤差の算出方法”は、下記（２−４）において後述する。

また、目標符号量再計算部１１０３は、算出したスライス［０］の誤差を用いて、ＳＯＰ内においてまだ符号化処理が行われていないフレームのスライス［０］の目標符号量を補正し、補正後のスライス［０］の目標符号量を、４Ｋ６０Ｈｚエンコーダに通知する。

また、図１１に示すように、４Ｋ６０Ｈｚエンコーダは、レート制御部１１１１、差分画像生成部１１１２、直交変換／量子化部１１１３、可変長符号化部１１１４を有する。また、４Ｋ６０Ｈｚエンコーダは、逆直交変換／逆量子化部１１１５、加算部１１１６、復号画像生成部１１１７、動き探索部１１１８、予測画像生成部１１１９を有する。

差分画像生成部１１１２は、時空間分割部３０２より、８Ｋ・１２０Ｈｚの動画像の各フレームのスライス［０］をＳＯＰ単位で取得する。また、差分画像生成部１１１２は、処理対象のフレームのスライス［０］と、予測画像生成部１１１９にて生成された予測画像（フレームごとに予め定められた参照先（図４））との差分を算出し、予測残差信号を生成する。

レート制御部１１１１は、目標符号量再計算部１１０３より通知された、処理対象のフレームについての補正後のスライス［０］の目標符号量のもとで、量子化ステップを調整する。

直交変換／量子化部１１１３は、予測残差信号に対して直交変換処理を実行するとともに、調整された量子化ステップのもとで、直交変換処理を実行した予測残差信号を量子化し、量子化信号を生成する。

可変長符号化部１１１４は、量子化信号を可変長符号化することで、ビットストリームを生成する。可変長符号化部１１１４は、生成したビットストリームを、ストリーム結合部３０７に出力するとともに、レートコントローラ１０００、個別制御部１０１０＿１に出力する。

逆直交変換／逆量子化部１１１５は、量子化信号を逆量子化したうえで、逆直交変換処理を実行する。

加算部１１１６は、逆直交変換／逆量子化部１１１５より出力された信号に対して、予測画像生成部１１１９にて生成された予測画像を加算することで、復号画像を生成する。

復号画像生成部１１１７は、生成された復号画像に対して各種フィルタ処理を行い、動き探索部１１１８、予測画像生成部１１１９に通知する。

動き探索部１１１８は、時空間分割部３０２より、８Ｋ・１２０Ｈｚの動画像の各フレームのスライス［０］をＳＯＰ単位で取得し、復号画像を用いて、フレーム間で動き補償を行う。

予測画像生成部１１１９は、復号画像に基づいてフレーム内予測を行う。また、予測画像生成部１１１９は、復号画像に基づいてフレーム間予測を行う。更に、予測画像生成部１１１９は、フレーム内予測を行うことで得た予測画像またはフレーム間予測を行うことで得た予測画像のいずれか一方を、差分画像生成部１１１２及び加算部１１１６に出力する。

（２−３）各スライスの仮の伝送バッファ位置の算出方法
次に、１ＳＯＰに含まれる各フレームの各スライスの仮の伝送バッファ位置の算出方法について説明する。図１２は、各スライスの仮の伝送バッファ位置の算出方法を説明するための図である。

上述したように、目標符号量再計算部１１０３では、目標符号量保存部１１０１から、
・１ＳＯＰの各フレームの各スライスの目標符号量、
・１ＳＯＰの各フレームの仮の伝送バッファ位置、
を読み出す。目標符号量再計算部１１０３では、図１２に示すように、各フレームにおいて、読み出した各スライスの目標符号量の比率に基づいて、読み出した各フレームの仮の伝送バッファ位置から、各フレームの各スライスの仮の伝送バッファ位置を算出する。具体的には、下式に基づいて、各フレームの各スライスの仮の伝送バッファ位置を算出する。

ここで、ｋはスライスの番号であり、０〜３の値をとる。また、ＳｌｉｃｅＴａｒｇｅｔ［ｋ］は、ｋ番目のスライスの目標符号量である。また、ＥｓｔＦｒａｍｅＣｐｂＢｏｃは、フレーム単位の仮の伝送バッファ位置であり、ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［ｋ］は、ｋ番目のスライスの仮の伝送バッファ位置である。

上式に示すように、目標符号量再計算部１１０３では、スライス単位の仮の伝送バッファ位置を算出するにあたり、フレーム単位の仮の伝送バッファ位置を４等分しない。これは、空間分割された４スライスの画像（絵柄）の複雑さには、ばらつきがあるからである。４スライスの画像の複雑さにばらつきがあるにも関わらず、フレーム単位の仮の伝送バッファ位置を４等分して、各スライスの仮の伝送バッファ位置を算出することとすると、スライス単位のレート制御を正確に実行することが困難になることが考えられる。そこで、目標符号量再計算部１１０３では、フレーム内の各スライスの目標符号量の比率に基づいて、各スライスの仮の伝送バッファ位置を算出する。

（２−４）実際の伝送バッファ位置の算出方法及び誤差の算出方法
次に、目標符号量再計算部１１０３による、スライス単位の実際の伝送バッファ位置の算出方法及びスライス単位の誤差の算出方法について説明する。

上述したように、実際の伝送バッファ位置を算出するにあたっては、発生符号量とバッファ回復量が用いられる。このため、目標符号量再計算部１１０３では、スライス単位の実際の伝送バッファ位置を算出するにあたり、スライス単位の発生符号量と、スライス単位のバッファ回復量とを取得する。

ここで、目標符号量再計算部１１０３では、スライス単位のレート制御を正確にするために、スライス単位のバッファ回復量を、フレーム内の各スライスの目標符号量の比率に従って計算する（下式参照）。

上式において、（Ｒ／Ｐ）_{ｆｒａｍｅ}は、フレーム単位のバッファ回復量を示しており、（Ｒ／Ｐ）_{ｓｌｉｃｅ［ｋ］}は、ｋ番目のスライスのバッファ回復量を示している。

そして、目標符号量再計算部１１０３では、上式に基づいて算出したスライス単位のバッファ回復量のもと、スライス単位の発生符号量を用いて、下式に基づいて、スライス単位の実際の伝送バッファ位置を算出する。

ここで、ｎは符号化順序を表し、１〜８の値をとる。また、ＳｌｉｃｅＢｉｔｓ［ｎ−１］は、符号化順序が（ｎ−１）番目のフレームのスライス［０］について符号化処理が行われた際の発生符号量を示す。なお、上式に示すように、ここでは、１ＳＯＰの先頭のスライス［０］の仮の伝送バッファ位置と、１ＳＯＰの先頭のスライス［０］の実際の伝送バッファ位置とが一致していることを前提としている。

続いて、スライス単位の誤差の算出方法について説明する。目標符号量再計算部１１０３では、スライス単位の仮の伝送バッファ位置とスライス単位の実際の伝送バッファ位置とに基づき、下式を用いて、スライス単位の誤差（ＳｌｉｃｅＥｒｒｏｒ［ｎ］）を算出する。

次に、目標符号量再計算部１１０３が算出した実際の伝送バッファ位置の具体例及び誤差の具体例について説明する。図１３は、スライス［０］の実際の伝送バッファ位置の具体例及びスライス［０］の誤差の具体例を示す図であり、
・符号化順序が０番目のフレームのスライス［０］について符号化処理が行われ、
・符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前、
の様子を示している。

図１３の例では、スライス［０］の先頭の仮の伝送バッファ位置（ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［０］）と、スライス［０］の先頭の実際の伝送バッファ位置（ＳｌｉｃｅＣｐｂＢｏｃ［０］）とが一致している。

また、図１３の例では、符号化順序が０番目のフレームのスライス［０］について符号化処理が行われた際の発生符号量がＳｌｉｃｅＢｉｔｓ［０］であるとしている。このため、符号化順序が０番目のフレームのスライス［０］について符号化処理が行われた時点で、実際の伝送バッファ位置は、符号１４０１で示す位置となる。

また、図１３の例では、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始されるまでの間に、スライス［０］の実際の伝送バッファ位置は、スライス［０］のバッファ回復量である（Ｒ／Ｐ）_{ｓｌｉｃｅ［０］}だけ上がっている。このため、図１３の例では、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前の時点で、スライス［０］の実際の伝送バッファ位置は、ＳｌｉｃｅＣｐｂＢｏｃ［１］となっている。

一方で、目標符号量再計算部１１０３では、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前の時点での、スライス［０］の仮の伝送バッファ位置については既に算出済みである。具体的には、目標符号量再計算部１１０３では、上記（２−３）で示した式に基づいて、スライス［０］の仮の伝送バッファ位置（ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［１］）を算出している。

このため、目標符号量再計算部１１０３では、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前の時点で、スライス［０］の誤差を、
ＳｌｉｃｅＥｒｒｏｒ［１］＝ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［１］−ＳｌｉｃｅＣｐｂＢｏｃ［１］
として算出する。

（２−５）目標符号量の補正方法
次に、目標符号量再計算部１１０３によるスライス単位の目標符号量の補正方法について説明する。上述したとおり、目標符号量再計算部１１０３では、スライス単位の誤差を解消するために、各フレームの各スライスについて符号化処理が行われるごとに、まだ符号化処理が行われていない残りのフレームの各スライスの目標符号量を補正する。なお、目標符号量再計算部１１０３による、各スライスの目標符号量の補正方法として、ここでは２通りの補正方法について説明する。

第１の補正方法は、処理対象のフレームの１つ前のフレームのスライス［０］の符号化処理が行われ、処理対象のフレームのスライス［０］の符号化処理が開始される前の時点での誤差を、処理対象のフレームのスライス［０］の目標符号量から減算する方法である。

第１の補正方法によれば、処理対象のフレームのスライス［０］の符号化処理が行われることで、処理対象のフレームのスライス［０］の符号化処理が開始される前の時点での誤差を解消することができる。

ただし、第１の補正方法の場合、減算する誤差が大きいと、処理対象のフレームのスライス［０］の目標符号量がゼロになる可能性があるという問題がある。

一方、第２の補正方法は、処理対象のフレームのスライス［０］の目標符号量がゼロになることがないよう、誤差を、まだ符号化処理が行われていない残りの各フレームのスライス［０］の目標符号量に分配する方法である。

具体的には、目標符号量再計算部１１０３では、下式に基づいて、誤差分配後の各フレームのスライス［０］の目標符号量であるＳｌｉｃｅＴａｒｇｅｔ’［ｍ＋１］を算出する（ｍは処理対象のフレームの１つ前のフレームの符号化順序を表す）。

上記第２の補正方法を図１４を用いて更に詳細に説明する。図１４は、スライス単位の目標符号量の第２の補正方法を示す図である。目標符号量再計算部１１０３では、図１４に示すように、算出したスライス［０］の誤差を、１ＳＯＰ内の各フレームのうち、符号化処理が行われていない残りのフレームのスライス［０］の目標符号量に分配する。これにより、第２の補正方法によれば、１ＳＯＰの終端で、スライス［０］の仮の伝送バッファ位置と実際の伝送バッファ位置とを一致させることができるとともに、残りのフレームのスライス［０］の目標符号量がゼロになることを回避することができる。

（２−６）目標符号量の補正処理の具体例
次に、目標符号量再計算部１１０３による、スライス単位の目標符号量の第２の補正方法による補正処理の具体例について説明する。図１５は、スライス単位の目標符号量の第２の補正方法による補正処理の具体例を示す第１の図である。このうち、図１５（ａ）は、ｍ＝３の場合の目標符号量の補正処理の具体例を示している。

図１５（ａ）に示すように、符号化順序が３番目のフレームの符号化処理が行われ、処理対象のフレームとして、符号化順序が４番目のフレームの符号化処理が開始される前の時点で、スライス［０］の誤差がＳｌｉｃｅＥｒｒｏｒ［３］であったとする。

一方で、目標符号量再計算部１１０３により算出された、符号化順序が４番目のフレームのスライス［０］の目標符号量が、ＳｌｉｃｅＴａｒｇｅｔ［４］であったとする。また、目標符号量再計算部１１０３により算出された、符号化順序が５番目、６番目、７番目のフレームのスライス［０］の目標符号量が、それぞれ、ＳｌｉｃｅＴａｒｇｅｔ［５］〜ＳｌｉｃｅＴａｒｇｅｔ［７］であったとする。

この場合、例えば、符号化順序が４番目のフレームについての、補正後のスライス［０］の目標符号量であるＳｌｉｃｅＴａｒｇｅｔ’［４］は、
ＳｌｉｃｅＴａｒｇｅｔ［４］−ＳｌｉｃｅＥｒｒｏｒ［３］×（ＳｌｉｃｅＴａｒｇｅｔ［４］／（ＳｌｉｃｅＴａｒｇｅｔ［５］〜［７］の和））
により算出される。

なお、符号化順序が５番目〜７番目のフレームについての、補正後のスライス[０]の目標符号量であるＳｌｉｃｅＴａｒｇｅｔ’[５]〜［７］についても同様の方法により算出される。

図１５（ｂ）は、表示順序及び符号化順序と発生符号量との関係を示した図である。図１５（ｂ）に示すように、表示順序が０、２、４、６番目のフレーム（符号化順序が１、３、５、７番目のフレーム）は、符号化処理が行われた際の発生符号量が小さい。一方、表示順序が３、７番目のフレーム（符号化順序が０、２番目のフレーム）は、符号化処理が行われた際の発生符号量が大きい。

このように、発生符号量は符号化順序ごとに異なる。このため、誤差を分配するにあたっては、分配先のフレームの符号化順序を考慮する必要がある。一方で、上記第２の補正方法によれば、残りのフレームのスライス［０］同士の目標符号量の比率に応じて誤差が分配される。つまり、第２の補正方法によれば、もともとの目標符号量が小さいものについては、減算量を小さくし、もともとの目標符号量が大きいものについては、減算量を大きくするように誤差を分配することができる。この結果、第２の補正方法によれば、分配先のフレームの符号化順序を考慮した適切な補正を実現することができる。

（２−７）第１の実施形態に係る動画像符号化装置による符号化処理の流れ
次に、第１の実施形態に係る動画像符号化装置１２０による符号化処理全体の流れについて説明する。図１６は、第１の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。

ステップＳ１６０１において、受信部３０１は、８Ｋ・１２０Ｈｚの１ＳＯＰ分の動画像を受信し、ダウンコンバータ３０３は、１ＳＯＰ分の動画像をダウンコンバートし、４Ｋ・６０Ｈｚの動画像を生成する。また、先行符号化部３０４は、ダウンコンバートされた動画像について先行符号化処理を行う。

ステップＳ１６０２において、先行符号化部３０４は、先行符号化処理の結果に基づき、４Ｋ・６０Ｈｚの動画像の１ＳＯＰに含まれる各フレームについて、スライス単位のＧＣＭを算出する。更に、先行符号化部３０４は、算出したスライス単位のＧＣＭに基づいて、８Ｋ・１２０Ｈｚの動画像の１ＳＯＰに含まれる各フレームについて、スライス単位のＧＣＭを推定する。

ステップＳ１６０３において、レートコントローラ１０００は、８Ｋ・１２０Ｈｚの動画像の１ＳＯＰの各フレームの目標符号量を算出するとともに、１ＳＯＰの各フレームの仮の伝送バッファ位置を算出する。

ステップＳ１６０４において、レートコントローラ１０００は、８Ｋ・１２０Ｈｚの動画像の１ＳＯＰの各フレームのスライス単位の目標符号量を算出する。

ステップＳ１６０５において、個別制御部１０１０＿１〜１０１０＿３は、フレーム内の各スライスの目標符号量の比率によって、１ＳＯＰの各フレームの各スライスの仮の伝送バッファ位置を算出する。

ステップＳ１６０６において、個別制御部１０１０＿１〜１０１０＿３は、フレーム内の各スライスの目標符号量の比率によって、１ＳＯＰの各フレームのスライス単位のバッファ回復量を計算する。

ステップＳ１６０７において、個別制御部１０１０＿１〜１０１０＿３は、処理対象のフレームの１つ前のフレームの各スライスについて、各４Ｋ６０Ｈｚエンコーダにより符号化処理が行われた際の、各スライスの発生符号量を取得する。

ステップＳ１６０８において、個別制御部１０１０＿１〜１０１０＿３は、取得した各スライスの発生符号量に基づいて、処理対象のフレームの各スライスについて符号化処理が開始される前の時点での、各スライスの実際の伝送バッファ位置を算出する。

ステップＳ１６０９において、個別制御部１０１０＿１〜１０１０＿３は、処理対象のフレームの各スライスについて符号化処理が開始される前の時点での、各スライスの誤差を算出する。

ステップＳ１６１０において、個別制御部１０１０＿１〜１０１０＿３は、ステップＳ１６０９において算出した各スライスの誤差を、ＳＯＰ内においてまだ符号化処理が行われていない各フレームの、対応するスライス同士の目標符号量の比率で分配する。

ステップＳ１６１１において、個別制御部１０１０＿１〜１０１０＿３は、符号化処理が行われていない各フレームの各スライスの目標符号量を、分配した誤差に基づいて補正する。

ステップＳ１６１２において、各４Ｋ６０Ｈｚエンコーダは、処理対象のフレームの各スライスについて、補正後の各スライスの目標符号量のもとで符号化処理を行う。また、個別制御部１０１０＿１〜１０１０＿３は、符号化処理が行われたフレームの次のフレームを処理対象のフレームとする。

なお、ステップＳ１６０７からステップＳ１６１２の各処理は、１ＳＯＰに含まれる全てのフレームについて実行され、１ＳＯＰに含まれる全てのフレームについて各処理が実行されると、１ＳＯＰ分の符号化処理が終了する。

以上の説明から明らかなように、第１の実施形態に係る動画像符号化装置１２０では、８Ｋ・１２０Ｈｚの動画像をダウンコンバートし、１ＳＯＰごとに先行符号化することで、１ＳＯＰの各フレームの各スライスの目標符号量を算出する。また、第１の実施形態に係る動画像符号化装置１２０では、１ＳＯＰに含まれる各フレームについて、スライス単位の符号化処理が行われるごとに、実際の伝送バッファの位置と仮の伝送バッファの位置との誤差を、スライス単位で算出する。更に、第１の実施形態に係る動画像符号化装置１２０では、算出したスライス単位の誤差を、１ＳＯＰ内においてまだ符号化処理が行われていないフレームの、対応するスライス同士の目標符号量の比率に基づいて分配し、スライス単位の目標符号量を補正する。

これにより、第１の実施形態に係る動画像符号化装置１２０では、１ＳＯＰの終端のフレームの符号化処理が行われた時点で、仮の伝送バッファの位置と実際の伝送バッファの位置とを一致させることができる。

この結果、第１の実施形態に係る動画像符号化装置１２０によれば、伝送バッファにおいてアンダフローまたはオーバフローが発生することを回避することができる。

［第２の実施形態］
上記第１の実施形態では、フレーム単位の仮の伝送バッファ位置から、スライス単位の仮の伝送バッファ位置を算出するにあたり、フレーム内の各スライスの目標符号量の比率を用いるものとして説明した。しかしながら、１ＳＯＰ内において符号化処理が進むにつれて、各スライスの目標符号量は、順次、補正されていく。そこで、第２の実施形態では、各スライスの仮の伝送バッファ位置を算出するにあたり、フレーム内の補正後の各スライスの目標符号量の比率を用いる。

また、上記第１の実施形態では、スライス単位のバッファ回復量を算出するにあたり、フレーム内の各スライスの目標符号量の比率を用いるものとして説明した。しかしながら、１ＳＯＰ内において符号化処理が進むにつれて、各スライスの目標符号量は、順次、補正されていく。そこで、第２の実施形態では、スライス単位のバッファ回復量を算出するにあたり、フレーム内の補正後の各スライスの目標符号量の比率を用いる。

以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

（１）各スライスの仮の伝送バッファ位置の算出方法
はじめに、各スライスの仮の伝送バッファ位置の算出方法について説明する。上記第１の実施形態で説明したように、各フレームの各スライスについて符号化処理が行われるごとに、目標符号量再計算部１１０３では、スライス単位の誤差を算出する。そして、目標符号量再計算部１１０３では、ＳＯＰ内においてまだ符号化処理が行われていない各フレームの各スライスの目標符号量を補正する。

一方で、上記第１の実施形態で説明したように、目標符号量再計算部１１０３では、目標符号量保存部１１０１から、
・１ＳＯＰの各フレームの各スライスの目標符号量、
・１ＳＯＰの各フレームの仮の伝送バッファ位置、
を読み出し、フレーム内の各スライスの目標符号量の比率に基づいて各スライスの仮の伝送バッファ位置を算出する。

このとき、第２の実施形態では、各スライスの目標符号量が補正されていた場合には、フレーム内の補正後の各スライスの目標符号量の比率を用いて、各スライスの仮の伝送バッファ位置を算出する。具体的には、下式に基づいて、各スライスの仮の伝送バッファ位置を算出する。

（２）スライス単位のバッファ回復量の算出方法
次に、スライス単位のバッファ回復量の算出方法について説明する。上記第１の実施形態で説明したように、１フレームの各スライスについて符号化処理が行われるごとに、目標符号量再計算部１１０３では、スライス単位の誤差を算出する。そして、目標符号量再計算部１１０３では、ＳＯＰ内においてまだ符号化処理が行われていない各フレームの各スライスの目標符号量を補正する。

一方で、上記第１の実施形態で説明したように、目標符号量再計算部１１０３では、各フレームにおいてスライス単位のバッファ回復量を、フレーム内の各スライスの目標符号量の比率に従って算出する。

このとき、第２の実施形態では、各スライスの目標符号量が補正されていた場合には、フレーム内の補正後の各スライスの目標符号量の比率を用いて、各スライスのバッファ回復量を算出する。具体的には、下式に基づいて、各スライスのバッファ回復量を算出する。

（３）仮の伝送バッファ位置の具体例及び実際の伝送バッファ位置の具体例
次に、スライス［０］の仮の伝送バッファ位置の具体例及びスライス［０］の実際の伝送バッファ位置の具体例について説明する。図１７は、スライス［０］の仮の伝送バッファ位置の具体例及びスライス［０］の実際の伝送バッファ位置の具体例を示す図である。

このうち、図１７（ａ）は、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前の伝送バッファ位置を示している。ここで、スライス［０］の先頭の仮の伝送バッファ位置（ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［０］）と、スライス［０］の先頭の実際の伝送バッファ位置（ＳｌｉｃｅＣｐｂＢｏｃ［０］）とは一致している。

このため、図１７（ａ）の時点で、目標符号量再計算部１１０３では、
・スライス［０］の仮の伝送バッファ位置（ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［１］）を算出するにあたり、符号化順序が０番目のフレーム内の各スライスの目標符号量の比率を用いる。
・スライス［０］の実際の伝送バッファ位置（ＳｌｉｃｅＣｐｂＢｏｃ［１］）を算出するにあたり、符号化順序が０番目のフレーム内の各スライスの目標符号量の比率に基づく、バッファ回復量（Ｒ／Ｐ）_{ｓｌｉｃｅ［０］}を用いる。

一方、図１７（ｂ）は、符号化順序が２番目のフレームのスライス［０］について符号化処理が開始される前の伝送バッファ位置を示している。ここで、符号化順序が１番目のフレームのスライス［０］について符号化処理が開始される前の時点で、誤差（ＳｌｉｃｅＥｒｒｏｒ［１］）が発生しているため、符号化順序が１番目のフレームのスライス［０］については目標符号量が補正されている。

このため、図１７（ｂ）の時点で、目標符号量再計算部１１０３は、
・スライス［０］の仮の伝送バッファ位置（ＥｓｔＳｌｉｃｅＣｐｂＢｏｃ［２］）を算出するにあたり、符号化順序が１番目のフレーム内の補正後の各スライスの目標符号量の比率を用いる。
・スライス［０］の実際の伝送バッファ位置（ＳｌｉｃｅＣｐｂＢｏｃ［２］）を算出するにあたり、符号化順序が１番目のフレーム内の補正後の各スライスの目標符号量の比率に基づく、バッファ回復量（Ｒ／Ｐ）_{ｓｌｉｃｅ［１］}を用いる。

（４）第２の実施形態に係る動画像符号化装置による符号化処理の流れ
次に、第２の実施形態に係る動画像符号化装置１２０による符号化処理全体の流れについて説明する。図１８は、第２の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。図１６を用いて説明した符号化処理との相違点は、ステップＳ１８０１とステップＳ１８０２である。

ステップＳ１８０１において、個別制御部１０１０＿１〜１０１０＿３は、フレーム内の各スライスの目標符号量の比率を用いて、処理対象のフレームの１つ前のフレームのスライス単位のバッファ回復量を計算する。このとき、個別制御部１０１０＿１〜１０１０＿３では、処理対象のフレームについて、スライス単位の目標符号量が補正されていた場合には、フレーム内の補正後の各スライスの目標符号量の比率を用いて、バッファ回復量を計算する。

ステップＳ１８０２において、個別制御部１０１０＿１〜１０１０＿３は、フレーム内の各スライスの目標符号量の比率を用いて、処理対象のフレームの各スライスについて符号化処理を開始する前の時点での、各スライスの仮の伝送バッファ位置を算出する。このとき、個別制御部１０１０＿１〜１０１０＿３では、スライス単位の目標符号量が補正されていた場合には、フレーム内の補正後の各スライスの目標符号量の比率を用いて、各スライスの仮の伝送バッファ位置を算出する。

以上の説明から明らかなように、第２の実施形態に係る動画像符号化装置では、各スライスの仮の伝送バッファ位置を算出するにあたり、フレーム内の補正後の各スライスの目標符号量の比率を用いる。また、第２の実施形態に係る動画像符号化装置では、スライス単位のバッファ回復量を算出するにあたり、フレーム内の補正後の各スライスの目標符号量の比率を用いる。

これにより、第２の実施形態に係る動画像符号化装置によれば、仮の伝送バッファ位置と実際の伝送バッファ位置との誤差を、より的確に算出することが可能となる。

［第３の実施形態］
上記第１及び第２の実施形態では、目標符号量の補正を、ＳＯＰ内において符号化処理が行われていない残りの全てのフレームの各スライスについて行うものとして説明した。一方で、上述したように、ＳＯＰ内の各フレームは、階層ごとに発生符号量が異なる。

このため、仮の伝送バッファ位置と実際の伝送バッファ位置との誤差が大きいときに、発生符号量の小さいフレーム（階層が深いフレーム）の各スライスの目標符号量を補正すると、補正後の各スライスの目標符号量がゼロになる可能性がある。

そこで、第３の実施形態では、目標符号量の補正を、ＳＯＰ内において符号化処理が行われていない残りのフレームのうち、階層の浅いフレームの各スライスについて行う。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。

（１）第３の実施形態に係る動画像符号化装置の機能構成の詳細
はじめに、第３の実施形態に係る動画像符号化装置１２０の機能構成の詳細について説明する。図１９は、第３の実施形態に係る動画像符号化装置の機能構成の詳細を示す図である。図１０と同様、図１９では、レートコントローラ１０００、個別制御部１０１０＿１、８Ｋ６０Ｈｚエンコーダ３０６＿１に含まれる４つの４Ｋ６０Ｈｚエンコーダのうち、スライス［０］を符号化処理する４Ｋ６０Ｈｚエンコーダのみを示している。

図１０との相違点は、個別制御部１０１０＿１が階層情報取得部１９０１を有する点である。階層情報取得部１９０１は、時空間分割部３０２より、８Ｋ・１２０Ｈｚの動画像の各フレームのスライス［０］をＳＯＰ単位で取得する。また、階層情報取得部１９０１は、取得した各フレームのスライス［０］のうち、所定の符号化順序のフレーム（例えば、符号化順序が偶数番目のフレーム）のスライス［０］を、目標符号量再計算部１１０３に通知する。符号化順序が偶数番目のフレームは、階層が浅いため、当該フレームのスライス［０］を符号化処理した場合、発生符号量が大きいからである。

（２）第３の実施形態に係る動画像符号化装置による符号化処理の流れ
次に、第３の実施形態に係る動画像符号化装置１２０による符号化処理の流れについて説明する。図２０は、第３の実施形態に係る動画像符号化装置による符号化処理の流れを示すフローチャートである。図１６を用いて説明した符号化処理との相違点は、ステップＳ２００１とステップＳ２００２である。

ステップＳ２００１において、個別制御部１０１０＿１〜１０１０＿３は、ステップＳ１６０９で算出した各スライスの誤差を、ＳＯＰ内においてまだ符号化処理が行われていない階層の浅い各フレームの、対応するスライス同士の目標符号量の比率で分配する。

ステップＳ２００２において、個別制御部１０１０＿１〜１０１０＿３は、ＳＯＰ内においてまだ符号化処理が行われていない、階層の浅いフレームの各スライスの目標符号量を、分配した各スライスの誤差に基づいて補正する。

以上の説明から明らかなように、第３の実施形態に係る動画像符号化装置では、目標符号量の補正を、符号化処理が行われていない残りのフレームのうち、階層の浅いフレームの各スライスについて行う。

これにより、第３の実施形態に係る動画像符号化装置によれば、スライス単位の目標符号量を適切に補正することが可能となる。

［第４の実施形態］
上記第１の実施形態では、ＳＯＰ内においてまだ符号化処理が行われていない残りのフレームのスライス単位の目標符号量を補正するにあたり、残りのフレームの対応するスライス同士の目標符号量の比率に応じて誤差を分配するものとして説明した。

しかしながら、残りのフレームには、階層の浅いフレームと階層の深いフレームとが含まれ、階層の浅いフレームの方が、符号化処理の際に、より多くのフレームから参照される（以下、このようなフレームを参照フレームと称す）。一方、階層の深いフレームは、符号化処理の際に、他のフレームから参照されない（以下、このようなフレームを非参照フレームと称す）。

一般に、符号化処理においては、参照フレームの画質を向上させることで、動画像全体の画質が向上する。このため、第４の実施形態では、まだ符号化処理が行われていない残りのフレームの各スライスの目標符号量を補正するにあたり、参照フレームか否かに応じて、補正量を調整する。以下、第４の実施形態について、上記第１の実施形態との相違点を中心に説明する。

図２１は、スライス単位の目標符号量の第２の補正方法による補正処理の具体例を示す第２の図である。図２１（ａ）に示すように、符号化順序が３番目のフレームについて符号化処理が行われ、符号化順序が４番目のフレームの符号化処理が開始される前の時点で、スライス［０］の誤差がＳｌｉｃｅＥｒｒｏｒ［３］であったとする。

一方で、目標符号量再計算部１１０３により算出された、符号化順序が４番目のフレームのスライス［０］の目標符号量が、ＳｌｉｃｅＴａｒｇｅｔ［４］であったとする。また、個別制御部１０１０＿１により算出された、符号化順序が５番目、６番目、７番目のフレームのスライス［０］の目標符号量が、それぞれ、ＳｌｉｃｅＴａｒｇｅｔ［５］〜ＳｌｉｃｅＴａｒｇｅｔ［７］であったとする。

ここで、図２１（ｂ）に示すように、符号化順序が４番目から７番目のフレームのうち、４番目のフレームと６番目のフレームは参照フレームであり、５番目のフレームと７番目のフレームは非参照フレームである。

そこで、目標符号量再計算部１１０３では、４番目のフレームのスライス［０］の目標符号量と、６番目のフレームのスライス［０］の目標符号量を補正するにあたり、目標符号量を減算する場合にあっては、誤差の分配を少なくする。具体的には、目標符号量の比率に、１未満の補正係数を乗算したうえで、スライス［０］の目標符号量を補正する。

また、目標符号量再計算部１１０３では、４番目のフレームのスライス［０］の目標符号量と、６番目のフレームのスライス［０］の目標符号量を補正するにあたり、目標符号量を加算する場合にあっては、誤差の分配を多くする。具体的には、目標符号量の比率に、１以上の補正係数を乗算したうえで、スライス［０］の目標符号量を補正する。

また、目標符号量再計算部１１０３では、５番目のフレームのスライス［０］の目標符号量と、７番目のフレームのスライス［０］の目標符号量を補正するにあたり、目標符号量を減算する場合にあっては、誤差の分配を多くする。具体的には、目標符号量の比率に、１以上の補正係数を乗算したうえで、スライス［０］の目標符号量を補正する。

また、目標符号量再計算部１１０３では、５番目のフレームのスライス［０］の目標符号量と、７番目のフレームのスライス［０］の目標符号量を補正するにあたり、目標符号量を加算する場合にあっては、誤差の分配を少なくする。具体的には、目標符号量の比率に、１未満の補正係数を乗算したうえで、スライス［０］の目標符号量を補正する。

以上の説明から明らかなように、第４の実施形態に係る動画像符号化装置では、ＳＯＰ内においてまだ符号化処理が行われていない残りのフレームのスライス単位の目標符号量を補正するにあたり、参照フレームか否かに応じて、補正量を調整する。

これにより、第４の実施形態に係る動画像符号化装置によれば、復号後の動画像の画質を向上させることができる。

［その他の実施形態］
上記第１乃至第４の実施形態では、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３が、それぞれ、４つの４Ｋ６０Ｈｚエンコーダを有するものとして説明した。また、上記第１乃至第４の実施形態では、４つの４Ｋ６０Ｈｚエンコーダが、それぞれ、８Ｋ・１２０Ｈｚの動画像の１ＳＯＰ分の各フレームの１スライス分を符号化処理するものとして説明した。

しかしながら、８Ｋ６０Ｈｚエンコーダ３０６＿１〜３０６＿３が、それぞれ、８Ｋ・１２０Ｈｚの動画像の１ＳＯＰ分の各フレームを符号化処理するようにしてもよい。この場合、時空間分割部３０２では、時分割のみを行い、空間分割を行う必要はなくなる。

つまり、上記第１乃至第４の実施形態では、符号化処理の処理単位を１スライスとして説明したが、符号化処理の処理単位は１フレームであってもよい。具体的には、個別制御部１０１０＿１〜１０１０＿３は、処理対象のフレームの符号化処理が行われるごとに、フレーム単位の実際の伝送バッファ位置と仮の伝送バッファ位置との誤差を算出してもよい。また、個別制御部１０１０＿１〜１０１０＿３は、フレーム単位の誤差に基づいて、ＳＯＰ内において符号化処理が行われていない残りの各フレームの目標符号量を補正してもよい。これにより、スライス単位で目標符号量を補正する場合と同様の効果が得られる。

また、上記第１乃至第４の実施形態では、４Ｋ６０Ｈｚエンコーダが符号化処理する際の符号化方式について特に言及しなかったが、符号化方式は任意である（例えば、Ｈ．２６５／ＨＥＶＣであってもよいし、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣであってもよい）。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行う先行符号化部と、
前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出する算出部と、
前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する補正部と
を有する動画像符号化装置。
（付記２）
前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各処理単位の目標符号量の比率に基づいて、前記誤差を、各処理単位の目標符号量に分配することで、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、付記１に記載の動画像符号化装置。
（付記３)
前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各処理単位の目標符号量の比率と、まだ符号化処理が行われていない各処理単位の階層とに基づいて、前記誤差を、各処理単位の目標符号量に分配することで、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、付記１に記載の動画像符号化装置。
（付記４）
前記処理単位は、前記ＳＯＰ単位の動画像に含まれるフレームである、付記１乃至３のいずれかの付記に記載の動画像符号化装置。
（付記５）
前記処理単位は、前記ＳＯＰ単位の動画像に含まれる各フレームを、空間方向に分割したスライスである、付記１乃至３のいずれかの付記に記載の動画像符号化装置。
（付記６）
前記先行符号化部は、前記時間方向及び前記空間方向に分割された動画像をダウンコンバートし、先行して符号化処理を行うことで、前記ＳＯＰ単位の動画像に含まれる各フレームの各スライスの符号化難易度を推定し、
前記算出部は、推定された各フレームの各スライスの符号化難易度に基づいて、各フレームの目標符号量を算出し、算出した各フレームの目標符号量に基づいて各フレームの仮のバッファ位置を算出する、付記５に記載の動画像符号化装置。
（付記７）
前記算出部は、推定された各フレームの各スライスの符号化難易度に基づいて、各フレームの各スライスの目標符号量を算出し、
前記補正部は、前記算出部により算出された各フレームの仮のバッファ位置と、フレーム内の各スライスの目標符号量の比率とに基づいて、各スライスの仮のバッファ位置を算出する、付記６に記載の動画像符号化装置。
（付記８）
前記補正部は、各スライスについて符号化処理が行われるごとに取得した各スライスの発生符号量と、各スライスのバッファ回復量とに基づいて、各スライスの実際のバッファ位置を算出する、付記７に記載の動画像符号化装置。
（付記９）
前記補正部は、算出した各スライスの仮のバッファ位置と、算出した各スライスの実際のバッファ位置とに基づいて、各スライスの誤差を算出する、付記８に記載の動画像符号化装置。
（付記１０）
前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配することで、まだ符号化処理が行われていない各フレームについて、対応するスライスの目標符号量を補正する、付記９に記載の動画像符号化装置。
（付記１１）
前記補正部は、前記算出部により算出された各フレームの仮のバッファ位置と、フレーム内の補正後の各スライスの目標符号量の比率とに基づいて、各スライスの仮のバッファ位置を算出する、付記１０に記載の動画像符号化装置。
（付記１２）
前記補正部は、前記各スライスのバッファ回復量を、フレーム内の補正後の各スライスの目標符号量の比率に基づいて算出する、付記１０に記載の動画像符号化装置。
（付記１３）
前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームのうち、所定の符号化順序のフレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配することで、該所定の符号化順序のフレームについて、対応するスライスの目標符号量を補正する、付記９に記載の動画像符号化装置。
（付記１４）
前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配する際、参照フレームであるか否かに応じて異なる補正係数を乗算して分配することで、まだ符号化処理が行われていない各フレームについて、対応するスライスの目標符号量を補正する、付記９に記載の動画像符号化装置。
（付記１５）
時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行い、
前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出し、
前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、
処理をコンピュータが実行する動画像符号化方法。
（付記１６）
時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行い、
前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出し、
前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、
処理をコンピュータに実行させるための動画像符号化プログラム。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１２０ ：動画像符号化装置
２１０ ：制御装置
２２０ ：信号変換装置
２３０ ：符号化装置
２４０ ：再構成装置
３０１ ：受信部
３０２ ：時空間分割部
３０３ ：ダウンコンバータ
３０４ ：先行符号化部
３０５ ：レートコントローラ
３０６ ：８Ｋ１２０Ｈｚエンコーダ
３０６＿１〜３０６＿３ ：８Ｋ６０Ｈｚエンコーダ
３０７ ：ストリーム結合部
１００１＿１〜１００１＿３ ：個別制御部
１１０１ ：目標符号量保存部
１１０２ ：発生符号量保存部
１１０３ ：目標符号量再計算部
１９０１ ：階層情報取得部

Claims (16)

1. 時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行う先行符号化部と、
   前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出する算出部と、
   前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する補正部と
   を有する動画像符号化装置。
2. 前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各処理単位の目標符号量の比率に基づいて、前記誤差を、各処理単位の目標符号量に分配することで、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、請求項１に記載の動画像符号化装置。
3. 前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各処理単位の目標符号量の比率と、まだ符号化処理が行われていない各処理単位の階層とに基づいて、前記誤差を、各処理単位の目標符号量に分配することで、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、請求項１に記載の動画像符号化装置。
4. 前記処理単位は、前記ＳＯＰ単位の動画像に含まれるフレームである、請求項１乃至３のいずれか１項に記載の動画像符号化装置。
5. 前記処理単位は、前記ＳＯＰ単位の動画像に含まれる各フレームを、空間方向に分割したスライスである、請求項１乃至３のいずれか１項に記載の動画像符号化装置。
6. 前記先行符号化部は、前記時間方向及び前記空間方向に分割された動画像をダウンコンバートし、先行して符号化処理を行うことで、前記ＳＯＰ単位の動画像に含まれる各フレームの各スライスの符号化難易度を推定し、
   前記算出部は、推定された各フレームの各スライスの符号化難易度に基づいて、各フレームの目標符号量を算出し、算出した各フレームの目標符号量に基づいて各フレームの仮のバッファ位置を算出する、請求項５に記載の動画像符号化装置。
7. 前記算出部は、推定された各フレームの各スライスの符号化難易度に基づいて、各フレームの各スライスの目標符号量を算出し、
   前記補正部は、前記算出部により算出された各フレームの仮のバッファ位置と、フレーム内の各スライスの目標符号量の比率とに基づいて、各スライスの仮のバッファ位置を算出する、請求項６に記載の動画像符号化装置。
8. 前記補正部は、各スライスについて符号化処理が行われるごとに取得した各スライスの発生符号量と、各スライスのバッファ回復量とに基づいて、各スライスの実際のバッファ位置を算出する、請求項７に記載の動画像符号化装置。
9. 前記補正部は、算出した各スライスの仮のバッファ位置と、算出した各スライスの実際のバッファ位置とに基づいて、各スライスの誤差を算出する、請求項８に記載の動画像符号化装置。
10. 前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配することで、まだ符号化処理が行われていない各フレームについて、対応するスライスの目標符号量を補正する、請求項９に記載の動画像符号化装置。
11. 前記補正部は、前記算出部により算出された各フレームの仮のバッファ位置と、フレーム内の補正後の各スライスの目標符号量の比率とに基づいて、各スライスの仮のバッファ位置を算出する、請求項１０に記載の動画像符号化装置。
12. 前記補正部は、前記各スライスのバッファ回復量を、フレーム内の補正後の各スライスの目標符号量の比率に基づいて算出する、請求項１０に記載の動画像符号化装置。
13. 前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームのうち、所定の符号化順序のフレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配することで、該所定の符号化順序のフレームについて、対応するスライスの目標符号量を補正する、請求項９に記載の動画像符号化装置。
14. 前記補正部は、前記ＳＯＰ単位の動画像において、まだ符号化処理が行われていない各フレームについて、対応するスライス同士の目標符号量の比率に基づいて、対応するスライスの誤差を分配する際、参照フレームであるか否かに応じて異なる補正係数を乗算して分配することで、まだ符号化処理が行われていない各フレームについて、対応するスライスの目標符号量を補正する、請求項９に記載の動画像符号化装置。
15. 時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行い、
    前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出し、
    前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、
    処理をコンピュータが実行する動画像符号化方法。
16. 時間方向に分割されたＳＯＰ単位の動画像をダウンコンバートし、先行して符号化処理を行い、
    前記先行して符号化処理を行った結果に基づいて、前記ＳＯＰ単位の動画像に含まれる各処理単位の目標符号量を算出し、算出した目標符号量に基づいて各処理単位について符号化処理が行われた場合の仮のバッファ位置を算出し、
    前記ＳＯＰ単位の動画像において、各処理単位について符号化処理が行われるごとに、実際の伝送バッファの位置と仮のバッファ位置との誤差を算出し、まだ符号化処理が行われていない各処理単位の目標符号量を補正する、
    処理をコンピュータに実行させるための動画像符号化プログラム。
    

Images