JP2019512938A - 量子化パラメータに基づくビデオ処理のためのシステム及び方法 - Google Patents

Abstract

本明細書では、量子化パラメータに基づくビデオ処理のためのシステム及び方法の様々な態様を開示する。ある実施形態では、方法が、画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出することを含む。抽出された複数の特徴をマッピングして最適な量子化パラメータを決定するようにニューラルネットワーク回帰器を訓練する。決定された最適な量子化パラメータを用いて画像ブロックを符号化する。【選択図】図５Ａ

Description

〔関連出願との相互参照／引用による組み入れ〕
なし

本開示の様々な実施形態は、ビデオ処理に関する。具体的には、本開示の様々な実施形態は、量子化パラメータに基づくビデオ処理に関する。

ビデオ処理技術分野の進歩は、デジタル産業、並びにその関連する装置及びアプリケーションに革命をもたらした。高解像度ビデオコンテンツサービスの人気と共に、ビデオ符号化技術の発展が重要性を増してきた。

シナリオによっては、ビデオコンテンツの１又は２以上の画像ブロックを符号化するために使用するビット数を減少させながら異なる画像ブロック及び／又は画像フレームにわたってビデオコンテンツの一定の品質レベルを維持することが困難な場合がある。異なる画像ブロック及び／又は画像フレームにわたってビデオ品質が変動しないようにして符号化ビデオの全体的なビデオ品質を最適化できるように、高度な系統的技術が必要となり得る。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら説明する本開示のいくつかの態様との比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、量子化パラメータに基づくビデオコンテンツ処理のためのシステム及び方法。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、開示する量子化パラメータに基づくビデオ処理システム及び方法を実装するためのネットワーク環境を示すブロック図である。 本開示の実施形態による例示的なビデオ処理装置を示すブロック図である。 本開示の実施形態による、開示する量子化パラメータに基づくビデオ処理システム及び方法を実装するための例示的な最適量子化パラメータ予測技術を示す図である。 本開示の実施形態による、開示する量子化パラメータに基づくビデオ処理システム及び方法を実装するためのフィードフォワードニューラルネットワークの例示的な概要を示す図である。 本開示の実施形態による、量子化パラメータに基づく例示的なビデオ処理方法を示すフローチャートである。 本開示の実施形態による、量子化パラメータに基づく例示的なビデオ処理方法を示すフローチャートである。

開示する量子化パラメータに基づくビデオ処理システム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出できる方法を含むことができる。ニューラルネットワーク回帰器を、抽出された複数の特徴をマッピングして最適な量子化パラメータ（ＱＰ）を決定するように訓練することができる。決定された最適なＱＰを用いて画像ブロックを符号化することができる。

ある実施形態によれば、第１の画像フレームの画像ブロックのための複数の再構成画像ブロックを生成するために使用される複数のＱＰを用いて、第１の画像フレームの画像ブロックを符号化することができる。複数の再構成画像ブロックの各々に画像品質尺度を利用して、画像ブロックのための最適なＱＰを決定することができる。

ある実施形態によれば、画像品質尺度は、畳み込みニューラルネットワークに基づく全参照型画像品質尺度（ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ ｑｕａｌｉｔｙ ｍｅａｓｕｒｅ）とすることができる。この画像品質尺度を用いて、複数の再構成画像ブロックの各々のスコアを生成することができる。このスコアは、複数の再構成画像ブロックの各々の視覚的品質尺度を示すことができる。

ある実施形態によれば、決定された最適なＱＰの値は、画像ブロックのための複数の再構成画像ブロックを生成するために使用される複数のＱＰの値の中で最も高いものとすることができる。また、決定された最適なＱＰの値は、予め指定された品質閾値以上とすることもできる。

ある実施形態によれば、画像ブロックの決定された最適なＱＰに対応する抽出された複数の特徴に基づいて訓練データセットを生成することができる。生成された訓練データセットは、ビデオの第１の画像フレームの他の画像ブロックの複数の特徴と、対応する最適なＱＰとを含むことができる。他の画像ブロックの複数の特徴は、この他の画像ブロックのテクスチャ情報を捕獲するために抽出することができる。

ある実施形態によれば、生成された訓練データセットを利用してニューラルネットワーク回帰器を訓練することができる。訓練されたニューラルネットワーク回帰器に基づいて、画像ブロックの抽出された複数の特徴と決定された最適なＱＰとの間のマッピング関数を決定することができる。ある実施形態によれば、ニューラルネットワーク回帰器は、フィードフォワードニューラルネットワークベースの回帰モデルとすることができる。訓練されたニューラルネットワーク回帰器に基づいて、第２の画像フレームの別の画像ブロックのための別の最適なＱＰを予測することができる。

図１は、本開示の実施形態による、開示する量子化パラメータに基づくビデオ処理システム及び方法を実装するためのネットワーク環境を示すブロック図である。図１には、ビデオ処理装置１０２と、ディスプレイ装置１０４と、通信ネットワーク１０６と、ビデオ１０８と、ユーザ１１０などの１又は２以上のユーザとを示す。

ある実施形態によれば、ビデオ処理装置１０２は、通信ネットワーク１０６を介してディスプレイ装置１０４及び１又は２以上のサーバ（図示せず）に通信可能に結合することができる。ある実施形態によれば、ユーザは、ディスプレイ装置１０４及び／又はビデオ処理装置１０２に関連することができる。

ビデオ処理装置１０２は、ビデオ１０８などの１又は２以上のビデオコンテンツを処理して符号化ビデオを生成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ビデオ処理装置１０２の例としては、以下に限定するわけではないが、デジタルカメラ、ビデオカメラ、ビデオコーデック、スマートフォン、プロジェクタ、タブレットコンピュータ、ラップトップ、サーバ、ゲーム装置、メディアストリーミング装置、ビデオ会議装置、及び／又はエンコーダ、及び／又はその他のコンピュータ装置を挙げることができる。

ディスプレイ装置１０４は、復号後の符号化ビデオを表示するように構成された好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ディスプレイ装置１０４の例としては、以下に限定するわけではないが、（高精細テレビ（ＨＤＴＶ）などの）テレビ、超高精細テレビ（ＵＨＤＴＶ）、インターネットプロトコルテレビ（ＩＰＴＶ）、デジタルメディア受信機、メディア再生装置、ビデオコーデック、スマートフォン、ゲーム装置、ビデオ会議装置、及び／又はデコーダ、及び／又はその他のコンピュータ装置を挙げることができる。

通信ネットワーク１０６は、ビデオ処理装置１０２がディスプレイ装置１０４などの１又は２以上のディスプレイ装置及び１又は２以上のサーバと通信できるようにする媒体を含むことができる。通信ネットワーク１０６の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、旧式電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０６に接続することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ロングタームエボリューション（ＬＴＥ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ(登録商標)（ＢＴ）通信プロトコルを挙げることができる。

ビデオ処理装置１０２は、動作時にビデオ１０８の画像シーケンスを受け取るように構成することができる。ビデオ処理装置１０２は、画像ブロックのテクスチャ情報を捕獲するための（図２で説明する）複数の特徴を抽出するように構成することができる。この画像ブロックは、ビデオ１０８の第１の画像フレームの入力画像ブロックを意味することができる。ビデオ処理装置１０２は、複数のＱＰを用いて第１の画像フレームの画像ブロックを符号化して、第１の画像フレームの入力画像ブロックのための複数の再構成画像ブロックを生成するように構成することができる。

ある実施形態によれば、ビデオ処理装置１０２は、複数の再構成画像ブロックの各々のスコアを生成するように構成することができる。スコアは、画像品質尺度を用いて生成することができる。画像品質尺度は、畳み込みニューラルネットワークに基づく全参照型画像品質尺度（ＦＲＣＮＮ）とすることができる。しかしながら、画像品質尺度は、本開示の範囲から逸脱することなく、他の全参照法（ｆｕｌｌ ｒｅｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）、減参照法（ｒｅｄｕｃｅｄ ｒｅｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）及び／又は無参照法（ｎｏ ｒｅｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）などの、客観的画像品質評価のための他のいずれかの方法とすることもできる。生成されたスコアは、複数の再構成画像ブロックの各々の視覚的品質尺度を示すことができる。

ある実施形態によれば、ビデオ処理装置１０２は、（図３に示して詳述する）複数のＱＰ値の中から、画像ブロックのための最適な量子化パラメータを決定するように構成することができる。画像ブロックのための最適なＱＰは、複数の再構成画像ブロックの各々のためのＦＲＣＮＮなどの画像品質尺度と品質閾値とを用いて決定することができる。決定された最適なＱＰの値は、複数のＱＰの値の中で最も高いものとすることができる。決定された最適なＱＰの値は、予め指定された画像品質閾値以上とすることができる。

ある実施形態によれば、ビデオ処理装置１０２は、決定された最適な量子化パラメータを用いて画像ブロックを符号化するように構成することができる。ビデオ処理装置１０２は、ビデオ１０８の第１の画像フレームの別の画像ブロックの複数の特徴を抽出するように構成することができる。ビデオ処理装置１０２は、この別の画像ブロックのための最適なＱＰを決定するようにさらに構成することができる。この決定は、ＦＲＣＮＮなどの画像品質尺度と品質閾値とを用いて、上述した過程と同様の過程で行うことができる。

ある実施形態によれば、ビデオ処理装置１０２は、訓練データセットを生成するように構成することができる。訓練データセットは、画像ブロックの抽出された複数の特徴と、対応する決定された最適なＱＰとに基づくことができる。同様に、他の画像ブロックの抽出された複数の特徴と対応する決定された最適なＱＰとを利用して訓練データセットを形成することもできる。ビデオ１０８の少なくとも第１の画像フレームなどの１又は２以上の画像フレームの様々な画像ブロックの複数の特徴と関連する最適なＱＰとを使用することにより、大量の訓練データセットを生成することができる。

ある実施形態によれば、ビデオ処理装置１０２は、生成された訓練データセットに基づいてニューラルネットワーク回帰器を訓練するように構成することができる。ある実施形態によれば、ニューラルネットワーク回帰器は、フィードフォワードニューラルネットワークに基づく回帰モデルとすることができる。ビデオ処理装置１０２は、ニューラルネットワーク回帰器の訓練において、（画像ブロック及び他の画像ブロックなど）様々な画像ブロックの抽出された複数の特徴と決定された最適なＱＰとの間のマッピング関数及び／又はマッピング関係を決定するように構成することができる。

ある実施形態によれば、ビデオ処理装置１０２は、ニューラルネットワーク回帰器の訓練後に、ビデオ１０８又は別のビデオの第２の画像フレームなどの後続の画像フレームの画像ブロックを処理するように構成することができる。ビデオ処理装置１０２は、訓練されたニューラルネットワーク回帰器を用いて、第２の画像フレームの画像ブロックのための別の最適なＱＰを決定（又は予測）するように構成することができる。同様に、関連する最適なＱＰを用いて、ビデオ１０８の第２の画像フレーム及び他の画像フレームの様々な画像ブロックを効率的に素早く符号化することもできる。最適なＱＰは、訓練されたニューラルネットワーク回帰器に基づいて予測することができ、この最適なＱＰを用いて符号化ビデオを生成することができる。上述したような符号化技術を用いて符号化されたビデオ１０８は、符号化ビデオの異なる画像ブロック及び／又は符号化画像フレームにわたって一貫した視覚的品質を保つことができる。

ある実施形態によれば、符号化ビデオは、ビデオ１０８を記憶するために必要な記憶スペースと比べて少ない記憶スペースで記憶することができる。量子化動作は非可逆圧縮であるため、異なる画像ブロック及び／又は画像フレームにわたってビデオ品質の一貫性を保ちながら高圧縮を達成することができる。この圧縮は、上述したような符号化技術を用いて実現することができる。ビデオ処理装置１０２は、符号化ビデオをビデオ処理装置１０２の又はコンテンツサーバ（図示せず）の（メモリなどの）ローカルストレージに記憶することができる。ある実施形態によれば、符号化ビデオと共に、符号化で使用した最適なＱＰの値を記憶することもできる。

ある実施形態によれば、ビデオ処理装置１０２において、符号化中に使用した同じ最適なＱＰを用いて符号化ビデオを復号することができる。再生中には、異なる画像ブロック及び／又は画像フレームにわたってビデオ品質が変動しないようにすることができる。さらに、ユーザ１１０などのユーザが視聴する際に全体的なビデオ品質を最適化することもできる。ある実施形態によれば、符号化ビデオは、通信ネットワーク１０６を介してディスプレイ装置１０４などの１又は２以上のディスプレイ装置に送信することができる。このような場合、符号化ビデオは、ディスプレイ装置１０４において復号した後に表示することができる。再生中にユーザ１１０が知覚するような全体的なビデオ品質を高度に最適化することができる。

図２は、本開示の実施形態による例示的なビデオ処理装置を示すブロック図である。図２には、ビデオ処理装置１０２を示す。ビデオ処理装置１０２は、プロセッサ２０２などの１又は２以上のプロセッサと、メモリ２０４と、ネットワークインターフェイス２０６とを含むことができる。プロセッサ２０２は、メモリ２０４及びネットワークインターフェイス２０６に通信可能に結合することができる。ネットワークインターフェイス２０６は、通信ネットワーク１０６を介してディスプレイ装置１０４及び１又は２以上のサーバと通信するように構成することができる。

プロセッサ２０２は、メモリ２０４に記憶された命令セットを実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０２は、ビデオプロセッサと呼ぶこともできる。プロセッサ２０２は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ２０２の例は、Ｘ８６ベースプロセッサ、Ｘ８６−６４ベースプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、中央処理装置（ＣＰＵ）、明示的並列命令コンピュータ（ＥＰＩＣ）プロセッサ、超長命令語（ＶＬＩＷ）プロセッサ、及び／又はその他のプロセッサ又は回路とすることができる。

メモリ２０４は、プロセッサ２０２が実行できる機械コード及び／又は命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０４は、ビデオ１０８などのビデオコンテンツ、符号化ビデオ及び／又はその他のデータをさらに記憶することができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションをさらに記憶することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

ネットワークインターフェイス２０６は、通信ネットワーク１０６を介してディスプレイ装置１０４及び１又は２以上のサーバと通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、ビデオ処理装置１０２と通信ネットワーク１１０との間の有線又は無線通信を支援する既知の技術を実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、加入者アイデンティティモジュール（ＳＩＭ）カード及び／又はローカルバッファなどの様々なコンポーネントを含むことができる。ネットワークインターフェイス２０６は、図１で通信ネットワーク１０６に関して上述したような様々な通信プロトコルを用いて有線又は無線通信を介して通信することができる。

プロセッサ２０２は、動作時にビデオ１０８の画像シーケンスを受け取るように構成することができる。プロセッサ２０２は、ビデオ１０８の第１の画像フレームの画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出するように構成することができる。ある実施形態によれば、テクスチャ情報を捕獲するために使用される複数の特徴を、Ｈａｒａｌｉｃｋテクスチャ記述子、トータルバリエーション（ｔｏｔａｌ−ｖａｒｉａｔｉｏｎ）及び分散特徴（ｖａｒｉａｎｃｅ ｆｅａｔｕｒｅ）とすることができる。Ｈａｒａｌｉｃｋテクスチャ記述子は、グレーレベル同時生起行列（ＧＬＣＭ）から計算されて、当業で周知の角二次モーメント（ＡＳＭ）、コントラスト、相関、二乗和、逆差分モーメント、和平均、和分散、和エントロピ、エントロピ、差分分散、差分エントロピ、相関１の情報尺度及び相関２の情報尺度などの伝統的な１３種類のテクスチャ特徴を提供することができる。ＧＬＣＭは、画素の「Ｎ」個のグレーレベル及び（上、隣、斜めの関係などの）空間関係について、所与の空間関係の下で２つのグレーレベルが同時に発生し得る確率を捕獲する「Ｎ×Ｎ」の行列である。ＧＬＣＭ特徴は、ＧＬＣＭ行列に基づいて統計的に計算することができる。ある実施形態によれば、ＧＬＣＭを計算するために使用するグレーレベルの数を様々な要件に応じて適切に変化させることができる。トータルバリエーション及び分散特徴は、処理できる画像又は画像ブロック内の画素値の統計をもたらすことができる。

ある実施形態によれば、複数の特徴を様々な粒度で抽出するために、入力画像ブロックを一連の格子状のさらに小さな部分画像に順次分割することができる。格子のサイズは、１×１（元々の画像ブロック）、２×２、４×４及び８×８のうちの１つとすることができる。グリッドの各々について、上述した複数の特徴を部分画像毎に抽出し、その後にこれらの部分特徴を連結して、（図４に示すフィードフォワードニューラルネットワークなどの）ＱＰ予測ニューラルネットワーク内に供給するために後で使用できる最終的な特徴ベクトルにする。テクスチャ情報を捕獲するための複数の特徴は、ＱＰ予測ニューラルネットワークの入力層を構成することができる。例えば、この例では、ＱＰ予測ニューラルネットワークの入力層を構成できる特徴を全部で１５個（Ｈａｒａｌｉｃｋテクスチャ記述子からの１３個のテクスチャ特徴と、トータルバリエーション及び分散から１つずつの特徴）抽出することができる。（図４のフィードフォワードニューラルネットワークなどの）ＱＰ予測ニューラルネットワークに使用される複数の特徴は、基礎を成すテクスチャ特徴を素早く計算して（図３及び図４で説明するような）ＱＰマッピング戦略に効果的に近づけることができる。

図３に、本開示の実施形態による、開示するＱＰに基づくビデオ処理システム及び方法を実装するための例示的な最適ＱＰ予測技術を示す。図３には、未圧縮画像ブロックとすることができる画像ブロック３０２と、複数のＱＰ値３０４と、再構成画像ブロック３０６ａ〜３０６ｎなどの複数の再構成画像ブロック３０６と、画像品質尺度３０８と、複数のスコア３１０とを示す。

ブロックベースのビデオ符号化技術では、画像ブロック３０２などの画像ブロックを符号化するために使用されるビット数がＱＰによって決まる。さらに、画像ブロック３０２の再構成画像ブロック３０６ａ〜３０６ｎなどの１又は２以上の再構成ブロックの視覚的品質もＱＰによって制御される。一般に、ＱＰが小さければ小さいほど高い視覚的品質が得られる。しかしながら、こうして確定されるこのような高い視覚的品質は、高ビットレートを犠牲にして生じることもある。理想は、ＱＰ＝「１」などの小さなＱＰを用いて最適な視覚的品質を達成できることである。しかしながら、ビットレートは、通信ネットワーク１０６などのネットワークの帯域幅などの外部リソースによって制限されることがある。所与のレートでは、ビデオ品質が一貫性を有し、従ってビデオ１０８などのビデオの異なる画像ブロック及び画像フレームにわたって変動しないように、画像ブロック毎にＱＰが正しく割り当てられることが必要となり得る。

ある実施形態によれば、プロセッサ２０２を、ビデオ１０８の第１の画像フレームの画像ブロック３０２を符号化するように構成することができる。このような例では、ＱＰ値「１」〜「Ｎ」（ＱＰ₁〜ＱＰ_N）などの複数のＱＰ値３０４を用いて再構成画像ブロック３０６ａ〜３０６ｎを生成することができる。例えば、「Ｎ」＝「１」〜「５２」の時には、「１」〜「５２」の範囲のＱＰ値を用いて画像ブロック３０２を符号化することができる。この処理では、全部で「５２」個の再構築（又は劣化）画像ブロックを取得することができる。次に、再構成画像ブロック３０６ａ〜３０６ｎの各々の視覚的品質を測定することができる。画像品質尺度は、主観テストを通じて人間が割り当てることが望ましいと考えられる。しかしながら、このような大規模な主観テストの実行には時間もコストも掛かり得る。

画像歪みの測定には、ピーク信号対雑音比（ＰＳＮＲ）又は平均二乗誤差（ＭＳＥ）などの信号忠実性尺度（ｓｉｇｎａｌ ｆｉｄｅｌｉｔｙ ｍｅａｕｒｅｓ）が広く使用されている。しかしながら、人間の知覚は、このような尺度と良好に相関しない。例えば、同じＰＳＮＲを有する２つのブロックが、大きく異なる知覚品質を有することもある。従って、不十分な品質尺度を使用すると、ブロック及びフレームにわたって品質が変動してしまう恐れがある。このような変動は、視覚又は視覚的品質を著しく悪化させる可能性がある。主観的品質に近くなるように適切な画像品質尺度を使用することができる。

ある実施形態によれば、プロセッサ２０２を、畳み込みニューラルネットワークに基づく全参照型画像品質尺度（ＦＲＣＮＮ）を利用して再構成画像ブロック３０６ａ〜３０６ｎの各々の視覚的品質を決定するように構成することができる。ＦＲＣＮＮ品質尺度は、主観的品質に近く、信頼性、計算効率及びコスト効率の高い画像品質尺度とすることができる。

ある実施形態によれば、プロセッサ２０２を、ＦＲＣＮＮなどの画像品質尺度を用いて、複数の再構成画像ブロック３０６の各々について「Ｓ₁〜Ｓ_N」などのスコアを生成するように構成することができる。生成されるスコアは、複数の再構成画像ブロック３０６の各々の視覚的品質尺度を示すことができる。スコアが高ければ高いほど品質が高いことを示すことができる。次に、再構成ビデオにおいて達成する必要がある品質レベルを表す品質閾値を指定することができる。プロセッサ２０２は、品質閾値と、ＦＲＣＮＮなどの画像品質尺度を用いて生成される複数のスコア３１０とに基づいて最適なＱＰを決定するように構成することができる。最適なＱＰは、品質閾値を満たす複数のＱＰ３０４の中で最も高いＱＰ値とすることができる。ある実施形態によれば、品質閾値を、予め指定された閾値とすることができる。例えば、画像ブロック３０２（未圧縮画像ブロック）「Ｉ」及び品質閾値「θ」について、画像ブロック３０２に割り当てられるＱＰ値を以下の数式によって表すことができる。

ある実施形態によれば、プロセッサ２０２を、上述した処理と同様にビデオ１０８の特徴を抽出して第１の画像フレーム（ビデオフレーム）の全ての画像ブロックを符号化するように構成することができる。従って、この例では、ビデオ１０８の第１の画像フレーム及び後続の画像フレームなどの画像フレームの視覚的品質を保つことができるＱＰ値に各画像ブロックを自動的にマッピングすることができる。

従来、ＱＰは、包括的に割り当てられることが多い。例えば、一律なＱＰ値を用いて１つの画像フレーム内の全ての画像ブロックを符号化することができる。この結果、一様なビット割り当て戦略を得ることができる。しかしながら、異なる画像ブロックの視覚的特性を考慮していな場合がある。異なる画像ブロックでは、これらのブロックの様々な外観に起因して、符号化（圧縮）処理によって生じる歪みを隠す能力が異なる。この結果、一部の画像ブロックが圧縮の影響を受けやすくなり得る。すなわち、これらの異なる画像ブロックでは、圧縮アーチファクトが観察されやすくなることがある。このような画像ブロックには、符号化のために多くのビットを割り振るか、或いは同じ意味で低いＱＰを割り当てるべきである。異なる画像ブロックの視覚的特性を考慮していない一様なビット割り当てでは、上述したようにその様々な視覚的特性に起因して圧縮後に異なる画像ブロックが異なる視覚的品質を有するようになるので、画像フレームにわたって一貫した視覚的品質を保てないことがある。従って、本開示において図１、図２及び図３に関して説明したように、より合理的なＱＰ割り当て技術又は戦略は、一律なビット数ではなく一様な視覚的品質を保つことである。開示するビデオ処理システム及び方法は、符号化画像フレームにわたって一貫した視覚的品質を保つことができるＱＰマッピング戦略をもたらすことができる。このシステム及び方法は、圧縮歪みの影響を受けやすい画像ブロックへのより多くのビットの自動割り当てを可能にすることができる。ある実施形態によれば、このような最適なＱＰの決定を、処理性能の向上と共にさらに加速させることができる。フィードフォワードニューラルネットワークなどのディープニューラルネットワークを回帰に使用することで、計算コストの削減を達成することができる。

図４に、本開示の実施形態による、開示する量子化パラメータに基づくビデオ処理システム及び方法を実装するためのフィードフォワードニューラルネットワークの例示的な概要を示す。図４には、入力層４０２と、複数の隠れ層４０４と、出力層４０６とを含むことができるフィードフォワードニューラルネットワーク４００を示す。

フィードフォワードニューラルネットワーク４００の入力層４０２は、入力画像ブロックから抽出されたテクスチャ情報に関連する複数の特徴を含むことができる。この例における３つの隠れ層などの複数の隠れ層４０４は、複数のノードを含むことができる。この例では、各層が８０個のノードを含むことができる。正規化線形関数（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）「ＲｅＬＵ」は、各隠れ層において使用できる活性化関数「ｆ（ｘ）」を実現することができる。活性化関数「ｆ（ｘ）」は、以下の数式（２）に基づいて決定することができる。
ＲｅＬＵ ｆ（ｘ）＝ｍａｘ（ｘ，０） （２）

フィードフォワードニューラルネットワーク４００の出力層４０６は、それぞれが考えられるＱＰ値のうちの１つに対応する「５２」個のノードを含むことができる。出力ノードは、「−１」〜「１」の間の活性化値を有し、最も高い活性化を有するノードは、目標最適ＱＰ値を予測することができる。

（図３に示すような）ビデオ１０８の第１の画像フレームの画像ブロックを符号化するための各画像ブロックの最適ＱＰ予測手順は、大量の訓練画像ブロックについて繰り返すことができる。これを行って、訓練データセットを生成することができる。生成された訓練データセットを用いてフィードフォワードニューラルネットワーク４００（ニューラルネットワーク回帰器）を訓練して、学習した（又は訓練された）ニューラルネットワーク回帰器を生成することができる。学習したニューラルネットワーク回帰器は、所与の画像ブロックの抽出されたテクスチャ特徴を最適なＱＰに素早く確実にマッピングする処理において使用することができる。全ての考えられるＱＰ値を用いて各画像ブロックを複数回符号化するために必要な計算リソース及び関連コストは高くなり得るので、実用的用途では、このような最適なＱＰの予測をさらに最適化して単純化することができる。この最適化及び単純化は、フィードフォワードニューラルネットワークベースの回帰モデルに基づくことができるフィードフォワードニューラルネットワーク４００を用いて行うことができる。

ある実施形態によれば、フィードフォワードニューラルネットワーク４００を教師なし方式で訓練して自己組織化することができる。このような例では、訓練画像ブロックから抽出された大量の画像テクスチャ特徴を入力層４０２に供給することができる。訓練（又は予備訓練）は、フィードフォワードニューラルネットワーク４００のパラメータを考えられる最良の方法で訓練入力を形成できるように同調させることができる自動符号化フレームワークによって実行することができる。ある実施形態によれば、誤差逆伝搬アルゴリズムを用いてこれを達成することができる。例えば、訓練サンプルの数を「Ｋ」とし、そのテクスチャ特徴ベクトルを「ｆ_k」とし、ＱＰ値を「ｙ_k」とし、「ｋ＝１、．．．、Ｋ」とすることができる。この時、以下の目的関数（３）を最小化することによって、（フィードフォワードニューラルネットワーク４００のパラメータなどの）ネットワークパラメータ「（Ｗ）」を最適化することができ、
ここでの「Ｆ」は、フィードフォワードニューラルネットワーク４００によって指定される関数を表し、「Ｆ（ｆ_k；Ｗ）」は、入力「ｆ_k」に対するネットワークの出力である。最適化は、誤差逆伝搬法によって達成することができる。

ある実施形態によれば、図３に示すような最適ＱＰ予測技術を用いて、大量の抽出されたテクスチャ特徴の対（図２及び図３に示すような）と、その関連する決定された最適なＱＰ値とを供給することにより、フィードフォワードニューラルネットワーク４００を改善することができる。ある実施形態によれば、プロセッサ２０２を、訓練画像ブロックに関連するテクスチャ特徴などの複数の特徴と決定された最適なＱＰ値との間のマッピング関数を決定するように構成することができる。従って、フィードフォワードニューラルネットワーク４００は、訓練中に（異なる訓練画像ブロックのテクスチャ情報を捕獲するために抽出された複数の特徴などの）異なる入力と（決定された対応する画像ブロックの最適なＱＰ値などの）出力との間の関係を学習することができる。

ある実施形態によれば、訓練中に、フィードフォワードニューラルネットワーク４００を分類のために訓練することができる。このような例では、ニューラルネットワーク分類子を用いて、ビデオ符号化のために画像ブロックの最適なＱＰを予測することができる。分類スキームは、異なるＱＰ値「（１〜５２）」を、順序を有する実数ではなくカテゴリ値又はカテゴリラベルとして取り扱う。例えば、分類では、ＱＰ＝「１」の画像ブロックをＱＰ＝「２」に誤分類したペナルティと、ＱＰ＝「５２」に誤分類したペナルティとが同等になることがある。しかしながら、ＱＰ＝「１」のブロックでは、ＱＰ＝「２」という誤った予測の方がＱＰ＝「５２」という誤った予測に比べてはるかに実際のラベルに近く、従ってこれらの２つの誤りについてのペナルティは異なるべきであり、ＱＰ＝「１」をＱＰ＝「５２」に誤分類した方に重いペナルティが課せられるべきである。

ある実施形態によれば、訓練中に、フィードフォワードニューラルネットワーク４００を分類ではなく回帰のために訓練することができる。ある実施形態によれば、訓練中にフィードフォワードニューラルネットワーク４００を回帰のために訓練する（「ニューラルネットワーク回帰器」と呼ぶ）際には、ＱＰ値を順序のある実数として取り扱う。この例では、ニューラルネットワーク回帰器の場合と同様に、ＱＰ＝「１」をＱＰ＝「２」に誤分類するよりもＱＰ＝「１」をＱＰ＝「５２」に誤分類するペナルティの方が重い。このような場合は、ＱＰ値を順序のある実数として取り扱う。

ある実施形態によれば、ビデオ１０８の第２の画像フレームなどの後続の画像フレームの別の画像ブロックが符号化される予定である時には、プロセッサ２０２を、この別の画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出するように構成することができる。プロセッサ２０２は、訓練された（又は学習した）フィードフォワードニューラルネットワーク４００（ニューラルネットワーク回帰器）を用いて、抽出された別の画像ブロックの特徴を素早くマッピングして最適なＱＰを決定するように構成することができる。複数の隠れ層４０４内の完全に接続されたノードは、Ｈａｒａｌｉｃｋテクスチャ記述子、トータルバリエーション及び分散特徴などの抽出された特徴に基づいて、数式（２）に従って活性化関数を使用することができる。図示のように、出力層４０６内の１つのノードは、「１」などの最も高い活性化値を有することができる。最も高い値の発生は、抽出された別の画像ブロックの特徴のための最適なＱＰ値を示すことができる。

ある実施形態によれば、プロセッサ２０２を、訓練された（学習した）フィードフォワードニューラルネットワーク４００（学習したニューラルネットワーク回帰器）に基づいて、第２の画像フレームの他の画像ブロックのための最適なＱＰ値を予測するように構成することができる。プロセッサ２０２は、予測された最適なＱＰを用いて他の画像ブロックを符号化するように構成することができる。従って、ニューラルネットワーク回帰器を使用する方法を用いて、テクスチャ特徴などの画像コンテンツと最適なＱＰとの間の関係を確立する系統的かつ効率的な機構を提供することができる。ビデオ１０８又は別の入力ビデオの一連の画像フレームの異なる画像ブロックは、訓練されたニューラルネットワーク回帰器を用いて符号化することができ、この場合、符号化画像ブロックでは圧縮アーチファクトが確認されないようにすることができる。ビデオ品質は、ビデオ１０８又は他の入力ビデオなどの入力ビデオの異なる画像ブロック及び画像フレームにわたって一貫したもの（及び変動しないもの）となり得る。

ある実施形態によれば、ニューラルネットワーク回帰器が訓練されると、プロセッサ２０２は、素早くビデオを処理して、異なる画像ブロックにわたって一貫した品質を有することができる符号化ビデオを生成することができる。このような最適化されたビデオ処理及び符号化技術は、ＵＨＤＴＶ又は４ＫＴＶなどの高精細ビデオサービス、及び４Ｋコンテンツストリーミングサービスにおいて使用されるビデオを符号化するために非常に有用なものとなり得る。開示するビデオ処理システム及び方法は、ビデオ会議、ビデオ電話、デジタルビデオ放送、ビデオ・オン・インターネット及びデジタル画像産業に応用することもできる。開示するビデオ処理システム及び方法は、人間が知覚できるビデオ品質などのビデオ品質に妥協することなく記憶スペースを低減し、及び／又は通信ネットワーク１０６などの通信ネットワークを介したデータ伝送レートを最適化するためにビデオの符号化を必要とする、メディアエンコーダ又はメディアプレーヤなどのビデオ処理装置及びビデオコーデック用途に応用することもできる。

図５Ａ及び図５Ｂは、共に本開示の実施形態による、ＱＰに基づく例示的なビデオ処理方法を示すフローチャートである。図５Ａ及び図５Ｂにはフローチャート５００を示す。フローチャート５００の説明は、図１、図２、図３及び図４に関連して行う。方法は、ステップ５０２から開始してステップ５０４に進む。

ステップ５０４において、ビデオ１０８などのビデオの画像シーケンスを受け取ることができる。ステップ５０６において、（ビデオ１０８などの）ビデオの第１の画像フレームの入力画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出することができる。ある実施形態によれば、テクスチャ情報を捕獲するための複数の特徴は、（図２において上述したような）Ｈａｒａｌｉｃｋテクスチャ記述子、トータルバリエーション及び分散とすることができる。

ステップ５０８において、複数のＱＰ値（ＱＰ「１」〜「Ｎ」など）を用いて第１の画像フレームの（画像ブロック３０２などの）画像ブロックを符号化して、第１の画像フレームの画像ブロックのための（再構成画像ブロック３０６ａ〜３０６ｎなどの）複数の再構成画像ブロックを生成することができる。ステップ５１０において、ＦＲＣＮＮなどの画像品質尺度を利用して、（再構成画像ブロック３０６ａ〜３０６ｎなどの）複数の再構成画像ブロックの各々の視覚的品質を決定することができる。ＦＲＣＮＮ品質尺度は、主観的品質に近く、ＱＰ予測に使用される信頼性、計算効率及びコスト効率の高い画像品質尺度とすることができる。

ステップ５１２において、（再構成画像ブロック３０６ａ〜３０６ｎなどの）複数の再構成画像ブロックの各々のスコアを生成することができる。このような（「Ｓ₁〜Ｓ_N」によって示される複数のスコア３１０などの）スコアは、ＦＲＣＮＮなどの画像品質尺度を用いて生成することができる。生成されたスコアは、複数の再構成画像ブロックの各々の視覚的品質尺度を示すことができる。ステップ５１４において、（ＦＲＣＮＮなどの）画像品質尺度及び品質閾値を用いて、複数のＱＰ値の中から最適なＱＰを決定することができる。最適なＱＰは、品質閾値を満たす複数のＱＰ値の中で最も高いＱＰ値とすることができる。

ステップ５１６において、第１の画像フレームの画像ブロックなどの１又は２以上の画像ブロックのテクスチャ情報を捕獲するために使用される抽出された複数の特徴と、関連する決定された最適なＱＰとが、予め指定された閾値を上回るかどうかを判定することができる。例えば、予め指定された閾値は、特定の予め指定された画像ブロック数、及び／又はその関連する処理された可能性のある決定された最適なＱＰに対応することができる。１又は２以上の画像ブロックのテクスチャ情報を捕獲するために使用する抽出された複数の特徴と関連する決定された最適なＱＰとが予め指定された閾値を下回る場合、制御はステップ５１８に進むことができる。１又は２以上の画像ブロックのテクスチャ情報を捕獲するために使用する抽出された複数の特徴と関連する決定された最適なＱＰとが予め指定された閾値以上である場合、制御はステップ５２０に進むことができる。

ステップ５１８において、ビデオ１０８の第１の画像フレームの別の画像ブロックなどの別の入力画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出することができる。制御はステップ５０８に戻り、ステップ５０８〜５１４を繰り返して、入力画像ブロックのための最適なＱＰを決定することができる。

ステップ５２０において、上述したように、１又は２以上の画像ブロックの抽出された複数の特徴と、対応する決定された１又は２以上の画像ブロックの最適なＱＰとに基づいて訓練データセットを生成することができる。大量の訓練データセットを生成するために、ビデオの少なくとも第１の画像フレームの全ての画像ブロックの複数の特徴及び関連する最適なＱＰを使用することができる。ステップ５２２において、（図４で説明したように）生成された訓練データセットに基づいてニューラルネットワーク回帰器を訓練することができる。

ステップ５２４において、ニューラルネットワーク回帰器が訓練されている間に、１又は２以上の画像ブロックの抽出された複数の特徴と決定された最適なＱＰとの間のマッピング関数及び／又はマッピング関係を決定することができる。ニューラルネットワーク回帰器は、図４に示すようなフィードフォワードニューラルネットワークベースの回帰モデルとすることができる。ステップ５２６において、（ビデオ１０８などの）ビデオの第２の画像フレームなどの後続の画像フレームの画像ブロックの別の入力を受け取ることができる。

ステップ５２８において、訓練されたニューラルネットワーク回帰器を用いて、第２の画像フレームの画像ブロックなどの入力画像ブロックのための最適なＱＰを動的に予測することができる。ステップ５３０において、予測された最適なＱＰを用いて、第２の画像フレームの画像ブロックなどの入力画像ブロックを符号化することができる。

ステップ５３２において、受け取ったビデオの一連の画像の全ての画像ブロックが符号化されたかどうかを判定することができる。受け取ったビデオの一連の画像の全ての画像ブロックが符号化されている場合、制御はステップ５３４に進むことができる。受け取ったビデオの一連の画像の全ての画像ブロックが符号化されていない場合、制御はステップ５２６に戻ることができる。ビデオの第２の画像フレーム及び後続の画像フレームの様々な画像ブロックは、訓練されたニューラルネットワーク回帰器に基づいて、関連する予測された最適なＱＰを用いて符号化することができる。

ステップ５３４において、符号化ビデオを生成することができる。符号化ビデオでは、圧縮アーチファクトが確認されないようにすることができる。ビデオ品質は、ビデオ１０８などの入力ビデオの異なる画像ブロック及び画像フレームにわたって一貫したもの（及び変動しないもの）となり得る。制御は、ステップ５３６に進んで終了する。

本開示の実施形態によれば、ＱＰに基づくビデオ処理システムが開示される。ビデオ処理装置１０２（図１）などの装置は、（以下、プロセッサ２０２（図２）と呼ぶ）１又は２以上のプロセッサを含むことができる。プロセッサ２０２は、画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出するように構成することができる。プロセッサ２０２は、抽出された複数の特徴をマッピングして最適な量子化パラメータを決定するようにニューラルネットワーク回帰器を訓練するようさらに構成することができる。プロセッサ２０２は、決定された最適な量子化パラメータを用いて画像ブロックを符号化するようにさらに構成することができる。

本開示の様々な実施形態は、量子化パラメータに基づいてビデオを処理するように機械及び／又はコンピュータによって実行可能な命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。ビデオ処理装置１０２（図１）などのビデオプロセッサにおける命令セットは、画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出することを含むステップを機械及び／又はコンピュータに実行させることができる。抽出された複数の特徴をマッピングして最適な量子化パラメータを決定するようにニューラルネットワーク回帰器を訓練することができる。決定された最適な量子化パラメータを用いて画像ブロックを符号化することができる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲に該当する全ての実施形態を含むように意図されている。

Claims (20)

1. ビデオ処理システムであって、
   ビデオプロセッサ内の１又は２以上の回路を備え、該１又は２以上の回路は、
   画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出し、
   前記抽出された複数の特徴をマッピングして最適な量子化パラメータを決定するようにニューラルネットワーク回帰器を訓練し、
   前記決定された最適な量子化パラメータを用いて前記画像ブロックを符号化する、
   ように構成される、
   ことを特徴とするシステム。
2. 前記１又は２以上の回路は、複数の量子化パラメータを用いて第１の画像フレームの前記画像ブロックを符号化して、前記第１の画像フレームの前記画像ブロックについての複数の再構成画像ブロックを生成するように構成される、
   請求項１に記載のシステム。
3. 前記１又は２以上の回路は、前記複数の再構成画像ブロックの各々に画像品質尺度を利用して、前記画像ブロックのための前記最適な量子化パラメータの前記決定を行うように構成される、
   請求項２に記載のシステム。
4. 前記画像品質尺度は、畳み込みニューラルネットワークに基づく全参照型画像品質尺度である、
   請求項３に記載のシステム。
5. 前記１又は２以上の回路は、前記画像品質尺度を用いて前記複数の再構成画像ブロックの各々のスコアを生成するように構成され、前記スコアは、前記複数の再構成画像ブロックの各々の視覚的品質尺度を示す、
   請求項３に記載のシステム。
6. 前記決定された最適な量子化パラメータの値は、前記複数の量子化パラメータの値の中で最も高いものであり、前記決定された最適な量子化パラメータの前記値は、予め指定された品質閾値以上である、
   請求項５に記載のシステム。
7. 前記１又は２以上の回路は、前記画像ブロックの前記抽出された複数の特徴と、対応する前記決定された最適な量子化パラメータとに基づいて訓練データセットを生成するように構成される、
   請求項１に記載のシステム。
8. 前記生成された訓練データセットは、ビデオコンテンツの第１の画像フレームの他の画像ブロックの複数の特徴と、対応する最適な量子化パラメータとを含み、前記他の画像ブロックの複数の特徴は、前記他の画像ブロックのテクスチャ情報を捕獲するために抽出される、
   請求項７に記載のシステム。
9. 前記１又は２以上の回路は、前記生成された訓練データセットを利用して前記ニューラルネットワーク回帰器の前記訓練を行うように構成される、
   請求項７に記載のシステム。
10. 前記１又は２以上の回路は、前記訓練されたニューラルネットワーク回帰器に基づいて、前記画像ブロックの前記抽出された複数の特徴と前記決定された最適な量子化パラメータとの間のマッピング関数を決定するように構成される、
    請求項１に記載のシステム。
11. 前記ニューラルネットワーク回帰器は、フィードフォワードニューラルネットワークベースの回帰モデルである、
    請求項１に記載のシステム。
12. 前記１又は２以上の回路は、前記訓練されたニューラルネットワーク回帰器に基づいて、第２の画像フレームの別の画像ブロックのための別の最適な量子化パラメータを予測するように構成される、
    請求項１に記載のシステム。
13. ビデオ処理方法であって、
    ビデオプロセッサ内の１又は２以上の回路が、画像ブロックのテクスチャ情報を捕獲するための複数の特徴を抽出するステップと、
    前記１又は２以上の回路が、前記抽出された複数の特徴をマッピングして最適な量子化パラメータを決定するようにニューラルネットワーク回帰器を訓練するステップと、
    前記１又は２以上の回路が、前記決定された最適な量子化パラメータを用いて前記画像ブロックを符号化するステップと、
    を含むことを特徴とする方法。
14. 前記１又は２以上の回路が、複数の量子化パラメータを用いて第１の画像フレームの前記画像ブロックを符号化して、前記第１の画像フレームの前記画像ブロックについての複数の再構成画像ブロックを生成するステップ、をさらに含む、
    請求項１３に記載の方法。
15. 前記１又は２以上の回路が、前記複数の再構成画像ブロックの各々に画像品質尺度を利用して、前記画像ブロックのための前記最適な量子化パラメータの前記決定を行うステップ、をさらに含む、
    請求項１４に記載の方法。
16. 前記１又は２以上の回路が、前記画像品質尺度を用いて前記複数の再構成画像ブロックの各々のスコアを生成するステップ、をさらに含み、前記スコアは、前記複数の再構成画像ブロックの各々の視覚的品質尺度を示す、
    請求項１５に記載の方法。
17. 前記１又は２以上の回路が、前記画像ブロックの前記抽出された複数の特徴と、対応する前記決定された最適な量子化パラメータとに基づいて訓練データセットを生成するステップ、をさらに含み、前記生成された訓練データセットは、前記ニューラルネットワーク回帰器の前記訓練のために使用される、
    請求項１３に記載の方法。
18. 前記１又は２以上の回路が、前記訓練されたニューラルネットワーク回帰器に基づいて、前記画像ブロックの前記抽出された複数の特徴と前記決定された最適な量子化パラメータとの間のマッピング関数を決定するステップ、をさらに含む、
    請求項１３に記載の方法。
19. 前記ニューラルネットワーク回帰器は、フィードフォワードニューラルネットワークベースの回帰モデルである、
    請求項１３に記載の方法。
20. 前記１又は２以上の回路が、前記訓練されたニューラルネットワーク回帰器に基づいて、第２の画像フレームの別の画像ブロックのための別の最適な量子化パラメータを予測するステップ、をさらに含む、
    請求項１３に記載の方法。