JP2021153240A - 動画像符号化システムおよび動画像符号化方法 - Google Patents

Abstract

【課題】動画像の圧縮符号化における処理時間の短縮と回路面積の低減とを可能にする。【解決手段】並列処理を第一の処理装置より高速に実行可能な第二の処理装置が、第一の予測方法の予測画像の生成と第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、第一の処理装置が、第一の予測方法の予測画像に基づいて、第二の予測方法の予測コストを算出し、第一の予測方法の予測コストと第二の予測方法の予測コストとに基づいて、第一の予測方法と第二の予測方法とのどちらでローカルデコードを行うかを判定する。【選択図】 図１

Description

本発明は、動画像符号化システムおよび動画像符号化方法に関する。

ＶＶＣ（Versatile Video Coding）では、Ｂピクチャ／Ｐピクチャは、ＣＵ（符号化単位：Coding Unit）と呼ばれるブロックの単位で、イントラ予測とインター予測のいずれかの予測方法によってローカルデコードされ、符号化されたデータを含むビットストリームが出力される。

各ＣＵに対する予測方法は、イントラ予測の予測コストとインター予測の予測コストとを計算し、イントラ予測の予測コストとインター予測の予測コストに基づいて決定される。そして、決定された予測方法によって各ＣＵに対応するビットストリームが生成される。

たとえば、特許文献１には、イントラ予測画像とインター予測画像とが生成され、符号量が少なくなることが予想される予測画像が用いられることが記載されている。

国際公開第２０１６／１２９０３１号

動画像符号化システムの実現方法には、ＧＰＵ（Graphics Processing Unit）を使用する方法、ＦＰＧＡ（field programmable gate array）を使用する方法、ＣＰＵ（Central Processing Unit）を使用する方法がある。

ＧＰＵは並列処理に適したプロセッサであるが、逐次処理では処理速度が低下する。そのため、動画像の符号化に関するすべての処理をＧＰＵのみで行う場合、逐次処理が必要な、イントラ予測に関する処理によって、処理速度が低下する。

また、ＦＰＧＡは逐次処理と並列処理の両方に適したプロセッサであるが、回路規模によって実装できる処理に制約がある。そのため、動画像の符号化に関するすべての処理をＦＰＧＡのみで行う場合、回路規模の制約により、実現が難しくなる可能性がある。

また、ＣＰＵで大規模な並列処理を行う場合、ＧＰＵやＦＰＧＡで並列処理を行った場合と比べて、処理速度が遅い。そのため、動画像の符号化に関するすべての処理をＣＰＵのみで行い、大規模な並列処理を行う場合に、ＧＰＵやＦＰＧＡを使用する方法に比べて、処理速度が低下する。

本発明の目的は、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とを可能にする、動画像符号化システムおよび動画像符号化方法を提供することにある。

本発明の一態様において、動画像符号化システムは、第一の処理装置と、並列処理を前記第一の処理装置より高速に実行可能な第二の処理装置とを備え、前記第二の処理装置は、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、前記第一の処理装置は、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定することを特徴とする。

また、本発明の他の態様において、動画像符号化方法は、並列処理を第一の処理装置より高速に実行可能な第二の処理装置が、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、前記第一の処理装置が、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定することを特徴とする。

本発明によれば、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

本発明の第一の実施形態の動画像符号化システムの構成例を示す図である。 本発明の第一の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第一の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第二の実施形態の動画像符号化システムの構成例を示す図である。 本発明の第二の実施形態の動画像符号化システムのローカルデコード部の構成例を示す図である。 本発明の第二の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第二の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第二の実施形態の動画像符号化システムのローカルデコード画像領域の記憶例を示す図である。 本発明の第三の実施形態の動画像符号化システムの構成例を示す図である。 本発明の第三の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第三の実施形態の動画像符号化システムの動作例を示す図である。 本発明の第三の実施形態の動画像符号化システムのローカルデコード画像領域の記憶例を示す図である。 本発明の各実施形態のハードウェア構成例を示す図である。

［第一の実施形態］
本発明の第一の実施の形態について説明する。

図１に本実施形態の動画像符号化システム１０の構成例を示す。本実施形態の動画像符号化システム１０は、第一の処理装置１１と第二の処理装置１２とを含む。

第二の処理装置１２は、並列処理を第一の処理装置１１より高速に実行可能である。第二の処理装置１２は、第一の予測方法の予測画像の生成と第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行う。

また、第一の処理装置１１は、第一の予測方法の予測画像に基づいて、第二の予測方法の予測コストを算出する。また、第一の処理装置１１は、第一の予測方法の予測コストと第二の予測方法の予測コストとに基づいて、第二の予測方法と第一の予測方法とのどちらの予測方法でローカルデコードを行うかを判定する。

このように動画像符号化システム１０を構成することによって、動画像符号化システム１０では、第二の処理装置１２が、第一の予測方法の予測画像の生成と第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行う。また、第一の処理装置１１が、第二の予測方法と第一の予測方法とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果がより高い処理を、高速に並列処理を実行可能な第二の処理装置１２に行わせ、他の処理を第一の処理装置１１に行わせることが可能になる。そのため、第一の処理装置１１のみや第二の処理装置１２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置１１のみを使用する方法に比べて、第一の処理装置１１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

次に、図２および図３に本実施形態の動画像符号化システム１０の動作の例を示す。図２は第二の処理装置１２の動作例、図３は第一の処理装置１１の動作例である。

第二の処理装置１２は、第一の予測方法の予測画像の生成と第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行う（ステップＳ１０１）。

また、第一の処理装置１１は、第一の予測方法の予測画像に基づいて、第二の予測方法の予測コストを算出する。また、第一の処理装置１１は、第一の予測方法の予測コストと第二の予測方法の予測コストとに基づいて、第二の予測方法と第一の予測方法とのどちらの予測方法でローカルデコードを行うかを判定する（ステップＳ１０２）。

以上で説明したように、本発明の第一の実施形態の動画像符号化システム１０では、第二の処理装置１２が、第一の予測方法の予測画像の生成と第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行う。また、第一の処理装置１１が、第二の予測方法と第一の予測方法とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果が高い処理を、高速に並列処理を実行可能な第二の処理装置１２に行わせ、他の処理を第一の処理装置１１に行わせることが可能になる。そのため、第一の処理装置１１のみや第二の処理装置１２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置１１のみを使用する方法に比べて、第一の処理装置１１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

［第二の実施形態］
次に、本発明の第二の実施の形態における動画像符号化システム２０について説明する。

本実施形態では、動画像の圧縮符号化方式がＶＶＣである場合の例について説明する。本実施形態では、第一の予測方法はインター予測であり、また、第二の予測方法はイントラ予測である。

まず、図４に本実施形態の動画像符号化システム２０の構成例を示す。本実施形態の動画像符号化システム２０は、第一の処理装置２１と第二の処理装置２２とを含む。

第二の処理装置２２は、並列処理を第一の処理装置２１より高速に実行可能である。第二の処理装置２２は、たとえば、並列処理をより高速に実行可能なＧＰＵである。ＧＰＵは、大規模な並列処理をＣＰＵよりも高速に実行可能である。また、第一の処理装置２１は、たとえば、逐次処理をより高速に実行可能なＰＬＤ（Programmable Logic Device）（ＦＰＧＡなど）である。ＰＬＤは、逐次処理をＣＰＵよりも高速に実行可能である。

フレームバッファ４１は、ローカルデコード画像に対してループフィルタ２９がフィルタリングを行った画像を格納するバッファである。

第二の処理装置２２は、インター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵに対して並列で行う。インター予測の予測画像の生成とインター予測の予測コストの算出は、ＣＵ間の処理に依存関係がない処理である。そのため、インター予測の予測画像の生成とインター予測の予測コストの算出とは、並列処理による高速化効果がより高い処理である。第二の処理装置２２がインター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵについて並列に行うことで、処理時間の短縮が見込まれる。

本実施形態の第二の処理装置２２は、動き探索部２３と、インター予測モード判定部２４と、ループフィルタ２９とを含む。動き探索部２３とインター予測モード判定部２４とは、各部が担当する処理を、各ＣＵについて並列に行う。

動き探索部２３は、入力画像とフレームバッファ４１に格納されている画像との間で、各ＣＵについて、対応する画像ブロックの位置変化を検出し、その位置変化に相当する動きベクトル情報を１つ以上、インター予測モード判定部２４へ出力する。

インター予測モード判定部２４は、入力画像と、フレームバッファ４１に格納されている画像と、動き探索部２３から出力された動きベクトル情報とから、各ＣＵについて、適切な動きベクトルを１つまたは複数選択する。適切な動きベクトルは、たとえば、符号化効率が最も高い動きベクトルであってもよいし、その他の基準に従って適切と判断された動きベクトルであってもよい。

また、インター予測モード判定部２４は、フレームバッファ４１に格納されている画像と選択した動きベクトルの情報とそのモード情報（インター予測の予測モード情報）とを用いて動き補償処理を行い、動き補償予測画像を第一の処理装置２１へ出力する。また、インター予測モード判定部２４は、選択した動きベクトルに基づいてインター予測でローカルデコードを行う場合の予測コストを算出して、予測コストを示す情報を第一の処理装置２１へ出力する。なお、予測コストについては後述する。また、本実施形態では、第二の処理装置２２は、インター予測の予測画像として、動き補償予測画像を第一の処理装置２１へ出力する。

動き探索部２３とインター予測モード判定部２４で行われる処理は、同一画面内の他のＣＵに対する処理結果を入力として必要とせず、入力画像とフレームバッファ４１に格納されている画像のみを入力として用いて行われる。そのため、インター予測の予測画像の生成処理およびインター予測の予測コストの算出処理は、同一画面内の複数のＣＵに対して並列に処理されることが可能であり、並列処理によって処理時間の短縮が見込まれる。

ループフィルタ２９は、ローカルデコード画像を入力画像に近づけるために、ローカルデコード画像に対してフィルタリングを行う。ループフィルタ２９から出力される、フィルタリング後の画像は、フレームバッファ４１に記憶される。なお、本実施形態では第二の処理装置２２がループフィルタ２９を含む構成としているが、ループフィルタ２９は、第一の処理装置２１やＣＰＵに含まれていてもよい。

第二の処理装置２２は、インター予測の予測コストとインター予測の予測画像とを、第一の処理装置２１へ送信する。本実施形態の場合、インター予測の予測画像は、動き補償予測画像である。第二の処理装置２２から第一の処理装置２１への送信経路は、ＣＰＵを介さない経路であってもよいし、ＣＰＵを介した経路であってもよい。

また、第一の処理装置２１は、インター予測の予測画像に基づいて、イントラ予測の予測コストを算出する。そして、第一の処理装置２１は、インター予測の予測コストとイントラ予測の予測コストとに基づいて、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。

第一の処理装置２１は、イントラ予測の予測コストの算出と、予測方法の判定と、ローカルデコードとを、各ＣＵについて逐次的に行う。このように、並列処理による高速化効果が高い処理を第二の処理装置２２が行い、その他の処理を第一の処理装置２１が行うことによって、第一の処理装置２１の回路面積を節約することが可能になる。

第一の処理装置２１は、イントラ予測モード判定部２６と、イントラ／インター判定部２７と、ローカルデコード部２８とを含む。

イントラ予測モード判定部２６は、ローカルデコード部２８から出力されるローカルデコード画像に基づいて、各ＣＵのイントラ予測の予測コストを算出する。

より具体的には、イントラ予測モード判定部２６は、同一画像内のローカルデコード済みＣＵの情報を用いて、適切なイントラ予測モードを選択する。適切なイントラ予測モードは、たとえば、符号化効率が最も高いイントラ予測モードであってもよいし、その他の基準に従って適切と判断されたイントラ予測モードであってもよい。

そして、イントラ予測モード判定部２６は、選択したイントラ予測モードに基づいてイントラ予測（画面内予測）処理を行い、イントラ予測の予測画像と選択したイントラ予測モードの情報とをイントラ／インター判定部２７へ出力する。また、イントラ予測モード判定部２６は、選択したイントラ予測モードに基づいてイントラ予測でローカルデコードを行う場合の予測コストを算出して、予測コストを示す情報をイントラ／インター判定部２７へ出力する。

イントラ予測モード判定部２６は、同一画面内の近傍の符号化済みＣＵのローカルデコード画像を用いて予測を行う。つまり、近傍のＣＵの間には、処理の依存関係がある。そのため、イントラ予測モード判定部２６は、依存関係のあるＣＵ同士を並列に処理することができない。

イントラ／インター判定部２７は、各ＣＵについて、インター予測の予測コストとイントラ予測の予測コストとに基づいて、ローカルデコードに使用する予測方法、すなわち、イントラ予測とインター予測とのどちらでローカルデコードを行うのかを判定する。イントラ／インター判定部２７は、たとえば、予測コストがより低い予測方法を、ローカルデコードに使用する予測方法として判定してもよいし、他の基準に基づいてローカルデコードに使用する予測方法を判定してもよい。

また、イントラ／インター判定部２７は、判定した予測方法に対応する予測画像をローカルデコード部２８へ出力する。より具体的には、イントラ／インター判定部２７は、ローカルデコードをインター予測で行うと判定した場合には、インター予測の予測画像を出力する。また、イントラ／インター判定部２７は、ローカルデコードをイントラ予測で行うと判定した場合には、イントラ予測の予測画像を出力する。

ローカルデコード部２８は、各ＣＵについて、イントラ／インター判定部２７によって判定された予測方法でローカルデコードを行う。より具体的には、ローカルデコード部２８は、図５に示すように、減算部５１、変換部５２、量子化部５３、算術符号化部５４、逆量子化部５５、逆変換部５６および加算部５７を含む。なお、ローカルデコード部２８の加算部５７から出力される画像をローカルデコード画像と呼ぶ。

減算部５１は、イントラ／インター判定部２７から出力された予測画像を入力画像から減算した残差画像を変換部５２へ出力する。また、変換部５２は、残差画像に対して変換処理を行う。変換処理は、たとえば、ＤＣＴ（discrete cosine transform）やＤＳＴ（Discrete Sine Transform）などである。また、量子化部５３は、変換処理が施された画像に対して量子化処理を施した量子化画像を生成する。また、算術符号化部５４は、量子化画像に対して、算術符号化の処理を行い、ビットストリームを出力する。また、逆量子化部５５は、量子化画像に対して逆量子化処理を行う。また、逆変換部５６は、逆量子化処理が施された画像に対して逆変換処理を行う。そして、加算部５７は、逆変換処理が施された画像とイントラ／インター判定部２７から出力される予測画像とを加算したローカルデコード画像を、ループフィルタ２９とイントラ予測モード判定部２６とへ出力する。

なお、予測コストは、選択した予測モードで入力画像を符号化（予測画像に対して、変換処理と量子化処理を行った後に、算術符号化を行うこと）した場合の符号化結果を、所定の基準に従って評価した場合の評価値である。本実施形態の動画像符号化システムは、任意の基準を評価基準として用いることができる。

たとえば、予測コストの一例に、ＲＤ（Rate Distortion）コストがある。ＲＤコストは、入力画像と予測画像とのひずみの量である差分画像コストと、入力画像を符号化した際に発生する符号量である符号量コストに基づいて算出される。

差分画像コストには、入力画像と予測画像の画素値の差分絶対値和（ＳＡＤ：Sum of Absolute Difference）、差分二乗和（ＳＳＤ：Sum of Squared Difference）、画素値の差分に所定の変換を施した係数の絶対値和（ＳＡＴＤ：Sum of Absolute Transformed Differences）などが用いられる。

符号量コストは、実際に符号化処理を行った場合に発生した符号量または推定される符号量である。

差分画像コストをＤ、符号量コストをＲ、画像の複雑さなどに依存する重み係数（コスト係数）をλとした場合、ＲＤコストＪは、式１により計算される。
J = D + λR （式１）
このように動画像符号化システム２０を構成することによって、動画像符号化システム２０では、第二の処理装置２２が、インター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵに対して並列で行う。また、第一の処理装置２１が、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果がより高い処理を、高速に並列処理を実行可能な第二の処理装置２２に行わせ、他の処理を第一の処理装置２１に行わせることが可能になる。そのため、第一の処理装置２１のみを使用する方法や第二の処理装置２２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置２１のみを使用する方法に比べて、第一の処理装置２１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

次に、図６および図７を用いて、本実施形態の動画像符号化システム２０の動作例について説明する。図６は、第二の処理装置２２の動作例を示すフローチャートである。図７は、第一の処理装置２１の動作例を示すフローチャートである。

第二の処理装置２２のインター予測モード判定部２４は、各ＣＵのインター予測の予測コストを算出し、算出した予測コストを示す情報を第一の処理装置２１へ送信する（図６のステップＳ２０１）。また、インター予測モード判定部２４は、動き補償予測画像を生成し、生成した動き補償予測画像を第一の処理装置２１へ送信する（ステップＳ２０２）。第二の処理装置２２は、ステップＳ２０１の処理とステップＳ２０２の処理とを、各ＣＵについて並列に行う。

次に、第一の処理装置２１のイントラ予測モード判定部２６は、どのＣＵを処理対象とするか設定し、処理対象のＣＵのイントラ予測の予測コストを算出する（図７のステップＳ２０３、Ｓ２０４）。イントラ／インター判定部２７は、処理対象のＣＵについて、ローカルデコードに使用する予測方法、すなわち、イントラ予測とインター予測とのどちらでローカルデコードを行うのかを判定する（ステップＳ２０５）。イントラ／インター判定部２７は、インター予測の予測コストとイントラ予測の予測コストに基づいて、ローカルデコードに使用する予測方法を判定する。ローカルデコード部２８は、処理対象のＣＵについて、イントラ／インター判定部２７によって判定された予測方法でローカルデコードを行う（ステップＳ２０６）。第一の処理装置２１は、全ＣＵについてステップＳ２０４からステップＳ２０６の処理を終了した場合（ステップＳ２０７でＹＥＳ）、図７に示す処理を終了する。未処理のＣＵがあれば、第一の処理装置２１は、処理対象のＣＵを変更し（ステップＳ２０３）、ステップＳ２０４からステップＳ２０７の処理を行う。

図８に、ローカルデコード画像領域の記憶例を示す。ローカルデコード画像領域は、第一の処理装置２１に含まれている記憶手段（図示せず）においてローカルデコード画像を記憶するための記憶領域である。

図８には、画像が４つのＣＵに分割されている場合の例が示されている。ローカルデコード画像領域には、４つのＣＵの各々についてローカルデコード画像が記憶される。

斜線が付されていない領域は、その領域に対応するＣＵの予測方法が判定されていない領域である。斜線が付されている領域は、その領域に対応するＣＵに対するローカルデコードが行われ、ローカルデコード画像が記憶されている領域である。本実施形態では、予測方法の判定を各ＣＵに対して逐次的に行われるため、ローカルデコード画像領域が記憶する画像も、逐次的に更新される。

なお、動画像符号化システム２０は、インター予測モード判定部２４が生成した動き補償予測画像を、第一の処理装置２１のローカルデコード画像領域に記憶させてもよい。また、動画像符号化システム２０は、ローカルデコード部２８がローカルデコード画像を生成した場合に、ローカルデコード画像領域に記憶されている動き補償予測画像をローカルデコード画像へ置き換えてもよい。

以上で説明したように、本発明の第二の実施形態の動画像符号化システム２０では、第二の処理装置２２が、インター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵに対して並列で行う。また、第一の処理装置２１が、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果がより高い処理を、高速に並列処理を実行可能な第二の処理装置２２に行わせ、他の処理を第一の処理装置２１に行わせることが可能になる。そのため、第一の処理装置２１のみや第二の処理装置２２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置２１のみを使用する方法に比べて、第一の処理装置２１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

また、本実施形態の動画像符号化システム２０は、ローカルデコードをローカルデコード部２８の一か所で行う。そのため、ローカルデコードに関する処理を第一の処理装置２１に集約できるメリットがある。

なお、本実施形態では、動画像の圧縮符号化方式がＶＶＣである場合について説明した。しかし、本実施形態の動画像符号化システム２０は、イントラ予測とインター予測とに限らず、２種類の予測を行う圧縮符号化方式であれば、どのような圧縮符号化方式の場合にも適用可能である。たとえば、本実施形態の動画像符号化システム２０は、圧縮符号化方式が、Ｈ．２６５（ＨＥＶＣ（High Efficiency Video Coding））、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）、ＷＭＶ（Windows（登録商標） Media Video）、ＡＶ１（Alliance for Open Media Video 1）、ＶＰ９などの場合にも適用可能である。

［第三の実施形態］
次に、本発明の第三の実施の形態における動画像符号化システム３０について説明する。

まず、図９に本実施形態の動画像符号化システム３０の構成例を示す。本実施形態の動画像符号化システム３０は、第一の処理装置３１と第二の処理装置３２とを含む。第二の処理装置３２は、並列処理を第一の処理装置３１よりも高速に実行可能である。

フレームバッファ４１については、第二の実施形態と同様のため、説明を省略する。

第二の処理装置３２は、インター予測の予測画像の生成と、インター予測の予測コストの算出と、インター予測でのローカルデコードとを各ＣＵに対して並列で行う。インター予測の予測画像の生成と、インター予測の予測コストの算出と、インター予測でのローカルデコードとは、ＣＵ間の処理に依存関係がない処理である。そのため、インター予測の予測画像の生成と、インター予測の予測コストの算出と、インター予測でのローカルデコードとは、並列処理による高速化効果が高い処理である。第二の処理装置２２がインター予測の予測画像の生成と、インター予測の予測コストの算出と、インター予測でのローカルデコードとを各ＣＵについて並列に行うことで、処理時間の短縮が見込まれる。

本実施形態の第二の処理装置３２は、動き探索部２３とインター予測モード判定部２４と第一のローカルデコード部３４とループフィルタ２９とを含む。動き探索部２３とインター予測モード判定部２４と第一のローカルデコード部３４とは、各部が担当する処理を、各ＣＵについて並列に行う。

動き探索部２３とループフィルタ２９とについては、第二の実施形態と同様のため、説明を省略する。

インター予測モード判定部２４は、入力画像と、フレームバッファ４１に格納されている画像と、動き探索部２３から出力された動きベクトル情報とから、各ＣＵについて、適切な動きベクトルを１つまたは複数選択する。

また、インター予測モード判定部２４は、フレームバッファ４１に格納されている画像と選択した動きベクトル情報とそのモード情報（インター予測の予測モード情報）とを用いて動き補償処理を行い、動き補償予測画像を第一のローカルデコード部３４へ出力する。

また、インター予測モード判定部２４は、選択した動きベクトルに基づいてインター予測で符号化を行う場合の予測コストを算出して、予測コストを示す情報を第一の処理装置３１へ出力する。

第一のローカルデコード部３４は、動き補償予測画像に対してインター予測でローカルデコードを行い、インター予測のローカルデコード画像を第一の処理装置３１へ出力する。なお、第一のローカルデコード部３４で行われるローカルデコード処理の詳細は、ローカルデコード部２８から算術符号化部５４の処理を除いた処理と同様のため、説明を省略する。

第二の処理装置３２は、インター予測の予測コストとインター予測の予測画像とを、第一の処理装置３１へ送信する。本実施形態の場合、インター予測の予測画像は、第一のローカルデコード部３４から出力される、インター予測のローカルデコード画像である。第二の処理装置３２から第一の処理装置３１への送信経路は、ＣＰＵを介さない経路であってもよいし、ＣＰＵを介した経路であってもよい。

また、第一の処理装置３１は、インター予測の予測画像に基づいて、イントラ予測の予測コストを算出する。そして、第一の処理装置３１は、インター予測の予測コストとイントラ予測の予測コストとに基づいて、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。

第一の処理装置３１は、イントラ予測の予測コストの算出と、予測方法の判定と、予測方法がイントラ予測の場合のローカルデコードとを、各ＣＵについて逐次的に行う。このように、並列処理による高速化効果がより高い処理を第二の処理装置３２が行い、その他の処理を第一の処理装置３１が行うことによって、第一の処理装置３１の回路面積を節約することが可能になる。

第一の処理装置３１は、イントラ予測モード判定部２６と、イントラ／インター判定部２７と、第二のローカルデコード部３５とを含む。

イントラ／インター判定部２７については、第二の実施形態と同様のため説明を省略する。

イントラ予測モード判定部２６は、第二のローカルデコード部３５から出力されるローカルデコード画像に基づいて、各ＣＵのイントラ予測の予測コストを算出して、予測コストを示す情報をイントラ／インター判定部２７へ出力する。

第二のローカルデコード部３５は、ローカルデコードをイントラ予測で行うと判定された場合に、イントラ予測でローカルデコードを行い、イントラ予測のローカルデコード画像をループフィルタ２９へ出力する。また、第二のローカルデコード部３５は、ローカルデコードをインター予測で行うと判定された場合に、インター予測のローカルデコード画像をループフィルタ２９へ出力する。本実施形態では、インター予測のローカルデコード画像は、第二の処理装置３２から出力され、たとえば、ローカルデコード画像領域に記憶されている。なお、第一のローカルデコード部３４で行われるローカルデコード処理の詳細は、ローカルデコード部２８と同様のため、説明を省略する。

このように動画像符号化システム３０を構成することによって、動画像符号化システム３０では、第二の処理装置３２が、インター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵに対して並列で行う。また、第一の処理装置３１が、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果がより高い処理を、高速に並列処理を実行可能な第二の処理装置３２に行わせ、他の処理を第一の処理装置３１に行わせることが可能になる。そのため、第一の処理装置３１のみや第二の処理装置３２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置３１のみを使用する方法に比べて、第一の処理装置３１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

次に、図１０および図１１を用いて、本実施形態の動画像符号化システム３０の動作例について説明する。図１０は、第二の処理装置３２の動作例を示すフローチャートである。図１１は、第一の処理装置３１の動作例を示すフローチャートである。

第二の処理装置３２のインター予測モード判定部２４は、各ＣＵのインター予測の予測コストを算出し、算出した予測コストを示す情報を第一の処理装置３１へ送信する（図１０のステップＳ３０１）。インター予測モード判定部２４は、動き補償予測画像を生成する（ステップＳ３０２）。第一のローカルデコード部３４は、動き補償予測画像に対してインター予測でローカルデコードを行い、インター予測のローカルデコード画像を第一の処理装置３１に出力する（ステップＳ３０３）。第二の処理装置３２は、ステップＳ３０１からステップＳ３０３の処理を、各ＣＵについて並列に行う。

次に、第一の処理装置３１のイントラ予測モード判定部２６は、どのＣＵを処理対象とするか設定し、処理対象のＣＵのイントラ予測の予測コストを算出する（図１１のステップＳ３０４、Ｓ３０５）。イントラ／インター判定部２７は、処理対象のＣＵについて、インター予測の予測コストとイントラ予測の予測コストとに基づいて、イントラ予測とインター予測とのどちらでローカルデコードを行うのかを判定する（ステップＳ３０６）。

第二のローカルデコード部３５は、処理対象のＣＵについて、ローカルデコードをイントラ予測で行うと判定された場合に（ステップＳ３０７でＹＥＳ）、イントラ予測でローカルデコードを行う（ステップＳ３０８）。第一の処理装置３１は、全ＣＵについてステップＳ３０５からステップＳ３０８の処理を終了した場合（ステップＳ３０９でＹＥＳ）、図１１に示す処理を終了する。未処理のＣＵがあれば、第一の処理装置３１は、処理対象のＣＵを変更し（ステップＳ３０４）、ステップＳ３０５からステップＳ３０９の処理を行う。

図１２に、ローカルデコード画像領域の記憶例を示す。ローカルデコード画像領域は、第一の処理装置３１に含まれる、ローカルデコード画像を記憶するための記憶領域である。

図１２には、画像が４つのＣＵに分割されている場合の例が示されている。ローカルデコード画像領域には、４つのＣＵの各々についてローカルデコード画像が記憶される。

斜線が付されていない領域は、その領域に対応するＣＵの予測方法が判定されていない領域である。本実施形態の場合、第一の処理装置３１は、第一のローカルデコード部３４から出力された、インター予測のローカルデコード画像を、ローカルデコード画像領域に記憶させる。そのため、対応するＣＵの予測方法が判定されていない領域には、インター予測のローカルデコード画像が記憶されている。

また、斜線が付されている領域は、その領域に対応するＣＵに対して、イントラ予測のローカルデコードが行われ、イントラ予測のローカルデコード画像が記憶されている領域である。本実施形態の場合、動画像符号化システム３０の第二のローカルデコード部３５は、ローカルデコードをイントラ予測で行うと判定された場合に、イントラ予測でローカルデコードを行う。そのため、予測方法がイントラ予測と判定されたＣＵに対応する領域では、インター予測のローカルデコード画像からイントラ予測のローカルデコード画像への置き換えが行われる。図１２の例の場合、左上と右下の領域に対応するＣＵの予測方法がイントラ予測と判定されている。

以上で説明したように、本発明の第三の実施形態の動画像符号化システム３０では、第二の処理装置３２が、インター予測の予測画像の生成とインター予測の予測コストの算出とを各ＣＵに対して並列で行う。また、第一の処理装置３１が、イントラ予測とインター予測とのどちらの予測方法でローカルデコードを行うかを判定する。これにより、並列処理による高速化効果がより高い処理を、高速に並列処理を実行可能な第二の処理装置３２に行わせ、他の処理を第一の処理装置３１に行わせることが可能になる。そのため、第一の処理装置３１のみを使用する方法や第二の処理装置３２のみを使用する方法に比べ、より高速に圧縮符号化を行うことが可能になる。また、第一の処理装置３１のみを使用する方法に比べて、第一の処理装置３１に実装する回路面積の低減が可能になる。そのため、動画像の圧縮符号化における処理時間の短縮と回路面積の低減とが可能になる。

また、本実施形態の動画像符号化システム３０では、第二の処理装置３２がインター予測のローカルデコードを各ＣＵについて並列に行う。そのため、処理時間の短縮が可能になる。また、インター予測のローカルデコードを第一の処理装置３１ではなく第二の処理装置３２が行うことにより、第一の処理装置３１の回路規模を小さくすることが可能になる。その結果、第一の処理装置３１として、廉価な装置を使用することが可能になる。

また、本実施形態の動画像符号化システム３０では、第一の処理装置３１は、第一のローカルデコード部３４から出力された、インター予測のローカルデコード画像を、ローカルデコード画像領域に記憶させる。そして、第一の処理装置３１は、ローカルデコードをイントラ予測で行うと判定した場合に、ローカルデコード画像領域に記憶されているインター予測のローカルデコード画像を、イントラ予測のローカルデコード画像に置き換える。

第一の処理装置３１が、インター予測のローカルデコード画像をローカルデコード画像領域ではない領域に記憶させていたとする。この場合、第一の処理装置３１は、ローカルデコードをインター予測で行うと判定した場合に、ローカルデコード画像領域ではない領域に記憶されているインター予測のローカルデコード画像を、ローカルデコード画像領域に記憶させる処理が必要になる。

本実施形態の第一の処理装置３１は、ローカルデコードをインター予測で行うと判定した場合には、すでにインター予測のローカルデコード画像がローカルデコード画像領域に記憶されている。そのため、インター予測のローカルデコード画像が、ローカルデコード画像領域ではない領域に記憶される場合に比べて、処理時間を短縮することが可能になる。

［ハードウェア構成例］
上述した本発明の各実施形態における動画像符号化システム（１０、２０、３０）を、一つの情報処理装置（コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。なお、動画像符号化システムは、物理的または機能的に少なくとも二つ以上の複数の情報処理装置が用いられて実現されてもよい。また、動画像符号化システムは、専用の装置として実現されてもよいし、汎用の装置が用いられてもよい。また、動画像符号化システムの一部の機能のみを情報処理装置を用いて実現してもよい。

図１３は、本発明の各実施形態の動画像符号化システムを実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置９０は、通信インタフェース９１、入出力インタフェース９２、演算装置９３、記憶装置９４、不揮発性記憶装置９５およびドライブ装置９６を含む。

たとえば、図１の第一の処理装置１１および第二の処理装置１２は、演算装置９３に相当する。

通信インタフェース９１は、各実施形態の動画像符号化システムが、有線および無線のうち少なくとも一方で外部装置と通信するための通信手段である。なお、動画像符号化システムを、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース９１経由で相互に通信可能なように接続してもよい。

入出力インタフェース９２は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。

演算装置９３は、たとえば、ＣＰＵ（Central Processing Unit）やマイクロプロセッサ等の演算処理装置や複数の電気回路によって実現される。演算装置９３は、たとえば、不揮発性記憶装置９５に記憶された各種プログラムを記憶装置９４に読み出し、読み出したプログラムに従って処理を実行することが可能である。

記憶装置９４は、演算装置９３から参照可能な、ＲＡＭ（Random Access Memory）等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置９４は、揮発性のメモリ装置であってもよい。

不揮発性記憶装置９５は、たとえば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。

ドライブ装置９６は、たとえば、後述する記録媒体９７に記録されているデータの読み込みやデータの書き込みを処理する装置である。

記録媒体９７は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。

本発明の各実施形態は、たとえば、図１３に例示した情報処理装置９０により動画像符号化システムを構成し、この動画像符号化システムに対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。

この場合、動画像符号化システムに対して供給したプログラムを、演算装置９３が実行することによって、実施形態を実現することが可能である。また、動画像符号化システムのすべてではなく、一部の機能を情報処理装置９０で構成することも可能である。

さらに、上記プログラムを記録媒体９７に記録しておき、動画像符号化システムの出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置９５に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して動画像符号化システム内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
第一の処理装置と、
並列処理を前記第一の処理装置より高速に実行可能な第二の処理装置と
を備え、
前記第二の処理装置は、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、
前記第一の処理装置は、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定する
ことを特徴とする動画像符号化システム。

（付記２）
前記第一の予測方法は、インター予測であり、
前記第二の予測方法は、イントラ予測である
ことを特徴とする付記１に記載の動画像符号化システム。

（付記３）
前記第一の処理装置は、さらに、判定された予測方法で前記ローカルデコードを行ったローカルデコード画像を生成する
ことを特徴とする付記１または付記２に記載の動画像符号化システム。

（付記４）
前記第一の予測方法の前記予測画像は、動き補償予測画像である
ことを特徴とする付記３に記載の動画像符号化システム。

（付記５）
前記第二の処理装置は、さらに、前記第一の予測方法で前記ローカルデコードを行った、前記第一の予測方法のローカルデコード画像を生成し、
前記第一の予測方法の前記予測画像は、前記第一の予測方法の前記ローカルデコード画像であり、
前記第一の処理装置は、判定された予測方法が前記第二の予測方法の場合、前記第二の予測方法で前記ローカルデコードを行った、前記第二の予測方法の前記ローカルデコード画像を生成する
ことを特徴とする付記１または付記２に記載の動画像符号化システム。

（付記６）
前記第一の処理装置は、各々の前記符号化単位について、前記第一の予測方法の前記ローカルデコード画像を、前記ローカルデコード画像を記憶するローカルデコード画像領域に記憶させ、判定された前記予測方法が前記第二の予測方法の場合、前記ローカルデコード画像領域に記憶されている前記第一の予測方法の前記ローカルデコード画像を、前記第二の予測方法の前記ローカルデコード画像に置き換える
ことを特徴とする付記５に記載の動画像符号化システム。

（付記７）
前記第二の処理装置には、ＧＰＵ（Graphics Processing Unit）が搭載されている
ことを特徴とする付記１から付記６のいずれかに記載の動画像符号化システム。

（付記８）
前記第一の処理装置には、ＰＬＤ（Programmable Logic Device）が搭載されている
ことを特徴とする付記１から付記７のいずれかに記載の動画像符号化システム。

（付記９）
並列処理を第一の処理装置より高速に実行可能な第二の処理装置が、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、
前記第一の処理装置が、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定する
ことを特徴とする動画像符号化方法。

（付記１０）
前記第一の予測方法は、インター予測であり、
前記第二の予測方法は、イントラ予測である
ことを特徴とする付記９に記載の動画像符号化方法。

（付記１１）
前記第一の処理装置は、さらに、判定された予測方法で前記ローカルデコードを行ったローカルデコード画像を生成する
ことを特徴とする付記９または付記１０に記載の動画像符号化方法。

（付記１２）
前記第一の予測方法の前記予測画像は、動き補償予測画像である
ことを特徴とする付記１１に記載の動画像符号化方法。

（付記１３）
前記第二の処理装置は、さらに、前記第一の予測方法で前記ローカルデコードを行った、前記第一の予測方法のローカルデコード画像を生成し、
前記第一の予測方法の前記予測画像は、前記第一の予測方法の前記ローカルデコード画像であり、
前記第一の処理装置は、判定された予測方法が前記第二の予測方法の場合、前記第二の予測方法で前記ローカルデコードを行った、前記第二の予測方法の前記ローカルデコード画像を生成する
ことを特徴とする付記９または付記１０に記載の動画像符号化方法。

（付記１４）
前記第一の処理装置は、各々の前記符号化単位について、前記第一の予測方法の前記ローカルデコード画像を、前記ローカルデコード画像を記憶するローカルデコード画像領域に記憶させ、判定された前記予測方法が前記第二の予測方法の場合、前記ローカルデコード画像領域に記憶されている前記第一の予測方法の前記ローカルデコード画像を、前記第二の予測方法の前記ローカルデコード画像に置き換える
ことを特徴とする付記１３に記載の動画像符号化方法。

（付記１５）
前記第二の処理装置には、ＧＰＵ（Graphics Processing Unit）が搭載されている
ことを特徴とする付記９から付記１４のいずれかに記載の動画像符号化方法。

（付記１６）
前記第一の処理装置には、ＰＬＤ（Programmable Logic Device）が搭載されている
ことを特徴とする付記９から付記１５のいずれかに記載の動画像符号化方法。

１０、２０、３０ 動画像符号化システム
１１、２１、３１ 第一の処理装置
１２、２２、３２ 第二の処理装置
２３ 動き探索部
２４ インター予測モード判定部
２６ イントラ予測モード判定部
２７ イントラ／インター判定部
２８ ローカルデコード部
２９ ループフィルタ
３４ 第一のローカルデコード部
３５ 第二のローカルデコード部
４１ フレームバッファ
９０ 情報処理装置
９１ 通信インタフェース
９２ 入出力インタフェース
９３ 演算装置
９４ 記憶装置
９５ 不揮発性記憶装置
９６ ドライブ装置
９７ 記録媒体

Claims (10)

1. 第一の処理装置と、
   並列処理を前記第一の処理装置より高速に実行可能な第二の処理装置と
   を備え、
   前記第二の処理装置は、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、
   前記第一の処理装置は、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定する
   ことを特徴とする動画像符号化システム。
2. 前記第一の予測方法は、インター予測であり、
   前記第二の予測方法は、イントラ予測である
   ことを特徴とする請求項１に記載の動画像符号化システム。
3. 前記第一の処理装置は、さらに、判定された予測方法で前記ローカルデコードを行ったローカルデコード画像を生成する
   ことを特徴とする請求項１または請求項２に記載の動画像符号化システム。
4. 前記第一の予測方法の前記予測画像は、動き補償予測画像である
   ことを特徴とする請求項３に記載の動画像符号化システム。
5. 前記第二の処理装置は、さらに、前記第一の予測方法で前記ローカルデコードを行った、前記第一の予測方法のローカルデコード画像を生成し、
   前記第一の予測方法の前記予測画像は、前記第一の予測方法の前記ローカルデコード画像であり、
   前記第一の処理装置は、判定された予測方法が前記第二の予測方法の場合、前記第二の予測方法で前記ローカルデコードを行った、前記第二の予測方法の前記ローカルデコード画像を生成する
   ことを特徴とする請求項１または請求項２に記載の動画像符号化システム。
6. 前記第一の処理装置は、各々の前記符号化単位について、前記第一の予測方法の前記ローカルデコード画像を、前記ローカルデコード画像を記憶するローカルデコード画像領域に記憶させ、判定された前記予測方法が前記第二の予測方法の場合、前記ローカルデコード画像領域に記憶されている前記第一の予測方法の前記ローカルデコード画像を、前記第二の予測方法の前記ローカルデコード画像に置き換える
   ことを特徴とする請求項５に記載の動画像符号化システム。
7. 前記第二の処理装置には、ＧＰＵ（Graphics Processing Unit）が搭載されている
   ことを特徴とする請求項１から請求項６のいずれかに記載の動画像符号化システム。
8. 前記第一の処理装置には、ＰＬＤ（Programmable Logic Device）が搭載されている
   ことを特徴とする請求項１から請求項７のいずれかに記載の動画像符号化システム。
9. 並列処理を第一の処理装置より高速に実行可能な第二の処理装置が、第一の予測方法の予測画像の生成と前記第一の予測方法の予測コストの算出とを各符号化単位に対して並列で行い、
   前記第一の処理装置が、前記第一の予測方法の前記予測画像に基づいて、第二の予測方法の前記予測コストを算出し、前記第一の予測方法の前記予測コストと前記第二の予測方法の前記予測コストとに基づいて、前記第一の予測方法と前記第二の予測方法とのどちらでローカルデコードを行うかを判定する
   ことを特徴とする動画像符号化方法。
10. 前記第一の予測方法は、インター予測であり、
    前記第二の予測方法は、イントラ予測である
    ことを特徴とする請求項９に記載の動画像符号化方法。

Images