JP2007243391A - 動画像符号化装置 - Google Patents

Abstract

【課題】インター予測時間の過多による影響を最小限に抑えて、インター予測およびイントラ予測の処理の破綻を防止すること。
【解決手段】インター予測部１１は原画像に対しインター予測を行い、その処理開始および終了時に開始および終了フラグを出力する。インター予測時間計測部１２では、その開始および終了フラグを入力してインター予測時間を算出する。イントラ予測指示部１４は、そのインター予測時間と、パラメータ設定部１３により設定されたインター予測とイントラ予測とに費やすことが可能な一定時間と、一回当たりイントラ予測にかかる処理時間とに基づいて、一定時間におけるイントラ予測の回数と予測モードとを決定して出力する。イントラ予測部１５は、その回数と予測モードとに基づいてイントラ予測を行う。
【選択図】図１

Description

本発明は、入力動画像をインター予測およびイントラ予測する動画像符号化装置に関するものである。

デジタルの入力動画像を圧縮符号化するための画像圧縮手法において、前後のフレームもしくはフィールドの相関により圧縮を行うインター予測と、フレーム内における近傍画素との相関により圧縮を行うイントラ予測という手法がある。

インター予測は、符号化してローカルデコードした時間的に前後の参照フレームから参照する予測画像を抽出し、抽出した予測画像と原画像との差分をとり、その差分に直交変換、量子化などを施し、参照画像番号や、動きベクトルと共に符号化する方法である。復号化は、逆量子化、逆直交変換などで差分を抽出し、参照画像、参照画像番号、動きベクトルから予測画像を生成し、その予測画像に差分を加えてもとの画像を復元する。

一方、イントラ予測は、従来のＭＰＥＧ−４や、ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４という。）符号化方式にて行われている。

図６（ａ）〜（ｉ）に、Ｈ．２６４における４×４画素のイントラ予測の予測モードを示す。イントラ予測では、４×４画素の対象ブロック５０に隣接する周辺画素Ａ〜Ｍの値を用いて予測画像を作成する。Ｈ．２６４では、４×４画素のイントラ予測の場合、図６（ａ）〜（ｉ）に示す予測モード（Ｍｏｄｅ）０〜予測モード（Ｍｏｄｅ）８の９種類の予測モードが規定されており、矢印の起点により予測値となる画素値を示している。なお、図６（ｃ）に示す予測モード（Ｍｏｄｅ）２のみ、画素Ａ〜Ｈの平均値を用いている。

例えば、予測モード（Ｍｏｄｅ）０は、図６（ａ）に示すように、対象ブロック５０内の左から１列目の画素ａ，ｅ，ｉ，ｍは画素値Ａを用いて、２列目の画素ｂ，ｆ，ｊ，ｎは画素値Ｂを、２列目の画素ｃ，ｇ，ｋ，ｏは画素値Ｃ、４列目の画素ｄ，ｈ，ｌ，ｐは、画素値Ｄを用いて予測するモードである。そして、イントラ予測方法では、これら９種類の予測モード（Ｍｏｄｅ）０〜８により生成したそれぞれの予測画像と原画像の差分を計算しこれらを最終的に符号化したときに符号量が最も少ないイントラ予測モードを選択する。そして、その差分は、インター予測と同様に、直交変換、量子化などが施され、選択されたモード番号と共に符号化される。復号化は、逆量子化、逆直交変換などで差分を抽出し、モード番号から予測画像を生成し差分を加えてもとの画像を復元するようにしている（例えば、非特許文献１参照）。
「Ｈ．２６４／ＡＶＣ教科書」（インプレス社発行；大久保 榮監修）

ところで、インター予測もしくはイントラ予測の予測部によって圧縮符号化を行う動画像符号化装置においては、ある一定時間内に予測処理を行い、その結果を直交変換、量子化、復号化、符号化等の後段ブロックに送らなければならない、

しかし、インター予測は、演算が複雑でかつ演算数が多く、入力動画像の性質によってはどれくらい処理時間がかかるか予想できない一方、イントラ予測は、およその処理時間が予想できるものの、イントラ予測を全てやっていたのでは、処理時間がかかる共にデータ量が増大する、という問題があった。

そこで、本発明は、インター予測時間の過多によるイントラ予測への影響を最小限に抑えて、インター予測およびイントラ予測の処理の破綻を防止することができる動画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明の動画像符号化装置では、入力動画像をインター予測およびイントラ予測して符号化する動画像符号化装置であって、前記入力動画像をインター予測するインター予測部と、前記インター予測部における前記インター予測の処理時間を測定するインター予測時間計測部と、前記インター予測時間計測部によって測定されたインター予測時間と、一回当りのイントラ予測処理にかかる時間とに基づいて、一定時間内における前記イントラ予測の処理回数を決定して指示するイントラ予測指示部と、前記イントラ予測指示部によって指示された前記処理回数に基づいて、前記入力動画像をイントラ予測するイントラ予測部と、を有するものである。

また、本発明の他の動画像符号化装置では、入力動画像をインター予測およびイントラ予測して符号化する動画像符号化装置であって、前記入力動画像をインター予測するインター予測部と、前記インター予測部における前記インター予測の処理時間を測定するインター予測時間計測部と、前記入力動画像に基づいて前記イントラ予測の予測モードの候補を絞り込み、絞り込んだ予測モードの候補群を出力する予測モード絞込み部と、前記インター予測時間計測部によって測定されたインター予測時間と、一回当りのイントラ予測処理にかかる時間とに基づいて、一定時間内における前記イントラ予測の処理回数を決定し、前記予測モード絞込み部によって絞り込まれた前記予測モードの候補群のうちから前記イントラ予測の処理回数に合致した予測モードを指示するイントラ予測指示部と、前記イントラ予測指示部によって指示された前記予測モードに基づいて、前記入力動画像をイントラ予測するイントラ予測部と、を有するものである。

本発明の動画像符号化装置によれば、インター予測の処理時間を測定し、測定したインター予測時間に基づいて、一定時間内におけるイントラ予測の処理回数を決定し、その処理回数や、処理回数に合致した予測モードに基づいて、入力動画像をイントラ予測するようにしたので、インター予測時間の過多によるイントラ予測への影響を最小限に抑えることができ、インター予測およびイントラ予測の処理の破綻を防止することができる。

（実施の形態１）
次に、本発明に係る動画像符号化装置の実施の形態１について説明をする。

図１は、本発明に係る動画像符号化装置の実施の形態１の構成の一例を示している。

図１において、実施の形態１の動画像符号化装置は、インター予測部１１と、インター予測時間計測部１２と、パラメータ設定部１３と、イントラ予測指示部１４と、イントラ予測部１５、符号化部１６とを有している。

次に動作を説明する。

図１において、圧縮対象のデジタル画像信号である原画像がインター予測部１１に供給されると、インター予測部１１は、入力動画像に対しインター予測処理を行い、予測画像や、インター予測の予測モード、例えば、両方向予測モードか片方向予測モードと、動きベクトル等を、符号化部１６に出力する。また、同時に、インター予測部１１は、インター予測処理が開始した場合にはインター開始フラグをインター予測時間計測部１２に出力する一方、インター予測が終了した場合にはインター終了フラグをインター予測時間計測部１２に出力する。また、インター予測部１１は、入力動画像信号を、そのまま、すなわち何も処理せずスルーさせてイントラ予測部１５へ出力する。

すると、符号化部１６では、インター予測部１１からの予測画像と、予測モードや動きベクトル等に基づき、直交変換や量子化等の符号化を行い、符号化データとして出力する。なお、符号化部１６の機能として、直交変換や量子化等の符号化の機能以外に、エントロピー符号化や、予測モードや動きベクトル等の多重処理を含めても勿論良い。

一方、インター予測時間計測部１２では、インター予測部１１からのインター開始フラグおよびインター終了フラグを受け取ると、タイマ（図示せず）等に基づいてインター開始フラグの受信時刻と、インター終了フラグの受信時刻とを検出し、そのインター開始フラグの受信時刻およびインター終了フラグの受信時刻に基づきインター予測部１１におけるインター予測時間を算出して、イントラ予測指示部１４へ出力する。

イントラ予測指示部１４では、インター予測時間計測部１２によって算出されたインター予測時間と、パラメータ設定部１３によって設定されたパラメータである、インター予測とイントラ予測とに費やすことが可能な一定時間と、一回当たりのイントラ予測にかかる処理時間とに基づいて、その一定時間におけるイントラ予測処理の予測回数と、イントラ予測の予測モードとを決定して、イントラ予測部１５に出力する。なお、パラメータ設定部１３へのパラメータであるインター予測とイントラ予測とに費やすことが可能な一定時間と、一回当たりイントラ予測にかかる処理時間とは、ユーザがシミューレーションした結果や、過去にイントラ予測とインター予測とをした際に計測しておいたイントラ予測とインター予測の時間などから予め設定しておく。また、イントラ予測部１５にて、予め実行すべき予測モードの順番が決められている場合、例えば、図６（ａ）〜（ｉ）に示すＨ．２６４における４×４画素のイントラ予測の予測モードの場合において予測モード番号が小さい方から順に実行すると決まっている場合には、イントラ予測部１５への予測モードの出力は不要で、測定回数のみの出力で十分である。

イントラ予測部１５は、イントラ予測指示部１４によって決められた回数と、予測モードとに基づいて、イントラ予測を行う。なお、上述したように、イントラ予測部１５にて予め実行すべき予測モードの順番が予め決められている場合、イントラ予測指示部１４からイントラ予測部１５への予測モードの通知は不要で、イントラ予測部１５は、イントラ予測指示部１４からの測定回数に従って、その予め決められた予測モードの順番でイントラ予測を実行する。

図２（ａ）、（ｂ）に、それぞれ、従来と本実施の形態１の動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示す。

図２（ａ）は、従来の動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示している。つまり、所定スライスや所定ブロック毎等の所定単位毎のインター予測およびイントラ予測にかける一定時間Ａが決められている場合に、その一定時間Ａ内に、インター予測処理と、５つの予測モード（Ｍｏｄｅ）０〜４のイントラ予測処理とを処理する予定であったが、インター予測処理にＢ時間だけかかり、５番目の予測モード（Ｍｏｄｅ）４のイントラ予測処理の完了が、その一定時間Ａをオーバーした場合を示している。

このようにインター予測時間の過多状態が起こると、その後に続くイントラ予測処理が一定時間Ａを超えてなされることになるので、その後の直交変換や、量子化、復号化処理に悪影響を与え、その後のインター予測およびイントラ予測の処理が破綻することになる。

これに対し、本実施の形態１では、図２（ｂ）に示すように、イントラ予測指示部２４は、パラメータ設定部１３からの所定スライスや所定ブロック毎等の所定単位毎のインター予測およびイントラ予測にかける一定時間Ａと、１回当たりのイントラ予測の処理時間ｃと、インター予測時間計測部１２からインター予測処理に要する時間Ｂとに基づいて、イントラ予測に費やせる時間Ｃ’（＝Ａ−Ｂ）を求め、イントラ予測回数Ｃ’／ｃを算出する。これにより、本実施の形態１では、図２（ｂ）に示す例では、イントラ予測指示部１４は、イントラ予測の回数を４回と算出することにより、イントラ予測部１５へ予測回数４回と４つの予測モード（Ｍｏｄｅ）０〜３を指示することになり、イントラ予測部１５は、４つの予測モード（Ｍｏｄｅ）０〜３のイントラ予測処理を実行することになる。なお、本実施の形態１では、イントラ予測部１５は、予測モード（Ｍｏｄｅ）のモード番号０，１，２，３，４，…が小さい番号の方を優先的に実行するものと決めておけば、イントラ予測指示部１４は、イントラ予測部１６に、イントラ予測の回数だけを通知すれば良い。

従って、本実施の形態１によれば、インター予測時間計測部１２がインター予測部１１におけるインター予測の処理時間を測定し、イントラ予測指示部１４がそのインター予測時間に基づき一定時間内におけるイントラ予測の処理回数を決定し、イントラ予測部１５がその処理回数等に基づいて入力動画像をイントラ予測するようにしたので、インター予測時間の過多によるイントラ予測への影響を最小限に抑えることができ、インター予測およびイントラ予測の処理の破綻を防止することができる。

（実施の形態２）
図３に、本発明に係る動画像符号化装置の実施の形態２の構成を示す。

図３において、本実施の形態２の動画像符号化装置は、インター予測部１１と、インター予測時間計測部１２と、パラメータ設定部１３と、符号化部１６と、イントラ予測指示部２４と、イントラ予測部２５と、イントラ予測モード絞込み部２７とを有している。なお、本実施の形態２において、図１に示す実施の形態１の動画像符号化装置と同一の機能を有する構成要素には、同一の符号を付して説明している。つまり、本実施の形態２では、図１に示す実施の形態１の動画像符号化装置に対し、さらにイントラ予測モード絞込み部２７を新たに追加しており、かつ、イントラ予測指示部２４がこのイントラ予測モード絞込み部２７からの予測モード候補群を参照してイントラ予測部２５に予測モードおよび予測回数を決定して、イントラ予測部１５に指示するものである。

次に動作を説明する。なお、上記実施の形態１とは異なる動作を中心に説明する。

本実施の形態２では、上記実施の形態１には設けられていないイントラ予測モード絞込み部２７が、入力動画像に基づいて、イントラ予測指示部２４に対し、絞り込んだイントラ予測の予測モード候補群を指示する。

つまり、イントラ予測モード絞込み部２７では、入力動画像信号を基に、例えば、すべてのイントラ予測モードについて原画誤差評価値を求める。例えば、図６に示す４×４画素のイントラ予測の予測モードにおいて、被イントラ予測対象ブロック内の画素をa〜pとし、イントラ予測モード（ｍｏｄｅ）０と，イントラ予測モード（ｍｏｄｅ）１とが、図６（a)、（ｂ)に示すように定義してあるとすると、この場合の原画誤差評価値の例は、以下のようになる。

このように、原画誤差評価値は、それぞれのイントラ予測モードについて、同一の予測画素値が入る位置の差分絶対値を計算している。この差分絶対値が小さいほど原画像信号の相違が小さいことを意味し、予測画素値は同一なので、原画像信号の相違が小さいほど差分信号の相違も小さくなる。差分信号の相違が小さくなることは、直交変換後の高域成分が少なくなることを意味する。つまり、原画誤差評価値が大きいイントラ予測モードを候補から除外しても予測効率は低下しない。なお、ここでは、差分絶対値を用いた原画誤差評価値の例を示したが、原画誤差評価値は原画像信号のみから算出できる値であればどのような値でも良い。

また、原画誤差評価値は、イントラ予測モードに対応した予測画像信号を必要とせず原画像信号のみから算出できるため、被イントラ予測対象ブロック単位で処理を行う必要がなく、ＭＢ（マクロブロック）単位やピクチャ単位でも処理を行うことができる。そのため、他の符号化処理との並列処理が可能となり、並列処理することにより高速化ができる。

次に、イントラ予測モード絞込み部２７では、イントラ予測モードを原画誤差評価値の小さいものから順に、例えば、全部で９個のイントラ予測モードを原画誤差評価値の小さい順に２個や、３個、４個、５個、・・・というように、回数を変更した予測モードの複数の候補群を絞り込み、予測モード候補群としてイントラ予測指示部２４に供給する。

そして、本実施の形態２のイントラ予測指示部２４では、インター予測時間計測部１２によって算出されたインター予測時間と、パラメータ設定部１３により設定されたパラメータである、インター予測とイントラ予測とに費やすことが可能な一定時間と、一回当たりイントラ予測にかかる処理時間とに基づいて、一定時間におけるイントラ予測回数を決定する。次に、本実施の形態２の場合、さらに、イントラ予測モード絞込み部２７によって絞り込まれたイントラ予測の予測モード候補群のうちから、その決定したイントラ予測回数に合致した予測モードを選択してイントラ予測部１５に出力する。なお、パラメータ設定部１３へのパラメータであるインター予測とイントラ予測とに費やすことが可能な一定時間と、一回当たりイントラ予測にかかる処理時間とは、実施の形態１と同様に、ユーザがシミューレーションした結果や、過去にイントラ予測とインター予測とをした際に計測しておいたイントラ予測とインター予測の時間などから予め設定しておく。

そして、イントラ予測部２５は、イントラ予測指示部２４によって指示された予測モードに基づいてイントラ予測を行い、予測画像と、その予測モードとを符号化部１６へ出力する。

図４（ａ）〜（ｃ）に、それぞれ、従来と、実施の形態１と、実施の形態２の動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示す。

図４（ａ），（ｂ）は、それぞれ、図２（ａ），（ｂ）に示す実施の形態１のものと内容が同じであるので、ここではその説明は省略する。

図４（ｃ）は、本実施の形態２の動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示しており、イントラ予測指示部２４は、パラメータ設定部１３からの一定時間Ａと、１回当たりのイントラ予測の処理時間ｃと、インター予測時間計測部１２からインター予測処理に要する時間Ｂ’とに基づいて、イントラ予測に費やせる時間Ｃ”（＝Ａ−Ｂ’）を求め、イントラ予測回数Ｃ”／ｃを算出する。図４（ｃ）の場合、イントラ予測回数３回と算出する。

そして、イントラ予測指示部２４は、イントラ予測モード絞込み部２７が原画誤差評価値等の入力動画像の性質（例えば、空間周波数が平均空間周波数より高い、低い等。）に応じて絞り込んだ予測モード候補群のうちから、イントラ予測回数３回に合致した予測モード、例えば、予測モード（Ｍｏｄｅ）０，２，３を選択して、イントラ予測部２５に指示する。なお、図４（ｂ）に示すように、イントラ予測指示部２４がイントラ予測回数を４回と算出した場合、イントラ予測指示部２４は、イントラ予測モード絞込み部２７が原画誤差評価値等の入力動画像に応じて絞り込んだ予測モード候補群のうちから、イントラ予測回数４回に合致した予測モードを、イントラ予測部２５に指示することになる。

従って、本実施の形態２によれば、インター予測時間計測部１２がインター予測部１１におけるインター予測の処理時間を測定してイントラ予測指示部２４へ出力すると共に、イントラ予測絞込み部２７が符号化対象画像である入力動画像の性質に応じて予めイントラ予測の予測モードを絞り込み、予測モード候補群としてイントラ予測指示部２４へ出力し、イントラ予測指示部１４がそのインター予測時間に基づき一定時間内におけるイントラ予測回数を決定して、イントラ予測モード絞込み部２７によって絞り込まれたイントラ予測の予測モード候補群のうちからイントラ予測回数に合致した予測モードをイントラ予測部１５に指示するようにしたので、インター予測時間の過多によるイントラ予測への影響を最小限に抑えることができ、インター予測およびイントラ予測の処理の破綻を防止しつつも、符号化対象画像である入力動画像の性質に応じたイントラ予測処理を実行することが可能となる。

なお、本実施の形態２では、パラメータ設定部１３は、インター予測とイントラ予測に費やすことが可能な一定時間と、ある１種類の予測モードの一回当りのイントラ予測にかかる処理時間や各予測モードの平均値とをパラメータとしてイントラ予測指示部１４に対して設定するように説明したが、本発明ではこれに限らず、例えば、最小ブロック単位毎に予測モードを決定する回路構成をとった場合には、パラメータを予測モード１種類行う場合の処理時間、２種類行う場合の処理時間、・・・９種類全ての予測モードにかかる処理時間を各々設定することになる。図５は、最小ブロック単位毎に予測モードを決定する回路構成をとった場合の時間関係を示している。つまり、１マクロブロックを各ブロック単位で（例えば４×４）で予測モードを決めてから次のブロックを処理するような回路構成にした場合は、１種類の予測モードで予測する場合と、２種類の予測モードで処理する時間の割合が等倍、すなわち図５（ｂ）に示すように、ｃ２＝２＊ｃ１とはならないので、何種類の予測モードが出来るのかを残り時間によって決めることになるからであり、その設定を各々の回数（種類）の設定をする必要があるからである。

本発明に係る動画像符号化装置の実施の形態１の構成の一例を示す図である。 （ａ）、（ｂ）、それぞれ、従来と、本実施の形態１との動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示す。 本発明に係る動画像符号化装置の実施の形態２の構成を示す図である。 （ａ）〜（ｃ）、それぞれ、従来と、実施の形態１と、実施の形態２の動画像符号化装置におけるインター予測処理とイントラ予測処理との間の時間関係を示す図である。 （ａ），（ｂ）、それぞれ、従来と、実施の形態２の動画像符号化装置の他の例におけるインター予測処理とイントラ予測処理との間の時間関係を示す図である。 （ａ）〜（ｉ）、それぞれ、Ｈ．２６４における４×４画素のイントラ予測の予測モードを示す図である。

符号の説明

１１ インター予測部
１２ インター予測時間計測部
１３ パラメータ設定部
１４、２４ イントラ予測処理決定部
１５、２５ イントラ予測部
２６ イントラ予測モード絞込み部

Claims (2)

1. 入力動画像をインター予測およびイントラ予測して符号化する動画像符号化装置であって、
   前記入力動画像をインター予測するインター予測部と、
   前記インター予測部における前記インター予測の処理時間を測定するインター予測時間計測部と、
   前記インター予測時間計測部によって測定されたインター予測時間と、一回当りのイントラ予測処理にかかる時間とに基づいて、一定時間内における前記イントラ予測の処理回数を決定して指示するイントラ予測指示部と、
   前記イントラ予測指示部によって指示された前記処理回数に基づいて、前記入力動画像をイントラ予測するイントラ予測部と、
   を有する動画像符号化装置。
2. 入力動画像をインター予測およびイントラ予測して符号化する動画像符号化装置であって、
   前記入力動画像をインター予測するインター予測部と、
   前記インター予測部における前記インター予測の処理時間を測定するインター予測時間計測部と、
   前記入力動画像に基づいて前記イントラ予測の予測モードの候補を絞り込み、絞り込んだ予測モードの候補群を出力する予測モード絞込み部と、
   前記インター予測時間計測部によって測定されたインター予測時間と、一回当りのイントラ予測処理にかかる時間とに基づいて、一定時間内における前記イントラ予測の処理回数を決定し、前記予測モード絞込み部によって絞り込まれた前記予測モードの候補群のうちから前記イントラ予測の処理回数に合致した予測モードを指示するイントラ予測指示部と、
   前記イントラ予測指示部によって指示された前記予測モードに基づいて、前記入力動画像をイントラ予測するイントラ予測部と、
   を有する動画像符号化装置。