JP2005176073A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents

Abstract

【課題】 符号化の情報圧縮の効率低下を抑えつつ、予測モード決定のための演算量を削減することが可能な動画像符号化装置を提供する。
【解決手段】 動画像符号化装置１０では、複数種類の予測モードがその類似性に応じた複数の予測モード群に分類される。複数の予測モード群各々を代表する代表予測モードが指定され、符号化効率に基づいて予測モード群が決定される。決定された予測モード群に含まれる予測モードのうち、符号化効率に基づいて最終的な予測モードが決定される。
【選択図】 図５

Description

本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関するものである。

従来の動画像符号化装置として、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、フレーム内予測および直交変換により空間方向の冗長度を削減することで動画像（入力映像）の情報圧縮を行う動画像符号化装置が知られている。（例えば、非特許文献１）。

この動画像符号化装置において適用される動き補償フレーム間予測（以下、「フレーム間予測」という。）では、符号化対象領域の分割方法に応じた複数種類の予測モードが用意されており、それらの中から符号化効率を考慮して、最終的に符号化対象領域の予測に用いられるフレーム間予測モードが決定される。

また、フレーム内予測では、符号化対象領域周辺の画素値を用いた複数種類の予測モードが用意されており、それらの中から符号化効率を考慮して、最終的に符号化対象領域の予測に用いられるフレーム内予測モードが決定される。

従来の動画像符号化装置では、複数種類のフレーム間予測モード、及びフレーム内予測モードが用いられる場合、一般的に全ての予測モードの符号化効率が計算され、最も符号化効率が高くなる予測モードが最終的な符号化対象領域の予測に用いられている。
「Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ (ＪＶＴ) ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−ＶＣＥＧ、 "Ｅｄｉｔｏｒ‘ｓ Ｐｒｏｐｏｓｅｄ Ｄｒａｆｔ Ｔｅｘｔ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ （ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）、Ｇｅｎｅｖａ ｍｏｄｅｆｉｃａｔｉｏｎｓ ｄｒａｆｔ ３７"

しかしながら、従来の動画像符号化装置では、全ての予測モードの符号化効率を計算することによって最終的に用いる予測モードが決定されるため、予測モードの決定における演算量が非常に多くなっている。

そこで、本発明は、動画像の符号化における情報圧縮の効率低下を抑えつつ、予測モード決定における演算量の削減を図ることが可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムを提供することを目的とする。

本発明の一側面に係る動画像符号化装置は、（ａ）動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類手段と、（ｂ）上記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定手段と、（ｃ）上記複数の予測モード群の各々を代表する複数の代表予測モードを上記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定手段と、（ｄ）上記第１の決定手段によって決定された上記予測モード群に含まれる予測モードを上記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、上記対象領域の符号化に用いる予測モードを決定する第２の決定手段と、を備える。

本発明の他の一側面に係る動画像符号化方法は、（ａ）分類手段が、動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類ステップと、（ｂ）指定手段が、上記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定ステップと、（ｃ）第１の決定手段が、上記複数の予測モード群の各々を代表する複数の代表予測モードを上記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定ステップと、（ｄ）第２の決定手段が、上記第１の決定手段によって決定された上記予測モード群に含まれる予測モードを上記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、上記対象領域の符号化に用いる予測モードを決定する第２の決定ステップと、を含む。

本発明の更に他の一側面にかかる動画像符号化プログラムは、コンピュータを、（ａ）動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類手段と、（ｂ）上記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定手段と、（ｃ）上記複数の予測モード群の各々を代表する複数の代表予測モードを上記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定手段と、（ｄ）上記第１の決定手段によって決定された上記予測モード群に含まれる予測モードを上記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、上記対象領域の符号化に用いる予測モードを決定する第２の決定手段と、として機能させる。

これらの発明によれば、複数種類の予測モードがそれらの類似性に基づいて複数の予測モード群に分類され、複数の予測モード群各々を代表する代表予測モードのうち、最も符号化効率が高い代表予測モードの属する予測モード群が決定される。その代表予測モードが属する予測モード群に属する予測モードのうちから、符号化対象領域に適用すべき予測モードが決定される。すなわち、代表予測モードによって、予測モード群が絞り込まれた後に、その予測モード群に属する予測モードのうちから、予測モードが決定されるので、符号化における情報圧縮の効率低下を抑えつつ、予測モード決定のための演算量を削減することができる。

上述した本発明において、複数種類の予測モードは、フレーム間予測モードであることができる。この発明によれば、類似するフレーム間予測モードを代表する代表予測モードによって、予測モード群が絞り込まれた後に、その予測モード群に属するフレーム間予測モードのうちから、フレーム間予測モードが決定されるので、符号化における情報圧縮の効率低下を抑えつつ、フレーム間予測モード決定のための演算量を削減することができる。

上述した本発明において、分類手段は、対象領域を分割する方向に応じて、フレーム間予測モードを複数の予測モード群に分類することができる。また、分類手段は、対象領域を分割する位置の偏りに応じて、フレーム間予測モードを複数の予測モード群に分類することができる。また、分類手段は、対象領域を分割する形状に応じて、フレーム間予測モードを複数の予測モード群に分類することができる。更に、分割手段は、対象領域を分割する個数に応じて、フレーム間予測モードを複数の予測モード群に分類することができる。

上述した本発明において、複数種類の予測モードは、フレーム内予測モードであることができる。この発明によれば、類似するフレーム内予測モードを代表する代表予測モードによって、予測モード群が絞り込まれた後に、その予測モード群に属するフレーム内予測モードのうちから、フレーム内予測モードが決定されるので、符号化における情報圧縮の効率低下を抑えつつ、フレーム内予測モード決定のための演算量を削減することができる。

上述した本発明において、分類手段は、上記対象領域の画素値を予測するために用いる該対象領域周辺の画素値を用いた予測の方向に応じて、上記フレーム内予測モードを上記複数の予測モード群に分類することできる。

本発明によれば、代表予測モードによって、予測モード群が絞り込まれた後に、その予測モード群に属する予測モードのうちから、予測モードが決定される。したがって、符号化における情報圧縮の効率低下を抑えつつ、予測モード決定のための演算量を削減することが可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。

本発明の実施形態にかかる動画像符号化装置について図面を参照して説明する。なお、各図において、同一の要素、又は同一の部分には同一符号を付すこととする。

[第１の実施の形態]

図１は、第１の実施の形態に係る動画像符号化装置１０の構成を示す図である。動画像符号化装置１０は、Ｈ．２６４／ＡＶＣ符号化方式に準拠した符号化装置である。

動画像符号化装置１０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置１０は、携帯電話といった移動通信端末であってもよい。すなわち、動画像符号化装置１０には、情報処理可能な装置が広く適用され得る。

動画像符号化装置１０に入力される動画像信号としての入力映像信号（動画像信号）は、フレーム画像の時間系列で構成されている。フレーム画像信号は、入力映像信号のフレーム画像単位の信号を表すものとする。以下、符号化対象のフレーム画像信号を「現フレーム」と呼ぶ。現フレームは、１６画素×１６ライン固定の正方矩形領域であるマクロブロックに分割され、マクロブロック単位で、以下の符号化処理が行われる。

Ｈ．２６４／ＡＶＣ符号化方式では、予測モードとして、複数のフレーム間予測モードと、複数のフレーム内予測モードとが用意されている。フレーム間予測モードでは、マクロブロックごとに、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号（参照フレーム画像信号）を参照して動きベクトルを検出することにより、動き補償フレーム間予測が行われる。フレーム内予測モードでは、同一空間上の現フレームの符号化済みである近傍のマクロブロックの画素値を用いた空間予測が行われる。

フレーム間予測モードにおいては、マクロブロックを更に任意の領域（例えば、８画素×１６ライン）に分割したブロック（対象領域）毎に動き検出、動き予測、および動き補償の各処理が行われる。また、フレーム内予測モードにおいては、同一空間上の現フレームの符号化済みである近傍のマクロブロックの画素値を用いて、符号化対象のマクロブロックの画素値が複数の予測方向から予測される。動画像符号化装置１０は、入力映像信号の局所的な性質に応じてマクロブロック単位で予測モードを切り替え、効率的な情報圧縮を行うことができるように構成されている。

図１に示すように、動画像符号化装置１０は、機能的に、入力部１０１と、動き検出部１０２と、動き補償部１０３と、フレームメモリ１０４と、空間予測部１０５と、スイッチ１０６と、減算器１０７と、直交変換部１０８と、量子化部１０９と、可変長符号化部１１０と、逆量子化部１１１と、逆直交変換部１１２と、加算器１１３とを備えている。

入力部１０１は、外部から入力される動画像信号としての入力映像信号１２１を受信した後、入力映像信号１２１をフレーム画像信号に分解する。入力部１０１は、フレーム画像信号１２２を減算器１０７に、同様のフレーム画像信号１２３を動き検出部１０２に、それぞれ出力する。

フレームメモリ１０４は、過去に符号化済みのフレーム画像信号を記憶する。フレームメモリ１０４は、符号化済みのフレーム画像信号を参照フレーム画像信号１２４として提供する。

動き検出部１０２は、予測モードの選択と動きベクトルの検出を行う。動き検出部１０２は、フレーム間予測モードを選択した場合、フレームメモリ１０４に蓄積されている複数の符号化済み画像信号（参照フレーム画像信号１２４）それぞれの所定の探索範囲内で、現フレームのブロック内の画像信号パターンに類似する画像信号パターンを、ブロックマッチングのような探索処理によって探索する。動き検出部１０２は、ブロックの画像信号パターンとこれに類似する参照フレーム画像信号１２４における画像信号パターンとの間の空間的な変位量である動きベクトルを検出する。動き検出部１０２は、動きベクトル差分値と、動きベクトルの検出に用いた参照フレーム画像信号を特定する参照フレーム番号と、選択された予測モード（フレーム間予測モード）とを含む信号１２５を可変長符号化部１１０へ出力する。ここで、動きベクトル差分値とは、検出した動きベクトルと、符号化済みの隣接ブロックの動きベクトルから算出される最適予測動きベクトル（動きベクトル予測値）との差分情報である。また、動き検出部１０２は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号１２６を動き補償部１０３に出力する。更に、動き検出部１０２は、選択された予測モードがフレーム間予測モードであることを特定するための予測モード信号１３１をスイッチ１０６に出力する。

動き補償部１０３は、フレームメモリ１０４に蓄積されている符号化済み画像信号のうち、動き検出部１０２から出力された参照フレーム番号によって特定される符号化済み画像信号を特定する。動き補償部１０３は、特定した符号化済み画像信号のうち、動き検出部１０２から出力された動きベクトルによって特定される部分の画像を用いて、符号化対象のブロックの予測画像信号１２７を作成する。動き補償部１０３は、作成した予測画像信号１２７をスイッチ１０６に出力する。

一方、動き検出部１０２は、フレーム内予測モードを選択した場合に、選択された予測モード１２８（フレーム内予測モード）を空間予測部１０５に出力する。動き検出部１０２は、選択された予測モード１２８を可変長符号化部１１０へ出力する。また、動き検出部１０２は、選択された予測モードがフレーム内予測モードであることを特定するための予測モード信号１３１をスイッチ１０６に出力する。この場合、動き検出部１０２は、同一空間上の現フレームの符号化済みである近傍のブロックの画素値を用いた空間予測を行うので、時間的な動きに関する情報である動きベクトル差分値および参照フレーム番号を可変長符号化部１１０へ出力することは行わない。

空間予測部１０５は、符号化済みの近傍ブロックの画像信号（参照フレーム画像信号１２９）を参照して、予測画像信号１３０を生成し、スイッチ１０６に出力する。

スイッチ１０６は、動き検出部１０２から出力された予測モード信号１３１に応じて、予測画像信号１２７と予測画像信号１３０のいずれかを選択し、選択した予測画像信号１３２を減算器１０７に出力する。すなわち、スイッチ１０６は、予測モード信号１３１からフレーム内予測モードが選択されたことが特定される場合に、空間予測部１０５から出力された予測画像信号１３０を、予測画像信号１３２として出力する。一方、スイッチ１０６は、予測モード信号１３１からフレーム間予測モードが選択されたことが特定される場合に、動き補償部１０３から出力された予測画像信号１２７を、予測画像信号１３２として出力する。また、スイッチ１０６は、予測画像信号１３２を加算器１１３に出力する。

減算器１０７は、フレーム画像信号１２２と予測画像信号１３２との差分画像信号（予測残差信号１３３）を生成し、直交変換部１０８に出力する。

直交変換部１０８は、減算器１０７から送られた予測残差信号１３３を直交変換することにより、直交変換係数１３４を生成する。直交変換部１０８は、直交変換係数１３４を量子化部１０９に出力する。

量子化部１０９は、直交変換部１０８から出力された直交変換係数１３４を量子化することにより、量子化直交変換係数１３５を生成する。量子化部１０９は、可変長符号化部１１０および逆量子化部１１１に量子化直交変換係数１３５を出力する。

可変長符号化部１１０は、量子化部１０９から出力された量子化直交変換係数１３５と、動き検出部１０２から送られた予測モードと、動きベクトル差分値と、参照フレーム番号とを、エントロピー符号化によって符号化し、圧縮ストリーム１３６に多重化して、外部へ伝送する。

逆量子化部１１１は、量子化部１０９から出力された量子化直交変換係数１３５に逆量子化処理を施すことによって、直交変換係数１３７を生成する。逆量子化部１１１は、直交変換係数１３７を逆直交変換部１１２に出力する。

逆直交変換部１１２は、逆量子化部１１１から出力された直交変換係数１３７に逆直交変換処理を施すことによって、予測残差信号１３８を生成する。逆直交変換部１１２は、予測残差信号１３８を加算器１１３に出力する。

加算器１１３は、逆直交変換部１１２から出力された予測残差信号１３８とスイッチ１０６から送られた予測画像信号１３２とを加算してフレーム画像信号１３９を生成し、フレームメモリ１０４に出力する。このフレーム画像信号１３９が、フレームメモリ１０４に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像に含められて格納される。

以下、動き検出部１０２について詳細に説明する。図２は、動き検出部１０２の構成を示す図である。図２に示すように、動き検出部１０２は、機能的に、予測モード群決定部（第１の分類手段、指定手段、第１の決定手段）２０１と、参照フレーム指定部２０２と、動きベクトル検出部２０３と、動きベクトル予測部２０４と、動きベクトル差分部２０５と、予測モード決定部（第２の決定手段）２０６を有する。

予測モード群決定部２０１は、符号化対象ブロックの分割方法が異なる複数のフレーム間予測モードを、その分割方法の類似性に基づいて複数の予測モード群に分類する。また、予測モード群決定部２０１は、複数の予測モード群各々について、その予測モード群に含まれるフレーム間予測モードを代表する一つの代表予測モードを指定する。更に、予測モード群決定部２０１は、フレーム内予測モードを８つの予測モード群として分類する。図３は、本実施形態で用いられる複数のフレーム内予測モードを示す図である。図３に示すように、本実施形態では、複数のフレーム内予測モードとして、異なる８方向にフレーム内予測を行うmode100〜107の８つのフレーム内予測モードが設けられている。したがって、本実施形態においては、フレーム内予測モードを分類した予測モード群各々における代表予測モードは、各々の予測モード群に属する一つのフレーム内予測モードに一意に決定されている。

予測モード群決定部２０１は、入力されたフレーム画像信号１２３、及び参照フレーム画像信号１２４を用いて、代表予測モードを用いた予測を行い、代表予測モードそれぞれを用いた場合の符号化効率の計算を行う。

予測モード群決定部２０１は、複数の代表予測モードのうち、符号化効率が最も高い代表予測モードが属する予測モード群を選択する。予測モード群決定部２０１は、符号化効率が最も高い代表予測モードがフレーム内予測モードである場合に、フレーム内予測モードが選択されたことを特定するための予測モード信号１３１をスイッチ１０６に出力し、予測モード１２８を空間予測部１０５、及び可変長符号化部１１０に出力して、動き検出部１０２は処理を終了する。

一方、予測モード群決定部２０１は、符号化効率が最も高い代表予測モードがフレーム間予測モードである場合には、フレーム間予測モードが選択されたことを特定するための予測モード信号１３１をスイッチ１０６に出力し、選択した予測モード群を特定するための予測モード群信号、フレーム画像信号、及び参照フレーム画像信号を含む信号２１０を参照フレーム指定部２０２に出力する。

参照フレーム指定部２０２は、順次、参照フレーム番号を指定して、フレーム画像信号、参照フレーム画像信号、予測モード群信号、及び参照フレーム番号を含む信号２１１を動きベクトル検出部２０３に出力する。

また、参照フレーム指定部２０２は、順次、参照フレーム番号を指定しつつ、参照フレーム画像信号、予測モード群信号、及び参照フレーム番号を含む信号２１２を動きベクトル予測部２０４に出力する。

動きベクトル検出部２０３は、参照フレーム指定部２０２から出力されたフレーム画像信号、参照フレーム画像信号、予測モード群信号、及び参照フレーム番号に基づいて、動きベクトルの検出を行う。

より具体的に、動きベクトル検出部２０３は、予測モード群信号によって特定される予測モード群に含まれる予測モードを順次指定し、参照フレーム指定部２０２によって指定された参照フレーム画像信号から、フレーム画像信号に類似する画像信号パターンを探索する。動きベクトル検出部２０３は、両画像信号パターン間の空間的な変位量である動きベクトルを検出し、その動きベクトルと予測モードと参照フレーム番号とを含む信号２１３を動きベクトル差分部２０５に出力する。また、動きベクトル検出部２０３は、動き補償に用いるための動きベクトルと、予測モードと、参照フレーム番号とを含む信号１２６を、予測モード決定部２０６へ出力する。

動きベクトル予測部２０４は、参照フレーム画像信号に含まれる符号化対象の所定ブロックに隣接する符号化済みブロックの動きベクトルおよびそれらの参照フレーム番号と、符号化対象の所定ブロックの予測モード群信号および参照フレーム番号を用いて、符号化対象の所定ブロックの動きベクトル予測値を算出し、算出した動きベクトル予測値と予測モードと参照フレーム番号とを含む信号２１５を、動きベクトル差分部２０５へ出力する。

動きベクトル差分部２０５は、入力された動きベクトルから動きベクトル予測値を引いた値である動きベクトル差分値を算出し、可変長符号化される予測モードと、参照フレーム番号と、動きベクトル差分値とを含む信号１２５を、予測モード決定部２０６へ出力する。

予測モード決定部２０６は、入力された動きベクトル及び参照フレーム画像に基づく予測画像信号の算出、予測残差画像の算出、予測画像の直交変換・量子化、及び量子化変換係数・動きベクトル差分値の符号化等を行い、ビット長・誤差に基づく符号化効率が高い予測モードを決定する。予測モード決定部２０６は決定した予測モードに該当する信号１２５を可変長符号化部１１０に出力する。また、予測モード決定部２０６は、決定した予測モードに該当する信号１２６を、動き補償部１０３に出力する。

以下、動き検出部１０２の予測モード群決定部２０１において行われる最適予測モードの決定法について、より詳細に説明する。

動き検出部１０２では、複数種類のフレーム間予測モードが用いられている。図４は、複数のフレーム間予測モード各々による符号化対象の所定ブロックの分割方法を示す図である。動き検出部１０２では、図４に示す複数のフレーム間予測モードごとに、分割された各領域の動きベクトルの検出、及び参照フレームの決定が行われる。例えば、図４に示す予測モードmode18では、分割された１６個の各領域に対して動きベクトルの検出および参照フレームの決定が行われる。

図４に示す全てのフレーム間予測モードについて、動きベクトルの検出および参照フレームの決定が行われる場合、最も符号化効率の高い予測モードを決定するための演算量が非常に多くなってしまう。そこで、動き検出部１０２では、予測モード群決定部２０１が、フレーム間予測モードを複数の予測モード群に分類し、各予測モード群の代表予測モードを指定する。予測モード群決定部２０１は、代表予測モードの中で最も符号化効率の高い代表予測モードが属する予測モード群を決定する。更に、決定された予測モード群に含まれるフレーム間予測モードのうちから、予測モード決定部２０６が、符号化効率を算出することによって、最終的なフレーム間予測モードを決定する。

図５は、動き検出部１０２による予測モードの決定に関する処理のフローチャートである。この処理においては、まず、予測モード群決定部２０１が、複数の予測モードを複数の予測モード群に分類する（ステップＳ０１）。

次に、予測モード群決定部２０１が、複数の予測モード群の中から１つずつ代表予測モードを指定する（ステップＳ０２）。

続いて、予測モード群決定部２０１が、全ての代表予測モードの符号化効率を計算し(ステップＳ０３)、この中で最も符号化効率の高い代表予測モードを１つ決定する。(ステップＳ０４)

予測モード群決定部２０１は、最も符号化効率の高い代表予測モードがフレーム間予測モードであるか否かを判断する（ステップＳ０５）。この判断の結果、予測モード群決定部２０１は、最も符号化効率の高い代表予測モードがフレーム内予測モードであると判断した場合には、その予測モード１２８を空間予測部１０５に出力する。一方、この判断の結果、最も符号化効率の高い代表予測モードがフレーム間予測モードである場合に、予測モード群決定部２０１は、その代表予測モードが属する予測モード群の予測モード群信号を含む信号２１０を参照フレーム指定部２０２に出力する。

次いで、動きベクトル検出部２０３が、信号２１０に含まれる予測モード群信号によって特定される予測モード群に含まれる予測モード（フレーム間予測モード）を用い、上述したように動きベクトルの検出を行う。また、動きベクトル予測部２０４が、上述したように動きベクトル予測値を算出する。更に、動きベクトル差分部２０５が、上述したように動きベクトル差分値を算出する。

次いで、予測モード決定部２０６が、予測モード群決定部２０１によって決定された予測モード群に含まれる予測モード（フレーム間予測モード）各々の符号化効率を算出して、符号化効率の高い予測モードを決定する（ステップＳ０７）。

以下、複数のフレーム間予測モードの予測モード群への分類、及び代表モードの指定に関してより詳細に説明する。図６は、フレーム間予測モードの分類および代表予測モードの指定に関する一例を示す図である。図６において、同一の予測モード群に含まれるフレーム間予測モードは、実線の矩形によって囲まれている。また、代表予測モードは、破線によって囲まれたフレーム間予測モードである。図６に示すように、複数のフレーム間予測モード各々を、マクロブロックを分割する方向に応じて分類することができる。図６において、予測モード群５１は、マクロブロックを水平・垂直両方向に均等に分割する複数のフレーム間予測モードを含む。予測モード群５２は、マクロブロックを垂直方向に多く分割する複数のフレーム間予測モードを含む。予測モード群５３は、マクロブロックを水平方向に多く分割する複数のフレーム間予測モードを含む。予測モード群５４は、マクロブロックを右下方向に分割する複数のフレーム間予測モードを含む。予測モード群５５は、マクロブロックを左下方向に分割する複数のフレーム間予測モードを含む。図６に示す分類では、各予測モード群の代表予測モードとして、mode0、mode1、mode2、mode7、mode9が指定されている。予測モード群決定部２０１は、予測モード群に含まれるフレーム間予測モードと代表予測モードを記録したテーブル等を参照することによって、予測モード群への分類及び代表モードの指定を行うことができる。

図６に示す予測モード群を用いる場合、予測モード群決定部２０１は、まず、各予測モード群の代表予測モードとして、例えばmode0、mode1、mode2、mode7、mode9を指定する。

次に、予測モード群決定部２０１は、代表予測モード（mode0、mode1、mode2、mode7、mode9）の符号化効率を計算し、最も符号化効率が高い代表予測モードが属する予測モード群を決定する。

そして、予測モード決定部２０６が、予測モード群決定部２０１によって決定された予測モード群に含まれる予測モードのうち、符号化効率が最も高い予測モードを決定する。例えば、符号化効率が高い代表予測モードがmode1である場合には、mode1が属する予測モード群５２が選択され、予測モード群５２に含まれるフレーム間予測モード（mode1、mode3、mode4、mode16）の符号化効率が計算され、最も符号化効率の高いフレーム間予測モードが最終的なフレーム間予測モードとして決定される。

次に、コンピュータを上述した動画像符号化装置１０として機能させるための動画像符号化プログラム６１０について説明する。図７は動画像符号化プログラム６１０の構成を示す図である。

図７に示されるように、動画像符号化プログラム６１０は、処理を統括するメインモジュールプログラム６１１と、入力モジュール６１２と、動き検出モジュール６１３と、動き補償モジュール６１４と、空間予測モジュール６１５と、スイッチモジュール６１６と、減算モジュール６１７と、直交変換モジュール６１８と、量子化モジュール６１９と、可変長符号化モジュール６２０と、逆量子化モジュール６２１と、逆直交変換モジュール６２２と、加算モジュール６２３とを備える。動き検出モジュール６１３は、予測モード群決定モジュール６１３ａ、参照フレーム決定モジュール６１３ｂ、動きベクトル検出モジュール６１３ｃ、動きベクトル予測モジュール６１３ｄ、動きベクトル差分モジュール６１３ｅ、及び予測モード決定モジュール６１３ｆを含む。

入力モジュール６１２、動き検出モジュール６１３、予測モード群決定モジュール６１３ａ、参照フレーム決定モジュール６１３ｂ、動きベクトル検出モジュール６１３ｃ、動きベクトル予測モジュール６１３ｄ、動きベクトル差分モジュール６１３ｅ、予測モード決定モジュール６１３ｆ、動き補償モジュール６１４、空間予測モジュール６１５、スイッチモジュール６１６、減算モジュール６１７、直交変換モジュール６１８、量子化モジュール６１９、可変長符号化モジュール６２０、逆量子化モジュール６２１、逆直交変換モジュール６２２、加算モジュール６２３がコンピュータに行わせる機能はそれぞれ対応の、上述した入力部１０１、動き検出部１０２、予測モード群決定部２０１、参照フレーム指定部２０２、動きベクトル検出部２０３、動きベクトル予測部２０４、動きベクトル差分部２０５、予測モード決定部２０６、動き補償部１０３、空間予測部１０５、スイッチ１０６、減算器１０７、直交変換部１０８、量子化部１０９、可変長符号化部１１０、逆量子化部１１１、逆直交変換部１１２、加算器１１３と同様である。

なお、動画像符号化プログラム６１０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、動画像符号化プログラム６１０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

以上述べた動画像符号化装置１０によれば、予測モード群決定部２０１が、複数種類のフレーム間予測モードをマクロブロックを分割する方向に応じて複数の予測モード群に分類する。予測モード群決定部２０１は、それらの予測モード群の代表予測モードのなかで最も符号化効率高い代表予測モードが属する予測モード群を選択し、その予測モード群に含まれるフレーム間予測モードのみの符号化効率を計算する。このように、動画像符号化装置１０は、複数のフレーム間予測モードを分類し、段階的に絞り込みつつフレーム間予測モードを決定しているので、フレーム間予測モード決定のための演算量を削減することができる。

また、動画像符号化装置１０は、マクロブロックを分割する方向の類似性に応じて複数のフレーム間予測モードを分類する方法を採用しているので、マクロブロック内の画像の動きの方向に適したフレーム間予測モードを段階的に絞り込むことができるので、符号化の情報圧縮の効率低下を抑えつつ、演算量を削減することができる。例えば、フレーム間予測モードとして図６に示すmode4を用いる場合に符号化効率が最も高くなるマクロブロックにおいては、マクロブロック内の左右の領域で異なる動きがあると考えられる。そのとき、図６の代表予測モードで最も符号化効率が高くなる予測モードは、マクロブロック内の左右領域で異なる動きを表現できるmode1になると考えられる。このmode1が属する予測モード群５２のフレーム間予測モードの符号化効率を計算することで、この符号化対象のマクロブロックを符号化するのに最も適しているmode4を最終的なフレーム間予測モードとして決定することができる。ここで、全てのモードの符号化効率を計算して最終的なフレーム間予測モードを決定する方法の場合、mode0からmode18の１９種類の符号化効率を計算する必要がある。これに対して、図６に示すように予測モード群に分類して最終的なフレーム間予測モードを決定する本実施の形態の場合、代表予測モードを５種類(mode0、mode1、mode2、mode7、mode9)と、代表予測モードの中で最も符号化効率の高い予測モード(mode1)が属する予測モード群（予測モード群５２）のmode1を除くその他のフレーム間予測モード(mode3、mode4、mode16)の３種類をあわせた８種類の符号化効率のみを計算すればよいので、演算量が削減される。

なお、予測モード群への分類方法については、図６に示される態様に限らず他の方法を採用することが可能である。図８、図９、図１０、及び図１３は、フレーム間予測モードの分類、及び代表予測モードの指定に関する他の一例を示す図である。

図１３に示す分類においては、予測モード群９１は、マクロブロックをほぼ位置の偏りなく分割する複数のフレーム間予測モードを含む。予測モード群９２は、マクロブロックを右側に偏った位置で分割する複数のフレーム間予測モードを含む。予測モード群９３は、マクロブロックを左側に偏った位置で分割する複数のフレーム間予測モードを含む。予測モード群９４は、マクロブロックを下側に偏った位置で分割する複数のフレーム間予測モードを含む。予測モード群９５は、マクロブロックを上方に偏った位置で分割する複数のフレーム間予測モードを含む。図１３においても、点線で囲まれているフレーム間予測モードが各予測モード群を代表する代表予測モードである。

図１３に示す分類を用いる場合には、分割する位置の偏りに応じて複数のフレーム間予測モードを分類することによって、マクロブロック内の画像の動きの境界位置に適したフレーム間予測モードを段階的に絞り込みつつ決定することができるので、符号化の情報圧縮の効率低下を抑えつつ、演算量を削減することができる。すなわち、符号化対象のマクロブロックに適用すべきフレーム間予測モードとして、マクロブロック内のある位置に動き境界が存在するフレーム間予測モードが最適である場合には、その動き境界付近でマクロブロックを分割する代表予測モードの符号化効率が高くなると考えられる。したがって、その代表予測モードが属する予測モード群に含まれる最適なフレーム間予測モードを、全てのフレーム間予測モードの符号化効率を計算することなく決定することが可能となる。全てのフレーム間予測モードの符号化効率を計算する場合には、１９種類のフレーム間予測モードの符号化効率を計算しなくてはならないが、図１３に示すようにフレーム間予測モードを分類した場合には、最多で１３種類（予測モード群９１の代表予測モードが選ばれた場合）のフレーム間予測モードの符号化効率を計算すれば良いので、演算量が削減される。

また、図１３のように、複数の予測モードを複数の予測モード群に分類するとき、異なる予測モード群に同一の予測モードが複数存在するように分類しても良い。

図８に示す分類においては、予測モード群７１は、マクロブロックを正方形に分割する複数のフレーム間予測モードを含む。予測モード群７２は、マクロブロックを縦横比１対２または２対１の長方形で分割する複数のフレーム間予測モードを含む。予測モード群７３はマクロブロックを縦横比１対４または４対１の長方形で分割する複数のフレーム間予測モードを含む。予測モード群７４、７５はそれぞれマクロブロックを斜め方向に同様の形状で分割する複数のフレーム間予測モードを含む。図８においても、点線で囲まれているフレーム間予測モードが、各予測モード群を代表する代表予測モードである。

図８に示す分類を用いる場合には、形状の類似性に応じて複数のフレーム間予測モードを分類することによって、マクロブロック内の画像の形状に適したフレーム間予測モードを段階的に絞り込みつつ決定することができるので、符号化の情報圧縮の効率低下を抑えつつ、演算量を削減することができる。すなわち、符号化対象のマクロブロックに適用すべきフレーム間予測モードとして、マクロブロックをある形状に分割するフレーム間予測モードが最適である場合には、同一の形状にマクロブロックを分割する代表予測モードの符号化効率が高くなると考えられる。したがって、その代表予測モードが属する予測モード群に含まれる最適なフレーム間予測モードを、全てのフレーム間予測モードの符号化効率を計算することなく決定することが可能となる。また、全てのフレーム間予測モードの符号化効率を計算する場合には、１９種類のフレーム間予測モードの符号化効率を計算しなくてはならないが、図８に示すようにフレーム間予測モードを分類した場合には、最多で８種類（予測モード群７２、７３、７４、７５の代表予測モードが選ばれた場合）のフレーム間予測モードの符号化効率を計算すればよいので、演算量が削減される。

図９に示す分類においては、予測モード群８１はマクロブロックをそのままのサイズで用いるフレーム間予測モードを含む。予測モード群８２は、マクロブロック２個に分割する複数のフレーム間予測モードを含む。予測モード群８３はマクロブロックを４個以上に分割する複数のフレーム間予測モードを含む。図９に示す分類においても、点線で囲まれているフレーム間予測モードが、各予測モード群を代表する代表予測モードである。

図９に示す分類を用いる場合には、マクロブロックを分割する個数に応じて複数のフレーム間予測モードを分類することによって、マクロブロック内の画像の動きの細かさに適したフレーム間予測モードを段階的に絞り込みつつ決定することができるので、符号化の情報圧縮の効率低下を抑えつつ、演算量を削減することができる。すなわち、符号化対象のマクロブロックが細かい動きの画像である場合には、フレーム間予測モードとしてマクロブロックを多くの個数に分割するフレーム間予測モードが最適であるので、複数の代表予測モードのうちで、マクロブロックを多くの個数に分割する代表予測モードの符号化効率が高くなると考えられる。したがって、その代表予測モードが属する予測モード群に含まれる最適なフレーム間予測モードを、全てのフレーム間予測モードの符号化効率を計算することなく決定することが可能となる。また、全てのフレーム間予測モードの符号化効率を計算する場合には、１９種類のフレーム間予測モードの符号化効率を計算しなくてはならないが、図９に示すようにフレーム間予測モードを分類した場合の演算量は、最多の場合(予測モード群８２)で、代表予測モード３種類と予測モード群８２に属する複数のフレーム間予測モードのうち代表予測モード（mode1）を除いたフレーム間予測モードを１３種類の合計１６種類のフレーム間予測モードの符号化効率を計算すれば良い。

更に、図１０に示す分類によれば、最適なフレーム間予測モードを他段階に分けて絞り込むことができる。図１０において、実線の矩形で囲まれたフレーム間予測モードは同一の予測モード群に属する。すなわち、図１０に示す分類では、複数のフレーム間予測モードが、予測モード群９１〜９３に分類され、更に予測モード群９２に含まれる複数のフレーム間予測モードは、予測モード群９２１〜９２４に分類される。図１０において、点線で囲まれたフレーム間予測モードは、第１段階目に符号化効率が計算される代表予測モードであり、各々、予測モード群９１〜９３を代表している。図１０において、一点鎖線で囲まれたフレーム間予測モード（mode1〜4)は、mode1を除きそれぞれ対応の予測モード群９２１〜９２３を代表する代表予測モードである。１段階目の符号化効率の計算によってmode1の代表予測モードが最も高い符号化効率であると判断された場合には、予測モード群９２２〜９２４の代表予測モードであるmode2〜４の符号化効率が計算され、mode1〜mode４のうち最も符号化効率の高い代表予測モードが属する予測モード群（予測モード群９２１〜９２４）が２段階目に選択される。この分類によれば、最多の場合(予測モード群９２１)で、１段階目に代表予測モードを３種類と、２段階目に代表予測モードを３種類、さらに予測モード群９２１の残りのフレーム間予測モードを４種類の合計１０種類のフレーム間予測モードの符号化効率を計算すれば良いので、さらに演算量が削減される。

[第２の実施の形態]

本発明の第２の実施の形態について説明する。第２の実施の形態の動画像符号化装置の基本構成は、第１の実施の形態における動画像符号化装置１０の構成装置と同様である。したがって、図１を参照しつつ、各構成要素には同一の符号を用い、その説明を省略する。以下においては、第１の実施の形態と異なる第２の実施の形態の動画像符号化装置１０の動き検出部１０２について説明する。なお、コンピュータを第２の実施の形態の動画像符号化装置として機能させるための動画像符号化プログラムも、動き検出部１０２の動作が異なるのみで、その構成は第１の実施の形態の動画像符号化プログラム６１０と同様である。よって、第２の実施の形態の動画像符号化プログラムに関する構成の説明は省略する。

第２の実施の形態では、第１の実施の形態と同様に、動き検出部１０２は、機能的に、予測モード群決定部（第１の分類手段、指定手段、第１の決定手段）２０１と、参照フレーム指定部２０２と、動きベクトル検出部２０３と、動きベクトル予測部２０４と、動きベクトル差分部２０５と、予測モード決定部（第２の決定手段）２０６を備えて構成される。

予測モード群決定部２０１の動作において、第１の実施形態との相違点は、複数種類のフレーム内予測モードも、複数の予測モード群に分類されている点である。

第２の実施形態においても、図３に示すmode100からmode107の８方向の予測方向でフレーム内予測を行う。第２の実施の形態では、更に演算量を削減するために、予測モード群決定部２０１は、複数のフレーム内予測モードを複数のフレーム内予測モード群に分類する。なお、複数のフレーム間予測モードの予測モード群への分類は、第１の実施形態と同様の分類方法を採用することができる。

予測モード群決定部２０１は、各予測モード群の代表予測モードについて符号化効率を計算する。予測モード群決定部２０１は、最も符号化効率の高い代表予測モードが属する予測モード群を決定し、その予測モード群に含まれるフレーム内予測モード又はフレーム間予測モードの符号化効率を計算して、最終的な予測モードを決定する。

図１１は、第２の実施の形態の動き検出部１０２による予測モードの決定に関する処理のフローチャートである。この処理において、予測モード群決定部２０１が、まず、複数のフレーム内予測モードを複数の予測モード群に分類し、また、複数のフレーム間予測モードを複数の予測モード群に分類する（ステップＳ１０１）。次に、予測モード群決定部２０１は、各予測モード群から１つずつ代表予測モードを指定する（ステップＳ１０２）。

続いて、予測モード群決定部２０１は、全ての代表予測モードの符号化効率を計算し(ステップＳ１０３)、最も符号化効率の高い代表予測モードが属する予測モード群を決定する。(ステップＳ１０４)

予測モード群決定部２０１は、ステップＳ１０４において決定された予測モード群がフレーム間予測モードを含むものであるか否かを判断する（ステップＳ１０５）。この判断の結果、決定された予測モード群がフレーム間予測モードを含むものである場合に、予測モード群決定部２０１は、その予測モード群に含まれるフレーム間予測モードの符号化効率を計算し（ステップＳ１０６）、最も符号化効率の高い予測モードを決定する（ステップＳ１０７）。

一方、決定された予測モード群がフレーム内予測モードを含むものである場合に、予測モード群決定部２０１は、その予測モード群に属するフレーム内予測モードの符号化効率をすべて計算し(ステップＳ１０８)、最も符号化効率の高い予測モードを決定する（ステップＳ１０９）

ここで、複数のフレーム内予測モードを複数のフレーム内予測モード群に分類する方法としては、図１２に示す分類方法を用いることができる。図１２は、フレーム内予測モードの分類及び代表予測モードの指定に関する一例を示す図である。図１２において、実線によって囲まれたフレーム内予測モードは同一の予測モード群に属する。また、図１２において点線で囲まれたフレーム内予測モードは、各予測モード群を代表する代表予測モードである。図１２に示すように、予測に用いる画素に至る方向の類似性に応じて、複数のフレーム内予測モードを複数の予測モード群に分類することができる。

この分類によれば、第２の実施形態の動画像符号化装置１０では、代表予測モードの符号化効率を計算することによって、大よそのフレーム内予測モードの予測方向が決定される。そして、最も符号化効率の高い代表予測モードが属する予測モード群に含まれているフレーム内予測モードを用いて、符号化効率を計算することによって、更に細かい精度の予測方向が決定される。

全てのフレーム内予測モードの予測方向の符号化効率を計算する場合は８種類の符号化効率を計算する必要があるが、第２の実施形態の動画像符号化装置１０では、最多で代表予測モードを４種類と、最も符号化効率の高かった代表予測モードが属する予測モード群の残りのフレーム内予測モードを２種類の合計である６種類のフレーム内予測モードの符号化効率を計算すれば良いので、演算量が削減される。

以上、好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることができることは、当業者によって認識される。本発明は、実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。

図１は、本実施の形態にかかる動画像符号化装置の構成を示す図である。 図２は、動き検出部の構成を示す図である。 図３は、複数のフレーム内予測モードを示した図である。 図４は、複数のフレーム間予測モード各々による符号化対象の所定ブロックの分割方法を示す図である。 図５は、動き検出部による予測モードの決定に関する処理のフローチャートである。 図６は、フレーム間予測モードの分類、及び代表予測モードの指定に関する一例を示す図である。 図７は、本実施の形態にかかる動画像符号化プログラムの構成を示す図である。 図８は、フレーム間予測モードの分類、及び代表予測モードの指定に関する他の一例を示す図である。 図９は、フレーム間予測モードの分類、及び代表予測モードの指定に関する他の一例を示す図である。 図１０は、第２の実施の形態のフレーム間予測モードの分類、及び代表予測モードの指定に関する他の一例を示す図である。 図１１は、動き検出部による予測モードの決定に関する処理のフローチャートである。 図１２は、フレーム内予測モードの分類、及び代表予測モードの指定に関する一例を示す図である。 図１３は、フレーム間予測モードの分類、及び代表予測モードの指定に関する他の一例を示す図である。

符号の説明

１０…動画像符号化装置、１０１…入力部、１０２…動き検出部、１０３…動き補償部、１０４…フレームメモリ、１０５…空間予測部、１０６…スイッチ、１０７…減算器、１０８…直交変換部、１０９…量子化部、１１０…可変長符号化部、１１１…逆量子化部、１１２…逆直交変換部、１１３…加算器、２０１…予測モード群決定部、２０１…予測モード決定部、２０２…参照フレーム指定部、２０３…動きベクトル検出部、２０４…動きベクトル予測部、２０５…動きベクトル差分部、２０６…予測モード決定部。

Claims (10)

1. 動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類手段と、
   前記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定手段と、
   前記複数の予測モード群の各々を代表する複数の代表予測モードを前記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定手段と、
   前記第１の決定手段によって決定された前記予測モード群に含まれる予測モードを前記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、前記対象領域の符号化に用いる予測モードを決定する第２の決定手段と、
   を備える動画像符号化装置。
2. 前記複数種類の予測モードは、フレーム間予測モードである、請求項１に記載の動画像符号化装置。
3. 前記分類手段は、前記対象領域を分割する方向に応じて、前記フレーム間予測モードを前記複数の予測モード群に分類する、請求項２に記載の動画像符号化装置。
4. 前記分類手段は、前記対象領域を分割する位置の偏りに応じて、前記フレーム間予測モードを前記複数の予測モード群に分類する、請求項２に記載の動画像符号化装置。
5. 前記分類手段は、前記対象領域を分割する形状に応じて、前記フレーム間予測モードを前記複数の予測モード群に分類する、請求項２に記載の動画像符号化装置。
6. 前記分類手段は、前記対象領域を分割する個数に応じて、前記フレーム間予測モードを前記複数の予測モード群に分類する、請求項２に記載の動画像符号化装置。
7. 前記複数種類の予測モードは、フレーム内予測モードである、請求項１に記載の動画像符号化装置。
8. 前記分類手段は、前記対象領域の画素値を予測するために用いる該対象領域周辺の画素値を用いた予測の方向に応じて、前記フレーム内予測モードを前記複数の予測モード群に分類する、請求項７に記載の動画像符号化装置。
9. 分類手段が、動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類ステップと、
   指定手段が、前記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定ステップと、
   第１の決定手段が、前記複数の予測モード群の各々を代表する複数の代表予測モードを前記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定ステップと、
   第２の決定手段が、前記第１の決定手段によって決定された前記予測モード群に含まれる予測モードを前記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、前記対象領域の符号化に用いる予測モードを決定する第２の決定ステップと、
   を含む動画像符号化方法。
10. コンピュータを、
    動画像信号における符号化対象の対象領域に適用する複数種類の予測モードを、該複数の予測モードの類似性に関する所定の基準に基づいて複数の予測モード群に分類する分類手段と、
    前記複数の予測モード群各々に関して、その予測モード群を代表する代表予測モードを指定する指定手段と、
    前記複数の予測モード群の各々を代表する複数の代表予測モードを前記対象領域に適用し、符号化効率に基づいて、該複数の代表予測モードのうち１つの代表予測モードが属する予測モード群を決定する第１の決定手段と、
    前記第１の決定手段によって決定された前記予測モード群に含まれる予測モードを前記対象領域に適用し、符号化効率に基づいて、該予測モード群に含まれる予測モードのうち、前記対象領域の符号化に用いる予測モードを決定する第２の決定手段と、
    として機能させるための動画像符号化プログラム。

Images