JP2008271068A - 動画像符号化方法，動画像並列符号化用符号化器，動画像並列符号化方法，動画像並列符号化装置，それらのプログラム，およびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】ループフィルタ機能を有効としたまま，動画像並列符号化処理における並列度を容易に上げることができるようにする。
【解決手段】入力フレームを水平方向の短冊状領域に分割し，複数の符号化器がそれぞれ各短冊状領域の符号化処理とループフィルタ処理を担当する。このとき，符号化処理については，各短冊状領域を格子状に分割して得られる矩形小領域について，水平ラスタスキャン順に符号化を行い，ループフィルタ処理については，ローカルデコード画像の短冊状領域を格子状に分割して得られる矩形小領域について，垂直ラスタスキャン順にフィルタ処理を行う。上下に隣接する短冊状領域の符号化を担当する符号化器間では，隣接する矩形小領域のフィルタ処理後の画像を転送し，フィルタ処理に用いる。
【選択図】図７

Description

本発明は，動画像の符号化を複数の符号化器を用いて並列に実行する動画像並列符号化方法に関するものである。

ＭＰＥＧ−２規格（ＩＳＯ／ＩＥＣ １３８１８−２）［非特許文献１参照］に準拠して並列符号化処理を行う場合において，入力された動画像の各フレームを水平方向に領域分割してＮ個の短冊状分割領域を生成し，Ｎ個の符号化器がそれぞれ一つの短冊状分割領域を担当して符号化する方法が提案されている［非特許文献２参照］。

図９は，従来のＭＰＥＧ−２規格に準拠した並列符号化処理の例を示すブロック図である。また，図１０は，入力フレームを短冊状領域に分割する例を示している。図９では，入力フレームを図１０に示すように４つの短冊状領域に分割し，４つの符号化器１０２〜１０５にて並列符号化動作を行う例を記載している。

入力フレームは，画面分割処理部１０１に入力され，Ｎ個（この例ではＮ＝４）の短冊状領域（１〜４）に分割される。生成された各短冊状領域は，それぞれ符号化器１０２〜１０５に入力され，並列して同時に符号化され，各符号化器１０２〜１０５からそれぞれ分割符号化データが出力される。これらの分割符号化データは，ストリーム連結部１０６に入力される。各分割符号化データはそれぞれバイトアライメントがとれた状態であるため，ストリーム連結部１０６にて単純に連結することで，ＭＰＥＧ−２規格に準拠した符号化データが出力される。

このＭＰＥＧ−２規格に準拠した符号化器１０２〜１０５は，同一の構成からなる。符号化器１０２〜１０５の構成例を図１１に示す。

各符号化器１０２〜１０５は，短冊状領域を処理対象の入力画像とする。入力された短冊状領域は，マクロブロック分割部１１０に入力される。マクロブロック分割部１１０は，短冊状領域をマクロブロックと呼ばれる１６×１６画素（輝度信号の場合）の符号化処理単位に分割し，処理対象マクロブロックとして減算器１１１に出力する。

減算器１１１には，処理対象マクロブロックの入力と同時に，イントラインター選択部１１２によりインターが選択された場合にはインター予測画像マクロブロックが入力され，イントラが選択された場合には無効画像（画素値がすべて０のマクロブロック）が予測マクロブロックとして入力される。減算器１１１は，これらをマクロブロック内の画素単位で減算した結果をＤＣＴ部１１３に出力する。

ＤＣＴ部１１３は，減算器１１１の出力に対してＤＣＴ変換を行い，ＤＣＴ変換係数を量子化部１１４に出力する。量子化部１１４は，指定された量子化ステップにて量子化処理を行い，量子化係数を情報源符号化部１１５に出力する。情報源符号化部１１５は，ハフマン符号を用いた二次元可変長符号化を行い，分割符号化データを出力する。

量子化部１１４から出力される量子化係数は，逆量子化部１１６にも入力され，逆量子化処理が行われ，逆量子化部１１６から逆量子化後ＤＣＴ変換係数が出力される。逆量子化後ＤＣＴ変換係数は，逆ＤＣＴ部１１７に入力され，逆ＤＣＴ部１１７により逆ＤＣＴ変換された変換後マクロブロックが加算器１１８に出力される。加算器１１８には，予測マクロブロックが併せて入力され，画素ごとに加算処理が行われ，加算結果のローカルデコードマクロブロックがフレームメモリ１１９に出力される。

フレームメモリ１１９では，マクロブロックを水平ラスタスキャン順に再構成を行い，短冊状領域ローカルデコード画像として記録する。なお，隣接する符号化器１０２〜１０５間でそれぞれ短冊状領域ローカルデコード画像を互いに転送することで，隣接する符号化器の所有する短冊状領域ローカルデコード画像を取得し，上隣接・下隣接の短冊状領域ローカルデコード画像を合わせて入力フレーム全体のローカルデコード画像を生成し，フレームメモリ１１９に記録してもよい。

動き予測部１２０には，処理対象マクロブロックとローカルデコード画像が入力され，動き推定処理が行われ，推定された動きベクトルが動き補償部１２１に出力される。動き補償部１２１は，動きベクトルがローカルデコード画像内で示す位置のマクロブロックを抽出し，インター予測画像マクロブロックとしてイントラインター選択部１１２に出力する。

同様に，Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）［非特許文献３参照］に準拠して並列符号化処理を行う場合についても，Ｈ．２６４規格の特徴であるループフィルタ処理（デブロッキングフィルタ処理）の機能をオフとした場合には，図９と同様な構成にて動画像並列符号化処理を実現することが可能である。

すなわち，図９における符号化器において，ＭＰＥＧ−２規格に準拠して符号化処理を行うときと同様に，入力フレームは画面分割処理部１０１に入力され，図１０に示すようにＮ個の短冊状領域に分割される。生成された各短冊状領域は，それぞれ符号化器１０２〜１０５に入力され，並列して同時にＨ．２６４規格に準拠して符号化され，各符号化器１０２〜１０５からそれぞれ分割符号化データが出力される。符号化器１０２〜１０５から出力された分割符号化データは，ストリーム連結部１０６に入力される。各分割符号化データはそれぞれバイトアライメントがとれた状態であるため，ストリーム連結部１０６にて単純に連結することで，Ｈ．２６４規格に準拠した符号化データが出力される。Ｈ．２６４規格（ループフィルタ設定はＯＦＦ）に準拠して並列符号化する場合の符号化器１０２〜１０５の構成例を図１２に示す。

各Ｈ．２６４規格に準拠して短冊状領域を符号化する符号化器１０２〜１０５は，短冊状領域を処理対象の入力画像とする。この短冊状領域は，マクロブロック分割部２１０に入力される。マクロブロック分割部２１０は，短冊状領域をマクロブロックと呼ばれる符号化処理単位に分割し，処理対象マクロブロックとして減算器２１１に出力する。

減算器２１１には，処理対象マクロブロックと同時に，イントラインター選択部２１２によりインターが選択された場合にはインター予測画像マクロブロックが入力され，イントラが選択された場合にはイントラ予測画像マクロブロックが予測マクロブロックとして入力される。減算器２１１は，これらをマクロブロック内の画素単位で減算した結果を整数ＤＣＴ部２１３に出力する。

整数ＤＣＴ部２１３は，減算器２１１の出力に対してＤＣＴ変換を行い，ＤＣＴ変換係数を量子化部２１４に出力する。量子化部２１４は，指定された量子化ステップにて量子化処理を行い，量子化係数を情報源符号化部２１５に出力する。情報源符号化部２１５では，ＣＡＶＬＣと呼ばれるコンテキスト適応型可変長符号あるいはＣＡＢＡＣと呼ばれるコンテキスト適応型算術符号を用いた情報源符号化処理が行われ，分割符号化データが出力される。

量子化部２１４から出力される量子化係数は，逆量子化部２１６にも入力され，逆量子化部２１６で逆量子化処理が行われ，逆量子化後ＤＣＴ変換係数が出力される。逆量子化後ＤＣＴ変換係数は，逆整数ＤＣＴ部２１７に入力され，逆整数ＤＣＴ処理が行われ，変換後マクロブロックが加算器２１８に出力される。加算器２１８には，予測マクロブロックが併せて入力され，画素ごとに加算処理が行われ，フィルタ前フレームメモリ２１９にローカルデコードマクロブロックが出力される。フィルタ前フレームメモリ２１９では，マクロブロックがラスタスキャン順に再構成され，フィルタ前短冊状領域ローカルデコード画像として記録される。

フィルタ前短冊状領域ローカルデコード画像は，ループフィルタがＯＮの場合にはループフィルタ部２２０に入力される。ループフィルタ部２２０は，入力画像についてマクロブロック境界のブロックノイズを除去して，フィルタ後短冊状領域ローカルデコード画像としてフィルタ後フレームメモリ２２１に出力し，フィルタ後フレームメモリ２２１に蓄積する。また，ループフィルタがＯＦＦの動作としては，フィルタ前短冊状領域ローカルデコード画像とフィルタ後短冊状領域ローカルデコード画像は同一のものであり，フィルタ前フレームメモリ２１９に蓄積された画像がそのままフィルタ後フレームメモリ２２１に転送され蓄積される。

図９および図１２に示すような構成で画面を水平短冊状に分割して並列符号化処理を行うことができるのは，ループフィルタがＯＦＦに選択された場合に限られる。ループフィルタがＯＮの場合には，後述する問題があるため，図９および図１２に示す構成ではＨ．２６４規格に準拠した符号化の実現は不可能である。

図９で示した構成と同様に，隣接する符号化器１０２〜１０５間でそれぞれフィルタ後短冊状領域ローカルデコード画像を互いに転送することにより，隣接する符号化器の所有するフィルタ後短冊状領域ローカルデコード画像を取得し，上隣接・下隣接の短冊状領域ローカルデコード画像を合わせて入力フレーム全体のフィルタ後ローカルデコード画像を生成し，フィルタ後フレームメモリ２２１に記録してもよい。上隣接・下隣接の短冊状領域ローカルデコード画像も合わせてフィルタ後フレームメモリ２２１に記録することにより，後述する動き予測・動き補償処理の探索範囲を当該短冊状領域外まで広げることが可能となり，符号化効率が改善される。

動き予測部２２２には，処理対象マクロブロックとフィルタ後ローカルデコード画像が入力され，動き推定処理が行われ，推定された動きベクトルが動き補償部２２３に出力される。動き補償部２２３は，動きベクトルがフィルタ後ローカルデコード画像内で示す位置のマクロブロックを抽出し，インター予測画像マクロブロックとしてイントラインター選択部２１２に出力する。

一方，イントラ予測モード評価部２２４およびイントラ予測値生成部２２５には，フィルタ前フレームメモリ２１９からフィルタ前短冊状領域ローカルデコード画像が入力される。Ｈ．２６４規格では，イントラ予測はループフィルタ部２２０での処理が行われる前のローカルデコード画像に対して行われることになっているため，このような構成となる。イントラ予測モード評価部２２４では，選択可能な各種イントラ予測モードから適切な予測モードが選択され，イントラ予測モード符号がイントラ予測値生成部２２５に出力される。イントラ予測値生成部２２５は，フィルタ前短冊状領域ローカルデコード画像およびイントラ予測モード符号からイントラ予測画像マクロブロックを生成し，イントラインター選択部２１２に出力する。

なお，Ｈ．２６４規格では，スライスヘッダに存在するdisable ＿deblocking＿filter＿idc というフラグを用いることで，ループフィルタの有効化・無効化の設定が可能である。
ITU-T Recommendation H.262(2000)｜ISO/IEC 13818-2:2000，"Information technology−Generic coding of moving pictures and associated audio information:Video"，International Standard，second edition，December 2000 ． 中村他，"複数ＳＤＴＶエンコーダＬＳＩによるＭＰＥＧ−２ ＨＤＴＶエンコーダシステム"，電子情報通信学会，信学技報，ICD2001-78(2001-08), pp.91-96 ． ITU-T Recommendation H.264 :"Advanced Video Coding for generic audiovisual services"(2003)｜ISO/IEC 14496-10: "Coding of audiovisual objects - Part 10: Advanced Video Coding"(2003)．

Ｈ．２６４規格では，ローカルデコード画像にフィルタ処理を行った画像を以降のインター予測画像生成に用いる規定となっている。また，ループフィルタ処理では，図１３に示すように，少なくても復号器においてはフレームの左上のマクロブロックから右下のマクロブロックに向けて水平ラスタスキャン順に各マクロブロックごとのフィルタ処理を行うことが規定されている。したがって，フィルタ処理対象マクロブロックの左隣接および上隣接の両マクロブロックは，フィルタ処理が終えている必要があり，フィルタ処理が既に行われた両マクロブロックと符号化対象マクロブロックとの間でフィルタ処理が行われる必要がある。

ループフィルタ部２２０の構成例を，図１４に示す。ループフィルタ部２２０に入力されたフィルタ前短冊状領域ローカルデコード画像は，マクロブロック分割部３０１に入力される。マクロブロック分割部３０１は，短冊状領域をマクロブロックと呼ばれる符号化処理単位に分割し，水平ラスタスキャン順に各マクロブロックを処理対象マクロブロックとして対垂直エッジ水平フィルタ部３０２に出力する。対垂直エッジ水平フィルタ部３０２では，マクロブロック内の４画素おきの垂直方向のエッジに対して，順に水平方向にフィルタ処理を行う。

図１５の左側に対垂直エッジ水平フィルタ部３０２の処理概要を示す。対垂直エッジ水平フィルタ部ａ３０３では，垂直エッジａを構成する各画素を中心として水平８画素×垂直１画素のフィルタ処理を行う。ここでは，当該マクロブロックの画素値と，左隣フィルタ処理済みマクロブロックの画素値を入力画素値としてフィルタ処理を行う。垂直エッジａへのフィルタ処理が行われた結果の画素値に対し，対垂直エッジ水平フィルタ部ｂ３０４において垂直エッジｂへのフィルタ処理が行われる。以降も同様に，図１６に示すように，垂直エッジｂに対する水平フィルタ処理結果に対し，対垂直エッジ水平フィルタ部ｃ３０５において，垂直エッジｃに対する水平フィルタ処理が行われ，その出力結果に対して，対垂直エッジ水平フィルタ部ｄ３０６において垂直エッジｄに対する水平フィルタ処理が行われる。

以上により水平フィルタ処理を終えたフィルタ途中マクロブロックは，対水平エッジ垂直フィルタ部３０７に入力される。対水平エッジ垂直フィルタ部３０７では，マクロブロック内の４画素おきの水平方向のエッジに対して，順に垂直方向にフィルタ処理を行う。図１５の右側に対水平エッジ垂直フィルタ部３０７の処理概要を示す。

対水平エッジ垂直フィルタ部ｅ３０８では，水平エッジｅを構成する各画素を中心として水平１画素×垂直８画素のフィルタ処理を行う。ここでは，当該マクロブロックの画素値と，上隣フィルタ処理済みマクロブロックの画素値の双方を入力信号値として処理を行う。水平エッジｅへのフィルタ処理が行われた結果の画素値に対し，対水平エッジ垂直フィルタ部ｆ３０９において水平エッジｆへのフィルタ処理が行われる。以降も同様に，図１６に示すように水平エッジｆに対する垂直フィルタ処理結果に対し，対水平エッジ垂直フィルタ部ｇ３１０において，水平エッジｇに対する垂直フィルタ処理が行われ，その出力結果に対して，対水平エッジ垂直フィルタ部ｈ３１１において，水平エッジｈに対する垂直フィルタ処理が行われる。

以上示したように，Ｈ．２６４規格におけるループフィルタ処理は，フィルタ済み画素を再利用しながら順にフィルタ処理を行う構成となっているため，フィルタ処理の順を適切に行う必要がある。また，あるマクロブロックのフィルタ処理を行うためには，上隣および左隣のマクロブロックは，既にフィルタ処理が完了している必要がある。

対水平エッジ垂直フィルタ部ｈ３１１でフィルタ処理が行われて得られるフィルタ後マクロブロックは，フィルタ後マクロブロックメモリ３１２に入力され，水平ラスタスキャン順に再構成が行われ，フィルタ後短冊状領域ローカルデコード画像として記録される。

図１７は，Ｈ．２６４並列符号化処理での問題点を説明する図である。図９および図１２に示した動画像並列符号化処理構成を用いて，かつループフィルタ処理を有効にした場合について考える。符号化器１０２〜１０５の中の各ループフィルタ部２２０は，各短冊状領域内において，図１７に示すように左上のマクロブロックから右下のマクロブロックに対して水平ラスタスキャン順にフィルタ処理を行うこととなる。

図１７中の短冊状領域２，３，４の並列処理中マクロブロックについて考えた場合，対水平エッジ垂直フィルタ部ｅ３０８の処理を行うにあたり，上隣接のマクロブロックはフィルタ未処理の状態であることがわかる。このため，対水平エッジ垂直フィルタ部ｅ３０８で行われる垂直フィルタ処理は，Ｈ．２６４規格に準拠しないフィルタ処理となり，結果としてＨ．２６４に準拠した復号器で得られる復号画像とは異なるフィルタ後短冊状領域ローカルデコード画像が生成される。これはドリフトと呼ばれる符号化器と復号器の復号映像の不一致に起因した映像に尾が引く現象を生じさせるため，許容されがたい歪みを発生させる。

先に述べたように，ループフィルタはＯＦＦに設定する（disable ＿deblocking＿filter＿idc ＝１）ことも可能である。しかし，この場合，著しく符号化効率が劣化し，とりわけ低レート符号化時にブロック歪み等の画質の低下が起こる。また，図９および図１２に示すような構成を用いた動画像並列符号化構成でもループフィルタ処理の機能を利用できるように，短冊状矩形領域の境界のみループフィルタをＯＦＦとし，それ以外の隣接するマクロブロックの境界にのみループフィルタ処理の機能を利用できるようなモード設定（disable ＿deblocking＿filter＿idc ＝２）も，Ｈ．２６４規格には用意されているが，短冊状領域の上下隣接の境界のみ継ぎ目の目立つ復号画像が生成され，視覚的な妨害となる。

以上述べたように，Ｈ．２６４規格に準拠して，かつループフィルタ機能を有効にして，画面水平短冊状領域に分割して並列符号化を行った場合，符号化器と復号器との間で復号画像間の不一致が生じ，ドリフト等の歪みが発生する。また，これらを回避するため，ループフィルタ機能を無効にするか，短冊状領域間のみ無効にすることも可能であるが，いずれにしても本来のＨ．２６４に比べ符号化効率が劣化する。

本発明は上記問題点の解決を図り，Ｈ．２６４規格（実質的に同等な規格を含む）に規定されるループフィルタ機能を有効としたまま，完全にＨ．２６４規格に準拠した符号化データを生成することができるようにすることを目的とする。

上記の問題を解決するため，本発明では，例えばＨ．２６４規格に準拠して，かつループフィルタ機能を有効にして，画面水平短冊状領域に分割して並列符号化を行う方式を規定する。

本発明の動画像符号化方法は，入力された動画像の各フレームを格子状に矩形小領域に分割して各矩形小領域を水平方向にラスタスキャン順で順に符号化する動画像符号化方法であって，既に符号化済みのフレームについて復号器側で得られる復号画像と同一画像であるローカルデコード画像を符号化器側で生成し，該ローカルデコード画像にフィルタ処理を施した画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う動画像符号化方法において，入力動画像フレームを格子状に分割して得られる矩形小領域について，左上の矩形小領域から右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行うステップと，前記ローカルデコード画像を格子状に分割して得られる矩形小領域について，左上の矩形小領域から右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うステップとを実行することを特徴とする。

また，前記動画像符号化方法において，ローカルデコード画像を格子状に分割して得られる矩形小領域について，左上の矩形小領域から右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うにあたり，該矩形小領域に対応するフィルタ処理の一番最後のフィルタ処理ステップとして，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素にフィルタ処理を行うことで，Ｈ．２６４規格（ＩＴＵ−Ｔ Ｈ．２６４）に準拠した符号化データを生成することを特徴とする。

また，前記動画像符号化方法において，入力動画像フレームを格子状に分割して得られる全ての矩形小領域の水平ラスタスキャン順の符号化が完了した後に，ローカルデコード画像を格子状に分割して得られる全ての矩形小領域について，垂直ラスタスキャン順にフィルタ処理を開始することを特徴とする。

本発明の動画像並列符号化用符号化器は，入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を並列に符号化する動画像並列符号化装置において用いられる前記短冊状分割領域を符号化するための符号化器であって，前記短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行う手段と，前記符号化された短冊状分割領域の符号化データを復号したローカルデコード画像の短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行う手段と，該短冊状分割領域の上側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器から，少なくとも該短冊状分割領域の最も上の矩形小領域に隣接する矩形小領域のフィルタ処理後の画像を受信しメモリに記録する手段と，該短冊状分割領域の下側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器に向けて，少なくとも該短冊状分割領域の最も下の矩形小領域のフィルタ処理後の画像を転送する手段とを備え，前記フィルタ処理を行う手段は，該短冊状分割領域の最も上の矩形小領域に対してフィルタ処理を行うにあたって，前記メモリに記録したフィルタ処理後の画像を用いてフィルタ処理を行い，前記符号化を行う手段は，前記フィルタ処理後のローカルデコード画像を参照画像として利用して後続フレームのフレーム間予測符号化を行うことを特徴とする。

また，前記動画像並列符号化用符号化器において，前記フィルタ処理を行う手段は，前記短冊状分割領域内の一つの矩形小領域のフィルタ処理において，該矩形小領域内の画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理と，水平方向のエッジに対する垂直方向のフィルタ処理を行った後，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理を行うことを特徴とする。

本発明の動画像並列符号化方法は，入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を水平方向にラスタスキャン順で順に符号化する動画像並列符号化方法であって，既に符号化済みの短冊状分割領域について復号器側で得られる復号画像と同一画像であるローカルデコード画像を各符号化器側で生成し，該ローカルデコード画像内で同位置の短冊状分割領域にフィルタ処理を施した画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う動画像並列符号化方法において，該短冊状分割領域を格子状に分割して得られる矩形小領域について，各符号化器が，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行うステップと，ローカルデコード画像内で同位置の短冊状分割領域を格子状に分割して得られる矩形小領域について，各符号化器が，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うステップとを実行することを特徴とする。

また，前記動画像並列符号化方法において，ローカルデコード画像内の短冊状分割領域を格子状に分割して得られる矩形小領域について，各符号化器が，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うにあたり，該矩形小領域に対応するフィルタ処理の一番最後のフィルタ処理ステップとして，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素にフィルタ処理を行うことで，Ｈ．２６４規格（ＩＴＵ−Ｔ Ｈ．２６４）に準拠した符号化データを生成することを特徴とする。

また，前記動画像並列符号化方法において，各符号化器が，入力動画像フレームの各短冊状分割領域を格子状に分割して得られる全ての矩形小領域の水平ラスタスキャン順の符号化が完了した後に，ローカルデコード画像内で同位置の短冊状分割領域を格子状に分割して得られる全ての矩形小領域について，垂直ラスタスキャン順にフィルタ処理を開始することを特徴とする。

また，前記動画像並列符号化方法において，ある符号化器が上からＡ番目の短冊状分割領域の左からＢ番目の列の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行うのと並列して，別の符号化器が上からＷ番目の短冊状分割領域の左から（Ａ＋Ｂ−Ｗ）番目の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行うことを特徴とする。

また，前記動画像並列符号化方法において，上からＸ番目の短冊状分割領域を担当する符号化器が，Ｘ番目の短冊状分割領域の左からＹ番目の列の矩形小領域群の垂直ラスタスキャン順のフィルタ処理を行うステップと，該Ｘ番目の短冊状分割領域を担当する符号化器から，（Ｘ＋１）番目の短冊状分割領域を担当する符号化器に向けて，Ｘ番目の短冊状分割領域の左からＹ番目の列の最も下の矩形小領域のフィルタ処理後の画像を転送するステップと，該（Ｘ＋１）番目の短冊状分割領域を担当する符号化器が，該Ｘ番目の短冊状分割領域の左からＹ番目の列の最も下の矩形小領域のフィルタ処理後の画像を受信し，メモリに記録するステップと，該（Ｘ＋１）番目の短冊状分割領域を担当する符号化器が，該受信した矩形小領域のフィルタ処理後の画像を用いて，（Ｘ＋１）番目の短冊状分割領域の左からＹ番目の列の最も上の矩形小領域のフィルタ処理を行うステップとを実行することを特徴とする。

本発明の動画像並列符号化装置は，複数の前記動画像並列符号化用符号化器を用いて，各動画像並列符号化用符号化器がそれぞれ入力フレームを分割した各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を水平方向にラスタスキャン順で順に符号化することを特徴とする。

〔作用〕
本発明を用いて，入力フレームを水平短冊状分割領域（以下，短冊状領域という）に分割してＨ．２６４並列符号化を行うことで，符号化器と復号器との間で復号画像間の不一致が生じることなく完全にＨ．２６４規格に準拠した符号化データを生成することができる。さらに画面水平短冊状分割数を増やすことで並列度を容易に上げることが可能であり，より低規模なＬＳＩを複数個用いた大画面符号化装置の開発が可能となる。

また，Ｈ．２６４規格に規定されるループフィルタ機能を有効としたまま並列符号化処理が可能となることから，並列符号化処理を行うためにループフィルタ処理を無効化することに起因する画質の低下は発生しない。

以上説明したように，本発明を用いて入力フレームを水平短冊状領域に分割してＨ．２６４並列符号化（Ｈ．２６４規格と実質的に同等な規格を含む）を行うことで，符号化器と復号器との間で復号画像間の不一致が生じることなく完全にＨ．２６４規格に準拠した符号化データを生成することができる。

また，Ｈ．２６４規格に規定されるループフィルタ機能を有効としたまま並列符号化処理が可能となることから，並列符号化処理を行うためにループフィルタ処理を無効化することに起因する画質の低下は発生しない。

以下，本発明の実施例を説明する。本発明を含む動画像並列符号化装置の全体の構成を図１に示す。図１に示す全体構成図では，入力フレームを４つの短冊状領域に分割し，４つのＨ．２６４符号化器にて並列符号化動作を行う例を記載している。

図１において，入力フレームは，画面分割処理部２１に入力され，Ｎ個（この例ではＮ＝４）の短冊状領域に分割される。入力フレームを短冊状領域に分割する例については，図１０と同様である。生成された各短冊状領域は，それぞれＨ．２６４符号化器２２〜２５に入力され，並列して同時に符号化され，各Ｈ．２６４符号化器２２〜２５からそれぞれ分割符号化データが出力される。これらの分割符号化データは，ストリーム連結部２６に入力される。各分割符号化データは，それぞれバイトアライメントがとれた状態であるため，ストリーム連結部２６にて単純に連結することで，Ｈ．２６４規格に準拠した符号化データが出力される。なお，以下ではマクロブロックを“ＭＢ”と略記することもある。

このＨ．２６４符号化器２２〜２５において，Ｈ．２６４符号化におけるループフィルタ処理を行うにあたり，Ｈ．２６４符号化器２２は，下側に隣接する短冊状領域を担当するＨ．２６４符号化器２３に向けて，最下ＭＢフィルタ後画像を転送する。Ｈ．２６４符号化器２３は，上側に隣接する短冊状領域の最下ＭＢフィルタ後画像を受信し，メモリに蓄積すると同時に，当該Ｈ．２６４符号化器２３が担当する短冊状領域の最下ＭＢフィルタ後画像をＨ．２６４符号化器２４に転送する。同様に，Ｈ．２６４符号化器２４は，Ｈ．２６４符号化器２３から，上側に隣接する短冊状領域の最下ＭＢフィルタ後画像を受信し，メモリに蓄積すると同時に，当該Ｈ．２６４符号化器２４が担当する短冊状領域の最下ＭＢフィルタ後画像をＨ．２６４符号化器２５に転送する。同様に，Ｈ．２６４符号化器２５は，Ｈ．２６４符号化器２４から，上側に隣接する短冊状領域の最下ＭＢフィルタ後画像を受信し，メモリに蓄積する。Ｈ．２６４符号化器２３〜２５においてメモリに蓄積された最下ＭＢフィルタ後画像は，後述する処理により，各短冊状領域の最上端のマクロブロックへのループフィルタ処理に利用される。

図１のＨ．２６４符号化器２２〜２５の構成は，図１２に示した従来のＨ．２６４符号化器の構成とは一部異なる。本発明の実施例に係るＨ．２６４符号化器２２〜２５のそれぞれの構成例を，図２に示す。

各Ｈ．２６４規格に準拠して短冊状領域を符号化するＨ．２６４符号化器２２〜２５は，それぞれ短冊状領域を処理対象の入力画像とする。入力された短冊状領域は，マクロブロック分割部４０に入力される。マクロブロック分割部４０は，短冊状領域をマクロブロックと呼ばれる符号化処理単位に分割し，処理対象マクロブロックとして減算器４１に出力する。

減算器４１には，処理対象マクロブロックの入力と同時に，イントラインター選択部４２によりインターが選択された場合にはインター予測画像マクロブロックが予測マクロブロックとして入力され，イントラが選択された場合にはイントラ予測マクロブロックが予測マクロブロックとして入力される。減算器４１は，これらをマクロブロック内の画素単位で減算し，その結果を整数ＤＣＴ部４３に出力する。

整数ＤＣＴ部４３は，減算器４１の出力に対してＤＣＴ変換を行い，ＤＣＴ変換係数を量子化部４４に出力する。量子化部４４は，指定された量子化ステップにて量子化処理を行い，量子化係数を情報源符号化部４５に出力する。情報源符号化部４５では，ＣＡＶＬＣと呼ばれるコンテキスト適応型可変長符号あるいはＣＡＢＡＣと呼ばれるコンテキスト適応型算術符号を用いた情報源符号化処理が行われ，分割符号化データが出力される。

量子化部４４から出力される量子化係数は，逆量子化部４６にも入力され，逆量子化部４６で逆量子化処理が行われ，逆量子化後ＤＣＴ変換係数が出力される。逆量子化後ＤＣＴ変換係数は，逆整数ＤＣＴ部４７に入力され，逆整数ＤＣＴ処理が行われ，変換後マクロブロックが加算器４８に出力される。加算器４８には，予測マクロブロックが併せて入力され，画素ごとに加算処理が行われ，フィルタ前フレームメモリ４９にローカルデコードマクロブロックが出力される。フィルタ前フレームメモリ４９では，マクロブロックがラスタスキャン順に再構成され，フィルタ前短冊状領域ローカルデコード画像として記録される。

フィルタ前短冊状領域ローカルデコード画像は，ループフィルタがＯＮの場合にはループフィルタ部５０に入力される。ループフィルタ部５０は，入力画像についてマクロブロック境界のブロックノイズを除去して，フィルタ後短冊状領域ローカルデコード画像としてフィルタ後フレームメモリ５１に出力し，フィルタ後フレームメモリ５１に蓄積する。

ループフィルタ部５０において，各短冊状領域の最上端のマクロブロックに対してループフィルタ処理を行う際には，直上の短冊状領域の最下マクロブロックのループフィルタ後の画像である最下ＭＢフィルタ後画像（入力）が，直上に隣接する短冊状領域を担当する他の符号化器より上隣接短冊状領域最下ＭＢ用メモリ５６を介して，ループフィルタ部５０に入力される。

この処理により，各短冊状領域の最上端の各マクロブロックのループフィルタ処理を行うにあたって，該マクロブロックの上隣接ならびに左隣接のマクロブロックのフィルタ処理後の画像がループフィルタ部５０にて取得可能なため，規格に準拠した正しいループフィルタ処理が可能となる。また，直下の短冊状領域を担当する他の符号化器のループフィルタ処理のため，ループフィルタ後の最下ＭＢフィルタ後画像（出力）を下側に隣接する短冊状領域を担当する符号化器に転送する。

また，ループフィルタがＯＦＦの動作としては，フィルタ前短冊状領域ローカルデコード画像とフィルタ後短冊状領域ローカルデコード画像は同一のものであり，フィルタ前フレームメモリ４９に蓄積された画像がそのままフィルタ後フレームメモリ５１に転送され蓄積される。

図１で示した構成と同様に，隣接するＨ．２６４符号化器２２〜２５間でそれぞれフィルタ後短冊状領域ローカルデコード画像を互いに転送することにより，隣接する符号化器の所有するフィルタ後短冊状ローカルデコード画像を取得し，上隣接・下隣接の短冊状領域ローカルデコード画像を合わせて入力フレーム全体のフィルタ後ローカルデコード画像を生成し，フィルタ後フレームメモリ５１に記録してもよい。上隣接・下隣接の短冊状領域ローカルデコード画像も合わせてフィルタ後フレームメモリ５１に記録することにより，後述する動き予測・動き補償処理の探索範囲を当該短冊状領域外にまで広げることが可能となり，符号化効率が改善される。

動き予測部５２には，処理対象マクロブロックとフィルタ後ローカルデコード画像が入力され，動き推定処理が行われる。動き予測部５２は，推定した動きベクトルを動き補償部５３に出力する。動き補償部５３は，動きベクトルがフィルタ後ローカルデコード画像内で示す位置のマクロブロックを抽出し，インター予測画像マクロブロックとしてイントラインター選択部４２に出力する。

一方，イントラ予測モード評価部５４およびイントラ予測値生成部５５には，フィルタ前フレームメモリ４９からフィルタ前短冊状領域ローカルデコード画像が入力される。Ｈ．２６４規格では，イントラ予測はループフィルタ部５０での処理が行われる前のローカルデコード画像に対して行われることになっているため，このような構成となる。イントラ予測モード評価部５４では，選択可能な各種イントラ予測モードから適切な予測モードが選択され，イントラ予測モード符号がイントラ予測値生成部５５に出力される。イントラ予測値生成部５５は，フィルタ前短冊状領域ローカルデコード画像およびイントラ予測モード符号からイントラ予測画像マクロブロックを生成し，イントラインター選択部４２に出力する。

図３において，ループフィルタ部５０に入力されたフィルタ前短冊状領域ローカルデコード画像は，マクロブロック分割部１に入力される。マクロブロック分割部１では，短冊状領域をマクロブロックと呼ばれる符号化処理単位に分割する。ただし，従来構成の対応する回路ブロック（マクロブロック分割部３０１）とは異なり，分割されて得られたマクロブロックを垂直ラスタスキャン順に処理対象マクロブロックとして対垂直エッジ水平フィルタ部２に出力する。マクロブロックの垂直ラスタスキャン順に処理することについて，その例を図４に示す。

このとき図３に示す方式におけるループフィルタ部５０では，マクロブロック位置計算部１５が，処理対象マクロブロックの位置を，図４に示す垂直ラスタスキャン順になるように算出する。これにより，ループフィルタ部５０は，ループフィルタ処理を垂直ラスタスキャン順で行うが，マクロブロックの符号化処理については，図１２に示す構成図と同様に，Ｈ．２６４規格に準拠して，水平ラスタスキャン順に行うことに留意されたい。

対垂直エッジ水平フィルタ部２では，マクロブロック内の４画素おきの垂直方向のエッジに対して，順に水平方向にフィルタ処理を行う。図５に対垂直エッジ水平フィルタ部２の処理概要を示す。従来構成の対応する回路ブロック（対垂直エッジ水平フィルタ部３０２）とは異なり，処理対象マクロブロックの左隣のマクロブロックとの間の垂直エッジａに対しては，水平フィルタ処理を行わないことに留意されたい。

対垂直エッジ水平フィルタ部ｂ３では，垂直エッジｂを構成する各画素を中心として水平８画素×垂直１画素のフィルタ処理を行う。垂直エッジｂへのフィルタ処理が行われた結果の画素値に対し，対垂直エッジ水平フィルタ部ｃ４において垂直エッジｃへのフィルタ処理が行われる。以降も同様に，図６に示すように垂直エッジｃに対する水平フィルタ処理結果に対し，対垂直エッジ水平フィルタ部ｄ５において，垂直エッジｄに対する水平フィルタ処理が行われる。

対水平エッジ垂直フィルタ部６については，従来構成における対水平エッジ垂直フィルタ部３０７と同一の構成となる。すなわち，対水平エッジ垂直フィルタ部６では，図１５右側図に示すようなマクロブロック内の４画素おきの水平方向のエッジに対して，順に垂直方向にフィルタ処理を行う。

対水平エッジ垂直フィルタ部ｅ７では，水平エッジｅを構成する各画素を中心として，水平１画素×垂直８画素のフィルタ処理を行う。この処理は，当該マクロブロックの画素値と，上隣フィルタ処理済みマクロブロックの画素値の双方を入力信号値として行われる。このとき，当該マクロブロックの上隣接のマクロブロックのループフィルタ後の画像は，フィルタ後マクロブロックメモリ１３より上隣フィルタ処理済みマクロブロックとして供給される。なお，当該フィルタ対象マクロブロックが短冊状領域の最上端であった場合には，上隣接短冊状領域最下ＭＢ用メモリ５６によりフィルタ後マクロブロックメモリ１３に入力されている直上に隣接する短冊状領域の最下マクロブロックのフィルタ後画像が，同様にフィルタ後マクロブロックメモリ１３より上隣フィルタ処理済みマクロブロックとして，対水平エッジ垂直フィルタ部ｅ７に入力される。

以降も同様に，図６に示すように，水平エッジｅへのフィルタ処理が行われた結果の画素値に対し，対水平エッジ垂直フィルタ部ｆ８において，水平エッジｆへの垂直フィルタ処理が行われ，水平エッジｆに対する垂直フィルタ処理結果に対し，対水平エッジ垂直フィルタ部ｇ９において，水平エッジｇに対するフィルタ処理が行われ，その出力結果に対して，対水平エッジ垂直フィルタ部ｈ１０において，水平エッジｈに対する垂直フィルタ処理が行われる。得られたフィルタ途中画像（マクロブロック）は対垂直エッジ水平フィルタ部１１に出力される。

対垂直エッジ水平フィルタ部１１の中にある対垂直エッジ水平フィルタ部Ａ１２では，図５および図６に示すように，処理対象マクロブロックの右隣のマクロブロックとの間の垂直エッジである垂直エッジＡに対し，水平方向にフィルタ処理を行う。対垂直エッジ水平フィルタ部Ａ１２でフィルタ処理が行われて得られるフィルタ後マクロブロックは，フィルタ後マクロブロックメモリ１３に入力され，マクロブロック分割部１での並びと同様にマクロブロックごとの垂直ラスタスキャン順に再構成が行われ，フィルタ後短冊状領域ローカルデコード画像として記録される。

なお，上隣接短冊状領域最下ＭＢ用メモリ５６より入力される直上に隣接する短冊状領域の最下ＭＢのフィルタ後画像は，フィルタ後マクロブロックメモリ１３に入力され，当該短冊状領域の最上ＭＢ水平エッジｅへのループフィルタ処理に利用される。

図１および図２に示した動画像並列符号化処理構成を用いて，かつ図３に示す方式によるループフィルタ処理構成を採用した場合の並列符号化処理について考える。Ｈ．２６４符号化器２２〜２５の中の本方式による各ループフィルタ部５０は，各短冊状領域内において，図７に示すように左上のマクロブロックから右下のマクロブロックに対して垂直ラスタスキャン順にフィルタ処理を行うこととなる。

短冊状領域間でループフィルタをＨ．２６４規格に準拠してフィルタ処理を行うためには，水平エッジｅに対する垂直フィルタを行うにあたり，上隣接マクロブロックが既にフィルタ処理済である必要がある。このため，図７に示す通り，各短冊状領域間で並列処理中のマクロブロックの列をずらしてフィルタ処理を行う。すなわち，上からＸ番目の短冊状分割領域の左からＹ番目の列の矩形小領域群の垂直ラスタスキャン順のフィルタ処理が完了した後に，上から（Ｘ＋１）番目の短冊状分割領域の左からＹ番目の列の矩形小領域の垂直ラスタスキャン順のフィルタ処理を開始する。

以上のべた動作を並列的に継続して動作させることにより，下記のような並列フィルタ処理動作を行うことで動画像並列符号化を実現する。
(1) 短冊状領域１の１列目のマクロブロック群の垂直ラスタスキャン順フィルタ処理開始・完了
(2) 短冊状領域１の２列目と，短冊状領域２の１列目のマクロブロック群を並列して処理開始・完了
(3) 短冊状領域１の３列目と，短冊状領域２の２列目と，短冊状領域３の１列目のマクロブロック群を並列して処理開始・完了
(4) 短冊状領域１の４列目と，短冊状領域２の３列目と，短冊状領域３の２列目と，短冊状領域４の１列目のマクロブロック群を並列して処理開始・完了
(5) 以降，短冊状領域１のＢ列目と，短冊状領域２の（Ｂ−１）列目と，短冊状領域３の（Ｂ−２）列目と，短冊状領域４の（Ｂ−３）列目のマクロブロック群を並列して処理を行う。

すなわち，これを一般化して説明するのであれば，上からＡ番目の短冊状分割領域の左からＢ番目の列の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行うのと並列して，別の符号化器が上からＷ番目の短冊状分割領域の左から（Ａ＋Ｂ−Ｗ）番目の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行うことで，動画像並列符号化を実現する。

さらに，短冊状領域間でループフィルタをＨ．２６４規格に準拠してフィルタ処理を行うためには，各短冊状領域の境界である水平エッジｅへの垂直フィルタ処理に関しても，同様に上隣接マクロブロックが既にフィルタ処理済みであって，上隣接マクロブロックのフィルタ後画像が入手済みである必要がある。このため，各短冊状領域の最上端マクロブロックへの水平エッジｅへの垂直フィルタ処理を行う前に，上隣接短冊状領域の最下端マクロブロックのフィルタ処理が完了した後に，そのフィルタ後画像を上隣接短冊状領域を担当する符号化器より当該符号化器に転送・受信して，メモリに蓄積し，当該短冊状領域の最上端マクロブロックのフィルタ処理に利用する。

図２に示すＨ．２６４符号化器２２〜２５は，それぞれＬＳＩ化して符号化チップとして構成することができる。また，それぞれをコンピュータとソフトウェアプログラムとによっても実現することもできる。

図８は，本発明の実施例に係る動画像符号化方法におけるフィルタ処理のフローチャートである。図８では，上からＡ番目の短冊状領域に対するループフィルタ処理の流れを説明する。関連する他の符号化に関する処理の流れは，従来技術と同様であるので，フローチャートを用いた説明は省略する。

ステップＳ１では，マクロブロック位置計算部１５が処理対象マクロブロックの位置を初期化する。ここでは，処理対象マクロブロックを，Ａ番目の短冊状領域における左からＢ列目，上からＣ行目の位置のマクロブロックとして処理するにあたり，Ｂ＝０，Ｃ＝０に初期化する。

ステップＳ２では，マクロブロック分割部１が，フィルタ前短冊状領域ローカルデコード画像から，Ｂ列目・Ｃ行目のマクロブロックを処理対象マクロブロックとして取り出す。以降，マクロブロック位置計算部１５の指示により，垂直ラスタスキャン順に処理対象マクロブロックを取り出していく。

ステップＳ３では，対垂直エッジ水平フィルタ部２が，垂直エッジｂを構成する各画素を中心として水平８画素×垂直１画素のフィルタ処理を行う。また，垂直エッジｂへのフィルタ処理が行われた結果の画素値に対し，垂直エッジｃに対するフィルタ処理を行う。同様に，垂直エッジｃに対する水平フィルタ処理結果に対し，垂直エッジｄに対する水平フィルタ処理を行う。

ステップＳ４では，対水平エッジ垂直フィルタ部６が，マクロブロック内の４画素おきの水平方向のエッジに対して，順に垂直方向にフィルタ処理を行う。まず，水平エッジｅを構成する各画素を中心として，水平１画素×垂直８画素のフィルタ処理を行う。また，水平エッジｅに対するフィルタ処理が行われた結果の画素値に対し，水平エッジｆに対する垂直フィルタ処理を行う。順次同様に，水平エッジｇに対するフィルタ処理，水平エッジｈに対する垂直フィルタ処理を行う。

ステップＳ５では，対垂直エッジ水平フィルタ部１１が，最後のフィルタ処理ステップとして，処理対象マクロブロックと右隣のマクロブロックとの間の隣接境界である垂直エッジＡに対し，水平方向にフィルタ処理を行う。

ステップＳ６では，フィルタ処理後のマクロブロックをフィルタ後マクロブロックメモリ１３内のＢ列目・Ｃ行目のマクロブロックの位置に記録し蓄積する。

次に，ステップＳ７では，Ａ番目の短冊状領域における左からＢ番目の列のすべてのマクロブロックに対するフィルタ処理が完了したかどうかを判定し，完了していない場合には，ステップＳ８へ進む。完了した場合には，ステップＳ９へ進む。

ステップＳ８では，マクロブロック位置計算部１５が，Ｃに１を加算して一つ下のマクロブロックを処理対象マクロブロックとする。その後，この処理対象マクロブロックに対して，ステップＳ２〜Ｓ６の処理を同様に繰り返す。

ステップＳ９では，処理対象である上からＡ番目の短冊状領域内のすべてのマクロブロックに対するフィルタ処理が完了したかどうかを判定し，完了していない場合には，ステップＳ１０へ進む。完了した場合には，現在の上からＡ番目の短冊状領域に対するループフィルタ処理を終了する。

ステップＳ１０では，マクロブロック位置計算部１５が，Ｃを０に初期化し，Ｂに１を加算して，現在のマクロブロックの右隣接マクロブロックの列における最も上のマクロブロックを処理対象マクロブロックとする。

ステップＳ１１では，直上（Ａ−１番目）の短冊状領域内のＢ＋１番目の全マクロブロックのフィルタ処理が完了したかどうかを判定し，まだ完了していなければ，処理完了を待つ。直上（Ａ−１番目）の短冊状領域内のＢ＋１番目の全マクロブロックのフィルタ処理が完了した場合には，ステップＳ２以降の処理を同様に繰り返す。

以上の実施例の説明では，Ｈ．２６４規格に準拠した並列符号化への本発明の適用例を説明したが，本発明はもちろんＨ．２６４符号化に限定されるわけではなく，Ｈ．２６４規格を改良したような新しい規格であっても，本発明の適用上，Ｈ．２６４規格と同様な技術内容を有する規格であれば，まったく同様に本発明を適用できることは説明するまでもない。

以上の動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

ＭＰＥＧ−２においては，複数のＳＤ（標準テレビ）規模のＣＯＤＥＣ−ＬＳＩを用いて，ＨＤ（ハイビジョン）対応のＣＯＤＥＣを実現する手法は提案されている（非特許文献２参照）。上記技術をそのままＨ．２６４に拡張することで，ＨＤ対応のＨ．２６４−ＣＯＤＥＣは実現可能ではあるが，単純なＨ．２６４への適用では，Ｈ．２６４の特徴である規格にて規定されたループフィルタ処理を実現することができない。本発明は，Ｈ．２６４規格に準拠したループフィルタ処理に対応したＨ．２６４−ＨＤ−ＣＯＤＥＣを，複数の小規模なＨ．２６４−ＬＳＩを利用して並列処理で実現することを可能とする。

本発明を含む動画像並列符号化装置の全体の構成例を示す図である。 本発明の実施例に係るＨ．２６４符号化器の構成例を示す図である。 本発明の実施例に係るループフィルタ構成図である。 本発明の実施例におけるループフィルタ垂直ラスタスキャン方式を説明する図である。 本発明の実施例における対垂直エッジ水平フィルタ部の処理概要を示す図である。 本発明の実施例における水平ループフィルタ処理および垂直ループフィルタ処理順序を示す図である。 本発明の実施例における垂直ラスタスキャン順ループフィルタを採用した並列フィルタ処理タイミングを示す図である。 本発明の実施例に係る動画像符号化方法におけるフィルタ処理のフローチャートである。 従来のＭＰＥＧ−２規格に準拠した並列符号化処理構成を示す図である。 入力フレームの短冊状領域分割例を示す図である。 従来のＭＰＥＧ−２符号化器構成例を示す図である。 従来のＨ．２６４符号化器構成例を示す図である。 一般的なＨ．２６４ループフィルタ処理順序を示す図である。 一般的なＨ．２６４ループフィルタ構成例を示す図である。 従来のＨ．２６４水平ループフィルタ処理および垂直ループフィルタ処理概要を説明する図である。 従来のＨ．２６４水平ループフィルタ処理および垂直ループフィルタ処理順序を示す図である。 従来のＨ．２６４並列符号化処理での問題点を説明する図である。

符号の説明

１ マクロブロック分割部
２，１１ 対垂直エッジ水平フィルタ部
３〜５，１２ 対垂直エッジ水平フィルタ部ｂ〜ｄ，Ａ
６ 対水平エッジ垂直フィルタ部
７〜１０ 対水平エッジ垂直フィルタ部ｅ〜ｈ
１３ フィルタ後マクロブロックメモリ
１５ マクロブロック位置計算部
２０ 動画像並列符号化装置
２１ 画面分割処理部
２２〜２５ Ｈ．２６４符号化器
２６ ストリーム連結部
４０ マクロブロック分割部
４１ 減算器
４２ イントラインター選択部
４３ 整数ＤＣＴ部
４４ 量子化部
４５ 情報源符号化部
４６ 逆量子化部
４７ 逆整数ＤＣＴ部
４８ 加算器
４９ フィルタ前フレームメモリ
５０ ループフィルタ部
５１ フィルタ後フレームメモリ
５２ 動き予測部
５３ 動き補償部
５４ イントラ予測モード評価部
５５ イントラ予測値生成部
５６ 上隣接短冊状領域最下ＭＢ用メモリ

Claims (15)

1. 入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を並列に符号化する動画像並列符号化装置において用いられる前記短冊状分割領域を符号化するための前記各符号化器が実行する動画像符号化方法であって，
   前記短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行うステップと，
   前記符号化された短冊状分割領域の符号化データを復号したローカルデコード画像の短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うステップと，
   該短冊状分割領域の上側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器から，少なくとも該短冊状分割領域の最も上の矩形小領域に隣接する矩形小領域のフィルタ処理後の画像を受信しメモリに記録するステップと，
   該短冊状分割領域の下側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器に向けて，少なくとも該短冊状分割領域の最も下の矩形小領域のフィルタ処理後の画像を転送するステップとを有し，
   前記フィルタ処理を行うステップでは，該短冊状分割領域の最も上の矩形小領域に対してフィルタ処理を行うにあたって，前記メモリに記録したフィルタ処理後の画像を用いてフィルタ処理を行い，
   前記符号化を行うステップでは，前記フィルタ処理後のローカルデコード画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う
   ことを特徴とする動画像符号化方法。
2. 請求項１に記載の動画像符号化方法において，
   前記フィルタ処理を行うステップでは，前記短冊状分割領域内の一つの矩形小領域のフィルタ処理において，該矩形小領域内の画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理と，水平方向のエッジに対する垂直方向のフィルタ処理を行った後，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理を行う
   ことを特徴とする動画像符号化方法。
3. 請求項１または請求項２に記載の動画像符号化方法において，
   前記符号化を行うステップにより，前記短冊状分割領域を格子状に分割して得られる全ての矩形小領域の水平ラスタスキャン順の符号化が完了した後に，
   前記フィルタ処理を行うステップによるフィルタ処理を開始する
   ことを特徴とする動画像符号化方法。
4. 入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を並列に符号化する動画像並列符号化装置において用いられる前記短冊状分割領域を符号化するための符号化器であって，
   前記短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行う手段と，
   前記符号化された短冊状分割領域の符号化データを復号したローカルデコード画像の短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行う手段と，
   該短冊状分割領域の上側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器から，少なくとも該短冊状分割領域の最も上の矩形小領域に隣接する矩形小領域のフィルタ処理後の画像を受信しメモリに記録する手段と，
   該短冊状分割領域の下側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器に向けて，少なくとも該短冊状分割領域の最も下の矩形小領域のフィルタ処理後の画像を転送する手段とを備え，
   前記フィルタ処理を行う手段は，該短冊状分割領域の最も上の矩形小領域に対してフィルタ処理を行うにあたって，前記メモリに記録したフィルタ処理後の画像を用いてフィルタ処理を行い，
   前記符号化を行う手段は，前記フィルタ処理後のローカルデコード画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う
   ことを特徴とする動画像並列符号化用符号化器。
5. 請求項４に記載の動画像並列符号化用符号化器において，
   前記フィルタ処理を行う手段は，前記短冊状分割領域内の一つの矩形小領域のフィルタ処理において，該矩形小領域内の画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理と，水平方向のエッジに対する垂直方向のフィルタ処理を行った後，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理を行う
   ことを特徴とする動画像並列符号化用符号化器。
6. 入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を並列に符号化する動画像並列符号化方法であって，
   前記各符号化器が，前記短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行うステップと，
   前記各符号化器が，前記符号化された短冊状分割領域の符号化データを復号したローカルデコード画像の短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行うステップと，
   前記各符号化器が，該短冊状分割領域の上側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器から，少なくとも該短冊状分割領域の最も上の矩形小領域に隣接する矩形小領域のフィルタ処理後の画像を受信しメモリに記録するステップと，
   前記各符号化器が，該短冊状分割領域の下側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器に向けて，少なくとも該短冊状分割領域の最も下の矩形小領域のフィルタ処理後の画像を転送するステップとを有し，
   前記フィルタ処理を行うステップでは，該短冊状分割領域の最も上の矩形小領域に対してフィルタ処理を行うにあたって，前記メモリに記録したフィルタ処理後の画像を用いてフィルタ処理を行い，
   前記符号化を行うステップでは，前記フィルタ処理後のローカルデコード画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う
   ことを特徴とする動画像並列符号化方法。
7. 請求項６に記載の動画像並列符号化方法において，
   前記各符号化器が前記フィルタ処理を行うステップでは，前記短冊状分割領域内の一つの矩形小領域のフィルタ処理において，該矩形小領域内の画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理と，水平方向のエッジに対する垂直方向のフィルタ処理を行った後，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理を行う
   ことを特徴とする動画像並列符号化方法。
8. 請求項６または請求項７に記載の動画像並列符号化方法において，
   前記各符号化器が，
   前記符号化を行うステップにより，前記短冊状分割領域を格子状に分割して得られる全ての矩形小領域の水平ラスタスキャン順の符号化が完了した後に，
   前記フィルタ処理を行うステップによるフィルタ処理を開始する
   ことを特徴とする動画像並列符号化方法。
9. 請求項６，請求項７または請求項８に記載の動画像並列符号化方法において，
   前記符号化器の一つが，上からＡ番目の前記短冊状分割領域の左からＢ番目の列の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行うのと並列して，別の前記符号化器が，上からＷ番目の前記短冊状分割領域の左から（Ａ＋Ｂ−Ｗ）番目の矩形小領域群の上からＣ番目の矩形小領域のフィルタ処理を行う
   ことを特徴とする動画像並列符号化方法。
10. 入力された動画像の各フレームを水平方向に領域分割して複数の短冊状分割領域を生成し，複数の符号化器がそれぞれ各短冊状分割領域を格子状に矩形小領域に分割して短冊状分割領域内の矩形小領域を並列に符号化する動画像並列符号化装置であって，
    前記各符号化器が，
    前記短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに水平ラスタスキャン順に符号化を行う手段と，
    前記符号化された短冊状分割領域の符号化データを復号したローカルデコード画像の短冊状分割領域を格子状に分割して得られる矩形小領域について，該短冊状分割領域内で左上の矩形小領域から該短冊状分割領域内で右下の矩形小領域に向けて各矩形小領域ごとに垂直ラスタスキャン順にフィルタ処理を行う手段と，
    該短冊状分割領域の上側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器から，少なくとも該短冊状分割領域の最も上の矩形小領域に隣接する矩形小領域のフィルタ処理後の画像を受信しメモリに記録する手段と，
    該短冊状分割領域の下側に隣接する短冊状分割領域の符号化を担当する符号化器が存在する場合に，その符号化器に向けて，少なくとも該短冊状分割領域の最も下の矩形小領域のフィルタ処理後の画像を転送する手段とを備え，
    前記フィルタ処理を行う手段は，該短冊状分割領域の最も上の矩形小領域に対してフィルタ処理を行うにあたって，前記メモリに記録したフィルタ処理後の画像を用いてフィルタ処理を行い，
    前記符号化を行う手段は，前記フィルタ処理後のローカルデコード画像を参照画像として利用して後続フレームのフレーム間予測符号化を行う
    ことを特徴とする動画像並列符号化装置。
11. 請求項１０に記載の動画像並列符号化装置において，
    前記各符号化器の前記フィルタ処理を行う手段は，前記短冊状分割領域内の一つの矩形小領域のフィルタ処理において，該矩形小領域内の画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理と，水平方向のエッジに対する垂直方向のフィルタ処理を行った後，該矩形小領域と該矩形小領域の右に隣接する矩形小領域との隣接境界画素を対象とした垂直方向のエッジに対する水平方向のフィルタ処理を行う
    ことを特徴とする動画像並列符号化装置。
12. 請求項１から請求項３までのいずれか１項に記載された動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
13. 請求項１から請求項３までのいずれか１項に記載された動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
14. 請求項６から請求項９までのいずれか１項に記載された動画像並列符号化方法を，コンピュータに実行させるための動画像並列符号化プログラム。
15. 請求項６から請求項９までのいずれか１項に記載された動画像並列符号化方法を，コンピュータに実行させるための動画像並列符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images