JP2012114637A - 動画像符号化装置 - Google Patents

Abstract

【課題】 符号化処理を並列に実施したときにもデブロッキングフィルタ処理を実施し、かつ、符号化処理を並列に実施する際の処理遅延を小さくする。
【解決手段】 Ｈ．２６４／ＡＶＣの動画像符号化装置は、画像を複数のスライスに分割して符号化するときに、互いに隣接するスライスの境界エッジのデブロッキングフィルタ処理を含む第１フィルタ処理と第１フィルタ処理以外のデブロッキングフィルタ処理である第２フィルタ処理とにデブロッキングフィルタ処理を分割し、少なくとも第２フィルタ処理を並列に実施可能な複数の画像符号化部と、画像符号化部により生成されたデータを可変長符号化する少なくとも１つの可変長符号化部とを有している。画像符号化部は、第２フィルタ処理を実施するフィルタ部を有している。少なくとも１つの画像符号化部のフィルタ部は、第２フィルタ処理を実施してから第１フィルタ処理を実施する。
【選択図】 図５

Description

本発明は、動画像符号化装置に関する。

動画像符号化装置では、ハイビジョン放送や大容量光ディスク等の普及により、ＨＤＴＶ（High Definition Television）画像を扱うことが一般的になってきている。例えば、動画像符号化装置は、Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、Ｈ．２６４とも称する）等の動画像圧縮規格に従って、画像を符号化する。なお、Ｈ．２６４に準拠した動画像符号化装置では、ブロック境界を平滑化するためのデブロッキングフィルタ処理を実施可能に構成される。デブロッキングフィルタ処理により、ブロックノイズの発生が抑制される。

また、近年、ＨＤＴＶ画像より大画面のＵＨＤＴＶ（Ultra High Definition Television）画像を使用することが検討されている。このため、動画像符号化装置は、さらなる処理性能向上が望まれている。

動画像符号化装置の処理性能を向上させる方法として、例えば、動作周波数の向上や処理の並列化が考えられる。動作周波数の向上には、半導体プロセス技術の向上や高速動作可能な回路等が必要である。一方、処理の並列化には様々な工夫が必要である。例えば、ＭＰＥＧの処理では、フレーム（ピクチャ）間の予測処理および可変長符号化処理が必要であるため、符号圧縮されたビットストリームを前から順番に処理する必要がある。このため、処理の単純な並列化が困難であり、処理の並列化には様々な工夫が行われている。

ＭＰＥＧシステムに使用する動画像符号化装置では、動きベクトル範囲を考慮して、フレーム間で並列化を行う構成が提案されている（例えば、特許文献１参照）。例えば、フレーム間で並列化を行う動画像符号化装置は、各マクロブロックの処理開始タイミングをフレーム間予測で必要となる参照画像領域の処理完了後になるように制御する。なお、ＭＰＥＧ−２に準拠した動画像復号装置では、スライスのフレーム内での独立性を利用し、フレーム内で並列化を行う構成が提案されている（例えば、特許文献２参照）。

特開２００６−１４１１３号公報 特許第２８６３０９６号公報

フレーム間で並列化を行う動画像符号化装置は、例えば、複数のフレームの符号化処理を並列に実施するための複数のエンコーダを有し、フレーム間予測の依存関係を守るように各エンコーダを制御する。このため、エンコーダの数の増加に伴い、入力から出力までの処理遅延が増加する。ここで、ＵＨＤＴＶ等の大画面の画像を符号化する装置では、処理能力を向上させるために、エンコーダの数が増加する傾向にある。このため、大画面の画像を符号化する装置では、フレーム間で並列化を行う方法を適用したとき、処理遅延が増加するおそれがある。

また、フレーム間で並列化を行う構成では、１フレームの処理時間は、符号化処理を並列化しないときと同じである。このため、最初の画像が入力されてから出力されるまでの時間は、符号化処理を並列化しないときと同じである。すなわち、最初の画像が入力されてから出力されるまでの遅延時間は、短縮されない。このように、フレーム間で並列化を行う構成では、処理遅延を小さくすることは困難である。

なお、フレーム内で並列化を行う構成では、エンコーダの数が増加しても、入力から出力までの処理遅延の増加は発生しない。しかしながら、スライスのフレーム内での独立性を利用してフレーム内で並列化を行う構成では、スライス分割境界を目立たなくするためのデブロッキングフィルタ処理を実施することが困難である。

本発明の一形態では、Ｈ．２６４／ＡＶＣの動画像符号化装置は、画像を複数のスライスに分割して符号化するときに、互いに隣接するスライスの境界エッジのデブロッキングフィルタ処理を含む第１フィルタ処理と第１フィルタ処理以外のデブロッキングフィルタ処理である第２フィルタ処理とにデブロッキングフィルタ処理を分割し、少なくとも第２フィルタ処理を並列に実施可能な複数の画像符号化部と、画像符号化部により生成されたデータを可変長符号化する少なくとも１つの可変長符号化部とを有している。画像符号化部は、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジが境界エッジであるマクロブロックに対して、所定の設定を実施するモード決定部と、第２フィルタ処理を実施するフィルタ部とを有している。少なくとも１つの画像符号化部のフィルタ部は、第２フィルタ処理を実施してから第１フィルタ処理を実施する。Ｉマクロブロックに対する所定の設定は、ＭＢ−ｔｙｐｅをＩＮｘＮに設定し、かつ、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定することである。Ｐマクロブロックに対する所定の設定は、ＭＢ−ｔｙｐｅをＰ＿ｓｋｉｐに設定する第１設定と、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する第２設定のいずれかである。Ｂマクロブロックに対する所定の設定は、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定し、かつ、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇが“０”のときには、Ｂ＿ｓｋｉｐおよびＢ＿Ｄｉｒｅｃｔ＿１６ｘ１６のＭＢ−ｔｙｐｅを使用しない条件に設定するとともに、Ｂ＿Ｄｉｒｅｃｔ＿８ｘ８のＳｕｂ−ＭＢ−ｔｙｐｅを使用しない条件に設定することである。

符号化処理を並列に実施したときにもデブロッキングフィルタ処理を実施でき、かつ、符号化処理を並列に実施する際の処理遅延を小さくできる。

一実施形態における動画像符号化装置の例を示している。 図１に示したインター予測モード決定部およびイントラ予測モード決定部により設定されるパラメータの一部の例を示している。 図１に示した画像符号化部の例を示している。 画像を複数のスライスに分割したときのスライスとフレームメモリとの対応関係の例を示している。 画像符号化部の処理タイミングの例を示している。 図５に示した処理タイミングの比較例を示している。 画像符号化部とフレームメモリとの接続の例を示している。 垂直エッジに対するデブロッキングフィルタ処理の概要を示している。 マクロブロックのデブロッキングフィルタ処理の概要を示している。 複数のマクロブロックに対するデブロッキングフィルタ処理の概要を示している。 デブロッキングフィルタ処理の依存関係の例を示している。 デブロッキングフィルタ処理の依存関係の別の例を示している。 デブロッキングフィルタ処理の依存関係の別の例を示している。 ＭＢＡＦＦの画像を符号化する際のデブロッキングフィルタ処理の分割ポイントの例を示している。 ＭＢＡＦＦの画像を符号化する際のデブロッキングフィルタ処理の分割ポイントの別の例を示している。 ＭＢＡＦＦの画像を符号化する際のデブロッキングフィルタ処理の分割ポイントの別の例を示している。 ＭＢＡＦＦの画像を符号化する際のデブロッキングフィルタ処理の分割ポイントの別の例を示している。 図１に示した動画像符号化装置をＬＳＩに適用したときのチップ構成の例を示している。 図１に示した動画像符号化装置を２つのＬＳＩに分けたときのチップ構成の例を示している。 別の実施形態における動画像符号化装置の例を示している。 画像符号化部およびフィルタ部の処理タイミングの例を示している。 図２０に示した動画像符号化装置を２つのＬＳＩに分けたときのチップ構成の例を示している。

以下、実施形態を図面を用いて説明する。

図１は、一実施形態における動画像符号化装置ＥＤＥＶの例を示している。

動画像符号化装置ＥＤＥＶは、例えば、Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、Ｈ．２６４とも称する）に準拠した動画像符号化装置である。例えば、動画像符号化装置ＥＤＥＶは、フレームメモリＦＭＥＭ１、ＦＭＥＭ２、ＦＭＥＭ３、ＦＭＥＭ４および入力部ＩＮＰにスイッチ部ＳＷを介して接続されている。例えば、フレームメモリＦＭＥＭ１−ＦＭＥＭ４は、ＳＤＲＡＭであり、入力部ＩＮＰが受けた入力画像や動画像符号化装置ＥＤＥＶにより生成された参照画像を一時的に記憶する。

動画像符号化装置ＥＤＥＶは、複数の画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４およびエントロピ符号化部ＥＣＯＤを有し、４つのスライスに分割された画像を符号化する。なお、画像の分割数および画像符号化部ＥＮＣの数は、４つに限定されない。また、エントロピ符号化部ＥＣＯＤは、複数設けられてもよい。例えば、動画像符号化装置ＥＤＥＶは、画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４にそれぞれ対応する４つのエントロピ符号化部ＥＣＯＤを有してもよい。

画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４は、例えば、互いに同じ構成である。各画像符号化部ＥＮＣは、例えば、インター予測モード決定部ＭＤ１、イントラ予測モード決定部ＭＤ２およびデブロッキングフィルタ部ＤＢＦを有している。なお、インター予測モード決定部ＭＤ１、イントラ予測モード決定部ＭＤ２およびデブロッキングフィルタ部ＤＢＦ以外の画像符号化部ＥＮＣ１の詳細は、図３で説明する。

インター予測モード決定部ＭＤ１は、例えば、Ｈ．２６４に規定されているインター予測に用いるモードを決定する。また、イントラ予測モード決定部ＭＤ２は、例えば、Ｈ．２６４に規定されているイントラ予測に用いるモードを決定する。このように、インター予測モード決定部ＭＤ１およびイントラ予測モード決定部ＭＤ２は、例えば、マクロブロックを符号化する際のパラメータをＨ．２６４の規格に基づいて設定するモード決定部として機能する。さらに、インター予測モード決定部ＭＤ１およびイントラ予測モード決定部ＭＤ２は、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるマクロブロックに対して、図２に示すように各パラメータを設定する。

なお、例えば、被参照画像でない画像（以下、非被参照画像とも称する）では、図２に示した設定に制限されずに、モードが決定される。エンコード時における非被参照画像は、以降の画像のエンコード処理によって参照されないため、ローカルデコード画像としてフレームメモリＦＭＥＭに記憶されなくてもよい。このため、非被参照画像に対するデブロッキングフィルタ処理は、実施されなくてもよい。この結果、非被参照画像では、図２に示した制限が不要である。

デブロッキングフィルタ部ＤＢＦは、ブロック境界を平滑化するためのデブロッキングフィルタ処理を実施する。例えば、画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３のデブロッキングフィルタ部ＤＢＦは、スライスの境界エッジ以外のデブロッキングフィルタ処理を実施してから、スライスの境界エッジのデブロッキングフィルタ処理を実施する。また、例えば、画像符号化部ＥＮＣ４のデブロッキングフィルタ部ＤＢＦは、スライスの境界エッジ以外のデブロッキングフィルタ処理を実施する。すなわち、デブロッキングフィルタ部ＤＢＦは、互いに隣接するスライスの境界エッジ以外のデブロッキングフィルタ処理を実施するフィルタ部として機能する。

エントロピ符号化部ＥＣＯＤは、画像符号化部ＥＮＣ１−ＥＮＣ４から受けたデータを可変長符号化する。これにより、出力ストリーム（符号化された画像）が生成される。

図２は、図１に示したインター予測モード決定部ＭＤ１およびイントラ予測モード決定部ＭＤ２により設定されるパラメータの一部の例を示している。なお、図２は、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるマクロブロックに設定されるパラメータの例を示している。図２の“−”は、特に制限されることなく、Ｈ．２６４の規定に基づいて設定されることを示している。

例えば、イントラ予測モード決定部ＭＤ２は、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるＩマクロブロックに対して、ＭＢ−ｔｙｐｅをＩＮｘＮに設定し、かつ、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する。

また、インター予測モード決定部ＭＤ１は、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるＰマクロブロックに対して、例えば、ＭＢ−ｔｙｐｅをＰ＿ｓｋｉｐに設定する。ＭＢ−ｔｙｐｅがＰ＿ｓｋｉｐに設定されたマクロブロックは、デブロッキングフィルタ処理が実施されない。このため、ＭＢ−ｔｙｐｅがＰ＿ｓｋｉｐに設定されたときには、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇの設定は、制限されない。なお、インター予測モード決定部ＭＤ１は、ＭＢ−ｔｙｐｅをＰ＿Ｓｋｉｐに設定しないときには、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する。

また、インター予測モード決定部ＭＤ１は、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるＢマクロブロックに対して、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する。さらに、インター予測モード決定部ＭＤ１は、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇが“０”のときには、Ｂ＿ｓｋｉｐおよびＢ＿Ｄｉｒｅｃｔ＿１６ｘ１６のＭＢ−ｔｙｐｅを使用しない条件に設定するとともに、Ｂ＿Ｄｉｒｅｃｔ＿８ｘ８のＳｕｂ−ＭＢ−ｔｙｐｅを使用しない条件に設定する。

図２に示したように各パラメータを設定することにより、スライスの境界エッジに対するデブロッキングフィルタ処理が実施されるマクロブロックの変換サイズは、８ｘ８画素に設定される、または８ｘ８ブロックの内部エッジに対するｂＳは０となりフィルタによる画素更新が行われない。これにより、図１２および図１３で説明するように、例えば、スライスの境界エッジに対するデブロッキングフィルタ処理と他のデブロッキングフィルタ処理との間のデータの依存関係の一部が解消される。

図３は、図１に示した画像符号化部ＥＮＣ１の例を示している。画像符号化部ＥＮＣ１は、インター予測モード決定部ＭＤ１、インター予測部ＩＰ１、イントラ予測モード決定部ＭＤ２、イントラ予測部ＩＰ２、セレクタ制御部ＳＣＬ、セレクタＳＥＬ、差分算出部ＤＩＦ、直交変換部ＯＲＴ、量子化部ＱＮＴ、逆量子化部ＩＱＮＴ、逆直交変換部ＩＯＲＴ、加算部ＡＤＤおよびデブロッキングフィルタ部ＤＢＦを有している。

インター予測モード決定部ＭＤ１は、例えば、図１に示したフレームメモリＦＭＥＭ１から入力画像（原画像）ＩＤＡＴＡ１および参照画像ＲＤＡＴＡ１を読み出し、動きベクトルを検出する。そして、インター予測モード決定部ＭＤ１は、インター予測に用いるモードを決定する。なお、参照画像ＲＤＡＴＡ１がフレームメモリＦＭＥＭ２に記憶されているときには、インター予測モード決定部ＭＤ１は、フレームメモリＦＭＥＭ２から参照画像ＲＤＡＴＡ１を読み出す。また、インター予測モード決定部ＭＤ１は、入力部ＩＮＰから入力画像ＩＤＡＴＡ１を受けてもよい。インター予測部ＩＰ１は、インター予測モード決定部ＭＤ１により決定されたモードと、それと同時に送られる参照画像ＲＤＡＴＡ１に基づいて、動き補償処理を実施し、フレーム間予測画像（ＰマクロブロックやＢマクロブロックの予測画像）を生成する。なお、インター予測部ＩＰ１は、参照画像ＲＤＡＴＡ１を、インター予測モード決定部ＭＤ１からではなく、フレームメモリＦＭＥＭから読み出してもよい。

イントラ予測モード決定部ＭＤ２は、例えば、図１に示したフレームメモリＦＭＥＭ１から入力画像ＩＤＡＴＡ１を読み出し、イントラ予測に用いるモードを決定する。なお、イントラ予測モード決定部ＭＤ２は、入力部ＩＮＰから入力画像ＩＤＡＴＡ１を受けてもよい。イントラ予測部ＩＰ２は、イントラ予測モード決定部ＭＤ２により決定されたモードと、加算部ＡＤＤの出力のうちの一部に基づいて、フレーム内予測を実施し、イントラ予測画像（Ｉマクロブロックの予測画像）を生成する。

なお、インター予測モード決定部ＭＤ１は、インター予測部ＩＰ１内に設けられてもよいし、イントラ予測モード決定部ＭＤ２は、イントラ予測部ＩＰ２内に設けられてもよい。すなわち、被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジがスライスの境界エッジであるマクロブロックに対して、図２に示したように各パラメータを設定するモード決定部は、例えば、インター予測部ＩＰ１内やイントラ予測部ＩＰ２内に設けられてもよい。

セレクタ制御部ＳＣＬは、例えば、インター予測モード決定部ＭＤ１およびイントラ予測モード決定部ＭＤ２から受ける圧縮率等の情報に基づいて、セレクタＳＥＬを制御する。セレクタＳＥＬは、セレクタ制御部ＳＣＬの制御に応じて、インター予測部ＩＰ１の出力（フレーム間予測画像）およびイントラ予測部ＩＰ２の出力（イントラ予測画像）のいずれかを選択する。

差分算出部ＤＩＦは、入力画像ＩＤＡＴＡ１とセレクタＳＥＬにより選択された予測画像との差分を算出する。直交変換部ＯＲＴは、差分算出部ＤＩＦから受けたデータ（差分画像）を直交変換する。量子化部ＱＮＴは、直交変換部ＯＲＴから受けたデータを量子化する。量子化部ＱＮＴにより量子化されたデータＱＤＡＴＡ１は、逆量子化部ＩＱＮＴおよび図１に示したエントロピ符号化部ＥＣＯＤに出力される。

逆量子化部ＩＱＮＴは、量子化部ＱＮＴから受けたデータＱＤＡＴＡ１を逆量子化する。逆直交変換部ＩＯＲＴは、逆量子化部ＩＱＮＴから受けたデータを逆直交変換する。加算部ＡＤＤは、逆直交変換部ＩＯＲＴから受けたデータとセレクタＳＥＬにより選択された予測画像とを加算して、復号画像をデブロッキングフィルタ部ＤＢＦに出力する。

デブロッキングフィルタ部ＤＢＦは、加算部ＡＤＤから受けた復号画像に対して、デブロッキングフィルタ処理を実施する。なお、デブロッキングフィルタ処理の詳細は、図８−図１３で説明する。デブロッキングフィルタ部ＤＢＦは、デブロッキングフィルタ処理後の画像ＤＤＡＴＡ１（参照画像）を、例えば、図１に示したフレームメモリＦＭＥＭ１に書き込む。

画像符号化部ＥＮＣ２、ＥＮＣ３の動作は、画像符号化部ＥＮＣ１と同じである。また、画像符号化部ＥＮＣ４の動作は、デブロッキングフィルタ部ＤＢＦの動作を除いて、画像符号化部ＥＮＣ１と同じである。例えば、画像符号化部ＥＮＣ４のデブロッキングフィルタ部ＤＢＦは、スライスの境界エッジのデブロッキングフィルタ処理を実施しない。

図４は、画像ＩＭＧを複数のスライスＳＬに分割したときのスライスＳＬとフレームメモリＦＭＥＭとの対応関係の例を示している。なお、図４は、３８４０ｘ２１６０画素のＵＨＤＴＶ（Ultra High Definition Television）画像ＩＭＧを縦方向に４分割したときの例を示している。すなわち、画像ＩＭＧは、複数のスライスＳＬに水平エッジで分割されている。図４の符号ＳＥＧは、互いに隣接するスライスＳＬの境界エッジＳＥＧを示している。

１マクロブロックラインＬは、１６行の画素ラインを含んで構成される。スライスＳＬ１は、マクロブロックラインＬ０−Ｌ３３（５４４行の画素ライン）により構成され、フレームメモリＦＭＥＭ１に格納される。スライスＳＬ２は、マクロブロックラインＬ３４−Ｌ６７（５４４行の画素ライン）により構成され、フレームメモリＦＭＥＭ２に格納される。スライスＳＬ３は、マクロブロックラインＬ６８−Ｌ１０１（５４４行の画素ライン）により構成され、フレームメモリＦＭＥＭ３に格納される。スライスＳＬ４は、マクロブロックラインＬ１０２−Ｌ１３４（５２８行の画素ライン）により構成され、フレームメモリＦＭＥＭ４に格納される。

また、スライスＳＬ１−ＳＬ４は、図１に示した画像符号化部ＥＮＣ１−ＥＮＣ４によりそれぞれ処理される。なお、マクロブロックラインＬ３４、Ｌ６８、Ｌ１０２のマクロブロックは、例えば、図２に示したように設定される。これにより、各境界エッジＳＥＧのデブロッキングフィルタ処理（図４の網掛け部分の画素を使用するデブロッキングフィルタ処理）は、境界エッジＳＥＧ以外のデブロッキングフィルタ処理とは別に実施される。例えば、スライスＳＬ１とスライスＳＬ２との境界エッジＳＥＧのデブロッキングフィルタ処理は、画像符号化部ＥＮＣ１によりマクロブロックラインＬ３３の処理と一緒に実施される。

図５は、画像符号化部ＥＮＣ１−ＥＮＣ４の処理タイミングの例を示している。なお、図５は、図４に示したように画像ＩＭＧを４つのスライスＳＬに分割したときの処理タイミングの例を示している。図５の期間Ｔ１０は、フレームレートに対応する時間（例えば、１／６０秒）を示している。図５の網掛けは、互いに隣接するスライスＳＬの境界エッジＳＥＧのデブロッキングフィルタ処理を含むデブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を示している。例えば、デブロッキングフィルタ処理ＤＦＬの結果は、デブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理には使用されない。

画像符号化部ＥＮＣ１は、ピクチャＩ０（Ｉピクチャ）のマクロブロックラインＬ０−Ｌ３３を順次処理する。例えば、画像符号化部ＥＮＣ１は、マクロブロックラインＬ０−Ｌ３３のデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序（例えば、図９に示す順序）で実施する。その後、画像符号化部ＥＮＣ１は、デブロッキングフィルタ処理ＤＦＬ１を実施する。例えば、デブロッキングフィルタ処理ＤＦＬ１は、スライスＳＬ１のマクロブロックラインＬ３３とスライスＳＬ２のマクロブロックラインＬ３４との境界エッジＳＥＧのデブロッキングフィルタ処理を含む。

なお、ピクチャＩ０のマクロブロックラインＬ３４の処理は、マクロブロックラインＬ０の処理とほぼ同じタイミングで、画像符号化部ＥＮＣ２により実施されている。したがって、デブロッキングフィルタ処理ＤＦＬ１が実施されるときには、マクロブロックラインＬ３４の処理は、終了している。これにより、画像符号化部ＥＮＣ１は、マクロブロックラインＬ３３とマクロブロックラインＬ３４との境界エッジＳＥＧの上下４画素を使用するデブロッキングフィルタ処理ＤＦＬ１を、マクロブロックラインＬ３３の処理に引き続き実施できる。

画像符号化部ＥＮＣ２は、ピクチャＩ０のマクロブロックラインＬ３４−Ｌ６７を順次処理する。例えば、画像符号化部ＥＮＣ２は、マクロブロックラインＬ３４のデブロッキングフィルタ処理のうち、デブロッキングフィルタ処理ＤＦＬ１を除くデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。そして、画像符号化部ＥＮＣ２は、マクロブロックラインＬ３５−Ｌ６７のデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。その後、画像符号化部ＥＮＣ２は、デブロッキングフィルタ処理ＤＦＬ２を実施する。例えば、デブロッキングフィルタ処理ＤＦＬ２は、スライスＳＬ２のマクロブロックラインＬ６７とスライスＳＬ３のマクロブロックラインＬ６８との境界エッジＳＥＧのデブロッキングフィルタ処理を含む。

なお、ピクチャＩ０のマクロブロックラインＬ６８の処理は、マクロブロックラインＬ０、Ｌ３４の処理とほぼ同じタイミングで、画像符号化部ＥＮＣ３により実施されている。したがって、デブロッキングフィルタ処理ＤＦＬ２が実施されるときには、マクロブロックラインＬ６８の処理は、終了している。これにより、画像符号化部ＥＮＣ２は、マクロブロックラインＬ６７とマクロブロックラインＬ６８との境界エッジＳＥＧの上下４画素を使用するデブロッキングフィルタ処理ＤＦＬ２を、マクロブロックラインＬ６７の処理に引き続き実施できる。

画像符号化部ＥＮＣ３は、ピクチャＩ０のマクロブロックラインＬ６８−Ｌ１０１を順次処理する。例えば、画像符号化部ＥＮＣ３は、マクロブロックラインＬ６８のデブロッキングフィルタ処理のうち、デブロッキングフィルタ処理ＤＦＬ２を除くデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。そして、画像符号化部ＥＮＣ３は、マクロブロックラインＬ６９−Ｌ１０１のデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。その後、画像符号化部ＥＮＣ３は、デブロッキングフィルタ処理ＤＦＬ３を実施する。例えば、デブロッキングフィルタ処理ＤＦＬ３は、スライスＳＬ３のマクロブロックラインＬ１０１とスライスＳＬ４のマクロブロックラインＬ１０２との境界エッジＳＥＧのデブロッキングフィルタ処理を含む。

なお、ピクチャＩ０のマクロブロックラインＬ１０２の処理は、マクロブロックラインＬ０、Ｌ３４、Ｌ６８の処理とほぼ同じタイミングで、画像符号化部ＥＮＣ４により実施されている。したがって、デブロッキングフィルタ処理ＤＦＬ３が実施されるときには、マクロブロックラインＬ１０２の処理は、終了している。これにより、画像符号化部ＥＮＣ３は、マクロブロックラインＬ１０１とマクロブロックラインＬ１０２との境界エッジＳＥＧの上下４画素を使用するデブロッキングフィルタ処理ＤＦＬ３を、マクロブロックラインＬ１０１の処理に引き続き実施できる。

画像符号化部ＥＮＣ４は、ピクチャＩ０のマクロブロックラインＬ１０２−Ｌ１３４を順次処理する。例えば、画像符号化部ＥＮＣ４は、マクロブロックラインＬ１０２のデブロッキングフィルタ処理のうち、デブロッキングフィルタ処理ＤＦＬ３を除くデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。そして、画像符号化部ＥＮＣ４は、マクロブロックラインＬ１０３−Ｌ１３４のデブロッキングフィルタ処理を、Ｈ．２６４の規定に基づいた順序で実施する。

このように、画像符号化部ＥＮＣ１−ＥＮＣ４は、スライスＳＬ１−ＳＬ４の処理を並列に実施する。そして、下端のエッジがスライスＳＬの境界エッジであるマクロブロックを含むスライスＳＬを処理する画像符号化部ＥＮＣ１−ＥＮＣ３（より詳細には、画像符号化部ＥＮＣ１−ＥＮＣ３のデブロッキングフィルタ部ＤＢＦ）は、デブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理を実施してからデブロッキングフィルタ処理ＤＦＬを実施する。

なお、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３は、例えば、画像符号化部ＥＮＣ２、ＥＮＣ３、ＥＮＣ４でそれぞれ実施されてもよい。あるいは、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３は、２つの画像符号化部ＥＮＣで実施されてもよいし、１つの画像符号化部ＥＮＣで実施されてもよい。すなわち、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３は、少なくとも１つの画像符号化部ＥＮＣのデブロッキングフィルタ部ＤＢＦで実施される。

ここで、画像が複数のスライスＳＬに垂直エッジで分割されたときにも、互いに隣接するスライスＳＬの境界エッジＳＥＧのデブロッキングフィルタ処理を含むデブロッキングフィルタ処理ＤＦＬは、他のデブロッキングフィルタ処理とは別に実施される。例えば、右端のエッジがスライスＳＬの境界エッジであるマクロブロックを含むスライスＳＬを処理する画像符号化部ＥＮＣのデブロッキングフィルタ部ＤＢＦは、デブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理を実施してからデブロッキングフィルタ処理ＤＦＬを実施する。

このように、この実施形態では、デブロッキングフィルタ処理ＤＦＬが他のデブロッキングフィルタ処理の後に実施されるため、符号化処理をフレーム内で並列に実施できる。これにより、この実施形態では、符号化処理を並列に実施する際の処理遅延を小さくできる。

図５に示したピクチャＢ１（Ｂピクチャ）およびピクチャＢ２（Ｂピクチャ）は、例えば、被参照画像でない画像である。したがって、ピクチャＢ１、Ｂ２の処理では、デブロッキングフィルタ処理は、実施されない。なお、ピクチャＰ３（Ｐピクチャ）は、例えば、被参照画像である。このため、ピクチャＰ３では、ピクチャＩ０の処理と同様にデブロッキングフィルタ処理が実施される。すなわち、被参照画像では、Ｉピクチャか否かにかかわらず、上述したピクチャＩ０の処理と同様にデブロッキングフィルタ処理が実施される。

図６は、図５に示した処理タイミングの比較例を示している。なお、図６は、マクロブロックラインＬ３４、Ｌ６８、Ｌ１０２のマクロブロックが図２に示したように設定されていないときの処理タイミングの例を示している。図６の例では、デブロッキングフィルタ処理間にデータの依存関係があるため、デブロッキングフィルタ処理は、マクロブロックアドレス順（ラスタスキャン順）に順次実施される。したがって、マクロブロックラインＬ３４以降のデブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３は、依存関係によって順番に処理される必要がある。

なお、デブロッキングフィルタ処理ＡＤＦＬ１は、マクロブロックラインＬ３４−Ｌ６７のデブロッキングフィルタ処理を示している。また、デブロッキングフィルタ処理ＡＤＦＬ２は、マクロブロックラインＬ６８−Ｌ１０１のデブロッキングフィルタ処理を示している。そして、デブロッキングフィルタ処理ＡＤＦＬ３は、マクロブロックラインＬ１０２−Ｌ１３４のデブロッキングフィルタ処理を示している。

画像符号化部ＥＮＣ１は、マクロブロックラインＬ０−Ｌ３３を順次処理する。なお、画像符号化部ＥＮＣ１は、図５に示したデブロッキングフィルタ処理ＤＦＬ１を実施しない。画像符号化部ＥＮＣ２は、先ず、マクロブロックラインＬ３４−Ｌ６７に対して、マクロブロックラインＬ３４−Ｌ６７のデブロッキングフィルタ処理ＡＤＦＬ１以外の処理を順次処理する。そして、画像符号化部ＥＮＣ２は、画像符号化部ＥＮＣ１によるマクロブロックラインＬ３３のデブロッキングフィルタ処理の完了後、マクロブロックラインＬ３４−Ｌ６７のデブロッキングフィルタ処理ＡＤＦＬ１を実施する。

画像符号化部ＥＮＣ３は、先ず、マクロブロックラインＬ６８−Ｌ１０１に対して、マクロブロックラインＬ６８−Ｌ１０１のデブロッキングフィルタ処理ＡＤＦＬ２以外の処理を順次処理する。そして、画像符号化部ＥＮＣ３は、画像符号化部ＥＮＣ２によるデブロッキングフィルタ処理ＡＤＦＬ１の完了後、マクロブロックラインＬ６８−Ｌ１０１のデブロッキングフィルタ処理ＡＤＦＬ２を実施する。

画像符号化部ＥＮＣ４は、先ず、マクロブロックラインＬ１０２−Ｌ１３４に対して、マクロブロックラインＬ１０２−Ｌ１３４のデブロッキングフィルタ処理ＡＤＦＬ３以外の処理を順次処理する。そして、画像符号化部ＥＮＣ４は、画像符号化部ＥＮＣ３によるデブロッキングフィルタ処理ＡＤＦＬ２の完了後、マクロブロックラインＬ１０２−Ｌ１３４のデブロッキングフィルタ処理ＡＤＦＬ３を実施する。

このように、図６の例では、マクロブロックラインＬ３４以降のデブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３を実施する時間を別途設ける必要がある。なお、デブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３の処理対象は、画面の約３／４にわたる。このため、デブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３の処理量は、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３（スライス境界のフィルタ処理のみ）に比べて、非常に多い。このため、図６の例では、符号化処理を並列に実施する際の処理遅延が大きい。なお、図６の例において、図５に示した処理タイミングと同じフレームレート（例えば、期間Ｔ１０’が１／６０秒）を達成するためには、符号化等の各処理をより高速に実施する必要がある。

また、デブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３では、画像の３／４に対してリード／ライトを実施する。これに対し、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３では、処理対象になる画素だけのリード／ライトでよい。このため、この実施形態では、フレームメモリＦＭＥＭ１−ＦＭＥＭ４を構成するＳＤＲＡＭ等の帯域を削減できる。

すなわち、上端、左端および右端のいずれかのエッジがスライス境界であるマクロブロックの各パラメータを図２に示したように設定しない構成では、符号化処理を並列に実施しても、デブロッキングフィルタ処理を効率よく実施できない。

なお、この実施形態では、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３の完了前に、デブロッキングフィルタ処理ＡＤＦＬ１、ＡＤＦＬ２、ＡＤＦＬ３に相当する処理を実施することができるため、デブロッキングフィルタ処理を効率よく並列に実施できる。これにより、の実施形態では、符号化処理を並列に実施する際の処理遅延を小さくできる。

図７は、画像符号化部ＥＮＣ１−ＥＮＣ４とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との接続の例を示している。図７の破線の矢印は、フレームメモリＦＭＥＭから画像符号化部ＥＮＣに読み出されるデータのパス（リード）を示している。また、図７の実線の矢印は、画像符号化部ＥＮＣからフレームメモリＦＭＥＭに書き込まれるデータのパス（ライト）を示している。なお、この実施形態では、符号化の際に参照されるマクロブロックの範囲は、隣接するスライスＳＬを超えない範囲に設定されている。このため、例えば、図４に示したスライスＳＬ１のマクロブロックを符号化する際に、スライスＳＬ３、ＳＬ４のマクロブロックが参照されることはない。

画像符号化部ＥＮＣ１−ＥＮＣ４は、フレームメモリＦＭＥＭ１−ＦＭＥＭ４にスイッチ部ＳＷを介して接続されている。画像符号化部ＥＮＣ１−ＥＮＣ４とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との間の信号ラインは、スイッチ部ＳＷにより切り替えられる。

画像符号化部ＥＮＣ１は、フレームメモリＦＭＥＭ１、ＦＭＥＭ２のデータを読み出し可能に接続され、かつ、フレームメモリＦＭＥＭ１、ＦＭＥＭ２にデータを書き込み可能に接続されている。例えば、画像符号化部ＥＮＣ１は、マクロブロックラインＬ０−Ｌ３３のデブロッキングフィルタ処理により平滑化された画素の値（データ）をフレームメモリＦＭＥＭ１に書き込む。また、画像符号化部ＥＮＣ１は、例えば、デブロッキングフィルタ処理ＤＦＬ１により平滑化されたマクロブロックＬ３４の画素の値を、フレームメモリＦＭＥＭ２に書き込む。

画像符号化部ＥＮＣ２は、フレームメモリＦＭＥＭ１−ＦＭＥＭ３のデータを読み出し可能に接続され、かつ、フレームメモリＦＭＥＭ２、ＦＭＥＭ３にデータを書き込み可能に接続されている。例えば、画像符号化部ＥＮＣ２は、マクロブロックラインＬ３４−Ｌ６７のデブロッキングフィルタ処理により平滑化された画素の値をフレームメモリＦＭＥＭ２に書き込む。また、画像符号化部ＥＮＣ２は、例えば、デブロッキングフィルタ処理ＤＦＬ２により平滑化されたマクロブロックＬ６８の画素の値を、フレームメモリＦＭＥＭ３に書き込む。

画像符号化部ＥＮＣ３は、フレームメモリＦＭＥＭ２−ＦＭＥＭ４のデータを読み出し可能に接続され、かつ、フレームメモリＦＭＥＭ３、ＦＭＥＭ４にデータを書き込み可能に接続されている。例えば、画像符号化部ＥＮＣ３は、マクロブロックラインＬ６８−Ｌ１０１のデブロッキングフィルタ処理により平滑化された画素の値をフレームメモリＦＭＥＭ３に書き込む。また、画像符号化部ＥＮＣ３は、例えば、デブロッキングフィルタ処理ＤＦＬ３により平滑化されたマクロブロックＬ１０２の画素の値を、フレームメモリＦＭＥＭ４に書き込む。

画像符号化部ＥＮＣ４は、フレームメモリＦＭＥＭ３、ＦＭＥＭ４のデータを読み出し可能に接続され、かつ、フレームメモリＦＭＥＭ４にデータを書き込み可能に接続されている。例えば、画像符号化部ＥＮＣ４は、マクロブロックラインＬ１０２−Ｌ１３４のデブロッキングフィルタ処理により平滑化された画素の値をフレームメモリＦＭＥＭ４に書き込む。

このように、この実施形態では、フレーム内の並列化を実現するために、各画像符号化部ＥＮＣと全てのフレームメモリＦＭＥＭ１−ＦＭＥＭ４とをリード／ライト可能に接続する必要はない。したがって、フレームメモリＦＭＥＭ１−ＦＭＥＭ４を構成するＳＤＲＡＭ等と各画像符号化部ＥＮＣ間の接続パス数の増加を抑制できる。例えば、リードのパスは、画像符号化部ＥＮＣの数をｎとしたとき、（ｎ×３−２）本である。また、ライトのパスは、画像符号化部ＥＮＣの数をｎとしたとき、（ｎ×２−１）本である。

なお、デブロッキングフィルタ処理ＤＦＬを実施しない構成では、ライトの（ｎ−１）本のパスを省くことができる。換言すれば、デブロッキングフィルタ処理ＤＦＬ用に追加されるパスは、ライトの（ｎ−１）本である。このように、この実施形態では、フレームメモリＦＭＥＭ１−ＦＭＥＭ４を構成するＳＤＲＡＭと各画像符号化部ＥＮＣ間の接続パス数の増加を抑制しつつ、デブロッキングフィルタ処理ＤＦＬを実施可能に構成できる。

ここで、図１に示した画像符号化装置ＥＤＥＶは、デブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理の結果を一時的に保持するバッファを有してもよい。

図８は、垂直エッジＥＧに対するデブロッキングフィルタ処理の概要を示している。なお、図８は、マクロブロックＭＢの最も左側の垂直エッジＥＧに対するデブロッキングフィルタ処理を示している。図８の網掛けは、デブロッキングフィルタ処理により、値が書き換えられる画素ＰＸを示している。また、ブロックＰＢａは、４ｘ４画素のブロックを示している。

マクロブロックＭＢの１つの垂直エッジＥＧに対するデブロッキングフィルタ処理は、１６個の画素ＰＸの垂直エッジＥＧに対するフィルタ処理である。すなわち、マクロブロックＭＢの１つの垂直エッジＥＧに対するデブロッキングフィルタ処理は、１画素ＰＸの垂直エッジＥＧに対するサブフィルタ処理を１６個集めたものである。サブフィルタ処理間にデータの依存関係がないため、サブフィルタ処理は、並列あるいは任意の順序で実施可能である。サブフィルタ処理では、サブフィルタ処理の対象となる１画素ＰＸの垂直エッジＥＧの左右４画素ＰＸの情報に基づいて、左右３画素ＰＸ（図の網掛け部分）の値を書き換える。

以下、マクロブロックＭＢの１つの垂直エッジＥＧに対するデブロッキングフィルタ処理を垂直エッジフィルタ処理とも称する。なお、マクロブロックＭＢの１つの水平エッジに対するデブロッキングフィルタ処理は、垂直エッジフィルタ処理の縦横を変えた処理である。以下、マクロブロックＭＢの１つの水平エッジに対するデブロッキングフィルタ処理を水平エッジフィルタ処理とも称する。

図９は、マクロブロックＭＢのデブロッキングフィルタ処理の概要を示している。なお、図９は、マクロブロックＭＢの変換サイズが４ｘ４画素に設定されたときのデブロッキングフィルタ処理の概要を示している。図９の濃い網掛けは、デブロッキングフィルタ処理が実施されている画素（より詳細には、値が書き換えられる画素）を示している。図９の薄い網掛けは、デブロッキングフィルタ処理が完了した画素（より詳細には、値が書き換えられた画素）を示している。すなわち、図９の薄い網掛けの画素の値は、濃い網掛け部分のデブロッキングフィルタ処理より先に実施されたデブロッキングフィルタ処理により、書き換えられている。

先ず、マクロブロックＭＢに存在する４つの垂直エッジに対して、垂直エッジフィルタ処理が実施される。垂直エッジフィルタ処理は、左側の垂直エッジから順に実施される（図９（ａ、ｂ、ｃ、ｄ））。その後、マクロブロックＭＢに存在する４つの水平エッジに対して、水平エッジフィルタ処理が実施される。水平エッジフィルタ処理は、上側の水平エッジから順に実施される（図９（ｅ、ｆ、ｇ、ｈ））。

図１０は、複数のマクロブロックＭＢに対するデブロッキングフィルタ処理の概要を示している。なお、図１０は、互いに隣接する４つのマクロブロックＭＢのデブロッキングフィルタ処理の概要を示している。図１０の例では、各マクロブロックＭＢの変換サイズは、４ｘ４画素に設定されている。図１０の太い線の四角形は、マクロブロックＭＢを示し、マクロブロックＭＢ内の四角形は、４ｘ４画素のブロックを示している。なお、図１０の濃い網掛けおよび薄い網掛けの意味は、図９と同じである。

先ず、図１０（ａ）に示すように、左上のマクロブロックＭＢのデブロッキングフィルタ処理が、図９に示した順序で実施される。そして、図１０（ｂ、ｃ）に示すように、右上のマクロブロックＭＢのデブロッキングフィルタ処理が、図９に示した順序で実施される。例えば、図１０（ｂ）に示すように、左上のマクロブロックＭＢのデブロッキングフィルタ処理が完了した後、右上のマクロブロックＭＢの最も左側の垂直エッジに対して、垂直エッジフィルタ処理が実施される。

右上のマクロブロックＭＢのデブロッキングフィルタ処理が完了した後（図１０（ｃ））、左下のマクロブロックＭＢのデブロッキングフィルタ処理が、図９に示した順序で実施される。例えば、図１０（ｄ）に示すように、左下のマクロブロックＭＢの垂直エッジフィルタ処理が完了した後、左下のマクロブロックＭＢの最も上側の水平エッジに対する水平エッジフィルタ処理が実施される。

左下のマクロブロックＭＢのデブロッキングフィルタ処理が完了した後、右下のマクロブロックＭＢのデブロッキングフィルタ処理が、図９に示した順序で実施される。例えば、図１０（ｅ）に示すように、左下のマクロブロックＭＢのデブロッキングフィルタ処理が完了した後、右下のマクロブロックＭＢの最も左側の垂直エッジに対して、垂直エッジフィルタ処理が実施される。そして、図１０（ｆ）に示すように、右下のマクロブロックＭＢの垂直エッジフィルタ処理が完了した後、右下のマクロブロックＭＢの最も上側の水平エッジに対する水平エッジフィルタ処理が実施される。その後、残りの水平エッジに対する水平エッジフィルタ処理が実施され、４つのマクロブロックＭＢに対する全てのデブロッキングフィルタ処理が完了する。

このように、４つのマクロブロックＭＢのデブロッキングフィルタ処理は、左上のマクロブロックＭＢ、右上のマクロブロックＭＢ、左下のマクロブロックＭＢ、右下のマクロブロックＭＢの順に実施される。

ここで、図１０の網掛け部分の重なり（角の丸い長方形同士の重なり）は、背面側の網掛けに対応するデブロッキングフィルタ処理の結果が前面側の網掛けに対応するデブロッキングフィルタ処理に使用されることを示している。すなわち、図１０の網掛け部分の重なりは、デブロッキングフィルタ処理間にデータの依存関係があることを示している。

例えば、図１０（ｄ）の濃い網掛けに対応するデブロッキングフィルタ処理は、左上のマクロブロックＭＢの垂直エッジフィルタ処理、左上のマクロブロックＭＢの最後に実施される水平エッジフィルタ処理および左下のマクロブロックＭＢの垂直エッジフィルタ処理のそれぞれの結果を使用する。また、図１０（ｄ）の濃い網掛けに対応するデブロッキングフィルタ処理の結果は、例えば、左下のマクロブロックＭＢの２番目に実施される水平エッジフィルタ処理および右下のマクロブロックＭＢの最初に実施される垂直エッジフィルタ処理に使用される。

なお、図１０では、図を見やすくするために、デブロッキングフィルタ処理により書き換えられる画素（エッジの両側の３画素）を網掛け（角の丸い長方形）で示している。実際には、デブロッキングフィルタ処理は、図８で説明したように、例えば、エッジの両側４画素を使用する。

図１１は、デブロッキングフィルタ処理の依存関係の例を示している。なお、図１１は、図１０（ｆ）に示した状態から残りの水平エッジに対する水平エッジフィルタ処理が実施された状態に対応し、４つのマクロブロックＭＢに対する全てのデブロッキングフィルタ処理が完了した状態を示している。図１１の網掛けおよび網掛けの重なりの意味は、図１０と同じである。

互いに隣接するマクロブロックＭＢのデブロッキングフィルタ処理間には、データの依存関係がある。このため、例えば、各マクロブロックＭＢの垂直エッジフィルタ処理が実施されるときには、垂直エッジフィルタ処理が実施されるマクロブロックＭＢの左側のマクロブロックＭＢのデブロッキングフィルタ処理が完了している必要がある。また、各マクロブロックＭＢの水平エッジフィルタ処理が実施されるときには、水平エッジフィルタ処理が実施されるマクロブロックＭＢの上側のマクロブロックＭＢのデブロッキングフィルタ処理が完了している必要がある。また、変換サイズが４ｘ４画素に設定されたマクロブロックＭＢでは、マクロブロックＭＢ内のデブロッキングフィルタ処理間に完全な依存関係がある。

したがって、例えば、４ｘ４画素のブロックの全てのエッジにデブロッキングフィルタ処理が実施されるときには、データの依存関係により、図１０に示した順序で複数のマクロブロックＭＢのデブロッキングフィルタ処理を実施する必要がある。さらに、図９に示した順序（Ｈ．２６４に規定されている順序）でマクロブロックＭＢ内のデブロッキングフィルタ処理を実施する必要がある。この場合、デブロッキングフィルタ処理は、例えば、図６で説明したように、マクロブロックラインＬ０から順次実施される。

なお、図２に示したように各パラメータを設定することにより、図１２に示すようにデータの依存関係の一部を解消することができる。したがって、この実施形態では、図５に示したように、例えば、マクロブロックラインＬ３３のデブロッキングフィルタ処理の完了前に、デブロッキングフィルタ処理ＤＦＬ１を除くマクロブロックラインＬ３４以降のデブロッキングフィルタ処理を実施できる。

図１２は、デブロッキングフィルタ処理の依存関係の別の例を示している。なお、図１２は、互いに隣接するマクロブロックＭＢの境界エッジ（水平エッジＥＧ１０）を上端に有するマクロブロックＭＢの変換サイズが８ｘ８画素に設定された、または８ｘ８ブロックの内部エッジに対するｂＳが０となるときのデブロッキングフィルタ処理の依存関係を示している。図１２の薄い網掛けおよび網掛けの重なりの意味は、図１１と同じである。図１２の濃い網掛けは、図９および図１０で説明した順序と異なるタイミングで実施されても問題のないデブロッキングフィルタ処理を示している。なお、濃い網掛け内では、図９および図１０で説明した順序に従ってデブロッキングフィルタ処理が実施される。

変換サイズが８ｘ８画素に設定された、または８ｘ８ブロックの内部エッジに対するｂＳが０となるマクロブロックＭＢでは、８ｘ８画素のブロックのエッジに対してのみ、デブロッキングフィルタ処理が実施される。すなわち、変換サイズが８ｘ８画素に設定されたマクロブロックＭＢでは、図９（ｂ、ｄ、ｆ、ｈ）に示したデブロッキングフィルタ処理（８ｘ８画素のブロック内部のデブロッキングフィルタ処理）は、実施されない。

このため、図１２（ａ）に示すように、変換サイズが８ｘ８画素に設定された、または８ｘ８ブロックの内部エッジに対するｂＳが０となるマクロブロックＭＢ（水平エッジＥＧ１０の下側の２つのマクロブロックＭＢ）では、水平エッジフィルタ処理間のデータの依存関係および垂直エッジフィルタ処理間のデータの依存関係が解消される。また、図８で説明したように、水平エッジフィルタ処理および垂直エッジフィルタ処理のサブフィルタ処理間には、データの依存関係はない。このため、例えば、垂直エッジフィルタ処理は、任意の画素のエッジで分割されて別のタイミングで実施されても問題ない。

したがって、図１２（ｂ）に示すように、例えば、垂直エッジフィルタ処理は、水平エッジＥＧ１０から４画素目のポイントＰＴ１０で分割されて、別のタイミングで実施されても問題ない。なお、図１２の濃い網掛けは、水平エッジＥＧ１０のデブロッキングフィルタ処理と水平エッジＥＧ１０のデブロッキングフィルタ処理に付随するデブロッキングフィルタ処理とを示している。例えば、水平エッジＥＧ１０がスライス境界のエッジのとき、図１２の濃い網掛けは、図５に示したデブロッキングフィルタ処理ＤＦＬに対応する。したがって、この実施形態では、上端のエッジがスライス境界のエッジであるマクロブロックＭＢに対して図２に示したように各パラメータを設定することにより、図１２（ｂ）の濃い網掛けで示したデブロッキングフィルタ処理を、薄い網掛けで示したデブロッキングフィルタ処理より後に実施できる。

図１３は、デブロッキングフィルタ処理の依存関係の別の例を示している。なお、図１３は、垂直エッジＥＧ２０に隣接する４つのマクロブロックＭＢの変換サイズが８ｘ８画素に設定された、または８ｘ８ブロックの内部エッジに対するｂＳが０となるときのデブロッキングフィルタ処理の依存関係を示している。図１３の網掛けおよび網掛けの重なりの意味は、図１２と同じである。例えば、図１３の濃い網掛けは、垂直エッジＥＧ２０のデブロッキングフィルタ処理と垂直エッジＥＧ２０のデブロッキングフィルタ処理に付随するデブロッキングフィルタ処理とを示している。

図１３（ａ）に示すように、変換サイズが８ｘ８画素に設定された、または８ｘ８ブロックの内部エッジに対するｂＳが０となるマクロブロックＭＢ（垂直エッジＥＧ２０の両側のマクロブロックＭＢ）では、水平エッジフィルタ処理間のデータの依存関係および垂直エッジフィルタ処理間のデータの依存関係が解消される。このため、例えば、水平エッジフィルタ処理は、任意の画素のエッジで分割されて別のタイミングで実施されても問題ない。

したがって、図１３（ｂ）に示すように、例えば、水平エッジフィルタ処理は、垂直エッジＥＧ２０から左右４画素目のポイントＰＴ２０、ＰＴ３０で分割されて、別のタイミングで実施されても問題ない。したがって、この実施形態では、左端および右端のいずれかのエッジがスライス境界のエッジであるマクロブロックＭＢに対して図２に示したように各パラメータを設定することにより、図１３（ｂ）の濃い網掛けで示したデブロッキングフィルタ処理を、薄い網掛けで示したデブロッキングフィルタ処理より後に実施できる。なお、濃い網掛け内では、図９および図１０で説明した順序に従ってデブロッキングフィルタ処理が実施される。

図１４−図１７は、ＭＢＡＦＦの画像を符号化する際のデブロッキングフィルタ処理の分割ポイントの例を示している。なお、図１４−図１７は、スライスの境界エッジＳＥＧが水平エッジのときのデブロッキングフィルタ処理の分割ポイントの例を示している。Ｈ．２６４に規定されているＭＢＡＦＦの画像では、水平エッジに対するデブロッキングフィルタ処理（水平エッジフィルタ処理）間の依存関係が図８−図１３で説明した依存関係と異なる。なお、垂直エッジに対するデブロッキングフィルタ処理（垂直エッジフィルタ処理）間の依存関係は、ＭＢＡＦＦの画像でも、図８−図１３で説明した依存関係と同じである。図１４−図１７に示したマクロブロックペアＭＢＰ（ＭＢＰ１０、ＭＢＰ１１、ＭＢＰ２０、ＭＢＰ２１）の組み合わせおよび分割ポイントＰＴ（ＰＴ１０、ＰＴ１１、ＰＴ１２）を示す情報は、例えば、図１８に示す制御部ＣＮＴから画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４に通知される。

図１４−図１７では、スライスの境界エッジＳＥＧを挟んで互いに隣接するマクロブロックペアＭＢＰを図の左側に示している。マクロブロックペアＭＢＰ１０、ＭＢＰ１１は、Ｆｒａｍｅ−ＭＢ−ｐａｉｒである。マクロブロックペアＭＢＰ２０、ＭＢＰ２１は、Ｆｉｅｌｄ−ＭＢ−ｐａｉｒである。マクロブロックペアＭＢＰの網掛け部分は、マクロブロックアドレスが奇数（（マクロブロックアドレス％２）＝＝１）のマクロブロックの画素を示している。したがって、マクロブロックペアＭＢＰの網掛けのない部分は、マクロブロックアドレスが偶数（（マクロブロックアドレス％２）＝＝０）のマクロブロックの画素を示している。

また、スライスの境界エッジＳＥＧの下側のマクロブロックペアＭＢＰ（ＭＢＰ１１、ＭＢＰ２１）の水平エッジフィルタ処理の対象画素を図の右側に示している。図では、Ｈ．２６４に準拠した処理順序に対応させて水平エッジフィルタ処理の対象画素を示している。例えば、時間的に先に実施される水平エッジフィルタ処理の対象画素を相対的に左側に示している。破線より左側に示した画素は、（マクロブロックアドレス％２）＝＝０のマクロブロックの水平エッジフィルタ処理の対象画素である。破線より右側に示した画素は、（マクロブロックアドレス％２）＝＝１のマクロブロックの水平エッジフィルタ処理の対象画素である。なお、図の右側の四角形（図の縦方向に並んだ８つの正方形の各グループや各長方形）は、各水平エッジフィルタ処理のうちの１つのサブフィルタ処理の対象画素（８画素）を示している。また、破線の四角形は、実施されない水平エッジフィルタ処理に対応する画素を示している。例えば、マクロブロックの各パラメータが図２に示したように設定されたとき、破線の四角形で示した画素を使用する水平エッジフィルタ処理は、実施されない。

図１４は、スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ１０、ＭＢＰ１１が両方ともＦｒａｍｅ−ＭＢ−ｐａｉｒのときのデブロッキングフィルタ処理の分割ポイントＰＴ１０の例を示している。スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ１０、ＭＢＰ１１が両方ともＦｒａｍｅ−ＭＢ−ｐａｉｒのときは、水平エッジフィルタ処理間の依存関係は、ＭＢＡＦＦでない画像の依存関係（図８−図１３で説明した依存関係）と同じである。このため、垂直エッジフィルタ処理は、スライスの境界エッジＳＥＧ（水平エッジ）から４画素目のポイントＰＴ１０で分割される。したがって、この実施形態では、境界エッジＳＥＧとポイントＰＴ１０との間の画素を使用する垂直エッジフィルタ処理と境界エッジＳＥＧの水平エッジフィルタ処理とを、他のデブロッキングフィルタ処理より後に実施できる。

図１５は、スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ２０、ＭＢＰ２１が両方ともＦｉｅｌｄ−ＭＢ−ｐａｉｒのときのデブロッキングフィルタ処理の分割ポイントＰＴ１１の例を示している。スライスの境界エッジＳＥＧの下側のマクロブロックペアＭＢＰ２１がＦｉｅｌｄ−ＭＢ−ｐａｉｒのときは、スライスの境界エッジＳＥＧの水平エッジフィルタ処理は、奇数行目の画素および偶数行目の画素のそれぞれに対して実施される。このため、垂直エッジフィルタ処理は、スライスの境界エッジＳＥＧから８画素目のポイントＰＴ１１で分割される。なお、スライスの境界エッジＳＥＧの下側のマクロブロックペアＭＢＰ２１（Ｆｉｅｌｄ−ＭＢ−ｐａｉｒ）では、マクロブロックペアＭＢＰ２１を構成する両方（（マクロブロックアドレス％２）＝＝０および（マクロブロックアドレス％２）＝＝１）のマクロブロックの各パラメータが図２に示したように設定される。これにより、この実施形態では、境界エッジＳＥＧとポイントＰＴ１１との間の画素を使用する垂直エッジフィルタ処理と境界エッジＳＥＧの水平エッジフィルタ処理とを、他のデブロッキングフィルタ処理より後に実施できる。

図１６は、スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ２０、ＭＢＰ１１がそれぞれＦｉｅｌｄ−ＭＢ−ｐａｉｒ、Ｆｒａｍｅ−ＭＢ−ｐａｉｒのときのデブロッキングフィルタ処理の分割ポイントＰＴ１２の例を示している。スライスの境界エッジＳＥＧの上側のマクロブロックペアＭＢＰ２０がＦｉｅｌｄ−ＭＢ−ｐａｉｒであるため、スライスの境界エッジＳＥＧの水平エッジフィルタ処理は、奇数行目の画素および偶数行目の画素のそれぞれに対して実施される。

このため、マクロブロックペアＭＢＰ２０にスライスの境界エッジＳＥＧを挟んで隣接するマクロブロックペアＭＢＰ１１では、垂直エッジフィルタ処理をスライスの境界エッジＳＥＧから４画素目のポイントで分割することができない。また、スライスの境界エッジＳＥＧから８画素目のポイントでは、８ｘ８画素のブロックに対する水平エッジフィルタ処理が実施される。

したがって、スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ２０、ＭＢＰ１１がそれぞれＦｉｅｌｄ−ＭＢ−ｐａｉｒ、Ｆｒａｍｅ−ＭＢ−ｐａｉｒのときは、垂直エッジフィルタ処理は、スライスの境界エッジＳＥＧ（水平エッジ）から１２画素目のポイントＰＴ１２で分割される。これにより、この実施形態では、境界エッジＳＥＧとポイントＰＴ１２との間の画素を使用する垂直エッジフィルタ処理と境界エッジＳＥＧの水平エッジフィルタ処理とを、他のデブロッキングフィルタ処理より後に実施できる。

図１７は、スライスの境界エッジＳＥＧの上下のマクロブロックペアＭＢＰ１０、ＭＢＰ２１がそれぞれＦｒａｍｅ−ＭＢ−ｐａｉｒ、Ｆｉｅｌｄ−ＭＢ−ｐａｉｒのときのデブロッキングフィルタ処理の分割ポイントＰＴ１１の例を示している。スライスの境界エッジＳＥＧの下側のマクロブロックペアＭＢＰ２１がＦｉｅｌｄ−ＭＢ−ｐａｉｒであるため、図１５で説明したように、垂直エッジフィルタ処理は、スライスの境界エッジＳＥＧから８画素目のポイントＰＴ１１で分割される。なお、スライスの境界エッジＳＥＧの下側のマクロブロックペアＭＢＰ２１では、マクロブロックペアＭＢＰ２１を構成する両方のマクロブロックの各パラメータが図２に示したように設定される。これにより、この実施形態では、境界エッジＳＥＧとポイントＰＴ１１との間の画素を使用する垂直エッジフィルタ処理と境界エッジＳＥＧの水平エッジフィルタ処理とを、他のデブロッキングフィルタ処理より後に実施できる。

図１８は、図１に示した動画像符号化装置をＬＳＩに適用したときのチップ構成の例を示している。なお、図１８に示したエンコーダチップＥＣＨＩＰも動画像符号化装置の一態様を構成する。エンコーダチップＥＣＨＩＰは、例えば、画像符号化部ＥＮＣ１−ＥＮＣ４、エントロピ符号化部ＥＣＯＤ、制御部ＣＮＴ、情報メモリＩＭＥＭ、バッファ部ＢＵＦ、入力部ＩＮＰ、スイッチ部ＳＷを有している。また、エンコーダチップＥＣＨＩＰは、フレームメモリＦＭＥＭ１−ＦＭＥＭ４に接続されている。

制御部ＣＮＴは、画像符号化部ＥＮＣ１−ＥＮＣ４の動作を制御する。例えば、制御部ＣＮＴは、図５に示したタイミングで画像符号化部ＥＮＣ１−ＥＮＣ４が動作するように、画像符号化部ＥＮＣ１−ＥＮＣ４の起動制御等を実施する。また、制御部ＣＮＴは、例えば、画像符号化部ＥＮＣ１−ＥＮＣ４から処理完了通知を受信する。さらに、制御部ＣＮＴは、例えば、インターレースの画像をＭＢＡＦＦで符号化するか否かを決定する。そして、制御部ＣＮＴは、ＭＢＡＦＦの画像を複数のスライスに水平エッジで分割して符号化する際に、例えば、スライスの境界エッジ（以下、スライス境界とも称する）を挟んで隣接するマクロブロックペアＭＢＰの組み合わせ等を示す情報を、画像符号化部ＥＮＣ１−ＥＮＣ４に通知する。

例えば、制御部ＣＮＴは、ＭＢＡＦＦの画像を符号化する際に、スライス境界（水平エッジ）に隣接する下側の全てのマクロブロックペア（スライス境界の下側のマクロブロックペアのうちの最も上側のマクロブロックペアの全て）をＦｒａｍｅ−ＭＢ−ｐａｉｒあるいはＦｉｅｌｄ−ＭＢ−ｐａｉｒに設定する。そして、制御部ＣＮＴは、例えば、スライス境界を挟んで隣接するマクロブロックペアの組み合わせに応じた分割ポイント（図１４−図１７のポイントＰＴ１０、ＰＴ１１、ＰＴ１２のいずれか）を示す情報を、画像符号化部ＥＮＣ１−ＥＮＣ４に通知する。

なお、スライス境界に隣接する下側のマクロブロックペアの全てがＦｒａｍｅ−ＭＢ−ｐａｉｒに設定されたときのデブロッキングフィルタ処理の分割ポイントは、以下に示すように、スライス境界に隣接する上側のマクロブロックペア（スライス境界の上側のマクロブロックペアのうちの最も下側のマクロブロックペア）の組み合わせに応じて決定される。

例えば、スライス境界に隣接する上側のマクロブロックペアの全てがＦｒａｍｅ−ＭＢ−ｐａｉｒに設定されたとき、デブロッキングフィルタ処理の分割ポイントは、図１４に示したように、スライス境界から４画素目のポイントＰＴ１０に設定される。また、スライス境界に隣接する上側のマクロブロックペアのうちの少なくとも１つがＦｉｅｌｄ−ＭＢ−ｐａｉｒに設定されたとき、デブロッキングフィルタ処理の分割ポイントは、図１６に示したように、スライス境界から１２画素目のポイントＰＴ１２に設定される。

ここで、スライス境界に隣接する下側のマクロブロックペアの全てがＦｉｅｌｄ−ＭＢ−ｐａｉｒに設定されたときのデブロッキングフィルタ処理の分割ポイントは、スライス境界に隣接する上側のマクロブロックペアの組み合わせにかかわらず、図１５および図１７に示したように、スライス境界から８画素目のポイントＰＴ１１に設定される。なお、この場合、スライス境界に隣接する下側のマクロブロックペアの両方のマクロブロックは、例えば、図２に示したようなパラメータに設定される。

制御部ＣＮＴの制御により、例えば、画像符号化部ＥＮＣ１−ＥＮＣ４は、複数のスライスの処理を並列に実施できる。なお、画像符号化部ＥＮＣ２−ＥＮＣ４は、例えば、図５に示したマクロブロックラインＬ３４、Ｌ６８、Ｌ１０２の処理完了通知を、画像符号化部ＥＮＣ１−ＥＮＣ３にそれぞれ通知する。これにより、画像符号化部ＥＮＣ１−ＥＮＣ３は、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を適切に実施できる。なお、画像符号化部ＥＮＣ１−ＥＮＣ３は、マクロブロックラインＬ３４、Ｌ６８、Ｌ１０２の処理完了通知を、制御部ＣＮＴを介して受信してもよい。また、画像符号化部ＥＮＣ１−ＥＮＣ４は、スライス境界に隣接するマクロブロックペアＭＢＰの組み合わせに基づいて、分割ポイントを算出してもよい。

情報メモリＩＭＥＭは、画像符号化部ＥＮＣ１−ＥＮＣ４に接続され、スライス境界のデブロッキングフィルタ処理に必要な情報を保持する。例えば、スライス境界のデブロッキングフィルタ処理に必要な情報は、スライス上端および下端のＭＢ−ｔｙｐｅ（符号化モード）、動きベクトル、量子化パラメータ等である。なお、情報メモリＩＭＥＭは、制御部ＣＮＴ内に設けられてもよい。

エントロピ符号化部ＥＣＯＤから出力されたデータは、バッファ部ＢＵＦを介してエンコーダチップＥＣＨＩＰの外部に出力される。なお、バッファ部ＢＵＦは、エントロピ符号化部ＥＣＯＤと画像符号化部ＥＮＣ１−ＥＮＣ４との間に設けられてもよい。ここで、画像符号化部ＥＮＣ１−ＥＮＣ４は、複数のＬＳＩに分けて設けられてもよい。

図１９は、図１に示した動画像符号化装置を２つのＬＳＩに分けたときのチップ構成の例を示している。なお、図１９に示したエンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２も動画像符号化装置の一態様を構成する。図１９のエンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２間の太い線は、入力画像や参照画像等の画像データのパスを示し、エンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２間のその他の線は、起動制御等に使用される制御信号のパスを示している。

エンコーダチップＥＣＨＩＰ１は、例えば、画像符号化部ＥＮＣ１、ＥＮＣ２、制御部ＣＮＴ、情報メモリＩＭＥＭ、入力部ＩＮＰ、スイッチ部ＳＷ１、データ転送部ＤＴＲを有している。また、エンコーダチップＥＣＨＩＰ１は、フレームメモリＦＭＥＭ１、ＦＭＥＭ２に接続されている。

エンコーダチップＥＣＨＩＰ２は、例えば、画像符号化部ＥＮＣ３、ＥＮＣ４、エントロピ符号化部ＥＣＯＤ、バッファ部ＢＵＦ、スイッチ部ＳＷ２、データ転送部ＤＴＲを有している。また、エンコーダチップＥＣＨＩＰ２は、フレームメモリＦＭＥＭ３、ＦＭＥＭ４に接続されている。

画像データ、スライス境界のデブロッキングフィルタ処理に必要な情報、制御信号等は、エンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２のそれぞれのデータ転送部ＤＴＲにより、エンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２間で送受信される。これにより、エンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２は、複数のスライスの処理を並列に実施できる。

以上、この実施形態では、上端、左端および右端のいずれかのエッジがスライス境界であるマクロブロックの水平エッジフィルタ処理間のデータの依存関係および垂直エッジフィルタ処理間のデータの依存関係を解消させることができる。これにより、デブロッキングフィルタ部ＤＢＦは、スライス境界のデブロッキングフィルタ処理とスライス境界のデブロッキングフィルタ処理に付随するデブロッキングフィルタ処理とを、他のデブロッキングフィルタ処理とは別に実施できる。

例えば、画像符号化部ＥＮＣ１−ＥＮＣ４は、画像を複数のスライスに分割して符号化するときに、互いに隣接するスライスＳＬの境界エッジＳＥＧのデブロッキングフィルタ処理を含むデブロッキングフィルタ処理ＤＦＬとデブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理とにデブロッキングフィルタ処理を分割できる。これにより、画像符号化部ＥＮＣ１−ＥＮＣ４は、少なくともデブロッキングフィルタ処理ＤＦＬ以外のデブロッキングフィルタ処理を並列に実施できる。

したがって、この実施形態では、符号化処理を並列に実施したときにもデブロッキングフィルタ処理を効率よく実施できる。この結果、符号化処理を並列に実施する際の処理遅延を小さくできる。すなわち、この実施形態では、符号化処理を並列に実施した際の処理遅延が小さく、符号化処理を並列に実施したときにもデブロッキングフィルタ処理を実施可能な動画像符号化装置を提供できる。

図２０は、別の実施形態における動画像符号化装置の例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。なお、図２０は、動画像符号化装置をＬＳＩに適用したときのチップ構成の例を示している。この実施形態のエンコーダチップＥＣＨＩＰ１０は、図１８に示したエンコーダチップＥＣＨＩＰにフィルタ部ＤＢＦ１０が追加されている。さらに、エンコーダチップＥＣＨＩＰ１０は、図１８に示した画像符号化部ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４、制御部ＣＮＴおよびスイッチ部ＳＷの代わりに画像符号化部ＥＮＣ１１、ＥＮＣ１２、ＥＮＣ１３、ＥＮＣ１４、制御部ＣＮＴ１０およびスイッチ部ＳＷ１０が設けられている。エンコーダチップＥＣＨＩＰ１０のその他の構成は、図１８に示したエンコーダチップＥＣＨＩＰと同じである。

したがって、図２０に示したエンコーダチップＥＣＨＩＰ１０も動画像符号化装置の一態様を構成する。なお、動画像符号化装置の最小構成は、例えば、画像符号化部ＥＮＣ１１、ＥＮＣ１２、ＥＮＣ１３、ＥＮＣ１４、フィルタ部ＤＢＦ１０およびエントロピ符号化部ＥＣＯＤである。また、画像符号化部ＥＮＣの数は、４つに限定されない。エントロピ符号化部ＥＣＯＤは、複数設けられてもよい。

画像符号化部ＥＮＣ１１−ＥＮＣ１４は、図５に示したデブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を実施しない。画像符号化部ＥＮＣ１１−ＥＮＣ１４のその他の構成および動作は、上述した実施形態の画像符号化部ＥＮＣ１−ＥＮＣ４と同じである。

フィルタ部ＤＢＦ１０は、例えば、スイッチ部ＳＷ１０を介して各フレームメモリＦＭＥＭ１−ＦＭＥＭ４に接続されている。そして、フィルタ部ＤＢＦ１０は、例えば、図２１に示すように、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を実施する。

スイッチ部ＳＷ１０は、例えば、フィルタ部ＤＢＦ１０とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との間の信号ラインの切り替えおよび画像符号化部ＥＮＣ１−ＥＮＣ４とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との間の信号ラインの切り替えを実施する。スイッチ部ＳＷ１０内およびスイッチ部ＳＷ１０に接続された信号線の破線の矢印および実線の矢印の意味は、図７と同じである。例えば、画像符号化部ＥＮＣ１１−ＥＮＣ１４およびフィルタ部ＤＢＦ１０とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との間のリードのパス（破線の矢印）は、画像符号化部ＥＮＣの数をｎとしたとき、（ｎ×３−２＋ｎ）本である。また、画像符号化部ＥＮＣ１１−ＥＮＣ１４およびフィルタ部ＤＢＦ１０とフレームメモリＦＭＥＭ１−ＦＭＥＭ４との間のライトのパス（実線の矢印）は、画像符号化部ＥＮＣの数をｎとしたとき、（ｎ×２）本である。

制御部ＣＮＴ１０は、例えば、画像符号化部ＥＮＣ１１、ＥＮＣ１２、ＥＮＣ１３、ＥＮＣ１４およびフィルタ部ＤＢＦ１０の動作を制御する。例えば、制御部ＣＮＴ１０は、図２１に示すように、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を、図１に示したデブロッキングフィルタ部ＤＢＦの代わりにフィルタ部ＤＢＦ１０に実施させる。制御部ＣＮＴ１０のその他の動作は、上述した実施形態の制御部ＣＮＴと同じである。

図２１は、画像符号化部ＥＮＣ１１−ＥＮＣ１４およびフィルタ部ＤＢＦ１０の処理タイミングの例を示している。なお、図２１は、図４に示したように画像ＩＭＧを４つのスライスＳＬに分割したときの処理タイミングの例を示している。図２１の符号および網掛けの意味は、図５と同じである。

画像符号化部ＥＮＣ１１−ＥＮＣ１４の処理タイミングは、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２、ＤＦＬ３を実施しないことを除いて、図５と同じである。例えば、画像符号化部ＥＮＣ１１は、ピクチャＩ０（Ｉピクチャ）のマクロブロックラインＬ０−Ｌ３３を順次処理する。画像符号化部ＥＮＣ１２は、ピクチャＩ０のマクロブロックラインＬ３４−Ｌ６７を順次処理する。画像符号化部ＥＮＣ１３は、ピクチャＩ０のマクロブロックラインＬ６８−Ｌ１０１を順次処理する。画像符号化部ＥＮＣ１４は、ピクチャＩ０のマクロブロックラインＬ１０２−Ｌ１３４を順次処理する。なお、画像符号化部ＥＮＣ１１−ＥＮＣ１４の符号化処理は、図２１に示すように、並列に実施される。

フィルタ部ＤＢＦ１０は、例えば、デブロッキングフィルタ処理ＤＦＬ１に使用するマクロブロックラインＬ３３、Ｌ３４の画素の処理が完了したときに、デブロッキングフィルタ処理ＤＦＬ１を実施する。そして、フィルタ部ＤＢＦ１０は、デブロッキングフィルタ処理ＤＦＬ２、ＤＦＬ３を順次実施する。これにより、この実施形態では、符号化処理を並列に実施する際の処理遅延を小さくできる。なお、各デブロッキングフィルタ処理ＤＦＬの順番は、他のデブロッキングフィルタ処理ＤＦＬに依存しない。例えば、デブロッキングフィルタ処理ＤＦＬ３は、デブロッキングフィルタ処理ＤＦＬ１、ＤＦＬ２より先に実施されてもよいし、デブロッキングフィルタ処理ＤＦＬ２は、デブロッキングフィルタ処理ＤＦＬ１より先に実施されてもよい。

図２２は、図２０に示した動画像符号化装置を２つのＬＳＩに分けたときのチップ構成の例を示している。なお、図２２に示したエンコーダチップＥＣＨＩＰ１１、ＥＣＨＩＰ１２も動画像符号化装置の一態様を構成する。図２２のエンコーダチップＥＣＨＩＰ１、ＥＣＨＩＰ２間の太い線等の意味は、図１９と同じである。

エンコーダチップＥＣＨＩＰ１１は、例えば、画像符号化部ＥＮＣ１１、ＥＮＣ１２、制御部ＣＮＴ１０、フィルタ部ＤＢＦ１０、情報メモリＩＭＥＭ、入力部ＩＮＰ、スイッチ部ＳＷ１１、データ転送部ＤＴＲを有している。また、エンコーダチップＥＣＨＩＰ１１は、フレームメモリＦＭＥＭ１、ＦＭＥＭ２に接続されている。

エンコーダチップＥＣＨＩＰ１２は、例えば、画像符号化部ＥＮＣ１３、ＥＮＣ１４、エントロピ符号化部ＥＣＯＤ、バッファ部ＢＵＦ、スイッチ部ＳＷ１２、データ転送部ＤＴＲを有している。また、エンコーダチップＥＣＨＩＰ１２は、フレームメモリＦＭＥＭ３、ＦＭＥＭ４に接続されている。

画像データ、スライス境界のデブロッキングフィルタ処理に必要な情報、制御信号等は、エンコーダチップＥＣＨＩＰ１１、ＥＣＨＩＰ１２のそれぞれのデータ転送部ＤＴＲにより、エンコーダチップＥＣＨＩＰ１１、ＥＣＨＩＰ１２間で送受信される。これにより、エンコーダチップＥＣＨＩＰ１１、ＥＣＨＩＰ１２は、複数のスライスの処理を並列に実施できる。以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

ＡＤＤ‥加算部；ＢＵＦ‥バッファ部；ＣＮＴ、ＣＮＴ１０‥制御部；ＤＢＦ‥デブロッキングフィルタ部；ＤＢＦ１０‥フィルタ部；ＤＩＦ‥差分算出部；ＤＴＲ‥データ転送部；ＥＣＨＩＰ、ＥＣＨＩＰ１、ＥＣＨＩＰ２、ＥＣＨＩＰ１０、ＥＣＨＩＰ１１、ＥＣＨＩＰ１２‥エンコーダチップ；ＥＣＯＤ‥エントロピ符号化部；ＥＤＥＶ‥動画像符号化装置；ＥＮＣ１、ＥＮＣ２、ＥＮＣ３、ＥＮＣ４、ＥＮＣ１１、ＥＮＣ１２、ＥＮＣ１３、ＥＮＣ１４‥画像符号化部；ＦＭＥＭ１、ＦＭＥＭ２、ＦＭＥＭ３、ＦＭＥＭ４‥フレームメモリ；ＩＭＥＭ‥情報メモリ；ＩＮＰ‥入力部；ＩＯＲＴ‥逆直交変換部；ＩＰ１‥インター予測部；ＩＰ２‥イントラ予測部；ＩＱＮＴ‥逆量子化部；ＭＢ‥マクロブロック；ＭＢＰ１０、ＭＢＰ１１、ＭＢＰ２０、ＭＢＰ２１‥マクロブロックペア；ＭＤ１‥インター予測モード決定部；ＭＤ２‥イントラ予測モード決定部；ＯＲＴ‥直交変換部；ＰＢａ‥ブロック；ＰＸ‥画素；ＱＮＴ‥量子化部；ＳＣＬ‥セレクタ制御部；ＳＥＬ‥セレクタ；ＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４‥スライス；ＳＷ、ＳＷ１、ＳＷ１０、ＳＷ１１、ＳＷ１２‥スイッチ部

Claims (5)

1. Ｈ．２６４／ＡＶＣの動画像符号化装置において、
   画像を複数のスライスに分割して符号化するときに、互いに隣接する前記スライスの境界エッジのデブロッキングフィルタ処理を含む第１フィルタ処理と前記第１フィルタ処理以外のデブロッキングフィルタ処理である第２フィルタ処理とにデブロッキングフィルタ処理を分割し、少なくとも前記第２フィルタ処理を並列に実施可能な複数の画像符号化部と、
   前記画像符号化部により生成されたデータを可変長符号化する少なくとも１つの可変長符号化部とを備え、
   前記画像符号化部は、
   被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジが前記境界エッジであるマクロブロックに対して、所定の設定を実施するモード決定部と、
   前記第２フィルタ処理を実施するフィルタ部とを備え、
   少なくとも１つの前記画像符号化部の前記フィルタ部は、前記第２フィルタ処理を実施してから前記第１フィルタ処理を実施し、
   Ｉマクロブロックに対する前記所定の設定は、ＭＢ−ｔｙｐｅをＩＮｘＮに設定し、かつ、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定することであり、
   Ｐマクロブロックに対する前記所定の設定は、ＭＢ−ｔｙｐｅをＰ＿ｓｋｉｐに設定する第１設定と、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する第２設定のいずれかであり、
   Ｂマクロブロックに対する前記所定の設定は、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定し、かつ、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇが“０”のときには、Ｂ＿ｓｋｉｐおよびＢ＿Ｄｉｒｅｃｔ＿１６ｘ１６のＭＢ−ｔｙｐｅを使用しない条件に設定するとともに、Ｂ＿Ｄｉｒｅｃｔ＿８ｘ８のＳｕｂ−ＭＢ−ｔｙｐｅを使用しない条件に設定することであること
   を特徴とする動画像符号化装置。
2. 下端および右端のいずれかのエッジが前記境界エッジであるマクロブロックを含む前記スライスを処理する前記画像符号化部の前記フィルタ部は、前記第２フィルタ処理を実施してから前記第１フィルタ処理を実施すること
   を特徴とする請求項１記載の動画像符号化装置。
3. Ｈ．２６４／ＡＶＣの動画像符号化装置において、
   画像を複数のスライスに分割して符号化するときに、互いに隣接する前記スライスの境界エッジのデブロッキングフィルタ処理を含む第１フィルタ処理と前記第１フィルタ処理以外のデブロッキングフィルタ処理である第２フィルタ処理とにデブロッキングフィルタ処理を分割し、前記第２フィルタ処理を並列に実施可能な複数の画像符号化部と、
   前記第１フィルタ処理を実施する第１フィルタ部と、
   前記画像符号化部により生成されたデータを可変長符号化する少なくとも１つの可変長符号化部とを備え、
   前記画像符号化部は、
   被参照画像のマクロブロックのうち、上端、左端および右端のいずれかのエッジが前記境界エッジであるマクロブロックに対して、所定の設定を実施するモード決定部と、
   前記第２フィルタ処理を実施する第２フィルタ部とを備え、
   Ｉマクロブロックに対する前記所定の設定は、ＭＢ−ｔｙｐｅをＩＮｘＮに設定し、かつ、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定することであり、
   Ｐマクロブロックに対する前記所定の設定は、ＭＢ−ｔｙｐｅをＰ＿ｓｋｉｐに設定する第１設定と、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定する第２設定のいずれかであり、
   Ｂマクロブロックに対する前記所定の設定は、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇを“１”に設定し、かつ、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇが“０”のときには、Ｂ＿ｓｋｉｐおよびＢ＿Ｄｉｒｅｃｔ＿１６ｘ１６のＭＢ−ｔｙｐｅを使用しない条件に設定するとともに、Ｂ＿Ｄｉｒｅｃｔ＿８ｘ８のＳｕｂ−ＭＢ−ｔｙｐｅを使用しない条件に設定することであること
   を特徴とする動画像符号化装置。
4. Ｈ．２６４／ＡＶＣに規定されたＭＢＡＦＦの画像を複数の前記スライスに水平エッジで分割して符号化する際に、前記境界エッジに隣接する下側の全てのマクロブロックペアをＦｒａｍｅ−ＭＢ−ｐａｉｒおよびＦｉｅｌｄ−ＭＢ−ｐａｉｒのいずれかに設定する制御部を備え、
   前記画像符号化部は、前記境界エッジに隣接する上下のマクロブロックペアの組み合わせに応じた分割ポイントで、デブロッキングフィルタ処理を前記第１フィルタ処理と前記第２フィルタ処理とに分割し、
   前記モード決定部は、前記下側の全てのマクロブロックペアがＦｉｅｌｄ−ＭＢ−ｐａｉｒのとき、前記境界エッジに隣接する下側のマクロブロックペアを構成する両方のマクロブロックに対して、前記所定の設定を実施すること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の動画像符号化装置。
5. 複数の前記画像符号化部が複数のＬＳＩに分かれて搭載されていることを特徴とする請求項１ないし請求項４のいずれか１項に記載の動画像符号化装置。

Images