JP2009060588A - ブロッキング効果除去システムおよびその方法 - Google Patents

Abstract

【課題】 ブロッキング効果除去システムおよびその方法を提供する。
【解決手段】 ブロッキング効果除去システムは、映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出するピクセルセグメント抽出部と、抽出されたピクセルセグメントの大きさを考慮してフィルタリング方向に対応するフィルタリングモードを決定するフィルタリングモード決定部と、フィルタリングモードを考慮してブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する方向ベクトル決定部と、ブロック境界に隣接しているピクセルセグメントの全領域をフィルタリング方向に応じてフィルタリングするピクセルセグメントフィルタリング部とを含む。
【選択図】 図１

Description

本発明は、ブロッキング効果除去システムおよびその方法に関し、より詳細には、均一なピクセルセグメントを抽出し、抽出されたピクセルセグメントに方向ベクトルに応じてフィルタリングを実行することでブロッキング効果を取り除くブロッキング効果除去システムおよびその方法に関する。

一定の帯域幅を有するネットワークを介して映像を送信したり保存媒体に保存したりするためには、映像データの符号化が重要となる。映像を効率良く送信して保存するために多くの研究が進められているが、このうち変換に基づく符号化方法が最も多く利用されている。また、この変換に基づく映像符号化としては、離散コサイン変換（ＤＣＴ）が広く用いられている。

ＭＰＥＧ、ＪＰＥＧ、Ｈ．２６４などのローカルＤＣＴを基盤としたコーデックは、映像のローカル相関関係を用いている。すなわち、前記のようなコーデックは、映像をＮ×Ｎピクセルで構成された多数のブロックに分け、各ブロックごとに個別にＤＣＴを適用する。このとき、各ブロックごとにＤＣＴを適用することにより、隣接しているブロック間で連結関係が断絶し、不連続的な周波数特性がブロック境界に現れるようになる。

これにより、映像をＤＣＴ基盤のコーデックで処理する場合には、視覚的に映像が境界に沿ってブロックで分けられたように見える。このような境界をブロッキングアーティファクトと言い、これが発生する現象をブロッキング効果と言う。

デジタル放送がＭＰＥＧ２を標準とし、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）などのモバイル機器が動画を標準としてＨ．２６４などのブロックＤＣＴ基盤のコーデックを使用することによって、非ブロック化技術が活用されることが切に求められている。

結局、ブロッキング効果は、ローパスフィルタ（ＬＰＦ）などのフィルタを用いてブロック境界を平滑化（ｓｍｏｏｔｈｉｎｇ）することで解決される。ただし、原本映像に含まれているエッジなどの高周波数要素を損傷させない範囲内でブロック境界に平滑化を適用することが課題となっている。

従来には、ブロック境界を基準として隣接しているブロックを平滑なペアと複雑なペアとに分類し、各ブロック別にフィルタリング強度を調節する方法が存在していた。さらに、イメージのエッジマップをピクセル単位で作成し、各ピクセル別にフィルタリング強度を調節する方法も存在していた。ここで、フィルタリング方法としては、オーバーラップＤＣＴを実行してブロッキングによる高周波を選別して取り除く方法が用いられていた。

ただし、上述した従来技術は、モバイル機器に容易に適用が可能な低複雑度に対しては弱いという短所がある。特に、ＤＭＢなどのモバイル放送の場合には、送信回線の制限によって映像が相対的なビット率で圧縮されるようになるため、ブロッキングアーティファクトが発生し易くなるという問題点があった。

したがって、多様な装置に適用が可能である上に、メモリの使用と演算の複雑度を最小化することができる方法が切に求められている。
特許公開第２００４−１１２２８１号公報 特許公開第２００４−２４６２６２号公報 大韓民国特許公開第１９９９−０３２１８５号公報

本発明は、前記のような問題点を解決するために案出されたものであって、均一なピクセルセグメントに対してブロック境界を中心としてフィルタリングしてブロッキング効果を取り除くことができるブロッキング効果除去システムおよびその方法を提供することを目的とする。

また、本発明は、均一なピクセルセグメント内でフィルタリングすることで、エッジ領域の所望しない損傷を防ぐことができるブロッキング効果除去システムおよびその方法を提供することを目的とする。

また、本発明は、ブロック境界を中心としてピクセルセグメント内で同一方向にフィルタリングすることで、アーティファクトが小さい復元映像を得ることができるブロッキング効果除システムおよびその方法を提供することを目的とする。

さらに、本発明は、ピクセルセグメントの長さに応じてフィルタリングモードを相違させ、ブロッキング境界を中心として方向性を有したフィルタリングを実行することで、平滑化の追加を最小化することができるブロッキング効果除去システムおよびその方法を提供することを目的とする。

前記の目的を達成し、従来技術の問題点を解決するために、本発明の一実施形態に係るブロッキング効果除去システムは、映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出するピクセルセグメント抽出部と、抽出された前記ピクセルセグメントの大きさを考慮してフィルタリング方向に対応するフィルタリングモードを決定するフィルタリングモード決定部と、前記フィルタリングモードを考慮してブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する方向ベクトル決定部と、前記ブロック境界に隣接している前記ピクセルセグメントの全領域を前記フィルタリング方向に応じてフィルタリングするピクセルセグメントフィルタリング部とを含んで構成される。

このとき、ピクセルセグメント抽出部は、前記ピクセルグループの最初のピクセルと最後のピクセルとのピクセル値を用いて前記最初のピクセルと前記最後のピクセルとの間を補間するピクセルグループ補間部と、前記ピクセルグループのピクセル位置ごとに補間前後のピクセル値を比較して前記ピクセルグループの均一度を判断する均一度判断部と、前記均一度に応じて前記ピクセルグループを分割し、分割された部分のうちからブロック境界部分を選択するピクセルグループ分割部とを含んで構成される。

また、本発明の一実施形態に係るブロッキング効果除去方法は、映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出する段階と、抽出された前記ピクセルセグメントの大きさを考慮してフィルタリング方向に対応するフィルタリングモードを決定する段階と、前記フィルタリングモードを考慮してブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する段階と、前記ブロック境界に隣接している前記ピクセルセグメントの全領域を前記フィルタリング方向に応じてフィルタリングする段階とを含む。

このとき、前記方向ベクトルを決定する段階は、前記ピクセルグループのうちの特定のピクセルを基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用い、最小となる方向を前記方向ベクトルとして決定することを特徴とする。

また、前記ピクセルセグメントの領域をフィルタリングする段階は、ブロック境界に隣接しているピクセルに対して同じ方向ベクトルを適用して前記ピクセルセグメントの領域をフィルタリングすることを特徴とする。

本発明によれば、均一なピクセルセグメントに対してブロック境界を中心としてフィルタリングすることで、ブロッキング効果を取り除くブロッキング効果除去システムおよびその方法が提供される効果がある。

また、本発明によれば、均一なピクセルセグメント内でフィルタリングすることで、エッジ領域の所望しない損傷を防ぐことができるブロッキング効果除去システムおよびその方法が提供される効果がある。

また、本発明によれば、ブロック境界を中心としてピクセルセグメント内で同じ方向にフィルタリングすることで、アーティファクトが少ない復元映像を得ることができるブロッキング効果除去システムおよびその方法が提供される効果がある。

また、本発明によれば、ピクセルセグメントの長さに応じてフィルタリングモードを相違させ、ブロック境界を中心として方向性を有するフィルタリングを実行することで、平滑化の追加を最小化することができるブロッキング効果除去システムおよびその方法が提供される効果がある。

以下、添付の図面を参照しながら、本発明の好ましい実施形態を詳しく説明する。本発明の一実施形態に係るブロッキング効果除去方法は、ブロッキング効果除去システムによって実行される。

図１は、本発明の一実施形態に係るブロッキング効果除去システムを示したブロック図である。

図１を参照するに、ブロッキング効果除去システムは、ピクセルセグメント抽出部１０１と、バイパス決定部１０２と、フィルタリングモード決定部１０３と、方向ベクトル決定部１０４と、ピクセルセグメントフィルタリング部１０５とを含んで構成されている。

ピクセルセグメント抽出部１０１は、映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出するものである。一例として、ピクセルセグメント抽出部１０１は、映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度が予め設定された基準を満たすまで、繰り返してピクセルグループを分割する。ここで、ピクセルグループが分割されれば、ピクセルセグメント抽出部１０１は、分割された部分のうちからブロック境界部分を選択する。

より具体的に説明すれば、ピクセルセグメント抽出部１０１は、ピクセルグループに対して予め設定された均一度を満たしているか否かによって分割する。さらに、分割されたピクセルグループは、予め設定された均一度を満たしているか否かによって再分割するようになる。すなわち、ピクセルセグメント抽出部１０１は、均一度に応じて分割過程を繰り返すことによって、ピクセルグループで予め設定された均一度を満たすピクセルセグメントを抽出できる。

さらに他の例として、ピクセルセグメント抽出部１０１は、順次的な過程を通じてピクセルセグメントを抽出することもできる。ます、ピクセルグループは、分割が可能なすべての小片単位で分割される。その後、ピクセルセグメント抽出部１０１は、各小片単位で分割されたピクセルグループすべてに対して均一度を判断する。このとき、予め設定された基準を満たす均一度を示すピクセルグループのうちから最も大きい単位で分割されたピクセルグループをピクセルセグメントとして抽出する。

一例として、ピクセルグループは、映像のブロック境界を基準として両側にそれぞれ隣接している１つのラインピクセルであり得る。すなわち、ピクセルグループは、映像のブロック境界を基準として対向している１つのラインピクセルを意味することができる。

ここで、ピクセルグループを１つのラインピクセルとして定めるのは一例に過ぎず、本発明がこれに限定されることはない。すなわち、ピクセルグループは、１つのラインピクセルに限られず、２つ以上のラインピクセルでの構成も可能である。ただし、本発明におけるピクセルグループは、１つのラインピクセルとして設定するものとする。

一例として、ピクセルセグメント抽出部１０１は、ピクセルグループの最初のピクセルと最後のピクセルとのピクセル値を用いることで、最初のピクセルと最後のピクセルとの間を補間する。その後、ピクセルセグメント抽出部１０１は、ピクセルグループのピクセル位置ごとに補間前後のピクセル値を比較してピクセルグループの均一度を判断し、判断された均一度に応じてピクセルグループを分割し、分割された部分のうちからブロック境界部分を選択する。ピクセルセグメント抽出部１０１については、図２を参照してより具体的に説明する。

バイパス決定部１０２は、ピクセルセグメントでブロック境界の両側に隣接しているピクセルのピクセル値の差を用いることで、ピクセルセグメントのバイパスを実行するか否かを決定するものである。一例として、バイパス決定部１０２は、ブロック境界の両側に隣接しているピクセルのピクセル値の差が予め設定された臨界値よりも小さい場合には、ピクセルセグメントをフィルタリングモード決定部１０３に伝達する。これに反し、ピクセル値の差が予め設定された臨界値よりも大きい場合には、バイパス決定部１０２は、ピクセルセグメントのバイパス１０６を実行する。

フィルタリングモード決定部１０３は、ピクセルセグメントの大きさに応じてフィルタリング方向に対応するフィルタリングモードを決定するものである。このとき、フィルタリングモード決定部１０３は、フィルタリングモードをブロック境界と垂直方向にフィルタリングする第１フィルタリングモードと、方向ベクトルによってフィルタリングする第２フィルタリングモードとのうちのいずれか１つとして決定される。

一例として、ピクセルセグメントの大きさが予め設定された臨界値を超過する場合に、フィルタリングモード決定部１０３は、ピクセルセグメントを平滑な直流（以下、ＤＣとする）領域であると判断し、フィルタリングモードをブロック境界と垂直方向にフィルタリングする第１フィルタリングモードとして決定する。

ピクセルセグメントがＤＣ領域であると判断されれば、当該ピクセルセグメントは、人間の視覚に最も敏感なブロックとして認識される。したがって、フィルタリングモードが第１フィルタリングモードとして決定されれば、ブロック境界が垂直方向に強力にフィルタリングされる。

また、ピクセルセグメントの大きさが予め設定された臨界値未満である場合に、フィルタリングモード決定部１０３は、ピクセルセグメントを複雑な領域であると判断し、方向ベクトルに応じてフィルタリングする第２フィルタリングモードとして決定する。このとき、フィルタリングモード決定部１０３は、ピクセルセグメントを方向ベクトル決定部１０４に伝達するようになる。

ピクセルセグメントが複雑な領域であると判断されれば、当該ピクセルセグメントにイメージのエッジ領域が含まれていると解釈される。この場合に、ブロック境界に対して垂直方向へのみフィルタリングが成されれば、エッジ領域の所望しない損傷が発生する恐れが生じる。したがって、ピクセルセグメントがエッジ領域を含んでいると判断されれば、フィルタリングモード決定部１０３は、方向ベクトルに応じてフィルタリングが可能な第２フィルタリングモードとして決定する。

フィルタリングモード決定部１０３が第２フィルタリングモードとして決定する場合に、方向ベクトル決定部１０４は、フィルタリングモードを考慮して、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定することができる。

方向ベクトル決定部１０４は、ピクセルグループ、当該ピクセルグループと隣接している上位ピクセルグループ、および当該ピクセルグループと隣接している下位ピクセルグループのピクセル値を用いることで、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定するものである。このとき、方向ベクトル決定部１０４は、ピクセルセグメントではなく、ピクセルグループを用いて方向ベクトルを決定する。

さらに、方向ベクトル決定部１０４は、ピクセルグループのうちの特定のピクセルを基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用いることで、最小となる方向を方向ベクトルとして決定することができる。

もし、方向ベクトルがブロック境界と水平である方向として決定されれば、ブロック境界をＬＰＦを適用して平滑にフィルタリングされる効果が低い。したがって、方向ベクトルがブロック境界と水平である方向として決定されれば、ピクセルセグメントは、フィルタリングされずにバイパス１０６される。

ここで、特定のピクセルとは、ブロック境界に隣接しているピクセルのうち、すぐ横に隣接しているピクセルであり得る。すなわち、特定のピクセルとは、ブロック境界から２つ目にあるピクセルを意味する。方向ベクトル決定部１０４については、図６を参照しながら具体的に説明する。

ピクセルセグメントフィルタリング部１０５は、フィルタリング方向に応じてブロック境界を中心にピクセルセグメントの領域をフィルタリングするものである。すなわち、フィルタリングモード決定部１０３がフィルタリングモードを第１フィルタリングモードとして決定する場合に、ピクセルセグメントフィルタリング部１０５は、ピクセルセグメント領域をブロック境界と垂直方向にフィルタリングする。

さらに、フィルタリングモード決定部１０３がフィルタリングモードを第２フィルタリングモードとして決定する場合に、ピクセルセグメントフィルタリング部１０５は、ピクセルセグメント領域を方向ベクトルの方向に応じてフィルタリングする。

フィルタリングモード決定部１０５は、ブロック境界に隣接しているピクセルに対して同じ方向を適用してピクセルセグメントの領域をフィルタリングすることができる。すなわち、ブロック境界を中心として同じ方向にフィルタリングすることによって、ギザギザの少ない映像を復元することができる。また、フィルタリングモード決定部１０５は、抽出したピクセルセグメントの領域内でフィルタリングすることで、イメージのエッジ領域に対する所望しない損傷を防ぐことができる。

図２は、本発明の一実施形態に係るブロッキング効果除去システムのピクセルセグメント抽出部を具体的に示したブロック図である。

図２を参照するに、ピクセルセグメント抽出部１０１は、ピクセルグループ補間部２０１と、均一度判断部２０２と、ピクセルグループ分割部２０３とを含んで構成されている。

ピクセルグループ補間部２０１は、ピクセルグループの最初のピクセルと最後のピクセルとのピクセル値を用いることで、最初のピクセルと最後のピクセルとの間を補間することができる。すなわち、ピクセルグループの最初のピクセルと最後のピクセルをアンカー（ａｎｃｈｏｒ）とすることで、当該ピクセルグループの大きさだけを補間する。

また、ピクセルグループ補間部２０１は、ブロック境界を中心として両側に隣接しているピクセルブロックすべてを補間することができる。ピクセルグループ補間部２０１を通じて補間過程が終了すれば、ピクセルグループの最初のピクセルと最後のピクセルとの間のピクセル位置ごとに新しいピクセル値が決定される。

このとき、ピクセルグループ補間部２０１は、様々な補間法を適用することで、ピクセルグループの補間が可能である。ただし、ピクセルグループが映像のブロック境界を基準として両側にそれぞれ隣接している１つのラインピクセルである場合には、線形補間法を用いることが最も好ましい方法であると言える。

均一度判断部２０２は、ピクセルグループのピクセル位置ごとに補間前後のピクセル値の差を用いてピクセルグループの均一度を判断するものである。一例として、均一度判断部２０２は、ピクセル値の差に基づくアウトライアの数を用いることで、ピクセルグループの均一度を判断することができる。ここで、アウトライアとは、補間前後のピクセル値の差が予め設定された臨界値を超過するピクセルを意味するものである。

一例として、アウトライアの数が予め設定された臨界値を超過する場合に、均一度判断部２０２は、当該ピクセルグループの均一度が予め設定された基準を満たすことができないと判断する。

ピクセルグループ分割部２０３は、均一度を考慮してピクセルグループを分割するものである。一例として、ピクセルグループの均一度が予め設定された基準を満たすことができなければ、ピクセルグループ分割部２０３は、ピクセルグループを半分に分割する。この後、ピクセルグループ分割部２０３は、半分に分割されたピクセルグループのうちからブロック境界部分を選択する。

一例として、ピクセルセグメント抽出部１０１は、ピクセルグループの均一度が予め設定された基準を満たすまで繰り返してピクセルグループを分割するようになる。より具体的に説明すると、ピクセルグループ分割部２０３でピクセルグループが分割されれば、ピクセルグループ補間部２０１が分割されたピクセルグループを補間する。この後、均一度判断部２０２は、分割されたピクセルグループの均一度を判断し、ピクセルグループ分割部２０３で分割されたピクセルグループの均一度に応じて再び分割を行うようになる。

本発明の一実施形態に係るピクセルセグメント抽出部１０１は、反復的な過程とは異なり、順次的な過程を通じてピクセルセグメントを抽出することもできる。まず、ピクセルグループは、分割が可能なすべての小片単位で分割されるようになる。さらに、ピクセルセグメント抽出部１０１は、小片単位で分割されたピクセルグループすべてに対して、最初のピクセルと最後のピクセルとの間を新しいピクセル値で補間する。

その後、ピクセルセグメント抽出部１０１は、小片単位で分割されたピクセルグループすべてに対して、各ピクセル位置ごとに補間前後のピクセル値を比較して均一度を判断する。このとき、予め設定された基準を満たすことができる均一度を示すピクセルグループのうちから最大の小片単位で分割されたピクセルグループをピクセルセグメントとして抽出する。

すなわち、図２とは異なり、順次的にピクセルセグメントを抽出する過程は、ピクセルグループを予め分割が可能な小片単位で分割し、分割されたピクセルグループのうちから均一度を満たすピクセルグループの最大のものをピクセルセグメントとして抽出することを特徴としている。

図３は、本発明の一実施形態によって、ピクセルグループを繰り返し分割してピクセルセグメントを抽出する過程を示した図である。

図３は、映像のブロック境界を中心として隣接しているピクセルグループＡとピクセルグループＢとを示している。ピクセルグループとは、全体ブロックのうちの一部に該当するものである。図３では、ブロックが８×８ピクセルで構成されているが、本発明はこれに限定されるものではない。ここで、ピクセルグループは、ブロック境界を中心として隣接している１つのラインピクセルであり得る。

ピクセルセグメントを抽出するためには、ブロック境界を中心として両側に隣接しているピクセルグループが用いられる。図３では、ピクセルグループＡについて説明しているが、ピクセルグループＢもピクセルグループＡと同じ過程でピクセルセグメントを抽出することができる。

ピクセルグループＡは、ブロック境界を中心としてＡ（８）からＡ（１）で識別されるピクセルで構成されている。ピクセルグループ補間部は、ピクセルグループＡの最初のピクセルと最後のピクセルとのピクセル値を用いることで、最初のピクセルと最後のピクセルとの間を補間する。すなわち、ピクセルグループ補間部は、Ａ（１）とＡ（８）に該当するピクセル値を用いることで、Ａ（２）、Ａ（３）、Ａ（４）、Ａ（５）、Ａ（６）、およびＡ（７）のピクセル位置ごとにピクセル値を補間する。

言い換えれば、Ａ（１）とＡ（８）の関係を用いることで、Ａ（２）、Ａ（３）、Ａ（４）、Ａ（５）、Ａ（６）、およびＡ（７）のピクセル位置ごとに新しいピクセル値が割り当てられるようになることを意味する。

このような補間過程後、均一度判断部は、各ピクセル位置ごとに補間前後のピクセル値を比べることで、ピクセルグループ全体の均一度を判断できるようになる。均一度判断を通じてピクセルグループの均一度が予め設定された基準を満たすことができなければ、ピクセルグループ分割部は、ピクセルグループＡを半分に分割してブロック境界部分を選択する。このような過程は、図３に示された通りである。

ピクセルグループＡの均一度が予め設定された基準を満たすまで、ピクセルグループ抽出部は、ピクセルグループＡを繰り返して分割する。図３を参照して説明すれば、ピクセルグループ抽出部は、２回の分割過程を通じてピクセルセグメントＡを抽出している。分割回数は、ピクセルグループごとに相違して決定される。

参考までに、図３は、反復的にピクセルグループを分割する過程を示したものであるが、一実施形態においては、順次的な過程に基づいたピクセルセグメント抽出方法が図２を参照しながら上述されている。すなわち、ピクセルグループＡは、順次的な過程でもピクセルセグメントを抽出することができる。

図４は、本発明の一実施形態によって、ピクセルグループを補間して均一度を判断する過程を説明するための図である。

ピクセルグループＡは、図２と同様、Ａ（１）からＡ（８）で識別されるピクセルで構成されている。ピクセルグループＡは、ピクセル位置ごとにピクセル値を有している。ピクセル値は、ピクセルの特性を示すものであるため、輝度値、彩度値、色相値などを含むことができる。しかし、ピクセル値は、特定の属性に限定されるものではなく、システムに応じて相違して決定される。

一例として、図４を参照するに、ピクセルグループＡは、各ピクセル位置ごとにＡ（１）からＡ（８）の順に、７３、７５、７７、７９、７８、７６、７３、７１のピクセル値を有している。ここで、ピクセルグループ補間部は、ピクセルグループＡにおいて最初のピクセルおよび最後のピクセルであるＡ（１）とＡ（８）を用いることで、その間の値を補間する。図４を参照するに、補間された値は、Ａ’（１）からＡ’（８）で識別されたピクセルの位置ごとに、７３、７２．ｘ、７２．ｘ、７２．ｘ、７１．ｘ、７１．ｘ、７１．ｘ、７１という新しいピクセル値を有するようになった。

このとき、各ピクセル位置ごとに、補間前後のピクセル値の差が予め設定された臨界値を超過するピクセルは、アウトライアとして設定される。ここで、ピクセル値の差が１よりも大きい場合にアウトライアになると仮定すれば、図４の例ではアウトライアの数は６つとなる。

アウトライアの数を通じて予め設定された基準を満たしているか否かによってピクセルグループの均一度が判断される。このとき、アウトライアの数が予め設定された数を超過すれば、当該ピクセルグループの均一度は、予め設定された均一度基準を満たしていないと判断される。

例えば、ピクセルグループが均一度を満たすためには、アウトライアの数が４つ以下とならなければならないと仮定する。図４を参照するに、ピクセルグループＡのアウトライア数は６つであるため、ピクセルグループＡは均一度を満たしていないと判断される。したがって、ピクセルグループＡは、半分に分割されるようになり、分割された部分のうちからブロック境界部分であるＡ（５）からＡ（８）までのピクセルグループが選択される。

この後、半分に分割されたピクセルグループＡに対して、最初のピクセルと最後のピクセルであるＡ（５）とＡ（８）を用いて再び補間して均一度を判断する。このような反復的な過程を通じて、ピクセルグループＡは、均一度が予め設定された基準を満たすまで繰り返し分割される。このような反復的な分割過程を通じて、ピクセルグループＡは、均一なピクセルセグメントとして抽出される。

図５は、本発明の一実施形態によって、ピクセルセグメントのバイパスを実行するか否かを決定してフィルタリングモードを決定する過程を説明するための図である。

図５は、ピクセルグループＡに対して抽出されたピクセルセグメントＡと、ピクセルグループＢに対して抽出されたピクセルセグメントＢとを示している。

バイパス決定部は、ピクセルセグメントでブロック境界の両側に隣接しているピクセルのピクセル値の差を用いることで、ピクセルセグメントのバイパス実行の可否を決定するものである。

一例として、バイパス決定部は、ブロック境界の両側に隣接しているピクセルセグメントＡのＡ（８）とピクセルセグメントＢのＢ（１）のピクセル値の差が予め設定された臨界値を超過しているか否かによって、ピクセルセグメントのバイパス実行の可否を決定する。

このとき、Ａ（８）とＢ（１）のピクセル値の差が予め設定された臨界値を超過しない場合に、フィルタリングモード決定部は、ピクセルセグメントＡとピクセルセグメントＢとを含む全体的なピクセルセグメントに対してフィルタリングモードを決定する。これに反し、Ａ（８）とＢ（１）のピクセル値の差が予め設定された臨界値を超過する場合には、ピクセルセグメントＡとピクセルセグメントＢとはフィルタリングされずにバイパスされる。

フィルタリングモード決定部は、ピクセルセグメントの大きさによってフィルタリング方向に対応するフィルタリングモードを決定するものである。一例として、ピクセルセグメントの大きさは、ブロック境界を基準として隣接しているピクセルセグメントＡの長さとピクセルセグメントＢの長さとの合（ピクセルセグメントの長さ：Ｌ）として決定される。

一例として、フィルタリングモード決定部は、ピクセルセグメントの大きさが予め設定された臨界値よりも大きい場合に、ピクセルセグメントを平滑なＤＣ領域であると判断する。このとき、ピクセルセグメントとは、ピクセルセグメントＡとピクセルセグメントＢとを含む領域を意味するものである。

この場合に、フィルタリングモードは、フィルタリングモードをブロック境界と垂直方向にフィルタリングする第１フィルタリングモードとして決定する。このとき、平滑なＤＣ領域とは、ピクセルセグメントの領域にイメージのエッジ部分が含まれないものを意味する。

ここで、ピクセルセグメントのフィルタリングモードが第１フィルタリングモードとして決定された場合に、ピクセルセグメントフィルタリング部は、ブロック境界と垂直方向にピクセルセグメントの領域をフィルタリングする。このとき、ピクセルセグメントフィルタリング部は、方向ベクトルとは関係なくフィルタリングを行う。

これとは対照的に、フィルタリングモード決定部は、ピクセルセグメントの大きさが予め設定された臨界値よりも小さい場合に、ピクセルセグメントを複雑な領域であると判断する。このとき、ピクセルセグメントとは、ピクセルセグメントＡとピクセルセグメントＢとを含む領域を意味するものである。

この場合、フィルタリングモードは、フィルタリングモードを方向ベクトルに応じてフィルタリングする第２フィルタリングモードとして決定する。このとき、複雑な領域とは、ピクセルセグメントの領域にイメージのエッジ部分が含まれているものを意味する。

図６は、本発明の一実施形態によって、ピクセルグループを用いて決定した方向ベクトルに応じてピクセルセグメントをフィルタリングする過程を説明するための図である。図６で言及されている方向ベクトル決定部は、図１の方向ベクトル決定部１０４と同じものである。

フィルタリングモードが方向ベクトルに応じてフィルタリングする第２フィルタリングモードとして決定された場合に、方向ベクトル決定部１０４は、ピクセルセグメントに適用される方向ベクトルを決定する。一例として、ピクセルグループ、当該ピクセルグループと隣接している上位ピクセルグループ、および当該ピクセルグループと隣接している下位ピクセルグループのピクセル値を用いることで、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する。

ピクセルグループ６０１は、ピクセルグループＡとピクセルグループＢとを示したものである。一例として、本発明の一実施形態に係る方向ベクトル決定部１０４は、次のような過程を通じて方向ベクトルを決定することができる。

まず、方向ベクトル決定部１０４は、ピクセルグループＡに対してブロック境界を中心として３つまでの範囲を設定する。さらに、方向ベクトル決定部１０４は、上位ピクセルグループであるＡ_ｕｐと下位ピクセルグループであるＡ_ｄｏｗｎをともに参照する。このような過程は、ピクセルグループＢに対しても同じように適用される。このとき、方向ベクトルの決定には、各ピクセルグループごとに抽出されたピクセルセグメントの大きさは考慮されず、ピクセルセグメント抽出前のピクセルグループが考慮される。

また、方向ベクトル決定部１０４は、ピクセルグループＡ、ピクセルグループＡ_ｕｐ、およびピクセルグループＡ_ｄｏｗｎのピクセルにそれぞれ索引を付けるようになる。例えば、ブロック境界と隣接しているピクセルを１と指定し、境界から遠くなるほど２、３と指定する。

これにより、ピクセルグループＡに対しては、各ピクセルがブロック境界からそれぞれＡ（１）、Ａ（２）、Ａ（３）と索引を付けることができる。同じ方法を適用すれば、ピクセルグループＡ_ｕｐは、ピクセルごとにＡ_ｕｐ（１）、Ａ_ｕｐ（２）、Ａ_ｕｐ（３）と、ピクセルグループＡ_ｄｏｗｎは、ピクセルごとにＡ_ｄｏｗｎ（１）、Ａ_ｄｏｗｎ（２）、Ａ_ｄｏｗｎ（３）と索引が付けられる。これは、Ｂに対しても同じように適用される。なお、ピクセルに指定された数は一例に過ぎず、システムに応じて変更が可能である。

この後、方向ベクトル決定部１０４は、ピクセルグループＡとピクセルグループＢとのブロック境界に垂直方向で方向ベクトルの大きさを比較し、より大きい値を有する方向ベクトルに対応するピクセルグループを選択する。すなわち、｜Ａ（１）−Ａ（３）｜と｜Ｂ（１）−Ｂ（３）｜を比較し、より大きい値を有するピクセルグループを選択するのである。ここでは、Ａが選択されたものと仮定する。

この後、方向ベクトル決定部１０４は、Ａ（２）を基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用いることで、最小となる方向を方向ベクトルとして決定する。

ここで、垂直方向は｜Ａ_ｕｐ（２）−Ａ_ｄｏｗｎ（２）｜、水平方向は｜Ａ（１）−Ａ（３）｜、対角線方向はそれぞれ｜Ａ_ｕｐ（１）−Ａ_ｄｏｗｎ（３）｜および｜Ａ_ｕｐ（３）−Ａ_ｄｏｗｎ（１）｜を意味するものである。このうち、方向ベクトル決定部１０４は、ピクセル値の差が最小となる方向を方向ベクトルとして決定する。

一例として、垂直方向である｜Ａ_ｕｐ（２）−Ａ_ｄｏｗｎ（２）｜が最小である場合には、ブロック境界とは水平方向であるため、ブロック境界に平滑なフィルタリングを適用することには意味がない場合がある。垂直方向が最小である場合に、水平方向が予め設定された基準値を満たす場合には、ピクセルセグメントをバイパスする。これに反し、水平方向が予め設定された基準値を満たしていなければ、方向ベクトル決定部１０４は、２番目の最小方向で方向ベクトルを決定する。

ピクセルセグメントフィルタリング部は、ブロック境界に隣接しているピクセルに対して、方向ベクトルと同じ方向でピクセルセグメント６０２の領域をフィルタリングするものである。このとき、ピクセルセグメントフィルタリング部は、ブロック境界を中心としてローパスフィルタを用いて平滑化を加えることができる。ただし、実際の映像が有しているエッジ領域である固有した高周波を損傷させない範囲内で平滑化を加えることが要される。本発明では、このような問解を解決するために、ピクセルセグメントの分類に応じてフィルタリングモードを決定することができる。また、本発明は、エッジを含むブロック境界に対しては、方向的なフィルタリングを実行することができる。

図６に示されたように、ピクセルセグメント６０２は、ピクセルセグメントＡとピクセルセグメントＢとで構成されるものと仮定する。

もし、方向ベクトルが｜Ａ_ｕｐ（３）−Ａ_ｄｏｗｎ（１）｜の対角線方向として決定されれば、ピクセルセグメントＡとピクセルセグメントＢでブロック境界に隣接しているピクセルに対して、フィルタリング方向を対角線方向として同一に割り当てることができる。また、ピクセルセグメントフィルタリング部は、全体ピクセルセグメント範囲内でフィルタリングすることができる。これにより、フィルタリング範囲が均一なピクセルセグメント内に局限されながら、イメージのエッジは損傷されず、ブロック境界のみフィルタリングすることができる。

図７は、本発明の一実施形態に係るブロッキング効果除去方法を示したフローチャートである。

本発明の一実施形態に係るブロッキング効果除去方法は、映像のピクセルグループを繰り返して分割してピクセルセグメントを抽出する（段階Ｓ７０１）。

このとき、ピクセルグループは、映像のブロック境界を基準として両側にそれぞれ隣接している１つのラインピクセルであり得る。

本発明の一実施形態に係るブロッキング効果除去方法は、ピクセルセグメントでブロック境界の両側に隣接しているピクセルのピクセル値の差を用いることで、ピクセルセグメントのバイパスを実行するか否かを決定する（段階Ｓ７０２）。

また、本発明の一実施形態に係るブロッキング効果除去方法は、ピクセルセグメントの大きさに応じてフィルタリング方向に対応するフィルタリングモードを決定する（段階Ｓ７０３）。

このとき、フィルタリングモードを決定する段階（段階Ｓ７０３）は、ピクセルセグメントの大きさを用いることで、フィルタリングモードをブロック境界と垂直方向にフィルタリングする第１フィルタリングモードと、方向ベクトルによってフィルタリングする第２フィルタリングモードとのうちのいずれか１つとして決定することができる。

また、本発明の一実施形態に係るブロッキング効果除去方法は、フィルタリングモードを考慮して、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する（段階Ｓ７０４）。

このとき、方向ベクトルを決定する段階（段階Ｓ７０４）は、ピクセルグループ、当該ピクセルグループと隣接している上位ピクセルグループ、および当該ピクセルグループと隣接している下位ピクセルグループのピクセル値を用いることで、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定することができる。

このとき、方向ベクトルを決定する段階（段階Ｓ７０４）は、ピクセルグループのうちの特定のピクセルを基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用いることで、最小となる方向を方向ベクトルとして決定することができる。

また、本発明の一実施形態に係るブロッキング効果除去方法は、フィルタリング方向に応じてブロック境界を中心としてピクセルセグメントの領域をフィルタリングすることができる（段階Ｓ７０５）。

このとき、ピクセルセグメントの領域をフィルタリングする段階（段階Ｓ７０５）は、フィルタリングモードが第１フィルタリングモードとして決定された場合に、ブロック境界と垂直方向にピクセルセグメントの領域をフィルタリングすることができる。

このとき、ピクセルセグメントの領域をフィルタリングする段階（段階Ｓ７０５）は、フィルタリングモードが第２フィルタリングモードとして決定された場合に、方向ベクトルに応じてブロック境界を中心としてピクセルセグメントの領域をフィルタリングすることができる。

このとき、ピクセルセグメントの領域をフィルタリングする段階（段階Ｓ７０５）は、ブロック境界に隣接しているピクセルに対して、同じ方向を適用してピクセルセグメントの領域をフィルタリングすることができる。

図７に示された段階で説明されていない内容は、図１から図６を参照しながら既に説明されたものであるため、詳細な説明は省略する。

図８は、本発明の一実施形態に係るピクセルセグメント抽出方法を示したフローチャートである。

本発明の一実施形態に係るピクセルセグメント抽出方法は、ピクセルグループの最初のピクセルと最後のピクセルとのピクセル値を用いることで、最初のピクセルと最後のピクセルとの間を補間することができる（段階Ｓ８０１）。

本発明の一実施形態に係るピクセルセグメント抽出方法は、ピクセルグループのピクセル位置ごとに補間前後のピクセル値の差を用いることで、ピクセルグループの均一度を判断することができる（段階Ｓ８０２）。

このとき、均一度は、ピクセル値の差によるアウトライアの数を用いることで決定される。

本発明の一実施形態に係るピクセルセグメント抽出方法は、均一度に応じてピクセルグループを分割し、分割された部分のうちからブロック境界部分を選択する（段階Ｓ８０３）。

本発明の一実施形態に係るピクセルセグメントを抽出する方法は、均一度が予め設定された基準を満たすまで繰り返してピクセルグループを分割するようになる。

図８に示された段階で説明されていない内容は、図１から図７を参照しながら既に説明されたものであるため、詳細な説明は省略する。

なお、本発明に係るブロッキング効果除去方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

本発明の一実施形態に係るブロッキング効果除去システムを示したブロック図である。 本発明の一実施形態に係るブロッキング効果除去システムのピクセルセグメント抽出部を具体的に示したブロック図である。 本発明の一実施形態によって、ピクセルグループを繰り返して分割してピクセルセグメントを抽出する過程を示した図である。 本発明の一実施形態によって、ピクセルグループを補間して均一度を判断する過程を説明するための図である。 本発明の一実施形態によって、ピクセルセグメントのバイパスを実行するか否かを決定してフィルタリングモードを決定する過程を説明するための図である。 本発明の一実施形態によって、ピクセルグループを用いて決定した方向ベクトルに応じてピクセルセグメントをフィルタリングする過程を説明するための図である。 本発明の一実施形態に係るブロッキング効果除去方法を示したフローチャートである。 本発明の一実施形態に係るピクセルセグメント抽出方法を示したフローチャートである。

符号の説明

１０１：ピクセルセグメント抽出部
１０２：バイパス決定部
１０３：フィルタリングモード決定部
１０４：方向ベクトル決定部
１０５：ピクセルセグメントフィルタリング部
１０６：バイパス
２０１：ピクセルグループ補間部
２０２：均一度判断部
２０３：ピクセルグループ分割部

Claims (23)

1. 映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出するピクセルセグメント抽出部と、
   抽出された前記ピクセルセグメントの大きさを考慮して、フィルタリング方向に対応するフィルタリングモードを決定するフィルタリングモード決定部と、
   前記フィルタリングモードを考慮して、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する方向ベクトル決定部と、
   前記ブロック境界に隣接している前記ピクセルセグメントの全領域を前記フィルタリング方向に応じてフィルタリングするピクセルセグメントフィルタリング部と、
   を含んで構成されるブロッキング効果除去システム。
2. 前記ピクセルグループは、
   映像のブロック境界を基準として両側にそれぞれ隣接している１つのラインピクセルであることを特徴とする請求項１に記載のブロッキング効果除去システム。
3. 前記ピクセルセグメント抽出部は、
   前記ピクセルグループの最初のピクセルと最後のピクセルのピクセル値を用いて前記最初のピクセルと前記最後のピクセルの間を補間するピクセルグループ補間部と、
   前記ピクセルグループのピクセル位置ごとに補間前後のピクセル値を比較して前記ピクセルグループの均一度を判断する均一度判断部と、
   前記均一度に応じて前記ピクセルグループを分割し、分割された部分のうちからブロック境界部分を選択するピクセルグループ分割部と、
   を含むことを特徴とする請求項１に記載のブロッキング効果除去システム。
4. 前記均一度は、
   補間前後のピクセル値の差が予め設定された基準値を超過するアウトライアの数によって決定されることを特徴とする請求項３に記載のブロッキング効果除去システム。
5. 前記ピクセルセグメント抽出部は、
   映像のブロック境界に隣接しているピクセルグループそれぞれに対して、前記均一度が予め設定された基準を満たすまで繰り返してピクセルグループを分割することを特徴とする請求項３に記載のブロッキング効果除去システム。
6. 前記ブロッキング効果除去システムは、
   前記ピクセルセグメントでブロック境界の両側に隣接しているピクセルのピクセル値の差を用いて前記ピクセルセグメントのバイパスを実行するか否かを決定するバイパス決定部、
   をさらに含むことを特徴とする請求項１に記載のブロッキング効果除去システム。
7. 前記フィルタリングモード決定部は、
   前記ピクセルセグメントの大きさを用いて前記フィルタリングモードを前記ブロック境界と垂直方向にフィルタリングする第１フィルタリングモードと、方向ベクトルに応じてフィルタリングする第２フィルタリングモードとのうちのいずれか１つとして決定することを特徴とする請求項１に記載のブロッキング効果除去システム。
8. 前記ピクセルセグメントフィルタリング部は、
   前記第１フィルタリングモードとして決定された場合に、ブロック境界と垂直方向に前記ピクセルセグメントの領域をフィルタリングすることを特徴とする請求項７に記載のブロッキング効果除去システム。
9. 前記方向ベクトル決定部は、
   前記ピクセルグループ、前記ピクセルグループと隣接している上位ピクセルグループ、および前記ピクセルグループと隣接している下位ピクセルグループのピクセル値を用いてブロック境界に隣接しているピクセルに適用する前記方向ベクトルを決定することを特徴とする請求項１に記載のブロッキング効果除去システム。
10. 前記方向ベクトル決定部は、
    前記ピクセルグループのうちの特定ピクセルを基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用いて、最小となる方向を前記方向ベクトルとして決定することを特徴とする請求項９に記載のブロッキング効果除去システム。
11. 前記ピクセルセグメントフィルタリング部は、
    ブロック境界に隣接しているピクセルに対して同じ方向を適用して前記ピクセルセグメントの領域をフィルタリングすることを特徴とする請求項１に記載のブロッキング効果除去システム。
12. 映像のブロック境界に隣接しているピクセルグループそれぞれに対して均一度を満たすピクセルセグメントを抽出する段階と、
    抽出された前記ピクセルセグメントの大きさを考慮して、フィルタリング方向に対応するフィルタリングモードを決定する段階と、
    前記フィルタリングモードを考慮して、ブロック境界に隣接しているピクセルに適用する方向ベクトルを決定する段階と、
    前記ブロック境界に隣接している前記ピクセルセグメントの全領域を前記フィルタリング方向に応じてフィルタリングする段階と、
    を含むことを特徴とするブロッキング効果除去方法。
13. 前記ピクセルグループは、
    映像のブロック境界を基準として両側にそれぞれ隣接している１つのラインピクセルであることを特徴とする請求項１２に記載のブロッキング効果除去方法。
14. 前記ピクセルセグメントを抽出する段階は、
    前記ピクセルグループの最初のピクセルと最後のピクセルのピクセル値を用いて前記最初のピクセルと前記最後のピクセルとの間を補間する段階と、
    前記ピクセルグループのピクセル位置ごとに補間前後のピクセル値を比較して前記ピクセルグループの均一度を判断する段階と、
    前記均一度に応じて前記ピクセルグループを分割し、分割された部分のうちからブロック境界部分を選択する段階と、
    を含むことを特徴とする請求項１２に記載のブロッキング効果除去方法。
15. 前記均一度は、
    補間前後のピクセル値の差が予め設定された基準値を超過するアウトライアの数に応じて決定されることを特徴とする請求項１４に記載のブロッキング効果除去方法。
16. 前記ピクセルセグメントを抽出する段階は、
    映像のブロック境界に隣接しているピクセルグループそれぞれに対して、前記均一度が予め設定された基準を満たすまで繰り返してピクセルグループを分割することを特徴とする請求項１４に記載のブロッキング効果除去方法。
17. 前記ブロッキング効果を除去する方法は、
    前記ピクセルセグメントでブロック境界の両側に隣接しているピクセルのピクセル値の差を用いて前記ピクセルセグメントのバイパスを実行するか否かを決定する段階、
    をさらに含むことを特徴とする請求項１２に記載のブロッキング効果除去方法。
18. 前記フィルタリングモードを決定する段階は、
    前記ピクセルセグメントの大きさを用いて前記フィルタリングモードを前記ブロック境界と垂直方向にフィルタリングする第１フィルタリングモードと、方向ベクトルに応じてフィルタリングする第２フィルタリングモードとのうちのいずれか１つとして決定することを特徴とする請求項１２に記載のブロッキング効果除去方法。
19. 前記ピクセルセグメントの領域をフィルタリングする段階は、
    前記第１フィルタリングモードとして決められた場合には、ブロック境界と垂直方向に前記ピクセルセグメントの領域をフィルタリングすることを特徴とする請求項１８に記載のブロッキング効果除去方法。
20. 前記方向ベクトルを決定する段階は、
    前記ピクセルグループ、前記ピクセルグループと隣接している上位ピクセルグループ、および前記ピクセルグループと隣接している下位ピクセルグループのピクセル値を用いてブロック境界に隣接しているピクセルに適用する前記方向ベクトルを決定することを特徴とする請求項１２に記載のブロッキング効果除去方法。
21. 前記方向ベクトルを決定する段階は、
    前記ピクセルグループのうちの特定のピクセルを基準として、垂直方向、水平方向、および対角線方向に存在するピクセル間のピクセル値の差を用いて、最小となる方向を前記方向ベクトルとして決定することを特徴とする請求項２０に記載のブロッキング効果除去方法。
22. 前記ピクセルセグメントの領域をフィルタリングする段階は、
    ブロック境界に隣接しているピクセルに対して同じ方向を適用して前記ピクセルセグメントの領域をフィルタリングすることを特徴とする請求項１２に記載のブロッキング効果除去方法。
23. 請求項１２から２２のいずれか一項の方法を実行させるためのプログラムが記録されていることを特徴とするコンピュータ読み取り可能な記録媒体。

Images