JP2009044775A

JP2009044775A - ブロック歪み除去方法およびブロック歪み除去装置

Info

Publication number: JP2009044775A
Application number: JP2008299912A
Authority: JP
Inventors: Toshiyuki Kondo; 敏志近藤; Tetsuya Itani; 哲也井谷
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2000-10-20
Filing date: 2008-11-25
Publication date: 2009-02-26
Also published as: US7706450B2; US20110206139A1; US20020067432A1; US20100142626A1; JP2011250472A; US7970061B2; US8311130B2; US20050141619A1; US7031393B2

Abstract

【課題】圧縮符号化された画像を復号化する際に、高精度にブロック歪みを検出し、画像のボケを最小限に抑えながらブロック歪みを除去することを目的とする。
【解決手段】ブロック歪み検出器１０９では、復号化後の画像データおよび動きベクトルの情報を用いてブロック歪みの有無とその強度を検出する。ブロック歪み除去器１０８は、復号化後の画像のブロック境界付近の画素に対し、ブロック歪み検出器１０９により検出されたブロック歪みの強度に応じたフィルタを施してブロック歪みの除去を行う。
【選択図】図１

Description

本発明は、ブロック単位で圧縮符号化された画像を復号化した際に生じるブロック歪みを検出、除去するブロック歪み除去方法およびブロック歪み除去装置に関する。

近年、放送、通信や蓄積の分野における画像の高能率圧縮符号化方法として、ＭＰＥＧ（Moving Picture Expert Group）方式、Ｈ．２６３方式等が広く用いられている。ＭＰＥＧ方式やＨ．２６３方式では、画像から空間方向と時間方向の冗長度を取り除くことにより符号化を行う。以下、ＭＰＥＧ方式の概要について説明する。

まず、画像情報に含まれる空間方向の冗長度を取り除くためには、離散コサイン変換（Discrete Cosine Transform；以下、ＤＣＴと称す）と量子化処理とが用いられる。すなわち、入力画像を８×８画素のブロックと呼ばれる単位に分割した後、ＤＣＴによりブロックを周波数領域の係数（ＤＣＴ係数）に変換する。そして、ＤＣＴ係数に対して量子化処理を行う。量子化処理はＤＣＴ領域の各周波数に対応した値を有する量子化マトリクスと量子化ステップとの両者を用いて、ＤＣＴ係数を除する処理である。この量子化処理により、ＤＣＴ係数値が小さい周波数成分が“０”になる。一般に画像信号はエネルギーが低域に集中しているために、この処理によって高周波数成分が削除される。しかしながら、人間の視覚特性は高域になるほど識別力が低下するので、量子化処理で用いる量子化ステップが小さければ、量子化処理による画質劣化は目立ちにくい。

また、時間方向の冗長度を取り除くためには、動き補償が用いられる。動き補償では、１６×１６画素のマクロブロックを動き補償単位として参照画像から最も近い領域を選び出す。そしてその領域と参照画像との差分値を符号化する。動きがそれ程速くない場合にはこの差分値はほぼ“０”となるため、時間的冗長度を削減することができる。

通常ビットレートが高い、即ち、圧縮率が小さい場合には、ＭＰＥＧ方式では画質劣化は非常に目立ちにくい。しかしながら、ビットレートが低い、即ち、圧縮率が高くなると画質劣化、すなわち符号化ノイズが目立ち始める。ＭＰＥＧ方式における符号化ノイズの代表的なものとして、ブロック歪みがある。
ブロック歪みは、各ブロックの境界がはっきりとタイル状に見える現象である。これは、ブロック内の画像信号が低域周波数成分しか持たず、かつ隣接するブロック間でブロック同士の低周波数成分の値が異なるために生じる。

ブロック歪みは従来のアナログ系のノイズとは異なり、画質劣化として大きく目立つ。そこで、これを除去する方法がいくつか提案されている。その方法を開示した文献として、例えば特開平１１−２７５５８４号公報がある。同公報では、注目するマクロブロックの動きベクトルを１フレーム当たりの動きベクトルに変換し、変換後の動きベクトルの大きさに応じて、復号化後の画像に施すフィルタの特性を変化させる方法が開示されている。

上記従来の方法では、動きベクトルの大きさに応じて低域通過フィルタの周波数特性、即ち、遮断周波数を決定する。そして、決定したフィルタを用いて復号化画像に対してフィルタを施すことによりブロック歪みを除去する。その際には、動きベクトルが大きい程、遮断周波数が低くなるようにフィルタ特性を決定する。しかしながら、たとえ動きベクトルが大きくても、高周波数成分を有する領域にフィルタを施すと、画質劣化が生じる。

また、上記従来の方法では、ブロック歪みの検出におけるブロック当たりの処理量は、解像度に依存せず一定である。即ち、映像信号が低解像度であっても高解像度であっても、処理量は同じである。このため、映像信号が高解像度となるほど、全体の処理量が増えるという問題も生じていた。

本発明は、上記のような従来のものの問題点を解決するためになされたもので、ブロック歪み除去を行う際に、誤検出による画質劣化を起こすことがないブロック歪み除去方法およびブロック歪み除去装置を提供することを目的とする。

また、画素数に比例して処理量が増加することがなく、映像信号が高解像度の場合であっても処理量の増加を抑えることができるブロック歪み除去方法およびブロック歪み除去装置を提供することを目的とする。

上記目的を達成するために、本願の請求項１の発明に係るブロック歪み除去方法は、画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去方法であって、ブロック境界におけるブロック歪みの強度を判定する第１の判定ステップと、前記第１の判定ステップにおける第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定ステップと、前記第２の判定ステップにおける第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去ステップとを含み、前記第１の判定ステップにおいて、前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、前記第２の判定ステップにおいて、前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、ことを特徴とする構成を有する。

また、本願の請求項２の発明に係るブロック歪み除去装置は、画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去装置であって、ブロック境界におけるブロック歪みの強度を判定する第１の判定手段と、前記第１の判定手段における第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定手段と、前記第２の判定手段における第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去手段とを備え、前記第１の判定手段は、前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、前記第２の判定手段は、前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、ことを特徴とする構成を有する。

本願の請求項１の発明に係るブロック歪み除去方法によれば、画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去方法であって、ブロック境界におけるブロック歪みの強度を判定する第１の判定ステップと、前記第１の判定ステップにおける第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定ステップと、前記第２の判定ステップにおける第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去ステップとを含み、前記第１の判定ステップにおいて、前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、前記第２の判定ステップにおいて、前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、ようにしたので、動きベクトルの情報を用いてブロック歪みの強度を判定でき、ブロック歪みの誤検出をなくすことができるとともに、ブロック歪みの強度に応じたフィルタによりノイズ除去を行うことができ、画像のボケを最小限に抑えながら確実にかつ誤検出を行うことなく、ブロック歪みを除去することが可能となる効果がある。

また、本願の請求項２の発明に係るブロック歪み除去装置によれば、画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去装置であって、ブロック境界におけるブロック歪みの強度を判定する第１の判定手段と、前記第１の判定手段における第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定手段と、前記第２の判定手段における第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去手段とを備え、前記第１の判定手段は、前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、前記第２の判定手段は、前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、ようにしたので、動きベクトルの情報を用いてブロック歪みの強度を判定でき、ブロック歪みの誤検出をなくすことができるとともに、ブロック歪みの強度に応じたフィルタによりノイズ除去を行うことができ、画像のボケを最小限に抑えながら確実にかつ誤検出を行うことなく、ブロック歪みを除去することが可能となる効果がある。

以下、図面を参照しながら本発明の実施の形態について説明する。本実施の形態においては、画像の圧縮符号列はＭＰＥＧ−２方式により生成されているとする。
（実施の形態１）

この実施の形態１は請求項１および２の発明に対応するものである。
図１は本発明の実施の形態１によるブロック歪み検出方法，ブロック歪み除去方法を使用するブロック歪み検出装置，ブロック歪み除去装置を有するＭＰＥＧ−２デコーダのブロック図である。図において、１０２は可変長符号であるＭＰＥＧ−２ビデオ符号列を復号化する可変長復号化器、１０３は復号化された可変長符号の逆量子化を行う逆量子化器、１０４は逆量子化器１０３の出力に対し逆ＤＣＴ処理を行う逆ＤＣＴ器、１０６は可変長復号化器１０２の出力に対し動き補償を行う動き補償器、１０５は逆ＤＣＴ器１０４の出力と動き補償器１０６の出力との加算を行う加算器、１０７は復号済みの画像データを一時記憶する画像メモリであり、１０１はこれら可変長復号化器１０２、逆量子化器１０３、逆ＤＣＴ器１０４、加算器１０５、動き補償器１０６及び画像メモリ１０７を有するＭＰＥＧ−２ビデオ復号化器である。

１０９はこのＭＰＥＧ−２ビデオ復号化器１０１における画像メモリ１０７の出力および可変長復号化器１０２の出力を用いてブロック歪みの有無を検出するブロック歪み検出器、１０８はブロック歪み検出器１０９の出力を用いてブロック歪みを除去するブロック歪み除去器であり、ブロック歪み検出器１０９が本発明のブロック歪み検出方法に基づいてブロック歪みを検出するブロック歪み検出装置に対応し、ブロック歪み除去器１０８が本発明のブロック歪み除去方法に基づいてブロック歪みを除去するブロック歪み除去装置に対応する。

次に動作について説明する。ここでは、フレーム間符号化されているデータを復号化する場合について説明する。
ＭＰＥＧ−２ビデオ符号列は、まず可変長復号化器１０２に入力される。可変長復号化器１０２は、入力された符号列の可変長符号を復号化し、量子化されたＤＣＴ係数および符号化の際に用いた動きベクトル、量子化スケール等のパラメータを抽出する。可変長復号化器１０２で得られた量子化されたＤＣＴ係数はマクロブロック順に逆量子化器１０３に入力される。逆量子化器１０３では、可変長復号化器１０２で得られた量子化スケールと量子化マトリクスとを用いて、マクロブロックに含まれるブロック毎に量子化されたＤＣＴ係数の逆量子化を行い、ＤＣＴ係数ブロックを得る。そしてＤＣＴ係数ブロックは逆ＤＣＴ器１０４に入力される。逆ＤＣＴ器１０４では、ＤＣＴ係数ブロックに対して逆ＤＣＴを施して画素ブロックを得る。逆ＤＣＴ器１０４で得られた画素ブロックは、加算器１０５に入力される。

一方、動き補償器１０６には、可変長復号化器１０２から動きベクトルが入力される。ここでＭＰＥＧ−２方式では、動き補償はマクロブロック単位で行われる。そして動き補償器１０６は、画像メモリ１０７から、動きベクトルを用いて求めた参照画像も取得する。ここで画像メモリ１０７には、すでに復号化が終了したフレームの画像データが蓄積されているとする。この参照画像は加算器１０５に出力される。よって加算器１０５には、逆ＤＣＴ器１０４から画素ブロックが、動き補償器１０６から参照画像が、それぞれ入力される。加算器１０５は、これらを加算し、その結果を復号された画像データとして画像メモリ１０７に蓄積する。ここまでの動作は一般的なＭＰＥＧ−２ビデオ復号化器の動作と同様である。

次に、本実施の形態１におけるブロック歪み検出器１０９の動作について説明する。図２はブロック歪み検出器１０９の内部構成を示したブロック図である。図２に示すようにブロック歪み検出器１０９は、画素値を用いてブロック歪みが発生しているか否かを検査する画素値検査器２０１、動きベクトルの大きさに基づきブロック歪みが発生しているか否かを検査する動きベクトル検査器２０２、これら２つの検査器の出力によりブロック歪みが発生しているか否かを総合的に判定するブロック歪み判定器２０３、の３つの回路から構成される。このブロック歪み検出器１０９には、画像メモリ１０７から復号化後の画像データが、可変長復号化器１０２から動きベクトルが、それぞれ入力される。

画素値検査器２０１は、画像メモリ１０７から画像データを受け取る。画素値検査器２０１では、ブロック境界の周辺画素値を用いて、そのブロック境界にブロック歪みが発生するか否かを判定し、かつブロック歪みが発生する場合にはその強度を決定する。画素値を用いてブロック歪みを検出する方法としては、例えば特許公報第２６４３６３６号に開示されているように、ブロック境界を挟んで互いに隣接する２つの画素の差の絶対値が、互いに隣接する２つのブロック内でブロック境界に最も近い各２つの画素の差の絶対値よりもそれぞれ大きい場合にブロック歪みが発生する、と判定する方法があるが、同公報がブロック歪みの有無のみを検出するのに対し、本実施の形態１ではブロック歪みの有無を検出するのみならずその強度も検出する点で異なる。

この画素値検査器２０１の動作を図３を用いて説明する。図３は、ある水平方向の画素の画素値を示す模式図である。図３において、横軸は画素位置、縦軸は画素値を示している。また、画素ｄと画素ｅとの間がブロック境界であるとする。今、図３（ａ）において、
条件１：画素ｄと画素ｅとに関して画素値の差分絶対値が第１の所定値（しきい値）ＴＨ１よりも大きい
条件２：画素ｂと画素ｃ、画素ｃと画素ｄ、画素ｅと画素ｆ、画素ｆと画素ｇの画素値の差分絶対値が全て第２の所定値（しきい値）ＴＨ２よりも小さい
の２つの条件を満たしていれば、画素ｄと画素ｅの間にブロック歪みが発生していると判断する。所定値ＴＨ１はブロック境界を挟む２画素の差分絶対値の下限であり、所定値ＴＨ２はブロック内の互いに隣接する２画素の差分絶対値の上限であるため、これら所定値ＴＨ１，ＴＨ２の間には、
ＴＨ１＞ＴＨ２
の関係が成り立てば必ずブロック歪みが発生していると正しく判断できるが、画素ｂ，ｃ，ｄ，ｅ，ｆ，ｇの値によっては必ずしもこの関係が成り立たなくても、上述の条件１，２のみでブロック歪みが発生していると正しく判断できる場合がある。図３（ａ）は上記条件１，２を満たしているとする。

また、図３（ｂ）は上記条件１、２を満たさないが、所定値ＴＨ１、ＴＨ２をそれぞれＴＨ１、ＴＨ２よりも大きな値である第１、第２の所定値ＴＨ１’、ＴＨ２’に変更すれば、上記条件１，２を満たすものとする。この場合、図３（ｂ）の画素ｄ’と画素ｅ’ との間にブロック歪みが発生していると判断する。

また、この場合には、図３（ｂ）では弱いブロック歪みが発生していると判定し、図３（ａ）では強いブロック歪みが発生している、と判定する。
これは、図３（ｂ）の場合、ブロック内の画素の画素値の差が大きいため、ブロック歪みが発生したとしても目立ちにくく、このような弱いブロック歪みが発生する場合、ブロック内の画素の画素値の差分絶対値は大きい値となり、これを検出しようとすれば、所定値ＴＨ１、ＴＨ２をより大きな値ＴＨ１’、ＴＨ２’に変更する必要があるためである。

なお、これらＴＨ１’、ＴＨ２’の間にも
ＴＨ１’＞ＴＨ２’
の関係が成り立つことが望ましい。
画素値検査器２０１では、この判定結果をブロック歪み判定器２０３に対して出力する。

図４は以上に述べた画素値検査器２０１の動作を示すフローチャートであり、ステップＳ１０１において、画像メモリ１０７からブロック歪み判定を行う画像データを受け取り、ステップＳ１０２において、ブロック境界を検出する。このブロック境界は画素を８つずつカウントすることで、容易に検出できる。次に、ステップＳ１０３において、上述の条件１、即ち、画素ｄと画素ｅの値の差分絶対値が所定値ＴＨ１よりも大きいか否かを判定する。大きければステップＳ１０４において、上述の条件２、即ち、画素ｂと画素ｃ、画素ｃと画素ｄ、画素ｅと画素ｆ、画素ｆと画素ｇの値の差分絶対値が全て所定値ＴＨ２よりも小さいか否かを判定する。小さければ、ステップＳ１０５において、ブロック歪み判定器２０３に対し強いブロック歪みが発生している旨を通知する。一方、ステップＳ１０３あるいはステップＳ１０４において判定結果が否であれば、ステップＳ１０６において、上述の所定値ＴＨ１よりも大きい所定値ＴＨ１’より、画素ｄと画素ｅの値の差分絶対値が大きいか否かを判定する。大きい場合、ステップＳ１０７において、上述の所定値ＴＨ２よりも大きい所定値ＴＨ２’より、画素ｂと画素ｃ、画素ｃと画素ｄ、画素ｅと画素ｆ、画素ｆと画素ｇの画素値の差分絶対値が全て小さいか否かを判定する。小さい場合、ステップＳ１０８において、ブロック歪み判定器２０３に対し弱いブロック歪みが発生している旨を通知する。これに対し、ステップＳ１０６あるいはステップＳ１０７において判定結果が否であれば、ステップＳ１０９において、ブロック歪み判定器２０３に対しブロック歪み発生が無い旨を通知する。

動きベクトル検査器２０２は、可変長復号化器１０２から動きベクトルを受け取る。動きベクトル検査器２０２では、動きベクトルの大きさに基づいて、ブロック歪みの有無およびその強度を検出する。これは例えば、第３の所定値（しきい値）ＴＨ３、ＴＨ４（ただし、ＴＨ３＞ＴＨ４とする）に対して、動きベクトルの大きさが所定値ＴＨ３よりも大きければ、強いブロック歪みが発生していると判断し、所定値ＴＨ４以上でＴＨ３以下である場合には、弱いブロック歪みが発生していると判断し、所定値ＴＨ４以下であればブロック歪みは発生していないと判断する。ここで判定に用いる動きベクトルとしては、或るマクロブロック境界のブロック歪みを検出する場合、マクロブロック境界において隣接する２つのマクロブロックの動きベクトルのいずれか一方の最大値が上記条件を満たすかどうかにより判定すれば良い。動きベクトル検査器２０２は、この判定結果をブロック歪み判定器２０３に対して出力する。

図５は以上に述べた動きベクトル検査器２０２の動作を示すフローチャートであり、ステップＳ２０１において可変長復号化器１０２より動きベクトルを入力する。次にステップＳ２０２において動きベクトルが所定値ＴＨ３よりも大きいか否かを判定する。大きければブロック歪み判定器２０３に対し強いブロック歪みが発生している旨を通知する。一方、ステップＳ２０１において判定結果が否であれば、ステップＳ２０４において、動きベクトルが所定値ＴＨ４以上でＴＨ３以下であるか否かを判定する。この条件を満たしていれば、ステップＳ２０５において、ブロック歪み判定器２０３に対し弱いブロック歪みが発生している旨を通知する。これに対し、ステップＳ２０４において判定結果が否であれば、ステップＳ２０６において、ブロック歪み判定器２０３に対しブロック歪み発生が無い旨を通知する。

ブロック歪み判定器２０３は、画素値検査器２０１から画素値に基づいたブロック歪みの検出結果と、動きベクトル検査器２０２から動きベクトルの大きさに基づいたブロック歪みの検出結果とを入力として受け取る。ブロック歪み判定器２０３では、この両者のブロック歪みの検出結果から、最終的なブロック歪みの有無およびその強度を決定する。この決定方法の一例を（表１）に示す。（表１）は例えば、画素値検査器２０１の判定結果が「弱いブロック歪み」であり、動きベクトル検査器２０２の判定結果が「強いブロック歪み」である場合には、「強いブロック歪み」が発生していると判断することを示している。ブロック歪み判定器２０３はこの（表１）のテーブルサーチを実行することにより、最終的なブロック歪み判定を行う。

なお、この（表１）は動きベクトル検査器２０２よりも画素値検査器２０１の判定結果を優先させているが、これは、動きベクトルが本ブロック歪み判定器２０３の外部、即ち符号化の段階で作成されるため、符号化方式によってはブロック歪みの判定に適さないものが送信されることがあるため、判定の信頼性を高めるために、本ブロック歪み判定器２０３の内部で判定できる画素値検査器２０１の判定結果を重視したためである。このように判定の信頼度を向上することで、ブロック歪みを除去する際の画像補正の際に適切な補正を行うことができ、不適切な補正を行うことで生じる画質劣化を抑えることができる。

このブロック歪み判定器２０３の判定結果は、ブロック歪み除去器１０８に出力される。ブロック歪み除去器１０８では、画像メモリ１０７から画像データを、ブロック歪み検出器１０９からブロック歪みの検出結果を入力として受け取る。ブロック歪み除去器１０８では、ブロック歪み検出器１０９の検出結果を基にして、画像メモリ１０７から入力された画素に低域通過フィルタを施してブロック歪みを除去する。その動作例を図６を用いて説明する。

図６（ａ）は、図３（ａ）と同じ画素を示す模式図である。今、ブロック歪み検出器１０９により、図６（ａ）のブロック境界において強いブロック歪みが発生していると判断されたとする。この場合、ブロック境界の２画素に対してフィルタを施すとする。すなわち、図６（ａ）では、画素ｃ、ｄ、ｅ、ｆに対してフィルタを施すことになる。またフィルタの強度は、画素ｄ、ｅには強く作用し、画素ｃ、ｆには弱く作用する、などとしても良い。として低域通過型フィルタを用いる場合、図７に示すように、フィルタの強度が強ければカットオフ周波数が低く減衰量も大きい。これはタップ数を多くすることで実現できる。図７における特性Ａは強いブロックノイズが生じている画素に対して施すフィルタ強度が強いフィルタであり、例えば５タップのフィルタを用いる。また、図７における特性Ｂは弱いブロックノイズが生じている画素に対して施すフィルタ強度が弱いフィルタであり、例えば３タップのフィルタを用いる。

図８はブロック歪み除去器１０８に含まれる低域通過型のフィルタの構成例を示し、図８（ａ）は３タップのものを、図８（ｂ）は５タップのものを、それぞれ示している。また、図８（ｃ）はスイッチを切り替えることで、１つのフィルタでタップ数を切り替えることが可能なものである。

図８において、１０８１，１０８２，１０８３，１０８４はそれぞれの入力信号に対し所定時間分の遅延を行う遅延器、１０８５，１０８６，１０８７，１０８８，１０８９はそれぞれの入力信号に対し所定のフィルタ係数α１，α２，α３，α４，α５を乗算する乗算器、１１０１は乗算器１０８５，１０８６，１０８７の出力を加算する加算器、１１０２は乗算器１０８５，１０８６，１０８７，１０８８，１０８９の出力を加算する加算器、１０９０，１０９１，１０９２はスイッチである。

スイッチ１０９０，１０９１はブロック歪み検出器１０９が強いブロック歪みである旨を検出した場合にオンとなって図８（ｃ）の回路を５タップの低域通過型フィルタとし、弱いブロック歪みである旨を検出した場合にオフとなって、図８（ｃ）の回路を３タップの低域通過型フィルタとする。また、スイッチ１０９２はブロック境界付近以外の画素あるいはブロック歪みが無い旨を検出した場合の画素に対しオンとなって、画像メモリ１０７からの画像データに低域通過型フィルタがかからないように図８（ｃ）の回路をバイパスさせる。

図６（ａ）は、画素ｄには５タップの低域通過型フィルタを、画素ｃには３タップの低域通過型フィルタを施す場合について示している。このような処理を行うことにより、図６（ｂ）のような画素値が得られる。

図６（ｃ）は、図３（ｂ）と同じ画素を示す模式図である。今、ブロック歪み検出器１０９により、図６（ｃ）のブロック境界において弱いブロック歪みが発生していると判断されたとする。この場合、ブロック境界の１画素に対してフィルタを施すとする。すなわち、図６（ｃ）では、画素ｄ’、ｅ’に対してフィルタを施すことになる。図６（ｃ）は、画素ｄ’に３タップの低域通過型フィルタを施す場合について示している。このような処理を行うことにより、図６（ｄ）のような画素値が得られる。ブロック歪み除去器１０８で処理を施された画像データは出力画像として出力される。

以上のように、本実施の形態１によるブロック歪み検出方法およびブロック歪み検出装置では、まずブロック境界の画素値の差分値と、ブロック内部の画素値の差分値とを所定値と比較し、その比較結果からブロック歪みの有無とその強度とを検出する。次に、動きベクトルの大きさに基づいて、ブロック歪みの有無とその強度とを検出する。そして、画素値に基づいたブロック歪みの検出結果と、動きベクトルの大きさに基づいたブロック歪みの検出結果とを合わせて、最終的なブロック歪みの有無とその強度とを検出する。

また、本実施の形態１によるブロック歪み除去方法およびブロック歪み除去装置では、ブロック歪みの有無とその強度を検出した後、その強度に応じたフィルタを施すことにより、ブロック歪みの除去を行う。

このような動作により、本実施の形態１によるブロック歪み検出方法およびブロック歪み検出装置は、画素値に基づいたブロック歪みの検出結果と、動きベクトルの大きさに基づいたブロック歪みの検出結果とを合わせて、最終的なブロック歪みの有無とその強度とを検出しているので、従来の画素値だけや動きベクトルだけでは検出できなかったブロック歪みを検出することができる。また逆に、画素値だけや動きベクトルだけの検出結果ではブロック歪みであると判定していた誤検出をなくすことができる。また、本実施の形態１によるブロック歪み除去方法およびブロック歪み除去装置を用いることにより、ブロック歪みの強度に応じたノイズ除去を施すことができるので、画像のボケを最小限に抑えながら確実にかつ誤検出することなく、ブロック歪みを除去することが出来る。

なお、本実施の形態１では、符号化方式としてＭＰＥＧ−２方式を用いた場合について説明したが、動き補償を用いる符号化方式であれば、ＭＰＥＧ−１，ＭＰＥＧ−４，Ｈ．２６１，Ｈ．２６３等、任意の符号化方式であっても良い。但し、ブロックの大きさ、および動き補償単位の大きさは、符号化方法に応じて異なるものとする。

また、本実施の形態１では、画素値検査器２０１、動きベクトル検査器２０２において、ブロック歪みの強度を弱または強の２段階で検出する場合について説明したが、これは３段階以上の所要の複数段階であっても良い。

また、本実施の形態１では、画素値検査器２０１において、画素ｂ〜ｇを用いてブロックノイズの有無と強度とを検出する場合について説明したが、これはさらに他の画素を用いて検出しても良い。またさらに少ない画素を用いて検出しても良い。

また、本実施の形態１では、動きベクトル検査器２０２において、隣接する２マクロブロックの動きベクトルのいずれか一方が所定値よりも大きければブロック歪みが発生すると判定する場合について説明したが、これは他の方法、例えば両者共に所定値よりも大きければブロック歪みが発生すると判定しても良い。

また、本実施の形態１では、ブロック歪み判定器２０３では、（表１）を用いて最終的なブロック歪みの判定を行うとして説明したが、最終的なブロック歪みの判定方法は、（表１）の組み合わせに限るものではない。

また、本実施の形態１では、ブロック歪み除去器１０８で用いるフィルタが低域通過フィルタである場合について説明したが、これはブロック歪みを除去するフィルタであれば他のフィルタ、例えばメディアンフィルタや非線形フィルタ等であっても良い。

また、本実施の形態１では、フィルタの種類が中程度のフィルタである場合にはブロック境界の４画素にフィルタを施し、フィルタの種類が強いフィルタである場合にはブロック境界の６画素にフィルタを施す場合について説明したが、フィルタをかける画素の範囲は、本実施の形態１とは異なる範囲であっても良い。

また、本実施の形態１では、水平方向に隣接するブロック境界のブロック歪みを検出、除去する場合について説明したが、垂直方向に隣接するブロック境界についても同様の処理を施すことができる。

また、本実施の形態１では、画素値検査器２０１において、フレーム間符号化が行われている場合に、画素値を用いてブロック歪みを検出し、動きベクトル検査器２０２において、動きベクトルを用いてブロック歪みを検出する方法、装置について説明したが、これは画素値検査器２０１のみを用いてブロック歪みを検出しても良い。特にフレーム内符号化を施されており、動きベクトル情報がないような場合には、画素値検査器２０１のみを用いてブロック歪みを検出すれば良い。
（実施の形態２）

実施の形態２では実施の形態１と比較して、ブロック歪み除去器１０８の動作が異なる。従って、ここではブロック歪み除去器１０８の動作についてのみ説明する。

図９は、本実施の形態２におけるブロック歪み除去器１０８の構成を示したものであり、ブロック歪み除去器１０８はフィルタ器５０１と重み付け平均演算器５０２とから構成される。

ブロック歪み除去器１０８には、画像メモリ１０７から画像データが、ブロック歪み検出器１０９からブロック歪みの検出結果が、それぞれ入力される。画像メモリ１０７から入力された画像データは、フィルタ器５０１と重み付け平均演算器５０２とに入力される。フィルタ器５０１では、全てのブロック境界付近の画素にフィルタを施す。これは例えば、ブロック境界に隣接する画素に対しては、５タップの低域通過フィルタを施し、その隣の画素に対しては３タップの低域通過フィルタを施すといった処理である。フィルタ器５０１の出力は、重み付け平均演算器５０２に対して出力される。

重み付け平均演算器５０２には、画像メモリ１０７から画像データが、フィルタ器５０１からブロック境界の画素にフィルタを施された画像データが、ブロック歪み検出器１０９からブロック歪みの検出結果が、それぞれ入力される。重み付け平均演算器５０２は、ブロック歪みの検出結果に従って、画像メモリ１０７から入力された画像データと、フィルタ器５０１から入力された画像データとを重み付け平均して出力する。その様子を図１０を用いて説明する。

図１０は、ブロック境界付近の画素とその画素値を示した模式図である。図１０において、横軸は画素位置を、縦軸は画素値を示している。図１０（ａ）は、画像メモリ１０７から入力された画像データであり、図１０（ｂ）は、フィルタ器５０１から入力された画像データである。すなわち、図１０（ｂ）の画素ｃ〜ｆは、図１０（ａ）の画素に対して低域通過フィルタを施して生成された画素である。

今、ブロック歪み検出器１０９では、ブロック歪みの強度を「無」、「弱」、「強」のいずれか１つの歪みとして決定するものと仮定する。ブロック歪み検出器１０９において、このブロック境界のブロック歪みが「無」として検出された場合には、重み付け平均演算器５０２は、図１０（ａ）の画像データ、すなわち画像メモリ１０７から入力された画像データをそのまま出力する。また、このブロック境界のブロック歪みが「弱」として検出された場合には、重み付け平均演算器５０２は、画素ｃ〜ｆについて、図１０（ａ）の画像データと図１０（ｂ）の画像データとを平均して出力する。すなわち画像メモリ１０７から入力された画像データとフィルタ器５０１から入力された画像データとを重み付け平均して出力する。この場合には、画像データは図１０（ｃ）のようになる。また、このブロック境界のブロック歪みが「強」として検出された場合には、重み付け平均演算器５０２は、図１０（ｂ）の画像データ、すなわちフィルタ器５０１から入力された画像データをそのまま出力する。

以上のように、本実施の形態２におけるブロック歪み除去方法およびブロック歪み除去装置では、検出されたブロック歪みの有無とその強度を入力とし、入力画像の全てのブロック境界付近の画素にフィルタを施し、入力画像と、フィルタを施された画像とをブロック歪みの強度に応じて重み付け平均して出力する。

このような動作により、本実施の形態２のブロック歪み除去方法またはブロック歪み除去装置を用いることにより、検出されたブロック歪みの強度に応じてフィルタの組み合わせを変更する必要がなく、一種類のフィルタのみでブロック歪みの強度に応じた除去を行うことができる。これにより、ハードウェア規模等の削減を図ることができる。また、フィルタは１種類でありながら、ブロック歪みの強度に応じて、入力画像とフィルタ画像との重みを変更することから、ブロック歪みの強度に応じたノイズ除去を施すことができ、画像のボケを最小限に抑えながら確実にかつ誤検出することなく、ブロック歪みを除去することが出来る。

なお、本実施の形態２では、ブロック歪みの強度が弱または強の２段階で検出されている場合について説明したが、これは３段階以上であっても良い。また、この場合には、ブロックノイズの強度が強いほど、フィルタ器５０１から入力された画像データに対する重みを大きくすれば良い。

また、本実施の形態２では、フィルタ器５０１において、ブロック境界の４画素に対してフィルタを施す場合について説明したが、フィルタをかける画素の範囲は実施の形態２とは異なる範囲であっても良い。

また、本実施の形態２では、水平方向に隣接するブロック境界のブロック歪みを検出、除去する場合について説明したが、垂直方向に隣接するブロック境界についても同様の処理を施すことができる。
（実施の形態３）

図１１は、本実施の形態３によるブロック歪み検出方法およびブロック歪み除去方法を実行するブロック歪み検出装置およびブロック歪み除去装置を有するＭＰＥＧ−２デコーダを示すブロック図である。図において、可変長復号化器１０２、逆量子化器１０３、逆ＤＣＴ器１０４、加算器１０５、動き補償器１０６、画像メモリ１０７は図１と同様のものである。

本実施の形態３におけるブロック歪み検出装置およびブロック歪み除去装置はこれにさらにブロック歪み除去器１０８、ブロック歪み検出器７０９、解像度判定器７１０を追加したものである。この解像度判定器７１０はＭＰＥＧ−２符号列のデコード結果に含まれる解像度データを参照する等によりその解像度がどの範囲に属するかを判定するものである。

可変長復号化器１０２、逆量子化器１０３、逆ＤＣＴ器１０４、加算器１０５、画像メモリ１０７の動作は、実施の形態１と同様であるので、説明は省略する。ただし、実施の形態３では、可変長復号化器１０２において、入力符号列から得られる解像度、即ち画素数、の情報を解像度判定器７１０に対して出力する機能を有する点が、実施の形態１と異なる。

解像度判定器７１０では、可変長復号化器１０２から映像の解像度、即ち、画面の水平画素数と垂直画素数が入力される。解像度判定器７１０では、解像度が所定の解像度以上であるか否かを判定する。そして、その判定結果をブロック歪み検出器７０９に対して出力する。

次にブロック歪み検出器７０９の動作について説明する。図１２はブロック歪み検出器７０９の内部構成を示したブロック図である。図１２に示すようにブロック歪み検出器７０９は、画素値検査器８０１、動きベクトル検査器８０２、ブロック歪み判定器２０３から構成される。ブロック歪み検出器７０９には、画像メモリ１０７から復号化後の画像データが、可変長復号化器１０２から動きベクトルが、それぞれ入力され、さらに、解像度判定結果が解像度判定器７１０から入力される。

画素値検査器８０１は、画像メモリ１０７から復号化後の画像データを、解像度判定器７１０から解像度判定結果を、それぞれ受け取る。画素値検査器８０１は、解像度判定器７１０により判定された解像度が低い場合には、実施の形態１における画素値検査器２０１と同様の動作を行う。即ち、図３（ａ）において、画素ｄと画素ｅとに関して画素値の差分絶対値が所定値ＴＨ１よりも大きく、画素ｂと画素ｃ、画素ｃと画素ｄ、画素ｅと画素ｆ、画素ｆと画素ｇの画素値の差分絶対値が全て所定値ＴＨ２よりも小さければ、画素ｄと画素ｅの間にブロック歪みが発生していると判断する。

また、解像度が高い場合には、実施の形態１における画素値検査器２０１の動作よりも少ない処理量で、ブロック歪みの検出を行う。ここで、処理量を少なくする方法としては、例えばブロック歪みの検出に用いる画素数を減らす方法や、ブロック歪みの検出強度の段階数を減らす等の方法がある。ブロック歪みの検出に用いる画素数を減らす場合には、例えば、実施の形態１では、図３において、画素ｂ〜ｇを用いて検出する場合について説明したが、これを画素ｃ〜ｆを用いて検出するようにすれば良い。また、ブロック歪みの検出強度の段階数を減らす場合には、例えば、実施の形態１では画素値を所定値ＴＨ１，ＴＨ２およびこれより大きい所定値ＴＨ１’，ＴＨ２’と比較することでブロック歪みを「無」、「弱」、「強」の３段階に分類するようにしたが、これをブロック歪み「有」，「無」の２段階に分類するようにしてもよい。画素値検査器２０１では、この判定結果をブロック歪み判定器２０３に対して出力する。

動きベクトル検査器８０２は、可変長復号化器１０２から動きベクトルを、解像度判定器７１０から解像度判定結果を、それぞれ受け取る。動きベクトル検査器８０２では、解像度判定器７１０により判定された解像度が低い場合には、実施の形態１における動きベクトル検査器２０２と同様の動作をする。即ち、動きベクトル検査器８０２は、動きベクトルの大きさに基づいて、ブロック歪みの有無およびその強度を検出する。これは例えば、所定値ＴＨ３、ＴＨ４に対して、動きベクトルの大きさが所定値ＴＨ３よりも大きければ、強いブロック歪みが発生していると判断し、所定値ＴＨ４以上でＴＨ３以下である場合には、弱いブロック歪みが発生していると判断し、所定値ＴＨ４以下であればブロック歪みは発生していないと判断する。

また、解像度が高い場合には、実施の形態１における動きベクトル検査器２０２の動作よりも少ない処理量で、動きベクトルの検査を行う。ここで、処理量を少なくする方法としては、動きベクトルのブロック歪み検出の段階数を減らす、または動きベクトルによるブロック歪みの検出を行わないといった方法がある。

ブロック歪み判定器２０３は、画素値検査器８０１から画素値に基づいたブロック歪みの検出結果と、動きベクトル検査器８０２から動きベクトルの大きさに基づいたブロック歪みの検出結果とを入力として受け取る。ブロック歪み判定器２０３では、この両者のブロック歪みの検出結果から、最終的なブロック歪みの有無およびその強度を決定する。この動作は、実施の形態１と同様であるので、説明は省略する。ブロック歪み判定器２０３の判定結果は、ブロック歪み除去器１０８に対して出力される。

ブロック歪み除去器１０８では、画像メモリ１０７から画像データを、ブロック歪み検出器７０９からブロック歪みの検出結果を入力として受け取る。ブロック歪み除去器１０８では、ブロック歪み検出器７０９の検出結果を基にして、ブロック歪みを除去する。その動作は、実施の形態１または実施の形態２と同様であるので、説明は省略する。

以上のように、本実施の形態３によるブロック歪み検出方法およびブロック歪み検出装置では、まずブロック境界の画素値の差分値と、ブロック内部の画素値の差分値とを所定値と比較し、その比較結果からブロック歪みの有無とその強度とを検出する。次に、動きベクトルの大きさに基づいて、ブロック歪みの有無とその強度とを検出する。この際には、入力映像の解像度によって処理方法を変更し、解像度が高いほど少ない処理量でブロック歪みを検出する。そして、画素値に基づいたブロック歪みの検出結果と、動きベクトルの大きさに基づいたブロック歪みの検出結果とを合わせて、最終的なブロック歪みの有無とその強度とを検出する。

このような動作により、本実施の形態３のブロック歪み検出方法およびブロック歪み検出装置を用いることにより、画素値に基づいたブロック歪みの検出結果と、動きベクトルの大きさに基づいたブロック歪みの検出結果とを合わせて、最終的なブロック歪みの有無とその強度とを検出しているので、従来の画素値だけや動きベクトルだけでは検出できなかったブロック歪みの発生を検出することができる。また逆に、画素値だけや動きベクトルだけではブロック歪みとして誤検出していたものをなくすことができる。

また、本実施の形態３によるブロック歪み除去方法およびブロック歪み除去装置を用いることにより、ブロック歪みの強度に応じたノイズ除去を施すので、画像のボケを最小限に抑えながら確実にかつ誤検出することなく、ブロック歪みを除去することが出来る。また、入力映像の解像度が高いほど少ない処理量でブロック歪みを検出する。すなわち、解像度が低い場合には、復号化処理の処理量は少なく、ブロック歪みの除去処理は多くなり、解像度が高い場合には、復号化処理の処理量は多く、ブロック歪みの除去処理は少なくなり、復号化処理とブロックノイズ除去処理との合計の処理量を抑えることができる。

なお、本実施の形態３では、符号化方式としてＭＰＥＧ−２方式を用いた場合について説明したが、動き補償を用いる符号化方式であれば、ＭＰＥＧ−１，ＭＰＥＧ−４，Ｈ．２６１，Ｈ．２６３の他、任意の符号化方式であっても良い。但し、ブロックの大きさ、および動き補償単位の大きさは、符号化方法に応じて異なるものとする。

また、本実施の形態３では、入力映像の解像度が高い場合には、画素値検査器８０１および動きベクトル検査器８０２の両方で処理量を少なくする場合について説明したが、これはいずれか一方の処理量のみを少なくしても良い。

また、本実施の形態３では、入力映像の解像度が高い、または低いの２段階で、画素値検査器８０１および動きベクトル検査器８０２の処理量を切り替える場合について説明したが、この段階数は“２”以上であっても良い。

また、本実施の形態３では、画素値検査器８０１において、フレーム間符号化が行われている場合に、画素値を用いてブロック歪みを検出し、動きベクトル検査器８０２において、動きベクトルを用いてブロック歪みを検出する方法、装置について説明したが、これは画素値検査器８０１のみを用いてブロック歪みを検出しても良い。特にフレーム内符号化を施されており、動きベクトル情報がないような場合には、画素値検査器８０１のみを用いてブロック歪みを検出すれば良い。

さらに、上記実施の形態１ないし３では、ブロック同士の境界におけるブロック歪みを検出，除去するようにしたが、これはブロック同士の境界でありかつ動き補償単位、即ちマクロブロック同士の境界でもあるブロック間・動き補償単位間境界におけるブロック歪みを検出，除去するようにしても良く、これら実施の形態と同様の効果が得られる。

以上のように、本発明は、動き補償を用いる符号化方式により符号化された画像の符号列を復号する際に有用であり、画像のボケを最小限に抑えながら、確実にかつ誤検出することなく、ブロック歪みを除去する場合に適している。

本発明の実施の形態１を説明するためのブロック図本発明の実施の形態１におけるブロック歪み検出器を説明するためのブロック図ブロック歪みを説明するための模式図本発明の実施の形態１における画素検査器の検出動作を説明するためのフローチャートを示す図本発明の実施の形態１における動きベクトル検査器の検出動作を説明するためのフローチャートを示す図本発明の実施の形態１におけるブロック歪みを除去する動作を説明するための模式図低域通過フィルタの特性を示すフィルタ特性図本発明の実施の形態１におけるブロック歪み除去器を構成する３タップおよび５タップの低域通過フィルタの構成例を示す図本発明の実施の形態２におけるブロック歪み除去器の構成例を示すブロック図本発明の実施の形態２におけるブロック歪みを除去する動作を説明するための模式図本発明の実施の形態３を説明するためのブロック図本発明の実施の形態３におけるブロック歪み検出器の構成例示すブロック図

符号の説明

１０２可変長復号化器
１０３逆量子化器
１０４逆ＤＣＴ器
１０５加算器
１０６動き補償器
１０７画像メモリ
１０８ブロック歪み除去器
１０９ブロック歪み検出器
２０１画素値検査器
２０２動きベクトル検査器
２０３ブロック歪み判定器
５０１フィルタ器
５０２重み付け平均演算器
７０９ブロック歪み判定器
７１０解像度判定器
８０１画素値検査器
８０２動きベクトル検査器
１０８１遅延器
１０８２遅延器
１０８３遅延器
１０８４遅延器
１０８５乗算器
１０８６乗算器
１０８７乗算器
１０８８乗算器
１０８９乗算器
１０９０スイッチ
１０９１スイッチ
１０９２スイッチ
１１０１加算器
１１０２加算器

Claims

画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去方法であって、
ブロック境界におけるブロック歪みの強度を判定する第１の判定ステップと、
前記第１の判定ステップにおける第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定ステップと、
前記第２の判定ステップにおける第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去ステップとを含み、
前記第１の判定ステップにおいて、
前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、
前記第２の判定ステップにおいて、
前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、
ことを特徴とするブロック歪み除去方法。
画像を複数の画素からなるブロックに分割して符号化して生成された符号列を復号化して得られる復号化画像に含まれるブロック歪みを除去するブロック歪み除去装置であって、
ブロック境界におけるブロック歪みの強度を判定する第１の判定手段と、
前記第１の判定手段における第１の判定結果を用いてブロック歪み除去の要否を判定する第２の判定手段と、
前記第２の判定手段における第２の判定結果がブロック歪み除去が必要であることを示すとき、前記第１の判定結果を用いて選択されたフィルタを用いてブロック歪みの除去を行うブロック歪み除去手段とを備え、
前記第１の判定手段は、
前記ブロック境界に隣接するブロックに対応する動きベクトルの情報を用いてブロック歪みの強度を判定し、
前記第２の判定手段は、
前記ブロック境界の付近に位置し、且つ同じブロック内に属する複数の画素に対応する各画素値の差分の絶対値がしきい値よりも大きい場合に、ブロック歪み除去を不要と判定する、
ことを特徴とするブロック歪み除去装置。