JP3540855B2

JP3540855B2 - ブロック歪み補正器

Info

Publication number: JP3540855B2
Application number: JP4887195A
Authority: JP
Inventors: 安樹川阪
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-03-08
Filing date: 1995-03-08
Publication date: 2004-07-07
Anticipated expiration: 2019-07-07
Also published as: JPH08251422A; US5949917A

Description

【０００１】
【産業上の利用分野】
この発明は、ブロック歪み補正器及び画像信号伸張装置に関し、特に、画像情報をディジタルデータとして記憶又は伝送できるよう所定の画像ブロック毎に高圧縮符号化された圧縮画像データに対して、該画像ブロック毎に伸張処理を施す画像信号伸張装置における、該画像ブロック間での歪みを補正するブロック歪み補正処理に関する。
【０００２】
【従来の技術】
従来、ディジタルの画像データを伝送したり記憶したりする場合、そのデータ量は膨大なものであることから、そのディジタル画像データを圧縮する方法として、２次元直交変換式を利用した画像データ符号化方法などの種々の方法が考えられてきた。その中でも、国際標準方式であるＨ．２６１（テレビ電話／テレビ会議向け動画圧縮）においても採用されているＤＣＴ（離散コサイン変換）を利用した符号化方式がよく知られている。
【０００３】
このような符号化方式を用いたデータ伝送においては、画像データの送信側では、複数の画素をマトリクス状に配列してなる１表示画面に対応する入力画像データを、８×８画素の画像ブロックを単位として分割し、該入力画像データに対して各画像ブロック毎に、ＤＣＴによるデータ変換処理、量子化処理、及び可変長符号化処理を施して送信する。また圧縮画像データの受信側では、上記分割された各画像ブロック毎に該圧縮画像データに対して伸張処理を施す。つまり各画像ブロック毎に上記符号化データの復号化、逆量子化、逆ＤＣＴを順次行って、復元画像データを作成する。
【０００４】
上記のような符号化を行う場合、高能率化するために量子化ステップ幅を大きくして圧縮率を上げると、逆変換して画素を再生するときにＤＣＴ出力を線形和することから再生画像の劣化を起こすこととなる。また、これらの伸張処理は画像ブロック毎に行っているため、各画像ブロック間で復元された画像データの歪みが発生し、復元画像データが著しく劣化するという問題があった。
【０００５】
そこでそのようなブロック歪みを少なくするために、復元画像データをローパスフィルタにより処理して、画像ブロックの境界部分にエッジが現れるのを緩和する方法が考えられる。
【０００６】
このような方法については、特開平５−１４７３５号公報に具体的な構成が開示されており、図７は、この公報開示の画像処理装置における画像伸張部を説明するためのブロック図である。
【０００７】
２０はこの画像処理装置における画像伸張部で、画像ブロック毎に圧縮処理されて送られてくる画像データに対して、各画像ブロック毎に伸張処理を施すよう構成されており、送信側からの圧縮画像データである符号化データを画像ブロック毎に復号化する復号化器２１と、該復号化された、各画像ブロックのデータに逆量子化処理を施す逆量子化器２２と、その出力に逆ＤＣＴ処理を施す逆ＤＣＴ器２４とを有している。
【０００８】
また、上記画像伸張部２０には、復元された画像ブロックの画像データＤ６をブロック歪み補正に必要な分貯めてから出力する画像バッファ２４が設けられ、該画像バッファの出力にはブロック歪み補正器としてのローパスフィルタ２５が接続されており、上記画像データＤ６は該ローパスフィルタ２５にてブロック歪み補正処理を施されて出力されるようになっている。
【０００９】
次に動作について説明する。
【００１０】
まず、符号化データＤ１は復号化器２１により各画像ブロック毎に復号化され、該復号化データＤ２として逆量子化器２２に出力される。この逆量子化器２２では該復号化データＤ２に対して逆量子化処理が施され、これにより得られた逆量子化データＤ３が逆ＤＣＴ器２３に出力される。該逆ＤＣＴ器２３では、逆量子化データＤ３と、画像バッファ２４からのマッチングデータＤ５とを使用して、該逆量子化データＤ３の逆ＤＣＴ処理が行われ、復元された画像ブロックデータＤ４が画像バッファ２４に出力される。該画像バッファ２４では、復元画像ブロックデータＤ４がブロック歪み補正に必要な分蓄えられ、ローパスフィルタ（ブロック歪み補正器）２５にブロック歪み補正用データＤ６が渡される。該ローパスフィルタ２５ではそのデータＤ６を使用して、復元された画像データのブロック歪み補正処理が行われ、ブロック歪み補正された補正済復元データＤ７が出力される。
【００１１】
ところが、上記ローパスフィルタ２５を用いてブロック歪み補正を行う方法では、伸張処理が施された画像ブロック境界部分に生じていた画素データの不連続性が、ブロック歪みによるものか、あるいは、ブロック境界付近で輝度が大きく変化している場合等の原画像の特性であるのかを判断できないという原理的な問題があった。例えば、１表示画面分の復元画像データに対してローパスフィルタ２５により一様なブロック歪み補正処理を施すと、上記１表示画面内の画像の一部についてはフィルタの作用が弱くブロック歪みが十分除去されず、一方上記画像の他の部分については、フィルタの作用が強すぎて、ブロック境界付近で画像がぼけるという問題が生ずる。このような問題は、復元画像の画質を改善する上での大きな障害となっていた。
【００１２】
また、従来の画像信号伸張装置には、上記のような一様なブロック歪み補正処理ではなく、ブロック歪み補正を行うか否かを判断しながらブロック歪み補正処理を行うものがあり、そのブロック歪み補正方法について、図８及び図９を参照して説明する。
【００１３】
図８はブロック歪み補正処理の対象となっている画像ブロックにおけるブロック境界画素を示し、図９は該画像ブロック周辺での他の画像ブロックの配置を示している。
【００１４】
この方法は、画像ブロックＡの周縁に位置する２８個の画素（※印を付したもの）ａ１に対して、画像ブロックＡに隣接する画像ブロックの画素データに基づいてブロック歪み補正を行うかどうかの判断をしながら、上記画素ａ１についてのブロック歪み補正処理を行うというものである。
【００１５】
【発明が解決しようとする課題】
ところが、画像ブロック境界部分に生じていた画素データの不連続性が、ブロック歪みによるものか、あるいは、ブロック境界付近で輝度が大きく変化している場合等の原画像の特性によるものであるのかという判断は、画像データの送信側では、原画像の画像データを用いることにより実現可能であるが、画像データの受信側では、上記画素データの不連続性が、ブロック歪みによるものかあるいは原画像の特性によるものかの判断は、原画像の情報がないことから容易ではない。
【００１６】
このため、隣接画素ブロック間での画像データの値が一定値以上である場合にのみ、ブロック歪み補正を行うようにすると、上記と同様、原画像の特性によりブロック境界付近で輝度が大きく変化している場合には、ブロック歪み補正処理により復元画像の画質が大きく劣化してしまうという問題がある。
【００１７】
また、図８に示すようなブロック歪み補正処理を実現するためには、現在ブロック歪み補正処理を行おうとしている画像ブロックＡに対して、その周辺の画像ブロックＢ、画像ブロックＤ、画像ブロックＦ、画像ブロックＨが既に再生画像として存在する必要があった（図９参照）。
【００１８】
つまり、送信側から各画像ブロック毎に順次伝送されてくる圧縮された画像信号は、例えば図１０に示すように１表示画面上では、各行の左側端から右側端へ、かつ上端の行から下端の行へと各ブロック単位で並べられる。なお、各画像ブロックに対応する画像信号の伝送の順番は、図１０に示すものの他に、画像信号が１表示画面上で、各列の上側端から下側端へ、かつ左端の列から右端の列へと並べられるもの、さらにこれらの配列順序において、その左右方向の配列順序が異なるもの、あるいは上下方向の配列順序が異なるものなど、様々なものがある。
【００１９】
このため、例えば、図１０に示す１５番目の画像ブロックのブロック歪み補正を行おうとすれば、２６番目の画像ブロックの圧縮画像信号が伸張処理により再生されるまで、上記ブロック歪み補正処理を待たなければならない。
【００２０】
即ち、１５番目の画像ブロックのブロック歪み補正は、該１５番目の画像ブロックに対する再生信号が得られた後、１１個の画像ブロックの画像再生処理に要する時間待ってから、初めて行われることとなる。
【００２１】
このため、特にデータ通信において動画情報などを扱う場合には、上記のようなブロック歪み補正を行うまでの待ち時間が大きな問題となる。
【００２２】
本発明はこのような従来の問題点を解決するためになされたもので、画像データの受信側にて、ブロック歪み補正を行うまでの無駄な待ち時間をなくして、効率の良いブロック歪み補正を行うことができるブロック歪み補正器及び画像信号伸張装置を得ることが本発明の目的である。
【００２３】
【課題を解決するための手段】
この発明に係るブロック歪み補正器は、所定数の画素に対応する画素ブロック毎に情報圧縮されて伝送されてくる画像データを伸張処理により復元した復元画像データに対して、隣接画像ブロック間での復元画像データの歪を補正するブロック歪補正処理を施すブロック歪み補正器であって、隣接する画像ブロックとの境界に於いて不連続に位置する被処理画素の復元画像データと、該被処理画素の画像ブロックとは異なる画像ブロック内の、該被処理画素の隣接部に位置する３個の画素の画素データから演算して得られた比較画素値との信号レベル差を基準値と比較して、該隣接する画像ブロック境界に該復元画像データの歪みによるエッジが存在するか否かを検出するエッジ検出手段を有し、該信号レベル差が該基準値未満である時のみ、該隣接する画像ブロックの境界に於いて不連続に位置する被処理画素の復元画像データに対して、該ブロック歪み補正処理を施し、隣接する画素ブロックとの境界に位置する他の被処理画素の復元画素データは、その被処理画素の復元画素データと、その被処理画素の近傍に位置するブロック歪み補正処理された復元画素データとに基づいて補正されるよう構成されている。そのことにより上記目的が達成される。
【００２４】
前記比較画素値が、３個の画素の画素データの重み付け加算演算によって得られる。
【００２５】
前記ブロック歪み補正処理は、前記不連続に位置する被処理画素の復元画像データを、前記比較画素値と前記不連続に位置する被処理画素の復元画像データとの平均値に置き換える処理である。
【００２６】
前記ブロック歪み補正処理は、隣接する画像ブロックとの境界において不連続に位置する被処理画素に対して実施され、隣接する画素ブロックとの境界に位置する他の被処理画素の復元画素データは、その被処理画素の復元画素データと、その被処理画素の近傍に位置するブロック歪み補正処理された復元画素データとに基づいて補正される。
【００２７】
【作用】
この発明においては、隣接する画像ブロックの境界に位置する被処理画素の画像データと、該被処理画素の画像ブロックとは異なる画像ブロック内の、該被処理画素の近傍に位置する画素の画像データとの信号レベル差を基準値と比較して、該隣接する画像ブロック境界に該画像データの歪みによるエッジが存在するか否かを検出するエッジ検出手段を備え、該信号レベル差が該基準値未満である時のみ、該隣接する画像ブロックの境界に位置する被処理画素の画像データに対して、該ブロック歪み補正処理を施すようにしたから、画像ブロック境界部分に生じていた画素データの不連続性が一定の基準より大きい場合には、その不連続性がブロック歪みによるものか、あるいは原画像の特性によるものかに拘らず、画像データのブロック歪み補正は行われず、画素データの不連続性が一定の基準より小さい場合にのみ画像データのブロック歪み補正が行われる。
【００２８】
これにより、上記基準値を、ブロック歪みとして現れる隣接画像ブロック間での画像データの信号レベル差を考慮して設定することにより、大部分のブロック歪みによるエッジを検出することが可能である。また、原画像の特性によりブロック境界付近で輝度が大きく変化している場合に匹敵する程度の、上記基準値以上のブロック歪みによる画像データの信号レベル差は、その発生頻度が上記基準値以下のブロック歪みによる画像データの信号レベル差に比べて小さいものであるので、簡単な回路構成により、ブロック歪み補正処理による復元画像の画質の劣化を抑えつつ、つまり画像全体がぼけるのを抑えつつ、ブロック歪み補正を行うことができる。
【００２９】
また、この発明においては、復元画像データのブロック歪補正処理が行われようとしている未補正画像ブロックに隣接する、該未補正画像ブロックの復元以前に復元されている隣接画像ブロックの復元画像データであって、該未処理画像ブロックに隣接する画素の復元画像データを用いて、該未補正画像ブロックにおける、該隣接画像ブロックとの境界に位置する画素の復元画素データに対して、ブロック歪補正処理のための演算処理を施すようにしたので、未補正画像ブロックに対するブロック歪み補正処理を、他の画像ブロックの画像データが復元されるのを待つことなく、この未補正の画像ブロックの画像データの復元後直ちに行うことができる。これにより画像データの受信側にて、画像データの再生のための信号処理に要する時間を大幅に短縮でき、信号処理を高速化できる。
【００３０】
【実施例】
まず、本発明の基本原理について図２及び図５を用いて説明する。
【００３１】
図５は画像データが図１０に示す順序で画像ブロック毎に復元（以下、再生ともいう。）される際の再生画像ブロック（８×８画素）の配置を示している。図において、Ａは、ブロック歪み補正処理が施されようとしている再生画像ブロック、Ｂは、該再生画像ブロックＡの上側辺に接する再生画像ブロック、Ｄは、該再生画像ブロックＡの左側辺に接する再生画像ブロック、Ｃは、該再生画像ブロックＡの左上の角に接する再生画像ブロックであり、上記再生画像ブロックＢ〜Ｄは、画像ブロックＡの画像データが再生された時点ですでにその画像データの再生が完了しているものである。
【００３２】
図２は本発明のブロック歪み補正のための回路構成の主要部を示す図であり、２７は復元画像データ（以下、再生画像データともいう。）を格納するバッファ部、２８は該バッファ部２７に格納された画像データに基づいて、再生画像ブロックの所定領域の画像データに対してブロック歪み補正処理を施す演算回路部である。
【００３３】
本発明では、再生画像ブロックＡのブロック歪み補正は、再生画像ブロックＡの領域ｅの画素データとともに、該再生画像ブロックＡの周辺のすでに再生されている再生画像ブロックＢの領域ｆ、再生画像ブロックＣの領域ｇ、及び再生画像ブロックＤの領域ｈの画素データをバッファ部２７に格納し、これらの領域ｅ〜ｈの画素に対して、エッジ判定をしながら行われる。
【００３４】
従って、本発明では、ブロック歪み補正を行うための基本的な回路構成は、上記各再生画像ブロックの領域ｅ〜ｈの画像データを格納するバッファ部２７と、該バッファ部２７に格納された画像データに基づいてブロック歪み補正のための演算を行う演算回路部２８とから構成される非常に簡単なものとなる。
【００３５】
以下、本発明の実施例について説明する。
【００３６】
図１は本発明の一実施例による画像信号伸張装置の概略構成を示すブロック図である。図において、１００は本実施例のｈ．２６１準拠の画像信号伸張装置であり、図７と同一符号は従来の画像信号伸張装置と同一のものを示している。該画像信号伸張装置１００は、ブロック歪み補正を行うための補正用データＤ９を格納するバッファ回路１３０と、逆ＤＣＴ器２３から出力される各画像ブロックに対応する復元画像データＤ４を受け、上記バッファ回路１３０に格納された補正用データＤ８に基づいて、該画像ブロックの所定領域の画素データに対して、エッジ検出を行いつつブロック歪み補正処理を施すブロック歪み補正器１２０とを有している。
【００３７】
図４は上記ブロック歪み補正器１２０内に設けられたバッファ部２７及び演算回路部２８の具体的な構成を示している。
【００３８】
すなわち、上記バッファ回路１３０は、例えば図９で言えば、再生画像ブロックＣ，Ｂ，Ｉの属する横一列の画像ブロックの画像データを格納するものである。また、上記バッファ部２７は、図５に示す再生画像ブロックＡの領域ｅの画素データを格納する第１のバッファ２７ｅと、再生画像ブロックＢの領域ｆの画素データを格納する第２のバッファ２７ｆと、再生画像ブロックＤの領域ｈの画素データ及び再生画像ブロックＣの領域ｇの画素データを格納する第３のバッファ２７ｈと、再生画像ブロックＡの領域ｅ以外の領域の画素データを格納する第４のバッファ２７ａとを有している。
【００３９】
また該バッファ部２７の入力側には、上記逆ＤＣＴ器２３からの画像データＤ４と、バッファ回路１３０からの補正用データＤ８と、演算回路部２８からの補正用画像データＤ１１とを、上記各バッファ２７ａ，２７ｅ，２７ｆ，２７ｈに切り換えて供給する第１のセレクタ２７ｂが設けられており、該バッファ部２７の出力側には、上記各バッファ２７ａ，２７ｅ，２７ｆ，２７ｈに格納されている画像データを切り換えて、補正復元画像ブロックデータＤ１２として画像バッファ２４に、また補正用データＤ９としてバッファ回路１３０に出力する第２のセレクタ２７ｃが設けられている。
【００４０】
ここで、Ｘ_ij（−１≦ｉ，ｊ≦７の整数）は、上記各バッファにおける画像データの格納領域である。なお、以下説明の都合上、該各格納領域Ｘ_ij（−１≦ｉ，ｊ≦７の整数）に格納される画素データをｘ_ij（−１≦ｉ，ｊ≦７の整数）で表す。
【００４１】
上記演算回路部２８は、該バッファ２７ｅ，２７ｆ，２７ｈからの画像データを選択する第３のセレクタ２８ｂと、該バッファ２７ｅ，２７ｆ，２７ｈからの画像データを加算する第１の加算器２８ａと、上記第３のセレクタ２８ｂの出力と第１の加算器２８ａの出力とを比較する比較器２８ｃと、該比較器２８ｃを介して第１の加算器２８ａの出力及びセレクタ２８ｂの出力を受け、所定の画像データの加算演算を行う第２の加算器２８ｄとを有している。
【００４２】
次に動作について説明する。
【００４３】
まず、符号化データＤ１が外部から復号化器２１に入力されると、該復号化器２１ではその復号化が行われ、復号化データＤ２が該逆量子化器２２に供給される。該逆量子化器２２では該復号化データＤ２の逆量子化が行われ、逆量子化データＤ３が逆ＤＣＴ器２３に供給される。この逆ＤＣＴ器２３では、逆量子化データＤ３の逆ＤＣＴ処理が、画像バッファ２４からの所定の画像データＤ５に基づいて行われ、対応する復元画像ブロックの画像データ（復元画像ブロックデータ）Ｄ４が作成される。
【００４４】
そして、ブロック歪み補正器１２０には、上記逆ＤＣＴ器２３から復元画像ブロックデータＤ４が供給され、バッファ回路１３０から該復元画像ブロック周辺の補正用データ（ブロック周辺データ）Ｄ８が供給される。
【００４５】
ここで、上記画像データＤ４は、図５に示す太い点線で囲まれた画像ブロックＡの画素データ、ブロック周辺データＤ８は図５に示す画像ブロックＢの領域ｆの画素データである。
【００４６】
次に上記バッファ部２７でのデータ格納処理について説明する。
【００４７】
図３は、上記バッファ部２７におけるメモリマップを示しており、上述したように、上記第１のバッファ２７ｅは、格納領域Ｘ_0j（０≦ｊ≦７の整数）及び格納領域Ｘ_i0（１≦ｉ≦７の整数）を有し、上記第２のバッファ２７ｆは、格納領域Ｘ_-1j（０≦ｊ≦７の整数）、上記第３のバッファ２７ｈは格納領域Ｘ_i-1（−１≦ｉ≦７の整数）を有している。また、第４のバッファ２７ａは、格納領域Ｘ_ij（１≦ｉ，ｊ≦７の整数）を有している。
【００４８】
上記ブロック周辺データＤ８は、該バッファ２７ｆの格納領域Ｘ_-1j（０≦ｊ≦７の整数）に、復元画像ブロックデータＤ４は、バッファ２７ｅの格納領域Ｘ_0j（０≦ｊ≦６の整数）及び格納領域Ｘ_i0（１≦ｉ≦７の整数）、並びにバッファ２７ａの格納領域Ｘ_ij（１≦ｉ≦７，１≦ｊ≦６の整数）に格納される。さらにバッファ２７ｈの格納領域Ｘ_i-1（−１≦ｉ≦７の整数）には、格納領域Ｘ_i7（−１≦ｉ≦７の整数）に格納された、前回の復元画像ブロックデータｘ_i7（−１≦ｉ≦７の整数）がコピーされる。
【００４９】
上記ブロック歪み補正処理では、上記バッファ部２７と演算回路部２８との間でデータの受渡しが行われるが、この際のデータの流れを、補正処理を施す画素データが格納領域Ｘ_2-1、Ｘ₂₀のものｘ_2-1、ｘ₂₀である場合を例に挙げて説明する。なお、上記格納領域Ｘ_ij（−１≦ｉ，ｊ≦７の整数）に格納されている画像データｘ_ij（−１≦ｉ，ｊ≦７の整数）は、各画像ブロックにおける個々の画素に対応するものであり、以下、説明の都合上、格納領域Ｘ_ij（−１≦ｉ，ｊ≦７の整数）を画素ともいう。
【００５０】
まず、バッファ部２７は演算回路部２８に画素データＤ１０を渡す。この画素データＤ１０は、補正処理の対象となっている画素Ｘ_2-1、Ｘ₂₀の画像データｘ_2-1、ｘ₂₀と、その上下近傍の画素Ｘ_1-1、Ｘ_2-1、Ｘ_3-1、Ｘ₁₀、Ｘ₂₀、Ｘ₃₀の画素データｘ_1-1、ｘ_2-1、ｘ_3-1、ｘ₁₀、ｘ₂₀、ｘ₃₀である。また、画素Ｘ_-1j、Ｘ_0j（０≦ｉ≦７の整数）の画像データ間でのブロック歪み補正を行う場合は、補正対象となっている画素Ｘ_-1j、Ｘ_0j（０≦ｊ≦７の整数）の左右近傍の画素について、補正処理のための画素データの組を作る。
【００５１】
上記演算回路部２８では、以下のアルゴリズムでエッジの有無を判定し、この判定結果に応じてブロック歪み補正を行う。
【００５２】
上記演算回路部２８の第１の加算器２８ａは、上記バッファ部２７の第１，第２，第３のバッファ２７ｅ，２７ｆ，２７ｈから供給される画像データＤ１０に基づいて、下記の（１）式及び（２）式に示す演算を行う。これによりエッジ判定用画素値が作成される。
【００５３】
ｘ₂₀’＝（ｘ_1-1＋ｘ_2-1＋ｘ_3-1）／３・・・（１）
ｘ_2-1’＝（ｘ₁₀＋ｘ₂₀＋ｘ₃₀）／３・・・（２）
ここで、ｘ₂₀’は、画素データｘ₂₀と比較される比較用画素値、ｘ_2-1’は、画素データｘ_2-1と比較される比較用画素値である。
【００５４】
次に、上記演算回路ブロック２８の比較器２８ｃでは、比較用画素値ｘ₂₀’と画素データｘ₂₀との信号レベル差をしきい値（基準値）αと比較し、比較用画素値ｘ_2-1’と画素データｘ_2-1との信号レベル差を、しきい値（基準値）αと比較して、各画素データｘ₂₀，ｘ_2-1についてエッジ判定を行う。
【００５５】
すなわち、｜ｘ₂₀’−ｘ₂₀｜＜しきい値αの関係が成立すれば、エッジが存在すると判定し、上記比較用画素値ｘ₂₀’及び画素データｘ₂₀を第２の加算器２８ｄに送る。このとき、上記第２の加算器２８ｄでは、比較器２８ｃからの比較用画素値ｘ₂₀’及び画素データｘ₂₀に対して、下記（３）式に示す演算を行って、画素データｘ₂₀に対する歪み補正用画素データｘ₂₀”を作成し、上記バッファ部２７の格納領域Ｘ₂₀に送り返す。
【００５６】
Ｘ₂₀”＝（Ｘ₂₀＋Ｘ₂₀’）／２・・・（３）
一方、この関係が不成立であれば、エッジが存在しないと判定し、歪み補正用画素データｘ₂₀”をｘ₂₀”＝ｘ₂₀とし、上記バッファ部２７の格納領域Ｘ₂₀に送り返す。つまり、画素データｘ₂₀の歪み補正は行わなれない。
【００５７】
同様に｜ｘ_2-1’−ｘ_2-1｜＜しきい値αの関係が成立すれば、エッジが存在すると判定し、比較用画素値ｘ_2-1’と画素データｘ_2-1を上記第２の加算器２８ｄに送る。このとき、上記第２の加算器２８ｄでは、比較器２８ｃからの比較用画素値ｘ_2-1’及び画像データｘ_2-1に対して、下記（４）式に示す演算を行って、画素データｘ_2-1に対する歪み補正用画像データｘ_2-1”を作成し、これを上記バッファ部２７の格納領域Ｘ_2-1に送り返す。
【００５８】
Ｘ_2-1”＝（Ｘ_2-1＋Ｘ_2-1’）／２・・・（４）
一方、この関係が不成立であれば、エッジが存在しないと判定し、歪み補正用画像データｘ_2-1”をｘ_2-1”＝ｘ_2-1とし、上記バッファ部２７の格納領域Ｘ_2-1に送り返す。つまり画素データｘ_2-1の歪み補正は行わなれない。
【００５９】
以上のアルゴリズムによりエッジ判定を行った後、補正画素データＤ１１として、上記歪み補正用画像データｘ₂₀”、ｘ_2-1”をバッファ２７に返す一連の処理を、画素データｘ_-10、ｘ_-12、ｘ_-14、ｘ_-16、ｘ₀₀、ｘ₀₂、ｘ₀₄、ｘ₀₆、ｘ₂₀、ｘ₄₀、ｘ₆₀、ｘ_0-1、ｘ_2-1、ｘ_4-1、ｘ_6-1に対して行うと、図６に示すように、図５の領域ｅ，領域ｆ，領域ｈにおける、※印で示す画素Ｘ_-1j及びＸ_0j（ｊ＝０，２，４，６）、並びにＸ_i0（ｉ＝２，４，６）及びＸ_i-1（ｉ＝０，２，４，６）に対してブロック歪み補正処理が行われたことになる。
【００６０】
次に図６において△印で示す画素についてのブロック歪み補正を行う。△印の画素Ｘ_-1j、Ｘ_0j（ｊ＝１，３，５）に対しては、その左右近傍の※印の画像を、また、△印の画素Ｘ_i-1、Ｘ_i0（ｉ＝１，３，５）に対しては、その上下近傍の※印の画像を使用し、さらに△印の画素Ｘ_-1-1に対してはその近傍の※印の画素を使用して以下のアルゴリズムにてブロック歪み補正を行う。
【００６１】
以下、補正を行う画素がＸ_3-1、Ｘ₃₀である場合について説明する。なお、以下の説明で、ｘ”_3-1、ｘ”₃₀は、画素データｘ_3-1、ｘ₃₀に対応する歪み補正用画素データである。
【００６２】
上記比較器２８ｃでは、第１のバッファ２７ｅ及び第３のバッファ２７ｈからセレクタ２８ｂを介して送られてくる画像データの比較により画素データｘ_3-1、ｘ₃₀についてエッジ判定を行う。
【００６３】
すなわち、｜ｘ₂₀−ｘ₄₀｜＜しきい値αの関係が成立すれば、エッジが存在すると判定し、上記画素データｘ₂₀，ｘ₃₀，ｘ₄₀を第２の加算器２８ｄに送る。このとき、上記第２の加算器２８ｄでは、比較器２８ｃからの画素データｘ₂₀，ｘ₃₀，ｘ₄₀に対して、下記（５）式に示す演算を行って、画素データｘ₃₀に対する歪み補正用画素データｘ₃₀”を作成し、上記バッファ部２７の格納領域Ｘ₃₀に送り返す。
【００６４】
ｘ₃₀”＝（ｘ₂₀＋ｘ₃₀＋ｘ₄₀）／３・・・（５）
一方、この関係が不成立であれば、エッジが存在しないと判定し、歪み補正用画素データｘ₃₀”をｘ₃₀”＝ｘ₃₀とし、上記バッファ部２７の格納領域Ｘ₃₀に送り返す。つまり画素データｘ₃₀の歪み補正は行わなれない。
【００６５】
同様に｜ｘ_2-1−ｘ_4-1｜＜しきい値αの関係が成立すれば、エッジが存在すると判定し、画素データｘ_2-1，ｘ_3-1，ｘ_4-1を上記第２の加算器２８ｄに送る。このとき、上記第２の加算器２８ｄでは、比較器２８ｃからの画像データＸ_2-1，Ｘ_3-1，Ｘ_4-1に対して、下記（６）式に示す演算を行って、画素データＸ_3-1に対する歪み補正用画像データＸ_3-1”を作成し、これを上記バッファ部２７の格納領域Ｘ_3-1に送り返す。
【００６６】
ｘ_3-1”＝（ｘ_2-1＋ｘ_3-1＋ｘ_4-1）／３・・・（６）
一方、この関係が不成立であれば、エッジが存在しないと判定し、歪み補正用画像データｘ_3-1”をｘ_3-1”＝ｘ_3-1とし、上記バッファ部２７の格納領域Ｘ_3-1に送り返す。つまり画素データｘ_3-1の歪み補正は行わなれない。
【００６７】
最後に、補正を行う画素がＸ_-1-1である場合について説明する。以下の説明で、ｘ”_-1-1は、画素データｘ_-1-1に対応する歪み補正用画素データである。
【００６８】
上記比較器２８ｃでは、第１のバッファ２７ｅ，第２のバッファ２７ｆ及び第３のバッファ２７ｈからの画像データの比較により画素データｘ_-1-1についてエッジ判定を行う。
【００６９】
すなわち、｜ｘ_0-1−ｘ_-10｜＜しきい値αの関係が成立すれば、エッジが存在すると判定し、上記画素データｘ_0-1，ｘ_-1-1，ｘ_-10を第２の加算器２８ｄに送る。このとき、上記第２の加算器２８ｄでは、比較器２８ｃからの画素データｘ_0-1，ｘ_-1-1，ｘ_-10に対して、下記（７）式に示す演算を行って、画素データｘ_-1-1に対する歪み補正用画素データｘ_-1-1”を作成し、上記バッファ部２７の格納領域Ｘ_-1-1に送り返す。
【００７０】
ｘ_-1-1”＝（ｘ_0-1＋ｘ_-1-1＋ｘ_-10）／３・・・（７）
一方、この関係が不成立であれば、エッジが存在しないと判定し、歪み補正用画素データｘ_-1-1”をｘ_-1-1”＝ｘ_-1-1とし、上記バッファ部２７の格納領域Ｘ_-1-1に送り返す。つまり画素データｘ_-1-1の歪み補正は行わなれない。
【００７１】
上記のような歪み補正処理が図５に示す領域ｅ，領域ｆ，領域ｈの画像データに対して行われると、バッファ部２７の画素データｘ_ij（−１≦ｉ，ｊ≦６の整数）が補正復元画像ブロックデータＤ１２として画像バッファ２４に出力される。この時、画像データｘ_i7（−１≦ｉ≦７の整数）は、それぞれ画素Ｘ_i-1（−１≦ｉ≦７の整数）にコピーされ、画像データｘ_7j（０≦ｊ≦６の整数）に関しては補正用データＤ９としてバッファ回路１３０に供給される。
【００７２】
これらの処理を全ての復元画像ブロックの画像データＤ４に対して行い、各補正復元画像ブロックデータＤ１２を作成し、画像バッファ２４に供給すると、該画像バッファ２４にて１枚の復元画像が完成される。この完成された歪み補正復元画像データＤ７は、外部の表示用器などにて画像表示される。
【００７３】
このように本実施例では、隣接する画像ブロックの境界に位置する被処理画素の画像データと、該被処理画素の画像ブロックとは異なる画像ブロック内の、該被処理画素の近傍に位置する画素の画像データとの信号レベル差を基準値αと比較して、該隣接する画像ブロック境界に該画像データの歪みによるエッジが存在するか否かを検出し、該信号レベル差が該基準値未満である時のみ、該隣接する画像ブロックの境界に位置する被処理画素の画像データに対して、該ブロック歪み補正処理を施すようにしたので、画像ブロック境界部分に生じていた画素データの不連続性が一定の基準より大きい場合には、その不連続性がブロック歪みによるものか、あるいは原画像の特性によるものかに拘らず、画像データのブロック歪み補正は行われず、画素データの不連続性が一定の基準より小さい場合にのみ画像データのブロック歪み補正が行われる。
【００７４】
これにより、上記基準値αを、ブロック歪みとして現れる隣接画像ブロック間での画像データの信号レベル差を考慮して設定することにより、大部分のブロック歪みによるエッジを検出することが可能である。また、原画像の特性によりブロック境界付近で輝度が大きく変化している場合に匹敵する程度の、上記基準値以上のブロック歪みによる画像データの信号レベル差は、その発生頻度が上記基準値以下のブロック歪みによる画像データの信号レベル差に比べて小さいものであるので、簡単な回路構成により、ブロック歪み補正処理による復元画像の画質の劣化を抑えつつ、つまり画像全体がぼけるのを抑えつつ、ブロック歪み補正を行うことができ、鮮明な画像を再現することができる。
【００７５】
また、復元画像データのブロック歪補正処理が行われようとしている未補正画像ブロックに隣接する、該未補正画像ブロックの復元以前に復元されている隣接画像ブロックの復元画像データであって、該未処理画像ブロックに隣接する画素の復元画像データを用いて、該未補正画像ブロックにおける、該隣接画像ブロックとの境界に位置する画素の復元画素データに対してブロック歪補正処理のための演算処理を施すようにしたので、例えば、図５の再生ブロックＡの画像データに対して、再生画像ブロックＢ〜Ｄの画像データが復元されるまでの間待つことなく、画像データが再生された画像ブロックに対して順次ブロック歪み補正処理を施すことができる。これにより、画像ブロック毎に信号圧縮されて伝送されてくる画像データの受信側では、画像データの再生のための信号処理に要する時間を大幅に短縮でき、信号処理の高速化を図ることができる。
【００７６】
なお、上記実施例では、ブロック歪み補正器１２０の演算回路部２８は、式（１）、（２）、（５）、（６）、（７）を用いて歪み補正のための演算を行うように構成されているが、一般的な歪み補正のための演算式は、下記の（８）式で示されるように、画像データの加算が、加算されるそれぞれの画像データｘ₁，ｘ₂，ｘ₃に対して係数ａ、ｂ、ｃ（ａ、ｂ、ｃ＞０）により重み付けして行われるようになっており、上記ブロック歪み補正器は、下記（８）式により加算演算が行われるように構成してもよい。しかもこの際、上記各係数ａ，ｂ，ｃの値を、ブロック歪み補正器の外部から制御可能な構成とすることが望ましい。
【００７７】
ｘ’＝（ａ×ｘ₁＋ｂ×ｘ₂＋ｃ×ｘ₃）／（ａ＋ｂ＋ｃ）・・・（８）
また、バッファ部２７は、画像データ格納領域の容量を、図５の領域ｅ、ｆ、ｇ、ｈの画像データだけを格納するだけの最小のメモリ容量としたものであってもよい。
【００７８】
【発明の効果】
以上のように本発明によれば、隣接する画像ブロックの境界に位置する被処理画素の画像データと、該被処理画素の画像ブロックとは異なる画像ブロック内の、該被処理画素の近傍に位置する画素の画像データとの信号レベル差を基準値と比較して、該隣接する画像ブロック境界に該画像データの歪みによるエッジが存在するか否かを検出するエッジ検出手段を備え、該信号レベル差が該基準値未満である時のみ、該隣接する画像ブロックの境界に位置する被処理画素の画像データに対して、該ブロック歪み補正処理を施すようにしたので、上記基準値を、ブロック歪みとして現れる隣接画像ブロック間での画像データの信号レベル差を考慮して設定することにより、大部分のブロック歪みによるエッジを検出することが可能である。
【００７９】
また、原画像の特性によりブロック境界付近で輝度が大きく変化している場合に匹敵する程度の、上記基準値以上のブロック歪みによる画像データの信号レベル差は、その発生頻度が上記基準値以下のブロック歪みによる画像データの信号レベル差に比べて小さいものであるので、簡単な回路構成により、画像全体にぼけを起こすことなくブロック歪みを補正することができる効果がある。
【００８０】
この発明によれば、復元画像データのブロック歪補正処理が行われようとしている未補正画像ブロックに隣接する、該未補正画像ブロックの復元以前に復元されている隣接画像ブロックの復元画像データであって、該未処理画像ブロックに隣接する画素の復元画像データを用いて、該未補正画像ブロックにおける、該隣接画像ブロックとの境界に位置する画素の復元画素データに対してブロック歪補正処理のための演算処理を施すようにしたので、未補正画像ブロックに対するブロック歪み補正処理する際、他の画像ブロックの画像データが復元されるのを待つ必要がなくなり、画像データの受信側にて、画像データの再生のための信号処理に要する時間を大幅に短縮でき、信号処理の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例による画像信号伸張装置の概略構成を示すブロック図である。
【図２】上記実施例装置におけるブロック歪み補正器の概略構成を示すブロック図である。
【図３】上記実施例装置におけるブロック歪み補正器のバッファ部のメモリマップを示す模式図である。
【図４】上記実施例の画像信号伸張装置におけるブロック歪み補正器における具体的な構成を示す図である。
【図５】本実施例のブロック歪み補正器においてブロック歪み補正処理が施される画像ブロックとその周辺の画像ブロックの画素領域を模式的に示す図である。
【図６】上記ブロック歪み補正器におけるバッファ部の格納領域（画素領域）上でブロック歪み補正処理が進む様子を示す模式図である。
【図７】従来の画像信号伸張装置の概略構成を示すブロック図である。
【図８】上記従来装置のブロック歪み補正器においてブロック歪み補正処理が施されるブロック境界画素を示す模式図である。
【図９】従来のブロック歪み補正方法においてブロック歪み補正処理が施される画像ブロックとその周辺の画像ブロックを示す模式図である。
【図１０】１表示画面の画像データを、所定の画素数の画像ブロックに分割して伝送する場合における、１表示画面に対応する画像ブロックのアドレスマップを示す模式図である。
【符号の説明】
２１復号化器
２２逆量子化器
２３逆ＤＣＴ器
２４画像バッファ
２７バッファ部
２７ａ第４のバッファ
２７ｂ第１のセレクタ
２７ｃ第２のセレクタ
２７ｅ第１のバッファ
２７ｆ第２のバッファ
２７ｈ第３のバッファ
２８演算回路部
２８ａ第１の加算器
２８ｂ第３のセレクタ
２８ｃ比較器
２８ｄ第２の加算器
１００画像信号伸張装置
１２０ブロック歪み補正器
１３０バッファ回路
Ｄ１符号化データ
Ｄ２復号化データ
Ｄ３逆量子化データ
Ｄ４復元画像ブロックデータ
Ｄ５ブロックデータ
Ｄ７補正復元画像データ
Ｄ８ブロック周辺データ
Ｄ９補正用データ
Ｄ１０画素データ
Ｄ１１補正用画素データ
Ｄ１２補正復元画像ブロックデータ
Ａ現在処理している復元画像ブロック
ＢブロックＡの上側に隣接して位置している復元画像ブロック
ＣブロックＡの左上に隣接して位置している復元画像ブロック
ＤブロックＡの左側に隣接して位置している復元画像ブロック
ＩブロックＡの右上に隣接して位置している復元画像ブロック
ｆ画像ブロックＢのブロック歪み補正に使用する画素領域
ｇ画像ブロックＣのブロック歪み補正に使用する画素領域
ｈ画像ブロックＤのブロック歪み補正に使用する画素領域

Claims

所定数の画素に対応する画素ブロック毎に情報圧縮されて伝送されてくる画像データを伸張処理により復元した復元画像データに対して、隣接画像ブロック間での復元画像データの歪を補正するブロック歪補正処理を施すブロック歪み補正器であって、
隣接する画像ブロックとの境界に於いて不連続に位置する被処理画素の復元画像データと、該被処理画素の画像ブロックとは異なる画像ブロック内の、該被処理画素の隣接部に位置する３個の画素の画素データから演算して得られた比較画素値との信号レベル差を基準値と比較して、該隣接する画像ブロック境界に該復元画像データの歪みによるエッジが存在するか否かを検出するエッジ検出手段を有し、
該信号レベル差が該基準値未満である時のみ、該隣接する画像ブロックの境界に於いて不連続に位置する被処理画素の復元画像データに対して、該ブロック歪み補正処理を施し、隣接する画素ブロックとの境界に位置する他の被処理画素の復元画素データは、その被処理画素の復元画素データと、その被処理画素の近傍に位置するブロック歪み補正処理された復元画素データとに基づいて補正されるように構成したブロック歪み補正器。
前記比較画素値が、３個の画素の画素データの重み付け加算演算によって得られる請求項１に記載のブロック歪み補正器。
前記ブロック歪み補正処理は、前記不連続に位置する被処理画素の復元画像データを、前記比較画素値と前記不連続に位置する被処理画素の復元画像データとの平均値に置き換える処理である請求項１または２に記載のブロック歪み補正器。