JP2006140680A

JP2006140680A - 符号化ノイズ軽減装置及び方法

Info

Publication number: JP2006140680A
Application number: JP2004327477A
Authority: JP
Inventors: Takahiro Kitagawa; 敬寛北川; Koji Imura; 康治井村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-11-11
Filing date: 2004-11-11
Publication date: 2006-06-01

Abstract

【課題】デコード画像を記録するディジタルデータ記録手段への少ないアクセス回数で符号化ノイズを軽減すること。
【解決手段】ディジタルデータ記録手段１０１が記録するデコード画像について、水平方向もしくは垂直方向のブロックノイズ軽減手段による処理後、直ぐに次のブロックノイズ軽減処理に移行するのではなく、その前に、直前にブロックノイズ軽減処理を行ったブロックノイズ軽減手段と同じ方向のモスキートノイズ軽減処理を行い、その後に、次のブロックノイズ軽減処理に移行する。これによって、ブロックノイズ軽減処理の完了と同時に、ブロック境界付近の画素に対する水平方向もしくは垂直方向のモスキートノイズ軽減処理を完了させることができるので、モスキートノイズ処理を行うためのディジタルデータ記録手段１０１へのアクセス回数を削減することができる。
【選択図】図１

Description

本発明は、デコード画像についての符号化ノイズ軽減処理を行う符号化ノイズ軽減装置及び方法に関する。

画像の情報量を削減して効率よく伝送するため、図１０に示すように、送信側では画像データを符号化して伝送し、受信側では受け取った符号化データを復号する。その際に、受信側では、復号した画像データに含まれる符号化ノイズを軽減する処理を行うようにしている。

図１０は、画像の符号化を行うエンコーダ及び復号化を行うデコーダの構成を示すブロック図である。図１０において、送信側のエンコーダ１０００は、画像データ１００１が入力される動き補償部１００２と、動き補償部１００２の出力を受ける直交変換部１００３と、直交変換部１００３の出力を受ける量子化部１００４と、量子化部１００４の出力を受けるエントロピー符号化部１００５とを備えている。

受信側のデコーダ１０１０は、伝送路から符号化データ１００６が入力されるエントロピー復号化部１０１１と、エントロピー復号化部１０１１の出力を受ける逆量子化部１０１２と、逆量子化部１０１２の出力を受ける逆直交変換部１０１３と、逆直交変換部１０１３の出力を受ける動き補償部１０１４とを備えている。そして、デコーダ１０１０の出力端には、符号化ノイズ軽減装置１０２０が接続されている。

図１１は、図１０に示すエンコーダにおいて符号化する際の符号化単位を説明する図である。図１１に示すように、画像データの符号化は、画像データを、８画素×８画素を１ブロック１１００とする複数のブロックに分割されている。

送信側のエンコーダ１０００では、画像データ１００１の分割された各ブロックに対して、動き補償部１００２によるフレーム間予測処理、直交変換部１００３によるＤＣＴ変換等の直交変換処理、量子化部１００４による量子化処理、エントロピー符号化部１００５によるエントロピー符号化処理等の処理を行って符号化データ１００６を生成し、受信側に伝送する。

受信側のデコーダ１０１０は、伝送路から取り込んだ符号化データについてエントロピー復号化部１０１１によるエントロピー復号化処理、逆量子化部１０１２による逆量子化処理、逆直交変換部１０１３による逆直交変換処理、動き補償部１０１４による動き補償処理等の処理を行ってデコード画像１０１５を生成する。このデコード画像１０１５は、符号化ノイズ軽減装置１０２０に入力される。符号化ノイズ軽減装置１０２０は、デコード画像１０１５に含まれる符号化ノイズを軽減して表示画像データ１０２１を生成出力する。

符号化ノイズ軽減装置１０２０では、デコーダ１０１０にて符号化データを復号化する際に発生する符号化ノイズを軽減する符号化ノイズ軽減方法として、デコード画像１０１５に対して、ブロックノイズ軽減フィルタ処理及びモスキートノイズ軽減フィルタ処理が行われている。

ここで、ブロックノイズ軽減フィルタは、分割されたブロック同士の境界において、画素の不連続性によって発生するエッジ状のノイズを軽減するフィルタである。また、モスキートノイズ軽減フィルタは、図１０に示す量子化部１００４での処理において丸められた高周波成分が原因で発生する「もやもや」状のノイズを軽減するフィルタである。

デコード画像１０１５にこれら２種類のフィルタ処理を行うことによって、デコード画像１０１５の符号化ノイズを軽減することができる。デコード画像１０１５に対しこれらの軽減処理を行うフィルタ処理はポストフィルタ処理と呼ばれ、一般に用いられている。

図１２は、図１１に示すデコーダが復号化したデコード画像について符号化ノイズ軽減処理を行う従来の符号化ノイズ軽減装置の構成例を示すブロック図である。図１２において、従来の符号化ノイズ軽減装置１２００では、デコード画像を記録するディジタルデータ記録手段１２０１に対し、水平方向ブロックノイズ軽減手段１２０２と垂直方向ブロックノイズ軽減手段１２０３とモスキートノイズ軽減手段１２０４とが並列にアクセスできるように構成されている。

水平方向ブロックノイズ軽減手段１２０２では、ディジタルデータ記録手段１２０１に記録されるデコード画像について、図１３（Ａ）に示すように垂直方向に空間的に連続したブロックとブロックとの境界（ｖ３とｖ４の間）における画素値の不連続性を平滑化する処理が行われる。

垂直方向ブロックノイズ軽減手段１２０３では、ディジタルデータ記録手段１２０１に記録されるデコード画像について、図１３（Ｂ）に示すように水平方向に空間的に連続したブロックとブロックとの境界（ｖ３とｖ４の間）における画素値の不連続性を平滑化する処理が行われる。

図１３を参照して説明する。図１３は、水平方向及び垂直方向のブロックノイズ軽減処理動作を説明する図である。図１３では、処理前のｖ０〜ｖ７の８画素に対して、処理後のｖ０’〜ｖ７’の８画素が得られることが示されている。

水平ブロックノイズに対しては、図１３（Ａ）に示すように上下の４画素ずつを対象として、垂直ブロックノイズに対しては、図１３（Ｂ）に示すように左右４画素ずつを対象として、それぞれ式（１）を用いて４画素からなる領域の相関値ｃを求める。

そして、式（１）によって求めた相関値ｃと、前画像の最終ブロックの量子化値Ｑとを用いて、各画素に対して、ｃ＞４で、かつ｜ｖ_３−ｖ_４｜≦２＊Ｑのときは、式（２）に示される処理が行われ、また、ｃ＜３で、かつ｜ｖ_３−ｖ_４｜≦Ｑのときは、式（３）に示される処理が行われる。式（１）〜式（３）の処理を画像中の全ブロックに対して行うことにより、ブロックノイズ軽減処理が完了する。

次に、図１４は、従来のモスキートノイズ軽減処理の動作を説明する図である。モスキートノイズ軽減手段１２０４では、ディジタルデータ記録手段１２０１に記録されるデコード画像について、図１４（Ａ）に示すように処理対象である画素ｖ０に対して周辺８近傍の画素ｖ１〜ｖ８を用いて画素の時異性を平滑化する処理が行われる。また、画質を大きく劣化させずにモスキートノイズ軽減処理を高速化する手法として、図１４（Ｂ）に示すように、処理対象である画素ｖ０に対して周辺４近傍の画素ｖ１〜ｖ４を用いる方法が実用化されている。処理単位が周辺４近傍であるモスキートノイズ軽減処理は、例えば式（４）を用いて行われる。

図１５は、図１２に示す従来の符号化ノイズ軽減装置にて行われる符号化ノイズ軽減処理を説明するフローチャートである。なお、手順を示すステップは、ＳＴを略記する。ブロックノイズ軽減フィルタ処理とモスキートノイズ軽減フィルタ処理では、上記のように軽減するノイズの種類やその軽減方法がお互いに異なるので、図１５に示すように、ディジタルデータ記録手段１２０１に記録されているデコード画像に対して、まず、水平方向ブロックノイズ軽減手段１２０２と垂直方向ブロックノイズ軽減手段１２０３とによるブロックノイズ軽減処理を行い（ＳＴ１５０１〜ＳＴ１５０４）、その後、モスキートノイズ軽減手段１２０４によるモスキートノイズ軽減処理（ＳＴ１５０５、ＳＴ１５０６）を行うというように、別々の処理として行われる。

図１５において、まず、垂直なブロックノイズに対して水平方向ブロックノイズ軽減処理が行われ（ＳＴ１５０１）、全ての垂直なブロックノイズに対して処理が完了すると（ＳＴ１５０２：ＹＥＳ）、次に、水平なブロックノイズに対して垂直方向ブロックノイズ軽減処理が行われ（ＳＴ１５０３）、全ての水平なブロックノイズに対して処理が完了すると（ＳＴ１５０４：ＹＥＳ）、次に、画素に対してモスキートノイズ軽減処理が行われ（ＳＴ１５０５）、全ての画素に対してモスキートノイズ軽減処理が完了する（ＳＴ１５０６：ＹＥＳ）ことによりノイズ軽減処理の完了となる。
特開２０００−１０６６３０号公報 ISO/IEC 14496-2 Information Technology Coding of audio video objects part 2 Annex F.3.1

従来の符号化ノイズ軽減処理では、デコード後の画像データを記録するのに必要となるメモリサイズが膨大であるので、デコード後の画像データは大容量ではあるがアクセスが低速な外部メモリに保持することが一般的である。この場合、従来のようにブロックノイズ軽減処理とモスキートノイズ軽減処理とを別々の処理として行う方法では、メモリに対するアクセス回数が増大し、その結果、待ち時間が増大するので、処理の高速化が困難であるという問題がある。

本発明は、かかる点に鑑みてなされたものであり、画質を従来の方式によるものと同等に維持しつつ、従来の方式に比べ高速に処理を行うことができる符号化ノイズ軽減装置及び方法を提供することである。

かかる課題を解決するため、本発明に係る符号化ノイズ軽減装置は、デコード画像を記録するディジタルデータ記録手段と、前記デコード画像において垂直方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する水平方向ブロックノイズ軽減手段と、前記デコード画像において水平方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する垂直方向ブロックノイズ軽減手段と、前記デコード画像において処理対象である画素に垂直方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する垂直方向モスキートノイズ軽減手段と、前記デコード画像において処理対象である画素に水平方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する水平方向モスキートノイズ軽減手段と、前記デコード画像についての符号化ノイズ軽減処理が、前記水平方向ブロックノイズ軽減手段と前記垂直方向ブロックノイズ軽減手段のいずれか一方による処理、その一方のブロックノイズ軽減手段と同じ方向の前記モスキートノイズ軽減手段による処理、前記水平方向ブロックノイズ軽減手段と前記垂直方向ブロックノイズ軽減手段のいずれか他方による処理、その他方のブロックノイズ軽減手段と同じ方向の前記モスキートノイズ軽減手段による処理の順に移行するように制御する制御手段とを具備する構成を採る。

この構成によれば、水平方向もしくは垂直方向のブロックノイズ軽減手段による処理後、直ぐに次のブロックノイズ軽減処理に移行するのではなく、その前に、直前にブロックノイズ軽減処理を行ったブロックノイズ軽減手段と同じ方向のモスキートノイズ軽減処理を行い、その後に、次のブロックノイズ軽減処理に移行する。これによって、ブロックノイズ軽減処理の完了と同時に、ブロック境界付近の画素に対する水平方向もしくは垂直方向のモスキートノイズ軽減処理を完了させることができるので、モスキートノイズ処理を行うためのディジタルデータ記録手段へのアクセス回数を削減することができる。

本発明に係る符号化ノイズ軽減装置は、上記の発明において、前記制御手段は、水平方向及び垂直方向の前記ブロックノイズ軽減手段と水平方向及び垂直方向の前記モスキートノイズ軽減手段とによる並行した処理の終了後に、モスキートノイズ軽減処理が未処理である画素に対して水平方向及び垂直方向の前記モスキートノイズ軽減手段による処理を実行させるという構成を採る。

この構成によれば、生成される画像の品質を従来と同等に保つことができる。

本発明に係る符号化ノイズ軽減方法は、ディジタルデータ記録手段に格納されるデコード画像についての符号化ノイズ軽減処理として、垂直方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する水平方向ブロックノイズ軽減処理と、水平方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する垂直方向ブロックノイズ軽減処理と、処理対象である画素に垂直方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する垂直方向モスキートノイズ軽減処理と、処理対象である画素に水平方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する水平方向モスキートノイズ軽減処理とを実施する場合に、前記符号化ノイズ軽減処理が、前記水平方向ブロックノイズ軽減処理と前記垂直方向ブロックノイズ軽減処理のいずれか一方による処理、その一方のブロックノイズ軽減処理と同じ方向の前記モスキートノイズ軽減処理、前記水平方向ブロックノイズ軽減処理と前記垂直方向ブロックノイズ軽減処理のいずれか他方による処理、その他方のブロックノイズ軽減処理と同じ方向の前記モスキートノイズ軽減処理の順に移行するようにした。

この方法によれば、水平方向もしくは垂直方向のブロックノイズ軽減手段による処理後、直ぐに次のブロックノイズ軽減処理に移行するのではなく、その前に、直前にブロックノイズ軽減処理を行ったブロックノイズ軽減手段と同じ方向のモスキートノイズ軽減処理が行われる。これによって、ブロックノイズ軽減処理の完了と共に、ブロック境界付近の画素に対する水平方向もしくは垂直方向のモスキートノイズ軽減処理を完了させることができるので、モスキートノイズ処理を行うためのディジタルデータ記録手段へのアクセス回数を削減することができる。

本発明に係る符号化ノイズ軽減方法は、上記の発明において、水平方向及び垂直方向の前記ブロックノイズ軽減処理と水平方向及び垂直方向の前記モスキートノイズ軽減処理とによる並行した処理の終了後に、モスキートノイズ軽減処理が未処理である画素に対して水平方向及び垂直方向の前記モスキートノイズ軽減処理を実行するようにした。

この方法によれば、生成される画像の品質を従来と同等に保つことができる。

本発明によれば、デコード画像に対して、ディジタルデータ記録手段への少ないアクセス回数で、ブロックノイズ軽減手段及びモスキートノイズ軽減手段による処理を施した画像と同等の画像を得ることができるので、画質を従来の方式によるものと同等に維持しつつ、従来の方式に比べ高速に処理を行うことができる。

本発明の骨子は、発生する符号化ノイズを少ないメモリアクセス回数で軽減できるようにすることである。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の一実施の形態に係る符号化ノイズ軽減装置の構成を示すブロック図である。図１において、本実施の形態に係る符号化ノイズ軽減装置１００は、デコード画像を記録するディジタルデータ記録手段１０１に対して、水平方向ブロックノイズ軽減手段１０２と水平方向モスキートノイズ軽減手段１０３と垂直方向ブロックノイズ軽減手段１０４と垂直方向モスキートノイズ軽減手段１０５とが並列にアクセスできるように構成されている。

水平方向ブロックノイズ軽減手段１０２では、ディジタルデータ記録手段１０１に記録されるデコード画像について、垂直方向に空間的に連続したブロックとブロックとの境界における画素値の不連続性を平滑化する処理が行われる。

水平方向モスキートノイズ軽減手段１０３では、ディジタルデータ記録手段１０１に記録されるデコード画像について、処理対象である画素に水平方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する処理が行われる。

垂直方向ブロックノイズ軽減手段１０４では、ディジタルデータ記録手段１０１に記録されるデコード画像について、水平方向に空間的に連続したブロックとブロックとの境界における画素値の不連続性を平滑化する処理が行われる。

垂直方向モスキートノイズ軽減手段１０５では、ディジタルデータ記録手段１０１に記録されるデコード画像について、処理対象である画素に垂直方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する処理が行われる。

次に、図１〜図９を参照して、以上のように構成される符号化ノイズ軽減装置１００の動作について説明する。

図２は、図１に示す符号化ノイズ軽減装置にて行われるブロックノイズ軽減処理及びモスキートノイズ軽減処理の処理順序として考えられる組み合わせを示す図である。本実施の形態では、水平方向もしくは垂直方向のブロックノイズ軽減手段による処理後、直ぐに次のブロックノイズ軽減処理に移行するのではなく、その前に、直前にブロックノイズ軽減処理を行ったブロックノイズ軽減手段と同じ方向のモスキートノイズ軽減処理を行うようになっている。したがって、図２に示すように４つの処理パターンが考えられる。何れの処理パターンでも良いことは言うまでもない。

図２（Ａ）：水平方向ブロックノイズ軽減処理及び水平方向モスキートノイズ軽減処理２０１→垂直方向ブロックノイズ軽減処理及び垂直方向モスキートノイズ軽減処理２０２→水平方向モスキートノイズ軽減処理２０３→垂直方向モスキートノイズ軽減処理２０４の順序で行う。

図２（Ｂ）：垂直方向ブロックノイズ軽減処理及び垂直方向モスキートノイズ軽減処理２１１→水平方向ブロックノイズ軽減処理及び水平方向モスキートノイズ軽減処理２１２→水平方向モスキートノイズ軽減処理２１３→垂直方向モスキートノイズ軽減処理２１４の順序で行う。

図２（Ｃ）：水平方向ブロックノイズ軽減処理及び水平方向モスキートノイズ軽減処理２２１→垂直方向ブロックノイズ軽減処理及び垂直方向モスキートノイズ軽減処理２２２→垂直方向モスキートノイズ軽減処理２２３→水平方向モスキートノイズ軽減処理２２４の順序で行う。

図２（Ｄ）：垂直方向ブロックノイズ軽減処理及び垂直方向モスキートノイズ軽減処理２３１→水平方向ブロックノイズ軽減処理及び水平方向モスキートノイズ軽減処理２３２→垂直方向モスキートノイズ軽減処理２３３→水平方向モスキートノイズ軽減処理２３４の順序で行う。

図３は、図２に示す組み合わせ（Ａ）による符号化ノイズ軽減処理を説明するフローチャートである。図１に示す符号化ノイズ軽減装置１００による処理は、符号化データのデコード処理が完了した段階、即ちデコード画像が生成されディジタルデータ記録手段に記録された段階で行われる。

図３において、ＳＴ３０１では水平方向ブロックノイズ軽減手段１０２による処理が行われ、ＳＴ３０２では水平方向モスキートノイズ軽減手段１０３による処理が行われる。全ての水平方向ブロックノイズ軽減処理が完了した（ＳＴ３０３：ＹＥＳ）後、ＳＴ３０４にて垂直方向ブロックノイズ軽減手段１０４による処理が行われ、ＳＴ３０５にて垂直方向モスキートノイズ軽減手段１０４による処理が行われる。全ての垂直方向ブロックノイズ軽減処理が完了した（ＳＴ３０６：ＹＥＳ）後、ＳＴ３０７にて水平方向モスキートノイズ軽減処理が未処理である画素に対して水平方向モスキートノイズ軽減手段１０３による処理が行われる。水平方向モスキートノイズ軽減処理が未処理である全ての画素に対する水平方向モスキートノイズ軽減処理の完了（ＳＴ３０８：ＹＥＳ）後、同様に、ＳＴ３０９にて垂直方向モスキートノイズ軽減処理が未処理である画素に対して垂直方向モスキートノイズ軽減手段１０５による処理が行われる。垂直方向モスキートノイズ軽減処理が未処理である全ての画素に対する垂直方向モスキートノイズ軽減処理の完了（ＳＴ３１０：ＹＥＳ）後、符号化ノイズ軽減処理は完了となる。

ここで、水平方向ブロックノイズ軽減手段１０２では、図１３（Ａ）にて説明した垂直方向に並んだ８個の画素ｖ０〜ｖ７から垂直方向に並んだ８個の画素ｖ０’〜ｖ７’を生成することが行われる。垂直方向ブロックノイズ軽減手段１０４では、図１３（Ｂ）にて説明した水平方向に並んだ８個の画素ｖ０〜ｖ７から水平方向に並んだ８個の画素ｖ０’〜ｖ７’を生成することが行われる。水平方向モスキートノイズ軽減手段１０３及び垂直方向モスキートノイズ軽減手段１０５では、これらの処理結果画素を利用する。

即ち、図４は、図３に示すモスキートノイズ軽減処理の内容を説明する図である。図４において、垂直方向に並んだ８個の画素ｖ０’〜ｖ７’は、図１３（Ａ）にて説明した水平方向ブロックノイズ軽減処理での処理結果画素列である。また、水平方向に並んだ８個の画素ｖ０’〜ｖ７’は、図１３（Ｂ）にて説明した垂直方向ブロックノイズ軽減処理での処理結果画素列である。なお、図１３（Ａ）、（Ｂ）において、ｖ３’とｖ４’の間はブロックの境界である。

水平方向モスキートノイズ軽減手段１０３及び垂直方向モスキートノイズ軽減手段１０５では、水平方向ブロックノイズ軽減手段１０２あるいは垂直方向ブロックノイズ軽減手段１０４にて生成された画素ｖ０’〜ｖ７’に対して式（５）に示す処理を実行してモスキートノイズを軽減した画素ｖ０”〜ｖ７”を生成する。なお、式（５）において、Ｑは前フレームの最終ブロックの量子化値である。

図５は、図３に示す符号化ノイズ軽減処理が完了したときの処理状態を説明する図である。図５では、３２画素×３２画素のデコード画像において、図３に示した処理過程での状態が示されている。図３において水平方向と垂直方向のブロックノイズ軽減処理が完了すると（ＳＴ３０６：ＹＥＳ）、図５内に「斜線」で示す画素領域でのモスキートノイズ軽減処理の完了が可能となる。また、図３においてＳＴ３０７、ＳＴ３０８の処理によって、図５内に「横線」で示す画素領域に関して水平方向モスキートノイズ軽減処理の完了が可能となる。また、図３においてＳＴ３０９、ＳＴ３１０の処理によって、図５内の「縦線」で示す画素領域に関して垂直方向モスキートノイズ軽減処理の完了が可能となる。

即ち、図３におけるＳＴ３０６以降において、水平方向もしくは垂直方向のどちらかのモスキートノイズ軽減処理が未完了である画素領域のみに対して適切な方向のモスキートノイズ軽減処理を行うことにより、ブロックノイズ軽減処理とモスキートノイズ軽減処理の両者を行った画像と同等品質の画像を得ることができる。図５に示したデコード画像の例で言えば、図３におけるＳＴ３０６が完了した段階で水平方向モスキートノイズ軽減処理及び垂直方向モスキートノイズ軽減処理の両処理が必要な画素数は１９６であり、これは全体の画素数１０２４の約１９％である。

ここで、図６〜図９は、本発明の効果を従来例と比較して示す図である。図６〜図９では、ディジタルデータ記録手段への１画素のアクセスを１アクセスとした場合において、画像サイズをＷ×Ｈとして本発明を用いた場合によるアクセス回数と従来の手法によるアクセス回数との比較を行っている。なお、従来のモスキートノイズ軽減処理は式４に示す処理としている。

図６では、画像サイズに対するブロック境界の個数及びその処理のために必要なアクセス回数が示されている。

図７では、水平方向及び垂直方向のブロックノイズ軽減処理後、即ち本発明においては図３におけるＳＴ３０６が完了した段階において、モスキートノイズ軽減処理を行う必要がある画素数と、各画素の処理時に必要な画素数と、それに対するブロックの種類（ないしはブロックの配置位置）とが示されている。

図８では、図７から抜き出した、図３におけるＳＴ３０７〜ＳＴ３１０において行われるモスキートノイズ軽減処理におけるアクセス回数とブロックの配置位置とが示されている。

また、図６から、符号化ノイズ軽減処理において、デコード画像のブロックノイズ軽減処理に必要なアクセス回数は、式（６）で表すことができる。

また、図７と図８から、符号化ノイズ軽減処理において、ブロックノイズ軽減処理後の画像に対して、モスキートノイズ軽減処理が完了するために必要なアクセス回数は、式（７）で表すことができる。なお、式（７）において、ａは、角部にあるブロックの処理に必要なアクセス回数である。ｂは、角部以外の画像の境界のブロックの処理に必要なアクセス回数である。ｃは、画像の境界以外のブロックの処理に必要なアクセス回数である。

そして、式（６）及び式（７）を用いて画像サイズが１４４×１７６の場合及び画像サイズが２４０×３２０の場合におけるデコード画像の符号化ノイズ軽減処理に必要なアクセス回数を比較すると図９に示すようになる。

図９では、デコード画像の符号化ノイズ軽減処理に必要なアクセス回数と削減量とが示されている。図９に示すように、デコード画像に対して符号化ノイズ軽減処理のためのディジタルデータ記録手段へのアクセス回数を約７３%削減することができる。

以上のように、本発明によれば、デコード画像に対して、ブロックノイズ軽減手段とモスキートノイズ軽減手段の両手段による処理を施した画像と同等の品質画像を、ディジタルデータ記録手段への少ないアクセス回数で得ることができるという効果を奏する。

近年、携帯電話装置では、カメラ機能を搭載し、また、受け取った相手の画像を表示できるようになってきたが、本発明は、そのような携帯電話装置に適用することができる。

本発明は、少ないメモリアクセス回数で符号化ノイズを軽減する符号化ノイズ軽減装置及び方法として有用である。

本発明の一実施の形態に係る符号化ノイズ軽減装置の構成を示すブロック図図１に示す符号化ノイズ軽減装置にて行われるブロックノイズ軽減処理及びモスキートノイズ軽減処理の処理順序として考えられる組み合わせを示す図図２に示す組み合わせ（Ａ）による符号化ノイズ軽減処理を説明するフローチャート図３に示すモスキートノイズ軽減処理の内容を説明する図図３に示す符号化ノイズ軽減処理が完了したときの処理状態を説明する図本発明の効果を従来例と比較して示す図（ブロックノイズ軽減処理に必要なアクセス回数）本発明の効果を従来例と比較して示す図（１画素のモスキートノイズ軽減処理に必要な画素数と処理対象画素数とブロックの種類）本発明の効果を従来例と比較して示す図（ブロックの種類別によるモスキートノイズ軽減処理に必要なアクセス回数）本発明の効果を従来例と比較して示す図（デコード画像の符号化ノイズ軽減処理に必要なアクセス回数と削減量）画像の符号化を行うエンコーダ及び復号化を行うデコーダの構成を示すブロック図図１０に示すエンコーダにおいて符号化する際の符号化単位を説明する図図１１に示すデコーダが復号化したデコード画像について符号化ノイズ軽減処理を行う従来の符号化ノイズ軽減装置の構成例を示すブロック図図１１に示すブロックノイズ軽減処理手段による水平方向及び垂直方向のブロックノイズ軽減処理動作を説明する図図１１に示すモスキートノイズ軽減処理動作を説明する図である。図１２に示す従来の符号化ノイズ軽減装置にて行われる符号化ノイズ軽減処理を説明するフローチャート

符号の説明

１００符号化ノイズ軽減装置
１０１ディジタルデータ記録手段
１０２水平方向ブロックノイズ軽減手段
１０３水平方向モスキートノイズ軽減手段
１０４垂直方向ブロックノイズ軽減手段
１０５垂直方向モスキートノイズ軽減手段

Claims

デコード画像を記録するディジタルデータ記録手段と、前記デコード画像において垂直方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する水平方向ブロックノイズ軽減手段と、前記デコード画像において水平方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する垂直方向ブロックノイズ軽減手段と、前記デコード画像において処理対象である画素に垂直方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する垂直方向モスキートノイズ軽減手段と、前記デコード画像において処理対象である画素に水平方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する水平方向モスキートノイズ軽減手段と、前記デコード画像についての符号化ノイズ軽減処理が、前記水平方向ブロックノイズ軽減手段と前記垂直方向ブロックノイズ軽減手段のいずれか一方による処理、その一方のブロックノイズ軽減手段と同じ方向の前記モスキートノイズ軽減手段による処理、前記水平方向ブロックノイズ軽減手段と前記垂直方向ブロックノイズ軽減手段のいずれか他方による処理、その他方のブロックノイズ軽減手段と同じ方向の前記モスキートノイズ軽減手段による処理の順に移行するように制御する制御手段と、を具備することを特徴とする符号化ノイズ軽減装置。
前記制御手段は、水平方向及び垂直方向の前記ブロックノイズ軽減手段と水平方向及び垂直方向の前記モスキートノイズ軽減手段とによる並行した処理の終了後に、モスキートノイズ軽減処理が未処理である画素に対して水平方向及び垂直方向の前記モスキートノイズ軽減手段による処理を実行させる、ことを特徴とする請求項１記載の符号化ノイズ軽減装置。
ディジタルデータ記録手段に格納されるデコード画像についての符号化ノイズ軽減処理として、垂直方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する水平方向ブロックノイズ軽減処理と、水平方向に空間的に連続するブロックとブロックとの境界における画素値の不連続性を平滑化する垂直方向ブロックノイズ軽減処理と、処理対象である画素に垂直方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する垂直方向モスキートノイズ軽減処理と、処理対象である画素に水平方向に隣接する画素を用いて処理対象である画素の特異性を平滑化する水平方向モスキートノイズ軽減処理とを実施する場合に、前記符号化ノイズ軽減処理が、前記水平方向ブロックノイズ軽減処理と前記垂直方向ブロックノイズ軽減処理のいずれか一方による処理、その一方のブロックノイズ軽減処理と同じ方向の前記モスキートノイズ軽減処理、前記水平方向ブロックノイズ軽減処理と前記垂直方向ブロックノイズ軽減処理のいずれか他方による処理、その他方のブロックノイズ軽減処理と同じ方向の前記モスキートノイズ軽減処理の順に移行するようにしたことを特徴とする符号化ノイズ軽減方法。
水平方向及び垂直方向の前記ブロックノイズ軽減処理と水平方向及び垂直方向の前記モスキートノイズ軽減処理とによる並行した処理の終了後に、モスキートノイズ軽減処理が未処理である画素に対して水平方向及び垂直方向の前記モスキートノイズ軽減処理を実行するようにしたことを特徴とする請求項３記載の符号化ノイズ軽減方法。