JP2007005918A - 圧縮符号化前置処理装置および伸長復号化後置処理装置、並びに、圧縮符号化装置および伸長復号化装置 - Google Patents

Abstract

【課題】 動画像の圧縮率が高くなった際に、画質劣化を防止することができる圧縮符号化前置処理装置および伸長復号化後置処理装置、並びに、圧縮符号化装置および伸長復号化装置を提供する。
【解決手段】 圧縮符号化前置処理装置３は、動画像の圧縮符号化を行う前に、当該動画像を構成する各画像の画素数を低減するものであって、画像を構成する周波数成分のうち、斜め方向の周波数成分が減衰させるプリフィルタ手段３１と、この斜め方向の周波数成分が減衰された画像信号について水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返すことで、画像信号の画素を間引く画素間引手段３２と、間引いた画素の隙間を詰める画素間隙間詰め手段３３と、を備えた。
【選択図】 図１

Description

本発明は、圧縮符号化する前の動画像を処理する圧縮符号化前置処理装置および伸長復号化した後の動画像を処理する伸長復号化後置処理装置、並びに、圧縮符号化前置処理装置を備えた圧縮符号化装置および伸長復号化後置処理装置を備えた伸長復号化装置に関する。

従来、動画像の圧縮符号化方式としては、「ＭＰＥＧ−２」、「ＭＰＥＧ−４」、「Ｈ．２６４」等が実用化されており、この他にも多数の圧縮符号化方式が存在している。これらの圧縮符号化方式は、動き補償と変換符号（ＤＣＴ等）とを基礎技術にして、構築されたものであり、近年、めざましい進歩を遂げている。

これらの圧縮符号化方式は、動画像の圧縮率が低い間は大きな画質劣化が生じないという優れた特性を有している（例えば、非特許文献１参照）。
二宮佑一著、「ＭＵＳＥ−ハイビジョン伝送方式−」、株式会社コロナ社、１９９０年１２月、全頁

しかしながら、従来の圧縮符号化方式では、動画像の圧縮率が高くなると、圧縮するために削除する情報量が多くなって、復号化する際に、残った情報だけでは、削除された情報を適切に（元通りに）復元することができず、大きな画質劣化を生じる場合があるという問題がある。

特に、元々の動画像の情報量が多いにも拘わらず、符号化した動画像を、伝送ビットレートが低い狭帯域の（低ビットレートの）伝送路に伝送しなければならない場合に、当該動画像の圧縮率を単純に高くしてしまうと、従来の圧縮符号化方式では、復号化した動画像に、大きな画質劣化が生じてしまう。例えば、「ＭＰＥＧ−２」、「ＭＰＥＧ−４」、「Ｈ．２６４」等の実用化されている圧縮符号化方式によって、これまで以上に、低ビットレートで伝送した場合でも画質劣化が生じないように、動画像を伝送したいという要求が高まっている。

さらに、従来の圧縮符号化方式を採用した圧縮符号化装置（従来の圧縮符号化装置）では、複雑な動画像が入力された際に低ビットレートで伝送する場合で、且つ、一定の画質を確保することが困難な場合に、量子化ステップを大きくするように設定されていることが多い。ちなみに量子化ステップを大きくするとは、量子化値を算出する場合に、画素値を除算する数の値を大きくすることである。この従来の圧縮符号化装置は、量子化ステップを大きくすることで、発生情報量を低減し、当該低ビットレート以内で、当該動画像を圧縮符号化する。しかし、量子化ステップが大きくなると、復号化した際に、動画像を構成する画像の精細感が失われると共に、ブロックノイズが発生し、著しい画質劣化が生じるという問題がある。

そこで、本発明では、前記した問題を解決し、動画像の圧縮率が高くなった際に、画質劣化を防止することができる圧縮符号化前置処理装置および伸長復号化後置処理装置、並びに、圧縮符号化装置および伸長復号化装置を提供することを目的とする。

前記課題を解決するため、請求項１に記載の圧縮符号化前置処理装置は、動画像の圧縮符号化を行う前に、当該動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させるプリフィルタ手段を備えることを特徴とする。

かかる構成によれば、圧縮符号化前置処理装置は、プリフィルタ手段によって、動画像の圧縮符号化を行う前、水平方向の周波数成分、垂直方向の周波数成分および斜め方向の周波数成分の中で、斜め方向の周波数成分だけを減衰させる。つまり、このプリフィルタ手段によって、画像における斜め方向の解像度を低下（低減）させる。なお、このプリフィルタ手段は、斜め方向の解像度を低下させるローパスフィルタ等によって構成されている。この圧縮符号化前置処理装置では、斜め方向の解像度が劣化しても、人間の視覚には検知しにくいことに着目して、プリフィルタ手段を備えている。

請求項２に記載の圧縮符号化前置処理装置は、動画像の圧縮符号化を行う前に、当該動画像を構成する各画像の画素数を低減する圧縮符号化前置処理装置であって、プリフィルタ手段と、画素間引手段と、画素間隙間詰め手段と、を備える構成とした。

かかる構成によれば、圧縮符号化前置処理装置は、プリフィルタ手段によって、画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させる。続いて、圧縮符号化前置処理装置は、画素間引手段によって、斜め方向の周波数成分が減衰された画像信号について、水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返すことで、画像信号の画素の間引きを行う。

そして、圧縮符号化前置処理装置は、画素間隙間詰め手段によって、画像間引手段で間引いた画素の隙間を詰める。つまり、削除された（取り除かれた）画素間の隙間を詰めることで、当該動画像を符号化する符号化装置に出力する画素数を大幅に減少させることができる。

請求項３に記載の圧縮符号化前置処理装置は、請求項１または請求項２に記載の圧縮符号化前置処理装置において、前記プリフィルタ手段が、前記動画像がインターレース画像である場合に、フィールドメモリと、２次元フィルタと、を備える構成とした。

かかる構成によれば、圧縮符号化前置処理装置は、フィールドメモリによって、インターレース画像のフィールド画像を遅延させる。なお、インターレース画像とは、１ラインごとのとびとびの走査線によって構成されており、奇数ラインのフィールド画像と、偶数ラインのフィールド画像とからなる。そして、圧縮符号化前置処理装置は、２次元フィルタによって、フィールドメモリで所定単位時間遅延されたフィールド画像（奇数ラインまたは偶数ラインのフィールド画像）と、入力された現時刻のフィールド画像とからなる連続するフィールド画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させる。なお、この２次元フィルタによる処理を、単にフィルタリングと記載する場合がある。

請求項４に記載の圧縮符号化前置処理装置は、請求項１または請求項２に記載の圧縮符号化前置処理装置において、前記プリフィルタ手段が、第一フィールドメモリと、第二フィールドメモリと、切替スイッチと、２次元フィルタと、を備える構成とした。

かかる構成によれば、圧縮符号化前置処理装置は、第一フィールドメモリによって、動画像のフィールド画像を遅延させ、第二フィールドメモリによって、第一フィールドメモリから出力されたフィールド画像を遅延させる。続いて、圧縮符号化前置処理装置は、切替スイッチによって、第二フィールドメモリで所定単位時間遅延されたフィールド画像と、入力された現時刻のフィールド画像とがフレーム画像単位になるように切り替える。

そして、圧縮符号化前置処理装置は、２次元フィルタによって、切替スイッチが切り替えられて出力されるフィールド画像と、第一フィールドメモリで所定単位時間遅延されたフィールド画像とからなるフレーム単位で、このフレーム画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させる。なお、この２次元フィルタによる処理を、単にフィルタリングと記載する場合がある。

請求項５に記載の伸長復号化後置処理装置は、動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させた後、当該動画像が圧縮符号化された符号化画像を、復号化した後に、元の動画像に近似させる伸長復号化後置処理装置であって、補間フィルタ手段を備える構成とした。

かかる構成によれば、伸長復号化後置処理装置は、補間フィルタ手段によって、符号化画像が復号化された復号化画像において、斜め方向に生じた雑音成分を除去する。つまり、この補間フィルタ手段は、復号化した際に生じる雑音成分、すなわち、送信（符号化）側で折り返された水平の高域周波数成分または垂直の高域周波数成分を除去することで、元の動画像（当初の動画像）に近似した画像を再現するものである。

請求項６に記載の伸長復号化後置処理装置は、動画像を成す画像を構成する周波数成分のうち、当該斜め方向の周波数成分が減衰された画像信号の画素が間引かれ、この間引かれた隙間が詰められた後、当該動画像が圧縮符号化された符号化画像を、復号化した後に、元の動画像に近似させる伸長復号化後置処理装置であって、画素間隙間確保手段と、画素付加手段と、補間フィルタ手段と、を備える構成とした。

かかる構成によれば、伸長復号化後置処理装置は、画素間隙間確保手段によって、符号化画像が復号化された復号化画像の画素間に、予め設定した隙間を確保する。符号化画像を復号化した復号化画像は、画素数が低減された後に符号化された符号化画像を復号化したものであるので、当初の動画像より画素数が低減されている。それゆえ、この画素間隙間確保手段によって、低減された画素が元々存在していた位置に、新たに画素を付加するために、低減されなかった画素間を広げて、隙間を確保している。

続いて、伸長復号化後置処理装置は、画素付加手段によって、画素間隙間確保手段で隙間が確保された位置に、予め設定した画素値の画素を付加し、補間フィルタ手段によって、画素付加手段で付加された画素に該当する斜め方向に生じた雑音成分を除去する。

請求項７に記載の圧縮符号化装置は、請求項１から請求項４のいずれか一項に記載の圧縮符号化前置処理装置と、この圧縮符号化前置処理装置から出力された動画像を、圧縮符号化する圧縮符号化手段を備える構成とした。

かかる構成によれば、圧縮符号化装置は、圧縮符号化前置処理装置から出力された動画像を、圧縮符号化手段によって、圧縮符号化して符号化画像とする。なお、この圧縮符号化手段で採用される圧縮符号化方式としては、任意の圧縮符号化方式であってよく、例えば、ＭＰＥＧ−２、Ｈ．２６４等の実用化されているものが挙げられる。

請求項８に記載の伸長復号化装置は、請求項７に記載の圧縮符号化装置から出力された符号化画像を、復号化する復号化手段と、請求項５または請求項６に記載の伸長復号化後置処理装置と、を備える構成とした。

かかる構成によれば、伸長復号化装置は、復号化手段によって、圧縮符号化装置から出力された符号化画像を復号化する。なお、この復号化手段で採用される伸長復号化方式としては、任意の復号化方式であってよく、例えば、ＭＰＥＧ−２、Ｈ．２６４等の実用化されているものが挙げられる。

請求項１に記載の発明によれば、人間の視覚上、画質劣化が認識しくい斜め方向の周波数成分を減衰することで、動画像を符号化する際の発生情報量を低減できる。つまり、符号化画像の情報量を抑制することができるので、動画像の圧縮率が高くなった場合に対応することができ、さらに、斜め方向の周波数成分を減衰しているので、画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

請求項２に記載の発明によれば、人間の視覚上、画質劣化が認識しくい斜め方向の周波数成分を減衰することで、動画像を符号化する際の発生情報量を低減できる。さらに、画素間の隙間を詰めているので、動画像を符号化する際の圧縮率を高くして、符号化した符号化画像を低ビットレートで伝送しても、画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

請求項３に記載の発明によれば、インターレース画像において、一方のフィールド画像を所定単位時間遅延させて、他方のフィールド画像と共にフィルタリングを行うことで、効率よく斜め方向の周波数成分を減衰でき、画質劣化を防止することができる。

請求項４に記載の発明によれば、現時刻のフィールド画像と、所定単位時間遅延されたフィールド画像とを切り替えて出力し、フレーム単位で、フィルタリングを行うことで、効率よく斜め方向の周波数成分を減衰でき、画質劣化を防止することができる。

請求項５に記載の発明によれば、圧縮率の高い符号化画像であっても、復号化した際に、斜め方向に生じた雑音成分を除去することで、復号化画像の画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

請求項６に記載の発明によれば、符号化画像を復号化した復号化画像の画素間に予め設定した隙間を確保し、画素を付加して、この画素に該当する斜め方向に生じた雑音成分を除去することで、復号化画像の画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

請求項７に記載の発明によれば、従来の圧縮符号化方式を採用して、これまで以上に低ビットレートで伝送した場合であっても、予め、圧縮符号化前置処理装置によって、動画像の斜め方向の周波数成分を減衰しておくことで、復号化後の復号化画像の画質劣化を抑えるように、動画像を符号化して伝送することができる。

請求項８に記載の発明によれば、従来の圧縮符号化方式を採用して、これまで以上に低ビットレートで伝送された符号化画像であっても復号化した後、伸長復号化後置処理装置によって、動画像の斜め方向に生じた雑音成分を除去することで、復号化画像を元の動画像に近似することができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈圧縮符号化装置の構成、その１〉
図１は、圧縮符号化装置（圧縮符号化前置処理装置（第一実施形態）を内包）のブロック図である。図１に示すように、圧縮符号化装置１は、圧縮符号化前置処理装置３と、符号化手段５とを備えている。

圧縮符号化前置処理装置３は、入力映像（動画像、画像信号）を圧縮符号化する前に、当該入力映像、すなわち、動画像を構成する画像に処理を施すもので、プリフィルタ手段３１を備えている。この圧縮符号化前置処理装置３は、圧縮符号化装置１に内包されていても、外付けされていてもよい。

プリフィルタ手段３１は、動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させるものである。すなわち、プリフィルタ手段３１は、動画像を成す画像において、当該画像を構成する周波数成分のうち、水平方向の周波数成分と垂直方向の周波数成分とを維持しておいて、斜め方向の周波数成分のみを減衰させることで、符号化手段５に入力する情報量を削減している。

なお、斜め方向の周波数成分とは、水平周波数（水平方向の周波数成分）をｕ（Ｘ軸）に、垂直周波数（垂直方向の周波数成分）をｖ（Ｙ軸）として、ＸＹ軸からなる画像平面を想定した場合に、これらのＸ軸、Ｙ軸から等距離にある座標の成分を指すものである。

また、この斜め方向の周波数成分を減衰させるとは、当該画像平面において、Ｘ軸、Ｙ軸から等距離にある４つの座標を含む成分を除去すること、正確には、画像平面の原点を中心にＸ軸、Ｙ軸から等距離にある４つの座標を頂点とする正方形から、当該正方形の各辺とＸ軸およびＹ軸とが交差する４つの交差点を結んでなる９０度回転した正方形を減じた領域の成分（高域成分）を取り除くことである。

この斜め方向の周波数成分を減衰させた後に、符号化手段５で符号化した符号化画像を、復号した場合には、斜め方向の周波数成分が減衰したとしても、人間の視覚にあまり影響を及ぼさないので、画質の精細感の減少を抑制することができ、画質劣化を防止することができる。

このプリフィルタ手段３１では、予め有しているフィルタで設定されているフィルタ係数によって、斜め方向の周波数成分を減衰させる量が決まっている。

符号化手段５は、圧縮符号化前置処理装置３から出力された動画像を符号化するものである。この符号化手段５で採用している圧縮符号化方式は、ＭＰＥＧ−２、Ｈ．２６４等である。

ここで、図３を参照して、プリフィルタ手段３１に備えられているフィルタ（２次元ローパスフィルタ）のフィルタ特性について説明する。図２に示したように、フィルタ特性は、水平方向Ｆｘと、垂直方向Ｆｙと、レベル方向（“大きさ”を示すＭａｇｎｉｔｕｄｅ、以下、Ｍａ（出力レベルＭａ）と記す）とからなる座標空間上において、交差する曲線によって描画した凹凸のある面を成している。

この図３に示したフィルタ特性は、座標空間上において（Ｆｘ，Ｆｙ，Ｍａ）＝（０，０，２）、（０，−１，２）、（−１，０，２）、（０，１，２）、（１，０，２）の座標をとる。つまり、（Ｆｘ，Ｆｙ）＝（０，０）、（０，−１）、（−１，０）、（０，１）および（１，０）の場合、出力レベル（通過レベル）Ｍａが“２”となる。また、フィルタ特性は、座標空間上において（Ｆｘ，Ｆｙ，Ｍａ）＝（−１，−１，０）、（１，−１，０）、（−１，１，０）、（１，１，０）の座標をとる。つまり、（Ｆｘ，Ｆｙ）＝（−１，−１）、（１，−１）、（−１，１）および（１，１）の場合、出力レベルＭａが“０”となる。

そして、プリフィルタ手段３１に備えられているフィルタのフィルタ特性が、このような値をとることで、斜め方向の周波数成分を減衰させることができる。

〈圧縮符号化装置の構成、その２〉
図２は、圧縮符号化装置（圧縮符号化前置処理装置（第二実施形態）を内包）のブロック図である。この図２に示すように、圧縮符号化装置１Ａは、圧縮符号化前置処理装置３Ａと、符号化手段５とを備えている。なお、圧縮符号化装置１Ａにおいて、図１に示した圧縮符号化装置１と同様の構成は、同一の符号を付して、説明を省略する。

圧縮符号化前置処理装置３Ａは、入力映像（動画像）を圧縮符号化する前に、当該入力映像、すなわち、動画像を構成する画像の画素数を削減すると共に、当初の画像サイズを縮小するもので、プリフィルタ手段３１と、画素間引手段３２と、画素間隙間詰め手段３３とを備えている。この圧縮符号化前置処理装置３Ａは、圧縮符号化装置１Ａに内包されていても、外付けされていてもよい。図１に示した圧縮符号化前置処理装置３と同様の構成は、同一の符号を付して、説明を省略する。

画素間引手段３２は、プリフィルタ手段３１で斜め方向の周波数成分が減衰された画像信号について、水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返すことで、画像信号の画素を間引くものである。

水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返すとは、水平周波数（水平方向の周波数成分）をｕ（Ｘ軸）に、垂直周波数（垂直方向の周波数成分）をｖ（Ｙ軸）として、ＸＹ軸からなる画像平面を想定した場合に、当該画像平面の原点を中心にＸ軸、Ｙ軸から等距離にある４つの座標を頂点とする正方形の各辺とＸ軸およびＹ軸とが交差する４つの交差点を結んでなる９０度回転した正方形において、当該交点と原点との中点を通るいずれかの直線（Ｘ軸に平行な２つの直線またはＹ軸に平行な２つの直線）を折り返し線として、高域の周波数成分を、低域の周波数成分に埋め込む（割り当てる）ことである。

画素間隙間詰め手段３３は、画素間引手段３２で画像信号の画素が間引かれた隙間を詰めるものである。つまり、この画素間隙間詰め手段３３によって、プリフィルタ手段３１および画素間引手段３２で斜め方向の周波数成分が減衰され、水平の高域周波数成分を垂直の高域周波数成分に折り返された、または、垂直の高域周波数成分を水平の高域周波数成分に折り返された動画像の画像サイズが縮小されることになる。

画素が間引かれた隙間を詰めるとは、水平周波数（水平方向の周波数成分）をｕ（Ｘ軸）に、垂直周波数（垂直方向の周波数成分）をｖ（Ｙ軸）として、ＸＹ軸からなる画像平面を想定した場合に、当該画像平面の原点を中心にＸ軸、Ｙ軸から等距離にある４つの座標を頂点とする正方形において、当該正方形の各辺とＸ軸およびＹ軸とが交差する４つの交差点の中で、原点からＸ軸との交差点またはＹ軸との交差点までの距離を半分にすることである。

これより、図４、図５を参照して、プリフィルタ手段３１の構成例と、処理の概略について説明する（適宜、図１または図２参照）。
図４（ａ）に示すように、プリフィルタ手段３１は、フィールドメモリ３１１と、２次元フィルタ３１２とを備えている。この図４（ａ）に示したプリフィルタ手段３１では入力映像として、インターレース画像を採用している。

フィールドメモリ３１１は、入力映像（インターレース画像）のフィールド画像を記憶しておき、所定単位時間（次の１フィールド画像が２次元フィルタ３１２に入力するまで）遅延させて、２次元フィルタ３１２に出力するものである。このフィールドメモリ３１１は、少なくとも１フィールド画像を記憶可能な容量を有したフレームメモリやバッファ等で構成されている。

なお、インターレース画像は、図４（ｂ）に示すように、実線で示した走査線上に配置される複数の画素からなる現フィールド画像（現時刻のフィールド画像）と、点線で示した走査線上に配置される複数の画素からなる１フィールド前のフィールド画像とから構成されることとなる。つまり、インターレース画像は、図４（ｃ）に示すように、第１フィールド画像（現フィールド画像（１））と第２フィールド画像（１フィールド前のフィール画像（２））とから１フレームを構成している。以下、同様に、インターレース画像は、第１フィールド画像（現フィールド画像（３））と第２フィールド画像（１フィールド前のフィール画像（４））とから１フレームを構成しており、第１フィールド画像（現フィールド画像（５））と第２フィールド画像（１フィールド前のフィール画像（６））とから１フレームを構成している。なお、１フィールド前のフィールド画像を遅延フィールド画像と呼称することとする。

２次元フィルタ３１２は、フィールドメモリ３１１から出力された遅延フィールド画像と、インターレース画像の現フィールド画像とからなる連続するフィールド画像で、フィルタリング処理を行うものである。ここでは、フィルタリング処理は、現フィールド画像および遅延フィールド画像において、当該現フィールド画像および当該遅延フィールド画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させることである。

また、図５（ａ）に示すように、プリフィルタ手段３１は、フィールドメモリ（第一フィールドメモリ）３１３と、フィールドメモリ（第二フィールドメモリ）３１４と、切替スイッチ３１５と、２次元フィルタ３１６とを備えている。この図５（ａ）に示したプリフィルタ手段３１では入力映像として、インターレース画像を採用している。

フィールドメモリ３１３は、入力映像（インターレース画像）のフィールド画像を記憶しておき、所定単位時間遅延させて、フィールドメモリ３１４と、２次元フィルタ３１６とに出力するものである。このフィールドメモリ３１３は、少なくとも１フィールド画像を記憶可能な容量を有したフレームメモリやバッファ等で構成されている。なお、フィールドメモリ３１３から出力されたフィールド画像を、第一遅延フィールド画像と呼称することとする。

フィールドメモリ３１４は、フィールドメモリ３１３から出力された第一遅延フィール画像を記憶しておき、所定単位時間遅延させて、切替スイッチ３１５に出力するものである。このフィールドメモリ３１４は、少なくとも１フィールド画像を記憶可能な容量を有したフレームメモリやバッファ等で構成されている。なお、フィールドメモリ３１４から出力されたフィールド画像を、第二遅延フィールド画像と呼称することとする。

切替スイッチ３１５は、入力映像（インターレース画像）の現時刻のフィールド画像である現フィールド画像と、フィールドメモリ３１４から出力された第二遅延フィールド画像とを、フィールド画像ごとに切り替えて、２次元フィルタ３１６に出力するものである。この切替スイッチ３１５がａ側に接続された場合、現フィールド画像が２次元フィルタ３１６に出力され、切替スイッチ３１５がｂ側に接続された場合、第二遅延フィールド画像が２次元フィルタ３１６に出力される。

なお、この切替スイッチ３１５の切替は、現フィールド画像とフィールドメモリ３１３から出力された第一遅延フィールド画像とが、または、フィールドメモリ３１３から出力された第一遅延フィールド画像とフィールドメモリ３１４から出力された第二遅延フィールド画像とが、必ずフレーム単位（フレーム画像単位）になるように行われる。

２次元フィルタ３１６は、切替スイッチ３１５から出力されたインターレース画像の現フレーム画像、または、フィールドメモリ３１４から出力された第二遅延フィールド画像と、フィールドメモリ３１３から出力された第一遅延フィールド画像とからなるフレーム単位で、フィルタリング処理を行うものである。ここでは、フィルタリング処理は、現フィールド画像または第二遅延フィールド画像と、第一遅延フィールド画像とにおいて、当該現フィールド画像または第二遅延フィールド画像と当該第一遅延フィールド画像とを構成する周波数成分のうち、斜め方向の周波数成分を減衰させることである。

なお、図５（ｂ）（ｃ）に示すように、２次元フィルタ３１６に入力されるフィールド画像は、切替スイッチ３１５から出力された現フィールド画像（３）と、フィールドメモリ３１３から出力された第一遅延フィールド画像（２）とであり、これらが２次元フィルタ３１６にて１つのフレームとして処理される。また、２次元フィルタ３１６に入力されるフィールド画像は、切替スイッチ３１５から出力された現フィールド画像（２）と、フィールドメモリ３１３から出力された第一遅延フィールド画像（１）とであり、これらが２次元フィルタ３１６にて１つのフレームとして処理される。

図１に示した圧縮符号化前置処理装置３によれば、プリフィルタ手段３１によって、人間の視覚上、画質劣化が認識しくい斜め方向の周波数成分を減衰（低減）することで、動画像を符号化する際の発生情報量を低減できる。つまり、符号化画像の情報量を抑制することができるので、動画像の圧縮率が高くなった対応することでき、さらに、斜め方向の周波数成分画素を減衰しているので、画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

図２に示した圧縮符号化前置処理装置３Ａによれば、プリフィルタ手段３１によって、人間の視覚上、画質劣化が認識しくい斜め方向の周波数成分を減衰（低減）することで、動画像を符号化する際の発生情報量を低減できる。さらに、画素間引手段３２によって画素を間引いて、画素間隙間詰め手段３３によって、画素間の隙間を詰めているので、動画像を符号化する際の圧縮率を高くして、符号化した符号化画像を低ビットレートで伝送しても、画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

また、図１または図２に示した圧縮符号化前置処理装置３、３Ａによれば、インターレース画像が入力された場合に、プリフィルタ手段３１のフィールドメモリ３１１により、当該インターレース画像において、一方のフィールド画像を所定単位時間遅延させて、２次元フィルタ３１２によって、他方のフィールド画像と共に連続するフィールド画像単位で、フィルタリングを行うことで、効率よく斜め方向の周波数成分を減衰でき、画質劣化を防止することができる。

また、図１または図２に示した圧縮符号化前置処理装置３または圧縮符号化前置処理装置３Ａによれば、インターレース画像が入力された場合に、プリフィルタ手段３１の切替スイッチ３１５により、フィルタリングを行う単位が、フレーム画像単位になるように、つまり、入力された現時刻の現フィールド画像と、フィールドメモリ３１４に記憶されて所定単位時間遅延された第二遅延フィールド画像とを切り替えて出力し、出力されたフィールド画像と、フィールドメモリ３１３に記憶に記憶されて所定単位時間遅延された第一遅延フィールド画像とからなるフレーム単位で、２次元フィルタ３１６にてフィルタリングを行うことで、効率よく斜め方向の周波数成分を減衰でき、画質劣化を防止することができる。

さらに、図１または図２に示した圧縮符号化装置１または圧縮符号化装置１Ａによれば、従来の圧縮符号化方式を採用して、これまで以上に低ビットレートで伝送した場合であっても、予め、圧縮符号化前置処理装置３、３Ａによって、動画像の斜め方向の周波数成分を減衰しておくことで、復号化後の復号化画像に画質劣化が生じないように、動画像を符号化して伝送することができる。

〈圧縮符号化前置処理装置の動作、その１〉
次に、図６に示すフローチャートを参照して、図１に示した圧縮符号化前置処理装置３の動作について説明する（適宜、図１参照）。
圧縮符号化前置処理装置３は、プリフィルタ手段３１によって、斜め方向の周波数成分を減衰させる（ステップＳ１）。

続いて、圧縮符号化前置処理装置３は、この斜め方向の周波数成分を減衰された画像信号を、圧縮符号化装置１の符号化手段５に出力する。

〈圧縮符号化前置処理装置の動作、その２〉
次に、図７に示すフローチャートを参照して、図２に示した圧縮符号化前置処理装置３Ａの動作について説明する（適宜、図２参照）。
まず、圧縮符号化前置処理装置３Ａは、プリフィルタ手段３１によって、斜め方向の周波数成分を減衰させる（ステップＳ１１）。

続いて、圧縮符号化前置処理装置３Ａは、画素間引手段３２によって、斜め方向の周波数成分が減衰された画像信号について、水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返す（ステップＳ１２）。
そして、圧縮符号化前置処理装置３Ａは、画素間隙間詰め手段３３によって、画素間引手段３２で間引いた画素の隙間を詰める（ステップＳ１３）。

次に、符号化画像を復号化する伸長復号化装置について説明する。
〈伸長復号化装置の構成、その１〉
図８は、伸長復号化装置（伸長復号化後置処理装置（第一実施形態）を内包）のブロック図である。この伸長復号化装置７は、復号化手段９と、伸長復号化後置処理装置１１とを備えている。

復号化手段９は、入力された符号化画像を、復号化するものである。この復号化手段９で採用している伸長復号化方式は、ＭＰＥＧ−２、Ｈ．２６４等である。つまり、符号化画像が符号化された際の圧縮符号化方式に対応した伸長復号化方式であればよい。なお、この復号化手段９に入力される符号化画像は、図１に示した圧縮符号化装置１で符号化されたものである。

伸長復号化後置処理装置１１は、復号化手段９で復号化された復号化画像を、元の動画像に近似させるもので、補間フィルタ手段１１１を備えている。
補間フィルタ手段１１１は、復号化画像において、斜め方向に生じた雑音成分を除去するものである。つまり、この補間フィルタ手段１１１は、復号化した際に生じた雑音成分を除去することで、当初の動画像（送信側で符号化される前）に近似した出力映像（再生画像）を出力するものである。

〈伸長復号化装置の構成、その２〉
図９は、伸長復号化装置（伸長復号化後置処理装置（第二実施形態）を内包）のブロック図である。この伸長復号化装置７Ａは、復号化手段９と、伸長復号化後置処理装置１１Ａとを備えている。復号化手段９は、図８に示したものと同様であるので、同一の符号を付して説明を省略する。なお、この復号化手段９に入力される符号化画像は、図２に示した圧縮符号化装置１Ａで符号化されたものである。

伸長復号化後置処理装置１１Ａは、復号化手段９で復号化された復号化画像を、元の動画像に近似させるもので、画素間隙間確保手段１１２と、画素付加手段１１３と、補間フィルタ手段１１１とを備えている。なお、補間フィルタ手段１１１は、図８に示したものと同様であるので、同一の符号を付して説明を省略する。

画素間隙間確保手段１１２は、復号化手段９によって復号化した復号化画像が、図２に示した圧縮符号化装置１Ａで、画素間の隙間が詰められた符号化画像を復号化したものであり、この詰められた画素間の隙間を、予め設定した隙間だけ確保するものである。

つまり、この画素間隙間確保手段１１２は、水平線上（走査線上）の水平方向（右または左）に、復号化画像に含まれている画素を移動させて、予め設定した隙間（１ないし３画素分の隙間）を確保するものである。

画素付加手段１１３は、画素間隙間確保手段１１２で隙間が確保された位置に、予め設定した画素を付加するものである。予め設定した画素とは、画素値がゼロの画素である。つまり、この画素付加手段１１３は、符号化側（圧縮符号化装置１Ａ）の画素間引手段３２で水平の高域周波数成分が垂直の高域周波数成分に折り返された、または、垂直の高域周波数成分が水平の高域周波数成分に折り返されたものを、逆に折り返すことで、復号化画像の画素を付加するものである。

そして、補間フィルタ手段１１１は、画素付加手段１１３で水平の高域周波数成分または垂直の高域周波数成分が逆に折り返される際に、斜め方向に生じる雑音成分を除去している。

図８に示した伸長復号化後置処理装置７によれば、符号化前に斜め方向の周波数成分が減衰された後に圧縮された、圧縮率の高い符号化画像であっても、補間フィルタ手段１１１によって、復号化した際に斜め方向に生じる雑音成分を除去しているので、復号化画像の画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

図９に示した伸長復号化後置処理装置７Ａによれば、画像間隙間確保手段１１２によって、符号化画像を復号化した復号化画像の画素間に予め設定した隙間を確保し、画素付加手段１１３によって、確保した隙間に予め設定した画素を付加して、補間フィルタ手段１１１によって、復号化した際に斜め方向に生じる雑音成分を除去しているので、復号化画像の画質の精細感の減少やブロックノイズの発生を抑制することができ、画質劣化を防止することができる。

また、図８または図９に示した伸長復号化装置７または伸長復号化装置７Ａによれば、従来の圧縮符号化方式を採用して、これまで以上の低ビットレートで伝送された符号化画像であっても復号化した後、伸長復号化後置処理装置１１または伸長復号化後置処理装置１１Ａによって、復号化した際に復号化画像の斜め方向に生じた雑音成分を除去しているので、復号化画像を元の動画像に近似することができる。

〈伸長復号化後置処理装置の動作、その１〉
次に、図１０に示すフローチャートを参照して、図８に示した伸長復号化後置処理装置１１の動作について説明する（適宜、図８参照）。
まず、伸長復号化後置処理装置１１は、補間フィルタ手段１１１によって、復号化した際に斜め方向に生じた雑音成分を除去する（ステップＳ２１）。

続いて、伸長復号化後置処理装置１１は、補間フィルタ手段１１１で雑音成分が除去された復号化画像を、出力映像（再生画像）として、外部に出力する。

〈伸長復号化後置処理装置の動作、その２〉
次に、図１１に示すフローチャートを参照して、図９に示した伸長復号化後置処理装置１１Ａの動作について説明する（適宜、図９参照）。
まず、伸長復号化後置処理装置１１Ａは、画素間隙間確保手段１１２によって、復号化画像の画素間の隙間を開ける（確保する）（ステップＳ３１）。そして、伸長復号化後置処理装置１１Ａは、画素付加手段１１３によって、画素間隙間確保手段１１２で確保された隙間に、予め設定した画素を付加する（ステップＳ３２）。

そして、伸長復号化後置処理装置１１Ａは、補間フィルタ手段１１１によって、入力された符号化画像が復号化手段９で復号化された復号化画像において、復号化した際に斜め方向に生じた雑音成分を除去する（ステップＳ３３）。

〈補足〉
次に、図１２を参照して、プリフィルタ手段３１における処理について補足説明をする（適宜、図１，図２参照）。図１２は、一般のフィルタを想定して、１次元信号を処理する例について説明した図である。フィルタ入力をａ（１）、ａ（２）、ａ（３）、ａ（４）、・・・となる時系列信号が存在する場合を想定し、この時系列信号にフィルタ処理を行った結果であるフィルタ出力をｂ（１）、ｂ（２）、ｂ（３）、ｂ（４）、・・・とする。

ここでは、最も簡単なフィルタを想定し、フィルタ入力とフィルタ出力との関係を数式化すると、ｂ（ｉ）＝（ａ（ｉ）＋ａ（ｉ＋１））／２となる。このような最も簡単なフィルタにおいて、通常の線形処理は、この図１２に示すように、一定の遅延を設けることによって、成り立っている。しかし、プリフィルタ手段３１では、フィルタ出力であるｂ（１）とｂ（２）とが同一になる。

この図１２に示した例では、１次元信号であるので、プリフィルタ手段３のフィルタ出力であるｂ（１）とｂ（２）とが同じになることは、一見無意味なように見えるが、実際の動画像では、フィルタ出力の空間的な位置が異なる（走査線上の位置が異なる）ので、同じ値が２度出力されることはない。それゆえ、プリフィルタ手段３１のように、１フレーム（２フィールド）単位で動画像を処理する２次元フィルタが構成可能となる。このプリフィルタ手段３１のメリットは、フレーム単位で処理が完結しているので、動画像を符号化する際の動き情報に制限が加わることであり、この結果、圧縮符号化手段５に入力される情報量を削減することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、圧縮符号化前置処理装置３、３Ａや、伸長復号化後置処理装置１１、１１Ａとして圧縮符号化装置１，１Ａや伸長復号化装置７、７Ａに内包する形態で構成したが、別体として構成してもよい。

本発明の実施形態に係る圧縮符号化装置（圧縮符号化前置処理装置（第一実施形態）を内包）のブロック図である。 本発明の実施形態に係る圧縮符号化装置（圧縮符号化前置処理装置（第二実施形態）を内包）のブロック図である。 プリフィルタ手段に備えられているフィルタ（２次元ローパスフィルタ）のフィルタ特性について説明した図である。 プリフィルタ手段の構成例と、処理の概略とについて説明した図である。 プリフィルタ手段の構成例と、処理の概略とについて説明した図である。 図１に示した圧縮符号化前置処理装置の動作を説明したフローチャートである。 図２に示した圧縮符号化前置処理装置の動作を説明したフローチャートである。 本発明の実施形態に係る伸長復号化装置（伸長復号化後置処理装置（第一実施形態）を内包）のブロック図である。 本発明の実施形態に係る伸長復号化装置（伸長復号化後置処理装置（第二実施形態）を内包）のブロック図である。 図８に示した伸長復号化後置処理装置の動作を説明したフローチャートである。 図９に示した伸長復号化後置処理装置の動作を説明したフローチャートである。 一般のフィルタを想定して、１次元信号を処理する例について説明した図である。

符号の説明

１、１Ａ 圧縮符号化装置
３、３Ａ 圧縮符号化前置処理装置
５ 符号化手段
７、７Ａ 伸長復号化装置
９ 復号化手段
１１、１１Ａ 伸長復号化後置処理装置
３１ プリフィルタ手段
３２ 画素間引手段
３３ 画素間隙間詰め手段
１１１ 補間フィルタ手段
１１２ 画素間隙間確保手段
１１３ 画素付加手段
３１１ フィールドメモリ
３１２ ２次元フィルタ
３１３ フィールドメモリ（第一フィールドメモリ）
３１４ フィールドメモリ（第二フィールドメモリ）
３１５ 切替スイッチ
３１６ ２次元フィルタ

Claims (8)

1. 動画像の圧縮符号化を行う前に、当該動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させるプリフィルタ手段を備えることを特徴とする圧縮符号化前置処理装置。
2. 動画像の圧縮符号化を行う前に、当該動画像を構成する各画像の画素数を低減する圧縮符号化前置処理装置であって、
   前記画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させるプリフィルタ手段と、
   このプリフィルタ手段で減衰された斜め方向の周波数成分が減衰された画像信号について、水平の高域周波数成分を垂直の高域周波数成分に折り返す、または、垂直の高域周波数成分を水平の高域周波数成分に折り返すことで、前記画像信号の画素を間引く画素間引手段と、
   この画素間引手段で間引いた画素の隙間を詰める画素間隙間詰め手段と、
   を備えることを特徴とする圧縮符号化前置処理装置。
3. 前記プリフィルタ手段は、前記動画像がインターレース画像である場合に、
   前記インターレース画像のフィールド画像を遅延させるフィールドメモリと、
   このフィールドメモリで所定単位時間遅延されたフィールド画像と、入力された現時刻のフィールド画像とからなる連続するフィールド画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させる２次元フィルタと、
   を備えること特徴とする請求項１または請求項２に記載の圧縮符号化前置処理装置。
4. 前記プリフィルタ手段は、
   前記動画像のフィールド画像を遅延させる第一フィールドメモリと、
   この第一フィールドメモリから出力されたフィールド画像を遅延させる第二フィールドメモリと、
   この第二フィールドメモリで所定単位時間遅延されたフィールド画像と、入力された現時刻のフィールド画像とがフレーム画像単位になるように切り替える切替スイッチと、
   この切替スイッチが切り替えられて出力されるフィールド画像と、前記第一フィールドメモリで記憶されて所定単位時間遅延されたフィールド画像とからなるフレーム画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させる２次元フィルタと、
   を備えることを特徴とする請求項１または請求項２に記載の圧縮符号化前置処理装置。
5. 動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させた後、当該動画像が圧縮符号化された符号化画像を、復号化した後に、元の動画像に近似させる伸長復号化後置処理装置であって、
   前記符号化画像が復号化された復号化画像において、前記斜め方向に生じた雑音成分を除去する補間フィルタ手段
   を備えることを特徴とする伸長復号化後置処理装置。
6. 動画像を成す画像を構成する周波数成分のうち、斜め方向の周波数成分を減衰させ、当該斜め方向の周波数成分が減衰された画像信号の画素が間引かれ、この間引かれた隙間が詰められた後、当該動画像が圧縮符号化された符号化画像を、復号化した後に、元の動画像に近似させる伸長復号化後置処理装置であって、
   前記符号化画像が復号化された復号化画像の画素間に、予め設定した隙間を確保する画素間隙間確保手段と、
   この画素間隙間確保手段で隙間が確保された位置に、予め設定した画素を付加する画素付加手段と、
   この画素付加手段で付加された画素に該当する斜め方向に生じた雑音成分を除去する補間フィルタ手段と、
   を備えることを特徴とする伸長復号化後置処理装置。
7. 請求項１から請求項４のいずれか一項に記載の圧縮符号化前置処理装置と、
   この圧縮符号化前置処理装置から出力された動画像を、圧縮符号化する符号化手段と、を備えることを特徴とする圧縮符号化装置。
8. 請求項７に記載の圧縮符号化装置から出力された符号化画像を、復号化する復号化手段と、
   請求項５または請求項６に記載の伸長復号化後置処理装置と、
   を備えることを特徴とする伸長復号化装置。

Images