JP2010258991A - 符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】サブサンプリング画像を非可逆圧縮する際に、符号化効率を劣化させることなく、視覚感度の高い最高周波数の１／２近傍の周波数成分に係る画質を改善する、符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムを提供する。
【解決手段】本発明による符号化用の前処理装置１は、２次元周波数空間における低域側周波数領域から、水平及び垂直周波数の最大周波数の３／４以上の高周波成分をそれぞれ抽出する高周波成分抽出器１２ｂ，１２ｅと、抽出した高周波成分の各々を、帯域外領域内の領域のうち、水平及び垂直の最大周波数の１／２以上であり、且つ３／４以下の領域にそれぞれ配置変換する配置変換１２ｃ，１２ｆと、低域側周波数領域の周波数成分から当該抽出した高周波成分の各々を差分した差分周波数成分と、配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を３／４倍に間引くサンプリングレート変換器１３とを備える。
【選択図】図１

Description

本発明は、サブサンプリング画像信号を非可逆符号化する際の符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムに関するものであり、特に、符号化効率を劣化させることなく、視覚感度の高い最高周波数の１／２近傍の周波数成分に係る画質を改善する、符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムに関するものである。

スーパーハイビジョン等の映像を符号化するための符号化システムでは、扱う符号量が膨大であるため、サブサンプリング（半画素ずらし）法で符号量を低減した後に、標準化されたＨ．２６４等のコーデックを使用して符号化するのが常套手段となっている。

サブサンプリング法は、水平又は垂直方向に１画素ごとに半画素ずらして画素を間引く符号化・前処理の１つとしての技法であり、これにより元画像の符号量を簡便に半減させることができる。しかしながら、サブサンプリング法によれば、例えば間引く前の元画像の水平又は垂直方向の直線はジグザグに変形されることがある。このジグザグに変形されたデータを非可逆符号化した場合、このデータは元の直線に対して斜め方向の成分が抑圧された直線として符号化される。一方、このデータを復号時には、単なる直線として復号するため、復号化・後処理として、サブサンプリング法に基づいて元画像の復元を行なうと、水平又は垂直方向に１画素ごとに符号化・前処理時とは逆方向に半画素ずらして元の位置に戻すことになる。従って、元画像では直線であったデータがジグザグに復元されるために画質の劣化が生じる。この問題を解決するために、半画素ごとに半画素ずらしを行なう方向とは逆方向へ１／４画素ずつ移動して並べ替える方法が提案され、画質の改善が図られている（例えば、特許文献１参照）。

特許第３９５８４９３号明細書

しかし、特許文献１の技法ではジグザグ変形による画質劣化の問題は解決することができるが、元画像の画素数で決まる最大周波数の１／２近傍の周波数成分が抑圧されることによる画質劣化は解決されない。最大周波数の１／２近傍の周波数成分は、画像を視聴する際の視覚感度として高いために、この成分の劣化を如何にして改善するかが問題となる。

より具体的には、図７に示すように、元画像の画像信号の２次元周波数空間（水平周波数成分，垂直周波数成分）において、元画像の画素数で決まる最大周波数を１として正規化したとき、（０，０）と（０，１）と（１，０）とからなる周波数領域（以下、「低域側周波数領域」と称する）と、低域側周波数領域の帯域外となる（１，０）と（０，１）と（１，１）とからなる周波数領域（以下、「帯域外領域」と称する）とに分けることができる。図７に示すように、符号化器は、符号化・前処理（サブサンプリング法）によって画素数を半減させた方向の高周波成分領域（１）を帯域外領域内の領域（２）に折り返したデータについて、符号化する。これは、領域（１）の成分のうち、視覚感度の高い最大周波数の１／２であるＣ点近傍の成分はＤ点近傍に移動することを意味する。しかしながら、通常、符号化器においてＤ点近傍の成分に対して割り当てられるビットは、より低周波であるＣ点近傍の成分と比較して小さく設定される。従って、符号化データを復号したデータについて元画像を復元するにあたり、復号化・後処理によって元の領域（１）に戻すことになるため、領域（１）における視覚感度の高いＣ点近傍の成分が抑圧されて復元され、画質の劣化となる。

また、民生用のデジタルビデオカメラやデジタルスチルカメラでは、そのほとんどが単板式撮像素子を採用しており、輝度又は最も輝度に寄与する緑の信号はサブサンプリング法によって半画素ずらされた画像信号として撮像系から出力される。この場合、出力された画像信号は、符号化・前処理の１つとしてデ・モザイキングされ、その後Ｈ．２６４、ＭＰＥＧ２又はＪＰＥＧ等のコーデックを使用して符号化される。

しかしながら、このデ・モザイキングを用いる技法では、デ・モザイキングによって、サブサンプリング法による画像信号（即ち、「低域側周波数領域」の成分）が本来成分を持たない２次元周波数のサブサンプリング帯域外の画像信号（即ち、「帯域外領域」の成分）を強制的に生成することになる。従って、全周波数領域の信号として圧縮符号化することは、サブサンプリング法による画像信号を符号化する符号量が増加し、符号化効率の低下につながる。

そこで、本発明の目的は、符号化効率を劣化させることなく、視覚感度の高い最高周波数の１／２近傍の周波数成分に係る画質を改善する、符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムを提供することにある。

上記課題を解決するために、本発明の前処理装置を提供する。本発明の前処理装置は、符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置であって、２次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の３／４以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外である帯域外領域内の領域のうち、水平及び垂直の最大周波数の１／２以上であり、且つ３／４以下の領域にそれぞれ配置変換する配置変換手段と、前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を３／４倍に間引くサンプリングレート変換手段と、
を備えることを特徴とする。また、本発明の符号化装置は、本発明の前処理装置と、前記サンプリングレート変換手段によって間引いた画像信号を符号化する符号化手段とを備えることを特徴とする。

また、本発明の後処理装置は、本発明の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置であって、該画像信号を入力して画素数を４／３倍に拡張するサンプリングレート変換手段と、当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出する帯域外成分抽出手段と、当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の１／２以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の３／４以上の領域にそれぞれ配置変換する配置変換手段と、当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元する信号加算手段とを備えることを特徴とする。また、本発明の復号装置は、本発明の符号化装置によって符号化された画像信号をする復号手段と、該復号された画像信号に対して後処理を行う本発明の後処理装置とを備えることを特徴とする。

更に、本発明は、符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置として構成するコンピュータに、２次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の３／４以上の高周波成分をそれぞれ抽出するステップと、抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の１／２以上であり、且つ３／４以下の領域にそれぞれ配置変換するステップと、前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を３／４倍に間引いてサンプリングレート変換するステップとを実行させるためのプログラムとしても特徴付けられる。

更に、本発明は、本発明の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置として構成するコンピュータに、該画像信号を入力して画素数を４／３倍に拡張してサンプリングレート変換するステップと、当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出するステップと、当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の１／２以上の高周波成分をそれぞれ抽出するステップと、抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の３／４以上の領域にそれぞれ配置変換するステップと、当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元するステップとを実行させるための後処理プログラムとしても特徴付けられる。

本発明によれば、符号化効率を劣化させることなく、視覚感度の高い最高周波数の１／２近傍の周波数成分に係る画質を改善することができる。

特に、単板式撮像素子等から得られるサブサンプリング画像信号を、デ・モザイキングすることなくＨ．２６４、ＭＰＥＧ２又はＪＰＥＧ等のコーデックを使用して非可逆符号化を施すことができる。

更に、サブサンプリングされていない信号に対しても、伝送又は蓄積される情報量を低減することができる。

本発明の一実施例による符号化装置のブロック図である。 本発明の一実施例による復号装置のブロック図である。 本発明の一実施例によるサブサンプリング信号の２次元高周波成分の配置変換を示す図である。 前処理装置の水平周波数２次元周波数配置変換器による、水平高周波成分の配置変換過程を示している。 前処理装置の水平周波数２次元周波数配置変換器の信号処理を示している。 本発明の一実施例による前処理装置の動作フローチャートである。 本発明の一実施例による後処理装置の動作フローチャートである。 従来技術における２次元高周波成分の折り返しを示している。

以下に、本発明による一実施例の符号化装置（符号化・前処理用の前処理装置を含む）、及び復号装置（復号化・後処理用の後処理装置を含む）について、図１〜図６を参照して具体的に説明する。

図１は、本発明による一実施例の符号化装置１００のブロック図を示している。

[符号化装置]
本実施例による符号化装置１００は、符号化・前処理用の前処理装置１と、符号化器３とを備える。また、前処理装置１は、２次元フィルター１１と、２次元周波数配置変換器１２と、水平・垂直サンプリングレート３／４変換器１３とを備える。更に、２次元周波数配置変換器１２は、水平高周波成分除去器１２ａと、水平高周波成分抽出器１２ｂと、水平高周波成分２次元周波数配置変換器１２ｃと、垂直高周波成分除去器１２ｄと、垂直高周波成分抽出器１２ｅと、垂直高周波成分２次元周波数配置変換器１２ｆと、信号加算器１２ｇとを備えている。

次に、符号化装置１００の各構成要素を説明する。

２次元フィルター１１は、任意の符号化対象画像（元画像）の画像信号の周波数成分を入力して低域側周波数領域内の周波数成分に変換し、２次元周波数配置変換器１２に送出する機能を有する。例えば、２次元フィルター１１は、当該符号化対象画像の周波数成分がサブサンプリングされておらず、且つ２次元周波数空間の帯域外領域の成分（以下、「帯域外成分」と称する）を含む場合には当該帯域外成分を削除することにより、「低域側周波数領域」の周波数成分に変換する。或いは又、２次元フィルター１１は、当該符号化対象画像の周波数成分がサブサンプリングされている（半画素ずらし用に間引かれている）場合には、間引かれた画素を内挿することにより、「低域側周波数領域」の周波数成分に変換する。或いは又、任意の符号化対象画像（元画像）の画像信号の周波数成分が、既に「低域側周波数領域」の周波数成分に変換されている場合には、この２次元フィルター１１は不要である。好適には、帯域制限がコサイン・ロールオフフィルタの周波数特性の場合に最良の再生画質が得られる。尚、既に「低域側周波数領域」の周波数成分に変換されている場合に、２次元フィルター１１の係数をパススルーに設定するように構成することもできる。以下、「低域側周波数領域」の周波数成分を低域側周波数領域信号と称する。

２次元周波数配置変換器１２は、２次元フィルター１１から供給される低域側周波数領域信号から、サブサンプリング帯域内にある水平及び垂直の最高周波数の３／４以上の帯域の成分を、サブサンプリング帯域外にある最高周波数の１／２以上、且つ３／４以下の帯域にそれぞれ配置変換し、低域側周波数領域の周波数成分から当該抽出した高周波成分の各々を差分した差分周波数成分の画像信号と、当該配置変換された周波数成分の各々の画像信号とを加算して得られる画像信号を、水平・垂直サンプリングレート３／４変換器１３に出力する。

水平・垂直サンプリングレート３／４変換器１３は、２次元周波数配置変換器１２から供給される画像信号から、水平又は垂直の画素数をそれぞれ３／４倍に間引いてサンプリングレート変換を施し、符号化器３に出力する。

符号化器３は、Ｈ．２６４、ＭＰＥＧ２又はＪＰＥＧ等のコーデックを使用して非可逆符号化を施す。符号化器３から出力される信号は、伝送装置（図示せず）で送信されるか、又は記憶装置（図示せず）に蓄積することができる。

より詳細に、前処理装置１の一部を構成する２次元周波数配置変換器１２の各構成要素について説明する。

水平高周波成分除去器１２ａは、入力した低域側周波数領域信号から、水平周波数が最大周波数の３／４以上の帯域の信号成分を除去し、垂直高周波成分除去器１２ｄ及び垂直高周波成分抽出器１２ｅに出力する。

水平高周波成分抽出器１２ｂは、入力した低域側周波数領域信号から、水平周波数が最大周波数の３／４以下の帯域の信号成分を除去する１次元デジタルフィルターを使用して、最大周波数の３／４以上の高周波成分を抽出し、水平高周波成分２次元周波数配置変換器１２ｃに出力する。尚、水平高周波成分除去器１２ａと水平高周波成分抽出器１２ｂは相補的な処理を行うため、水平高周波成分抽出器１２ｂは元の周波数領域信号と２次元帯域外成分除去器２２ａにより帯域制限された周波数領域信号との差分を計算するだけでよくなる。

水平高周波成分２次元周波数配置変換器１２ｃは、水平高周波成分抽出器１２ｂによって抽出された水平周波数が最大周波数の３／４以上の高周波成分を、サブサンプリング帯域外の水平周波数が最大周波数の１／２以上且つ３／４以下の領域に配置変換し、信号加算器１２ｇに出力する。

垂直高周波成分除去器１２ｄは、入力信号から垂直周波数が最大周波数の３／４以上の帯域の信号成分を除去し、信号加算器１２ｇに出力する。

垂直高周波成分抽出器１２ｅは、入力信号から、垂直周波数が最大周波数の３／４以下の帯域の信号成分を除去する１次元デジタルフィルターを使用して、最大周波数の３／４以上の高周波成分を抽出し、垂直高周波成分２次元周波数配置変換器１２ｆに出力する。

垂直高周波成分２次元周波数配置変換器１２ｆは、入力信号から、垂直最大周波数の３／４以上の高周波成分を、サブサンプリング帯域外の垂直周波数が最大周波数の１／２以上且つ３／４以下の領域に配置変換し、信号加算器１２ｇに出力する。

信号加算器１２ｇは、入力した水平高周波成分２次元周波数配置変換器１２ｃからの周波数成分の画像信号と、垂直高周波成分２次元周波数配置変換器１２ｆからの周波数成分の画像信号と、垂直高周波成分除去器１２ｄからの周波数成分の画像信号を、復号側で分離可能な任意の態様で加算して、水平・垂直サンプリングレート３／４変換器１３に出力する。

本実施例の前処理装置１は、図３に示すように、水平及び垂直の最大周波数の３／４以上の高周波領域を、帯域外領域の（２）及び（４）にそれぞれ配置変換し、更に画素数を３／４倍に間引くことによって、従来技術において生じた最大周波数の１／２周辺の成分に起因する画質劣化を改善し、更にサブサンプリングしてデ・モザイキングした場合の符号量を半減させるものである。

ここで、水平方向の高周波成分の配置返還を行う水平高周波成分２次元周波数配置変換器１２ｃによる信号処理について説明する。

図４ａは、水平高周波成分２次元周波数配置変換器１２ｃにより水平最大周波数の３／４以上の信号領域（１）が帯域外領域（２）に配置変換する過程を示しており、図４ｂはそれぞれの配置での信号成分ａ＿ｉｊ（ｉ，ｊは１以上の整数）を示している。まず、サブサンプリングによって信号が半分に間引かれ、領域（１）の信号は領域（６）に折り返されて、続いて、領域（７）に配置変換される。領域（７）に配置変換された段階での信号は間引かれた状態であるが、帯域幅を元の１／２に制限するデジタルフィルターによって、水平及び垂直の双方に対して信号を内挿する。ここで、ｂ＿ｉｊ（ｉ，ｊは１以上の整数）は内挿された信号成分を示している。その後、折り返されて帯域外領域の領域（２）へと配置変換される。垂直高周波成分２次元周波数配置変換器１２ｆに関しても同様に処理される。本実施例では、水平又は垂直の最大周波数の３／４以上の高周波領域を配置変換する際に、図２に示すように、水平高周波領域（１）を領域（２）に、垂直高周波領域（３）を領域（４）に配置変換しているが、水平高周波領域（１）を領域（４）に、垂直高周波領域（３）を領域（２）に配置変換してもよい。

次に、前処理装置１の動作について説明する。

（前処理装置の動作）
図５は、本実施例の前処理装置１の動作を示すフローチャートである。

まず、ステップＳ５０１にて、２次元フィルター１１により、符号化対象の画像信号から、サブサンプリングされていない場合には２次元周波数空間のサブサンプリング帯域外の帯域外成分を除去する。また、サブサンプリングされている信号に対しては、間引かれた画素を内挿する。

次に、帯域外成分が除去された信号から、ステップＳ５０２にて、水平高周波成分除去器１２ａにより水平周波数が最大周波数の３／４以上の高周波成分を除去するとともに、水平高周波成分抽出器１２ｂにより最大周波数の３／４以上の高周波成分を抽出する。

続いて、ステップＳ５０３にて、水平高周波成分除去器１２ａにより水平高周波成分が除去された信号から、垂直高周波成分除去器１２ｄにより垂直周波数が最大周波数の３／４以上の高周波成分を除去するとともに、垂直高周波成分抽出器１２ｅにより最大周波数の３／４以上の高周波成分を抽出する。

次に、ステップＳ５０４にて、水平高周波成分抽出器１２ｂにより水平高周波成分が抽出された信号から、水平高周波成分２次元周波数配置変換器１２ｃにより、最大周波数の３／４以上の高周波成分を、水平周波数が１／２以上４／３以下のサブサンプリング帯域外に存在する帯域外領域に配置変換する。同様に、垂直成分についても、垂直高周波成分抽出器１２ｅにより垂直高周波成分が抽出された信号から、垂直高周波成分２次元周波数配置変換器１２ｆにより、最大周波数の３／４以上の高周波成分を、垂直周波数が１／２以上４／３以下のサブサンプリング帯域外に存在する帯域外領域に配置変換する。

その後、ステップＳ５０５にて、信号加算器１２ｇにより、水平高周波成分２次元周波数配置変換器１２ｃの出力と、垂直高周波成分２次元周波数配置変換器１２ｆの出力と、垂直高周波成分除去器１２ｄの出力を加算する。

最後に、ステップＳ５０６にて、水平・垂直サンプリングレート３／４変換器１３により、信号加算器１２ｇの出力信号から水平及び垂直の画素数を３／４倍にそれぞれ間引く。

前処理装置１の出力信号は、その後、符号化器３にて符号化された後、外部に伝送されるか、又は蓄積される。復号側では、後述するように、復号化器５にて、伝送された信号を受信するか、又は蓄積された信号を読み出して復号処理を施し、後処理装置２により後処理を行なう。

このように、水平及び垂直の最大周波数の３／４以上の高周波成分を、サブサンプリング帯域外の帯域外成分に配置変換し、最大周波数の３／４以下の帯域の成分についてのみ符号化するため、視覚感度の高い最大周波数の１／２近傍の、ビット割り当ての不足に起因する画質劣化を改善することが可能になる。

また、符号化される総画素数は、図３に示すように帯域が水平、垂直方向ともに最大周波数の３／４に制限されるため元画像の９／１６倍となる。これは、サブサンプリング信号を水平又は垂直に並べ替える場合と比較すると９／８倍である。しかし、符号化される総符号量は、（５）の領域の信号成分は存在しないため割り当てられる符号量は０であり、サブサンプリング信号を水平又は垂直に並べ替える場合と同一となる。

更に、デジタルカメラ等の単板式撮像素子から得られるサブサンプリング信号についても、本実施例による前処理装置及び後処理装置を使用し、復号化後にデ・モザイキングするようにすれば、デ・モザイキングして元画像と同じ画素数にした画像信号を符号化する場合と比較して符号量が１／２となり、少ない符号量で画質の向上を達成することが可能となる。換言すれば、本実施例の前処理装置及び後処理装置を使用しない場合と符号量が同一の場合には、画質が向上することになる。

次に、図２に示す、本発明の一実施例による復号装置２００について説明する。

[復号装置]
本実施例による復号装置２００は、復号化・後処理用の後処理装置２と、復号化器５とを備える。また、後処理装置２は、水平・垂直サンプリングレート４／３変換器２１と、２次元周波数配置変換器２２とを備える。更に、２次元周波数配置変換器２２は、２次元帯域外成分除去器２２ａと、２次元帯域外成分抽出器２２ｂと、垂直高周波成分抽出器２２ｃと、垂直高周波成分２次元周波数配置変換器２２ｄと、水平高周波成分抽出器２２ｅと、水平高周波成分２次元周波数配置変換器２２ｆと、信号加算器２２ｇとを備えている。

次に、復号装置２００の各構成要素について説明する。

復号化器５は、符号化器３によって符号化された画像信号について、受信した画像信号又は蓄積装置から読み出された画像信号を入力して、符号化側のコーデックに対応する復号処理を施し、水平・垂直サンプリングレート４／３変換器２１に出力する。

水平・垂直サンプリングレート４／３変換器２１は、入力した復号化された画像信号に対して、水平及び垂直方向の画素数を４／３倍にそれぞれ拡張し、２次元周波数配置変換器２２に出力する。

２次元周波数配置変換器２２は、入力したサンプリングレートが変換された画像信号に対して、水平又は垂直の最高周波数の１／２以上、且つ３／４以下の帯域に配置変換された高周波成分を、水平又は垂直の最高周波数の３／４以上の高周波領域に配置変換し、配置変換した各周波数領域信号の画像信号を加算して出力する。

より詳細に、後処理装置２の一部を構成する２次元周波数配置変換器２２の各構成要素について説明する。

２次元帯域外成分除去器２２ａは、水平・垂直サンプリングレート４／３変換器２１の出力信号を入力し、２次元デジタルフィルタリングにより入力信号から２次元周波数の帯域外成分を除去して信号加算器２２ｇに出力する。

２次元帯域外成分抽出器２２ｂは、水平・垂直サンプリングレート４／３変換器２１の出力信号を入力し、２次元周波数の帯域外成分を抽出して垂直高周波成分抽出器２２ｃ及び水平高周波成分抽出器２２ｅに出力する。尚、２次元帯域外成分除去器２２ａと、当該抽出器は相補的な処理を行うため、水平・垂直サンプリングレート４／３変換器２１の出力信号と２次元帯域外成分除去器２２ａの出力信号との差分を計算するだけでよい。

垂直高周波成分抽出器２２ｃは、入力信号から垂直周波数が最大周波数の１／２以下の帯域の信号成分を除去し、垂直高周波成分２次元周波数配置変換器２２ｄに出力する。

水平高周波成分抽出器２２ｅは、入力信号から水平周波数が最大周波数の１／２以下の帯域の信号成分を除去し、水平高周波成分２次元周波数配置変換器２２ｆに出力する。

垂直高周波成分２次元周波数配置変換器２２ｄは、入力信号から、垂直周波数が最大周波数の１／２以上の成分を、本来配置されていたサブサンプリング帯域内の最大周波数の３／４以上の領域に配置変換し、信号加算器２２ｇに出力する。

水平高周波成分２次元周波数配置変換器２２ｆは、入力信号から、水平周波数が最大周波数の１／２以上の成分を、本来配置されていたサブサンプリング帯域内の最大周波数の３／４以上の領域に配置変換し、信号加算器２２ｇに出力する。

信号加算器２２ｇは、入力した２次元帯域外成分除去器２２ａからの周波数成分の画像信号と、垂直高周波成分２次元周波数配置変換器２２ｄからの周波数成分の画像信号と、水平高周波成分２次元周波数配置変換器２２ｆからの周波数成分の画像信号とを加算して、元画像用の画像信号（周波数信号又は画素信号）を復元する。

ここで、後処理装置２の動作について説明する。

（後処理装置の動作）
図６は、本実施例による後処理装置２の動作を示すフローチャートである。

まず、ステップＳ６０１にて、水平・垂直サンプリングレート４／３変換器２１により、復号化器５の出力信号から水平又は垂直の画素数をそれぞれ４／３倍に拡張する。

次に、ステップＳ６０２にて、水平・垂直サンプリングレート４／３変換器２１の出力信号から、２次元帯域外成分除去器２２ａにより２次元周波数空間におけるサブサンプリング帯域外の帯域外成分を除去するとともに、２次元帯域外成分抽出器２２ｂにより２次元周波数空間におけるサブサンプリング帯域外の帯域外成分を抽出する。

続いて、ステップＳ６０３にて、垂直高周波成分抽出器２２ｃにより垂直周波数が最大周波数の１／２以上の高周波成分を抽出するとともに、水平高周波成分抽出器２２ｅにより最大周波数の１／２以上の高周波成分を抽出する。

次に、ステップＳ６０４にて、垂直高周波成分２次元周波数配置変換器２２ｄは、垂直高周波成分抽出器２２ｃにより抽出された垂直周波数が最大周波数の１／２以上の成分を、本来配置されていた最大周波数の３／４以上の領域に配置変換する。同様に、水平成分についても、水平高周波成分抽出器２２ｅの出力から、水平高周波成分２次元周波数配置変換器２２ｆにて、最大周波数の１／２以上の成分を、本来配置されていた最大周波数の３／４以上の領域に配置変換する。

最後に、ステップＳ６０５にて、信号加算器２２ｇにより、２次元帯域外成分除去器２２ａの出力と、垂直高周波成分２次元周波数配置変換器２２ｄの出力と、水平高周波成分２次元周波数配置変換器２２ｆの出力を加算する。

こうして、復号化器５で復号化された画像信号が後処理装置２で処理され、サブサンプリング帯域全体の成分を含む画像信号が得られる。出力された画像信号は、２次元周波数の帯域外成分を含まない信号として使用したり、２次元サブサンプリングして使用することも可能である。

以上のように、本発明による一実施例の前処理装置及び後処理装置を使用して、視覚感度の高い最高周波数の１／２近傍の成分に係る画質劣化を改善するとともに符号化効率を向上させることが可能となる。

更に、本発明の一態様として、符号化装置１又は復号装置２を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記
録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶
することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型
記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することと
してもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、
受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプ
ログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コ
ンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有する
データ等）を含むものとする。

本発明は、情報量が膨大なスーパーハイビジョン等の符号化システム、単板式デジタルビデオカメラやデジタルスチルカメラにおける画質改善および符号量抑制に有用である。また、サブサンプリングされていない一般の信号に対しても、画質の劣化を生じることなく符号化効率を向上させる上で有用である。

以上、具体例を挙げて本発明を詳細に説明してきたが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。従って、本発明は上記の実施例に限定されるものではない。

１ 前処理装置
２ 後処理装置
３ 符号化器
５ 復号化器
１１ ２次元フィルター
１２ ２次元周波数配置変換器
１２ａ 水平高周波成分除去器
１２ｂ 水平高周波成分抽出器
１２ｃ 水平高周波成分２次元周波数配置変換器
１２ｄ 垂直高周波成分除去器
１２ｅ 垂直高周波成分抽出機
１２ｆ 垂直高周波成分２次元周波数配置変換器
１２ｇ 信号加算器
１３ 水平・垂直サンプリングレート３／４変換器
２１ 水平・垂直サンプリングレート４／３変換器
２２ ２次元周波数配置変換器
２２ａ ２次元帯域外成分除去器
２２ｂ ２次元帯域外成分抽出器
２２ｃ 垂直高周波成分抽出器
２２ｄ 垂直高周波成分２次元周波数配置変換器
２２ｅ 水平高周波成分抽出器
２２ｆ 水平高周波成分２次元周波数配置変換器
２２ｇ 信号加算器
１００ 符号化装置
２００ 復号装置

Claims (6)

1. 符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置であって、
   ２次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の３／４以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、
   抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の１／２以上であり、且つ３／４以下の領域にそれぞれ配置変換する配置変換手段と、
   前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分の画像信号と、前記配置変換された周波数成分の各々の画像信号とを加算して得られる画像信号に対して画素数を３／４倍に間引くサンプリングレート変換手段と、
   を備えることを特徴とする前処理装置。
2. 請求項１に記載の前処理装置と、
   前記サンプリングレート変換手段によって間引いた画像信号を符号化する符号化手段と、
   を備えることを特徴とする符号化装置。
3. 請求項２に記載の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置であって、
   該画像信号を入力して画素数を４／３倍に拡張するサンプリングレート変換手段と、
   当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出する帯域外成分抽出手段と、
   当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の１／２以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、
   抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の３／４以上の領域にそれぞれ配置変換する配置変換手段と、
   当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元する信号加算手段と、
   を備えることを特徴とする後処理装置。
4. 請求項２に記載の符号化装置によって符号化された画像信号をする復号手段と、
   該復号された画像信号に対して後処理を行う、請求項３に記載の後処理装置と、
   を備えることを特徴とする復号装置。
5. 符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置として構成するコンピュータに、
   ２次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の３／４以上の高周波成分をそれぞれ抽出するステップと、
   抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の１／２以上であり、且つ３／４以下の領域にそれぞれ配置変換するステップと、
   前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を３／４倍に間引いてサンプリングレート変換するステップと、
   を実行させるためのプログラム。
6. 請求項２に記載の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置として構成するコンピュータに、
   該画像信号を入力して画素数を４／３倍に拡張してサンプリングレート変換するステップと、
   当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出するステップと、
   当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の１／２以上の高周波成分をそれぞれ抽出するステップと、
   抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の３／４以上の領域にそれぞれ配置変換するステップと、
   当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元するステップと、
   を実行させるための後処理プログラム。

Images