JP2004056786A - 画像情報符号化装置および復号装置 - Google Patents

Abstract

【目的】画像情報の輝度信号要素と色差信号要素等それぞれの特徴点の位置情報の相関性を有効に用いて符号化処理および復号処理を行う画像情報符号化装置および復号装置を提供する。
【構成】信号分析部１０１は、輝度信号Ｙから低周波成分を除いた成分をいくつかの解像度スケールｓを有するフィルターで分析し、この分析結果から特徴点を検出して連結し、線情報を生成する。さらに線情報に基づいて分析結果の値を抽出する。信号分析部１０２は同様な処理を色差信号Ｕに、信号分析部１０３は同様な処理を色差信号Ｖについて行う。演算回路１０４は、線情報をチェイン符号化などの方法で圧縮する。分析結果圧縮部１０５〜１０７は、予測符号化等により入力される信号を圧縮する。信号分析部１０１〜１０３は、輝度信号Ｙ、色差信号Ｕ，Ｖの低周波成分を生成する。低周波成分圧縮部１０８は、各低周波成分を圧縮する。変調部１０９は、上記処理により得られた信号を多重化および変調等して符号化装置１０に接続される伝送媒体等に入力する。
【選択図】　図１

Description

【０００１】
【産業上の利用分野】
本発明は画像情報の特徴点の情報を抽出し、該特徴点の情報に基づいて画像情報を圧縮および伸長する画像情報符号化装置および復号装置に関する。
【０００２】
【従来の技術】
従来から動画像情報を圧縮して符号化する方法として、例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式等が用いられている。
ＭＰＥＧ方式によりカラー（色）動画像情報を符号化する場合、まず輝度信号（Ｙ）および色差信号（Ｕ，Ｖ）の内、輝度信号Ｙを用いて動き補償処理が行われる。
さらに輝度信号Ｙおよび色差信号Ｕ，Ｖの残差信号に対して独立に離散コサイン変換（ＤＣＴ）処理が行われる。
【０００３】
【発明が解決しようとする課題】
上述した、例えばＭＰＥＧ方式等の通常の動画像情報のトランスフォーム符号化方式においては、動画像情報を構成する輝度信号（Ｙ）要素と色差信号（Ｕ，Ｖ）要素、あるいは、赤色信号（Ｒ）要素、緑色信号（Ｇ）要素、および青色信号（Ｂ）要素は相互に密接な相関性を有するにもかかわらず、この相関性を積極的に利用することは行われていなかった。
また、映像における物体と物体との境界（エッジ）等の特徴点においては、一般に動画像情報の輝度信号要素（Ｙ）要素と色差信号（Ｕ，Ｖ）要素、あるいは、各色信号（Ｒ，Ｇ，Ｂ）要素は、相互に非常に深い関係を有する。
しかし、動画像情報の上記特徴点の位置情報などを用いた動画像情報の符号化方式、例えばウエーブレットを用いた符号化方式においても、輝度信号要素と色差信号要素、あるいは、各色信号間の相互の相関性を積極的に用いた方式の例はまだ知られていない。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、色動画像情報の特徴点の位置情報を用いた符号化方式において、輝度信号要素（Ｙ）と色差信号（Ｕ，Ｖ）要素、あるいは、各色信号（Ｒ，Ｇ，Ｂ）要素それぞれの特徴点の位置情報の類似性を積極的に使う画像情報符号化装置および復号装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明の画像情報符号化装置は、複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点を検出する検出手段と、
前記特徴点の一部または全てにおける前記各信号要素を分析し、該分析結果および対応する特徴点の位置情報を符号化する分析符号化手段とを有する。
また、前記対象信号は色動画像信号であり、前記信号要素は輝度信号と色差信号であることを特徴とする。
また、前記対象信号は色動画像信号であり、前記信号要素は３原色に対応する色信号であることを特徴とする。
また、前記特徴点は、前記色動画像信号のエッジであることを特徴とする。
また、前記各信号要素の分析は、前記対象信号を１次微分型の分析フィルタによりフィルタリングすることにより行われることを特徴とする。
【０００６】
本発明の画像情報復号装置は、複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点の一部または全てにおける前記各信号要素の分析結果および対応する特徴点の位置情報を符号化した符号化信号を復号する装置であって、
前記符号化信号に基づいて、前記各分析結果および対応する前記特徴点の位置情報を求め、該分析結果および位置情報に基づいて前記対象信号を復号する。
また、前記対象信号と前記特徴点は、上述と同様であり、前記分析結果は上述と同様の方法により求められる。
【０００７】
本発明の画像情報処理システムは、上述の画像情報符号化装置により前記対象信号の符号化を行い、上述の画像情報復号装置により前記符号化された前記対象信号を復号する。
【０００８】
本発明の画像情報符号化方法は、複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点を検出し、前記特徴点の一部または全てにおける前記各信号要素を分析し、該分析結果および対応する特徴点の位置情報を符号化する。
【０００９】
本発明の画像情報復号方法は、複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点の一部または全てにおける前記各信号要素の分析結果および対応する特徴点の位置情報を符号化した符号化信号に基づいて、前記各分析結果および対応する前記特徴点の位置情報を求め、該分析結果および位置情報に基づいて前記対象信号を復号する。
【作用】
色動画像情報の複数の信号要素、例えば輝度信号Ｙ要素と色差信号Ｕ，Ｖ要素の内の１１つ以上の信号要素を分析して特徴点を求める。
上記求められた特徴点の位置情報を符号化し、その特徴点の位置にある各信号要素の分析値を符号化して色動画像情報の圧縮符号化を行う。
また、上記符号化された動画像情報の特徴点、およびその位置における１つ以上の信号要素の分析値に関する信号を用いて特徴点の位置を復号し、復号された特徴点の位置における各信号要素の分析値を復号し、その特徴点のみに存在する各信号要素の分析値から元の色動画像情報を合成して色動画像情報の伸長復号を行う。
【００１０】
【実施例】
本発明の画像情報符号化装置および復号装置の実施例の説明に先立ち、画像情報の特徴点を検出し、この特徴点の位置情報等に基づいて画像情報の圧縮符号化を行い、またこのように圧縮符号化された動画像情報を伸長複合化する方法の原理を説明する。
【００１１】
近年、画像信号等の分析合成の手法として、例えば画像信号における物体と背景の境界といった信号のエッジに注目し、信号のエッジにおける情報から元の信号を合成する方法が報告されている。
例えば、Ｊａｃｑｕｅｓ　ＦｒｏｍｅｎｔとＳｔｅｐｈａｎｅ　ＭａｌｌｅｔによるＳｅｃｏｎｄ　ｇｅｎｅｒａｔｉｏｎ　ｃｏｍｐａｃｔ　ｉｍａｇｅ　ｃｏｄｉｎｇ　ｗｉｔｈ　ｗａｖｅｌｅｔ．（Ｗａｖｅｌｅｔｓ−Ｔｕｔｏｒｉａｌ　ｉｎ　Ｔｈｅｏｒｙ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，ＩＩ：６５５〜６７８，１９９１）に開示される信号分析と合成方法が上記の方法の一つであり、この方法について以下に説明する。
【００１２】
まず、一次元的な信号ｆ（ｘ）を想定する。
この例では、最初に信号ｆ（ｘ）の多重解像度法を用いた分析を行う。
ここで、多重解像度法とは、複数の異なる解像度を有するフィルターを使用して信号の分析を行う方法をいう。
この多重解像度法を用いた分析に用いる分析フィルターの特性を関数φ_ａ　（ｘ）で表す。
関数φ_ａ　（ｘ）は周波数領域ωでは次式で表される。
【００１３】
【数１】

【００１４】
ただし、関数φ_ａ　（ｘ）のａは多重解像度におけるスケールを表す。
また、式１中のｉは虚数を表す。また、＾は、この記号を付したその関数のフーリエ変換を表す（以下同じ）。
これは、同じく周波数領域ωで次式で表される関数の元の領域ｘでの関数θ（ｘ）の微分結果である。
【００１５】
【数２】

【００１６】
このフィルターφ_ａ　（ｘ）と信号ｆ（ｘ）を畳み込んだ結果を関数Ｗ_ａ　ｆ（ｘ）と表す。
参考文献１には、この振幅｜Ｗ_ａ　ｆ（ｘ）｜の極大値を与える位置（　_ａｘ_ｎ　）（ただしｎは自然数）のフィルター出力Ｗ_ａ　ｆ（　_ａｘ_ｎ　）だけを用いて元の信号を近似できることが示されている。
極大値からの信号の復元の説明の前に、Ｗ_ａ　ｆ（ｘ）から元の信号ｆ（ｘ）を復元することに関して説明する。
【００１７】
ここで述べる方法はウェーブレットと呼ばれるものであり、近年盛んに研究されている方法である。
分析関数が次式で表される場合、
【００１８】
【数３】

【００１９】
合成に用いるフィルターφ_ｊ　^＊　（ｘ）は、次式で表される。
【００２０】
【数４】

【００２１】
ここで、関数の上に付した線は複素共役を表す。また、スケールａに関してはａ＝２^ｊ　となるように選んでいる。ただし、ｊ＝ｊ１　，．．．，ｊＪ　を用いている。
ここで、分析合成に関してまとめて元の信号をｆ_ｏ　（ｘ）とすると、
【００２２】
【数５】

【００２３】
【数６】

【００２４】
として、
【００２５】
【数７】

【００２６】
ただし、ｊ＝　　ｊ１，．．．　　，ｊＪ　、が分析され、
【００２７】
【数８】

【００２８】
【数９】

【００２９】
で合成される。このようにして、Ｗ_ｊ　ｆ（ｘ）とｓ_（ｊＪ）（ｘ）から元の信号ｆ_ｏ　（ｘ）を復元することができる。
【００３０】
したがって、先に述べたＷ_ｊ　ｆ（　_ｊｘ_ｎ　）からＷ_ｊ　ｆ（ｘ）を補関することによりＷ　_ｊｆ（ｘ）を近似し上述した逆変換でｆの近似を得ることができる。
補関する方法を以下に述べる。
補関して得られた関数をＷ_ｊ　ｆ（ｘ）とすると、
【００３１】
【数１０】

【００３２】
という関数を、
【００３３】
【数１１】

【００３４】
という形式に変形することができる。
さらにこの関数は２点　_ｊｘ_ｎ　、　_ｊｘ_{（ｎ＋１）}　を通るので、この事実を利用して式１２および式１３を得る。
【００３５】
【数１２】

【００３６】
【数１３】

【００３７】
式１２および式１３より未知数ｖ１、ｕ１を求めて式１１に代入し、次式に示すように補完関数を更新する。
【００３８】
【数１４】

【００３９】
この更新された補完関数および式８を用いて信号ｆ（ｘ）の推定値ｆ^’　（ｘ）を求め、再び式７を用いてＷ_ｊ　ｆ（ｘ）を再定義する。
以上の処理を繰り返すことによりｆ^’　（ｘ）を更新し、ｆ（ｘ）を復元することができる。
最後に、式９を用いて、ｆ_ｏ　（ｘ）を得る。
【００４０】
以下、第１の実施例として本発明の符号化装置１０を図１〜図３を参照して説明する。
符号化装置１０は、例えば信号要素として輝度信号Ｙ、および、２種類の色差信号Ｕ，Ｖの３種類の信号を含むカラー動画像情報の特徴点を検出し、該特徴点におけるそれぞれの信号要素を分析し、該分析結果を特徴点の位置情報とともに圧縮符号化する装置である。
【００４１】
図１は、本発明の符号化装置１０の構成を示す図である。
以下、輝度信号Ｙおよび色差信号Ｕ，Ｖを画像情報の２次元の座標（ｘ，ｙ）に対応付けてそれぞれ輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ）、色差信号Ｖ（ｘ，ｙ）と表す。
図１において、信号分析部１０１は、入力される２次元形式の画像情報の輝度信号Ｙ（ｘ，ｙ）の低周波成分を除去して信号Ｙ０（ｋ；ｓ）を生成する。
次に、信号Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタで分析して特徴点を抽出する。
さらに、抽出された特徴点を連結して線情報ＬＹ（ｋ；ｓ）を生成し、線情報ＬＹ（ｋ；ｓ）を線情報圧縮部１０４、および、信号分析部１０２、１０３に入力する。
また、線情報ＬＹ（ｋ；ｓ）で示される各特徴点における輝度信号Ｙ（ｘ，ｙ）の分析結果として信号ＡｍＹ（ｋ；ｓ）を分析結果圧縮部１０５に入力する。ただし、ｋは各線情報ＬＹ（ｋ；ｓ）それぞれにユニークに付される番号であり、特徴点とは画像情報中の物体と背景の境界等に存在するエッジ等の画像情報中の特徴的な点をいう。
【００４２】
信号分析部１０２は、入力される色差信号Ｕ（ｘ，ｙ）の低周波成分を除去して信号Ｕ０（ｘ，ｙ）とし、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）によって示される画像情報の特徴点において、信号Ｕ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタにより分析し、その分析結果として信号ＡｍＵ（ｋ；ｓ）を分析結果圧縮部１０６に入力する。
信号分析部１０３は、入力される色差信号Ｖ（ｘ，ｙ）の低周波成分を除去して信号Ｖ０（ｘ，ｙ）とし、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）によって示される画像情報の特徴点において、信号Ｖ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタにより分析し、その分析結果として信号ＡｍＶ（ｋ；ｓ）を分析結果圧縮部１０７に入力する。
信号分析部１０１〜１０３それぞれの構成は、図２を参照して後述する。
【００４３】
線情報圧縮部１０４は、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）を、以下に述べるチェイン符号化等の方法により１点当たり３ビットの情報に圧縮し、圧縮結果を信号ＣＬＹ（ｋ；ｓ）として変調部１０９に入力する。
以下、演算回路１０４の圧縮動作を説明する。
まず、線情報ＬＹ（ｋ；ｓ）の端の点の座標を圧縮せずに記憶する。
この線情報ＬＹ（ｋ；ｓ）の始点の座標は後述する記憶領域ｌｉｎｅ〔ｋ〕〔１〕．ｘ，ｌｉｎｅ〔ｋ〕〔１〕．ｙに記憶される。
例えば画面の画素数として２５６×２５６を想定した場合、座標を表すためにはｘ軸情報およびＹ軸情報がそれぞれ８ビットを必要とする。
この情報量を圧縮するために、始点以外の特徴点の位置を、特徴点の列が隣接する画素のいずれに連結するかにより示す。
従って、この例においては８×８ビット必要であった情報量を３ビットに圧縮可能である。
従って、信号ＣＬＹ（ｋ；ｓ）は次のようなデータ列となる。
まず、ある解像度スケールｓにおける線の本数ｋ（ｓ）を変調部１０９に送り、次に、線の長さ、始点の座標（ｘ，ｙ）、を変調部１０９に送り、以下３ビットずつ端点がつながる方向を示す情報が連続して送られる。
【００４４】
分析結果圧縮部１０５は、信号分析部１０１から入力される信号ＡｍＹ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＹ（ｋ；ｓ）として変調部１０９に入力する。
分析結果圧縮部１０６は、信号分析部１０２から入力される信号ＡｍＵ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＵ（ｋ；ｓ）として変調部１０９に入力する。
分析結果圧縮部１０７は、信号分析部１０３から入力される信号ＡｍＶ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＶ（ｋ；ｓ）として変調部１０９に入力する。
第１の実施例においては、分析結果圧縮部１０５〜１０７における圧縮は、例えば最も簡単なＤＰＣＭ方式による。
すなわち、各線において前の特徴点における分析値との差を取ってその差を適切に量子化する。
低周波成分圧縮部１０８は、信号ＹＬ（ｉ，ｊ），ＵＬ（ｉ，ｊ），ＶＬ（ｉ，ｊ）を圧縮する。
信号分析部１０１〜１０３から低周波成分圧縮部１０８に入力される信号は、いわゆるローパスフィルタ出力であるので、間引いてサンプリング数を落とすことができる。
第１の実施例においては、式１８で定義されるローパスフィルタの特性を考えて、もとのサンプル列の２^ｓ　サンプルごとのデータがあれば十分である。
従って、（ｉ，ｊ）を画面の座標を表すパラメータとして、間引き処理は次式のように表される。
【００４５】
【数１５】

【００４６】
【数１６】

【００４７】
【数１７】

【００４８】
上記各式の間引き結果を信号ＹＬ’（ｉ，ｊ），ＵＬ’（ｉ，ｊ），ＶＬ’（ｉ，ｊ）とする。
ここで、数値ｉ，ｊは、ｉ・２^ｓ　＜ｘ，ｊ・２^ｓ　＜ｙを与える０以上の整数である。
低周波成分圧縮部１０８はさらに、この信号ＹＬ’（ｉ，ｊ），ＵＬ’（ｉ，ｊ），ＶＬ’（ｉ，ｊ）にＤＣＴ処理等の２次元的圧縮処理を行って信号ＣＬＯＷとして変調部１０９に入力する。
【００４９】
変調部１０９は、線情報圧縮部１０４、分析結果圧縮部１０５〜１０７、および、低周波成分圧縮部１０８において画像情報の各信号要素を処理して得られた信号ＣＬＹ（ｋ；ｓ）、信号ＣＡｍＹ（ｋ；ｓ）、信号ＣＡｍＵ（ｋ；ｓ）、信号ＣＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷを多重化し、誤り訂正符号を付加し、さらに所定の変調を行って信号ＣＤａｔａとして出力する。
信号ＣＤａｔａは、符号化装置１０に接続される例えば光ディスク記録装置（図示せず）に供給される。
【００５０】
図２は、図１に示した信号分析部１０１〜１０３の構成を示す図である。
図２において、低周波成分処理部２０３は、入力される輝度信号Ｙ（ｘ，ｙ）から低周波成分を分離して信号Ｙ０（ｘ，ｙ）としてフィルタ２０１、２０２に入力し、分離された低周波成分を圧縮して信号ＹＬ（ｋ；ｓ）として出力する。輝度信号Ｙ（ｘ，ｙ）の低周波成分の分離おより該低周波成分の圧縮方法を以下に説明する。
低周波成分処理部２０３は、輝度信号Ｙ（ｘ，ｙ）のインパルス応答Ｗ０（ｘ，ｙ）を算出する。
インパルス応答Ｗ０（ｘ，ｙ）を算出する演算は次式で表される。
【００５１】
【数１８】

【００５２】
低周波成分処理部２０３は、インパルス応答Ｗ０（ｘ，ｙ）を用いて輝度信号Ｙ（ｘ，ｙ）に畳み込み演算を行って圧縮し、信号ＹＬ（ｋ；ｓ）として出力する。
さらに、低周波成分処理部２０３は、輝度信号Ｙ（ｘ，ｙ）から信号ＹＬ（ｋ；ｓ）を減算し、信号Ｙ０（ｘ，ｙ）を生成する。
低周波成分処理部２０３における畳み込み演算および信号Ｙ０（ｘ，ｙ）算出のための演算は、次式で表される。
【００５３】
【数１９】

【００５４】
【数２０】

【００５５】
フィルタ２０１は、スムージング関数の１次微分型の多重解像度フィルタであって、低周波成分処理回路２０３により輝度信号Ｙ（ｘ，ｙ）から低周波成分が除去された後の信号Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓで分析し、分析結果をフィルタ２０１のインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）として演算回路２０４に入力する。
フィルタ２０２は、スムージング関数の１次微分型の多重解像度フィルタであって、輝度信号Ｙ（ｘ，ｙ）をいくつかの解像度スケールｓで分析し、分析結果をフィルタ２０２のインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）として演算回路２０４に入力する。
フィルタ２０１、２０２における処理は、次式で表される。
【００５６】
【数２１】

【００５７】
【数２２】

【００５８】
式１８および式１９において、関数Ｇ（ｘ，ｙ；ｓ）は所定のスムージング関数であり、例えば次式のガウス関数が用いられる。
【００５９】
【数２３】

【００６０】
式２０において、Ｎ（ｓ）は正規化のための所定の定数であり、次式で表される。
【００６１】
【数２４】

【００６２】
つまり、フィルタ２０１、２０２においては、式１８および式１９に式１６および式１７を代入して次式の演算が行われる。
【００６３】
【数２５】

【００６４】
【数２６】

【００６５】
演算回路２０４は、インパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、さらに加算結果の平方根を算出して信号ＡＹ（ｘ，ｙ；ｓ）を生成する。
つまり、演算回路２０４における演算は次式で表される。
【００６６】
【数２７】

【００６７】
ここで、第２の実施例において後述する復号装置３０の処理において必要になるもう１つの信号ＰｈＹ（ｘ，ｙ；ｓ）について述べる。
信号ＰｈＹ（ｘ，ｙ；ｓ）は、第１の実施例における符号化装置１０においては符号化を行わない。
信号ＰｈＹ（ｘ，ｙ；ｓ）は、次式で定義される。
【００６８】
【数２８】

【００６９】
ただし、ａｔａｎ〔ｙ，ｘ〕は、ｙ＝ｓｉｎ（ｐｈ）、ｘ＝ｃｏｓ（ｐｈ）を与える位相情報ｐｈ（−π≦ｐｈ≦π）を求める関数である。
従って、信号Ａｙ（ｘ，ｙ；ｓ）と信号ＰｈＹ（ｘ，ｙ；ｓ）を用いてインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）を求めることができる。
【００７０】
【数２９】

【００７１】
【数３０】

ただし、第１の実施例においては、復号装置３０において線情報ＬＹ（ｋ；ｓ）接線方向を利用することにより、信号ＰｈＹ（ｘ，ｙ；ｓ）に関する情報は符号化していない。
【００７２】
特徴点検出部２０６は、演算回路２０４において算出された信号ＡＹ（ｘ，ｙ；ｓ）に基づいて、その特徴点の位置情報ＰＹ（ｘ，ｙ；ｓ）を検出して情報抽出部２０５および線情報算出部２０７に入力する。
信号ＡＹ（ｘ，ｙ；ｓ）の特徴点は、信号ＡＹ（ｘ，ｙ；ｓ）の極大点を与える点として定義される。
信号ＡＹ（ｘ，ｙ；ｓ）の極大点を検出する方法は、信号ＡＹ（ｘ，ｙ；ｓ）の微分値が０となる点を検出する等、種々の方法が考えられる。
第１の実施例の符号化装置１０においては、信号ＡＹ（ｘ，ｙ；ｓ）の極大点の簡易な検出方法として、例えば以下のような方法を採用する。
まず、信号ＡＹ（ｘ，ｙ；ｓ）のｘ軸方向の隣接するサンプル間の差分を算出し、この差分の符号が正から負に変化した点を極大点として検出する。
同様に、信号ＡＹ（ｘ，ｙ；ｓ）の隣接するサンプル間の差分の算出をｙ軸方向にも行い、差分の符号が正から負に変化した点を極大点として検出する。
上述のように求められた極大点の位置情報ＰＹ（ｘ，ｙ；ｓ）は、次式に示す形式の信号である。
【００７３】
【数３１】

【００７４】
線情報算出部２０７は、特徴点検出部２０６において求められた信号ＡＹ（ｘ，ｙ；ｓ）の極大点の位置情報ＰＹ（ｘ，ｙ；ｓ）に基づいて極大点を連結し、線情報ＬＹ（ｋ；ｓ）を算出して演算回路１０４および情報抽出部２０５に入力する。
以下、図３〜図６を参照して線情報算出部２０７における線情報ＬＹ（ｋ；ｓ）算出処理を説明する。
図３は、図２に示した線情報算出部２０７における特徴点の連結処理を示すフローチャートである。
図４は、図３に示したＳ１００の処理を示すフローチャートである。
図５は、図３に示したＳ３００の処理を示すフローチャートである。
図６は、画像情報の近傍画素を説明する図である。
【００７５】
まず、信号ＰＹ（ｘ，ｙ；ｓ）の左上隅の座標（ｘ，ｙ）＝（０，０）の画素から順次右へ信号ＰＹ（ｘ，ｙ；ｓ）＝１となる画素を探し、その画素が端点かどうかをチェックする。
つまり図６に示すように、信号ＰＹ（ｘ，ｙ；ｓ）＝１となる画素を中心に、その画素に隣接する８つの画素０〜７を考える。
端点は、図６に示す画素０〜７の内の１つ以下の画素にしか信号ＰＹ（ｘ，ｙ；ｓ）＝１の画素がない場合の中心の画素として定義される。
線情報算出部２０７は、上記定義に従って信号ＰＹ（ｘ，ｙ；ｓ）から端点を検出する。
なお、線情報算出部２０７は、画面の端の画像情報おいては、画面からはみ出る画素についてＰＹ（ｘ，ｙ；ｓ）＝０として端点の検出を行う。
【００７６】
端点として検出された画素の座標（ｘ，ｙ）のｘ座標およびｙ座標をそれぞれ、特徴点検出部２０６内のｌｉｎｅ〔ｋ〕〔ｌ〕．ｘとｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ（図示せず）という記憶領域に記憶する。
記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙに記憶された端点の座標（ｘ，ｙ）における信号ＰＹ（ｘ，ｙ；ｓ）を０にセットし、その後の端点検出処理において連結候補から外す。
ここで、数値ｋは線の番号に相当する数であり、数値ｌは連結していった点に順番に１，２・・・と付された自然数である。
なお、後述するように記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘにはｋ番目の線として連結した点の数が記憶される。
【００７７】
端点を見つけた後、同じく図６の画素０〜７の内の１つの画素の座標（ｘ’，ｙ’）を考え，初めに見つかった信号ＰＹ（ｘ’，ｙ’；ｓ）＝１の点を連結する。
このとき連結した点においてＰＹ（ｘ’，Ｙ’；ｓ）＝０とセットすることにより、その後の端点検出処理において連結候補から外す。
また、ｌをインクリメントし（ｌ＝ｌ＋１とし）、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ＝ｘ’、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ＝ｙ’として、この特徴点をｋ番目の線情報のｌ番目の点として登録する。
上記の処理を画像情報の全画素について行い、図６の画素０〜７に特徴点がなくなるまで続ける。
最後に、連結した点の数をｌｉｎｅ〔ｋ〕〔ｌ〕．ｘに記憶し、このスケールｓにおける線の数をｌｉｎｅ〔０〕〔０〕．ｘに記憶する。
ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘおよびｌｉｎｅ〔ｋ〕〔ｌ〕．ｙに記憶された情報を線情報ＬＹ（ｋ；ｓ）としてスケールの小さい順に、例えば次表の形式で線情報ＬＹ（ｋ；ｓ）として出力する。
【００７８】
【表１】
ｌｉｎｅ〔０〕〔０〕．ｘ（線の数＝ｋ（ｓ））
ｌｉｎｅ〔１〕〔０〕．ｘ（１番目の線を構成する点の数）
ｌｉｎｅ〔１〕〔１〕．ｘ，ｌｉｎｅ〔１〕〔１〕．ｙ（一番目の線の一番目の点の（ｘ，ｙ）座標）
ｌｉｎｅ〔１〕〔２〕．ｘ，ｌｉｎｅ〔１〕〔２〕．ｙ（一番目の線の２番目の点の（ｘ，ｙ）座標）
・
・
・
ｌｉｎｅ〔２〕〔０〕．ｘ　（２番目の線を構成するための点の数）
ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ，ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ（２番目の線の一番目の点の（ｘ，ｙ）座標）
・
・
【００７９】
情報抽出部２０５は、線情報算出部２０７から入力される線情報ＬＹ（ｋ；ｓ）に基づいて、信号ＡＹ（ｘ，ｙ；ｓ）から線情報ＬＹ（ｋ；ｓ）に示される各特徴点に対応する値を抽出して信号Ａｍ（ｋ；ｓ）として出力する。
以下、情報抽出部２０５における処理を説明する。
情報抽出部２０５は、信号ＡＹ（ｘ，ｙ；ｓ）と線情報ＬＹ（ｋ；ｓ）を用いて、信号ＡＹ（ｘ，ｙ；ｓ）のうち必要な情報である特徴点の位置における信号ＡＹ（ｘ，ｙ；ｓ）を抽出する。
線情報算出部２０７が検出した各線に沿って、信号Ｙ０（ｘ，ｙ）の分析値をトレースすると１次元の信号が得られる。
この１次元信号を信号ＡｍＹ’（ｋ；ｓ）と記す。
【００８０】
後述の復号装置３０においては、式２９および式３０に示す演算を行って、インパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）を復元する。
この際に用いられる位相情報信号ＰｈＹ（ｘ，ｙ；ｓ）は、線情報ＬＹ（ｋ；ｓ）の接線方向を求め、その角度のｃｏｓ，ｓｉｎ成分で近似することができる。
この近似は、角度については連結した点の進行方向に接線ベクトルを想定し、そのベクトルとｘ軸の正の方向の単位ベクトルが構成する角度として、〔０，２π）の区間で一意に決めることができる。
ここで、〔または、〕は閉区間を示し、（または）は開区間を示す。
しかし、信号ＰｈＹ（ｘ，ｙ；ｓ）を近似する場合、線情報ＬＹ（ｋ；ｓ）について上記と逆向きに接ベクトルを与えた方が式２９および式３０をよく近似する場合がある。
１つの線において常にこの方向が進行方向あるいは逆方向に決まっていれば、線の連結の方向を信号ＰｈＹ（ｘ，ｙ；ｓ）に合うように始点と終点を入れ替えればよい。
しかし、この方向が途中で変わるという問題が起きることが考えられる。
したがって、常に進行方向に対しての接線ベクトルの方向を考え、ｘ軸との角度を信号ＰｈＹ（ｘ，ｙ；ｓ）とし、振幅情報信号ＡｍＹ（ｘ，ｙ；ｓ）に１ビット付加し、信号ＡｍＹ（ｘ，ｙ；ｓ）の値の正負を示すことができるようにすることによりこの問題に対処する。
このプラスマイナスを考慮した振幅情報をあらためて信号ＡｍＹ（ｋ；ｓ）と定義する。
したがって、信号ＡｍＹ（ｋ；ｓ）には振幅情報としてはマイナスの値も入ることになる。
【００８１】
上述した情報抽出部２０５の処理を示した図３〜図５を説明する。
図３において、
ステップ０１（Ｓ０１）において、数値ｋを０クリアする。
ステップ０２（Ｓ０２）において、画像情報の画素の座標を（ｘ，ｙ）＝（０，０）とする。
ステップ０３（Ｓ０３）において、信号ＰＹ（ｘ，ｙ；ｓ）の値が１であるか否かを判断する。
１である場合、図４に示すＳ１００の処理に進み、１でない（０である）場合Ｓ０４の処理に進む。
ステップ０４（Ｓ０４）において、ｘの値をインクリメント（ｘ＝ｘ＋１）する。
ステップ０５（Ｓ０５）において、ｘの値が画像情報のＸ軸の最大値Ｘであるか否かを判断する。
Ｘである場合Ｓ０３の処理に進み、Ｘでない場合Ｓ０６の処理に進む。
ステップ０６（Ｓ０６）において、ｘの値を０クリア（ｘ＝０）し、ｙの値をインクリメント（ｙ＝ｙ＋１）する。
ステップ０７（Ｓ０７）において、ｙの値が画像情報のｙ軸の最大値Ｙであるか否かを判断する。
Ｙである場合Ｓ０３の処理に進み、Ｙでない場合Ｓ０７の処理に進む。
ステップ２００（Ｓ２００）において、Ｓ１００の処理の返り値である数値ｅｄを判断する。
数値ｅｄが２以下である場合Ｓ３００の処理に進み、２以上である場合Ｓ０４の処理に進む。
【００８２】
図４において、
ステップ１０１（Ｓ１０１）において、数値ｄｘ，ｄｙを−１にセットし、数値ｅｄを０クリアする。
ここで、数値ｄｘ，ｄｙは、図６に示した中心画素に対する近傍の画素０〜７を示し、例えばｄｘ＝−１，ｄｙ＝−１とした場合、図６の画素０を示す。
また数値ｅｄは、処理の対象となっている画素の信号ＰＹ（ｘ，ｙ；ｓ）が１であると検出された回数を示す。
ステップ１０２（Ｓ１０２）において、ｘ’＝ｘ＋ｄｘ、ｙ’＝ｙ＋ｄｙの演算を行う。
ステップ１０３（Ｓ１０３）において、信号ＰＹ（ｘ，ｙ；ｓ）が１であるか否かを判断する。
１である場合Ｓ１０４の処理に進み、１でない（０である）場合Ｓ１０５の処理に進む。
ステップ１０４（Ｓ１０４）において、数値ｅｄをインクリメント（ｅｄ＝ｅｄ＋１）する。
ステップ１０５（Ｓ１０５）において、ｄｘをインクリメントする。
ステップ１０６（Ｓ１０６）において、ｄｘを−１にセットし、ｄｙをインクリメント（ｄｙ＝ｄｙ＋１）する。
ステップ１０７（Ｓ１０７）において、ｄｙが２であるか否かを判断する。
２である場合Ｓ１０２の処理に進に、２でない場合、図３のＳ２００の処理に進む。
【００８３】
図５において、
ステップ３０１（Ｓ３０１）において、数値ｋをインクリメント（ｋ＝ｋ＋１）し、数値ｌを０にセットする。
ステップ３０２（Ｓ３０２）において、処理の対象となる画素の信号ＰＹ（ｘ，ｙ；ｓ）を０にセットし、ｄｘ，ｄｙを−１にセットし、記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘにｘをセットし、記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙにｙをセットする。
ステップ３０３（Ｓ３０３）において、ｘ’＝ｘ＋ｄｘ、ｙ’＝ｙ＋ｄｙの演算を行う。
ステップ３０４（Ｓ３０４）において、信号ＰＹ（ｘ，ｙ；ｓ）が１であるか否かを判断する。
１である場合Ｓ３１０の処理に進み、１でない（０である）場合Ｓ３０５の処理に進む。
ステップ３０５（Ｓ３０５）において、ｄｘをインクリメント（ｄｘ＝ｄｘ＋１）する。
ステップ３０６（Ｓ３０６）において、ｄｙが１であるか否かを判断する。
１である場合Ｓ３０７の処理に進み、１でない場合（０である場合）Ｓ３０３の処理に進む。
ステップ３０７（Ｓ３０７）において、ｄｘを−１にセットし、ｄｙをインクリメント（ｄｙ＝ｄｙ＋１）する。
ステップ３０８（Ｓ３０８）において、ｄｙが２であるか否かを判断する。
２である場合Ｓ３０９の処理に進み、２でない場合Ｓ３０３の処理に進む。
ステップ３０９（Ｓ３０９）において、記憶領域ｌｉｎｅ〔ｋ〕〔０〕に１をセットする。
ステップ３１０（Ｓ３１０）において、ｘにｘ’をセットし、ｙにｙ’をセットし、数値ｌをインクリメント（ｌ＝ｌ＋１）する。
【００８４】
再び図２を参照して説明を行う。
信号分析部１０２、１０３は、信号分析部１０１と同様な構成を有する。
信号分析部１０１と信号分析部１０２、１０３の異なる点は、信号分析部１０２、１０３には、特徴点検出部２０６、線情報算出部２０７に対応する部分がないことである。
信号分析部１０２、１０３においては、信号分析部１０１で生成された線情報ＬＹ（ｋ；ｓ）に含まれる特徴点の位置情報を用いて処理を行う。
【００８５】
低周波成分処理部２１３は、低周波成分処理部２０３と同じ動作を行う。
つまり低周波成分処理部２１３は、信号分析部１０１の低周波成分処理部２０３が輝度信号Ｙ（ｘ，ｙ）に対して行った処理と同様の処理を色差信号Ｕ（ｘ，ｙ）に対して行う。
つまり低周波成分処理部２１３は、色差信号Ｕ（ｘ，ｙ）の低周波成分を分離して信号ＵＬ（ｘ，ｙ）として出力し、色差信号Ｕ（ｘ，ｙ）から信号ＵＬ（ｘ，ｙ）を減算して信号Ｕ０（ｘ，ｙ）としてフィルタ２１１、２１２に入力する。
【００８６】
フィルタ２１１、２１２は、フィルタ２０１、２０２と同じインパルス応答特性を有するフィルタバンクである。
フィルタ２１１は、符号化装置１０のフィルタ２０１が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｕ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２１３から入力された信号Ｕ０（ｘ，ｙ）について式１８に示した演算を行い、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）を算出して演算回路２１４に入力する。
フィルタ２１２は、符号化装置１０のフィルタ２０２が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｕ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２１３から入力された信号Ｕ０（ｘ，ｙ）について式１９に示した演算を行い、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）を算出して演算回路２１４に入力する。
【００８７】
演算回路２１４は、符号化装置１０の演算回路２０４がインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を、フィルタ２１１、２１２から入力されるインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）に対して行う。
つまり、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、この加算結果の平方根を算出して信号ＡＵ（ｘ，ｙ；ｓ）として情報抽出部２１５に入力する。
情報抽出部２１５は、情報抽出部２０５が線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＹ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を信号ＡＵ（ｘ，ｙ；ｓ）に対して行う。
つまり、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＵ（ｘ，ｙ；ｓ）から特徴点に対応するものを抽出して信号ＡｍＵ（ｋ；ｓ）として出力する。
【００８８】
以下、信号分析部１０２における処理を数式により定義する。
【００８９】
【数３２】

【００９０】
【数３３】

【００９１】
【数３４】

【００９２】
【数３５】

【００９３】
【数３６】

【００９４】
ここで、信号ＡｍＵ（ｋ；ｓ）は、特徴点を与える線情報ＬＹ（ｋ；ｓ）に沿ってトレースした信号ＡＵ（ｘ，ｙ；ｓ）の１次元信号である。
【００９５】
信号分析部１０３における処理は、信号分析部１０２における処理と同じである。
低周波成分処理部２２３は、信号分析部１０１の低周波成分処理部２０３が輝度信号Ｙ（ｘ，ｙ）に対して行った処理と同様の処理を色差信号Ｖ（ｘ，ｙ）に対して行う。
つまり低周波成分処理部２２３は、色差信号Ｖ（ｘ，ｙ）の低周波成分を分離して信号ＶＬ（ｘ，ｙ）として出力し、色差信号Ｖ（ｘ，ｙ）から信号ＶＬ（ｘ，ｙ）を減算して信号Ｖ０（ｘ，ｙ）としてフィルタ２２１、２２２に入力する。
フィルタ２２１は、符号化装置１０のフィルタ２０１が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｖ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２２３から入力された信号Ｖ０（ｘ，ｙ）について式１８に示した演算を行い、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）を算出して演算回路２２４に入力する。
フィルタ２２２は、符号化装置１０のフィルタ２０２が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｖ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２２３から入力された信号Ｖ０（ｘ，ｙ）について式１９に示した演算を行い、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）を算出して演算回路２２４に入力する。
【００９６】
演算回路２２４は、符号化装置１０の演算回路２０４がインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理をフィルタ２２１、２２２から入力されるインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）に対して行う。
つまり、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、この加算結果の平方根を算出して信号ＡＶ（ｘ，ｙ；ｓ）として情報抽出部２２５に入力する。
情報抽出部２２５は、情報抽出部２０５が線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＹ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を信号ＡＶ（ｘ，ｙ；ｓ）に対して行う。
つまり、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＶ（ｘ，ｙ；ｓ）から特徴点に対応するものを抽出して信号ＡｍＶ（ｋ；ｓ）として出力する。
【００９７】
以下、信号分析部１０３における処理を数式により定義する。
【００９８】
【数３７】

【００９９】
【数３８】

【０１００】
【数３９】

【０１０１】
【数４０】

【０１０２】
【数４１】

ここで、信号ＡｍＶ（ｋ；ｓ）は、特徴点を与える線情報ＬＹ（ｋ；ｓ）に沿ってトレースした信号ＡＶ０（ｘ，ｙ；ｓ）の１次元信号である。
【０１０３】
以下、再び図１を参照して符号化装置１０の動作を説明する。
ここで、入力される輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）は同じ強さであると仮定する。
通常、各信号Ｙ（ｘ，ｙ），Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）の強度比は４：２：２程度となるが、符号化装置１０に入力される前に色動画情報に適切な補間、あるいは、間引き等の変換が行なわれることが多く、このような変換が行われる場合、各信号の強度はほぼ同じであると考えることができる。
【０１０４】
信号分析部１０１は、輝度信号Ｙ（ｘ，ｙ）から低周波成分を除いた成分Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析する。
さらに信号分析部１０１は、各スケールの分析結果から特徴点を検出し、検出された特徴点の位置を連結して線情報ＬＹ（ｋ；ｓ）を生成する。
また、その線情報ＬＹ（ｋ；ｓ）に基づき、線情報ＬＹ（ｋ；ｓ）の各特徴点の位置の分析結果の値を抽出して信号ＡｍＹ（ｋ；ｓ）を生成する。
線情報ＬＹ（ｋ；ｓ）は、演算回路１０４、信号分析部１０２、および、信号分析部１０３に入力される。
また、信号ＡｍＹ（ｋ；ｓ）は、分析結果圧縮部１０５に入力される。
【０１０５】
信号分析部１０２は、色差信号Ｕ（ｘ，ｙ）から低周波成分を除いた信号Ｕ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析し、線情報ＬＹ（ｋ；ｓ）に基づいて特徴点に対応する信号ＡｍＵ（ｋ；ｓ）を抽出する。
信号ＡｍＵ（ｋ；ｓ）は、分析結果圧縮部１０６に入力される。
信号分析部１０３は、色差信号Ｖ（ｘ，ｙ）から低周波成分を除いた信号Ｖ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析し、線情報ＬＹ（ｋ；ｓ）に基づいて特徴点に対応する信号ＡｍＶ（ｋ；ｓ）を抽出する。
信号ＡｍＶ（ｋ；ｓ）は、分析結果圧縮部１０７に入力される。
【０１０６】
演算回路１０４は、線情報ＬＹ（ｋ；ｓ）をチェイン符号化などの方法で圧縮し、信号ＣＬＹ（ｋ；ｓ）として出力する。
分析結果圧縮部１０５〜１０７は、それぞれ信号ＡｍＹ（ｋ；ｓ）、信号ＡｍＵ（ｋ；ｓ）、および、信号ＡｍＶ（ｋ；ｓ）を予測符号化等により圧縮し、分析結果ＣＡｍＹ（ｋ；ｓ）、分析結果ＣＡｍＵ（ｋ；ｓ）、および、分析結果ＣＡｍＶ（ｋ；ｓ）を生成し、変調部１０９に入力する。
一方、信号分析部１０１〜１０３は、輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ）、および、色差信号Ｖ（ｘ，ｙ）の低周波成分ＹＬ（ｘ，ｙ）、低周波成分ＵＬ（ｘ，ｙ）、および、低周波成分ＶＬ（ｘ，ｙ）を生成し、低周波成分圧縮部１０８に入力する。
【０１０７】
低周波成分圧縮部１０８は、低周波成分ＹＬ（ｘ，ｙ）、低周波成分ＵＬ（ｘ，ｙ）、および、低周波成分ＶＬ（ｘ，ｙ）に間引処理等を行い、さらにＤＣＴ（離散的コサイン変換）およびウェーブレット変換等のトランスフォーム符号化を行って圧縮し、信号ＣＬＯＷとして変調部１０９に入力する。
変調部１０９は、信号ＣＬＹ（ｋ；ｓ）、分析結果ＣＡｍＹ（ｋ；ｓ）、分析結果ＣＡｍＵ（ｋ；ｓ）、分析結果ＣＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷを多重化し、誤り訂正符号等の付加を行って変調をかけ、信号ＣＤａｔａを生成し、符号化装置１０に接続される伝送媒体等に入力する。
【０１０８】
第１の実施例の符号化装置１０は、特徴点の検出が輝度信号Ｙ（ｘ，ｙ）に基づいて行われるように構成されているが、特徴点の検出が色差信号Ｕ（ｘ，ｙ）あるいは色差信号Ｕ（ｘ，ｙ）に基づいて行われるように構成してもよい。
また、符号化装置１０の各部分は、それぞれ独立したハードウェアにより構成されているか、あるいは、全てあるいは一部を計算機上にソフトウェア的に実現されているかを問わない。
また、符号化装置１０と同様な構成の装置は、輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）に対してだけでなく、光の３原色に対応する色信号（Ｒ，Ｇ，Ｂ）に対しても同等の処理を行うことができる。
【０１０９】
以下、本発明の第２の実施例として、第１の実施例に示した符号化装置１０により符号化された画像情報を復号する復号装置３０を、図７〜１１を参照して説明する。
図７〜図１０を参照して復号装置３０の構成を説明する。
図７は、本発明の復号装置３０の構成を示す図である。
図７と図１を比較してわかるように、復号装置３０は、第１の実施例に示した符号化装置１０における信号処理および信号の流れを逆にした構成となっている。
図７において、復調部３０９は、例えば符号化装置１０によって符号化され、記録あるいは伝送されてきた符号化信号を復調し、誤り訂正を行い、さらに信号ＣＬＹ２（ｋ；ｓ）、信号ＡｍＹ２（ｋ；ｓ）、信号ＡｍＵ２（ｋ；ｓ）、信号ＡｍＶ２（ｋ；ｓ）、および、信号ＣＬＯＷの各信号に分離して、演算回路３０４、伸長部３０５〜３０７、および、低周波成分伸長部３０８に入力する。
ここで、信号ＣＬＹ２（ｋ；ｓ）、信号ＡｍＹ２（ｋ；ｓ）、信号ＡｍＵ２（ｋ；ｓ）、信号ＡｍＶ２（ｋ；ｓ）、および、信号ＣＬＯＷは、それぞれ図１に示した信号ＣＬＹ（ｋ；ｓ）、信号ＡｍＹ（ｋ；ｓ）、信号ＡｍＵ（ｋ；ｓ）、信号ＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷに対応する。
図７に示す各信号は、それぞれ図１に示した各信号の名称に２を付したものとなっており、符号化装置１０と復号装置３０との間の記録媒体あるいは伝送路上で、復号装置３０９において訂正不可能な誤りが発生しない限り、対応する信号と変換誤差および量子化誤差の範囲で同じである。
【０１１０】
低周波成分伸長部３０８は、受信した符号化信号について符号化装置１０の低周波成分圧縮部１０８と逆の変換を行い、伸長して２次元信号を得る。
すなわち、式１５〜式１７の左辺に相当する信号を得る。
さらに、低周波成分圧縮部１０８で行なわれた間引きの逆である補間を行なう。
この補完処理は、例えば次式で表される。
【０１１１】
【数４２】

【０１１２】
【数４３】

【０１１３】
【数４４】

【０１１４】
【数４５】

【０１１５】
【数４６】

【０１１６】
【数４７】

【０１１７】
ただし、ｘ＝０，・・・，Ｘ−１、ｙ＝０，・・・，Ｙ−１を示し、〔ｘ／２^ｓ　〕は、数値ｘ／２^ｓ　の小数点部を切り捨てた整数を示す。
また、Ｌ０（ｘ，ｙ）は適切なローパスフィルタのインパルス応答である。
低周波成分伸長部３０８によって生成された信号ＹＬ２（ｋ；ｓ）、信号ＵＬ２（ｋ；ｓ）、および、信号ＶＬ２（ｋ；ｓ）は、それぞれ信号逆変換部３０１〜３０３に入力される。
【０１１８】
演算回路３０４は、圧縮された線情報信号ＣＬＹ（ｋ；ｓ）を処理して、符号化装置１０における線情報ＬＹ（ｋ；ｓ）に相当する特徴点の線情報ＬＹ２（ｋ；ｓ）を求める。
演算回路３０４における処理は、演算回路１０４の処理の逆変換に相当する。すなわち、演算回路１０４においては、線情報ＬＹ（ｋ；ｓ）は、線情報ＬＹ（ｋ；ｓ）の座標、および、図６に示した画素０〜７の内の１つを指定する３ビットの情報系列に圧縮されるので、始点の座標（ｘ，ｙ）をよんだ後、それに続く信号系列の３ビットずつを順次用い、図６で指定された方向に座標を進めて線情報を線情報ＬＹ２（ｋ；ｓ）を復元する。
伸長部３０５〜３０７は、それぞれ分析結果圧縮部１０５〜１０７の逆変換処理、すなわち第１の実施例に説明したＤＰＣＭの逆変換を行う。
ＤＰＣＭの逆変換は、１つ前の系列の値に差分を累積加算していくことで実現される。
ＤＰＣＭの逆変換により得られた信号系列を、信号ＡｍＹ２（ｋ；ｓ），ＡｍＵ２（ｋ；ｓ），ＡｍＶ２（ｋ；ｓ）として、それぞれ信号逆変換部３０１〜３０３に入力する。
【０１１９】
信号逆変換部３０１は、特徴点の位置に関する情報として線情報ＬＹ２（ｋ；ｓ）、および、線情報ＬＹ２（ｋ；ｓ）に含まれる各特徴点における信号ＡｍＹ２（ｋ；ｓ）を用いて凸射影法により、元の輝度信号Ｙ（ｘ，ｙ）に対応する２次元信号Ｙ２（ｘ，ｙ）を復元する。
信号逆変換部３０１の処理は、信号逆変換部３０２、３０３においても、それぞれ色差信号Ｕ２（ｘ，ｙ），Ｖ２（ｘ，ｙ）について同様である。
【０１２０】
信号逆変換部３０１〜３０２の構成および動作を図８〜１１を参照してさらに説明する。
図８は、図７に示した第１の信号逆変換部３０１の構成を示す図である。
図９は、図７に示した第２の信号逆変換部３０２の構成を示す図である。
図１０は、図７に示した第３の信号逆変換部３０３の構成を示す図である。
信号逆変換部３０１〜３０３それぞれは、符号化装置１０における輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）に対応する輝度信号Ｙ２（ｘ，ｙ）、色差信号Ｕ２（ｘ，ｙ），Ｖ２（ｘ，ｙ）の復元を行う。
図８〜図１０を参照してわかるように、信号逆変換部３０１〜３０３を構成する各部分は処理ループを構成しており、信号逆変換部３０１〜３０３それぞれにおける処理は、それぞれ入力信号が異なるだけで同一である。
また、図８〜図１０の各部の接続に付した信号に付されたＹ，Ｕ，Ｖは、それぞれ処理の対象が輝度信号Ｙ、色差信号Ｕ，Ｖであることを示す。
以下、信号逆変換部３０１についてのみ説明する。
【０１２１】
変換部４０１は、線情報ＬＹ２（ｋ；ｓ）により指定される特徴点の座標に、対応する信号ＡｍＹ２（ｋ；ｓ）を当てはめて２次元情報ＡＹ２Ｐ（ｘ，ｙ；ｓ）に変換する。
２次元情報ＡＹ２Ｐ（ｘ，ｙ；ｓ）は、線情報ＬＹ２（ｋ；ｓ）により指定される特徴点の座標においてのみ有意な値を有し、それ以外の座標においては０の値をとる２次元情報である。
変換部４０１の処理においては、さらに移相情報として第１の実施例で説明した信号ＰｈＹ（ｘ，ｙ）に相当する信号ＰｈＹ２（ｘ，ｙ）が必要となる。
【０１２２】
演算部４０２において、この信号ＰｈＹ２（ｘ，ｙ）は、線情報ＬＹ２（ｋ；ｓ）に含まれる連結した特徴点の座標系列（ｘ，ｙ）から、以下に説明する方法により接線方向を求めたのちに算出される。
【０１２３】
第１の実施例の符号化装置１０においては、線情報ＬＹ（ｋ；ｓ）をチェイン符号化をもちいて符号化したため、ＬＹ２（ｋ；ｓ）に含まれている（ｘ，ｙ）の系列は格子状に標本化されており、そのままでは接線方向を求めにくい。
そこでまず、ある解像度スケールｓのある線の点の系列（ｘ_ｑ　，ｙ_ｑ　）を考える。
ここで、添字ｑは、順序づけられた点につけられたインデックスであり、ｑ＝１，・・・，Ｑ（ｋ）である。
また、Ｑ（ｋ）は，ｋ番目の線に含まれる点の数を表す。
【０１２４】
以下、特定の特徴点の線に対応する線情報ＬＹ２（ｋ；ｓ）に着目して説明を行うので、Ｑ（ｋ）をＱと記す。
ここで、関数ｐｘ（ｔ）という関数を定義する。
関数ｐｘ（ｔ）は、ある連結された特徴点の系列（ｘ_ｐ　）の始点からの長さｔをパラメータとし、ｘ_ｐ　を表した関数である。
長さｔはインデックスｑに対して一意に決まる。
同様に関数ｐｙ（ｔ）を、ある連結された特徴点の系列（ｙ_ｑ　）の始点からの長さｔおよび座標ｙ_ｑ　で定義する。
この関数ｐｘ（ｑ）と関数ｐｙ（ｑ）を、関数Ｇ０（ｔ）の特性を有するローパスフィルタでフィルタリングする。
【０１２５】
【数４８】

【０１２６】
【数４９】

【０１２７】
この関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）は、格子状の標本化の影響がとれた曲線を与える。
関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）をｔに関して１回微分したものをｄｐｘ（ｔ），ｄｐｙ（ｔ）とする。
実際には，関数Ｇ０（ｔ）を予め１階微分した関数Ｇ１（ｔ）　＝∂Ｇ０（ｔ）／　∂ｔを求めて、次式の関数Ｇ１（ｔ）を関数ｐｘ（ｑ）と関数ｐｙ（ｑ）に畳み込み演算を行ってフィルタリングを行う。
【０１２８】
【数５０】

【０１２９】
【数５１】

【０１３０】
上式のベクトル〔ｄｐｘ〔ｔ〕，ｄｐｘ〔ｔ〕〕が接線ベクトルになる。
従って、解像度スケールｓのこの線より求めた角度は次式で表される。
【０１３１】
【数５２】

【０１３２】
前述したようにｑとｔは１対１対応で一意に決まる。
全ての線と解像度スケールでこれらを求める。
特徴点以外での座標において信号ＰＹ２（ｘ，ｙ；ｓ）＝０として演算部４０２の出力とする。
信号ＰｈＹ２（ｘ，ｙ）は、変換部４０１に入力される。
【０１３３】
変換部４０１は、信号ＰｈＹ２（ｘ，ｙ）および信号ＡＹ２（ｘ，ｙ；ｓ）を用いてインパルス応答Ｗ２ＹＰ（ｘ，ｙ；ｓ），Ｗ２ＹＰ（ｘ，ｙ；ｓ）を求める。
この演算は次式で表される。
【０１３４】
【数５３】

【０１３５】
【数５４】

【０１３６】
一方、演算部４０９、４１０は、初期状態においてＷ１ＹＰ”（ｘ，ｙ；ｓ）＝Ｗ１ＹＰ’（ｘ，ｙ；ｓ）＝０とセットして出力する。
信号Ｗ１ＹＰ”（ｘ，ｙ；ｓ），Ｗ１ＹＰ’（ｘ，ｙ；ｓ）は、演算部４０５、４０６に入力され、演算部４０５、４０６は、線情報ＬＹ２（ｋ；ｓ）に含まれる特徴点に対応する信号Ｗ１ＹＰ”（ｘ，ｙ；ｓ），Ｗ１ＹＰ’（ｘ，ｙ；ｓ）の値のみをサンプルして信号Ｗ１ＹＰ’（ｘ，ｙ；ｓ），Ｗ２ＹＰ’（ｘ，ｙ；ｓ）として出力する。
すなわち、次式の演算が行われる。
【０１３７】
【数５５】

【０１３８】
【数５６】

【０１３９】
信号Ｗ１ＹＰ’（ｘ，ｙ；ｓ），Ｗ２ＹＰ’（ｘ，ｙ；ｓ）は、減算回路４１１、４１２において、変換部４０１および演算部４０２の出力信号から減算され、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ），ＤＷ２ＹＰ（ｘ，ｙ；ｓ）として演算部４０３、４０４に入力される。
【０１４０】
【数５７】

【０１４１】
【数５８】

【０１４２】
ここで、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）、ＤＷ２ＹＰ（ｘ，ｙ；ｓ）は、特徴点のみで有意な値を有し、その他の点では０である信号である。
従って、演算部４０３、４０４は、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）、ＤＷ２ＹＰ（ｘ，ｙ；ｓ）に補完処理を行う。
補間の方法は種々考えられるが、ここでは振動が少ないという条件から導かれた関数による補間をかける。
まず、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）はｘ方向への偏微分の極大点か極小点だったので、ｙを固定して、ｘ方向に補間をかける。
いま、ｘ_ｉ　，ｘ_{（ｉ＋１）}　がｘ方向にスキャンしても続く特徴点とする。
その間を、
【０１４３】
【数５９】

【０１４４】
で定義される関数で補間する。
ただし、ｋ（ｓ）は解像度スケールｓに依存した適当な正の数である。
未知数ａ，ｂは次式の２つの境界条件で求めることができる。
【０１４５】
【数６０】

【０１４６】
【数６１】

【０１４７】
ｙ方向の補間も同様に行なう。
その補間関数を関数ｅ２（ｙ）とする。
次に関数ｅ１（ｘ），ｅ２（ｙ）を演算部４０９、４１０の出力に加える。
すなわち、次式により各ｓとｙを固定した状態で各区間の関数ｅ１（ｘ）を求め、
【０１４８】
【数６２】

【０１４９】
同じく、各ｓとｘを固定した状態で各区間でｅ２（ｙ）を求め、
【０１５０】
【数６３】

【０１５１】
として、信号Ｗ１Ｙ’（ｘ，ｙ；ｓ），Ｗ２Ｙ’（ｘ，ｙ；ｓ）を演算部４０７、４０８に入力する。
演算部４０７、４０８は、式６４および式６５で与えられる特性を有するフィルターバンクの逆フィルターである。
この逆フィルタ特性を関数ＩＷ１（ｘ，ｙ；ｓ），ＩＷ２（ｘ，ｙ；ｓ）とし、ｘ，ｙに関する２次元フーリエ変換をＦＩＷ１（ｗｘ，ｗｙ；ｓ），ＦＩＷ２（ｗｘ，ｗｙ；ｓ）とすると、逆フィルターはフーリエ空間で次式のように与えられる。
【０１５２】
【数６４】

【０１５３】
【数６５】

【０１５４】
ただし、ＦＷ１（ｗｘ，ｗｙ；ｓ），ＦＷ２（ｗｘ，ｗｙ；ｓ）はそれぞれＷ１（ｘ，ｙ；ｓ），Ｗ２（ｘ，ｙ；ｓ）のフーリエ変換を表し、”^＊　”は複素共役をとることを意味する。
また、関数Ｃ（ｗｘ，ｗｙ）を次式で定義する。
【０１５５】
【数６６】

【０１５６】
ここで、上式のＳＵＭ_{（ｓ＝１，．．．，Ｓ）}　は、すべての解像度スケールｓに関する和を意味する。
【０１５７】
上式で定義されるフィルターを通って信号ＹＹ１（ｘ，ｙ；ｓ），ＹＹ２（ｘ，ｙ；ｓ）を出力する。
【０１５８】
【数６７】

【０１５９】
【数６８】

【０１６０】
これらの信号ＹＹ１（ｘ，ｙ；ｓ），ＹＹ２（ｘ，ｙ；ｓ）は、すべての解像度スケールｓに関して足し合わされ、信号Ｙ０’（ｘ，ｙ）が得られる。
【０１６１】
【数６９】

【０１６２】
信号Ｙ０’（ｘ，ｙ）は、演算部４０９、４１０に入力される。
演算部４０９、４１０においては、図２に示したフィルタ２０１、２０２と同じ分析が行われる。
【０１６３】
【数７０】

【０１６４】
【数７１】

【０１６５】
以上で処理ループが完成する。
最初の初期値においては　Ｗ１Ｙ”（ｘ，ｙ；ｓ）＝Ｗ２Ｙ”（ｘ，ｙ；ｓ）＝０だったが、このループで適当な信号となり，再び演算部４０３〜４０８を介して信号Ｙ０’（ｘ，ｙ）が得られる。
以上の処理を適当な条件を満たすまで繰り返す。
この例では構成の簡略化のために、例えば１０回上述の処理を繰り返して終了する。
最後に求められた信号Ｙ０’（ｘ，ｙ）に低周波成分ＹＬ２（ｘ，ｙ）を加えて最終的な輝度信号Ｙ（ｘ，ｙ）を得る。
色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）についても、復号装置３０２、３０３の各部分において、対応する信号逆変換部３０１の各部分と同じ処理が行われる。
【０１６６】
以下、各実施例に述べた本発明の画像情報符号化装置および復号装置の変形例を説明する。
第２の実施例の復号装置３０においても、第１の実施例の符号化装置１０と同様に、信号要素として色信号Ｒ，Ｇ，Ｂを含む動画像情報を復号することが可能である。
信号要素として色信号Ｒ，Ｇ，Ｂを含む動画像情報も通常、信号要素として輝度信号Ｙ、および、色差信号Ｕ，Ｖを含む動画像情報と同様に、各信号要素間で特徴点が深い相関関係を有する、あるいは、共通であると考えられるからである。
この場合、例えば色信号Ｇを輝度信号Ｙの代わりに、色信号Ｒを色差信号Ｕの代わりに、また、色信号Ｂを色差信号Ｖの代わりに符号化装置１０に入力して符号化を行い、符号化装置１０により符号化された符号化信号を復号装置３０により復調することができる。
【０１６７】
また、符号化装置１０において、輝度信号Ｙに基づいて特徴点の線情報ＬＹ（ｋ；ｓ）を求め、同一の画面の色信号Ｒ，Ｇ，Ｂに対して線情報ＬＹ（ｋ；ｓ）を用いて符号化、復号化することも考えられる。
また、符号化装置１０のフィルタ２０１、２０２の特性は、上述したガウス関数を一回微分した形式のものに限らず、例えばスムーシング関数として３次のＢスプラインなどを用てもよい。
また、処理の対象となる動画像信号のサンプル（標本）数は、輝度信号Ｙおよび色差信号Ｕ，Ｖにおいて同数としたが、異なっていてもよい。
この場合、各信号について適切な間引きや補間を行い、標本数変換して標本数をそろえれば本発明の符号化処理等を容易に行うことができる。
また、輝度信号Ｙおよび色差信号Ｕ，Ｖ相互の標本位置がずれている場合、補正して正確に特徴点を対応付けることも容易である。
【０１６８】
また、標本数あるいは標本点の補正は入力信号にでなく、線情報の状態で行なうことも可能である。
すなわち、線情報ＬＹ（ｋ；ｓ）の系列を式４８および式４９で行なったように、長さｔのパラメータ表現にしてから、長さを変換して再標本することにより大きさの異なる線情報ＬＹ（ｋ；ｓ）と相似な特徴点からなる曲線を作ることができる。
あるいは、式４８および式４９に示した関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）をそれぞれ違う値で定数倍すれば、縦横比の異なる幾何学的変換を行なった曲線を作ることができる。
また、関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）に適当な値を加えることは標本点をその値だけずらすことに相当する。
このようにして、標本数、標本点の補正を線情報の段階で行なうことも可能である。
【０１６９】
上述の実施例においては、輝度信号Ｙ（ｘ，ｙ）の特徴点情報である線情報ＬＹ（ｋ；ｓ）のみをもちいて符号化、復号化を行なったが、色差信号Ｕ，Ｖ信号においても特徴点検出を行ない、線情報ＬＹ（ｋ；ｓ）に存在しない特徴点を符号化することにより画質を向上させるとことが可能である。
また、逆に輝度信号Ｙ（ｘ，ｙ）では特徴点として存在し、色差信号Ｕ，Ｖにおいては対応する位置に特徴点が存在しない場合、この事実を示すための情報を符号化し復号するように構成してもよい。
また、復号装置３０も符号化装置１０と同様に、各部分をハードウェア的に構成しても、あるいは、計算機上でソフトウェア的に構成してもよい。
上述の各実施例に示したほか、例えば上述の各変形例に示したように、本発明の画像情報符号化装置および復号装置は種々の構成をとることができる。
【０１７０】
【発明の効果】
以上述べたように本発明は、例えば動画像情報に含まれる複数の信号要素間の相関を積極的に利用した、従来になかった画像情報符号化装置および復号装置を提供する。
また本発明によれば、カラー動画像情報を構成する複数の信号の特徴点のすべてあるいは一部を共通化することによりカラー動画像情報の圧縮効率を非常に高めることができ、情報量を少なく符号化可能であり、また、この符号化信号を適切に復号化できる。
【図面の簡単な説明】
【図１】第１の実施例における本発明の符号化装置の構成を示す図である。
【図２】図１に示した各信号分析部の構成を示す図である。
【図３】図２に示した線情報算出部における特徴点の連結処理を示すフローチャートである。
【図４】図３に示したＳ１００の処理を示すフローチャートである。
【図５】図３に示したＳ３００の処理を示すフローチャートである。
【図６】画像情報の近傍画素を説明する図である。
【図７】第２の実施例における本発明の復号装置の構成を示す図である。
【図８】図７に示した第１の信号逆変換部の構成を示す図である。
【図９】図７に示した第２の信号逆変換部の構成を示す図である。
【図１０】図７に示した第３の信号逆変換部の構成を示す図である。
【符号の説明】
１０・・・符号化装置、１０１〜１０３・・・信号分析部、１０４・・・演算回路、１０５〜１０７・・・分析結果圧縮部、１０８・・・低周波成分圧縮部、１０９・・・変調部、２０１，２０２，２１１，２１２，２２１，２２２・・・フィルタ、２０３，２１３，２２３・・・低周波成分処理部、２０４，２１４，２２４・・・演算回路、２０５，２１５，２２５・・・情報抽出部、２０６・・・特徴点検出部、２０７・・・線情報算出部、３０・・・復号装置、３０１〜３０３・・・信号逆変換部、３０４・・・演算回路、３０５〜３０７・・・伸長部、３０８・・・低周波成分伸長部、４０１・・・変換部、４０２〜４１０・・・演算部、４１１，４１２・・・減算回路

Claims (19)

1. 複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点を検出する検出手段と、
   前記特徴点の一部または全てにおける前記各信号要素を分析し、該分析結果および対応する特徴点の位置情報を符号化する分析符号化手段と
   を有する画像情報符号化装置。
2. 前記対象信号は色動画像信号であり、
   前記信号要素は輝度信号と色差信号であること
   を特徴とする請求項１に記載の画像情報符号化装置。
3. 前記対象信号は色動画像信号であり、
   前記信号要素は３原色に対応する色信号であること
   を特徴とする請求項１に記載の画像情報符号化装置。
4. 前記特徴点は、前記色動画像信号のエッジであること
   を特徴とする請求項２または３に記載の画像情報符号化装置。
5. 前記各信号要素の分析は、前記対象信号を１次微分型の分析フィルタによりフィルタリングすることにより行われること
   を特徴とする請求項１〜４のいずれかに記載の画像情報符号化装置。
6. 複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点の一部または全てにおける前記各信号要素の分析結果および対応する特徴点の位置情報を符号化した復号信号を復号する装置であって、
   前記符号化信号に基づいて、前記各分析結果および対応する前記特徴点の位置情報を求め、該分析結果および位置情報に基づいて前記対象信号を復号する
   画像情報復号装置。
7. 前記対象信号は色動画像信号であり、前記信号要素は輝度信号と色差信号であること
   を特徴とする請求項６に記載の画像情報復号装置。
8. 前記対象信号は色動画像信号であり、前記信号要素は３原色に対応する色信号であること
   を特徴とする請求項６に記載の画像情報復号装置。
9. 前記特徴点は、前記色動画像信号のエッジであること
   を特徴とする請求項７または８に記載の画像情報復号装置。
10. 前記各信号要素の分析は、前記符号化信号を１次微分型の分析フィルタによりフィルタリングすることにより行われること
    を特徴とする請求項６〜９のいずれかに記載の画像情報復号装置。
11. 請求項１〜５のいずれかに記載の画像情報符号化装置により前記対象信号の符号化を行い、
    請求項６〜１０のいずれかに記載の画像情報復号装置により前記符号化された対象信号を復号する
    画像情報処理システム。
12. 複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点を検出し、前記特徴点の一部または全てにおける前記各信号要素を分析し、該分析結果および対応する特徴点の位置情報を符号化する
    画像情報符号化方法。
13. 複数の信号要素を含む対象信号の内、１つ以上の信号要素の特徴点の一部または全てにおける前記各信号要素の分析結果および対応する特徴点の位置情報を符号化した符号化信号に基づいて、前記各分析結果および対応する前記特徴点の位置情報を求め、該分析結果および位置情報に基づいて前記対象信号を復号する
    画像情報復号方法。
14. カラー動画像情報に含まれる輝度信号と色差信号とを符号化する画像情報符号化装置であって、
    前記輝度信号内の特徴点の位置を検出する第１の検出手段と、
    前記輝度信号および前記色差信号のそれぞれについて、前記第１の検出手段が検出した前記特徴点の位置の値を検出する第２の検出手段と、
    前記第１の検出手段が検出した前記特徴点の位置を示す位置情報と、前記第２の検出手段が検出した前記輝度信号の前記特徴点の位置の値を示す第１の特徴量情報と、前記第２の工程で検出した前記色差信号の前記特徴点の位置の値を示す第２の特徴量情報とを符号化する符号化手段と
    を有する画像情報符号化装置。
15. 前記第１の検出手段は、前記輝度信号内の前記検出した特徴点の位置を連結した線情報を生成し、
    前記符号化手段は、前記第１の検出手段が生成した前記線情報を符号化する
    請求項１４記載の画像情報符号化装置。
16. カラー動画像情報に含まれる輝度信号Ｙと色差信号Ｕ，Ｖとを符号化する画像情報符号化装置であって、
    前記輝度信号Ｙに畳み込み演算を行って第１の信号ＹＬを生成し、前記輝度信号Ｙから前記第１の信号ＹＬを減算して第２の信号Ｙ０を生成する第１の処理手段と、
    前記第１の処理手段が生成した前記第２の信号Ｙ０にスムージング関数の１次微分型の多重解像度フィルタ処理を施して２つのインパルス応答を出力する第１のフィルタ回路と、
    前記第１のフィルタ回路から出力された前記２つのインパルス応答の２乗和平方根を算出する第１の演算回路と、
    前記第１の演算回路の算出結果の極大点を与える特徴点を検出する特徴点検出手段と、
    前記特徴点検出手段が検出した特徴点を連結して線情報を算出する線情報算出手段と、
    前記第１の演算回路の算出結果から、前記線情報算出手段が算出した前記線情報が示す前記特徴点に対応する値を抽出する第１の情報抽出手段と、
    色差信号Ｕに畳み込み演算を行って第３の信号ＵＬを生成し、前記色差信号Ｕから前記第３の信号ＵＬを減算して第４の信号Ｕ０を生成する第２の処理手段と、
    前記第２の処理手段が生成した第４の信号Ｕ０にスムージング関数の１次微分型の多重解像度フィルタ処理を施して２つのインパルス応答を出力する第２のフィルタ回路と、
    前記第２のフィルタ回路から出力された前記２つのインパルス応答の２乗和平方根を算出する第２の演算回路と、
    前記第２の演算回路の算出結果から、前記線情報算出手段が算出した前記線情報が示す前記特徴点に対応する値を抽出する第２の情報抽出手段と、
    色差信号Ｖに畳み込み演算を行って第５の信号ＶＬを生成し、前記色差信号Ｖから前記第５の信号ＶＬを減算して第６の信号Ｖ０を生成する第３の処理手段と、
    前記第３の処理手段が生成した前記第６の信号ＶＬにスムージング関数の１次微分型の多重解像度フィルタ処理を施して２つのインパルス応答を出力する第３のフィルタ回路と、
    前記第３のフィルタ回路から出力された前記２つのインパルス応答の２乗和平方根を算出する第３の演算回路と、
    前記第３の演算回路の算出結果から、前記線情報算出手段が算出した前記線情報が示す前記特徴点に対応する値を抽出する第３の情報抽出手段と、
    前記線情報算出手段が算出した前記線情報を圧縮する第１の圧縮手段と、
    前記第１の情報抽出手段が抽出した値を圧縮する第２の圧縮手段と、
    前記第２の情報抽出手段が抽出した値を圧縮する第３の圧縮手段と、
    前記第３の情報抽出手段が抽出した値を圧縮する第４の圧縮手段と、
    前記第１の処理手段が生成した前記第１の信号ＹＬと、前記第２の処理手段が生成した前記第３の信号ＵＬと、前記第３の処理手段が生成した前記第５の信号ＶＬとを圧縮する第５の圧縮手段と
    を有する画像情報符号化装置。
17. カラー動画像情報に含まれる輝度信号と色差信号とを符号化する符号化方法であって、
    前記輝度信号内の特徴点の位置を検出する第１の工程と、
    前記輝度信号および前記色差信号のそれぞれについて、前記第１の工程で検出した前記特徴点の位置の値を検出する第２の工程と、
    前記第１の工程で検出した前記特徴点の位置を示す位置情報と、前記第２の工程で検出した前記輝度信号の前記特徴点の位置の値を示す第１の特徴量情報と、前記第２の工程で検出した前記色差信号の前記特徴点の位置の値を示す第２の特徴量情報とを符号化する第３の工程と
    を有する画像情報符号化方法。
18. カラー画像情報を構成する輝度信号内の特徴点の位置を示す位置情報と、前記輝度信号内の前記特徴点の位置における値を示す第１の特徴量情報と、前記輝度信号と共に前記カラー画像情報を構成する色差信号内の前記特徴点の位置における値を示す第２の特徴量情報とを復号する画像情報復号装置であって、
    前記位置情報を復号する第１の復号手段と、
    前記輝度信号についての前記特徴点の位置における前記第１の特徴量情報を復号し、前記色差信号についての前記特徴点の位置における前記第２の特徴量情報を復号する第２の復号手段と、
    前記第２の復号手段で復号された前記第１の特徴量情報を変換して前記第１の復号手段で復号された位置情報が示す前記特徴点の位置においてのみ当該第１の特徴量情報が有意な値を示す第１の２次元情報を生成し、前記第２の復号手段で復号された前記第２の特徴量情報を変換して前記第１の復号手段で復号された位置情報が示す前記特徴点の位置においてのみ当該第２の特徴量情報が有意な値を示す第２の２次元情報を生成する変換手段と、
    前記変換手段で得られた前記第１の２次元情報を補間して前記輝度信号を生成し、前記変換手段で得られた前記第２の２次元情報を補間して前記色差信号を生成する補間手段と
    を有する画像情報復号装置。
19. カラー画像情報を構成する輝度信号内の特徴点の位置を示す位置情報と、前記輝度信号内の前記特徴点の位置における値を示す第１の特徴量情報と、前記輝度信号と共に前記カラー画像情報を構成する色差信号内の前記特徴点の位置における値を示す第２の特徴量情報とを復号する画像情報復号方法であって、
    前記位置情報を復号する第１の工程と、
    前記輝度信号についての前記特徴点の位置における前記第１の特徴量情報を復号し、前記色差信号についての前記特徴点の位置における前記第２の特徴量情報を復号する第２の工程と、
    前記第２の工程で復号された前記第１の特徴量情報を変換して前記第１の復号手段で復号された位置情報が示す前記特徴点の位置においてのみ当該第１の特徴量情報が有意な値を示す第１の２次元情報を生成し、前記第２の工程で復号された前記第２の特徴量情報を変換して前記第１の復号手段で復号された位置情報が示す前記特徴点の位置においてのみ当該第２の特徴量情報が有意な値を示す第２の２次元情報を生成する第３の工程と、
    前記第３の工程で得られた前記第１の２次元情報を補間して前記輝度信号を生成し、前記変換手段で得られた前記第２の２次元情報を補間して前記色差信号を生成する第４の工程と
    を有する画像情報復号方法。

Images