JP2005302090A - 情報信号の処理装置および処理方法 - Google Patents

Abstract

【課題】情報信号から抽出された所定の特徴量を、情報信号に対して複数の処理を順に行う複数の処理部に効果的に送信し、この複数の処理部のうち少なくともいずれかにおける処理性能の向上を図る。
【解決手段】ＤＶＤプレーヤ１０１から出力される情報信号としての画像信号を、ノイズ低減回路１０２、画サイズ変換回路１０３を通じて、ディスプレイ１０４に供給する。動きベクトル検出部１０５は、画像信号Ｓａから動きベクトルを検出し、ノイズ低減回路１０２及び画サイズ変換回路１０３のそれぞれにブロードキャスト的に供給する。画サイズ変換回路１０３は、ノイズ低減回路１０２を通じて供給される動きベクトル及び動きベクトル検出回路１０５から直接供給される動きベクトルを用いて、画サイズの変換処理を行う。
【選択図】 図１

Description

この発明は、画像信号や音声信号等の情報信号に複数の処理を順に行う際に適用して好適な情報信号の処理装置および処理方法に関する。詳しくは、この発明は、情報信号から所定の特徴量を抽出し、この所定の特徴量を複数の処理部のそれぞれにブロードキャスト的に送信する構成とすることによって、当該複数の処理部のうち少なくともいずれかにおける処理性能の向上を図るようにした情報信号の処理装置および処理方法に係るものである。

例えば、画像信号、音声信号等の情報信号に複数の処理を順に行って最終的に所望の情報信号を得ることが種々知られている。例えば、特許文献１には、光ピックアップで検出された光ディスクからの画像データに、増幅処理、８−１４復調処理、ＥＣＣデコード、ＭＰＥＧデコード、ノイズ低減処理、画質補正処理等を順に行うことが記載されている。そして、この特許文献１には、ＭＰＥＧデコーダから次段のノイズ低減回路に、画像信号とは別個の経路で、この画像信号の付加情報としての符号化情報、例えばブロックサイズ等の情報を送信して利用することが記載されている。また、特許文献２には、画像信号（映像信号）に付加情報を重畳して伝送することが記載されている。

特開平１１−１９６４１９号公報 特開平１１−１６４２３５号公報

上述した特許文献１には、ＭＰＥＧデコーダから出力される付加情報としての符号化情報は次段のノイズ低減回路のみに送信されて用いられるものであって、その他の処理部で利用可能な構成とはなっていない。また、上述した特許文献２のように、画像信号に付加情報を重畳して伝送するものにあっては、付加情報が画像信号に悪影響を及ぼすおそれがある。

この発明の目的は、情報信号から抽出された所定の特徴量を、情報信号に対して複数の処理を順に行う複数の処理部に効果的に送信し、この複数の処理部のうち少なくともいずれかにおける処理性能の向上を図ることにある。

この発明に係る情報信号処理装置は、情報信号に対して複数の処理を順に行う情報信号処理装置であって、複数の処理をそれぞれ行う複数の処理部と、この複数の処理部のいずれかに入力される情報信号から所定の特徴量を抽出し、複数の処理部のそれぞれに送信する特徴量抽出部とを備えるものである。

また、この発明に係る情報信号処理方法は、情報信号に対して複数の処理部で複数の処理を順に行う情報信号処理方法であって、複数の処理部のいずれかに入力される情報信号から所定の特徴量を抽出し、この抽出された所定の特徴量を複数の処理部のそれぞれに送信し、複数の処理部に、この所定の特徴量の使用が可能であるとき、この所定の特徴量を用いた処理を行わせるものである。

この発明においては、情報信号に対して複数の処理部で複数の処理が順に行われる。情報信号は、例えば画像信号、音声信号等である。この複数の処理部のいずれかに入力される情報信号から所定の特徴量が抽出される。例えば、この所定の特徴量は、情報信号を構成する情報データ毎、あるいは情報信号を構成する所定数の情報データからなるブロック毎に抽出されたものである。例えば、情報信号が画像信号であるとき、この所定の特徴量は、画像信号を構成する所定数の画素データからなるブロック毎の動きベクトルである。

このように抽出された所定の特徴量は、複数の処理部にそれぞれブロードキャスト的に送信される。このように複数の処理部に送信される所定の特徴量には、この所定の特徴量を識別するための識別子が付加されている。このように識別子が付加されていることで、複数の処理部では、所定の特徴量を識別できる。例えば、上述した所定の特徴量を構成する動きベクトルとして複数のフレームの動きベクトルが抽出される場合、各フレームの動きベクトルは、それぞれを識別する識別子が付加されて送信される。

例えば、所定の特徴量を抽出する特徴量抽出部と複数の処理部のそれぞれは付加情報線で接続されている。この特徴量抽出部から複数の処理部には、所定の特徴量を付加情報として含む付加信号が、上述の付加情報線を通じて送信される。そして、各処理部では、付加情報線で送られてくる付加信号に含まれる所定の特徴量が自己の処理で使用可能であるとき、この所定の特徴量を用いて処理が行われる。

例えば、複数の処理部を構成する、連続する第１の処理部と第２の処理部は、信号線および付加情報線で接続されている。そして、第１の処理部から第２の処理部には、情報信号が信号線を通じて送信されると共に、この情報信号に同期して、この情報信号に関連した付加情報を含む付加信号が付加情報線を通じて送信される。例えば、第１の処理部から第２の処理部に送信される付加信号には、上述した特徴量抽出部から第１の処理部に送信されてきた所定の特徴量が挿入される。これにより、第２の処理部では、特徴量抽出部から直接供給される所定の特徴量と共に、第１の処理部を介して供給される、所定時間遅延された所定の特徴量とを用いることが可能となり、処理の自由度が増す。

このように、この発明は、情報信号から所定の特徴量を抽出し、この所定の特徴量を複数の処理部のそれぞれにブロードキャスト的に送信するものであり、複数の処理部に、情報信号から抽出された所定の特徴量を効果的に送信でき、複数の処理部における処理性能の向上を図ることができる。

この発明に係る情報信号処理装置は、信号線で送られてくる情報信号を受信する情報信号受信手段と、この情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、第１の付加情報線で送られてくる、情報信号から抽出された所定の特徴量を付加情報として含む付加信号を受信する第１の付加信号受信手段とを備え、情報信号処理手段は、第１の付加信号受信手段で受信された付加信号に含まれている所定の特徴量が自己の処理で使用可能であるときは、この所定の特徴量を用いて処理を行うものである。

また、この発明に係る情報信号処理方法は、信号線で送られてくる情報信号を受信する情報信号受信ステップと、この情報信号受信ステップで受信された情報信号を処理する情報信号処理ステップと、付加情報線で送られてくる、情報信号から抽出された所定の特徴量を付加情報として含む付加信号を受信する付加信号受信ステップとを備え、情報信号処理ステップでは、付加信号受信ステップで受信された付加信号に含まれている所定の特徴量が自己の処理で使用可能であるときは、この所定の特徴量を用いて処理を行うものである。

この発明においては、信号線で送られてくる情報信号が受信されると共に、第１の付加情報線で送られてくる付加信号が受信される。この付加信号には、情報信号から抽出された所定の特徴量が付加情報として含まれている。そして、この所定の特徴量が自己の処理で使用可能であるとき、受信された情報信号が、この所定の特徴量を用いて処理される。このように所定の特徴量が自己の処理で使用可能であるとき、その所定の特徴量を検出あるいは生成しなくても使用でき、処理性能の向上を図ることができる。

また、第２の付加情報線で送られてくる付加信号が受信される。この付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するとき、受信された情報信号がこの付加情報を用いて処理される。この付加情報に、例えば上述した第１の付加情報線を通じて受信される所定の特徴量とは時間位置が異なる所定の特徴量が存在する場合、受信された情報信号に対してこれら時間位置の異なる所定の特徴量を用いた処理が可能となり、処理の自由度が増すことができる。

この発明によれば、情報信号から所定の特徴量を抽出し、この所定の特徴量を、情報信号に対して複数の処理を順に行う複数の処理部のそれぞれにブロードキャスト的に送信するものであり、複数の処理部に、情報信号から抽出された所定の特徴量を効果的に送信でき、複数の処理部のうち少なくともいずれかにおける処理性能の向上を図ることができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像表示装置１００の構成を示している。この画像表示装置１００は、ＤＶＤ(Digital Versatile Disc)プレーヤ１０１と、ノイズ低減回路１０２と、画サイズ変換回路１０３と、ディスプレイ１０４と、動きベクトル検出回路１０５と、同期制御部１０６とを有している。

ここで、ＤＶＤプレーヤ１０１とノイズ低減回路１０２は、信号線Ｌsaおよび付加情報線Ｌiaによって接続されている。ノイズ低減回路１０２と画サイズ変換回路１０３は、信号線Ｌsbおよび付加情報線Ｌibによって接続されている。画サイズ変換回路１０３とディスプレイ１０４は、信号線Ｌscおよび付加情報線Ｌicによって接続されている。ＤＶＤプレーヤ１０１と動きベクトル検出回路１０５は、信号線Ｌsdおよび付加情報線Ｌidによって接続されている。動きベクトル検出回路１０５と、ノイズ低減回路１０２および画サイズ変換回路１０３とは、付加情報線Ｌieによって接続されている。

また、同期制御部１０６と、ノイズ低減回路１０２、画サイズ変換回路１０３および動きベクトル検出回路１０５のそれぞれとは、同期制御線ＬＳ１〜ＬＳ３によって接続されている。これにより、ノイズ低減回路１０２、画サイズ変換回路１０３および動きベクトル検出回路１０５のそれぞれには同期制御部１０６から同期制御信号Ｓsc1〜Ｓsc3が供給され、これら各回路における遅延量が同期制御部１０６によって集中的に制御されるようになっている。

この場合、ＤＶＤプレーヤ１０１から出力される画像信号Ｓａの現フレームがｎフレームであるとき、ノイズ低減回路１０２からはｎ−１フレームの画像信号が出力され、画サイズ変換回路１０３からはｎ−３フレームの画像信号が出力され、また動きベクトル検出回路１０５からは、ｎ−１フレーのｎ−２フレームに対する動きベクトルＭＶn-1/n-2、ｎフレームのｎ−１フレームに対する動きベクトルＭＶn/n-1、およびｎ−２フレームのｎ−１フレームに対する動きベクトルＭＶn-2/n-1が出力される。

ＤＶＤプレーヤ１０１は、ディスク（図示せず）から再生されたＭＰＥＧ(Moving Picture Experts Group)データに対してデコード処理を施し、画像信号Ｓａを取得する。この画像信号Ｓａは、フレーム周波数が２４Ｈｚであって、１フレームのライン数が５２５本のプログレッシブ方式の画像信号、つまり５２５ｐ／２４フレームの画像信号である。この場合、５フレーム毎にフレームセットが構成されている。

各フレームセットにおいて、第１のフレームの画像信号は、フレーム内符号化に係るＭＰＥＧデータに対してデコード処理を施すことで得られる。第２〜第５のフレームの画像信号は、動き補償予測符号化に係るＭＰＥＧデータに対してデコード処理を施すことで得られる。このＤＶＤプレーヤ１０１は、この画像信号Ｓａを、信号線Ｌsaを通じてノイズ低減回路１０２に送信し、また信号線Ｌsdを通じて動きベクトル検出回路１０５に送信する。

また、このＤＶＤプレーヤ１０１は、上述した信号線Ｌsaを通じて送信される画像信号Ｓａに同期させて、当該画像信号Ｓａに関連した付加情報を含む付加信号Ｓiaを、付加情報線Ｌiaを通じてノイズ低減回路１０２に送信し、また付加情報線Ｌidを通じて動きベクトル検出回路１０５に送信する。図２は、画像信号の１フレームに対応した１フレーム分の付加信号の構成を示している。先頭にフレーム同期信号が配置され、それに続いてフレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマットが順に配置され、最後に画素内の情報やブロック内の情報が配置されている。フレームセットの情報、フレームの情報、フレームのブロック情報、画素内の情報、ブロック内の情報は、それぞれ付加情報を構成している。

図３は、１フレーム分の付加信号に含まれる各情報の配置位置を、画面に対応させて示したものである。フレームセットの情報、フレームの情報、フレームのブロック情報および情報のフォーマットの各情報は、垂直ブランキング部分に対応した位置に配置される。画像内の情報やブロック内の情報は、有効画素部分に対応した位置に配置される。

図４は、各情報の内容を示している。フレームセットの情報は、フレームセットの開始を示す情報、画像信号のフォーマット情報等である。付加信号Ｓiaの場合、画像信号のフォーマット情報は、画像信号Ｓａのフレーム周波数が２４Ｈｚであって、しかもこの画像信号Ｓａが５２５ｐ信号である旨を示す情報である。フレームの情報は、フレームセットのフレーム数ｎを示す情報である。上述したように１つのフレームセットが５フレームで構成される場合、ｎ＝５である。フレームのブロック情報は、ＤＣＴ(Discrete Cosine Transform)処理の単位であるブロックのサイズｋ×ｍを示す情報である。

情報のフォーマットは、有効画素部分に、画素内の情報、ブロック内の情報としてどのような情報を、いかなるビット数で、どのように配置しているかを示す情報である。画素内の情報は、有効画素のそれぞれに対応した付加情報であって、例えば動き補償予測符号化における差分データ等である。ブロック内の情報は、ブロックのそれぞれに対応した付加情報であって、例えば動きベクトル等である。

情報のフォーマットについてさらに説明する。この情報のフォーマットの情報には、配置方法ＩＤが存在する。この配置方法ＩＤは、画素内の情報とブロック内の情報とが存在する場合にそれらを有効画素部分にどのように配置するかを示す情報である。図５Ａは、配置方法ＩＤの一例を示している。すなわち、配置方法ＩＤ＝０１は、画素内の情報を配置して、残りのビットにブロック内の情報を配置することを示している。

また、情報のフォーマットの情報には、有効画素部分に配置されている、画素内の情報、ブロック内の情報を識別するための識別子である情報ＩＤが存在する。図５Ｂは、情報ＩＤの一例を示している。すなわち、情報ＩＤ＝１０１は、動き補償予測符号化における差分データを示している。情報ＩＤ＝０００は、ｎフレームのｎ−１フレームに対する動きベクトルを示している。情報ＩＤ＝００１は、ｎ−１フレームのｎ−２フレームに対する動きベクトルを示している。情報ＩＤ＝００２は、ｎ−２フレームのｎ−３フレームに対する動きベクトルを示している。情報ＩＤ＝０１２は、ｎ−２フレームのｎ−１フレームに対する動きベクトルを示している。情報ＩＤ＝０１３は、ｎ−３フレームのｎ−２フレームに対する動きベクトルを示している。

ＤＶＤプレーヤ１０１から送信される付加信号Ｓiaの有効画素部分には、各フレームセットの第１のフレームでは画素内の情報、ブロック内の情報のいずれも配置されないが、その第２〜第５のフレームではブロック内の情報として動きベクトルが配置される。図６は、付加信号Ｓiaにおける第２〜第５フレームにおける情報のフォーマットを示している。この場合、情報ＩＤに対応して、その情報ＩＤで示す情報がブロック内の情報であるか画素内の情報であるかを示す情報、その情報ＩＤで示す情報の使用ビット数を示す情報、フレーム数変更時の処理情報、画サイズ変更時の処理情報も存在する。

図７は、動きベクトルＭＶn/n-1と、有効画素部分の画素位置、ブロック位置との実際の対応を示している。ここでは、ブロックのサイズｋ×ｍが４×４であり、各画素に対応して使用可能なビット数が８×３＝２４である場合を示している。この場合、各ブロックに対応したビットのうち３０ビットを使用して動きベクトルＭＶn/n-1が配置される。

図８は、ＤＶＤプレーヤ１０１の要部の構成を示している。このＤＶＤプレーヤ１０１は、ＭＰＥＧデコーダ１１１と、画像信号送信部１１２と、画像信号出力端子１１３と、付加情報記憶部１１４と、付加信号送信部１１５と、付加信号出力端子１１６とを有している。

ＭＰＥＧデコーダ１１１は、ディスクから再生されたＭＰＥＧデータに対してデコード処理を行って画像信号Ｓａを取得する。画像信号送信部１１２は、ＭＰＥＧデコーダ１１１で取得された画像信号Ｓａを、ノイズ低減回路１０２に送信するために、画像信号出力端子１１３に順次出力する。

付加情報記憶部１１４は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、ＭＰＥＧデコーダ１１１から出力される画像信号Ｓａに関連した付加情報に基づいて、１フレーム分の付加信号を構成する各情報を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７参照）。図９のフローチャートは、付加情報記憶部１１４における１フレーム分の処理手順を示している。

すなわち、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、フレーム同期信号を記憶する。次に、ステップＳＴ３で、フレームセットの情報、フレームの情報、フレームのブロック情報および情報のフォーマットを記憶する。次に、ステップＳＴ４で、ステップＳＴ３で記憶した情報のフォーマットに従って、ブロック内の情報である動きベクトルＭＶn/n-1を記憶する。そして、ステップＳＴ５で、処理を終了する。

付加信号送信部１１５は、各フレームで、付加情報記憶部１１４内のフレームメモリに記憶された各情報を読み出し、ノイズ低減回路１０２および動きベクトル検出回路１０５に送信するために、付加信号出力端子１１６に付加信号Ｓiaとして順次出力する。この場合、付加信号送信部１１５は、画像信号送信部１１２から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓiaを画像信号Ｓａに同期させて出力する。

図８に示すＤＶＤプレーヤ１０１の動作を説明する。ディスクから再生されたＭＰＥＧデータはＭＰＥＧデコーダ１１１に供給される。このＭＰＥＧデコーダ１１１では、ＭＰＥＧデータに対してデコード処理が行われて画像信号Ｓａが取得される。この画像信号Ｓａは画像信号送信部１１２に供給され、画像信号出力端子１１３に順次出力される。

また、ＭＰＥＧデコーダ１１１から画像信号Ｓａに関連した付加情報、動きベクトル等が出力される。この付加情報は、付加情報記憶部１１４に供給される。付加情報記憶部１１４では、各フレームで、ＭＰＥＧデコーダ１１１から供給された付加情報に基づいて、１フレーム分の付加信号Ｓiaを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。そして、このようにフレームメモリに記憶された各情報が付加信号送信部１１５により読み出され、画像信号Ｓａに同期した状態で、付加信号出力端子１１６に、付加信号Ｓiaとして順次出力される。

また、図１に戻って、動きベクトル検出回路１０５は、ＤＶＤプレーヤ１０１から信号線Ｌsdを通じて送られてくる画像信号Ｓａから、従来周知のブロックマッチング法あるいは勾配法等により、ＤＣＴの処理単位であるブロック単位で、動きベクトルを検出する。この場合、画像信号Ｓａの現フレームがｎフレームであるとき、動きベクトル検出回路１０５は、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1を検出して出力する。ここで、ＭＶp/qはｐフレームのｑフレームに対する動きベクトルを示している。

動きベクトル検出回路１０５は、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1を、付加信号Ｓieに含め、ノイズ低減回路１０２および画サイズ変換回路１０３に、付加情報線Ｌieを通じて送信する。この場合、付加信号Ｓieの有効画素部分には、ブロック内の情報として動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が配置される。

図１０は、付加信号Ｓieの各フレームにおける情報のフォーマットを示している。図１１は、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1と、有効画素部分の画素位置、ブロック位置との実際の対応を示している。ここでは、ブロックのサイズｋ×ｍが４×４であり、各画素に対応して使用可能なビット数が８×３＝２４である場合を示している。この場合、各ブロックに対応したビットのうち、それぞれ３０ビットを使用して、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が配置される。

また、図１に戻って、ノイズ低減回路１０２は、ＤＶＤプレーヤ１０１から信号線Ｌsaを通じて送られてくる画像信号Ｓａから、ブロック歪みを低減する。この場合、ノイズ低減回路１０２は、ＤＶＤプレーヤ１０１から付加情報線Ｌiaを通じて送られてくる付加信号Ｓia、あるいは動きベクトル検出回路１０５から付加情報線Ｌieを通じて送られてくる付加信号Ｓieに含まれる付加情報のうち、フレームのブロックの情報を利用して、ブロック歪みを低減する処理を行う。なお、上述したＭＰＥＧデータはＤＣＴ処理の単位であるブロック毎に圧縮処理されて得られたものであり、このＭＰＥＧデータをデコード処理して得られる画像信号Ｓａには、圧縮率が高くなるに従って見た目がブロック状となる歪みが発生する。この歪みが上述したブロック歪みである。

図１２は、ノイズ低減回路１０２および画サイズ変換回路１０３の基本となる画像信号処理装置１５０の構成を示している。この画像信号処理装置１５０は、処理本体部１５０Ａと、この処理本体部１５０Ａの動作を制御する制御部１５０Ｂと、からなっている。なお、制御部１５０Ｂは、同期制御信号入力端子１６２に入力された同期制御信号Ｓscに基づいて、処理本体部１５０Ａにおける遅延量を制御する。

処理本体部１５０Ａは、画像信号受信部１５２と、画像信号処理部１５３と、画像信号送信部１５４とを有している。画像信号受信部１５２は、画像信号入力端子１５１に入力された画像信号Ｓを受信する。画像信号処理部１５３は、画像信号受信部１５２で受信された画像信号Ｓを処理する。この場合、画像信号処理部１５３は、後述する付加信号受信部１５８で受信された付加信号Ｓｉ，Ｓieに含まれている付加情報に、自己の処理で使用可能な付加情報が存在するときは、その付加情報を用いて処理を行う。画像信号送信部１５４は、画像信号処理部１５３で処理された画像信号Ｓ′を、次段の装置に送信するために、画像信号出力端子１５５に順次出力する。

また、処理本体部１５０Ａは、付加信号受信部１５８と、付加情報記憶部１５９と、付加信号送信部１６０とを有している。付加信号受信部１５８は、付加信号入力端子１５６，１５７に入力された付加信号Ｓｉ，Ｓieを受信する。ここで、付加信号Ｓｉは、前段の処理装置（例えば、ノイズ低減回路１０２の前段の処理装置はＤＶＤプレーヤ１０１、画サイズ変換回路１０３の前段の処理装置はノイズ低減回路１０２である）から付加情報線を通じて供給される付加信号である。付加信号Ｓieは、動きベクトル検出回路１０５から付加情報線Ｓieを通じて供給される付加信号である。

付加情報記憶部１５９は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、付加信号受信部１５８で受信された付加信号Ｓｉ，Ｓieを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７、図１１参照）。この場合、付加信号Ｓｉ，Ｓie内の各情報で共通であるものはマージ（統合）され、情報の整理が行われる。

付加信号送信部１６０は、付加情報記憶部１５９に記憶されている各情報を読み出し、次段の処理装置に送信するために、付加信号出力端子１６１に付加信号Ｓｉ′として順次出力する。この場合、付加信号送信部１６０は、画像信号送信部１５４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓｉ′を画像信号Ｓ′に同期させて出力する。このように、付加信号Ｓｉ′を画像信号Ｓ′に同期させて出力することで、次段の処理装置は、付加信号Ｓｉ′から、画像信号Ｓ′の各画素、各ブロックにそれぞれ対応した付加情報を容易に取得できる。

図１２に示す画像信号処理装置１５０の動作を説明する。
付加信号入力端子１５６，１５７に入力された付加信号Ｓｉ，Ｓieは、付加信号受信部１５８で受信される。そして、付加情報記憶部１５９では、各フレームで、付加信号Ｓｉ，Ｓieを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。

また、画像信号入力端子１５１に入力された画像信号Ｓは画像信号受信部１５２で受信される。画像信号処理部１５３では、この画像信号Ｓに対して処理が行われる。この場合、上述したように受信された付加信号Ｓｉ，Ｓieに含まれており、付加情報記憶部１５９でフレームメモリに記憶された付加情報に、当該処理で使用可能な付加情報が存在するときは、その付加情報を用いて処理が行われる。

このように、画像信号処理部１５３で処理されて得られた画像信号Ｓ′は、画像信号送信部１５４に供給され、画像信号出力端子１５５に順次出力される。この場合、画像信号受信部１５２で受信される画像信号Ｓがｍフレームのものであるとき、画像信号送信部１５４で送信される画像信号Ｓはこのｍフレームより前のフレームであって、例えばｍ−１フレーム、あるいはｍ−２フレーム等である。

また、各フレームで、付加情報記憶部１５９内のフレームメモリの記憶された各情報が付加信号送信部１６０により読み出され、画像信号Ｓ′に同期した状態で、付加信号出力端子１６１に、付加信号Ｓｉ′として順次出力される。

図１３は、上述した画像信号処理装置１５０における１フレーム分の処理手順を示している。すなわち、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、画像信号Ｓおよび付加信号Ｓｉ，Ｓieを受信してフレームメモリに記憶する。なお、上述では、単に、画像信号受信部１５２で受信された画像信号Ｓが画像信号処理部１５３に供給されて処理される旨説明したが、実際には、受信された画像信号Ｓは例えば画像信号受信部１５２内のフレームメモリに記憶され、その後にこのフレームメモリから処理すべき画素データが順次読み出されて処理が行われる。

次に、ステップＳＴ１３で、画像信号Ｓの処理を行う。この場合、付加信号Ｓｉ，Ｓieに含まれていた付加情報に、その処理で使用可能な付加情報があるときは、その付加情報を用いて処理をする。

次に、ステップＳＴ１４で、処理後の画像信号Ｓ′を次段の処理装置に送信し、これと同期して、受信付加情報を含む付加信号Ｓｉ′を次段の処理装置に送信する。そして、ステップＳＴ１５で、処理を終了する。

なお、図１２に示す画像信号処理装置１５０は、次段の装置に画像信号Ｓ′および付加信号Ｓｉ′を送信する構成となっている。しかし、この画像信号処理装置１５０が最終段であるときは、次段に画像信号Ｓ′および付加信号Ｓｉ′を送る必要がなく、従って画像信号送信部１５４、付加信号送信部１６０はなくともよい。

図１４は、ノイズ低減回路１０２の構成を示している。このノイズ低減回路１０２は、処理本体部１０２Ａと、この処理本体部１０２Ａの動作を制御する制御部１０２Ｂと、からなっている。なお、制御部１０２Ｂは、同期制御信号入力端子２１２に入力された同期制御信号Ｓsc2に基づいて、処理本体部１０２Ａにおける遅延量を制御する。この場合、画像信号入力端子２０１に入力される画像信号Ｓａがｎフレームのものであるとき、画像信号出力端子２０５に出力される画像信号Ｓｂはｎ−１フレームのものとされる。

処理本体部１０２Ａは、画像信号受信部２０２と、画像信号処理部２０３と、画像信号送信部２０４とを有している。画像信号受信部２０２は、画像信号入力端子２０１に入力される画像信号Ｓａを受信する。この画像信号Ｓａは、ＤＶＤプレーヤ１０１から信号線Ｌsaを通じて送信されてくる。

画像信号処理部２０３は、画像信号受信部２０２で受信された画像信号Ｓａに対して、ブロック歪みを低減する処理を行う。画像信号送信部２０４は、画像信号処理部２０３で処理されて得られた画像信号Ｓｂを、画サイズ変換回路１０３に送信するために、画像信号出力端子２０５に順次出力する。

また、処理本体部１０２Ａは、付加信号受信部２０８と、付加情報記憶部２０９と、付加信号送信部２１０とを有している。付加信号受信部２０８は、付加信号入力端子２０６，２０７に入力される付加信号Ｓia，Ｓieを受信する。付加信号Ｓiaは、ＤＶＤプレーヤ１０１から付加情報線Ｌiaを通じて送信されてくる。付加信号Ｓieは、動きベクトル検出回路１０５から付加情報線Ｌieを通じて送信されてくる。

付加情報記憶部２０９は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、付加信号受信部２０８で受信された付加信号Ｓia，Ｓieを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７、図１１参照）。

付加信号送信部２１０は、付加情報記憶部２０９内のフレームメモリに記憶されている各情報を読み出し、次段の画サイズ変換回路１０３に送信するために、付加信号出力端子２１１に付加信号Ｓibとして順次出力する。この場合、付加信号送信部２１０は、画像信号送信部２０４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓibを画像信号Ｓｂに同期させて出力する。

上述した画像信号処理部２０３について、さらに説明する。画像信号処理部２０３は、ブロック検出部２０３ａを有している。このブロック検出部２０３ａは、各フレームで、画像信号受信部２０２で受信された画像信号Ｓａの有効画素部分から、ＤＣＴ処理の単位であった、複数の画素データからなるブロックを順次検出する。

この場合、ブロック検出部２０３ａは、付加信号受信部２０８で受信された付加信号Ｓia，Ｓieに含まれている付加情報にブロックサイズの情報があるときは、このブロックサイズの情報を利用してブロック検出を行う。一方、ブロック検出部２０３ａは、付加信号Ｓia，Ｓieに含まれている付加情報にブロックサイズの情報がないときは、水平、垂直のそれぞれの方向で複数の画素データを用いてブロック境界を判定してブロックを検出する。このブロック境界の判定方法については、例えば特開２００３−２７４４０４号公報に記載がある。本実施の形態においては、上述したように付加信号Ｓia，Ｓieに含まれている付加情報にブロックサイズの情報（フレームのブロックの情報、図４参照）があるので、ブロック検出部２０３ａでは、それを利用できる。

また、画像信号処理部２０３は、傾き検出部２０３ｂを有している。この傾き検出部２０３ｂは、付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きがないとき、ブロック検出部２０３ａで順次検出されたブロック（処理対象ブロック）のそれぞれに対応して、周辺ブロックに対する傾きを検出する。

ここで、周辺ブロックに対する傾きについて説明する。図１５には、処理対象ブロックＢ０と、その上下左右のブロックＢ１〜Ｂ４が示されている。この処理対象ブロックＢ０に対応した周辺ブロックに対する傾きＳＬは、（１）式で求められる。この（１）式において、ＡＶ０〜ＡＶ４は、それぞれ、ブロックＢ０〜Ｂ４を構成する複数の画素データの平均値である。
ＳＬ＝ＡＶ０−（ＡＶ１＋ＡＶ２＋ＡＶ３＋ＡＶ４）／４ ・・・（１）

また、画像信号処理部２０３は、境界画素値補正部２０３ｃを有している。この境界画素値補正部２０３ｃは、ブロック検出部２０３ａで順次検出されたブロック（処理対象ブロック）のそれぞれに対応して、境界部分に位置する画素データの値を補正する。すなわち、この境界画素値補正部２０３ｃは、周辺ブロックに対する傾きＳＬが０に近づくように、処理対象ブロックの境界部分に位置する画素データの値を補正する。例えば、傾きＳＬが正の値であるときは、境界部分に位置する画素データの値を小さくするように補正する。逆に、傾きＳＬが負の値であるときは、境界部分に位置する画素データの値を大きくするように補正する。なお、境界部分に位置する画素データとしては、境界に接した垂直、水平の各方向の１画素のデータを含む、当該垂直、水平の各方向の１画素あるいは連続した複数画素のデータが対象とされる。

この場合、境界画素値補正部２０３ｃは、付加信号受信部２０７で受信された付加信号Ｓia，Ｓieに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報があるときは、この傾きＳＬの情報を利用して補正処理を行う。一方、境界画素値補正部２０３ｃは、付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報がないときは、傾き検出部２０３ｂで検出された傾きＳＬを利用して補正処理を行う。本実施の形態においては、上述したように付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報がないので、境界画素値補正部２０３ｃでは、傾き検出部２０３ｂで検出された傾きＳＬが利用される。

なお、境界画素値補正部２０３ｃで境界部分に位置する画素データの値が補正された各処理対象ブロックは、この境界画素値補正部２０３ｃ内のフレームメモリ（図示せず）の、そのブロックに対応したアドレス位置に一時的に記憶される。このように各ブロックをフレームメモリに一時的に記憶するのは、ブロック毎に処理された画像信号を、ライン順で出力する必要があるからである。すなわち、上述した画像信号送信部２０４は、この境界画素値補正部２０３ｃ内のフレームメモリから処理後の画像信号Ｓｂをライン順に読み出して画像信号出力端子２０５に出力する。

ところで、上述したように、付加信号Ｓiaには動きベクトルＭＶn/n-1が含まれており、付加信号Ｓieには動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が含まれている。そのため、ノイズ低減回路１０２には、図１６に示すように、画像信号Ｓａとしてｎフレームの画像信号が入力されるとき、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が入力される。また、ノイズ低減回路１０２からは、図１６に示すように、画像信号Ｓｂとしてｎ−１フレームの画像信号が出力されるとき、動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn-3/n-2が出力される。ここで、ＭＶp/qは、ｐフレームのｑフレームに対する動きベクトルである。

図１７は、付加信号Ｓibの各フレームにおける情報のフォーマットを示している。図１８は、動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn-3/n-2と、有効画素部分の画素位置、ブロック位置との実際の対応を示している。ここでは、ブロックのサイズｋ×ｍが４×４であり、各画素に対応して使用可能なビット数が８×３＝２４である場合を示している。この場合、各ブロックに対応したビットのうち、それぞれ３０ビットを使用して、動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn-3/n-2が配置される。

図１９のフローチャートは、画像信号処理部２０３における１ブロック分の処理手順を示している。まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、受信された付加信号Ｓia，Ｓieに含まれる付加情報にブロックサイズの情報があるか否かを判定する。ブロックサイズの情報があるときは、ステップＳＴ３３で、そのブロックサイズの情報を用いてブロック（処理対象ブロック）を検出し、その後にステップＳＴ３４に進む。一方、ブロックサイズの情報がないときは、ステップＳＴ３５で、ブロック境界を判定してブロック（処理対象ブロック）を検出し、その後にステップＳＴ３４に進む。

ステップＳＴ３４では、受信された付加信号Ｓia，Ｓieに含まれる付加情報に周辺ブロックに対する傾きＳＬの情報があるか否かを検出する。傾きＳＬの情報があるときは、直ちにステップＳＴ３６に進む。一方、傾きＳＬの情報がないときは、ステップＳＴ３７で、処理対象ブロックＢ０とその上下左右に位置するブロックＢ１〜Ｂ４を用いて、周辺ブロックに対する傾きＳＬを検出し（図１５、（１）式参照）、その後にステップＳＴ３６に進む。

ステップＳＴ３６では、傾きＳＬの情報を用いて、処理対象ブロックの境界部分に位置する画素データの値を補正する。そして、ステップＳＴ３８で、処理を終了する。

なお、図１９に示すフローチャートでは、各ブロックの処理で、ステップＳＴ３２およびステップＳＴ３４の判定を行うようになっているが、これらの判定は、各フレームにおいて、１回だけ行えばよい。

図１４に示すノイズ低減回路１０２の動作を説明する。
付加信号入力端子２０６，２０７に入力される付加信号Ｓia，Ｓieは付加信号受信部２０８で受信される。そして、付加情報記憶部２０９では、各フレームで、付加信号Ｓia，Ｓieを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。

また、画像信号入力端子２０１に入力される画像信号Ｓａは画像信号受信部２０２で受信される。画像信号処理部２０３では、この画像信号Ｓａに対して、ブロック歪みを低減する処理が行われる。この場合、画像信号Ｓａから処理対象となるブロック（処理対象ブロック）が順次検出され、この処理対象ブロックの境界部分に位置する画素データの値が、周辺ブロックに対する傾きＳＬが０に近づくように補正される。ここで、本実施の形態では、受信された付加信号Ｓia，Ｓieに付加情報として含まれるブロックサイズの情報が使用されて、ブロック検出が行われる。また、周辺ブロックに対する傾きＳＬは、処理対象ブロックとその上下左右に位置するブロックに基づいて求められる。このように、画像信号処理部２０３で処理されて得られた画像信号Ｓｂは、画像信号送信部２０４に供給され、次段の画サイズ変換回路１０３に送信するために、画像信号出力端子２０５に出力される。

また、各フレームで、付加情報記憶部２０９内のフレームメモリに記憶された各情報が付加情報送信部２１０により読み出され、画像信号Ｓｂに同期した状態で、付加信号出力端子２１１に、次段の画サイズ変換回路１０３に送信するための付加信号Ｓibとして順次出力される。

図１４に示すノイズ低減回路１０２では、画像信号処理部２０３のブロック検出部２０３ａで、受信された付加信号Ｓia，Ｓieに付加情報として含まれていたブロックサイズの情報を用いてブロック検出を行うことができ、ブロック境界を判定してブロック検出を行うものと比べてブロック検出を正確に行うことができ、ブロック歪みの低減処理の性能が向上する。

また、図１に戻って、画サイズ変換回路１０３は、ノイズ低減回路１０２から信号線Ｌsbを通じて送られてくる画像信号Ｓｂを、画像信号Ｓｃに変換する。この画サイズ変換回路１０３には、倍率情報ＭＧが供給される。この画サイズ変換回路１０３は、画像信号Ｓｂから、倍率情報ＭＧで指定される拡大率の画像を表示するための画像信号Ｓｃを生成する。

図２０は、画サイズ変換回路１０３の構成を示している。この画サイズ変換回路１０３は、処理本体部１０３Ａと、この処理本体部１０３Ａの動作を制御する制御部１０３Ｂと、からなっている。なお、制御部１０３Ｂは、同期制御信号入力端子３１２に入力された同期制御信号Ｓsc3に基づいて、処理本体部１０３Ａにおける遅延量を制御する。この場合、画像信号入力端子３０１に入力される画像信号Ｓｂがｎ−１フレームのものであるとき、画像信号出力端子３０５に出力される画像信号Ｓｃはｎ−３フレームのものとされる。

処理本体部１０３Ａは、画像信号受信部３０２と、画像信号処理部３０３と、画像信号送信部３０４とを有している。画像信号受信部３０２は、画像信号入力端子３０１に入力される画像信号Ｓｂを受信する。この画像信号Ｓｂは、ノイズ低減回路１０２から信号線Ｌsbを通じて送信されてくる。

画像信号処理部３０３は、画像信号受信部３０２で受信された画像信号Ｓｂを、倍率情報ＭＧで指定される倍率の画像を表示するための画像信号Ｓｃに変換する。画像信号送信部３０４は、画像信号処理部３０３で得られた画像信号Ｓｃを、ディスプレイ１０４に送信するために、画像信号出力端子３０５に順次出力する。

また、処理本体部１０３Ａは、付加信号受信部３０８と、付加情報記憶部３０９と、付加信号送信部３１０とを有している。付加信号受信部３０８は、付加信号入力端子３０６，３０７に入力される付加信号Ｓib，Ｓieを受信する。付加信号Ｓibは、ノイズ低減回路１０２から付加情報線Ｌibを通じて送信されてくる。付加信号Ｓieは、動きベクトル検出回路１０５から付加情報線Ｌieを通じて送信されてくる。

付加情報記憶部３０９は、フレームメモリ（図示せず）を備えており、このフレームメモリに、画像信号Ｓｂの各フレームで、付加信号受信部３０８で受信された付加信号Ｓib，Ｓieを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図１１、図１８参照）。

付加信号送信部３１０は、付加情報記憶部３０９内のフレームメモリに記憶されている各情報を読み出し、次段のディスプレイ１０４に送信するために、付加信号出力端子３１１に付加信号Ｓicとして順次出力する。この場合、付加信号送信部３１０は、画像信号送信部３０４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓicを画像信号Ｓｃに同期させて出力する。

ここで、付加信号Ｓibには動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn-3/n-2が含まれており、付加信号Ｓieには動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が含まれている。そのため、画サイズ変換回路１０３には、図１６に示すように、画像信号Ｓｂとしてｎ−１フレームの画像信号が入力されるとき、動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1，ＭＶn-3/n-2が入力される。また、画サイズ変換回路１０３からは、図１６に示すように、画像信号Ｓｃとしてｎ−３フレームの画像信号が出力されるとき、動きベクトルＭＶn-3/n-4，ＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn-3/n-2，ＭＶn-4/n-3が出力される。ここで、ＭＶp/qは、ｐフレームのｑフレームに対する動きベクトルである。

なお、付加情報記憶部３０９に記憶されている動きベクトルは、ＤＣＴの処理単位であるブロック単位で検出されたものである。つまり、この動きベクトルは、画像信号Ｓｂの各フレームにおけるブロック毎に存在する。画サイズ変換回路１０３で、画像信号Ｓｂを画像信号Ｓｃに変換する場合、画像信号Ｓｂの各フレームにおけるブロック（ブロック１）が、画像信号Ｓｃの各フレームにおけるブロック（ブロック２）に変換される。

例えば、倍率が１．２５倍であるときは、４×４のサイズのブロック１は、５×５のサイズのブロック２に変換される。また例えば、倍率が１．５倍であるときは、４×４のブロック１は、６×６のサイズのブロック２に変換される。また例えば、倍率が２倍であるときは、４×４のブロック１は、８×８のブロック２に変換される。

上述した付加情報記憶部３０９内のフレームメモリは画像信号Ｓｂに対応したものである。付加信号送信部３１０は、上述したように、付加情報記憶部３０９内のフレームメモリに記憶されている各情報を読み出して付加信号Ｓicとして出力する際、当該各情報を、内蔵のフレームメモリに一時的に蓄積し、その後に読み出して出力する。この場合、付加信号送信部３１０は、ブロックサイズを示すフレームのブロック情報を画像信号Ｓｂにおけるブロックサイズから画像信号Ｓｃにおけるブロックサイズを示すように変更する。またこの場合、付加信号送信部３１０は、ブロック毎の動きベクトルに倍率をかけた大きさに変更し、そして画像信号Ｓｂのあるブロックに対応した動きベクトルを、そのブロックに対応した画像信号Ｓｃのブロックに対応した位置に記憶する。

画像信号処理部３０３についてさらに説明する。この画像信号処理部３０３は、ＤＶＤプレーヤ１０１から出力される画像信号Ｓａの現フレームがｎフレームであるとき、ｎ−２フレームを処理中心フレームとし、付加信号Ｓib，Ｓieに含まれる動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1を用いて、画サイズの変換処理を行う。

この場合、図２１に示すように、付加信号Ｓib，Ｓieには、動きベクトルＭＶn-2/n-3，ＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1，ＭＶn-3/n-2が含まれている。この場合、ｎ−２フレームに関してのみ、前後のフレームに対する動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が存在することから、当該ｎ−２フレームの画像信号を処理中心フレームとしている。

この画像信号処理部３０３は、動きベクトル検出部３２１を有している。この動きベクトル検出部３２１は、制御部１０３Ｂの制御に基づき、付加信号Ｓib，Ｓieに含まれている付加情報に、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のいずれもないとき、あるいは動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のいずれかはあるが、動き量が０であるとき、画像信号Ｓｃの注目画素位置が含まれる画像信号Ｓｂのブロックにおける、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の一方または双方を検出する。この動きベクトルの検出は、従来周知のブロックマッチング法あるいは勾配法等で行われる。本実施の形態においては、上述したように、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が含まれているので、動きベクトル検出部３２１では動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の検出は行われない。

また、画像信号処理部３０３は、予測タップ選択部３２２を有している。この予測タップ選択部３２２は、制御部１０３Ｂから供給されるタップ位置情報に基づいて、画像信号Ｓｂのｎ−２フレーム（処理対象フレーム）から、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データを予測タップのデータとして選択的に抽出する。

この場合、制御部１０３Ｂは、画像信号Ｓｃの注目画素位置が含まれる画像信号Ｓｂのブロックにおける動き量を動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1から求め、この動き量がしきい値ＴＨより大きいときは予測タップ範囲を第１の範囲とし、逆にその動き量がしきい位置以下であるときは予測タップ範囲を第２の範囲とする。

ここで、第１の範囲は、動き量が大きい場合の予測タップ範囲であり、時空間方向において、空間方向（垂直方向、水平方向）に、より広い範囲とされている。また、第２の範囲は、動き量が小さい場合の予測タップ範囲であり、時空間方向において、第１の範囲と比べて、時間方向（フレーム方向）に、より広い範囲とされている。

ここで、動き量Ｑは、以下のように求められる。すなわち、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるときは、ＭＶn-2/n-3＝（ｘb，ｙb）、ＭＶn-2/n-1＝(ｘa，ｙa）として、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式で求めることができる。動きベクトルＭＶn-2/n-3のみがあるときは、ＭＶn-2/n-3＝（ｘb，ｙb）として、Ｑ＝√（ｘb²＋ｙb²）の式で求めることができる。また、動きベクトルＭＶn-2/n-1のみがあるときは、ＭＶn-2/n-1＝（ｘa，ｙa）として、Ｑ＝√（ｘa²＋ｙa²）の式で求めることができる。

また、画像信号処理部３０３は、クラスタップ選択部３２２を有している。このクラスタップ選択部３２３は、制御部１０３Ｂから供給されるタップ位置情報に基づいて、画像信号Ｓｂのｎ−２フレーム（処理対象フレーム）、さらにはその前後のフレームから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして選択的に抽出する。

すなわち、クラスタップ選択部３２３は、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が含まれているときは、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1で動き補償されたｎ−３フレーム、ｎ−１フレームからも、クラスタップのデータとしての複数の画素データを抽出する（ケースＡ）。

また、クラスタップ選択部３２３は、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-3が含まれているときは、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-3で動き補償されたｎ−３フレームからも、クラスタップのデータとしての複数の画素データを抽出する（ケースＢ）。

また、クラスタップ選択部３２３は、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-1が含まれているときは、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-1で動き補償されたｎ−１フレームからも、クラスタップのデータとしての複数の画素データを抽出する（ケースＣ）。

さらに、クラスタップ選択部３２３は、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のどちらも含まれていないときは、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけから、クラスタップのデータとしての複数の画素データを抽出する（ケースＤ）。

本実施の形態においては、上述したように、付加信号Ｓib，Ｓieに動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が含まれているので、クラスタップ選択部３２３では、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、動き補償されたｎ−３フレーム、ｎ−１フレームからも、クラスタップのデータとしての複数の画素データが抽出される。

また、画像信号処理部３０３は、クラス検出部３２４を有している。このクラス検出部３２４は、クラスタップ選択部３２３で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。

すなわち、クラス検出部３２４は、まず、複数の画素データに、例えばＡＤＲＣ(Adaptive Dynamic Range Coding)のデータ圧縮処理を施し、各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。この場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[ ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２^P／ＤＲ］ ・・・（２）

クラス検出部３２４は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（３）式の演算により、クラスコードＣＬを生成する。

なおこの場合、上述したケースＡ〜Ｄのそれぞれで抽出されたクラスタップのデータによるクラスコードＣＬが、オーバーラップしないようにされる。したがって、上述では、いずれの場合にも、クラスコードＣＬを（３）式の演算により生成する旨説明したが、実際にはオーバーラップを防止するためのビット付加等の処理も行われる。

また、画像信号処理部３０３は、係数データ生成部３２５と、ＲＯＭ３２６とを有している。ＲＯＭ３２６は、各クラスの係数種データを記憶している。なお、上述したように、予測タップ選択部３２２における予測タップ範囲、つまり予測タップのデータとしての複数の画素データを選択的に抽出する範囲は、動き量に応じて、第１の範囲あるいは第２の範囲とされる。したがって、ＲＯＭ３２６に記憶されている各クラスの係数種データは、さらに、予測タップ範囲が第１の範囲であるときの係数種データと、予測タップ範囲が第２の範囲であるときの係数種データとからなっている。

後述する推定予測演算部３２７では、予測タップのデータとしての複数の画素データｘｉと、係数データＷｉとを用い、（４）式の推定式に基づいて、画像信号Ｓｃにおける注目画素位置の画素データｙが求められる。この（４）式において、ｎは複数の画素データｘｉの個数である。

ＲＯＭ３２６に記憶される係数種データは、上述した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、位相情報ｈ，ｖをパラメータとする生成式の係数データである。（５）式は、その生成式の一例を示している。ここで、位相情報ｈは水平方向の位相情報であり、位相情報ｖは垂直方向の位相情報である。

ＲＯＭ３２６には、例えば、（５）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が、クラスおよび予測タップ範囲の組み合わせ毎に、記憶されている。この係数種データの生成方法については後述する。

係数データ生成部３２５は、クラス検出部３２４で得られたクラスコードＣＬが表すクラス、および制御部１０３Ｂから供給される予測タップ範囲の情報ＩＮＦが表す予測タップ範囲に対応した係数種データｗ_i0〜ｗ_i9をＲＯＭ３２６から読み出し、さらに制御部１０３Ｂから供給される、画像信号Ｓｃにおける注目画素位置の位相情報ｈ，ｖの値を用い、（５）式の生成式に基づいて、係数データＷｉを生成する。

ここで、画像信号Ｓｂに対する、画像信号Ｓｃの各画素の位置は、倍率情報ＭＧで示す倍率に応じて変化する。例えば、図２２は、倍率情報ＭＧで示す倍率が１．２５倍であるときの、入力（画像信号Ｓｂ）と出力（画像信号Ｓｃ）の画素位置関係を示している。また例えば、図２３は、倍率情報ＭＧで示す倍率が１．５倍であるときの、入力（画像信号Ｓｂ）と出力（画像信号Ｓｃ）の画素位置関係を示している。

なお、倍率情報ＭＧで示す倍率が大きくなる程、画像信号処理部３０３における画像信号Ｓｂの処理領域は小さくなる。例えば、倍率が１．２５倍で水平および垂直の各方向の画サイズを１．２５倍とする場合、水平および垂直の各方向の処理領域は１／１．２５倍となる。なお、処理領域の中心は、例えば画面中心に固定、あるいはユーザが任意に指定可能とされる。

制御部１０３Ｂは、倍率情報ＭＧに基づき、画像信号Ｓｃにおける注目画素位置の位相情報ｈ，ｖを発生する。この場合、例えば、画像信号Ｓｂの水平方向、垂直方向の画素間隔をそれぞれ１６とし、画像信号Ｓｃにおける注目画素位置から水平方向、垂直方向にそれぞれ最も近い位置にある画像信号Ｓｂにおける画素（最短画素）までの距離を、位相情報ｈ，ｖとしている。

ここで、位相情報ｈに関しては、注目画素位置が最短画素より左方に位置するときは負の値とされ、逆に注目画素位置が最短画素より右方に位置するときは正の値とされる。同様に、位相情報ｖに関しては、注目画素位置が最短画素より上方に位置するときは負の値とされ、逆に注目画素位置が最短画素より下方に位置するときは正の値とされる。

また、画像信号処理部３０３は、推定予測演算部３２７を有している。この推定予測演算部３２７は、予測タップ選択部３２２で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部３２５から読み出された係数データＷｉとを用い、（４）式の推定式に基づいて、画像信号Ｓｃにおける注目画素位置の画素データｙを算出する。

次に、画像信号処理部３０３の動作を説明する。
クラスタップ選択部３２３では、制御部１０３Ｂから供給されるタップ位置情報に基づいて、画像信号Ｓｂのｎ−２フレーム（処理対象フレーム）、さらにはその前後のフレームから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。

このクラスタップのデータとしての複数の画素データの選択の仕方は、付加信号Ｓib，Ｓieに含まれており、付加情報記憶部３０９に記憶された各情報に動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1があるか否かにより、ケースＡ〜ケースＤに分類される。

ケースＡは、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方がある場合に適用され、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1で動き補償されたｎ−３フレーム、ｎ−１フレームからも、クラスタップのデータとしての複数の画素データが抽出される。ケースＢは、動きベクトルＭＶn-2/n-3がある場合に適用され、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-3で動き補償されたｎ−３フレームからも、クラスタップのデータとしての複数の画素データが抽出される。

ケースＣは、動きベクトルＭＶn-2/n-1がある場合に適用され、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-1で動き補償されたｎ−１フレームからも、クラスタップのデータとしての複数の画素データが抽出される。ケースＤは、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のどちらもない場合に適用され、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけから、クラスタップのデータとしての複数の画素データが抽出される。

本実施の形態においては、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるので、クラスタップのデータとしての複数の画素データの選択の仕方は、ケースＡで行われる。すなわち、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、動き補償されたｎ−３フレーム、ｎ−１フレームからも、クラスタップのデータとしての複数の画素データが抽出される。

クラスタップ選択部３２３で選択的に抽出された複数の画素データは、クラス検出部３２４に供給される。このクラス検出部３２４では、この複数の画素データのそれぞれに対してＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（２）式、（３）式参照）。なおこの場合、上述したケースＡ〜Ｄのそれぞれで抽出されたクラスタップのデータによるクラスコードＣＬが、オーバーラップしないように、クラスコードＣＬを生成する際に、ビット付加等の処理も行われる。

予測タップ選択部３２２では、制御部１０３Ｂから供給されるタップ位置情報に基づいて、画像信号Ｓｂのｎ−２フレーム（処理対象フレーム）およびその前後のフレームから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データが、予測タップのデータとして選択的に抽出される。

この場合、制御部１０３Ｂでは、画像信号Ｓｃの注目画素位置が含まれる画像信号Ｓｂのブロックにおける動き量が動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1から求められ、この動き量がしきい値ＴＨより大きいときは予測タップ範囲が動き量が大きい場合の第１の範囲に決定され、逆にその動き量がしきい位置以下であるときは予測タップ範囲が動き量が小さい場合の第２の範囲に決定される。

この場合、付加情報記憶部３０９に記憶された各情報に動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1があるか否か等から、しきい値ＴＨと比較すべき最終的な動き量Ｑが、以下のように求められる。

すなわち、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるときは、まず、ＭＶn-2/n-3＝（ｘb，ｙb）、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式によって動き量Ｑが求められる。次に、当該動き量Ｑが０であるか否かが判定される。当該動き量Ｑが０でない場合には、当該動き量Ｑが最終的な動き量Ｑとされる。一方、当該動き量Ｑが０である場合には、次に、動きベクトル検出部３２１によって例えば動きベクトルＭＶn-2/n-1が検出され、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められ、当該動き量Ｑが最終的な動き量Ｑとされる。

また、動きベクトルＭＶn-2/n-3のみがあるときは、まず、ＭＶn-2/n-3＝（ｘb，ｙb）とし、Ｑ＝√（ｘb²＋ｙb²）の式によって動き量Ｑが求められる。次に、当該動き量Ｑが０であるか否かが判定される。当該動き量Ｑが０でない場合には、当該動き量Ｑが最終的な動き量Ｑとされる。一方、当該動き量Ｑが０である場合には、次に、動きベクトル検出部３２１によって例えば動きベクトルＭＶn-2/n-1が検出され、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められ、当該動き量Ｑが最終的な動き量Ｑとされる。

また、動きベクトルＭＶn-2/n-3のみがあるときは、まず、ＭＶn-2/n-1＝（ｘa，ｙa）、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められる。次に、当該動き量Ｑが０であるか否かが判定される。当該動き量Ｑが０でない場合には、当該動き量Ｑが最終的な動き量Ｑとされる。一方、当該動き量Ｑが０である場合には、次に、動きベクトル検出部３２１によって例えば動きベクトルＭＶn-2/n-1が検出され、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められ、当該動き量Ｑが最終的な動き量Ｑとされる。

さらに、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のいずれもないときは、まず、動きベクトル検出部３２１で例えば動きベクトルＭＶn-2/n-1が検出され、ＭＶn-2/n-1＝(ｘa，ｙa）とし、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められ、当該動き量Ｑが最終的な動き量Ｑとされる。

本実施の形態においては、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるので、まず、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式によって動き量Ｑが求められる。次に、当該動き量Ｑが０であるか否かが判定される。当該動き量Ｑが０でない場合には、当該動き量Ｑが最終的な動き量Ｑとされる。一方、当該動き量Ｑが０である場合には、次に、動きベクトル検出部３２１によって例えば動きベクトルＭＶn-2/n-1が検出され、Ｑ＝√（ｘa²＋ｙa²）の式によって動き量Ｑが求められ、当該動き量Ｑが最終的な動き量Ｑとされる。

クラス検出部３２４で得られるクラスコードＣＬは係数データ生成部３２５に供給される。この係数データ生成部３２５には、制御部１０３Ｂから、予測タップ選択部３２２における予測タップ範囲（第１の範囲または第２の範囲）の情報ＩＮＦ、および画像信号Ｓｃにおける注目画素位置の位相情報ｈ，ｖが供給される。これにより、係数データ生成部３２５では、画像信号Ｓｃにおける注目画素位置に対応して、ＲＯＭ３２６からクラスコードＣＬが表すクラスおよび予測タップ範囲の情報ＩＮＦが表す予測タップ範囲に対応した係数種データｗ_i0〜ｗ_i9が読み出され、位相情報ｈ，ｖの値を用いて、（５）式の生成式に基づいて、係数データＷｉが生成される。この係数データＷｉは、推定予測演算部３２７に供給される。

この推定予測演算部３２７には、予測タップ選択部３２２で選択的に抽出された予測タップのデータとしての複数の画素データｘｉが供給される。この推定予測演算部３２７では、複数の画素データｘｉおよび係数データＷｉを用い、（４）式の推定式に基づいて、画像信号Ｓｃにおける注目画素位置の画素データｙが算出される。この場合、注目画素位置を、画像信号Ｓｃの全画素位置に順次変化させていくことで、画像信号Ｓｃの全画素位置の画素データｙが求められる。

図２４のフローチャートは、画像信号処理部３０３における画像信号Ｓｃにおける注目画素位置の画素データｙを生成する処理手順を示している。まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、付加信号Ｓib，Ｓieに含まれており、付加情報記憶部３０９に記憶された各情報に動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1があるか否かを判定する。ここで、ｎ−２フレームが処理中心フレーム、ｎ−３フレームはその前フレーム、ｎ−１フレームはその後フレームである。そして、動きベクトルＭＶn-2/n-3は、処理中心フレームの前フレームに対する動きベクトルであり、動きベクトルＭＶn-2/n-1は、処理中心フレームの後フレームに対する動きベクトルである。

動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるときは、ステップＳＴ５３で、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）だけでなく、当該動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1で動き補償されたｎ−３フレーム（前フレーム）、ｎ−１フレーム（後フレーム）からも、画像信号Ｓｃにおける注目画素位置の周辺に位置する、クラスタップのデータとしての複数の画素データを抽出する（ケースＡ）。

動きベクトルＭＶn-2/n-3のみがあるときは、ステップＳＴ５４で、画像信号Ｓｂのｎ−２フレームだけでなく、当該動きベクトルＭＶn-2/n-3で動き補償されたｎ−３フレームからも、画像信号Ｓｃにおける注目画素位置の周辺に位置する、クラスタップのデータとしての複数の画素データを抽出する（ケースＢ）。動きベクトルＭＶn-2/n-1のみがあるときは、ステップＳＴ５５で、画像信号Ｓｂのｎ−２フレームだけでなく、当該動きベクトルＭＶn-2/n-1で動き補償されたｎ−１フレームからも、画像信号Ｓｃにおける注目画素位置の周辺に位置する、クラスタップのデータとしての複数の画素データを抽出する（ケースＣ）。動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1のいずれもないときは、ステップＳＴ５６で、画像信号Ｓｂのｎ−２フレームのみから、画像信号Ｓｃにおける注目画素位置の周辺に位置する、クラスタップのデータとしての複数の画素データを抽出する（ケースＤ）。

次に、ステップＳＴ５７で、ステップＳＴ５３〜ステップＳＴ５６のいずれかで抽出された複数の画素データにＡＤＲＣ等のデータ圧縮処理を施し、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。この場合、上述したケースＡ〜Ｄのそれぞれで抽出されたクラスタップのデータによるクラスコードＣＬがオーバーラップしないように、当該クラスコードＣＬを生成する際にビット付加等の処理も行う。

次に、ステップＳＴ５８で、付加情報記憶部３０９に記憶されている動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1に基づいて、動き量Ｑを求める。例えば、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方があるときは、ＭＶn-2/n-3＝（ｘb，ｙb）、ＭＶn-2/n-1＝(ｘa，ｙa）として、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式で求める。動きベクトルＭＶn-2/n-3のみがあるときは、ＭＶn-2/n-3＝（ｘb，ｙb）として、Ｑ＝√（ｘb²＋ｙb²）の式で求める。また、動きベクトルＭＶn-2/n-1のみがあるときは、ＭＶn-2/n-1＝（ｘa，ｙa）として、Ｑ＝√（ｘa²＋ｙa²）の式で求める。なお、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1の双方がないときは、動き量Ｑ＝０とする。

次に、ステップＳＴ５９で、動き量Ｑが０であるか否かを判定する。動き量が０であるときは、ステップＳＴ６０に進み、例えば動きベクトルＭＶn-2/n-1を求め、さらに動き量Ｑを、ＭＶn-2/n-1＝（ｘa，ｙa）として、Ｑ＝√（ｘa²＋ｙa²）の式で求める。そして、その後にステップＳＴ６１に進む。一方、ステップＳＴ５９で動き量Ｑが０でないときは、直ちにステップＳＴ６１に進む。

ステップＳＴ６１では、動き量Ｑがしきい値ＴＨより大きいか否かを判定する。Ｑ＞ＴＨであるときは、ステップＳＴ６２で、予測タップ範囲を動き量が大きい場合の第１の範囲とし、Ｑ＞ＴＨでないときは、ステップＳＴ６３で、予測タップ範囲を動き量が小さい場合の第２の範囲とする。

次に、ステップＳＴ６４で、ステップＳＴ６２またはステップＳＴ６３で決定された第１の範囲または第２の範囲で、画像信号Ｓｂのｎ−２フレーム（処理中心フレーム）およびその前後のフレームから、画像信号Ｓｃにおける注目画素位置の周辺に位置する、予測タップのデータとしての複数の画素データを選択的に抽出する。

次に、ステップＳＴ６５で、ステップＳＴ５７で生成されたクラスコードＣＬが表すクラス、およびステップＳＴ６２またはステップＳＴ６３で決定された予測タップ範囲に対応した係数種データｗ_i0〜ｗ_i9と、画像信号Ｓｃにおける注目画素位置の位相情報ｈ，ｖとから、係数データＷｉを生成する（（５）式参照）。

次に、ステップＳＴ６６で、ステップＳＴ６４で抽出された予測タップとしての複数の画素データｘｉと、ステップＳＴ６５で生成された係数データＷｉとを用い、推定式（（４）式参照）に基づいて、画像信号Ｓｃにおける注目画素位置の画素データｙを生成する。そして、ステップＳＴ６７で、処理を終了する。

図２０に示す画サイズ変換回路１０３の動作を説明する。
付加信号入力端子３０６，３０７に入力される付加信号Ｓib，Ｓieは付加信号受信部３０８で受信される。そして、付加情報記憶部３０９では、各フレームで、付加信号Ｓib，Ｓieを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。

また、画像信号入力端子３０１に入力される画像信号Ｓｂは画像信号受信部３０２で受信される。画像信号処理部３０３では、上述したように、画像信号Ｓｂから、倍率情報ＭＧで指定される倍率の画像を表示するための画像信号Ｓｃを生成する処理が行われる。ここで、本実施の形態では、付加信号Ｓib，Ｓieに付加情報として含まれる動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が、処理中心フレームの前後のフレームにクラスタップを張る際の動き補償に使用され、また予測タップ範囲を決定する際の動き量Ｑを求める際に使用される。

このように、画像信号処理部３０３で処理されて得られた画像信号Ｓｃは、画像信号送信部３０４に供給され、後段のディスプレイ１０４に送信するために、画像信号出力端子３０５に出力される。

また、各フレームで、付加情報記憶部３０９内のフレームメモリに記憶された各情報が付加情報送信部３１０により読み出され、画像信号Ｓｃに同期した状態で、付加信号出力端子３１１に、次段のディスプレイ１０４に送信するための付加信号Ｓicとして順次出力される。

図２０に示す画サイズ変換回路１０３では、受信された付加信号Ｓib，Ｓieに付加情報として含まれていた動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1を用いて、処理中心フレームの前後のフレームにクラスタップを張る際の動き補償を行うことができ、また予測タップ範囲を決定する際の動き量Ｑを求めることができ、画サイズ変換処理の性能が向上する。

なお、図２０に示す画サイズ変換回路１０３における画像信号処理部３０３では、動き量Ｑが０であるときは、動き量Ｑがしきい値ＴＨ以下である場合と同様に、予測タップ範囲を第２の範囲とするものであるが、動き量Ｑが０であるときは、予測タップ範囲を、動き量に関係なく定められた一般的な範囲である、第３の範囲とすることもできる。

図２５は、その場合における、画像信号処理部３０３における画像信号Ｓｃにおける注目画素位置の画素データｙを生成する処理手順を示している。この図２５において、図２４と対応するステップには同一符号を付して示している。

この図２５に示す処理手順においては、ステップＳＴ６０で動きベクトルＭＶn-2/n-1を求め、さらに動き量Ｑを、ＭＶn-2/n-1＝（ｘa，ｙa）として、Ｑ＝√（ｘa²＋ｙa²）の式で求めた後、ステップＳＴ６０Ａで、動き量Ｑが０であるか否かを判定する。動き量Ｑが０でないときは、ステップＳＴ６１に進む。一方、動き量Ｑが０であるときは、ステップＳＴ６０Ｂで、予測タップ範囲を第３の範囲とし、その後ステップＳＴ６４に進む。その他のステップに関しては、図２４のフローチャートと同様である。

次に、上述した画サイズ変換回路１０３の処理本体部１０３Ａ内のＲＯＭ３２６に記憶される係数種データの生成方法について説明する。この係数種データｗ_i0〜ｗ_i9は、予め学習によって生成される。ここでは、（５）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9を求める例を示すものとする。

ここで、以下の説明のため、（６）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｖ，ｔ₂＝ｈ，ｔ₃＝ｖ²，ｔ₄＝ｖｈ，ｔ₅＝ｈ²，ｔ₆＝ｖ³，
ｔ₇＝ｖ²ｈ，ｔ₈＝ｖｈ²，ｔ₉＝ｈ³
・・・（６）
この（６）式を用いると、（５）式は、（７）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（８）式で表される。ここで、ｘ_ikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応する教師画像のｋ番目の画素データを表している。

最小二乗法による解法では、（８）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（９）式で示される。

以下、（１０）式、（１１）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（９）式は、行列を用いて（１２）式のように書き換えられる。

この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。

図２６は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味している。１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味している。

図２７は、ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

このＳＤ信号の位相を垂直方向に８段階、水平方向に８段階にシフトさせて、８×８＝６４種類のＳＤ信号ＳＤ₁〜ＳＤ₆₄を生成する。位相シフトの方法の例として、例えばオーバーサンプリングフィルタから欲しい位相だけを抜き出す方法がある。

図２８は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。

Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

図２９は、水平方向への８段階の位相シフト状態Ｈ１〜Ｈ８を示している。ここではＳＤ信号の水平方向の画素間隔は１６であり、右方向が正の方向とされている。

Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０,−８の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７,−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６,−２の位相を持つようになる。Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，−３の位相を持つようになる。

Ｈ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，−４の位相を持つようになる。Ｈ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−５の位相を持つようになる。Ｈ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−６の位相を持つようになる。Ｈ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１,−７の位相を持つようになる。

図３０は、上述したように垂直方向に８段階、水平方向に８段階にシフトさせて得られた６４種類のＳＤ信号に関し、ＳＤ信号の画素を中心とした場合のＨＤ信号の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は図中の●で示す位相を持つようになる。

図３１は、上述した概念で係数種データを生成する係数種データ生成装置３５０の構成を示している。

この係数種データ生成装置３５０は、装置全体の動作を制御する制御部３５１と、教師信号としてのＨＤ信号（１０５０i信号）が入力される入力端子３５２と、位相シフト回路３５３とを有している。この位相シフト回路３５３は、入力端子３５２に入力されたＨＤ信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出して、生徒信号としてのＳＤ信号（５２５ｉ信号）を取得する。この位相シフト回路３５３には、水平方向、垂直方向への位相シフト量を指定するパラメータＨ，Ｖが入力される。この場合、位相シフト回路３５３では、ＳＤ信号の位相が、垂直方向に８段階、水平方向に８段階にシフトするようにされ、合計６４種類のＳＤ信号が生成される（図２６参照）。

また、係数種データ生成装置３５０は、動きベクトル・動き量検出部３５４を有している。この検出部３５４は、ＳＤ信号のｎ−１フレーム（処理中心フレーム）の、ＨＤ信号の注目画素位置が含まれるブロックにおける、動きベクトルＭＶn-1/n-2，ＭＶn-1/nを検出する。ここで、動きベクトルＭＶn-1/n-2はｎ−１フレーム（処理中心フレーム）のｎ−２フレーム（前フレーム）に対する動きベクトルであり、動きベクトルＭＶn-1/nはｎ−１フレーム（処理中心フレーム）のｎフレーム（後フレーム）に対する動きベクトルである。この動きベクトルの検出は、従来周知のブロックマッチング法あるいは勾配法等で行われる。

また、検出部３５４は、動きベクトルＭＶn-1/n-2，ＭＶn-1/nを用いて、動き量Ｑを求める。この場合、検出部３５４は、例えば、ＭＶn-1/n-2＝（ｘb，ｙb）、ＭＶn-1/n＝(ｘa，ｙa）として、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式で、動き量Ｑを求める。

また、係数種データ生成装置３５０は、予測タップ選択部３５５を有している。この予測タップ選択部３５５は、制御部３５１から供給されるタップ位置情報に基づいて、ＳＤ信号のｎ−１フレームおよびその前後のフレームから、ＨＤ信号のｎ−１フレームにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。この場合、予測タップ範囲は、動き量Ｑがしきい値ＴＨより大きいときは動き量が大きい場合の第１の範囲とされ、動き量Ｑがしきい値ＴＨ以下であるときは動き量が小さい場合の第２の範囲とされる。この予測タップ選択部３５５は、上述した処理本体部１０３Ａ（図２０参照）の予測タップ選択部３２２に対応するものである。

また、係数種データ生成装置３５０は、クラスタップ選択部３５６を有している。このクラスタップ選択部３５５は、制御部３５１から供給されるタップ位置情報に基づいて、ＳＤ信号のｎ−１フレーム、さらにはｎ−２フレーム、ｎフレームから、ＨＤ信号のｎ−１フレームにおける注目画素位置の周辺に位置する複数の画素データを、クラスタップのデータとして選択的に抽出する。このクラスタップ選択部３５６は、上述した処理本体部１０３Ａ（図２０参照）のクラスタップ選択部３２３に対応するものである。

この場合、上述したケースＡに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）だけでなく、動きベクトルＭＶn-1/n-2，ＭＶn-1/nで動き補償されたｎ−２フレーム、ｎフレームからも、クラスタップのデータとしての複数の画素データが抽出される。

また、上述したケースＢに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）だけでなく、動きベクトルＭＶn-1/n-2で動き補償されたｎ−２フレームからも、クラスタップのデータとしての複数の画素データが抽出される。

また、上述したケースＣに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）だけでなく、動きベクトルＭＶn-1/nで動き補償されたｎフレームからも、クラスタップのデータとしての複数の画素データが抽出される。

さらに、上述したケースＤに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）のみから、クラスタップのデータとしての複数の画素データが抽出される。

また、係数種データ生成装置３５０は、クラス検出部３５７を有している。このクラス検出部３５７は、クラスタップ選択部３５６で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、ＨＤ信号のｎ−１フレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部３５７は、上述した処理本体部１０３Ａ（図２０参照）のクラス検出部３２４に対応するものである。

また、係数種データ生成装置３５０は、教師タップ選択部３５８を有している。この教師タップ選択部３５８は、ＨＤ信号のｎ−１フレーム（処理中心フレーム）から、注目画素位置の画素データを選択的に抽出する。

また、係数種データ生成装置３５０は、正規方程式生成部３５９を有している。この正規方程式生成部３５９は、教師タップ選択部３５８で選択的に抽出された、ＨＤ信号のｎ−１フレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部３５５で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部３５７で得られたクラスコードＣＬと、各注目画素位置の画素データｙの水平、垂直の位相情報ｈ，ｖとから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１２）式参照）を生成する。

この場合、一個の画素データｙとそれに対応するｎ個の画素データｘｉとの組み合わせで一個の学習データが生成される。位相シフト回路３５３へのパラメータＨ，Ｖが順次変更されていき、垂直、水平の位相シフト値が段階的に変化した６４種類のＳＤ信号が順次生成されていく。これにより、正規方程式生成部３５９では、多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号を順次生成して学習データを登録することで、水平、垂直の任意の位相の画素データを得るための係数種データｗ_i0〜ｗ_i9を求めることが可能となる。

なお、正規方程式生成部３５９には、制御部３５１から予測タップ範囲の情報ＩＮＦが供給される。これにより、正規方程式生成部３５９は、各クラスの係数種データｗ_i0〜ｗ_i9を得るための正規方程式として、予測タップ範囲が第１の範囲および第２の範囲に対応した係数種データｗ_i0〜ｗ_i9をそれぞれ得るための正規方程式を生成する。結局、正規方程式生成部３５９は、クラスおよび予測タップ範囲（第１の範囲、第２の範囲）の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１２）式参照）を生成する。

また、係数種データ生成装置３５０は、係数種データ決定部３６０と、係数種メモリ３６１とを有している。係数種データ決定部３６０は、正規方程式生成部３５９から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび予測タップ範囲の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を求める。係数種メモリ３６１は、この係数種データｗ_i0〜ｗ_i9を格納する。

図３１に示す係数種データ生成装置３５０の動作を説明する。
入力端子３５２には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、位相シフト回路３５３では、水平および垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されてＳＤ信号（５２５ｉ信号）が得られる。この場合、ＳＤ信号として垂直方向に８段階、水平方向に８段階にシフトされたものが順次生成される。

動きベクトル・動き量検出部３５４では、位相シフト回路３５３で生成されるＳＤ信号のｎ−１フレーム（処理中心フレーム）の、ＨＤ信号の注目画素位置が含まれるブロックにおける、動きベクトルＭＶn-1/n-2，ＭＶn-1/nが検出される。この動きブロックＭＶn-1/n-2，ＭＶn-1/nは制御部３５１に供給される。また、この検出部３５４では、動きベクトルＭＶn-1/n-2，ＭＶn-1/nが用いられ、Ｑ＝（√（ｘb²＋ｙb²）＋√（ｘa²＋ｙa²））／２の式で、動き量Ｑが求められる。なお、ＭＶn-1/n-2＝（ｘb，ｙb）、ＭＶn-1/n＝(ｘa，ｙa）である。この動き量Ｑは制御部３５１に供給される。

クラスタップ選択部３５６では、位相シフト回路３５３で生成される各ＳＤ信号のｎ−１フレーム（処理中心フレーム）、さらにはｎ−２フレーム、ｎフレームから、ＨＤ信号のｎ−１フレームにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この場合、クラスタップ選択部３５６では、制御部３５１から供給されるタップ位置情報に基づいて、クラスタップとしての複数の画素データの選択的な抽出が行われる。

すなわち、上述したケースＡ〜ケースＣに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）だけでなく、動きベクトルＭＶn-1/n-2，ＭＶn-1/nで動き補償されたｎ−２フレーム、ｎフレームの双方、ｎ−２フレーム、あるいはｎフレームからも、クラスタップのデータとしての複数の画素データが抽出される。また、上述したケースＤに対応した各クラスの係数種データｗ_i0〜ｗ_i9を求める正規方程式を取得する際には、ＳＤ信号のｎ−１フレーム（処理中心フレーム）のみから、クラスタップのデータとしての複数の画素データが抽出される。

このようにクラスタップ選択部３５６で抽出された複数の画素データは、クラス検出部３５７に供給される。このクラス検出部３５７では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、ＨＤ信号のｎ−１フレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは、正規方程式生成部３５９に供給される。

予測タップ選択部３５８では、位相シフト回路３５３で生成される各ＳＤ信号のｎ−１フレーム（処理中心フレーム）およびその前後のフレームから、ＨＤ信号のｎ−１フレームにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この場合、予測タップ選択部３５５では、制御部３５１から供給されるタップ位置情報に基づいて、予測タップとしての複数の画素データの選択的な抽出が行われる。すなわち、予測タップ範囲は、動き量Ｑがしきい値ＴＨより大きいときは動き量が大きい場合の第１の範囲とされ、動き量Ｑがしきい値ＴＨ以下であるときは動き量が小さい場合の第２の範囲とされる。

この予測タップ選択部３５５で抽出された複数の画素データｘｉは、正規方程式生成部３５９に供給される。また、教師タップ選択部３５８では、ＨＤ信号のｎ−１フレーム（処理中心フレーム）から、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部３５９に供給される。また、この正規方程式生成部３５９には、制御部３５１から、予測タップ範囲の情報ＩＮＦが供給される。

この正規方程式生成部３５９では、教師タップ選択部３５８で選択的に抽出された、ＨＤ信号のｎ−１フレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部３５５で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部３５７で得られたクラスコードＣＬと、各注目画素位置の画素データｙにそれぞれ対応した予測タップ範囲の情報ＩＮＦと、各注目画素位置の画素データｙの水平、垂直の位相情報ｈ，ｖとから、クラスおよび予測タップ範囲の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１１）式参照）が生成される。

そして、係数種データ決定部３６０でその正規方程式が解かれ、クラスおよび予測タップ範囲の各組み合わせに対応した係数種データｗ_i0〜ｗ_i9が求められ、その係数種データｗ_i0〜ｗ_i9は係数種メモリ３６１に記憶される。

このように、図３１に示す係数種データ生成装置３５０においては、図２０の画サイズ変換回路１０３の画像信号処理部３０３内のＲＯＭ３２６に記憶される、クラスおよび予測タップ範囲の各組み合わせに対応した係数種データｗ_i0〜ｗ_i9を生成できる。

次に、図１に示す画像表示装置１００の動作を説明する。
ＤＶＤプレーヤ１０１では、ディスクから再生されたＭＰＥＧデータに対してデコード処理が施され、５２５ｐ／２４フレームの画像信号Ｓａが取得される。この画像信号Ｓａは５フレーム毎にフレームセットが構成されている。この画像信号Ｓａは、信号線Ｌsaを通じてノイズ低減回路１０２に供給されると共に、信号線Ｌsdを通じて動きベクトル検出回路１０５に供給される。

また、このＤＶＤプレーヤ１０１からは、画像信号Ｓａに同期して、付加信号Ｓiaが出力される。この付加信号Ｓiaには、フレームのブロック情報として、ＤＣＴの処理単位であるブロックのサイズｋ×ｍを示す情報が含まれている（図３，図４参照）。また、フレームセットの第２〜第５のフレームに対応した付加情報Ｓiaには、ブロックのそれぞれに対応した付加情報であるブロック内の情報として、動きベクトルＭＶn/n-1が付加されている（図７参照）。この付加情報Ｓiaは、付加情報線Ｌiaを通じてノイズ低減回路１０２に供給されると共に、付加情報線Ｌidを通じて動きベクトル検出回路１０５に供給される。

動きベクトル検出回路１０５では、画像信号Ｓａから、従来周知のブロックマッチング法あるいは勾配法等により、ＤＣＴの処理単位であるブロック単位で、動きベクトルが検出される。この場合、画像信号Ｓａの現フレームがｎフレームであるとき、動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1が検出される。ここで、ＭＶp/qはｐフレームのｑフレームに対する動きベクトルである。このように動きベクトル検出回路１０５で検出される動きベクトルＭＶn-1/n-2，ＭＶn/n-1，ＭＶn-2/n-1は、付加信号Ｓieに含められ、ノイズ低減回路１０２および画サイズ変換回路１０３のそれぞれに付加情報線Ｌieを通じてブロードキャスト的に供給される。

ノイズ低減回路１０２では、ＤＶＤプレーヤ１０１から供給される画像信号Ｓａから、ブロック歪みを低減する処理が行われる。この場合、画像信号Ｓａから処理対象となるブロック（処理対象ブロック）が順次検出され、この処理対象ブロックの境界部分に位置する画素データの値が、周辺ブロックに対する傾きＳＬが０に近づくように補正される。そしてこの場合、ＤＶＤプレーヤ１０２から供給される付加信号Ｓia、あるいは動きベクトル検出回路１０５から供給される付加信号Ｓieに含まれるブロックサイズの情報が使用されて、ブロック検出が行われる。このノイズ低減回路１０２から出力される、ノイズ低減処理が行われた後の画像信号Ｓｂは、信号線Ｌibを通じて画サイズ変換回路１０３に供給される。

また、このノイズ低減回路１０２からは、画像信号Ｓｂに同期して、付加信号Ｓibが出力される。この付加信号Ｓibには、付加情報として、動きベクトルＭＶn-2/n-3，n-1/n-2，ＭＶn-3/n-2が含まれている（図１８参照）。この付加情報Ｓibは、付加情報線Ｌibを通じて画サイズ変換回路１０３に供給される。この画サイズ変換回路１０３では、画像信号Ｓｂが、倍率情報ＭＧで指定される倍率の画像を表示するための画像信号Ｓｃに変換される。この場合、ＤＶＤプレーヤ１０１から出力される画像信号Ｓａの現フレームがｎフレームであるとき、ｎ−２フレームの画像信号が処理中心フレームとされ、付加信号Ｓib，Ｓieに含まれる動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1が用いられて、クラスタップ、予測タップのデータが選択され、画サイズの変換処理が行われる。

画サイズ変換回路１０３から出力される画像信号Ｓｃは、信号線Ｌscを通じてディスプレイ１０４に供給される。また、この画サイズ変換回路１０３からは、画像信号Ｓｃに同期して、付加信号Ｓicが出力される。この付加信号Ｓicには、上述した付加信号Ｓiｂ，Ｓieに含まれている付加情報が含まれている。この付加信号Ｓicは、付加情報線Ｌicを通じてディスプレイ１０４に供給される。

ディスプレイ１０４には、画サイズ変換回路１０４から供給される画像信号Ｓｃによる画像が表示される。この場合、画サイズ変換回路１０４から、画像信号Ｓｃに同期して供給される付加信号Ｓicに含まれる動きベクトルに基づいて、画像信号Ｓｃの帯域を自動的に制限し、画質調整を自動的に行うことができる。

このように図１に示す画像表示装置１００は、画像信号に対して、ノイズ低減回路１０２および画サイズ変換回路１０３で順に処理を行うものであり、また画像信号から動きベクトル検出回路１０５で動きベクトルが検出され、この動きベクトルがノイズ低減回路１０２および画サイズ変換回路１０３にそれぞれブロードキャスト的に供給される。これにより、画サイズ変換回路１０３では、ｎ−２フレームの画像信号が処理中心フレームとし、動きベクトルＭＶn-2/n-3，ＭＶn-2/n-1を用いた画サイズの変換処理を行うことができ、その処理性能を上げることができる。

なお、上述実施の形態においては、ノイズ低減回路１０２に入力される画像信号Ｓａから所定の特徴量としての動きベクトルを検出し、これをノイズ低減回路１０２および画サイズ変換回路１０３に供給するものであるが、情報信号に対して複数の処理を順に行う複数の処理部がある場合に、所定の特徴量を抽出するための情報信号としてどの処理部に入力される情報信号か選択するかは任意に設定できる。

また、上述実施の形態においては、所定の特徴量として動きベクトルを抽出（検出）するものを示したが、所定の特徴量はこの動きベクトルに限定されるものではなく、複数の処理部の少なくともいずれかで使用され、その処理性能を向上できるものであればよい。

また、上述実施の形態は、画像信号を取り扱う画像表示装置１００であるが、この発明は、画像信号に対してこの実施の形態とは異なる処理を順に行っていくものにも適用できる。さらに、この発明は、画像信号だけでなく、音声信号を取り扱う装置にも同様に適用できる。

この発明は、複数の処理部に情報信号から抽出された所定の特徴量を効果的に送信でき、複数の処理部のうち少なくともいずれかにおける処理性能の向上を図ることができるものであり、画像信号、音声信号等の情報信号に複数の処理を順に行う処理装置に適用できる。

実施の形態としての画像表示装置の構成を示すブロック図である。 付加情報（１フレーム分）の構成を示す図である。 付加信号内の付加情報の配置例を示す図である。 付加情報の例を示す図である。 配置方法ＩＤと情報ＩＤを説明するための図である。 情報のフォーマットを示す図である。 ブロック内の情報とブロック位置との対応を示す図である。 ＤＶＤプレーヤの要部の構成を示すブロック図である。 付加情報記憶部の処理手順を示すフローチャートである。 情報のフォーマットを示す図である。 ブロック内の情報とブロック位置との対応を示す図である。 基本となる画像信号処理装置の構成を示すブロック図である。 画像信号処理装置の処理手順を示すフローチャートである。 ノイズ低減回路の構成を示すブロック図である。 周辺ブロックに対する傾き検出を説明するための図である。 各回路の入出力における動きベクトルを示す図である。 情報のフォーマットを示す図である。 ブロック内の情報とブロック位置との対応を示す図である。 ノイズ低減回路における画像信号処理部の処理手順を示すフローチャートである。 画サイズ変換回路の構成を示すブロック図である。 画サイズ変換処理で使用される動きベクトルを説明するための図である。 １．２５倍時の入力と出力の画素位置関係を示す図である。 １．５倍時の入力と出力の画素位置関係を示す図である。 画サイズ変換回路における画像信号処理部の処理手順を示すフローチャートである。 画サイズ変換回路における画像信号処理部の他の処理手順を示すフローチャートである。 係数種データの生成方法を示す図である。 ５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。 垂直方向への８段階の位相シフトを説明するための図である。 水平方向への８段階の位相シフトを説明するための図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。 係数種データ生成装置の構成を示すブロック図である。

符号の説明

１００・・・画像表示装置、１０１・・・ＤＶＤプレーヤ、１０２・・・ノイズ低減回路、１０２Ａ・・・処理本体部、１０２Ｂ・・・制御部、１０３・・・画サイズ変換回路、１０３Ａ・・・処理本体部、１０３Ｂ・・・制御部、１０４・・・ディスプレイ、１０５・・・動きベクトル検出回路、１０６・・・同期制御部、１１１・・・ＭＰＥＧデコーダ、１１２・・・画像信号送信部、１１３・・・画像信号出力端子、１１４・・・付加情報記憶部、１１５・・・付加信号送信部、１１６・・・付加信号出力端子、１５０・・・画像信号処理装置、１５１・・・画像信号入力端子、１５２・・・画像信号受信部、１５３・・・画像信号処理部、１５４・・・画像信号送信部、１５５・・・画像信号出力端子、１５６，１５７・・・付加信号入力端子、１５８・・・付加信号受信部、１５９・・・付加情報記憶部、１６０・・・付加信号送信部、１６１・・・付加信号出力端子、１６２・・・同期制御信号入力端子、２０１・・・画像信号入力端子、２０２・・・画像信号受信部、２０３・・・画像信号処理部、２０３ａ・・・ブロック検出部、２０３ｂ・・・傾き検出部、２０３ｃ・・・境界画素値補正部、２０４・・・画像信号送信部、２０５・・・画像信号出力端子、２０６，２０７・・・付加信号入力端子、２０８・・・付加信号受信部、２０９・・・付加信号記憶部、２１０・・・付加信号送信部、２１１・・・付加信号出力端子、２１２・・・同期制御信号入力端子、３０１・・・画像信号入力端子、３０２・・・画像信号受信部、３０３・・・画像信号処理部、３０４・・・画像信号送信部、３０５・・・画像信号出力端子、３０６，３０７・・・付加信号入力端子、３０８・・・付加信号受信部、３０９・・・付加信号記憶部、３１０・・・画像信号処理部、３１１・・・画像信号出力端子、３１２・・・同期制御信号入力端子、３２１・・・動きベクトル検出部、３２２・・・予測タップ選択部、３２３・・・クラスタップ選択部、３２４・・・クラス検出部、３２５・・・係数データ生成部、３２６・・・ＲＯＭ、３２７・・・推定予測演算部、３５０・・・係数種データ生成装置

Claims (11)

1. 情報信号に対して複数の処理を順に行う情報信号処理装置であって、
   上記複数の処理をそれぞれ行う複数の処理部と、
   上記複数の処理部のいずれかに入力される情報信号から所定の特徴量を抽出し、上記複数の処理部のそれぞれに送信する特徴量抽出部と
   を備えることを特徴とする情報信号処理装置。
2. 上記特徴量抽出部から上記複数の処理部に送信される上記所定の特徴量には、該所定の特徴量を識別するための識別子が付加されている
   ことを特徴とする請求項１に記載の情報信号処理装置。
3. 上記特徴量抽出部と上記複数の処理部のそれぞれは付加情報線で接続され、
   上記特徴量抽出部から上記複数の処理部には、上記所定の特徴量を付加情報として含む付加信号が上記付加情報線を通じて送信される
   ことを特徴とする請求項１に記載の情報信号処理装置。
4. 上記処理部は、
   上記特徴量抽出部から送信されてくる上記所定の特徴量を受信する特徴量受信手段と、
   上記情報信号を処理する情報信号処理手段とを有し、
   上記情報信号処理手段は、上記特徴量受信手段で受信された上記所定の特徴量が自己の処理で使用可能であるときは、該所定の特徴量を用いて処理を行う
   ことを特徴とする請求項１に記載の情報信号処理装置。
5. 上記複数の処理部を構成する、連続する第１の処理部と第２の処理部は、信号線および付加情報線で接続され、
   上記第１の処理部から上記第２の処理部には、上記情報信号が上記信号線を通じて送信されると共に、該信号線を通じて送信される情報信号に同期して、該情報信号に関連した付加情報を含む付加信号が上記付加情報線を通じて送信される
   ことを特徴とする請求項１に記載の情報信号処理装置。
6. 上記第１の処理部から上記第２の処理部に送信される付加信号に含まれている付加情報に、上記特徴量抽出部から上記第１の処理部に送信されてきた上記所定の特徴量が挿入される
   ことを特徴とする請求項５に記載の情報信号処理装置。
7. 上記第２の処理部は、
   上記信号線で送られてくる情報信号を受信する情報信号受信手段と、
   上記情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、
   上記付加情報線で送られてくる付加信号を受信する付加信号受信手段とを備え、
   上記情報信号処理手段は、上記付加信号受信手段で受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、該付加情報を用いて処理を行う
   ことを特徴とする請求項５に記載の情報信号処理装置。
8. 情報信号に対して複数の処理部で複数の処理を順に行う情報信号処理方法であって、
   上記複数の処理部のいずれかに入力される情報信号から所定の特徴量を抽出し、該抽出された所定の特徴量を上記複数の処理部のそれぞれに送信し、
   上記複数の処理部に、該所定の特徴量の使用が可能であるとき、該所定の特徴量を用いた処理を行わせる
   ことを特徴とする情報信号処理方法。
9. 信号線で送られてくる情報信号を受信する情報信号受信手段と、
   上記情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、
   第１の付加情報線で送られてくる、上記情報信号から抽出された所定の特徴量を付加情報として含む付加信号を受信する第１の付加信号受信手段とを備え、
   上記情報信号処理手段は、上記第１の付加信号受信手段で受信された付加信号に含まれている上記所定の特徴量が自己の処理で使用可能であるときは、該所定の特徴量を用いて処理を行う
   ことを特徴とする情報信号処理装置。
10. 第２の付加情報線で送られてくる付加信号を受信する第２の付加信号受信手段をさらに備え、
    上記情報信号処理手段は、上記第２の付加信号受信手段で受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、該付加情報を用いて処理を行う
    ことを特徴とする請求項９に記載の情報信号処理装置。
11. 信号線で送られてくる情報信号を受信する情報信号受信ステップと、
    上記情報信号受信ステップで受信された情報信号を処理する情報信号処理ステップと、
    付加情報線で送られてくる、上記情報信号から抽出された所定の特徴量を付加情報として含む付加信号を受信する付加信号受信ステップとを備え、
    上記情報信号処理ステップでは、上記付加信号受信ステップで受信された付加信号に含まれている上記所定の特徴量が自己の処理で使用可能であるときは、該所定の特徴量を用いて処理を行う
    ことを特徴とする情報信号処理方法。
    

Images