JP2006067345A - 画像信号処理装置、その制御方法および画像信号処理システム - Google Patents

Abstract

【課題】各処理部の個々では不可能な処理を実現し、各処理手段の有効利用を図る。
【解決手段】「第１の処理」の機能選択時には、画像信号Ｖinに対して追尾ズーム処理部１１３でズーム処理または追尾ズーム処理を行い、さらにＤＲＣ−ボリウム処理部１１２で高画質化処理を行い、この処理部１１２で得られた画像信号を出力画像信号Ｖoutとする。「第４の処理」の機能選択時には、画像信号Ｖinに対して処理部１１２で高画質化を行い、この処理部１１２で得られた画像信号を出力画像信号Ｖoutとする。そしてこのとき、画像信号Ｖinに基づいて処理部１１３で所定のオブジェクトの領域を示すオブジェクト領域情報ＯＡＩを生成し、この情報ＯＡＩを処理部１１２に制御信号として供給する。処理部１１２は、この情報ＯＡＩに基づいて、画質パラメータを局所的に変更し、背景ぼかしの特殊効果処理を行う。
【選択図】 図１

Description

この発明は、画像信号に対して処理をする画像信号処理装置、その制御方法および画像信号処理システムに関する。

詳しくは、この発明は、入力画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）と、オブジェクト領域情報に基づいて、入力画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）とを備える画像信号処理装置（画像信号処理システム）であって、所定の機能が選択されるとき、第１の画像信号処理手段における画質パラメータの値を第２の画像信号処理手段で取得されたオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とで異なる値とすることによって、各処理手段の個々では不可能な特殊効果処理を実現でき、各処理手段の有効利用を図るようにした画像信号処理装置等に係るものである。

また、この発明は、画像信号が入力される画像信号入力手段、入力画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）、オブジェクト領域情報に基づいて入力画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）および出力画像信号を出力する画像信号出力手段の間の信号経路を設定手段で設定する構成とすることによって、各処理手段の個々では不可能な処理を実現でき、各処理手段の有効利用を図るようにした画像信号処理装置（画像信号処理システム）等に係るものである。

従来、画像信号に対して処理をする画像信号処理装置が種々提案されている。例えば、特許文献１には、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う画像信号処理装置が記載されている。また例えば、特許文献２には、入力された画像信号による画像に含まれる所定のオブジェクト（被写体）の領域を示すオブジェクト領域情報（切り出し枠情報）を取得し、このオブジェクト領域情報に基づいて、入力された画像信号に対して所定の処理（拡大・補間処理）を行う画像信号処理装置が記載されている。

特開２００２−２１８４１４号公報 特開平６−１４３２３号公報

従来の画像信号処理装置、例えば特許文献１、特許文献２に記載されている装置等は、それぞれ、独立して存在しており、それ自体で処理が完結している。そのため、従来、これらの装置を用いて個々では不可能な処理を行うということは考えられていなかった。

この発明の目的は、各処理手段の個々では不可能な処理を可能とし、各処理手段の有効利用を図ることにある。

この発明に係る画像信号処理装置（画像信号処理システム）は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）と、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて、入力された画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）とを備える画像信号処理装置（画像信号処理システム）である。そして、第１の画像信号処理手段（第１の集積回路）は、画像信号が入力される第１の入力部と、画質パラメータの値を発生するパラメータ発生部と、第１の入力部に入力された第１の画像信号がパラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う第１の処理部とを有している。また、第２の画像信号処理手段（第２の集積回路）は、画像信号が入力される第２の入力部と、画像信号による画像に含まれる所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力部と、このオブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得部と、オブジェクト領域情報取得部で取得されたオブジェクト領域情報に基づいて、第２の入力部に入力された第３の画像信号に対して所定の処理を行って第４の画像信号を得る第２の処理部とを有している。そして、所定の機能が選択されるとき、第１の画像信号処理手段（第１の集積回路）のパラメータ発生部で発生される画質パラメータの値は、第２の画像信号処理手段（第２の集積回路）のオブジェクト領域情報取得部で取得されたオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とで異なる値とされる。

また、この発明に係る画像信号処理装置の制御方法は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段と、入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて入力された画像信号に対して所定の画像信号処理を行う第２の画像信号処理手段とを備える画像信号処理装置の制御方法であって、所定の機能が選択されるとき、第１の画像信号処理手段における画質パラメータの値を、第２の画像信号処理手段におけるオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とにおいて異なる値とするものである。

この発明においては、第１の画像信号処理手段と、第２の画像信号処理手段とを備えている。第１の画像信号処理手段は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行うものである。第２の画像信号処理手段は、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて、入力された画像信号に対して所定の処理、例えば追尾ズーム処理を行うものである。例えば、入力された画像信号は、動画像を表示する画像信号である。また例えば、入力された画像信号は、放送信号から取得された画像信号である。

第１の画像信号処理手段では、第１の処理部で、第１の入力部に入力された第１の画像信号が、パラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号に変換される。

例えば、第１の処理部は、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、推定式の係数データを生成する画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と、この記憶部に記憶されている係数種データおよびパラメータ発生部で発生された画質パラメータの値を用い、生成式に基づいて、パラメータ発生部で発生された画質パラメータの値に対応した推定式の係数データを生成する係数データ生成部と、データ選択部で選択された複数の画素データおよび係数データ生成部で生成された係数データを用い、推定式に基づいて、第２の画像信号における注目位置の画素データを算出して得る演算部とを有する構成とされる。

第２の画像信号処理手段では、オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、オブジェクト領域情報取得部で所定のオブジェクトの領域を示すオブジェクト領域情報を取得され、第２の処理部で、このオブジェクト領域情報に基づいて、第２の入力部に入力された第３の画像信号に対して所定の処理が行われて第４の画像信号が得られる。

例えば、オブジェクト動き情報取得部で、所定のオブジェクトの動き情報が得られる。オブジェクト領域情報取得部では、オブジェクト領域指定情報の他に、この所定のオブジェクトの動き情報に基づいて、所定のオブジェクトの領域を示すオブジェクト領域情報が取得される。これにより、所定のオブジェクトが動いている動画像においても、逐次変化する所定のオブジェクトの領域を示すオブジェクト領域情報を正しく取得できるようになる。この場合、所定のオブジェクトの領域に対応した所定の領域に対してズーム処理を行うものにあっては、追尾ズーム処理が実現される。

例えば、動きベクトル検出部で、第２の入力部に入力された画像信号に基づいて画素毎にブロックマッチング法等によって動きベクトルが検出される。オブジェクト動き情報取得部では、オブジェクト領域情報で示される領域内の各画素に対応して動きベクトル検出部で検出された各動きベクトルに基づいて、所定のオブジェクトの動き情報が得られる。例えば、各動きベクトルが平均され、所定のオブジェクトの動き情報としての平均動きベクトルが得られる。また例えば、各動きベクトルのうち、最大頻度を示す動きベクトルが所定のオブジェクトの動き情報とされる。

例えば、オブジェクト領域情報取得部では、動きベクトル検出部で第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルが検出され、オブジェクト領域指定情報で示される領域と共に、この領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部で検出される動きベクトルが該領域内の画素と同じである画素を含む領域（隣接領域）を所定のオブジェクトの領域として、オブジェクト領域情報が取得される。ここで、動きベクトルが同じであるとは、完全一致だけでなく、差が所定範囲内、例えば動きベクトル検出誤差範囲内にあるものを含む意味である。このようにオブジェクト領域指定情報で示される領域と共に、動きベクトルが同じである領域を所定のオブジェクトの領域とすることで、例えばユーザが所定のオブジェクトの領域を塗りつぶすことで領域指定を行う場合に、所定のオブジェクトの領域を全て塗りつぶさなくてもよくなる。

例えば、第２の処理部では、第３の画像信号のうちオブジェクト領域情報で示される領域に対応した所定領域の画像信号に基づいて、所定の倍率の画像を表示するための第４の画像信号が生成される。例えば、この第２の処理部は、所定の倍率に対応した、第４の画像信号における注目位置の位相情報を発生させる位相情報発生部と、この位相情報発生部で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生部と、第３の画像信号に基づいて、第４の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択部と、係数データ発生部で発生された係数データおよびデータ選択部で選択された複数の画素データを用い、推定式に基づいて、第４の画像信号における注目位置の画素データを算出して得る演算部とを有する構成とされる。

所定の機能が選択されるとき、第１の画像信号処理手段における画質パラメータの値が、第２の画像信号処理手段におけるオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とにおいて異なる値とされる。これにより、所定の機能が選択されるとき、第１の画像信号処理手段からは、所定のオブジェクトの領域とその他の領域とで画質が異なるようにされた画像信号が得られる。

例えば、オブジェクトの領域の画質は、その他の領域の画質より高くされるか、あるいはその逆とされる。オブジェクトの領域の画質がその他の領域の画質より高くされる場合、オブジェクトに対して背景をぼかした特殊効果が得られる。例えば、オブジェクトの領域の画質パラメータの値はユーザが調整した画質パラメータの値そのものとされ、それ以外の領域の画質パラメータの値はユーザが調整した画質パラメータの値より低くあるいは高くされる。また例えば、オブジェクトの領域およびその他の領域の画質パラメータの値は、工場出荷時に設定されている、あるいはその後にユーザにより設定された固定値とされる。

このように、この発明においては、所定の機能が選択されるとき、第１の画像信号処理手段における画質パラメータの値を第２の画像信号処理手段で取得されたオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とで異なる値とし、第１の画像信号処理手段から、所定のオブジェクトの領域とその他の領域とで画質が異なるようにされた画像信号を得るようにしたものであり、各処理手段の個々では不可能な特殊効果処理を実現でき、各処理手段の有効利用を図ることができる。

この発明に係る画像信号処理装置は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）と、入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて入力された画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）と、画像信号が入力され、この画像信号を第１の画像信号処理手段（第１の集積回路）および第２の画像信号処理手段（第２の集積回路）に向けて出力する画像信号入力手段と、第１の画像信号処理手段（第１の集積回路）または第２の画像信号処理手段（第２の集積回路）で得られた画像信号を出力する画像信号出力手段と、画像信号入力手段、第１の画像信号処理手段（第１の集積回路）、第２の画像信号処理手段（第２の集積回路）および画像信号出力手段の間の信号経路を設定する設定手段とを備えるものである。

また、この発明に係る画像信号処理装置の制御方法は、上述した画像信号入力手段、第１の画像信号処理手段、第２の画像信号処理手段、画像信号出力手段および設定手段を備える画像信号処理装置の制御方法であって、所定の機能が選択されるとき、入力された画像信号が第１の画像信号処理手段および第２の画像信号処理手段に処理すべき画像信号として入力され、第２の画像信号処理手段で取得されたオブジェクト領域情報が第１の画像信号処理手段に制御信号として入力され、第１の画像信号処理手段で得られた画像信号が画像信号出力手段から出力画像信号として出力される信号経路が設定されるように設定手段を制御し、オブジェクト領域情報に基づいて第１の画像信号処理手段における画質パラメータの値がオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域において異なる値となるように制御するものである。

この発明においては、第１の画像信号処理手段と、第２の画像信号処理手段とを備えている。第１の画像信号処理手段は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行うものである。第２の画像信号処理手段は、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて、入力された画像信号に対して所定の処理、例えば追尾ズーム処理を行うものである。例えば、入力された画像信号は、動画像を表示する画像信号である。また例えば、入力された画像信号は、放送信号から取得された画像信号である。

第１の画像信号処理手段では、第１の処理部で、第１の入力部に入力された第１の画像信号が、パラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号に変換される。

例えば、第１の処理部は、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、推定式の係数データを生成する画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と、この記憶部に記憶されている係数種データおよびパラメータ発生部で発生された画質パラメータの値を用い、生成式に基づいて、パラメータ発生部で発生された画質パラメータの値に対応した推定式の係数データを生成する係数データ生成部と、データ選択部で選択された複数の画素データおよび係数データ生成部で生成された係数データを用い、推定式に基づいて、第２の画像信号における注目位置の画素データを算出して得る演算部とを有する構成とされる。

第２の画像信号処理手段では、オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、オブジェクト領域情報取得部で所定のオブジェクトの領域を示すオブジェクト領域情報が取得され、第２の処理部で、このオブジェクト領域情報に基づいて、第２の入力部に入力された第３の画像信号に対して所定の処理が行われて第４の画像信号が得られる。

例えば、オブジェクト動き情報取得部で、所定のオブジェクトの動き情報が得られる。オブジェクト領域情報取得部では、オブジェクト領域指定情報の他に、この所定のオブジェクトの動き情報に基づいて、所定のオブジェクトの領域を示すオブジェクト領域情報が取得される。これにより、所定のオブジェクトが動いている動画像においても、逐次変化する所定のオブジェクトの領域を示すオブジェクト領域情報を正しく取得できるようになる。この場合、所定のオブジェクトの領域に対応した所定の領域に対してズーム処理を行うものにあっては、追尾ズーム処理が実現される。

例えば、動きベクトル検出部で、第２の入力部に入力された画像信号に基づいて画素毎にブロックマッチング法等によって動きベクトルが検出される。オブジェクト動き情報取得部では、オブジェクト領域情報で示される領域内の各画素に対応して動きベクトル検出部で検出された各動きベクトルに基づいて、所定のオブジェクトの動き情報が得られる。例えば、各動きベクトルが平均され、所定のオブジェクトの動き情報としての平均動きベクトルが得られる。また例えば、各動きベクトルのうち、最大頻度を示す動きベクトルが所定のオブジェクトの動き情報とされる。

例えば、オブジェクト領域情報取得部では、動きベクトル検出部で第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルが検出され、オブジェクト領域指定情報で示される領域と共に、この領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部で検出される動きベクトルが該領域内の画素と同じである画素を含む領域（隣接領域）を所定のオブジェクトの領域として、オブジェクト領域情報が取得される。ここで、動きベクトルが同じであるとは、例えば、完全一致だけでなく、差が所定範囲内、例えば動きベクトル検出誤差範囲内にあるものを含む意味である。

このようにオブジェクト領域指定情報で示される領域と共に、動きベクトルが同じである領域を所定のオブジェクトの動き領域とすることで、例えばユーザが所定のオブジェクトの領域を塗りつぶすことで領域指定を行う場合に、所定のオブジェクトの領域を全て塗りつぶさなくてもよくなる。

例えば、第２の処理部では、第３の画像信号のうちオブジェクト領域情報で示される領域に対応した領域の画像信号に基づいて、所定の倍率の画像を表示するための第４の画像信号が生成される。例えば、この第２の処理部は、所定の倍率に対応した、第４の画像信号における注目位置の位相情報を発生させる位相情報発生部と、この位相情報発生部で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生部と、第３の画像信号に基づいて、第４の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択部と、係数データ発生部で発生された係数データおよびデータ選択部で選択された複数の画素データを用い、推定式に基づいて、第４の画像信号における注目位置の画素データを算出して得る演算部とを有する構成とされる。

画像信号は、画像信号入力手段に入力され、この画像信号入力手段から、第１の画像信号処理手段および第２の画像信号処理手段に向けて出力される。また、第１の画像信号処理手段または第２の画像信号処理手段で得られた画像信号が、画像信号出力手段から、出力画像信号として出力される。

そして、設定手段で、画像信号入力手段、第１の画像信号処理手段、第２の画像信号処理手段および画像信号出力手段の間の信号経路が設定される。信号経路は、例えば、機能選択信号入力手段に入力された機能選択信号に応じて設定される。

例えば、機能選択信号で所定の機能が選択されるとき、画像信号入力手段からの画像信号が第２の画像信号処理手段に処理すべき画像信号として入力され、この第２の画像信号処理手段で得られた画像信号が第１の画像信号処理手段に処理すべき画像信号として入力され、この第１の画像信号処理手段で得られた画像信号が画像信号出力手段から出力画像信号として出力されるように信号経路が設定される。

この場合、第２の画像信号処理手段で、入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報に基づいて、当該入力された画像信号に対して所定の処理が行われる。そして、第１の画像信号処理手段で、第２の画像信号処理手段で得られた画像信号が画質パラメータの値に応じた画質の画像信号となるように処理される。そして、この第１の画像信号処理手段で得られた画像信号が出力画像信号として出力される。

また例えば、機能選択信号で所定の機能が選択されるとき、画像信号入力手段からの画像信号が第１の画像信号処理手段および第２の画像信号処理手段に処理すべき画像信号として入力され、第２の画像信号処理手段で取得されたオブジェクト領域情報が第１の画像信号処理手段に制御信号として入力され、第１の画像信号処理手段で得られた画像信号が画像信号出力手段から出力画像信号として出力されるように信号経路が設定される。そしてこのとき、第１の画像信号処理手段における画質パラメータの値は、オブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域において異なる値となるように制御される。

この場合、第１の画像信号処理手段で、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理される。そして、この第１の画像信号処理手段で得られた画像信号が出力画像信号として出力される。そしてこの場合、画質パラメータの値がオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域において異なる値となるように制御されることから、出力画像信号は、所定のオブジェクトの領域とその他の領域とで画質が異なるものとなる。

例えば、オブジェクトの領域の画質は、その他の領域の画質より高くされるか、あるいはその逆とされる。オブジェクトの領域の画質がその他の領域の画質より高くされる場合、オブジェクトに対して背景をぼかした特殊効果が得られる。例えば、オブジェクトの領域の画質パラメータの値はユーザが調整した画質パラメータの値そのものとされ、それ以外の領域の画質パラメータの値はユーザが調整した画質パラメータの値より低くあるいは高くされる。また例えば、オブジェクトの領域およびその他の領域の画質パラメータの値は、工場出荷時に設定されている、あるいはその後にユーザにより設定された固定値とされる。

このように、この発明においては、画像信号が入力される画像信号入力手段、入力画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段、オブジェクト領域情報に基づいて入力画像信号に対して所定の処理を行う第２の画像信号処理手段および出力画像信号を出力する画像信号出力手段の間の信号経路を設定手段で設定する構成とするものであり、設定手段による信号経路の設定により、各処理手段の個々では不可能な処理を実現でき、各処理手段の有効利用を図ることができる。

この発明によれば、入力画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）と、オブジェクト領域情報に基づいて、入力画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）とを備える画像信号処理装置（画像信号処理システム）であって、所定の機能が選択されるとき、第１の画像信号処理手段（第１の集積回路）における画質パラメータの値を第２の画像信号処理手段（第２の集積回路）で取得されたオブジェクト領域情報で示される所定のオブジェクトの領域とその他の領域とで異なる値とするものであり、各処理手段の個々では不可能な特殊効果処理を実現でき、各処理手段の有効利用を図ることができる。

また、この発明は、画像信号が入力される画像信号入力手段、入力画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段（第１の集積回路）、オブジェクト領域情報に基づいて入力画像信号に対して所定の処理を行う第２の画像信号処理手段（第２の集積回路）および出力画像信号を出力する画像信号出力手段の間の信号経路を設定手段で設定する構成とするものであり、各処理手段の個々では不可能な処理を実現でき、各処理手段の有効利用を図ることができる。

この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。

この画像信号処理装置１００は、装置全体の動作を制御するシステムコントローラ１０１を有している。このシステムコントローラ１０１は、例えば、ＭＰＵ(Micro Processing Unit)、このＭＰＵの動作プログラム等が記憶されたＲＯＭ(Read Only Memory)、このＭＰＵの作業領域を構成するＲＡＭ（Random Access Memory）等を備えている。

このシステムコントローラ１０１には、リモコン信号受信部１０２が接続されている。このリモコン信号受信部１０２は、リモコン送信機１０３からユーザの操作に応じて出力されるリモコン信号ＲＭを受信し、そのリモコン信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給する。また、このシステムコントローラ１０１には、ＬＣＤ(Liquid Crystal Display)等で構成される表示器１０４が接続されている。この表示器１０４は、システムコントローラ１０１の制御のもと、装置の動作状態等を表示する。

また、画像信号処理装置１００は、入力端子１１１と、ＤＲＣ−ボリウム処理部１１２と、追尾ズーム処理部１１３と、出力端子１１４と、セレクタ１１５〜１１８とを有している。入力端子１１１は、画像信号が入力される画像信号入力手段を構成している。この入力端子１１１は、入力された画像信号を、処理部１１２，１１３に向けて出力する。この入力端子１１１には、動画像または静止画像を表示するための画像信号Ｖinが、処理すべき画像信号として入力される。この画像信号Ｖinは、例えば、図示しない放送受信機において、放送信号より取得されたものとされる。

ＤＲＣ−ボリウム処理部１１２は、第１の画像信号処理手段を構成している。この処理部１１２は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う。システムコントローラ１０１から処理部１１２に送られる制御信号ＳＣａには、ユーザによって調整された、解像度を示す画質パラメータｒの値およびノイズ除去度を示す画質パラメータｚの値が含まれている。この処理部１１２の詳細については、後述する。

この処理部１１２は、ユーザの選択操作により、「第１の処理」の機能が選択されるとき、追尾ズーム処理部１１３で得られた画像信号を処理すべき画像信号として、画質パラメータの値に応じた画質の画像信号を得る処理を行い、処理後の画像信号を出力する。この場合、ユーザによって調整された画質パラメータｒ，ｚの値がそのまま用いられる。

また、この処理部１１２は、ユーザの選択操作により、「第３の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、画質パラメータの値に応じた画質の画像信号を得る処理を行い、処理後の画像信号を出力する。この場合、ユーザによって調整された画質パラメータｒ，ｚの値がそのまま用いられる。

また、この処理部１１２は、ユーザの選択操作により、「第４の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、画質パラメータの値に応じた画質の画像信号を得る処理を行い、処理後の画像信号を出力する。この場合、追尾ズーム処理部１１３で取得されたオブジェクト領域情報ＯＡＩに基づいて、オブジェクトの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が低下する方向に変更して用いる。画質が低下する方向の例としては、解像度が低下する方向、あるいは、ノイズが増える方向、ユーザが「画質が低下したと感じる」方向などが挙げられる。

追尾ズーム処理部１１３は、第２の画像信号処理手段を構成している。この処理部１１３は、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、このオブジェクト領域情報に基づいて、入力された画像信号に対してズーム処理または追尾ズーム処理を行う。システムコントローラ１０１から処理部１１３に送られる制御信号ＳＣｂには、ユーザによって入力されたオブジェクト領域指定情報、およびユーザによって調整された倍率情報が含まれている。この処理部１１３の詳細については、後述する。

この処理部１１３は、ユーザの選択操作により、「第１の処理」または「第２の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、ズーム処理または追尾ズーム処理を行い、処理後の画像信号を出力する。また、この処理部１１３は、ユーザの選択操作により、「第４の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、オブジェクト抽出処理を行い、オブジェクト領域情報ＯＡＩを出力する。

出力端子１１４は、出力画像信号Ｖoutを出力する画像信号出力手段を構成している。この出力端子１１４には、処理部１１２または処理部１１３で得られた画像信号が、出力画像信号Ｖoutとして出力される。

セレクタ１１５〜１１８は、入力端子１１１、処理部１１２，１１３および出力端子１１４の間の信号経路を設定する設定手段を構成している。セレクタ１１５は、ユーザの選択操作により、「第１の処理」の機能が選択されるとき、セレクタ１１７から供給される画像信号を処理部１１２に処理すべき画像信号として供給する。また、セレクタ１１５は、ユーザの選択操作により、「第３の処理」または「第４の処理」の機能が選択されるとき、入力端子１１１から入力された画像信号Ｖinを処理部１１２に処理すべき画像信号として供給する。

セレクタ１１６は、ユーザの選択操作により、「第１の処理」の機能が選択されるとき、処理部１１３から出力される画像信号をセレクタ１１７に供給する。また、セレクタ１１６は、ユーザの選択操作により、「第２の処理」の機能が選択されるとき、処理部１１３から出力される画像信号をセレクタ１１８に供給する。また、セレクタ１１６は、「第４の処理」の機能が選択されるとき、処理部１１３から出力されるオブジェクト領域情報ＯＡＩをセレクタ１１７に供給する。

セレクタ１１７は、ユーザの選択操作により、「第１の処理」の機能が選択されるとき、セレクタ１１６から供給される画像信号をセレクタ１１５に供給する。また、セレクタ１１７は、ユーザの選択操作により、「第４の処理」の機能が選択されるとき、セレクタ１１６から供給されるオブジェクト領域情報ＯＡＩを処理部１１２に制御信号として供給する。

セレクタ１１８は、「第１の処理」、「第３の処理」または「第４の処理」の機能が選択されるとき、処理部１１２から出力される画像信号を出力端子１１４に供給する。また、セレクタ１１８は、「第２の処理」の機能が選択されるとき、処理部１１３から出力される画像信号を出力端子１１４に供給する。

次に、ＤＲＣ−ボリウム処理部１１２の詳細を説明する。図２は、この処理部１１２の構成を示している。

この処理部１１２は、画像信号Ｖａが入力される入力端子２０１と、この入力端子２０１に入力された画像信号Ｖａを処理する処理本体部２０２と、この処理本体部２０２で得られた画像信号Ｖｂを出力する出力端子２０３と、処理本体部２０２の動作を制御する制御部２０４と、オブジェクト領域情報ＯＡＩが入力される入力端子２０５と、制御信号ＳＣａが入力される入力端子２０６とを有している。

制御部２０４は、入力端子２０５に入力されるオブジェクト領域情報ＯＡＩおよび入力端子２０６に入力される制御信号ＳＣａに基づいて、処理本体部２０２の動作を制御する。例えば、制御部２０４は、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。入力端子２０１は、第１の入力部を構成している。

処理本体部２０２は第１の処理部を構成している。この処理本体部２０２は、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の画像信号を構成し、画像信号Ｖｂは第２の画像信号を構成している。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。

図３は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図３から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。

図２に戻って、処理本体部２０２は、バッファメモリ２１１と、予測タップ選択部２１２と、クラスタップ選択部２１３とを有している。バッファメモリ２１１は、入力端子２０１に入力された画像信号Ｖａを一時的に記憶する。タップ選択部２１２，２１３は、それぞれ、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。

図４Ａは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図４Ｂは、クラスタップのデータとして抽出される複数の画素データ（実線部分）のパターン例を示している。なお、この図４Ａ，Ｂでは、注目位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドから抽出することも考えられる。

また、処理本体部２０２は、クラス検出部２１４を有している。このクラス検出部２１４は、クラスタップ選択部２１３で抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣを利用している。

まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。

したがって、１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。

また、処理本体部２０２は、係数データ生成部２１５と、記憶部としてのＲＯＭ２１６とを有している。ＲＯＭ２１６は、各クラスの係数種データを記憶している。後述する推定予測演算部２１７では、予測タップとしての複数の画素データｘｉと、係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙが求められる。この（１）式において、ｎは、予測タップとしての複数の画素データｘｉの個数である。

ＲＯＭ２１６に記憶される係数種データは、上述した推定式の係数データＷｉを生成するための、画質パラメータｒ，ｚを含む生成式の係数データである。（２）式は、その生成式の一例を示しており、ｗ_i0〜ｗ_i9が係数種データである。ここで、画質パラメータｒは解像度を決めるパラメータであり、画質パラメータｚはノイズ除去度を決めるパラメータである。この係数種データｗ_i0〜ｗ_i9は、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。

上述の図３に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。

図５は、奇数、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１〜ＨＤ４の位置は、それぞれ、中心予測タップＳＤ０の位置から、水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。偶数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１′〜ＨＤ４′の位置は、それぞれ、中心予測タップＳＤ０′の位置から、水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。

そのため、上述した各クラスの係数種データｗ_i0〜ｗ_i9は、８種類の出力画素（HD1〜HD4,HD1′〜HD4′）にそれぞれ対応した係数種データｗ_i0〜ｗ_i9からなっている。結局、ＲＯＭ２１６には、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9が格納されている。

この係数種データｗ_i0〜ｗ_i9は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。この係数種データｗ_i0〜ｗ_i9の生成方法の詳細については後述する。

係数データ生成部２１５は、奇数、偶数の各フィールドにおいて、クラス検出部２１４で得られたクラスコードＣＬが表すクラスの、４出力画素（図５のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗ_i0〜ｗ_i9をＲＯＭ２１６から取得し、さらに制御部２０４から供給される画質パラメータｒ，ｚの値を用い、（２）式の生成式に基づいて、４画素分の係数データＷｉを生成する。

ここで、制御部２０４から供給される画質パラメータｒ，ｚの値は、ユーザの選択操作によって選択される機能に応じて、以下のように制御される。すなわち、「第１の処理」または「第３の処理」の機能が選択されるとき、画質パラメータｒ，ｚの値はユーザによって調整されたパラメータｒ，ｚの値とされる。また、「第４の処理」の機能が選択されるとき、画質パラメータｒ，ｚの値は、オブジェクト領域情報ＯＡＩに基づいて、オブジェクトの領域ではユーザによって調整されたパラメータｒ，ｚの値とされ、その他の領域ではユーザによって調整されたパラメータｒ，ｚの値を画質が低下する方向に変更した値とされる。

また、処理本体部２０２は、推定予測演算部２１７を有している。この推定予測演算部２１７は、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ毎に画素データを求める。すなわち、推定予測演算部２１７は、予測タップ選択部２１２で抽出される単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉ、および係数データ生成部２１５で生成される、その単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉを用い、その単位画素ブロックＵＢを構成する４画素の画素データｙ₁〜ｙ₄を、それぞれ上述した（１）式の推定式で、個別に演算する。

また、処理本体部２０２は、後処理部２１８を有している。この後処理部２１８は、推定予測演算部２１７より順次出力される、単位画素ブロックＵＢ内の４画の画素データｙ₁〜ｙ₄を線順次化し、１０５０ｉ信号のフォーマットで出力する。

次に、図２に示すＤＲＣ−ボリウム処理部１１２の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子２０１に入力され、この画像信号Ｖａはバッファメモリ２１１に一時的に記憶される。そして、この画像信号Ｖａに基づき、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。

すなわち、クラスタップ選択部２１３では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出部２１４に供給される。

クラス検出部２１４では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２１５に供給される。

この係数データ生成部２１５では、奇数、偶数の各フィールドにおいて、クラスコードＣＬで示されるクラスの、４出力画素（図５のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗ_i0〜ｗ_i9が、ＲＯＭ２１６から取得される。また、この係数データ生成部２１５には、制御部２０４から画質パラメータｒ，ｚの値が供給される。そして、この係数データ生成部２１５では、各フィールドにおいて、４画素分の係数種データｗ_i0〜ｗ_i9および画質パラメータｒ，ｚの値が用いられ、上述の（２）式の生成式に基づいて、４出力画素分の係数データＷｉが生成される。この係数データＷｉは、推定予測演算部２１７に供給される。

また、予測タップ選択部２１２では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算部２１７に供給される。推定予測演算部２１７では、予測タップ選択部２１２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部２１５で生成された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ₁〜ｙ₄が、上述の（１）式の推定式に基づいて、個別に演算される。

この推定予測演算部２１７より順次出力される、画像信号Ｖｂを構成する各単位画素ブロックＵＢ内の４画素の画素データｙ₁〜ｙ₄は、後処理部２１８に供給される。この後処理部２１８では、推定予測演算部２１７より順次供給される単位画素ブロックＵＢ内の４画素のデータｙ₁〜ｙ₄が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理部２１８からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子２０３に出力される。

次に、上述した処理本体部２０２のＲＯＭ２１６に記憶される、係数種データの生成方法について説明する。この係数種データは、学習によって生成される。ここでは、（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9を求める例を示すものとする。

ここで、以下の説明のため、（３）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｒ，ｔ₂＝ｚ，ｔ₃＝ｒ²，ｔ₄＝ｒｚ，ｔ₅＝ｚ²，ｔ₆＝ｒ³，
ｔ₇＝ｒ²ｚ，ｔ₈＝ｒｚ²，ｔ₉＝ｚ³
・・・（３）
この（３）式を用いると、（２）式は、（４）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（５）式で表される。ここで、ｘ_ikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目のＨＤ信号の画素データを表している。

最小二乗法による解法では、（５）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（６）式で示される。

ここで、（７）式、（８）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（６）式は、行列を用いて、（９）式のように書き換えられる。

この（９）式が、係数種データｗ_i0〜ｗ_i9を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗ_i0〜ｗ_i9を求めることができる。

図６は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。

解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。

また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。

ノイズを加える量としては、例えば（１０）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１０）

例えば、周波数特性を可変する画質パラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変する画質パラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。この画質パラメータｒ，ｚは、図２の係数データ生成部２１５に供給される画質パラメータｒ，ｚに対応したものである。

次に、上述した係数種データｗ_i0〜ｗ_i9を生成するための係数種データ生成装置２５０について説明する。図７は、この係数種データ生成装置２５０の構成を示している。

この係数種データ生成装置２５０は、入力端子２５１と、ＳＤ信号生成部２５２とを有している。入力端子２５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成部２５２は、この画像信号Ｖｂ′に対して、水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。このＳＤ信号生成部２５２には、画質パラメータｒ，ｚが供給される。画質パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａ′を生成する際に使用する間引きフィルタの周波数特性が可変される。また、画質パラメータｚの値に対応して、画像信号Ｖａ′に加えるノイズの量が可変される。

また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これらタップ選択部２５３，２５４は、それぞれ、ＳＤ信号生成部２５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択部２５３，２５４は、それぞれ、上述した処理本体部２０２のタップ選択部２１２，２１３に対応している。

また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理本体部２０２のクラス検出部２１４に対応している。

また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データを選択的に抽出する。

また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、画像信号Ｖｂ′における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス検出部２５５で生成されたクラスコードＣＬと、画質パラメータｒ，ｚの値とから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（９）式参照）を生成する。

この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２５７では、各クラスの係数種データｗ_i0〜ｗ_i9を得るための正規方程式がそれぞれ生成される。

またこの場合、正規方程式生成部２５７では、出力画素（図５のHD1〜HD4，HD1′〜HD4′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部２５７では、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式が生成される。

また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を求める。係数種メモリ２５９は、係数種データ決定部２５８で求められた係数種データｗ_i0〜ｗ_i9を格納する。

次に、図７に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成部２５２で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。この場合、ＳＤ信号生成部２５２には画質パラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Ｖａ′が順次生成されていく。

クラスタップ選択部２５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２５５に供給される。そして、クラス検出部２５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは、正規方程式生成部２５７に供給される。

予測タップ選択部２５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部２５７に供給される。

正規方程式生成部２５７では、画像信号Ｖｂ′における各注目位置を対象として、当該各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙが属するクラスを示すクラスコードＣＬと、ＳＤ信号生成部２５２に供給されている画質パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（９）式参照）が生成される。

そして、係数種データ決定部２５８では、正規方程式生成部２５７から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9が求められる。この係数種データｗ_i0〜ｗ_i9は、係数種メモリ２５９に格納される。

このように、図７に示す係数種データ生成装置２５０においては、上述した処理本体部２０２のＲＯＭ２１６に格納すべき、クラスおよび出力画素の各組み合わせの係数種データｗ_i0〜ｗ_i9を生成できる。

次に、追尾ズーム処理部１１３の詳細を説明する。図８は、この処理部１１３の構成を示している。

この処理部１１３は、画像信号が入力される入力端子３０１と、この入力端子３０１に入力された画像信号を処理する処理本体部３０２と、この処理本体部３０２で得られた信号（画像信号またはオブジェクト領域情報）を出力する出力端子３０３と、処理本体部３０２の動作を制御する制御部３０４と、制御信号ＳＣｂが入力される入力端子３０５とを有している。

制御部３０４は、入力端子３０５に入力される制御信号ＳＣｂに基づいて、処理本体部３０２の動作を制御する。例えば、制御部３０４は、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。入力端子３０１は、第２の入力部を構成している。

処理本体部３０２は、バッファメモリ３１１と、検出領域決定部３１２と、オブジェクト特定部３１３と、動きベクトル検出部３１４と、ズーム処理部３１５と、セレクタ３１６とを有している。

バッファメモリ３１１は、入力端子３０１に入力された画像信号を一時的に記憶する。検出領域決定部３１２は、制御部３０４から供給される、制御信号ＳＣｂに含まれているオブジェクト領域指定情報ＯＡＡに基づいて、単独で、あるいはオブジェクト特定部３１３との共働で、オブジェクト領域情報を生成する。このオブジェクト領域情報は、例えばオブジェクト領域に対応した画素位置にフラグが立つようにされたフラグ情報である。

ここで、ユーザのオブジェクト領域の指定動作を説明する。まず、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択される場合について説明する。ユーザがオブジェクト領域の指定動作を行う場合、バッファメモリ３１１に記憶されている画像信号が出力端子３０３に出力され、図示しないモニタ上にその画像信号による画像（動画像または静止画像）が表示される。この状態で、ユーザがリモコン操作によりオブジェクトＯＢに対応した所定点Ｐを指定することで、図９に示すように、当該所定点Ｐを中心とした円形または楕円形の枠ＦＬが表示される。この枠ＦＬを表示するための表示信号は、図示せずも、例えばズーム処理部３１５の部分で画像信号に重畳される。ユーザは、この枠ＦＬの大きさを予め調整できる。また、枠ＦＬの形状は、円形または楕円形でなく、その他の形状であってもよい。

例えば、このようにオブジェクトＯＢに対応して枠ＦＬが表示されることでオブジェクト領域の指定が確定し、コントローラ１０１から追尾ズーム処理部１１３に、上述したオブジェクト領域指定情報ＯＡＡとして、確定時における枠位置情報が供給される。検出領域決定部３１２は、当該枠位置情報に基づいて枠内領域をオブジェクト領域に決定する。

次に、ユーザの操作により、「第４の処理」の機能が選択される場合について説明する。ユーザがオブジェクト領域の指定動作を行う際、バッファメモリ３１１に記憶されている所定のフレームの画像信号が出力端子３０３に繰り返し出力され、図示しないモニタ上に、当該所定のフレームの画像がスチル表示される。この状態で、ユーザは、図１０に示すように、リモコン操作によりオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描き、当該領域内を塗りつぶす操作を行う。

このようにオブジェクトＯＢの領域内を軽く塗りつぶした状態でユーザが確定操作をするとオブジェクト領域の指定が確定し、コントローラ１０１から追尾ズーム処理部１１３に、上述したオブジェクト領域指定情報ＯＡＡとして、確定時における塗りつぶし領域を示す領域情報が供給される。検出領域決定部３１２は、当該塗りつぶし領域を示す領域情報を仮オブジェクト領域に決定し、仮オブジェクト領域情報を生成する。なお、塗りつぶし線ＬＮを表示するための表示信号は、図示せずも、例えばズーム処理部３１５の部分で画像信号に重畳される。

動きベクトル検出部３１４は、バッファメモリ３１１に記憶されている画像信号に基づいて、各フレームで、画素毎に動きベクトルを検出する。この動きベクトルの検出は、詳細説明は省略するが、従来周知のブロックマッチング法、勾配法などを用いて行われる。

オブジェクト特定部３１３は、検出領域決定部３１２で生成されたオブジェクト領域情報または仮オブジェクト領域情報、および動きベクトル検出部３１４で検出された動きベクトルに基づいて、オブジェクト領域の重心位置情報ＷＡＩまたはオブジェクト領域情報ＯＡＩを生成する。

このオブジェクト特定部３１３は、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合には、以下の処理を行う。すなわち、オブジェクト特定部３１３は、検出領域決定部３１２で生成されたオブジェクト領域情報に基づいて、オブジェクト領域の重心位置を求め、オブジェクト領域の重心位置情報ＷＡＩを生成する。なお、本実施の形態において、入力端子３０１に入力される画像信号が静止画を表示するための画像信号であるか動画を表示するための画像信号であるかは、ユーザの操作により与えられる。

また、オブジェクト特定部３１３は、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合には、以下の処理を行う。

すなわち、オブジェクト特定部３１３は、検出領域決定部３１２でオブジェクト領域が決定されたフレームである初期フレームでは、当該検出領域決定部３１２で生成されたオブジェクト領域情報に基づいて、当該初期フレームにおけるオブジェクト領域の重心位置を求めて、初期フレームにおけるオブジェクト領域の重心位置情報ＷＡＩを生成すると共に、オブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。例えば、このオブジェクトＯＢの動き情報は、各動きベクトルを平均した平均動きベクトルとされる。また例えば、このオブジェクトＯＢの動き情報は、各動きベクトルのうち最大頻度を示す動きベクトルとされる。

オブジェクト特定部３１３は、初期フレームに続くフレームでは、初期フレームで求められたオブジェクト領域の重心位置を初期フレームで取得されていたオブジェクトＯＢの動き情報を用いて移動させて当該フレームにおけるオブジェクト領域の重心位置を求め、重心位置情報ＷＡＩを生成する。また、オブジェクト特定部３１３は、初期フレームに続くフレームでは、初期フレームで求められたオブジェクト領域を初期フレームで取得されていたオブジェクトＯＢの動き情報を用いて移動させて当該フレームにおけるオブジェクト領域を決定し、オブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

オブジェクト特定部３１３は、以下の各フレームでは、同様にして、前のフレームで取得されていたオブジェクトＯＢの動き情報を用いて、オブジェクト領域の重心位置情報ＷＡＩを生成すると共に、当該フレームにおけるオブジェクト領域を決定し、次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

また、オブジェクト特定部３１３は、ユーザの操作により、「第４の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合には、以下の処理を行う。すなわち、オブジェクト特定部３１３は、検出領域決定部３１２で生成された仮オブジェクト領域情報に基づいて、その仮オブジェクト領域をオブジェクトＯＢの領域に決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成する。

また、オブジェクト特定部３１３は、ユーザの操作により、「第４の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合には、以下の処理を行う。

すなわち、オブジェクト特定部３１３は、検出領域決定部３１２で仮オブジェクト領域が決定されたフレームである初期フレームでは、この検出領域決定部３１２で生成された仮オブジェクト領域情報に基づいて、仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部３１４で検出される動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域を、オブジェクトＯＢの領域に決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成する。また、オブジェクト特定部３１３は、この初期フレームでは、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

ここで、動きベクトルが同じであるとは、完全一致だけでなく、差が所定範囲内、例えば動きベクトル検出誤差範囲内にあるものを含む意味である。このようにオブジェクト領域指定情報ＯＡＡで示される領域と共に、動きベクトルが同じである領域をオブジェクトＯＢの領域とすることで、例えばユーザがオブジェクトＯＢの領域を塗りつぶすことで領域指定を行う場合に、このオブジェクトＯＢの領域を全て塗りつぶさなくてもよくなる。

オブジェクト特定部３１３は、初期フレームに続くフレームでは、初期フレームで決定されたオブジェクトＯＢの領域を初期フレームで取得されていたオブジェクトＯＢの動き情報で移動させて当該フレームにおけるオブジェクトＯＢの領域を決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成する。また、オブジェクト特定部３１３は、初期フレームに続くフレームでは、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

オブジェクト特定部３１３は、以下の各フレームでは、同様にして、前のフレームで取得されていたオブジェクトＯＢの動き情報を用いて、当該フレームにおけるオブジェクトＯＢの領域を決定して、その領域を示すオブジェクト領域情報をＯＡＩを生成すると共に、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

ズーム処理部３１５は、オブジェクト特定部３１３で生成されたオブジェクト領域の重心位置情報ＷＡＩおよび制御部３０４から供給される倍率情報ＭＧＩに基づいて、バッファメモリ３１１に記憶されている画像信号に対してズーム処理または追尾ズーム処理を行う。

ズーム処理部３１５は、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択される場合、オブジェクト特定部３１３で生成されるオブジェクト領域の重心位置情報ＷＡＩ、および制御部３０４から供給される倍率情報ＭＧＩに基づいて、オブジェクト領域の重心位置を含む所定領域を拡大する処理を行う。このズーム処理部３１５の詳細構成については、後述する。

この場合、ズーム処理部３１５は、バッファメモリ３１１に記憶されている画像信号が静止画を表示するための画像信号であるときは、オブジェクト領域の重心位置は移動しないので、各フレームで拡大処理を行う所定領域が同じとなる単なるズーム処理を行う。一方、ズーム処理部３１５は、バッファメモリ３１１に記憶されている画像信号が動画を表示するための画像信号であるときは、オブジェクト領域の重心位置はオブジェクトＯＢの移動と共に移動するので、各フレームで拡大処理を行う所定領域がオブジェクトＯＢの動きに伴って移動する追尾ズーム処理となる。

なおこの追尾ズーム処理を行う場合、上述したようにオブジェクト特定部３１３では初期フレームを最初とする各フレームでオブジェクト領域の重心位置情報ＷＡＩが順次取得されるが、ズーム処理部３１５では、オブジェクト特定部３１３で順次取得される各フレームの重心位置情報ＷＡＩに基づいて、順次対応するフレームの画像信号がバッファメモリ３１１から読み出されて処理される。

セレクタ３１６は、ズーム処理部３１５で得られた画像信号またはオブジェクト特定部３１３で生成されたオブジェクト領域情報ＯＡＩのいずれかを選択的に出力端子３０３に供給する。セレクタ３１６は、ユーザの操作により、「第１の処理」または「第２の処理」が選択される場合には、ズーム処理部３１５で得られた画像信号を出力端子３０３に供給する。また、セレクタ３１６は、ユーザの操作により、「第４の処理」が選択される場合には、オブジェクト特定部３１３で生成されたオブジェクト領域情報ＯＡＩを出力端子３０３に供給する。

図８に示す追尾ズーム処理部１１３の動作を説明する。
まず、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合について説明する。

入力端子３０１に入力される画像信号はバッファメモリ３１１に供給されて一時的に記憶される。

ユーザがオブジェクトＯＢに対応した所定点Ｐを指定することで、当該所定点Ｐを中心とした円形または楕円形の枠ＦＬが表示され（図９参照）、この枠位置情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該枠位置情報に基づいて枠内領域がオブジェクト領域に決定される。このオブジェクト領域情報は、オブジェクト特定部３１３に供給される。オブジェクト特定部３１３では、オブジェクト領域情報に基づいて、オブジェクト領域の重心位置が求められ、オブジェクト領域の重心位置情報ＷＡＩが生成される。この重心位置情報ＷＡＩはズーム処理部３１５に供給される。

ズーム処理部３１５では、オブジェクト領域の重心位置情報ＷＡＩ、および制御部３０４から供給される倍率情報ＭＧＩに基づいて、オブジェクト領域の重心位置を含む所定領域を拡大するズーム処理が行われる。このズーム処理部３１５で得られた画像信号はセレクタ３１６を介して出力端子３０３に供給される。

次に、ユーザの操作により、「第１の処理」または「第２の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合について説明する。

入力端子３０１に入力される画像信号はバッファメモリ３１１に供給されて一時的に記憶される。

ユーザがオブジェクトＯＢに対応した所定点Ｐを指定することで、当該所定点Ｐを中心とした円形または楕円形の枠ＦＬが表示され（図９参照）、この枠位置情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該枠位置情報に基づいて枠内領域がオブジェクト領域に決定される。このオブジェクト領域情報は、オブジェクト特定部３１３に供給される。

また、動きベクトル検出部３１４では、バッファメモリ３１１に記憶されている画像信号に基づいて、各フレームで、画素毎に動きベクトルが検出される。このように各フレームで検出される画素毎の動きベクトルは、オブジェクト特定部３１３に供給される。

オブジェクト特定部３１３では、検出領域決定部３１２でオブジェクト領域が決定されたフレームである初期フレームにおいては、この検出領域決定部３１２で生成されたオブジェクト領域情報に基づいて、この初期フレームにおけるオブジェクト領域の重心位置が求められ、初期フレームにおけるオブジェクト領域の重心位置情報ＷＡＩが生成されると共に、オブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用されるオブジェクトＯＢの動き情報が取得される。

また、オブジェクト特定部３１３では、初期フレームに続くフレームにおいては、初期フレームで求められたオブジェクト領域の重心位置を初期フレームで取得されたオブジェクトＯＢの動き情報を用いて移動させて当該フレームにおけるオブジェクトの重心位置情報ＷＡＩが生成されると共に、初期フレームにおけるオブジェクト領域をこの初期フレームで取得されたオブジェクトＯＢの動き情報で移動させて当該フレームにおけるオブジェクト領域が求められ、このオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用されるオブジェクトＯＢの動き情報が取得される。

また、オブジェクト特定部３１３では、以下の各フレームにおいては、同様にして、前のフレームで取得されたオブジェクトＯＢの動き情報を用いて、当該フレームにおけるオブジェクト領域の重心位置情報ＷＡＩが生成されると共に、次のフレームで使用されるオブジェクトＯＢの動き情報が取得される。

このようにオブジェクト特定部３１３では、初期フレームを最初とする各フレームでオブジェクト領域の重心位置情報ＷＡＩが順次取得される。この各フレームで取得されたオブジェクト領域の重心位置情報ＷＡＩはズーム処理部３１５に供給される。このズーム処理部３１５には、制御部３０４から、倍率情報ＭＧＩも供給される。

ズーム処理部３１５では、オブジェクト領域の重心位置情報ＷＡＩおよび倍率情報ＭＧＩに基づいて、オブジェクト領域の重心位置を含む所定領域を拡大するズーム処理が行われる。この場合、各フレームにおけるオブジェクト領域の重心位置はオブジェクトＯＢの移動と共に移動するので、拡大処理を行う所定領域がオブジェクトＯＢの動きに伴って移動する追尾ズーム処理が行われる。このズーム処理部３１５で得られた画像信号はセレクタ３１６を介して出力端子３０３に供給される。

次に、ユーザの操作により、「第４の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合について説明する。

入力端子３０１に入力される画像信号はバッファメモリ３１１に供給されて一時的に記憶される。

ユーザが、所定のフレームのスチル表示状態で、オブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いて塗りつぶし操作を行い（図１０参照）、その状態で確定操作をすることで、塗りつぶし領域を示す領域情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該塗りつぶし領域情報に基づいて、塗りつぶし領域が仮オブジェクト領域に決定され、その仮オブジェクト領域を示す仮オブジェクト領域情報が生成される。

この仮オブジェクト領域情報は、オブジェクト特定部３１３に供給される。オブジェクト特定部３１３では、仮オブジェクト領域情報に基づいて、その仮オブジェクト領域がオブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。このオブジェクト領域情報ＯＡＩはセレクタ３１６を介して出力端子３０３に供給される。

次に、ユーザの操作により、「第４の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合について説明する。

入力端子３０１に入力される画像信号はバッファメモリ３１１に供給されて一時的に記憶される。

ユーザが、所定のフレームのスチル表示状態で、オブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いて塗りつぶし操作を行い（図１０参照）、その状態で確定操作をすることで、塗りつぶし領域を示す領域情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該塗りつぶし領域情報に基づいて、塗りつぶし領域が仮オブジェクト領域に決定され、その仮オブジェクト領域を示す仮オブジェクト領域が生成される。この仮オブジェクト領域情報は、オブジェクト特定部３１３に供給される。

また、動きベクトル検出部３１４では、バッファメモリ３１１に記憶されている画像信号に基づいて、各フレームで、画素毎に動きベクトルが検出される。このように各フレームで検出される画素毎の動きベクトルは、オブジェクト特定部３１３に供給される。

オブジェクト特定部３１３では、検出領域決定部３１２で仮オブジェクト領域が決定されたフレームである初期フレームにおいては、仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部３１４で検出される動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域が、オブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。また、オブジェクト特定部３１３では、この初期フレームおいては、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報が取得される。

また、オブジェクト特定部３１３では、初期フレームに続くフレームにおいては、初期フレームで決定されたオブジェクトＯＢの領域を初期フレームで取得されていたオブジェクトＯＢの動き情報で移動させて当該フレームにおけるオブジェクトＯＢの領域が決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。また、オブジェクト特定部３１３では、初期フレームに続くフレームにおいては、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。

また、オブジェクト特定部３１３では、以下の各フレームにおいては、同様にして、前のフレームで取得されていたオブジェクトＯＢの動き情報を用いて、当該フレームにおけるオブジェクトＯＢの領域が決定され、その領域を示すオブジェクト領域情報をＯＡＩが生成されると共に、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用されるオブジェクトＯＢの動き情報が取得される。

このようにオブジェクト特定部３１３で生成されたオブジェクト領域情報ＯＡＩはセレクタ３１６を介して出力端子３０３に供給される。

次に、追尾ズーム処理部１１３を構成するズーム処理部３１５について説明する。図１１は、ズーム処理部３１５の構成を示している。この処理部３１５は、画像信号Ｖｃが入力される入力端子４０１と、この入力端子４０１に入力された画像信号Ｖｃを処理する処理本体部４０２と、この処理本体部４０２で得られた画像信号Ｖｄを出力する出力端子４０３と、処理本体部４０２の動作を制御する制御部４０４と、動きベクトル検出部３１４で検出された動きベクトルＭＶが入力される入力端子４０５と、オブジェクト領域の重心位置情報ＷＡＩが入力される入力端子４０６と、倍率情報ＭＧＩが入力される入力端子４０７とを有している。

制御部４０４は、入力端子４０６に入力されるオブジェクト領域の重心位置情報ＷＡＩおよび入力端子４０７に入力される倍率情報ＭＧＩに基づいて、処理本体部４０２の動作を制御する。例えば、制御部４０４は、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。

処理本体部４０２は、第２の処理部を構成している。この処理本体部２０１は、予測タップ選択部４１１と、クラスタップ選択部４１２と、空間クラス検出部４１３と、動きクラス検出部４１４と、クラス統合部４１５と、係数データ生成部４１６と、ＲＯＭ４１７と、推定予測演算部４１８と、バッファメモリ４１９とを有している。

予測タップ選択部４１１、クラスタップ選択部４１２は、それぞれ、画像信号Ｖｃから、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。ここで、画像信号Ｖｃが静止画を表示するための画像信号である場合には、予測タップ、クラスタップのパターンは予め定められた固定パターンとされる。

一方、画像信号Ｖｃが動画を表示するための画像信号である場合には、予測タップ、クラスタップのパターンは、入力端子４０５に入力される、例えば中心予測タップにおける画素の動きベクトルの大きさに応じて、変更される。例えば、予測タップ、クラスタップは、動きベクトルの大きさが小さい場合には、現フレームの空間方向（水平方向、垂直方向）の他に、時間方向に存在する現フレームにも張られるが、動きベクトルの大きさが大きい場合には、現フレームの空間方向のみに張られる。

空間クラス検出部４１３は、クラスタップ選択部４１２で選択的に抽出されるクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｖｄにおける注目位置の画素データが属する空間クラスを示すクラスコードＣＬａを取得する。この空間クラス検出部４１３は、図２に示すＤＲＣ−ボリウム処理部１１２の処理本体部２０２におけるクラス検出部２１４と同様に、例えば１ビットＡＤＲＣを利用した構成とされている。

動きクラス検出部４１４は、入力端子４０５に入力される、例えば中心予測タップにおける画素の動きベクトルＭＶの大きさをクラス分けし、画像信号Ｖｄにおける注目位置の画素データが属する動きクラスを表すクラスコードＣＬｂを取得する。なお、動きクラス検出部４１４は、画像信号Ｖｃが静止画を表示するための画像信号である場合には、クラスコードＣＬｂとして他のクラスとは区別し得る特定のコードを割り当てる。

クラス統合部４１５は、上述した空間クラス検出部４１３で取得されたクラスコードＣＬａおよび動きクラス検出部４１４で取得されたクラスコードＣＬｂとを統合して、画像信号Ｖｄにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを取得する。

ＲＯＭ４１７は、各クラスの係数種データを記憶している。後述する推定予測演算部４１８では、予測タップとしての複数の画素データｘｉと、係数データＷｉとを用い、（１１）式の推定式に基づいて、画像信号Ｖｄにおける注目位置の画素データｙが求められる。この（１１）式において、ｎは、予測タップとしての複数の画素データｘｉの個数である。

ＲＯＭ４１７に記憶される係数種データは、上述した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、位相情報ｈ，ｖをパラメータとする生成式の係数データである。（１２）式は、その生成式の一例を示している。ここで、位相情報ｈは水平方向の位相情報であり、位相情報ｖは垂直方向の位相情報である。

ＲＯＭ４１７には、例えば、（１２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。

係数データ生成部４１６は、クラス統合部４１５で得られたクラスコードＣＬが表すクラスの係数種データｗ_i0〜ｗ_i9をＲＯＭ４１７から読み出し、さらに制御部４０４から供給される、画像信号Ｖｄにおける注目位置の位相情報ｈ，ｖの値を用い、（１２）式の生成式に基づいて、係数データＷｉを生成する。この場合、処理前の画像信号Ｖｃに対する、処理後の画像信号Ｖｄの各画素の位置は、倍率情報ＭＧＩに応じて変化する。

例えば、図１２は、倍率情報ＭＧIで示す倍率が１．２５倍であるときの入力（画像信号Ｖｃ）と出力（画像信号Ｖｄ）の画素位置関係を示している。なお、図１２では、大きなドットが入力の画素であり、小さなドットが出力の画素を示しており、また奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

制御部４０４は、倍率情報ＭＧＩに基づき、奇数、偶数のフィールドのそれぞれに対応して、画像信号Ｖｄにおける注目位置の位相情報ｈ，ｖを発生する。この場合、例えば、画像信号Ｖｃの水平方向、垂直方向の画素間隔をそれぞれ１６とし、画像信号Ｖｄにおける注目位置から水平方向、垂直方向にそれぞれ最も近い位置にある画像信号Ｖｃにおける画素（最短画素）までの距離を、位相情報ｈ，ｖとしている。

ここで、位相情報ｈに関しては、注目位置が最短画素より左方に位置するときは負の値とされ、逆に注目位置が最短画素より右方に位置するときは正の値とされる。同様に、位相情報ｖに関しては、注目位置が最短画素より上方に位置するときは負の値とされ、逆に注目位置が最短画素より下方に位置するときは正の値とされる。

推定予測演算部４１８は、予測タップ選択部４１１で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部４１６で生成された係数データＷｉとを用い、（１１）式の推定式に基づいて、画像信号Ｖｄにおける注目位置の画素データｙを算出する。バッファメモリ４１９は、推定予測演算部４１８で算出された、画像信号Ｖｄを構成する各画素データを、一時的に記憶し、その後に適宜なタイミングで出力端子４０３に出力する。

なお、上述した画像信号Ｖｄの各注目位置の画素データを得るための画像信号Ｖｃの処理領域は、倍率に応じて変化する。図１３は、倍率と画像信号Ｖｃの処理領域との関係を示している。倍率が大きくなる程、画像信号Ｖｃの処理領域は小さくなっていく。水平、垂直のそれぞれの方向において、画像信号Ｖｃの全体領域を１とするとき、例えば倍率が１であるとき画像信号Ｖｃの処理領域は１であり、倍率が２であるとき画像信号Ｖｃの処理領域は１／２となる。一般的に、画像の拡大率がＴであるとき、画像信号Ｖｃの処理領域を１／Ｔとなる。

本実施の形態において、この処理領域は、常に、オブジェクト領域の重心位置を含み、その重心位置の水平、垂直の内分比が、画像信号Ｖｃの全体領域におけるその重心位置の水平、垂直の内分比と同一となるように設定される。図１４Ａ〜Ｃは、倍率が２である場合におけるオブジェクト領域の重心位置と処理領域との関係例を示している。この図１４Ａ〜Ｃにおいて、数字は内分比を表している。このように画像信号Ｖｃの処理領域を設定することで、オブジェクト領域の重心位置が画面の端部に移動した場合に、画像信号Ｖｃの処理領域を十分に確保できず、出力画像に欠けが発生することを防止できる。

次に、図１１に示すズーム処理部３１５の動作を説明する。
処理対象である画像信号Ｖｃが入力端子４０１に入力され、処理本体部４０２では、この画像信号Ｖｃの、オブジェクト領域の重心位置に対応し、かつ倍率に応じた大きさの所定領域に対してズーム処理が行われ、画像信号Ｖｄを構成する各画素データが生成される。

クラスタップ選択部４１２では、画像信号Ｖｃに基づいて、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データは空間クラス検出部４１３に供給される。この空間クラス検出部４１３では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、画像信号Ｖｄにおける注目位置の画素データが属する空間クラスを表すクラスコードＣＬａが得られる。

また、動きクラス検出部４１４には、入力端子４０５から、例えば中心予測タップにおける画素の動きベクトルＭＶが供給される。この動きクラス検出部４１４では、その動きベクトルＭＶの大きさがクラス分けされ、注目位置の画素データが属する動きクラスを表すクラスコードＣＬｂが得られる。

空間クラス検出部４１３で取得されたクラスコードＣＬａおよび動きクラス検出部４１４で取得されたクラスコードＣＬｂは、それぞれクラス統合部４１５に供給される。このクラス統合部４１５では、クラスコードＣＬａ，ＣＬｂが統合され、画像信号Ｖｄにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部４１６に供給される。

この係数データ生成部４１６には、制御部４０４から、画像信号Ｖｄにおける注目位置の位相情報ｈ，ｖが供給される。これにより、係数データ生成部４１６では、画像信号Ｖｄにおける注目位置に対応して、ＲＯＭ４１７からクラスコードＣＬが表すクラスの係数種データｗ_i0〜ｗ_i9が読み出され、位相情報ｈ，ｖの値を用いて、（１２）式の生成式に基づいて、係数データＷｉが生成される。この係数データＷｉは、推定予測演算部４１８に供給される。

予測タップ選択部４１１では、画像信号Ｖｃに基づいて、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データは推定予測演算部４１８に供給される。

推定予測演算部４１８では、予測タップのデータとしての複数の画素データｘｉと、係数データＷｉとを用い、（１１）式の推定式に基づいて、画像信号Ｖｄにおける注目位置の画素データｙが算出される。この場合、注目位置を、画像信号Ｖｄの全画素位置に順次変化させていくことで、画像信号Ｖｄの全画素位置の画素データｙが求められる。

推定予測演算部４１８で求められた画像信号Ｖｄの全画素位置の画素データｙは、バッファメモリ４１９に供給されて一時的に記憶される。このバッファメモリ４１９に記憶された画像信号Ｖｄを構成する各画素データは、その後に適宜なタイミングで読み出されて出力端子４０３に出力される。

次に、上述した処理本体部４０２のＲＯＭ４１７に記憶される、係数種データの生成方法について説明する。この係数種データは、学習によって生成される。ここでは、（１２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i9を求める例を示すものとする。

ここで、以下の説明のため、（１３）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｖ，ｔ₂＝ｈ，ｔ₃＝ｖ²，ｔ₄＝ｖｈ，ｔ₅＝ｈ²，ｔ₆＝ｖ³，
ｔ₇＝ｖ²ｈ，ｔ₈＝ｖｈ²，ｔ₉＝ｈ³
・・・（１３）
この（１３）式を用いると、（１２）式は、（１４）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（１１）式および（１２）式を用いて、Ｅは（１５）式で表される。ここで、ｘ_ikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応する教師画像のｋ番目の画素データを表している。

最小二乗法による解法では、（１５）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（１６）式で示される。

以下、（１７）式、（１８）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（１６）式は、行列を用いて（１９）式のように書き換えられる。

この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。

図１５は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味している。１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味している。

図１６は、ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

このＳＤ信号の位相を垂直方向に８段階、水平方向に８段階にシフトさせて、８×８＝６４種類のＳＤ信号ＳＤ₁〜ＳＤ₆₄を生成する。位相シフトの方法の例として、例えばオーバーサンプリングフィルタから欲しい位相だけを抜き出す方法がある。

図１７は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。

Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

図１８は、水平方向への８段階の位相シフト状態Ｈ１〜Ｈ８を示している。ここではＳＤ信号の水平方向の画素間隔は１６であり、右方向が正の方向とされている。

Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０,−８の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７,−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６,−２の位相を持つようになる。Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，−３の位相を持つようになる。

Ｈ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，−４の位相を持つようになる。Ｈ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−５の位相を持つようになる。Ｈ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−６の位相を持つようになる。Ｈ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１,−７の位相を持つようになる。

図１９は、上述したように垂直方向に８段階、水平方向に８段階にシフトさせて得られた６４種類のＳＤ信号に関し、ＳＤ信号の画素を中心とした場合のＨＤ信号の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は図中の●で示す位相を持つようになる。

図２０は、上述した概念で係数種データを生成する係数種データ生成装置４５０の構成を示している。

この係数種データ生成装置４５０は、教師信号としてのＨＤ信号（１０５０i信号）が入力される入力端子４５１と、位相シフト回路４５２とを有している。この位相シフト回路４５２は、入力端子４５１に入力されたＨＤ信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出して、生徒信号としてのＳＤ信号（５２５ｉ信号）を取得する。この位相シフト回路４５２には、水平方向、垂直方向への位相シフト量を指定するパラメータＨ，Ｖが入力される。この場合、位相シフト回路４５２では、ＳＤ信号の位相が、垂直方向に８段階、水平方向に８段階にシフトするようにされ、合計６４種類のＳＤ信号が生成される（図１５参照）。

また、係数種データ生成装置４５０は、予測タップ選択部４５３と、クラスタップ選択部４５４とを有している。これら予測タップ選択部４５３およびクラスタップ選択部４５４は、それぞれ、位相シフト回路４５２より出力されるＳＤ信号に基づいて、ＨＤ信号おける注目位置の周辺に位置する複数の画素データを選択的に抽出する。これら予測タップ選択部４５３、クラスタップ選択部４５４は、それぞれ、上述した処理本体部４０２（図１１参照）の予測タップ選択部４１１、クラスタップ選択部４１２に対応するものである。

また、係数種データ生成装置４５０は、動きベクトル検出部４５５を有している。この動きベクトル検出部４５５は、位相シフト回路４５２より出力されるＳＤ信号に基づいて、中心予測タップにおける画素の動きベクトルＭＶを検出する。上述したタップ選択部４５３，４５４における予測タップ、クラスタップのパターンは、ＳＤ信号が静止画を表示するための画像信号である場合には予め定められた固定パターンとされ、ＳＤ信号が動画を表示するための画像信号である場合には動きベクトルＭＶに応じて変更される。

また、係数種データ生成装置４５０は、空間クラス検出部４５６を有している。この空間クラス検出部４５６は、クラスタップ選択部４５４で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、ＨＤ信号における注目位置の画素データが属する空間クラスを表すクラスコードＣＬａを取得する。この空間クラス検出部４５６は、上述した処理本体部４０２の空間クラス検出部４１３に対応するものである。

また、係数種データ生成装置４５０は、動きクラス検出部４５７と、クラス統合部４５８とを有している。この動きクラス検出部４５７は、動きベクトル検出部４５５で検出された中心予測タップにおける画素の動きベクトルＭＶの大きさをクラス分けし、ＨＤ信号における注目位置の画素データが属する動きクラスを表すクラスコードＣＬｂを取得する。なお、動きクラス検出部４５７は、ＳＤ信号が静止画を表示するための画像信号である場合には、クラスコードＣＬｂとして他のクラスとは区別し得る特定のコードを割り当てる。

クラス統合部４５８は、上述した空間クラス検出部４５６で取得されたクラスコードＣＬａおよび動きクラス検出部４５７で取得されたクラスコードＣＬｂとを統合して、ＨＤ信号における注目位置の画素データが属するクラスを示すクラスコードＣＬを取得する。これら動きクラス検出部４５７およびクラス統合部４５８は、それぞれ、上述した処理本体部４０２の動きクラス検出部４１４およびクラス統合部４１５に対応するものである。

また、係数種データ生成装置４５０は、教師タップ選択部４５９を有している。この教師タップ選択部４５９は、ＨＤ信号から、注目位置の画素データを選択的に抽出する。

また、係数種データ生成装置４５０は、正規方程式生成部４６０を有している。この正規方程式生成部４６０は、教師タップ選択部４５９で選択的に抽出された、ＨＤ信号における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択部４５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス統合部４５８で得られたクラスコードＣＬと、各注目位置の画素データｙの水平、垂直の位相ｈ，ｖとから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１９）式参照）を生成する。

この場合、一個の画素データｙとそれに対応するｎ個の画素データｘｉとの組み合わせで一個の学習データが生成される。位相シフト回路４５２へのパラメータＨ，Ｖが順次変更されていき、垂直、水平の位相シフト値が段階的に変化した６４種類のＳＤ信号が順次生成されていく。これにより、正規方程式生成部４６０では、多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号を順次生成して学習データを登録することで、水平、垂直の任意の位相の画素データを得るための係数種データを求めることが可能となる。

また、係数種データ生成装置４５０は、係数種データ決定部４６１と、係数種メモリ４６２とを有している。係数種データ決定部４６１は、正規方程式生成部４６０から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラス毎に、係数種データｗ_i0〜ｗ_i9を求める。係数種メモリ４６２は、この係数種データｗ_i0〜ｗ_i9を格納する。

図２０に示す係数種データ生成装置４５０の動作を説明する。
入力端子４５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、位相シフト回路４５２では、水平および垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されてＳＤ信号（５２５ｉ信号）が得られる。この場合、ＳＤ信号として垂直方向に８段階、水平方向に８段階にシフトされたものが順次生成される。

クラスタップ選択部４５４では、位相シフト回路４５２で生成される各ＳＤ信号から、ＨＤ信号における注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、空間クラス検出部４５６に供給される。そして、空間クラス検出部４５６では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、ＨＤ信号における注目位置の画素データが属する空間クラスを表すクラスコードＣＬａが生成される。このクラスコードＣＬａは、クラス統合部４５８に供給される。

また、動きクラス検出部４５７には、動きベクトル検出部４５５で得られた中心予測タップにおける画素の動きベクトルＭＶが供給される。この動きクラス検出部４５７では、その動きベクトルＭＶの大きさがクラス分けされ、ＨＤ信号における注目位置の画素データが属する動きクラスを表すクラスコードＣＬｂが得られる。このクラスコードＣＬｂは、クラス統合部４５８に供給される。

クラス統合部４５８では、クラスコードＣＬａ，ＣＬｂが統合され、ＨＤ信号における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる。このクラスコードＣＬは正規方程式生成部４６０に供給される。

予測タップ選択部４５３では、位相シフト回路４５２で生成される各ＳＤ信号から、ＨＤ信号における注目位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部４６０に供給される。また、教師タップ選択部４５９では、ＨＤ信号から、注目位置の画素データが選択的に抽出される。この画素データｙは、正規方程式生成部４６０に供給される。

そして、正規方程式生成部４６０では、教師タップ選択部４５９で選択的に抽出された、ＨＤ信号における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択部４５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス統合部４５８で得られたクラスコードＣＬと、各注目位置の画素データｙの水平、垂直の位相ｈ，ｖとから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１９）式参照）が生成される。

そして、係数種データ決定部４６１でその正規方程式が解かれ、各クラスの係数種データｗ_i0〜ｗ_i9が求められ、その係数種データｗ_i0〜ｗ_i9はクラス別にアドレス分割された係数種メモリ４６２に記憶される。

このように、図２０に示す係数種データ生成装置４５０においては、図１１に示すズーム処理部３１５の処理本体部４０２におけるＲＯＭ４１７に記憶される、各クラスの係数種データｗ_i0〜ｗ_i9を生成できる。

次に、図１に示す画像信号処理装置１００の動作を説明する。
図２１のフローチャートは、画像信号処理装置１００の全体の動作を示している。ステップＳＴ１で、処理を開始し、ステップＳＴ２で、処理を決定する。この処理の決定は、ユーザの機能選択の操作に基づいて行う。ユーザが「第１の処理」の機能を選択し、ステップＳＴ２で「第１の処理」に決定されるとき、ステップＳＴ３で、第１の処理（ズーム処理＋高画質化処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ７で、処理を終了する。

この「第１の処理」の機能が選択された場合、入力端子１１１に入力された画像信号Ｖinは追尾ズーム処理部１１３に処理すべき画像信号として入力される。この処理部１１３では、画像信号Ｖinに対してズーム処理または追尾ズーム処理が行われる。そして、この処理部１１３で得られた画像信号は、セレクタ１１６、セレクタ１１７およびセレクタ１１５を介して、ＤＲＣ−ボリウム処理部１１２に処理すべき画像信号として入力される。この処理部１１２では、入力された画像信号に対して高画質化処理が行われる。そして、この処理部１１２で得られた画像信号は、セレクタ１１８を介して、出力端子１１４に出力画像信号Ｖoutとして出力される。

図２２のフローチャートは、「第１の処理」における処理動作（１フレーム分）を示している。ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、処理すべき画像信号が動画を表示するための画像信号であるか否かを判定する。静止画を表示するための画像信号であるときは、ステップＳＴ１３で、追尾ズーム処理部１１３によりズーム処理を行うと共に、ステップＳＴ１４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理（ＳＤ信号からＨＤ信号を得る処理）を行い、その後、ステップＳＴ１５で、処理を終了する。一方、動画を表示するための画像信号であるときは、ステップＳＴ１６で、追尾ズーム処理部１１３により追尾ズーム処理を行うと共に、ステップＳＴ１４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理を行い、その後、ステップＳＴ１５で、処理を終了する。高画質化処理は、後述する（図２６参照）。

図２３のフローチャートは、ズーム処理の動作を示している。ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、オブジェクト領域を決定する。この場合、ユーザのオブジェクトＯＢに対応した所定点Ｐの指定に基づき、この所定点Ｐを中心とした枠ＦＬ内の領域がオブジェクト領域に決定される（図９参照）。そして、ステップＳＴ２３で、ステップＳＴ２２で決定されたオブジェクト領域の重心位置を、演算によって取得する。なお、このステップＳＴ２２およびステップＳＴ２３の処理は、ユーザが所定点Ｐを指定したフレーム（初期フレーム）のみで実行され、それ以降のフレームでは、初期フレームで取得された重心位置がそのまま使用される。

次に、ステップＳＴ２４で、ズーム画像生成処理を行う。この場合、ズーム処理部３１５により、オブジェクト領域の重心位置情報ＷＡＩおよび倍率情報ＭＧＩに基づいて、入力画像信号の、オブジェクト領域の重心位置を含む所定領域に対してズーム処理を行って、出力画像信号を構成する各画素データを生成する。このステップＳＴ２４の処理の後に、ステップＳＴ２５で、処理を終了する。

以上の処理では、初期フレーム以降のフレームでも、オブジェクト領域の重心位置は初期フレームと変わらず、従って拡大処理を行う所定領域が各フレームで同じである単なるズーム処理が行われることとなる。

図２４のフローチャートは、追尾ズーム処理の動作を示している。ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、オブジェクト領域を決定する。この場合、ユーザのオブジェクトＯＢに対応した所定点Ｐの指定に基づき、この所定点Ｐを中心とした枠ＦＬ内の領域がオブジェクト領域に決定される（図９参照）。なお、このユーザの所定点Ｐの指定に基づくオブジェクト領域の決定は、ユーザが所定点Ｐを指定したフレーム（初期フレーム）のみで実行され、それ以降のフレームでは、前のフレームで決定されたオブジェクト領域を、前のフレームで取得されたオブジェクトＯＢの動き情報に基づいて移動することで、オブジェクト領域を決定する。

次に、ステップＳＴ３３で、動きベクトル検出部３１４により、画素毎に動きベクトルを検出する。そして、ステップＳＴ３４で、ステップＳＴ３２で決定されたオブジェクト領域内の各画素に対応して検出された各動きベクトルに基づいて、オブジェクトＯＢの動き情報を取得する。この場合、例えば、各動きベクトルが平均されて、オブジェクトＯＢの動き情報としての平均動きベクトルが得られる。このオブジェクトＯＢの動き情報は、次のフレームで使用される。

次に、ステップＳＴ３５で、ステップＳＴ３２で決定されたオブジェクト領域の重心位置を取得する。この場合、オブジェクト領域の重心位置は、上述した初期フレームではステップＳＴ３２で決定されたオブジェクト領域から求められるが、それ以降のフレームでは前のフレームで取得された重心位置を前のフレームで取得されたオブジェクトＯＢの動き情報に基づいて移動することで得られる。

次に、ステップＳＴ３６で、ズーム画像生成処理を行う。この場合、ズーム処理部３１５により、オブジェクト領域の重心位置情報ＷＡＩおよび倍率情報ＭＧＩに基づいて、入力画像信号の、オブジェクト領域の重心位置を含む所定領域に対してズーム処理を行って、出力画像信号を構成する各画素データを生成する。このステップＳＴ３６の処理の後に、ステップＳＴ３７で、処理を終了する。

以上の処理では、初期フレーム以降のフレームでは、オブジェクト領域の重心位置がオブジェクトＯＢの移動と共に移動するので、拡大処理を行う所定領域がオブジェクトＯＢの動きに伴って移動する追尾ズーム処理が行われることになる。

図２１に戻って、ステップＳＴ２で「第２の処理」に決定されるとき、ステップＳＴ４で、第２の処理（ズーム処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ７で、処理を終了する。

この「第２の処理」の機能が選択された場合、入力端子１１１に入力された画像信号Ｖinは追尾ズーム処理部１１３に処理すべき画像信号として入力される。この処理部１１３では、画像信号Ｖinに対してズーム処理または追尾ズーム処理が行われる。そして、この処理部１１３で得られた画像信号は、セレクタ１１８を介して、出力端子１１４に出力画像信号Ｖoutとして出力される。

図２５のフローチャートは、「第２の処理」における処理動作（１フレーム分）を示している。ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、処理すべき画像信号が動画を表示するための画像信号であるか否かを判定する。静止画を表示するための画像信号であるときは、ステップＳＴ４３で、追尾ズーム処理部１１３によりズーム処理（図２３参照）を行い、その後、ステップＳＴ４４で、処理を終了する。一方、動画を表示するための画像信号であるときは、ステップＳＴ４５で、追尾ズーム処理部１１３により追尾ズーム処理（図２４参照）を行い、その後、ステップＳＴ４４で、処理を終了する。

図２１に戻って、ステップＳＴ２で「第３の処理」に決定されるとき、ステップＳＴ５で、第３の処理（高画質化処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ７で、処理を終了する。

この「第３の処理」の機能が選択された場合、入力端子１１１に入力された画像信号Ｖinは、セレクタ１１５を介して、ＤＲＣ−ボリウム処理部１１２に処理すべき画像信号として入力される。この処理部１１２では、画像信号Ｖinに対して高画質化処理（ＳＤ信号からＨＤ信号に変換する処理）が行われる。そして、この処理部１１２で得られた画像信号は、セレクタ１１８を介して、出力端子１１４に出力画像信号Ｖoutとして出力される。

図２６のフローチャートは、「第３の処理」における処理動作（１フレーム分）を示している。ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、高画質化処理を行い、その後、ステップＳＴ５３で、処理を終了する。

図２１に戻って、ステップＳＴ２で「第４の処理」に決定されるとき、ステップＳＴ６で、第４の処理（背景ぼかし処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ７で、処理を終了する。

この「第４の処理」の機能が選択された場合、入力端子１１１に入力された画像信号Ｖinは、セレクタ１１５を介して、ＤＲＣ−ボリウム処理部１１２に処理すべき画像信号として入力される。この処理部１１２では、画像信号Ｖinに対して高画質化処理（ＳＤ信号からＨＤ信号に変換する処理）が行われる。そして、この処理部１１２で得られた画像信号は、セレクタ１１８を介して、出力端子１１４に出力画像信号Ｖoutとして出力される。

またこの場合、入力端子１１１に入力された画像信号Ｖinは追尾ズーム処理部１１３に処理すべき画像信号として入力される。この処理部１１３では、画像信号Ｖinに対して第１のオブジェクト抽出処理または第２のオブジェクト抽出処理が行われる。そして、この処理部１１３で得られたオブジェクト領域情報ＯＡＩは、セレクタ１１６およびセレクタ１１７を介して、ＤＲＣ−ボリウム処理部１１２に制御信号として供給される。

処理部１１２では、オブジェクト領域情報ＯＡＩに基づいて、オブジェクトの領域ではユーザによって調整された画質パラメータｒ，ｚの値がそのまま用いられ、その他の領域ではユーザによって調整されたパラメータｒ，ｚの値が画質が低下する方向に変更されて用いられる。これにより、処理部１１２では、オブジェクトＯＢ以外の背景をぼかす特殊効果処理が行われる。

図２７のフローチャートは、「第４の処理」における処理動作（１フレーム分）を示している。ステップＳＴ６１で、処理を開始し、ステップＳＴ６２で、処理すべき画像信号が動画を表示するための画像信号であるか否かを判定する。静止画を表示するための画像信号であるときは、ステップＳＴ６３で、追尾ズーム処理部１１３により第２のオブジェクト抽出処理を行うと共に、ステップＳＴ６４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理（オブジェクト領域情報ＯＡＩに基づく背景ぼかし処理を含む）を行い、その後、ステップＳＴ６５で、処理を終了する。一方、動画を表示するための画像信号であるときは、ステップＳＴ６６で、追尾ズーム処理部１１３により第１のオブジェクト抽出処理を行うと共に、ステップＳＴ６４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理（オブジェクト領域情報ＯＡＩに基づく背景ぼかし処理を含む）を行い、その後、ステップＳＴ６５で、処理を終了する。

図２８のフローチャートは、第２のオブジェクト抽出処理の動作を示している。ステップＳＴ７１で、処理を開始し、ステップＳＴ７２で、仮オブジェクト領域を決定する。この場合、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域が、仮オブジェクト領域に決定される（図１０参照）。

次に、ステップＳＴ７３で、オブジェクト領域情報ＯＡＩを生成する。この場合、ステップＳＴ７２で決定された仮オブジェクト領域がそのままオブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。このステップＳＴ７３の処理の後に、ステップＳＴ７４で、処理を終了する。

図２９のフローチャートは、第１のオブジェクト抽出処理の動作を示している。ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、仮オブジェクト領域を決定する。この場合、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域が、仮オブジェクト領域に決定される（図１０参照）。

次に、ステップＳＴ８３で、動きベクトル検出部３１４により、画素毎に動きベクトルを検出する。そして、ステップＳＴ８４で、オブジェクト領域情報ＯＡＩを生成する。この場合、ステップＳＴ８２で決定された仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、ステップＳＴ８３で検出された動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域が、オブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。

なお、この仮オブジェクト領域および動きベクトルに基づくオブジェクト領域の決定は、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いたフレーム（初期フレーム）のみで実行され、それ以降のフレームでは、前のフレームで決定されたオブジェクト領域を、前のフレームで取得されたオブジェクトＯＢの動き情報に基づいて移動することで、オブジェクト領域を決定する。すなわち、初期フレーム以降では、ステップＳＴ８２の処理は行われない。

次に、ステップＳＴ８５で、ステップＳＴ８４で決定されたオブジェクト領域内の各画素に対応して検出された各動きベクトルに基づいて、オブジェクトＯＢの動き情報を取得する。この場合、例えば、各動きベクトルが平均されて、オブジェクトＯＢの動き情報としての平均動きベクトルが得られる。このオブジェクトＯＢの動き情報は、次のフレームで使用される。このステップＳＴ８５の処理の後に、ステップＳＴ８６で、処理を終了する。

以上説明したように、図１に示す画像信号処理装置１００においては、「第２の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対して追尾ズーム処理部１１３でズーム処理または追尾ズーム処理が行われ、この処理部１１３で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力され、また「第３の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対してＤＲＣ−ボリウム処理部１１２で高画質化が行われ、この処理部１１２で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力される。

また、図１に示す画像信号処理装置１００においては、「第１の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対して追尾ズーム処理部１１３でズーム処理または追尾ズーム処理が行われ、さらにＤＲＣ−ボリウム処理部１１２で高画質化処理が行われ、この処理部１１２で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力される。

さらに、図１に示す画像信号処理装置１００においては、「第４の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対してＤＲＣ−ボリウム処理部１１２で高画質化が行われ、この処理部１１２で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力される。そしてこの場合、入力端子１１１に入力された画像信号Ｖinに基づいて追尾ズーム処理部１１３でオブジェクト領域情報ＯＡＩが生成され、処理部１１２ではこのオブジェクト領域情報ＯＡＩに基づいて、背景ぼかしの特殊効果処理が行われる。

したがって、この画像信号処理装置１００によれば、「第１の処理」または「第４の処理」の機能が選択されるとき、ＤＲＣ−ボリウム処理部１１２および追尾ズーム処理部１１３の個々では不可能な処理を実現でき、各処理部１１２，１１３の有効利用を図ることができる。

なお、上述実施の形態においては、「第４の処理」の機能が選択されるとき、ＤＲＣ−ボリウム処理部１１２で、オブジェクトＯＢの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が低下する方向に変更して用い、これにより背景ぼかしの特殊効果処理を行うようになっている。しかし、オブジェクトＯＢの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が上昇する方向に変更して用いることも考えられる。また、「第４の処理」の機能が選択されるとき、オブジェクトＯＢの領域およびその他の領域における画質パラメータｒ，ｚの値を、ユーザの調整値とは無関係な固定値としてもよい。この固定値は、例えば工場出荷時に設定されるか、あるいはその後にユーザによって設定される。

また、上述実施の形態においては、入力端子１１１に入力される画像信号Ｖinが静止画を表示するための画像信号であるか動画を表示するための画像信号であるかを、ユーザの操作により与えるものを示した。しかし、画像信号Ｖinに静止画表示用であるか動画表示用であるかを判別する情報が付加されいるか、あるいは画像信号Ｖinに関連して静止画表示用であるか動画表示用であるかの情報をＥＰＧ(Electronic Program Guide)情報等から取得できれば、それを利用するようにしてもよい。さらに、画像信号Ｖinに基づいてフレーム間マッチング処理等を行って、当該画像信号Ｖinが静止画表示用であるか動画表示用であるかを自動的に判別するようにしてもよい。

また、上述実施の形態においては、第１の画像信号処理手段がＤＲＣ−ボリウム処理部１１２であり、第２の画像信号処理手段が追尾ズーム処理部１１３である例を示したが、第１の画像信号処理手段、第２の画像信号処理手段は、これら処理部１１２，１１３に限定されるものでないことは勿論である。

この発明は、各処理手段の個々では不可能な処理を実現でき、各処理手段の有効利用を図るものであり、例えば、追尾ズーム処理部、ＤＲＣ−ボリウム処理部を備える画像信号処理装置に適用できる。

実施の形態としての画像信号処理装置の構成を示すブロック図である。 ＤＲＣ−ボリウム処理部の構成を示すブロック図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示す図である。 予測タップ、クラスタップのパターン例を示す図である。 ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。 係数種データの生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 追尾ズーム処理部の構成を示すブロック図である。 オブジェクト領域の指定動作を説明するための図である。 オブジェクト領域の指定動作を説明するための図である。 ズーム処理部の構成を示すブロック図である。 １．２５倍時の入力と出力の画素位置関係を示す図である。 倍率と処理領域との関係を示す図である。 重心位置と処理領域との関係を示す図である。 係数種データの生成方法の一例を示す図である。 ５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。 垂直方向への８段階の位相シフトを説明するための図である。 水平方向への８段階の位相シフトを説明するための図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。 係数種データ生成装置の構成を示すブロック図である。 全体の動作を示すフローチャートである。 「第１の処理」における処理動作を示すフローチャートである。 ズーム処理の動作を示すフローチャートである。 追尾ズーム処理の動作を示すフローチャートである。 「第２の処理」における処理動作を示すフローチャートである。 「第３の処理」における処理動作を示すフローチャートである。 「第４の処理」における処理動作を示すフローチャートである。 第２のオブジェクト抽出処理の動作を示すフローチャートである。 第１のオブジェクト抽出処理の動作を示すフローチャートである。

符号の説明

１００・・・画像信号処理装置、１０１・・・システムコントローラ、１０２・・・リモコン信号受信部、１０３・・・リモコン送信機、１０４・・・表示器、１１１・・・入力端子、１１２・・・ＤＲＣ−ボリウム処理部、１１３・・・追尾ズーム処理部、１１４・・・出力端子、１１５〜１１８・・・セレクタ、２０１・・・入力端子、２０２・・・処理本体部、２０３・・・出力端子、２０４・・・制御部、２０５，２０６・・・入力端子、２１１・・・バッファメモリ、２１２・・・予測タップ選択部、２１３・・・クラスタップ選択部、２１４・・・クラス検出部、２１５・・・係数データ生成部、２１６・・・ＲＯＭ、２１７・・・推定予測演算部、２１８・・・後処理部、２５０・・・係数種データ生成装置、３０１・・・入力端子、３０２・・・処理本体部、３０３・・・出力端子、３０４・・・制御部、３０５・・・入力端子、３１１・・・バッファメモリ、３１２・・・検出領域決定部、３１３・・・オブジェクト特定部、３１４・・・動きベクトル検出部、３１５・・・ズーム処理部、３１６・・・セレクタ、４０１・・・入力端子、４０２・・・処理本体部、４０３・・・出力端子、４０４・・・制御部、４０５〜４０７・・・入力端子、４１１・・・予測タップ選択部、４１２・・・クラスタップ選択部、４１３・・・空間クラス検出部、４１４・・・動きクラス検出部、４１５・・・クラス統合部、４１６・・・係数データ生成部、４１７・・・ＲＯＭ、４１８・・・推定予測演算部、４１９・・・バッファメモリ、４５０・・・係数種データ生成装置

Claims (31)

1. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段と、
   入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて、上記入力された画像信号に対して所定の処理を行う第２の画像信号処理手段とを備える画像信号処理装置であって、
   上記第１の画像信号処理手段は、
   画像信号が入力される第１の入力部と、
   上記画質パラメータの値を発生するパラメータ発生部と、
   上記第１の入力部に入力された第１の画像信号が上記パラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う第１の処理部とを有し、
   上記第２の画像信号処理手段は、
   画像信号が入力される第２の入力部と、
   上記画像信号による画像に含まれる所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力部と、
   上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、上記所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得部と、
   上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報に基づいて、上記第２の入力部に入力された第３の画像信号に対して所定の処理を行って第４の画像信号を得る第２の処理部とを有し、
   所定の機能が選択されるとき、上記第１の画像信号処理手段の上記パラメータ発生部で発生される画質パラメータの値は、上記第２の画像信号処理手段の上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報で示される上記所定のオブジェクトの領域とその他の領域とで異なる値とされる
   ことを特徴とする画像信号処理装置。
2. 上記オブジェクト領域で発生される画質パラメータの値に応じた画質は、上記その他の領域で発生される画質パラメータの値に応じた画質より高い
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 上記第１の処理部は、
   上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
   推定式の係数データを生成する上記画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と
   上記記憶部に記憶されている係数種データおよび上記パラメータ発生部で発生された画質パラメータの値を用い、上記生成式に基づいて、上記パラメータ発生部で発生された画質パラメータの値に対応した上記推定式の係数データを生成する係数データ生成部と、
   上記データ選択部で選択された複数の画素データおよび上記係数データ生成部で生成された係数データを用い、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算部とを有する
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 上記第２の画像信号処理手段は、
   上記所定のオブジェクトの動き情報を得るオブジェクト動き情報取得部をさらに有し、
   上記オブジェクト領域情報取得部は、上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報の他に、上記オブジェクト動き情報取得部で取得された上記所定のオブジェクトの動き情報に基づいて、上記所定のオブジェクトの領域を示す上記オブジェクト領域情報を取得する
   ことを特徴とする請求項１に記載の画像信号処理装置。
5. 上記オブジェクト動き情報取得部は、
   上記第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出部を備え、
   上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報で示される領域内の各画素に対応して上記動きベクトル検出部で検出された各動きベクトルに基づいて、上記所定のオブジェクトの動き情報を得る
   ことを特徴とする請求項４に記載の画像信号処理装置。
6. 上記オブジェクト動き情報取得部は、上記各動きベクトルを平均して、上記所定のオブジェクトの動き情報としての平均動きベクトルを得る
   ことを特徴とする請求項５に記載の画像信号処理装置。
7. 上記第２の画像信号処理手段は、
   上記第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出部をさらに備え、
   上記オブジェクト領域情報取得部は、
   上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報で示される領域と共に、該領域内の画素に続く一つまたは複数の画素であって、上記動きベクトル検出部で検出される動きベクトルが該領域内の画素と同じある画素を含む領域を、所定のオブジェクトの領域として、上記オブジェクト領域情報を取得する
   ことを特徴とする請求項１に記載の画像信号処理装置。
8. 上記第２の処理部は、
   上記第３の画像信号のうち上記オブジェクト領域情報で示される領域に対応した領域の画像信号に基づいて、所定の倍率の画像を表示するための上記第４の画像信号を生成する
   ことを特徴とする請求項１に記載の画像信号処理装置。
9. 上記第２の処理部は、
   上記所定の倍率に対応した、上記第４の画像信号における注目位置の位相情報を発生させる位相情報発生部と、
   上記位相情報発生部で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生部と、
   上記第３の画像信号に基づいて、上記第４の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択部と、
   上記係数データ発生部で発生された係数データおよび上記データ選択部で選択された複数の画素データを用い、上記推定式に基づいて、上記第４の画像信号における注目位置の画素データを算出して得る演算部とを有する
   ことを特徴とする請求項８に記載の画像信号処理装置。
10. 上記入力された画像信号は、動画を表示するための画像信号である
    ことを特徴とする請求項１に記載の画像信号処理装置。
11. 上記入力された画像信号は、放送信号から取得された画像信号である
    ことを特徴とする請求項１に記載の画像信号処理装置。
12. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段と、
    入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて上記入力された画像信号に対して所定の処理を行う第２の画像信号処理手段と
    を備える画像信号処理装置の制御方法であって、
    所定の機能が選択されるとき、上記第１の画像信号処理手段における上記画質パラメータの値を、上記第２の画像信号処理手段における上記オブジェクト領域情報で示される上記所定のオブジェクトの領域とその他の領域とにおいて異なる値とする
    ことを特徴とする画像信号処理装置の制御方法。
13. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段と、
    入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて上記入力された画像信号に対して所定の処理を行う第２の画像信号処理手段と、
    画像信号が入力され、該画像信号を上記第１の画像信号処理手段および上記第２の画像信号処理手段に向けて出力する画像信号入力手段と、
    上記第１の画像信号処理手段または上記第２の画像信号処理手段で得られた画像信号を出力画像信号として出力する画像信号出力手段と、
    上記画像信号入力手段、上記第１の画像信号処理手段、上記第２の画像信号処理手段および上記画像信号出力手段の間の信号経路を設定する設定手段と
    を備えることを特徴とする画像信号処理装置。
14. 機能選択信号が入力される機能選択信号入力手段をさらに備え、
    上記設定手段は、上記機能選択信号入力手段に入力された機能選択信号に応じて、上記信号経路を設定する
    ことを特徴とする請求項１３に記載の画像信号処理装置。
15. 上記機能選択信号で所定の機能が選択されるとき、
    上記設定手段は、
    上記画像信号入力手段からの画像信号が上記第２の画像信号処理手段に処理すべき画像信号として入力され、該第２の画像信号処理手段で得られた画像信号が上記第１の画像信号処理手段に処理すべき画像信号として入力され、該第１の画像信号処理手段で得られた画像信号が上記画像信号出力手段から上記出力画像信号として出力されるように、上記信号経路を設定する
    ことを特徴とする請求項１４に記載の画像信号処理装置。
16. 上記機能選択信号で所定の機能が選択されるとき、
    上記設定手段は、
    上記画像信号入力手段からの画像信号が上記第１の画像信号処理手段および上記第２の画像信号処理手段に処理すべき画像信号として入力され、上記第２の画像信号処理手段で取得された上記オブジェクト領域情報が上記第１の画像信号処理手段に制御信号として入力され、上記第１の画像信号処理手段で得られた画像信号が上記画像信号出力手段から上記出力画像信号として出力されるように、上記信号経路を設定し、
    上記第１の画像信号処理手段における上記画質パラメータの値は、上記オブジェクト領域情報で示される上記所定のオブジェクトの領域とその他の領域において異なる値となるように制御される
    ことを特徴とする請求項１４に記載の画像信号処理装置。
17. 上記オブジェクトの領域で発生される画質パラメータの値に応じた画質は、上記その他の領域で発生される画質パラメータの値に応じた画質より高い
    ことを特徴とする請求項１６に記載の画像信号処理装置。
18. 上記第１の画像信号処理手段は、
    画像信号が入力される第１の入力部と、
    上記画質パラメータの値を発生するパラメータ発生部と、
    上記第１の入力部に入力された第１の画像信号が上記パラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う第１の処理部とを有する
    ことを特徴とする請求項１３に記載の画像信号処理装置。
19. 上記第１の処理部は、
    上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
    推定式の係数データを生成する上記画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と
    上記記憶部に記憶されている係数種データおよび上記パラメータ発生部で発生された画質パラメータの値を用い、上記生成式に基づいて、上記パラメータ発生部で発生された画質パラメータの値に対応した上記推定式の係数データを生成する係数データ生成部と、
    上記データ選択部で選択された複数の画素データおよび上記係数データ生成部で生成された係数データを用い、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算部とを有する
    ことを特徴とする請求項１８に記載の画像信号処理装置。
20. 上記第２の画像信号処理手段は、
    画像信号が入力される第２の入力部と、
    上記画像信号による画像に含まれる所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力部と、
    上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、上記所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得手段と、
    上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報に基づいて、上記第２の入力部に入力された第３の画像信号に対して所定の処理を行って第４の画像信号を得る第２の処理部とを有する
    ことを特徴とする請求項１３に記載の画像信号処理装置。
21. 上記第２の画像信号処理手段は、
    上記所定のオブジェクトの動き情報を得るオブジェクト動き情報取得部をさらに有し、
    上記オブジェクト領域情報取得部は、上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報の他に、上記オブジェクト動き情報取得部で取得された上記所定のオブジェクトの動き情報に基づいて、上記所定のオブジェクトの領域を示す上記オブジェクト領域情報を取得する
    ことを特徴とする請求項２０に記載の画像信号処理装置。
22. 上記オブジェクト動き情報取得部は、
    上記第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出部を備え、
    上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報で示される領域内の各画素に対応して上記動きベクトル検出部で検出された各動きベクトルに基づいて、上記所定のオブジェクトの動き情報を得る
    ことを特徴とする請求項２１に記載の画像信号処理装置。
23. 上記オブジェクト動き情報取得部は、上記各動きベクトルを平均して、上記所定のオブジェクトの動き情報としての平均動きベクトルを得る
    ことを特徴とする請求項２２に記載の画像信号処理装置。
24. 上記第２の画像信号処理手段は、
    上記第２の入力部に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出部をさらに備え、
    上記オブジェクト領域情報取得部は、
    上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報で示される領域と共に、該領域内の画素に続く一つまたは複数の画素であって、上記動きベクトル検出部で検出される動きベクトルが該領域内の画素と同じである画素を含む領域を、上記所定のオブジェクトの領域として上記オブジェクト領域情報を取得する
    ことを特徴とする請求項１３に記載の画像信号処理装置。
25. 上記第２の処理部は、
    上記第３の画像信号のうち上記オブジェクト領域情報で示される領域に対応した領域の画像信号に基づいて、所定の倍率の画像を表示するための上記第４の画像信号を生成する
    ことを特徴とする請求項２０に記載の画像信号処理装置。
26. 上記第２の処理部は、
    上記所定の倍率に対応した、上記第４の画像信号における注目位置の位相情報を発生させる位相情報発生部と、
    上記位相情報発生部で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生部と、
    上記第３の画像信号に基づいて、上記第４の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択部と、
    上記係数データ発生手段で発生された係数データおよび上記データ選択部で選択された複数の画素データを用い、上記推定式に基づいて、上記第４の画像信号における注目位置の画素データを算出して得る演算部とを有する
    ことを特徴とする請求項２５に記載の画像信号処理装置。
27. 上記入力された画像信号は、動画を表示するための画像信号である
    ことを特徴とする請求項１３に記載の画像信号処理装置。
28. 上記入力された画像信号は、放送信号から取得された画像信号である
    ことを特徴とする請求項１３に記載の画像信号処理装置。
29. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の画像信号処理手段と、
    入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて上記入力された画像信号に対して所定の処理を行う第２の画像信号処理手段と、
    画像信号が入力され、該画像信号を上記第１の画像信号処理手段および上記第２の画像信号処理手段に向けて出力する画像信号入力手段と、
    上記第１の画像信号処理手段または上記第２の画像信号処理手段で得られた画像信号を出力する画像信号出力手段と、
    上記画像信号入力手段、上記第１の画像信号処理手段、上記第２の画像信号処理手段および上記画像信号出力手段の間の信号経路を設定する設定手段とを備える画像信号処理装置の制御方法であって、
    所定の機能が選択されるとき、
    上記入力された画像信号が上記第１の画像信号処理手段および上記第２の画像信号処理手段に処理すべき画像信号として入力され、上記第２の画像信号処理手段で取得された上記オブジェクト領域情報が上記第１の画像信号処理手段に制御信号として入力され、上記第１の画像信号処理手段で得られた画像信号が上記画像信号出力手段から上記出力画像信号として出力される信号経路が設定されるように上記設定手段を制御し、
    上記オブジェクト領域情報に基づいて、上記第１の画像信号処理手段における上記画質パラメータの値が上記オブジェクト領域情報で示される上記所定のオブジェクトの領域とその他の領域において異なる値となるように制御する
    ことを特徴とする画像信号処理装置の制御方法。
30. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の集積回路と、
    入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて、上記入力された画像信号に対して所定の処理を行う第２の集積回路とを備える画像信号処理システムであって、
    上記第１の集積回路は、
    画像信号が入力される第１の入力部と、
    上記画質パラメータの値を発生するパラメータ発生部と、
    上記第１の入力部に入力された第１の画像信号が上記パラメータ発生部で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う第１の処理部とを有し、
    上記第２の集積回路は、
    画像信号が入力される第２の入力部と、
    上記画像信号による画像に含まれる所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力部と、
    上記オブジェクト領域指定情報入力部に入力されたオブジェクト領域指定情報に基づいて、上記所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得部と、
    上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報に基づいて、上記第２の入力部に入力された第３の画像信号に対して所定の処理を行って第４の画像信号を得る第２の処理部とを有し、
    所定の機能が選択されるとき、上記第１の集積回路の上記パラメータ発生部で発生される画質パラメータの値は、上記第２の集積回路の上記オブジェクト領域情報取得部で取得されたオブジェクト領域情報で示される上記所定のオブジェクトの領域とその他の領域とで異なる値とされる
    ことを特徴とする画像信号処理システム。
31. 入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う第１の集積回路と、
    入力された画像信号による画像に含まれる所定のオブジェクト領域を示すオブジェクト領域情報を取得し、該オブジェクト領域情報に基づいて上記入力された画像信号に対して所定の処理を行う第２の集積回路と、
    画像信号が入力され、該画像信号を上記第１の集積回路および上記第２の集積回路に向けて出力する画像信号入力手段と、
    上記第１の集積回路または上記第２の集積回路で得られた画像信号を出力画像信号として出力する画像信号出力手段と、
    上記画像信号入力手段、上記第１の集積回路、上記第２の集積回路および上記画像信号出力手段の間の信号経路を設定する設定手段と
    を備えることを特徴とする画像信号処理システム。
    

Images