JP2006067346A - 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体 - Google Patents

画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体 Download PDF

Info

Publication number
JP2006067346A
JP2006067346A JP2004248781A JP2004248781A JP2006067346A JP 2006067346 A JP2006067346 A JP 2006067346A JP 2004248781 A JP2004248781 A JP 2004248781A JP 2004248781 A JP2004248781 A JP 2004248781A JP 2006067346 A JP2006067346 A JP 2006067346A
Authority
JP
Japan
Prior art keywords
image signal
image
area
value
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004248781A
Other languages
English (en)
Inventor
Yasuhiro Yugawa
泰宏 湯川
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004248781A priority Critical patent/JP2006067346A/ja
Publication of JP2006067346A publication Critical patent/JP2006067346A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】所定のオブジェクトの領域とそれ以外の領域との画質を異にする特殊効果を簡単に実現する。
【解決手段】「第２の処理」の機能選択時には、画像信号Ｖinに対してＤＲＣ−ボリウム処理部１１２で高画質化を行い、この処理部１１２で得られた画像信号を出力画像信号Ｖoutとする。この場合、処理部１１２は、出力画像信号Ｖoutとして、画質パラメータの値に応じた画質のものを生成する。画像信号Ｖinに基づいてオブジェクト抽出処理部１１３で所定のオブジェクトの領域を示すオブジェクト領域情報ＯＡＩを生成し、この情報ＯＡＩを処理部１１２に制御信号として供給する。処理部１１２は、この情報ＯＡＩに基づいて、画質パラメータを局所的に変更し、背景ぼかしの特殊効果処理を行う。
【選択図】 図１

Description

この発明は、画像信号に対して処理をする画像信号処理装置および画像信号処理方法、並びにプログラムおよびそれを記録した媒体に関する。
詳しくは、この発明は、入力された第１の画像信号が画質パラメータの値に応じた第２の画像信号となるように処理するものにあって、画質パラメータの値を、オブジェクト領域情報に基づいて、所定のオブジェクトの領域で第１の値となり、それ以外の領域で第１の値とは異なる第２の値となるように制御する構成とすることによって、所定のオブジェクトの領域とそれ以外の領域との画質を異にする特殊効果を簡単に実現し得る画像信号処理装置等に係るものである。
特許文献１には、主要被写体領域と背景領域とを分離し、画像信号の背景領域部分に対して、ボカシ処理部によりボカシ処理を行う、画像処理装置が開示されている。ボカシ処理部では、背景領域部分に対してガウシアンフィルタ処理を施すことによってボカシ処理を行っている。
特開２００３−２８３９０２号公報
特許文献１に記載される画像処理装置では、画像信号の背景領域部分に対してボカシ処理を行うために、ガウシアンフィルタ処理を施すボカシ処理部を設ける必要がある。また、このボカシ処理部では、ボカシの度合いを任意に変更することが容易でない。
この発明の目的は、所定のオブジェクトの領域とそれ以外の領域との画質を異にする特殊効果を簡単に実現することにある。
この発明に係る画像信号処理装置は、画像信号が入力される画像信号入力手段と、画質パラメータの値を発生するパラメータ発生手段と、画像信号入力手段に入力された第１の画像信号が、パラメータ発生手段で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う画像信号処理手段と、この画像信号入力手段に入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得手段と、パラメータ発生手段で発生される画質パラメータの値が、オブジェクト領域情報取得手段で取得されたオブジェクト領域情報に基づいて、所定のオブジェクトの領域で第１の値となり、所定のオブジェクトの領域以外の領域で第１の値とは異なる第２の値となるように制御する制御手段とを備えるものである。
また、この発明に係る画像信号処理方法は、画質パラメータの値を発生する工程と、入力された第１の画像信号が、発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う工程と、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得する工程と、発生される画質パラメータの値が、取得されたオブジェクト領域情報に基づいて、所定のオブジェクトの領域で第１の値となり、所定のオブジェクトの領域以外の領域で第１の値とは異なる第２の値となるように制御する工程とを備えるものである。
また、この発明に係るプログラムは上述した画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
この発明においては、画像信号処理手段で、入力された第１の画像信号が、パラメータ発生手段で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理が行われる。例えば、第１の画像信号は、動画を表示するための画像信号である。また例えば、第１の画像信号は、放送信号から取得された画像信号である。
画像信号処理手段は、例えば、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、推定式の係数データを生成する画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と、この記憶部に記憶されている係数種データおよびパラメータ発生手段で発生された画質パラメータの値を用い、生成式に基づいて、パラメータ発生手段で発生された画質パラメータの値に対応した推定式の係数データを生成する係数データ生成部と、データ選択部で選択された複数の画素データおよび係数データ生成部で生成された係数データを用い、推定式に基づいて、第２の画像信号における注目位置の画素データを算出して得る演算部とを有する構成とされる。
オブジェクト領域情報取得手段で、入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報が取得される。例えば、オブジェクト領域指定情報入力手段にオブジェクト領域指定情報が入力される。オブジェクト領域情報取得手段では、このオブジェクト領域指定情報に基づいて、所定のオブジェクト領域を示すオブジェクト領域情報が取得される。
例えば、オブジェクト動き情報取得手段で、所定のオブジェクトの動き情報が得られる。オブジェクト領域情報取得手段では、オブジェクト領域指定情報の他に、この所定のオブジェクトの動き情報に基づいて、所定のオブジェクトの領域を示すオブジェクト領域情報が取得される。これにより、所定のオブジェクトが動いている動画においても、逐次変化する所定のオブジェクトの領域を示すオブジェクト領域情報を正しく取得できるようになる。
例えば、動きベクトル検出手段で、入力された画像信号に基づいて画素毎にブロックマッチング法等によって動きベクトルが検出される。オブジェクト動き情報取得手段では、オブジェクト領域情報で示される領域内の各画素に対応して検出された各動きベクトルに基づいて、所定のオブジェクトの動き情報が得られる。例えば、各動きベクトルが平均され、所定のオブジェクトの動き情報としての平均動きベクトルが得られる。また例えば、各動きベクトルのうち、最大頻度を示す動きベクトルが所定のオブジェクトの動き情報とされる。
例えば、オブジェクト領域指定情報入力手段にオブジェクト領域指定情報が入力され、また動きベクトル検出手段で入力された画像信号に基づいて画素毎に動きベクトルが検出される。オブジェクト領域情報取得手段では、オブジェクト領域指定情報で示される領域と共に、この領域内の画素に続く一つまたは複数の画素であって、動きベクトルが該領域内の画素と同じである画素を含む領域（隣接領域）を、所定のオブジェクトの領域として、オブジェクト領域情報が取得される。ここで、動きベクトルが同じであるとは、完全一致だけでなく、差が所定範囲内、例えば動きベクトル検出誤差範囲内にあるものを含む意味である。
このようにオブジェクト領域指定情報で示される領域と共に、動きベクトルが同じである領域を所定のオブジェクトの領域とすることで、例えばユーザが所定のオブジェクトの領域を塗りつぶすことで領域指定を行う場合に、所定のオブジェクトの領域を全て塗りつぶさなくてもよくなる。
パラメータ発生手段で発生される画質パラメータの値は、オブジェクト領域情報に基づいて、所定のオブジェクトの領域で第１の値となり、所定のオブジェクトの領域以外の領域で第１の値とは異なる第２の値となるように制御される。これにより、所定のオブジェクトの領域とその他の領域の画質を異にする特殊効果が得られる。
例えば、所定のオブジェクトの領域の画質は、その他の領域の画質より高くされるか、あるいはその逆とされる。オブジェクトの領域の画質がその他の領域の画質より高くされる場合、オブジェクトに対して背景をぼかした特殊効果が得られる。例えば、所定のオブジェクトの領域の画質パラメータの値はユーザが調整した画質パラメータの値そのものとされ、それ以外の領域の画質パラメータの値はユーザが調整した画質パラメータの値より低くあるいは高くされる。また例えば、所定のオブジェクトの領域およびその他の領域の画質パラメータの値は、工場出荷時に設定されている、あるいはその後にユーザにより設定された固定値とされる。
このように、この発明においては、画質パラメータの値を、オブジェクト領域情報に基づいて、所定のオブジェクトの領域とそれ以外の領域とで異なる値に制御して、所定のオブジェクトの領域とその他の領域の画質を異にする特殊効果を得るものであって、当該特殊効果を簡単に実現できる。
この発明によれば、入力された第１の画像信号が画質パラメータの値に応じた第２の画像信号となるように処理するものにあって、画質パラメータの値を、オブジェクト領域情報に基づいて、所定のオブジェクトの領域で第１の値となり、それ以外の領域で第１の値とは異なる第２の値となるように制御するものであり、所定のオブジェクトの領域とそれ以外の領域との画質を異にする特殊効果を簡単に実現できる。
この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。
この画像信号処理装置１００は、装置全体の動作を制御するシステムコントローラ１０１を有している。このシステムコントローラ１０１は、例えば、ＭＰＵ(Micro Processing Unit)、このＭＰＵの動作プログラム等が記憶されたＲＯＭ(Read Only Memory)、このＭＰＵの作業領域を構成するＲＡＭ（Random Access Memory）等を備えている。
このシステムコントローラ１０１には、リモコン信号受信部１０２が接続されている。このリモコン信号受信部１０２は、リモコン送信機１０３からユーザの操作に応じて出力されるリモコン信号ＲＭを受信し、そのリモコン信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給する。また、このシステムコントローラ１０１には、ＬＣＤ(Liquid Crystal Display)等で構成される表示器１０４が接続されている。この表示器１０４は、システムコントローラ１０１の制御のもと、装置の動作状態等を表示する。
また、画像信号処理装置１００は、入力端子１１１と、ＤＲＣ−ボリウム処理部１１２と、オブジェクト抽出処理部１１３と、出力端子１１４とを有している。入力端子１１１は、画像信号が入力される画像信号入力手段を構成している。この入力端子１１１には、動画または静止画を表示するための画像信号Ｖinが、処理すべき画像信号として入力される。この画像信号Ｖinは、例えば、図示しない放送受信機において、放送信号より取得されたものとされる。
ＤＲＣ−ボリウム処理部１１２は、画像信号処理手段を構成している。この処理部１１２は、入力された画像信号が画質パラメータの値に応じた画質の画像信号となるように処理を行う。この処理部１１２には、システムコントローラ１０１から制御信号ＳＣａが供給される。この制御信号ＳＣａには、ユーザによって調整された、解像度を示す画質パラメータｒの値およびノイズ除去度を示す画質パラメータｚの値も含まれている。この処理部１１２の詳細については、後述する。
この処理部１１２は、ユーザの選択操作により、「第１の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、画質パラメータｒ，ｚの値に応じた画質の画像信号を得る処理を行う。この場合、ユーザによって調整された画質パラメータｒ，ｚの値がそのまま用いられる。
また、この処理部１１２は、ユーザの選択操作により、「第２の処理」の機能が選択されるとき、画質パラメータｒ，ｚの値に応じた画質の画像信号を得る処理を行い、処理後の画像信号を出力する。この場合、オブジェクト抽出処理部１１３で取得されたオブジェクト領域情報ＯＡＩに基づいて、所定のオブジェクトの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が低下する方向に変更して用いる。画質が低下する方向の例としては、解像度が低下する方向、あるいは、ノイズが増える方向、ユーザが「画質が低下したと感じる」方向などが挙げられる。
オブジェクト抽出処理部１１３は、オブジェクト領域情報取得手段を構成している。
この処理部１１３は、ユーザの選択操作により、「第２の処理」の機能が選択されるとき、入力端子１１１に入力された画像信号Ｖinを処理すべき画像信号として、オブジェクト抽出処理を行い、オブジェクト領域情報ＯＡＩを取得する。この処理部１１３には、システムコントローラ１０１から制御信号ＳＣｂが供給される。この制御信号ＳＣｂには、ユーザの操作によるオブジェクト領域指定情報ＯＡＡも含まれている。
出力端子１１４は、出力画像信号Ｖoutを出力する画像信号出力手段を構成している。この出力端子１１４には、ＤＲＣ−ボリウム処理部１１２で得られた画像信号が、出力画像信号Ｖoutとして出力される。
次に、ＤＲＣ−ボリウム処理部１１２の詳細を説明する。図２は、この処理部１１２の構成を示している。
この処理部１１２は、画像信号Ｖａが入力される入力端子２０１と、この入力端子２０１に入力された画像信号Ｖａを処理する処理本体部２０２と、この処理本体部２０２で得られた画像信号Ｖｂを出力する出力端子２０３と、処理本体部２０２の動作を制御する制御部２０４と、オブジェクト領域情報ＯＡＩが入力される入力端子２０５と、制御信号ＳＣａが入力される入力端子２０６とを有している。
制御部２０４は、入力端子２０５に入力されるオブジェクト領域情報ＯＡＩおよび入力端子２０６に入力される制御信号ＳＣａに基づいて、処理本体部２０２の動作を制御する。例えば、制御部２０４は、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。
処理本体部２０２は第１の処理部を構成している。この処理本体部２０２は、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の画像信号を構成し、画像信号Ｖｂは第２の画像信号を構成している。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。
図３は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図３から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
図２に戻って、処理本体部２０２は、バッファメモリ２１１と、予測タップ選択部２１２と、クラスタップ選択部２１３とを有している。バッファメモリ２１１は、入力端子２０１に入力された画像信号Ｖａを一時的に記憶する。タップ選択部２１２，２１３は、それぞれ、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
図４Ａは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図４Ｂは、クラスタップのデータとして抽出される複数の画素データ（実線部分）のパターン例を示している。なお、この図４Ａ，Ｂでは、注目位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドから抽出することも考えられる。
また、処理本体部２０２は、クラス検出部２１４を有している。このクラス検出部２１４は、クラスタップ選択部２１３で抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣを利用している。なお、画素間の差分など、他の特徴量を用いてクラスコードＣＬを得るようにしてもよい。
まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。
したがって、１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。
また、処理本体部２０２は、係数データ生成部２１５と、記憶部としてのＲＯＭ２１６とを有している。ＲＯＭ２１６は、各クラスの係数種データを記憶している。後述する推定予測演算部２１７では、予測タップとしての複数の画素データｘｉと、係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙが求められる。この（１）式において、ｎは、予測タップとしての複数の画素データｘｉの個数である。
Figure 2006067346
ＲＯＭ２１６に記憶される係数種データは、上述した推定式の係数データＷｉを生成するための、画質パラメータｒ，ｚを含む生成式の係数データである。（２）式は、その生成式の一例を示しており、ｗi0〜ｗi9が係数種データである。ここで、画質パラメータｒは解像度を決めるパラメータであり、画質パラメータｚはノイズ除去度を決めるパラメータである。この係数種データｗi0〜ｗi9は、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。
Figure 2006067346
上述の図３に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
図５は、奇数、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１〜ＨＤ４の位置は、それぞれ、中心予測タップＳＤ０の位置から、水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。偶数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１′〜ＨＤ４′の位置は、それぞれ、中心予測タップＳＤ０′の位置から、水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。
そのため、上述した各クラスの係数種データｗi0〜ｗi9は、８種類の出力画素（HD1〜HD4,HD1′〜HD4′）にそれぞれ対応した係数種データｗi0〜ｗi9からなっている。結局、ＲＯＭ２１６には、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が格納されている。
この係数種データｗi0〜ｗi9は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。この係数種データｗi0〜ｗi9の生成方法の詳細については後述する。
係数データ生成部２１５は、奇数、偶数の各フィールドにおいて、クラス検出部２１４で得られたクラスコードＣＬが表すクラスの、４出力画素（図５のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9をＲＯＭ２１６から取得し、さらに制御部２０４から供給される画質パラメータｒ，ｚの値を用い、（２）式の生成式に基づいて、４画素分の係数データＷｉを生成する。
ここで、制御部２０４から供給される画質パラメータｒ，ｚの値は、ユーザの選択操作によって選択される機能に応じて、以下のように制御される。すなわち、「第１の処理」の機能が選択されるとき、画質パラメータｒ，ｚの値はユーザによって調整されたパラメータｒ，ｚの値とされる。また、「第２の処理」の機能が選択されるとき、画質パラメータｒ，ｚの値は、オブジェクト領域情報ＯＡＩに基づいて、所定のオブジェクトの領域ではユーザによって調整されたパラメータｒ，ｚの値とされ、その他の領域ではユーザによって調整されたパラメータｒ，ｚの値を画質が低下する方向に変更した値とされる。
また、処理本体部２０２は、推定予測演算部２１７を有している。この推定予測演算部２１７は、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ毎に画素データを求める。すなわち、推定予測演算部２１７は、予測タップ選択部２１２で抽出される単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉ、および係数データ生成部２１５で生成される、その単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉを用い、その単位画素ブロックＵＢを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（１）式の推定式で、個別に演算する。
また、処理本体部２０２は、後処理部２１８を有している。この後処理部２１８は、推定予測演算部２１７より順次出力される、単位画素ブロックＵＢ内の４画の画素データｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。
次に、図２に示すＤＲＣ−ボリウム処理部１１２の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子２０１に入力され、この画像信号Ｖａはバッファメモリ２１１に一時的に記憶される。そして、この画像信号Ｖａに基づき、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
すなわち、クラスタップ選択部２１３では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出部２１４に供給される。
クラス検出部２１４では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２１５に供給される。
この係数データ生成部２１５では、奇数、偶数の各フィールドにおいて、クラスコードＣＬで示されるクラスの、４出力画素（図５のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9が、ＲＯＭ２１６から取得される。また、この係数データ生成部２１５には、制御部２０４から画質パラメータｒ，ｚの値が供給される。そして、この係数データ生成部２１５では、各フィールドにおいて、４画素分の係数種データｗi0〜ｗi9および画質パラメータｒ，ｚの値が用いられ、上述の（２）式の生成式に基づいて、４出力画素分の係数データＷｉが生成される。この係数データＷｉは、推定予測演算部２１７に供給される。
また、予測タップ選択部２１２では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算部２１７に供給される。推定予測演算部２１７では、予測タップ選択部２１２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部２１５で生成された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ1〜ｙ4が、上述の（１）式の推定式に基づいて、個別に演算される。
この推定予測演算部２１７より順次出力される、画像信号Ｖｂを構成する各単位画素ブロックＵＢ内の４画素の画素データｙ1〜ｙ4は、後処理部２１８に供給される。この後処理部２１８では、推定予測演算部２１７より順次供給される単位画素ブロックＵＢ内の４画素のデータｙ1〜ｙ4が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理部２１８からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子２０３に出力される。
次に、上述した処理本体部２０２のＲＯＭ２１６に記憶される、係数種データの生成方法について説明する。この係数種データは、学習によって生成される。ここでは、（２）式の生成式における係数データである係数種データｗi0〜ｗi9を求める例を示すものとする。
ここで、以下の説明のため、（３）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，ｔ6＝ｒ3，
ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3
・・・（３）
この（３）式を用いると、（２）式は、（４）式のように書き換えられる。
Figure 2006067346
最終的に、学習によって未定係数ｗijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（５）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ信号の画素データを表している。
Figure 2006067346
最小二乗法による解法では、（５）式のｗijによる偏微分が０になるようなｗijを求める。これは、（６）式で示される。
Figure 2006067346
ここで、（７）式、（８）式のように、Ｘipjq、Ｙipを定義すると、（６）式は、行列を用いて、（９）式のように書き換えられる。
Figure 2006067346
Figure 2006067346
この（９）式が、係数種データｗi0〜ｗi9を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗi0〜ｗi9を求めることができる。
図６は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
ノイズを加える量としては、例えば（１０）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１０）
例えば、周波数特性を可変する画質パラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変する画質パラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。この画質パラメータｒ，ｚは、図２の係数データ生成部２１５に供給される画質パラメータｒ，ｚに対応したものである。
次に、上述した係数種データｗi0〜ｗi9を生成するための係数種データ生成装置２５０について説明する。図７は、この係数種データ生成装置２５０の構成を示している。
この係数種データ生成装置２５０は、入力端子２５１と、ＳＤ信号生成部２５２とを有している。入力端子２５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成部２５２は、この画像信号Ｖｂ′に対して、水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。このＳＤ信号生成部２５２には、画質パラメータｒ，ｚが供給される。画質パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａ′を生成する際に使用する間引きフィルタの周波数特性が可変される。また、画質パラメータｚの値に対応して、画像信号Ｖａ′に加えるノイズの量が可変される。
また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これらタップ選択部２５３，２５４は、それぞれ、ＳＤ信号生成部２５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択部２５３，２５４は、それぞれ、上述した処理本体部２０２のタップ選択部２１２，２１３に対応している。
また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理本体部２０２のクラス検出部２１４に対応している。
また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データを選択的に抽出する。
また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、画像信号Ｖｂ′における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス検出部２５５で生成されたクラスコードＣＬと、画質パラメータｒ，ｚの値とから、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（９）式参照）を生成する。
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２５７では、各クラスの係数種データｗi0〜ｗi9を得るための正規方程式がそれぞれ生成される。
またこの場合、正規方程式生成部２５７では、出力画素（図５のHD1〜HD4，HD1′〜HD4′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部２５７では、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を求める。係数種メモリ２５９は、係数種データ決定部２５８で求められた係数種データｗi0〜ｗi9を格納する。
次に、図７に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成部２５２で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。この場合、ＳＤ信号生成部２５２には画質パラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Ｖａ′が順次生成されていく。
クラスタップ選択部２５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２５５に供給される。そして、クラス検出部２５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは、正規方程式生成部２５７に供給される。
予測タップ選択部２５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部２５７に供給される。
正規方程式生成部２５７では、画像信号Ｖｂ′における各注目位置を対象として、当該各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙが属するクラスを示すクラスコードＣＬと、ＳＤ信号生成部２５２に供給されている画質パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（９）式参照）が生成される。
そして、係数種データ決定部２５８では、正規方程式生成部２５７から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が求められる。この係数種データｗi0〜ｗi9は、係数種メモリ２５９に格納される。
このように、図７に示す係数種データ生成装置２５０においては、上述した処理本体部２０２のＲＯＭ２１６に格納すべき、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を生成できる。
次に、オブジェクト抽出処理部１１３の詳細を説明する。図８は、この処理部１１３の構成を示している。
この処理部１１３は、画像信号が入力される入力端子３０１と、この入力端子３０１に入力された画像信号に基づいて、所定のオブジェクトの領域を示すオブジェクト領域情報ＯＡＩを取得する処理本体部３０２と、この処理本体部３０２で得られたオブジェクト領域情報ＯＡＩを出力する出力端子３０３と、処理本体部３０２の動作を制御する制御部３０４と、制御信号ＳＣｂが入力される入力端子３０５とを有している。
制御部３０４は、入力端子３０５に入力される制御信号ＳＣｂに基づいて、処理本体部３０２の動作を制御する。例えば、制御部３０４は、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。
処理本体部３０２は、バッファメモリ３１１と、検出領域決定部３１２と、オブジェクト特定部３１３と、動きベクトル検出部３１４とを有している。バッファメモリ３１１は、入力端子３０１に入力された画像信号を一時的に記憶する。
検出領域決定部３１２は、制御部３０４から供給される、制御信号ＳＣｂに含まれているオブジェクト領域指定情報ＯＡＡに基づいて、オブジェクト領域を決定するために使用される仮オブジェクト領域を決定し、仮オブジェクト領域情報を生成する。
ここで、ユーザのオブジェクト領域の指定動作を説明する。このオブジェクト領域の指定は、ユーザの操作により、「第２の処理」の機能が選択される場合に可能となる。この場合、ユーザがオブジェクト領域の指定を行う所定のフレームの画像信号が出力端子１１４（図１参照）に繰り返し出力され、図示しないモニタ上に、当該所定のフレームの画像がスチル表示される。
この状態で、ユーザは、図９に示すように、リモコン操作によりオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描き、当該領域内を塗りつぶす操作を行う。そして、オブジェクトＯＢの領域内を塗りつぶした状態でユーザが確定操作をすると、オブジェクト領域の指定が確定し、コントローラ１０１からオブジェクト抽出処理部１１３に、上述したオブジェクト領域指定情報ＯＡＡとして、確定時における塗りつぶし領域を示す領域情報が供給される。
検出領域決定部３１２は、オブジェクト領域指定情報ＯＡＡに基づき、塗りつぶし領域を示す領域情報を仮オブジェクト領域に決定し、仮オブジェクト領域情報を生成する。なお、図示せずも、塗りつぶし線ＬＮを表示するための表示信号は、制御部３０４から出力され、ＤＲＣ−ボリウム処理部１１２の出力側で、画像信号に重畳される。
動きベクトル検出部３１４は、バッファメモリ３１１に記憶されている画像信号に基づいて、各フレームで、画素毎に動きベクトルを検出する。この動きベクトルの検出は、バッファメモリ３１１に記憶されている画像信号が動画を表示するための画像信号である場合にのみ行われる。
オブジェクト特定部３１３は、検出領域決定部３１２で生成された仮オブジェクト領域情報、および動きベクトル検出部３１４で検出された動きベクトルに基づいて、オブジェクト領域を決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成する。このオブジェクト領域情報ＯＡＩは、例えばオブジェクト領域に対応した画素位置にフラグが立つようにされたフラグ情報である。
このオブジェクト特定部３１３は、ユーザの操作により、「第２の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合には、以下の処理を行う。すなわち、オブジェクト特定部３１３は、検出領域決定部３１２で生成された仮オブジェクト領域情報に基づいて、その仮オブジェクト領域をオブジェクトＯＢの領域に決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成し、このオブジェクト領域情報ＯＡＩを出力端子３０３に供給する。なお、本実施の形態において、画像信号が静止画を表示するための画像信号であるか動画を表示するための画像信号であるかは、ユーザの操作により与えられる。
また、オブジェクト特定部３１３は、ユーザの操作により、「第２の処理」の機能が選択される場合であって、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合には、以下の処理を行う。
すなわち、オブジェクト特定部３１３は、検出領域決定部３１２で仮オブジェクト領域が決定されたフレームである初期フレームでは、この検出領域決定部３１２で生成された仮オブジェクト領域情報に基づいて、仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部３１４で検出される動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域（隣接領域）を、オブジェクトＯＢの領域に決定し、それらの領域を示すオブジェクト領域情報ＯＡＩを生成する。
ここで、動きベクトルが同じであるとは、完全一致だけでなく、差が所定範囲内、例えば動きベクトル検出誤差範囲内にあるものを含む意味である。このようにオブジェクト領域指定情報ＯＡＡで示される領域と共に、動きベクトルが同じである領域をオブジェクトＯＢの領域とすることで、例えばユーザがオブジェクトＯＢの領域を塗りつぶすことで領域指定を行う場合に、このオブジェクトＯＢの領域を全て塗りつぶさなくてもよくなる。
また、オブジェクト特定部３１３は、この初期フレームでは、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。例えば、各動きベクトルが平均され、オブジェクトＯＢの動き情報としての平均動きベクトルが得られる。また例えば、各動きベクトルのうち、最大頻度を示す動きベクトルがオブジェクトＯＢの動き情報とされる。
オブジェクト特定部３１３は、初期フレームに続くフレームでは、初期フレームで決定されたオブジェクトＯＢの領域を初期フレームで取得されていたオブジェクトＯＢの動き情報で移動させて当該フレームにおけるオブジェクトＯＢの領域を決定し、その領域を示すオブジェクト領域情報ＯＡＩを生成する。また、オブジェクト特定部３１３は、初期フレームに続くフレームでは、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。
オブジェクト特定部３１３は、以下の各フレームでは、同様にして、前のフレームで取得されていたオブジェクトＯＢの動き情報を用いて、当該フレームにおけるオブジェクトＯＢの領域を決定して、その領域を示すオブジェクト領域情報をＯＡＩを生成すると共に、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。
図８に示すオブジェクト抽出処理部１１３の動作を説明する。
まず、ユーザの操作により、「第２の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が静止画を表示するための画像信号である場合について説明する。
ユーザが、所定のフレームのスチル表示状態で、オブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いて塗りつぶし操作を行い（図９参照）、その状態で確定操作をすることで、塗りつぶし領域を示す領域情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該塗りつぶし領域情報に基づいて、塗りつぶし領域が仮オブジェクト領域に決定され、その仮オブジェクト領域を示す仮オブジェクト領域情報が生成される。
この仮オブジェクト領域情報は、オブジェクト特定部３１３に供給される。オブジェクト特定部３１３では、仮オブジェクト領域情報に基づいて、その仮オブジェクト領域がそのままオブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。このオブジェクト領域情報ＯＡＩは出力端子３０３に供給される。
次に、ユーザの操作により、「第２の処理」の機能が選択されると共に、入力端子３０１に入力される画像信号が動画を表示するための画像信号である場合について説明する。
入力端子３０１に入力される画像信号はバッファメモリ３１１に供給されて一時的に記憶される。
ユーザが、所定のフレームのスチル表示状態で、オブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いて塗りつぶし操作を行い（図９参照）、その状態で確定操作をすることで、塗りつぶし領域を示す領域情報がオブジェクト領域指定情報ＯＡＡとして、制御部３０４から検出領域決定部３１２に供給される。検出領域決定部３１２では、当該塗りつぶし領域情報に基づいて、塗りつぶし領域が仮オブジェクト領域に決定され、その仮オブジェクト領域を示す仮オブジェクト領域が生成される。この仮オブジェクト領域情報は、オブジェクト特定部３１３に供給される。
また、動きベクトル検出部３１４では、バッファメモリ３１１に記憶されている画像信号に基づいて、各フレームで、画素毎に動きベクトルが検出される。このように各フレームで検出される画素毎の動きベクトルは、オブジェクト特定部３１３に供給される。
オブジェクト特定部３１３では、検出領域決定部３１２で仮オブジェクト領域が決定されたフレームである初期フレームにおいては、仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、動きベクトル検出部３１４で検出される動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域が、オブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。また、オブジェクト特定部３１３では、この初期フレームおいては、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報が取得される。
また、オブジェクト特定部３１３では、初期フレームに続くフレームにおいては、初期フレームで決定されたオブジェクトＯＢの領域を初期フレームで取得されていたオブジェクトＯＢの動き情報で移動させて当該フレームにおけるオブジェクトＯＢの領域が決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。また、オブジェクト特定部３１３では、初期フレームに続くフレームにおいては、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用するオブジェクトＯＢの動き情報を取得する。
また、オブジェクト特定部３１３では、以下の各フレームにおいては、同様にして、前のフレームで取得されていたオブジェクトＯＢの動き情報を用いて、当該フレームにおけるオブジェクトＯＢの領域が決定され、その領域を示すオブジェクト領域情報をＯＡＩが生成されると共に、決定されたオブジェクト領域内の各画素に対応して動きベクトル検出部３１４で検出された各動きベクトルに基づいて次のフレームで使用されるオブジェクトＯＢの動き情報が取得される。
このようにオブジェクト特定部３１３で生成された、初期フレームおよびそれ以降の各フレームのオブジェクト領域情報ＯＡＩは、順次、出力端子３０３に出力される。
次に、図１に示す画像信号処理装置１００の動作を説明する。
図１０のフローチャートは、画像信号処理装置１００の全体の動作を示している。ステップＳＴ１で、処理を開始し、ステップＳＴ２で、処理を決定する。この処理の決定は、ユーザの機能選択の操作に基づいて行う。ユーザが「第１の処理」の機能を選択し、ステップＳＴ２で「第１の処理」に決定されるとき、ステップＳＴ３で、第１の処理（高画質化処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ５で、処理を終了する。
この「第１の処理」の機能が選択された場合、入力端子１１１に入力された画像信号ＶinはＤＲＣ−ボリウム処理部１１２に処理すべき画像信号として入力される。この処理部１１２では、画像信号Ｖinに対して高画質化処理（ＳＤ信号からＨＤ信号に変換する処理）が行われる。そして、この処理部１１２で得られた画像信号は出力端子１１４に出力画像信号Ｖoutとして出力される。
図１１のフローチャートは、「第１の処理」における処理動作（１フレーム分）を示している。ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、高画質化処理を行い、その後、ステップＳＴ５３で、処理を終了する。
図１０に戻って、ステップＳＴ２で「第２の処理」に決定されるとき、ステップＳＴ４で、第４の処理（背景ぼかし処理）を実行し、ユーザの終了操作に対応して、ステップＳＴ５で、処理を終了する。
この「第２の処理」の機能が選択された場合、入力端子１１１に入力された画像信号ＶinはＤＲＣ−ボリウム処理部１１２に処理すべき画像信号として入力される。この処理部１１２では、画像信号Ｖinに対して高画質化処理（ＳＤ信号からＨＤ信号に変換する処理）が行われる。そして、この処理部１１２で得られた画像信号は出力端子１１４に出力画像信号Ｖoutとして出力される。
またこの場合、オブジェクト抽出処理部１１３では、第１のオブジェクト抽出処理または第２のオブジェクト抽出処理が行われる。この処理部１１３で得られたオブジェクト領域情報ＯＡＩは、ＤＲＣ−ボリウム処理部１１２に制御信号として供給される。
処理部１１２では、オブジェクト領域情報ＯＡＩに基づいて、オブジェクトＯＢの領域ではユーザによって調整された画質パラメータｒ，ｚの値がそのまま用いられ、その他の領域ではユーザによって調整されたパラメータｒ，ｚの値が画質が低下する方向に変更されて用いられる。これにより、処理部１１２では、オブジェクトＯＢ以外の背景をぼかす特殊効果処理が行われる。
図１２のフローチャートは、「第２の処理」における処理動作（１フレーム分）を示している。ステップＳＴ６１で、処理を開始し、ステップＳＴ６２で、処理すべき画像信号が動画を表示するための画像信号であるか否かを判定する。静止画を表示するための画像信号であるときは、ステップＳＴ６３で、オブジェクト抽出処理部１１３により第２のオブジェクト抽出処理を行うと共に、ステップＳＴ６４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理（オブジェクト領域情報ＯＡＩに基づく背景ぼかし処理を含む）を行い、その後、ステップＳＴ６５で、処理を終了する。一方、動画を表示するための画像信号であるときは、ステップＳＴ６６で、オブジェクト抽出処理部１１３により第１のオブジェクト抽出処理を行うと共に、ステップＳＴ６４で、ＤＲＣ−ボリウム処理部１１２により高画質化処理（オブジェクト領域情報ＯＡＩに基づく背景ぼかし処理を含む）を行い、その後、ステップＳＴ６５で、処理を終了する。
図１３のフローチャートは、第２のオブジェクト抽出処理の動作を示している。ステップＳＴ７１で、処理を開始し、ステップＳＴ７２で、仮オブジェクト領域を決定する。この場合、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域が、仮オブジェクト領域に決定される（図９参照）。
次に、ステップＳＴ７３で、オブジェクト領域情報ＯＡＩを生成する。この場合、ステップＳＴ７２で決定された仮オブジェクト領域がそのままオブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。このステップＳＴ７３の処理の後に、ステップＳＴ７４で、処理を終了する。
図１４のフローチャートは、第１のオブジェクト抽出処理の動作を示している。ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、仮オブジェクト領域を決定する。この場合、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域が、仮オブジェクト領域に決定される（図９参照）。
次に、ステップＳＴ８３で、動きベクトル検出部３１４により、画素毎に動きベクトルを検出する。そして、ステップＳＴ８４で、オブジェクト領域情報ＯＡＩを生成する。この場合、ステップＳＴ８２で決定された仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、ステップＳＴ８３で検出された動きベクトルがこの仮オブジェクト領域内の画素と同じである画素を含む領域（隣接領域）が、オブジェクトＯＢの領域に決定され、その領域を示すオブジェクト領域情報ＯＡＩが生成される。
なお、この仮オブジェクト領域および動きベクトルに基づくオブジェクト領域の決定は、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描いたフレーム（初期フレーム）のみで実行され、それ以降のフレームでは、前のフレームで決定されたオブジェクト領域を、前のフレームで取得されたオブジェクトＯＢの動き情報に基づいて移動することで、オブジェクト領域を決定する。すなわち、初期フレーム以降では、ステップＳＴ８２の処理は行われない。
次に、ステップＳＴ８５で、ステップＳＴ８４で決定されたオブジェクト領域内の各画素に対応して検出された各動きベクトルに基づいて、オブジェクトＯＢの動き情報を取得する。この場合、例えば、各動きベクトルが平均されて、オブジェクトＯＢの動き情報としての平均動きベクトルが得られる。このオブジェクトＯＢの動き情報は、次のフレームで使用される。このステップＳＴ８５の処理の後に、ステップＳＴ８６で、処理を終了する。なお、オブジェクトＯＢをこのオブジェクトＯＢの動き情報に基づいて、移動させたものを次のフレームで仮ＯＢとして扱う。
以上説明したように、図１に示す画像信号処理装置１００においては、「第１の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対してＤＲＣ−ボリウム処理部１１２で高画質化が行われ、この処理部１１２で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力される。
また、図１に示す画像信号処理装置１００においては、「第２の処理」の機能が選択される場合は、入力端子１１１に入力された画像信号Ｖinに対してＤＲＣ−ボリウム処理部１１２で高画質化が行われ、この処理部１１２で得られた画像信号が出力端子１１４に出力画像信号Ｖoutとして出力される。そしてこの場合、入力端子１１１に入力された画像信号Ｖinに基づいてオブジェクト抽出処理部１１３でオブジェクト領域情報ＯＡＩが生成され、処理部１１２ではこのオブジェクト領域情報ＯＡＩに基づいて、背景ぼかしの特殊効果処理が行われる。
この画像信号処理装置１００によれば、高画質化処理を行うＤＲＣ−ボリウム処理部１１２における画質パラメータｒ，ｚの値を、オブジェクト領域情報ＯＡＩに基づいて制御することで背景ぼかしの特殊効果を得るようにしたものであり、背景をぼかすための専用の回路、例えば上述した特許文献１におけるボカシ処理部を設ける必要がなく、背景ぼかしの特殊効果を簡単に実現できる。
また、画像信号処理装置１００によれば、オブジェクトＯＢの領域以外の領域に対応した画質パラメータｒ，ｚの値を変化させることで、背景のぼかし度合いを容易に変更できる。
また、画像信号処理装置１００によれば、入力端子１１１に入力される画像信号Ｖinが動画を表示する画像信号である場合、オブジェクト抽出処理部１１３では動きベクトルを用いてオブジェクトＯＢの動き情報を取得し、オブジェクト領域情報ＯＡＩとしてオブジェクトＯＢの動きに合致したものを得るようにしているので、入力端子１１１に入力される画像信号Ｖinが動画を表示する画像信号であっても、オブジェクトＯＢの領域以外の領域（背景）を良好にぼかすことができる。
なお、図１の画像信号処理装置１００における処理を、例えば図１５に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
まず、図１５に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムや係数種データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｖａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｖｂを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
ここで、上述したようにＲＯＭ５０２に制御プログラムや係数種データ等を予め格納しておく代わりに、これら制御プログラムや係数データを例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ＨＤＤ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラムや係数種データ等をリムーバブルな記憶媒体で提供するようにしてもよい。
また、処理すべき画像信号Ｖａを入力端子５１５より入力する代わりに、予めＨＤＤ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはＨＤＤ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
図１６のフローチャートを参照して、図１５に示す画像信号処理装置５００における、上述の「第１の処理」に対応した処理手順を説明する。
まず、ステップＳＴ４０で、処理を開始し、ステップＳＴ４１で、例えば入力端子５１５より装置内に１フレーム分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のＨＤＤ５０５に予め記録されている場合には、このＨＤＤ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ４２で、画像信号Ｖａの全フレームの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ４４に進む。
このステップＳＴ４４では、ユーザが調整し、ＲＡＭ５０３に記憶されている、画質パラメータｒ，ｚの値を取得する。そして、ステップＳＴ４５で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ４６で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ４７で、ステップＳＴ４６で生成されたクラスコードＣＬで示されるクラスの係数種データｗi0〜ｗi9およびステップＳＴ４４で取得された画質パラメータｒ，ｚの値を使用し、（２）式の生成式に基づいて、推定式の係数データＷｉを生成する。
次に、ステップＳＴ４８で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ４９で、ステップＳＴ４７で生成された係数データＷｉおよびステップＳＴ４８で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
次に、ステップＳＴ５０で、ステップＳＴ４１で入力された１フレーム分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ４１に戻り、次の１フレーム分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ４５に戻って、次の注目位置についての処理に移る。
このように、図１６に示すフローチャートに沿って処理をすることで、「第１の処理」に対応した処理が行われる。この処理で得られた画像信号Ｖｂは出力端子５１７に出力され、あるいはディスプレイ５１３に供給されてそれによる画像が表示され、あるいはＨＤＤ５０５に供給されて記録されたりする。
図１７のフローチャートを参照して、図１５に示す画像信号処理装置５００における、上述の「第２の処理」に対応した処理手順を説明する。
まず、ステップＳＴ１０で、処理を開始し、ステップＳＴ１１で、例えば入力端子５１５より装置内に１フレーム分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のＨＤＤ５０５に予め記録されている場合には、このＨＤＤ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ１２で、画像信号Ｖａの全フレームの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１４に進む。
このステップＳＴ１４では、ステップＳＴ１１で入力された１フレーム分の画像信号Ｖａにおけるオブジェクト領域情報ＯＡＩを取得する。
この場合、画像信号Ｖａが静止画を表示するための画像信号であるときは、初期フレームでは、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域を仮オブジェクト領域に決定し、当該仮オブジェクト領域をそのままオブジェクトＯＢの領域に決定し、初期フレーム以降の各フレームでも、初期フレームで決定されたオブジェクトＯＢの領域をそのまま当該フレームにおけるオブジェクトＯＢの領域とする。
またこの場合、画像信号Ｖａが動画を表示するための画像信号であるときは、初期フレームでは、ユーザがオブジェクトＯＢの領域内に塗りつぶし線ＬＮを描くことで塗りつぶされた領域を仮オブジェクト領域に決定し、当該仮オブジェクト領域と共に、この仮オブジェクト領域内の画素に続く一つまたは複数の画素であって、動きベクトルが当該仮オブジェクト領域内の画素と同じである画素を含む領域（隣接領域）を、オブジェクトＯＢの領域に決定し、初期フレーム以降の各フレームでは、初期フレームで決定されたオブジェクトＯＢの領域を動き情報に基づいて順次移動させて、当該フレームにおけるオブジェクトＯＢの領域とする。
次に、ステップＳＴ１５で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ１６で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ１７で、ユーザが調整し、ＲＡＭ５０３に記憶されている、画質パラメータｒ，ｚの値を取得し、ステップＳＴ１４で取得されたオブジェクト領域情報ＯＡＩに基づいて、その値あるいは変更した値を、使用すべき画質パラメータｒ，ｚの値として設定する。
この場合、画像信号Ｖｂにおける注目位置がオブジェクトＯＢの領域に対応しているときは、取得された画質パラメータｒ，ｚの値を、そのまま使用すべき画質パラメータｒ，ｚの値として設定する。一方、画像信号Ｖｂにおける注目位置がオブジェクトＯＢの領域以外の領域に対応しているときは、取得された画質パラメータｒ，ｚの値を画質が低下する方向に変更し、変更後の値を、使用すべき画質パラメータｒ，ｚの値として設定する。
次に、ステップＳＴ１８で、ステップＳＴ１６で生成されたクラスコードＣＬで示されるクラスの係数種データｗi0〜ｗi9およびステップＳＴ１７で設定された画質パラメータｒ，ｚの値を使用し、（２）式の生成式に基づいて、推定式の係数データＷｉを生成する。
次に、ステップＳＴ１９で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ２０で、ステップＳＴ１８で生成された係数データＷｉおよびステップＳＴ１９で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
次に、ステップＳＴ２１で、ステップＳＴ１１で入力された１フレーム分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１１に戻り、次の１フレーム分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、次の注目位置についての処理に移る。
このように、図１７に示すフローチャートに沿って処理をすることで、「第２の処理」に対応した処理が行われる。この処理で得られた画像信号Ｖｂは出力端子５１７に出力され、あるいはディスプレイ５１３に供給されてそれによる画像が表示され、あるいはＨＤＤ５０５に供給されて記録されたりする。
なお、上述実施の形態においては、「第２の処理」の機能が選択されるとき、ＤＲＣ−ボリウム処理部１１２で、オブジェクトＯＢの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が低下する方向に変更して用い、これにより背景ぼかしの特殊効果処理を行うようになっている。しかし、オブジェクトＯＢの領域ではユーザによって調整された画質パラメータｒ，ｚの値をそのまま用い、その他の領域ではユーザによって調整された画質パラメータｒ，ｚの値を画質が上昇する方向に変更して用いることも考えられる。また、「第２の処理」の機能が選択されるとき、オブジェクトＯＢの領域およびその他の領域における画質パラメータｒ，ｚの値を、ユーザの調整値とは無関係な固定値としてもよい。この固定値は、例えば、工場出荷時に設定されるか、あるいはその後にユーザによって設定される。
また、上述実施の形態においては、入力端子１１１に入力される画像信号Ｖinが静止画を表示するための画像信号であるか動画を表示するための画像信号であるかを、ユーザの操作により与えるものを示した。しかし、画像信号Ｖinに静止画表示用であるか動画表示用であるかを判別する情報が付加されいるか、あるいは画像信号Ｖinに関連して静止画表示用であるか動画表示用であるかの情報をＥＰＧ(Electronic Program Guide)情報等から取得できれば、それを利用するようにしてもよい。さらに、画像信号Ｖinに基づいてフレーム間マッチング処理等を行って、当該画像信号Ｖinが静止画表示用であるか動画表示用であるかを自動的に判別するようにしてもよい。
この発明は、所定のオブジェクトの領域とそれ以外の領域との画質を異にする特殊効果を簡単に実現できるものであり、例えば背景をぼかす特殊効果処理を行う装置に適用できる。
実施の形態としての画像信号処理装置の構成を示すブロック図である。 ＤＲＣ−ボリウム処理部の構成を示すブロック図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示す図である。 予測タップ、クラスタップのパターン例を示す図である。 ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。 係数種データの生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 オブジェクト抽出処理部の構成を示すブロック図である。 オブジェクト領域の指定動作を説明するための図である。 全体の動作を示すフローチャートである。 「第１の処理」における処理動作を示すフローチャートである。 「第２の処理」における処理動作を示すフローチャートである。 第２のオブジェクト抽出処理の動作を示すフローチャートである。 第１のオブジェクト抽出処理の動作を示すフローチャートである。 ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。 画像信号処理（第１の処理）の処理手順を示すフローチャートである。 画像信号処理（第２の処理）の処理手順を示すフローチャートである。
符号の説明
１００・・・画像信号処理装置、１０１・・・システムコントローラ、１０２・・・リモコン信号受信部、１０３・・・リモコン送信機、１０４・・・表示器、１１１・・・入力端子、１１２・・・ＤＲＣ−ボリウム処理部、１１３・・・オブジェクト抽出処理部、１１４・・・出力端子、２０１・・・入力端子、２０２・・・処理本体部、２０３・・・出力端子、２０４・・・制御部、２０５，２０６・・・入力端子、２１１・・・バッファメモリ、２１２・・・予測タップ選択部、２１３・・・クラスタップ選択部、２１４・・・クラス検出部、２１５・・・係数データ生成部、２１６・・・ＲＯＭ、２１７・・・推定予測演算部、２１８・・・後処理部、２５０・・・係数種データ生成装置、３０１・・・入力端子、３０２・・・処理本体部、３０３・・・出力端子、３０４・・・制御部、３０５・・・入力端子、３１１・・・バッファメモリ、３１２・・・検出領域決定部、３１３・・・オブジェクト特定部、３１４・・・動きベクトル検出部

Claims (14)

  1. 画像信号が入力される画像信号入力手段と、
    画質パラメータの値を発生するパラメータ発生手段と、
    上記画像信号入力手段に入力された第１の画像信号が、上記パラメータ発生手段で発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う画像信号処理手段と、
    上記画像信号入力手段に入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得するオブジェクト領域情報取得手段と、
    上記パラメータ発生手段で発生される上記画質パラメータの値が、上記オブジェクト領域情報取得手段で取得されたオブジェクト領域情報に基づいて、上記所定のオブジェクトの領域で第１の値となり、上記所定のオブジェクトの領域以外の領域で上記第１の値とは異なる第２の値となるように制御する制御手段と
    を備えることを特徴とする画像信号処理装置。
  2. 上記画質パラメータの値が上記第１の値であるときの画質は、上記画質パラメータの値が上記第２の値であるときの画質より高い
    ことを特徴とする請求項１に記載の画像信号処理装置。
  3. 上記画像信号処理手段は、
    上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
    推定式の係数データを生成する上記画質パラメータを含む生成式における係数データである係数種データを記憶する記憶部と、
    上記記憶部に記憶されている係数種データおよび上記パラメータ発生手段で発生された画質パラメータの値を用い、上記生成式に基づいて、上記パラメータ発生手段で発生された画質パラメータの値に対応した上記推定式の係数データを生成する係数データ生成部と、
    上記データ選択部で選択された複数の画素データおよび上記係数データ生成部で生成された係数データを用い、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算部とを有する
    ことを特徴とする請求項１に記載の画像信号処理装置。
  4. 上記所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力手段をさらに備え、
    上記オブジェクト領域情報取得手段は、上記オブジェクト領域指定情報入力手段に入力されたオブジェクト領域指定情報に基づいて、上記所定のオブジェクトの領域を示すオブジェクト領域情報を取得する
    ことを特徴とする請求項１に記載の画像信号処理装置。
  5. 上記所定のオブジェクトの動き情報を得るオブジェクト動き情報取得手段をさらに有し、
    上記オブジェクト領域情報取得手段は、上記オブジェクト領域指定情報入力手段に入力されたオブジェクト領域指定情報の他に、上記オブジェクト動き情報取得手段で取得された上記所定のオブジェクトの動き情報に基づいて、上記所定のオブジェクトの領域を示す上記オブジェクト領域情報を取得する
    ことを特徴とする請求項４に記載の画像信号処理装置。
  6. 上記オブジェクト動き情報取得手段は、
    上記画像信号入力手段に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出手段を備え、
    上記オブジェクト領域情報取得手段で取得されたオブジェクト領域情報で示される領域内の各画素に対応して上記動きベクトル検出手段で検出された各動きベクトルに基づいて、上記所定のオブジェクトの動き情報を得る
    ことを特徴とする請求項５に記載の画像信号処理装置。
  7. 上記オブジェクト動き情報取得手段は、上記各動きベクトルを平均して、上記所定のオブジェクトの動き情報としての平均動きベクトルを得る
    ことを特徴とする請求項６に記載の画像信号処理装置。
  8. 上記所定のオブジェクトの領域を指定するオブジェクト領域指定情報が入力されるオブジェクト領域指定情報入力手段と、
    上記画像信号入力手段に入力された画像信号に基づいて画素毎に動きベクトルを検出する動きベクトル検出手段とをさらに備え、
    上記オブジェクト領域情報取得手段は、上記オブジェクト領域指定情報入力手段に入力されたオブジェクト領域指定情報で示される領域と共に、該領域内の画素に続く一つまたは複数の画素であって、上記動きベクトル検出手段で検出される動きベクトルが該領域内の画素と同じである画素を含む領域を、上記所定のオブジェクトの領域として、上記オブジェクト領域情報を取得する
    ことを特徴とする請求項１に記載の画像信号処理装置。
  9. 上記画像信号入力手段に入力される画像信号は、動画を表示するための画像信号である
    ことを特徴とする請求項１に記載の画像信号処理装置。
  10. 上記画像信号入力手段に入力される画像信号は、放送信号から取得された画像信号である
    ことを特徴とする請求項１に記載の画像信号処理装置。
  11. 画質パラメータの値を発生する工程と、
    入力された第１の画像信号が上記発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う工程と、
    入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得する工程と、
    上記発生される画質パラメータの値が、上記取得されたオブジェクト領域情報に基づいて、上記所定のオブジェクトの領域で第１の値となり、上記所定のオブジェクトの領域以外の領域で上記第１の値とは異なる第２の値となるように制御する工程と
    を備えることを特徴とする画像信号処理方法。
  12. 上記画質パラメータの値が上記第１の値であるときの画質は、上記画質パラメータの値が上記第２の値であるときの画質より高い
    ことを特徴とする請求項１１に記載の画像信号処理方法。
  13. 画質パラメータの値を発生する工程と、
    入力された第１の画像信号が上記発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う工程と、
    入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得する工程と、
    上記発生される画質パラメータの値が、上記取得されたオブジェクト領域情報に基づいて、上記所定のオブジェクトの領域で第１の値となり、上記所定のオブジェクトの領域以外の領域で上記第１の値とは異なる第２の値となるように制御する工程と
    を備える画像信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
  14. 画質パラメータの値を発生する工程と、
    入力された第１の画像信号が上記発生された画質パラメータの値に応じた画質の第２の画像信号となるように処理を行う工程と、
    入力された画像信号による画像に含まれる所定のオブジェクトの領域を示すオブジェクト領域情報を取得する工程と、
    上記発生される画質パラメータの値が、上記取得されたオブジェクト領域情報に基づいて、上記所定のオブジェクトの領域で第１の値となり、上記所定のオブジェクトの領域以外の領域で上記第１の値とは異なる第２の値となるように制御する工程と
    を備える画像信号処理方法をコンピュータに実行させるためのプログラム。
JP2004248781A 2004-08-27 2004-08-27 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体 Pending JP2006067346A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004248781A JP2006067346A (ja) 2004-08-27 2004-08-27 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004248781A JP2006067346A (ja) 2004-08-27 2004-08-27 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体

Publications (1)

Publication Number Publication Date
JP2006067346A true JP2006067346A (ja) 2006-03-09

Family

ID=36113405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004248781A Pending JP2006067346A (ja) 2004-08-27 2004-08-27 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体

Country Status (1)

Country Link
JP (1) JP2006067346A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124639A (ja) * 2006-11-09 2008-05-29 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124639A (ja) * 2006-11-09 2008-05-29 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Similar Documents

Publication Publication Date Title
KR100939736B1 (ko) 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4696388B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体
JP4277446B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
JP4691835B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体
JP2006067346A (ja) 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体
JP4311258B2 (ja) 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体
JP4349086B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4311166B2 (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4662099B2 (ja) 情報信号処理装置およびそれにおける調整パラメータの設定方法
JP4441860B2 (ja) 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP4692798B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体
JP4691814B2 (ja) 情報信号処理装置および情報信号処理方法、並びに記録媒体
JP2006067345A (ja) 画像信号処理装置、その制御方法および画像信号処理システム
JP4649812B2 (ja) 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP4692800B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体
JP4692801B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法
JP4655483B2 (ja) 情報信号処理装置およびその方法、プログラム、並びに記録媒体
JP4232430B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP2003023609A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに情報提供媒体
JP2003052024A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法、並びに情報提供媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060613