JP2001298637A - 画像処理装置および方法、並びに記録媒体 - Google Patents

画像処理装置および方法、並びに記録媒体

Info

Publication number
JP2001298637A
JP2001298637A JP2001026941A JP2001026941A JP2001298637A JP 2001298637 A JP2001298637 A JP 2001298637A JP 2001026941 A JP2001026941 A JP 2001026941A JP 2001026941 A JP2001026941 A JP 2001026941A JP 2001298637 A JP2001298637 A JP 2001298637A
Authority
JP
Japan
Prior art keywords
class
image signal
pixel
tap
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001026941A
Other languages
English (en)
Other versions
JP4623345B2 (ja
JP2001298637A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideo Nakaya
秀雄 中屋
Tsutomu Watanabe
勉 渡辺
Hideki Otsuka
秀樹 大塚
Yasuaki Takahashi
康昭 高橋
Seiji Wada
成司 和田
Takahiro Nagano
隆浩 永野
Koji Ota
浩二 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001026941A priority Critical patent/JP4623345B2/ja
Publication of JP2001298637A publication Critical patent/JP2001298637A/ja
Publication of JP2001298637A5 publication Critical patent/JP2001298637A5/ja
Application granted granted Critical
Publication of JP4623345B2 publication Critical patent/JP4623345B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画素の画面上の位置にかかわらず、常に、よ
り高質な画像を生成する。 【解決手段】 有効画素領域算出回路11は、注目画素
のフレーム内における位置を示す位置情報を検出する。
欠落画素創造回路12は、位置情報に応じて、複数のク
ラスから注目画素のクラスを決定し、入力画像信号から
複数の画素を予測タップとして選択し、クラス毎に予め
学習により得られた変換データ、および、予測タップに
基づく演算処理を行うことにより、入力画像より高質な
出力画像信号を出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに記録媒体に関し、特に、画像を処理また
は変換する画像処理装置および方法、並びに記録媒体に
関する。
【0002】
【従来の技術】画像信号を高解像度化等高質化するため
の技術として、例えば、特開平9−74543号公報お
よび対応する米国特許5946044号明細書等に開示
されたクラス分類適応処理がある。
【0003】クラス分類適応処理では、入力画像信号の
各注目画素に対して、入力画像信号からクラスタップお
よび予測タップを取得し、クラスタップに基づいて注目
画素を予め設定したクラスのいずれかに分類し、分類さ
れたクラスに対応して選択される予め各クラス毎に学習
により生成された予測係数セットと予測タップとを用い
た演算を行うことで、入力画像信号より高質な出力画像
信号が生成される。
【0004】クラス分類適応処理では、クラスタップや
予測タップが画像の有効範囲の外に位置する画素となる
ことがある。ここで、有効範囲の外の画素の画素値は正
常な値を有していない可能性が高い。従って、従来のク
ラス分類適応処理では、クラスタップや予測タップが画
像の有効範囲の外に位置する場合には、図1に示すよう
にマスクをして使用しないようにしていた。
【0005】このクラス分類適応処理の一例として、誤
り訂正符号などによって訂正することができなかった
り、パケットロス等により欠落した画素を周辺の欠落し
ていない画素をクラスタップおよび予測タップとして用
いてクラス分類適応処理を行うことで欠落した画素を生
成するものがある。
【0006】この場合にも図1に示すように、対象とな
る画素の周辺に位置する画素の画素値を利用したクラス
分類適応処理により、その画素値を設定することができ
る。
【0007】従来は、画面全体において、欠落した画素
との位置関係が相対的に同様の位置にある画素が利用さ
れる、いわゆるタップ構造が同じ処理が実行される。
【0008】欠落した画素の周辺に位置する画素が画像
の有効範囲の外に位置する場合、設定された画素値は、
正常な値を有しない。このため、生成された画像におい
て、このような画像の端部に位置する画素は、図1に示
すように、マスクされ、利用されない。
【0009】また、従来は、画面上の画素の物理的位置
にかかわらず同様の処理が実行されるだけであった。
【0010】
【発明が解決しようとする課題】しかしながら、画像が
マスクされると、画像のサイズが小さくなり、実質的
に、生成される画像の解像度が低下することとなる。ま
た、画素の画面上の位置に対応して処理内容が変化する
ことはなく、画素の画面上の物理的位置にかかわらず同
様の処理が実行されるので、高質化があまり図られない
ことがある。
【0011】本発明はこのような状況に鑑みてなされた
ものであり、画素の画面上の位置にかかわらず、常に、
より高質な画像を生成することができるようにすること
を目的とする。
【0012】
【課題を解決するための手段】本発明の第1の画像処理
装置は、複数の画素からなる入力画像信号の注目画素の
フレーム内における位置を示す位置情報を検出する位置
検出手段と、位置情報に応じて、複数のクラスから注目
画素のクラスを決定するクラス決定手段と、入力画像信
号から複数の画素を予測タップとして選択する予測タッ
プ選択手段と、クラス毎に予め学習により得られた変換
データ、および、予測タップに基づく演算処理を行うこ
とにより、入力画像より高質な出力画像信号を出力する
演算手段とを備えることを特徴とする。
【0013】クラス決定手段は、位置情報がフレーム中
の有効領域と無効領域のどちらを示すかにより、クラス
を決定するようにすることができる。
【0014】クラス決定手段は、位置情報で示されるフ
レームの中心からの距離に基づいて、クラスを決定する
ようにすることができる。
【0015】クラス決定手段は、位置情報が、フレーム
内でテロップが挿入される位置と一致することを示すか
否かに基づいて、クラスを決定するようにすることがで
きる。
【0016】画像処理装置は、入力画像信号の仮注目画
素の動きに応じて、注目画素を決定する注目画素決定手
段をさらに設けることができる。
【0017】画像処理装置は、仮注目画素の動きを検出
する動き検出手段をさらに設けることができる。
【0018】演算手段は、出力画像信号として、入力画
像信号に含まれる欠落画素の情報も含む画像信号を出力
するようにすることができる。
【0019】演算手段は、出力画像信号として、入力画
像信号よりノイズの低減された画像信号を出力するよう
にすることができる。
【0020】演算手段は、出力画像信号として、入力画
像信号より高解像度の画像信号を出力するようにするこ
とができる。
【0021】演算手段は、出力画像信号として、入力画
像信号よりレンズの収差による歪みが低減された画像信
号を出力するようにすることができる。
【0022】本発明の第1の画像処理方法は、複数の画
素からなる入力画像信号の注目画素のフレーム内におけ
る位置を示す位置情報を検出する位置検出ステップと、
位置情報に応じて、複数のクラスから注目画素のクラス
を決定するクラス決定ステップと、入力画像信号から複
数の画素を予測タップとして選択する予測タップ選択ス
テップと、クラス毎に予め学習により得られた変換デー
タ、および、予測タップに基づく演算処理を行うことに
より、入力画像より高質な出力画像信号を出力する演算
ステップとを含むことを特徴とする。
【0023】本発明の第1の記録媒体のプログラムは、
複数の画素からなる入力画像信号の注目画素のフレーム
内における位置を示す位置情報を検出する位置検出ステ
ップと、位置情報に応じて、複数のクラスから注目画素
のクラスを決定するクラス決定ステップと、入力画像信
号から複数の画素を予測タップとして選択する予測タッ
プ選択ステップと、クラス毎に予め学習により得られた
変換データ、および、予測タップに基づく演算処理を行
うことにより、入力画像より高質な出力画像信号を出力
する演算ステップとを含むことを特徴とする。
【0024】本発明の第2の画像処理装置は、複数の画
素からなる入力画像信号の注目画素のフレーム内におけ
る位置を示す位置情報を検出する位置検出手段と、注目
画素との位置関係が、位置情報に応じて可変される複数
の画素を、入力画像信号からクラスタップとして選択す
るクラスタップ選択手段と、クラスタップに基づいて、
複数のクラスから注目画素のクラスを決定するクラス決
定手段と、入力画像信号から複数の画素を予測タップと
して選択する予測タップ選択手段と、クラス毎に予め学
習により得られた変換データ、および、予測タップに基
づく演算処理を行うことにより、入力画像より高質な出
力画像信号を出力する演算手段とを備えることを特徴と
する。
【0025】クラスタップ選択手段は、位置情報がフレ
ーム中の有効領域と無効領域のどちらを示すかに応じて
可変される複数の画素をクラスタップとして選択するよ
うにすることができる。
【0026】クラスタップ選択手段は、位置情報で示さ
れるフレームの中心からの距離に基づいて可変される複
数の画素をクラスタップとして選択するようにすること
ができる。
【0027】クラスタップ選択手段は、位置情報が、フ
レーム内でテロップが挿入される位置と一致することを
示すか否かに基づいて可変される複数の画素をクラスタ
ップとして選択するようにすることができる。
【0028】画像処理装置は、入力画像信号の仮注目画
素の動きに応じて、注目画素を決定する注目画素決定手
段をさらに設けることができる。
【0029】画像処理装置は、仮注目画素の動きを検出
する動き検出手段をさらに設けることができる。
【0030】演算手段は、出力画像信号として、入力画
像信号に含まれる欠落画素の情報も含む画像信号を出力
するようにすることができる。
【0031】演算手段は、出力画像信号として、入力画
像信号よりノイズの低減された画像信号を出力するよう
にすることができる。
【0032】演算手段は、出力画像信号として、入力画
像信号より高解像度の画像信号を出力するようにするこ
とができる。
【0033】演算手段は、出力画像信号として、入力画
像信号よりレンズの収差による歪みが低減された画像信
号を出力するようにすることができる。
【0034】本発明の第2の画像処理方法は、複数の画
素からなる入力画像信号の注目画素のフレーム内におけ
る位置を示す位置情報を検出する位置検出ステップと、
注目画素との位置関係が、位置情報に応じて可変される
複数の画素を、入力画像信号からクラスタップとして選
択するクラスタップ選択ステップと、クラスタップに基
づいて、複数のクラスから注目画素のクラスを決定する
クラス決定ステップと、入力画像信号から複数の画素を
予測タップとして選択する予測タップ選択ステップと、
クラス毎に予め学習により得られた変換データ、およ
び、予測タップに基づく演算処理を行うことにより、入
力画像より高質な出力画像信号を出力する演算ステップ
とを含むことを特徴とする。
【0035】本発明の第2の記録媒体のプログラムは、
複数の画素からなる入力画像信号の注目画素のフレーム
内における位置を示す位置情報を検出する位置検出ステ
ップと、注目画素との位置関係が、位置情報に応じて可
変される複数の画素を、入力画像信号からクラスタップ
として選択するクラスタップ選択ステップと、クラスタ
ップに基づいて、複数のクラスから注目画素のクラスを
決定するクラス決定ステップと、入力画像信号から複数
の画素を予測タップとして選択する予測タップ選択ステ
ップと、クラス毎に予め学習により得られた変換デー
タ、および、予測タップに基づく演算処理を行うことに
より、入力画像より高質な出力画像信号を出力する演算
ステップとを含むことを特徴とする。
【0036】本発明の第3の画像処理装置は、複数の画
素からなる入力画像信号の注目画素のフレーム内におけ
る位置を示す位置情報を検出する位置検出手段と、入力
画像信号から複数の画素をクラスタップとして選択する
クラスタップ選択手段と、クラスタップに基づいて、複
数のクラスから注目画素のクラスを決定するクラス決定
手段と、注目画素との位置関係が、位置情報に応じて可
変される複数の画素を、入力画像信号から予測タップと
して選択する予測タップ選択手段と、クラス毎に予め学
習により得られた変換データ、および、予測タップに基
づく演算処理を行うことにより、入力画像より高質な出
力画像信号を出力する演算手段とを備えることを特徴と
する。
【0037】予測タップ選択手段は、位置情報がフレー
ム中の有効領域と無効領域のどちらを示すかに応じて位
置関係が可変される複数の画素を予測タップとして選択
するようにすることができる。
【0038】予測タップ選択手段は、位置情報で示され
るフレームの中心からの距離に基づいて位置関係が可変
される複数の画素を予測タップとして選択するようにす
ることができる。
【0039】予測タップ選択手段は、位置情報が、フレ
ーム内でテロップが挿入される位置と一致することを示
すか否かに基づいて位置関係が可変される複数の画素を
予測タップとして選択するようにすることができる。
【0040】画像処理装置は、入力画像信号の仮注目画
素動きに応じて、注目画素を決定する注目画素決定手段
をさらに設けることができる。
【0041】画像処理装置は、仮注目画素の動きを検出
する動き検出手段をさらに設けることができる。
【0042】演算手段は、出力画像信号として、入力画
像信号に含まれる欠落画素の情報も含む画像信号を出力
するようにすることができる。
【0043】演算手段は、出力画像信号として、入力画
像信号よりノイズの低減された画像信号を出力するよう
にすることができる。
【0044】演算手段は、出力画像信号として、入力画
像信号より高解像度の画像信号を出力するようにするこ
とができる。
【0045】演算手段は、出力画像信号として、入力画
像信号よりレンズの収差による歪みが低減された画像信
号を出力するようにすることができる。
【0046】本発明の第3の画像処理方法は、複数の画
素からなる入力画像信号の注目画素のフレーム内におけ
る位置を示す位置情報を検出する位置検出ステップと、
入力画像信号から複数の画素をクラスタップとして選択
するクラスタップ選択ステップと、クラスタップに基づ
いて、複数のクラスから注目画素のクラスを決定するク
ラス決定ステップと、注目画素との位置関係が、位置情
報に応じて可変される複数の画素を、入力画像信号から
予測タップとして選択する予測タップ選択ステップと、
クラス毎に予め学習により得られた変換データ、およ
び、予測タップに基づく演算処理を行うことにより、入
力画像より高質な出力画像信号を出力する演算ステップ
とを含むことを特徴とする。
【0047】本発明の第3の記録媒体のプログラムは、
複数の画素からなる入力画像信号の注目画素のフレーム
内における位置を示す位置情報を検出する位置検出ステ
ップと、入力画像信号から複数の画素をクラスタップと
して選択するクラスタップ選択ステップと、クラスタッ
プに基づいて、複数のクラスから注目画素のクラスを決
定するクラス決定ステップと、注目画素との位置関係
が、位置情報に応じて可変される複数の画素を、入力画
像信号から予測タップとして選択する予測タップ選択ス
テップと、クラス毎に予め学習により得られた変換デー
タ、および、予測タップに基づく演算処理を行うことに
より、入力画像より高質な出力画像信号を出力する演算
ステップとを含むことを特徴とする。
【0048】本発明の第4の画像処理装置は、複数の画
素からなる入力画像信号の各注目画素に対して、入力画
像信号から複数の画素を仮クラスタップとして選択する
仮クラスタップ選択手段と、仮クラスタップのフレーム
内における位置に応じて注目画素との位置関係が可変さ
れる複数の画素を、入力画像信号から真クラスタップと
して選択する真クラスタップ選択手段と、真クラスタッ
プに基づいて、複数のクラスから注目画素のクラスを決
定するクラス決定手段と、入力画像信号から複数の画素
を予測タップとして選択する予測タップ選択手段と、ク
ラス毎に予め学習により得られた変換データ、および、
予測タップに基づく演算処理を行うことにより、入力画
像より高質な出力画像信号を出力する演算手段とを備え
ることを特徴とする。
【0049】真クラスタップ選択手段は、仮クラスタッ
プの複数の画素それぞれが、フレーム中の無効画像領域
に位置する際に、無効画像領域に位置する画素に代え
て、フレーム中の有効画像領域の画素を真クラスタップ
として選択するようにすることができる。
【0050】真クラスタップ選択手段は、仮クラスタッ
プのフレームの中心からの距離に基づいて、真クラスタ
ップを選択するようにすることができる。
【0051】真クラスタップ選択手段は、仮クラスタッ
プと、フレーム内でテロップが挿入される位置を示す位
置情報に基づいて、真クラスタップを選択するようにす
ることができる。
【0052】画像処理装置は、入力画像信号の仮注目画
素の動きに応じて、注目画素を決定する注目画素決定手
段をさらに設けることができる。
【0053】画像処理装置は、仮注目画素の動きを検出
する動き検出手段をさらに設けることができる。
【0054】演算手段は、出力画像信号として、入力画
像信号に含まれる欠落画素の情報も含む画像信号を出力
するようにすることができる。
【0055】演算手段は、出力画像信号として、入力画
像信号よりノイズの低減された画像信号を出力するよう
にすることができる。
【0056】演算手段は、出力画像信号として、入力画
像信号より高解像度の画像信号を出力するようにするこ
とができる。
【0057】演算手段は、出力画像信号として、入力画
像信号よりレンズの収差による歪みが低減された画像信
号を出力するようにすることができる。
【0058】本発明の第4の画像処理方法は、複数の画
素からなる入力画像信号の各注目画素に対して、入力画
像信号から複数の画素を仮クラスタップとして選択する
仮クラスタップ選択ステップと、仮クラスタップのフレ
ーム内における位置に応じて注目画素との位置関係が可
変される複数の画素を、入力画像信号から真クラスタッ
プとして選択する真クラスタップ選択ステップと、真ク
ラスタップに基づいて、複数のクラスから注目画素のク
ラスを決定するクラス決定ステップと、入力画像信号か
ら複数の画素を予測タップとして選択する予測タップ選
択ステップと、クラス毎に予め学習により得られた変換
データ、および、予測タップに基づく演算処理を行うこ
とにより、入力画像より高質な出力画像信号を出力する
演算ステップとを含むことを特徴とする。
【0059】本発明の第4の記録媒体のプログラムは、
複数の画素からなる入力画像信号の各注目画素に対し
て、入力画像信号から複数の画素を仮クラスタップとし
て選択する仮クラスタップ選択ステップと、仮クラスタ
ップのフレーム内における位置に応じて注目画素との位
置関係が可変される複数の画素を、入力画像信号から真
クラスタップとして選択する真クラスタップ選択ステッ
プと、真クラスタップに基づいて、複数のクラスから注
目画素のクラスを決定するクラス決定ステップと、入力
画像信号から複数の画素を予測タップとして選択する予
測タップ選択ステップと、クラス毎に予め学習により得
られた変換データ、および、予測タップに基づく演算処
理を行うことにより、入力画像より高質な出力画像信号
を出力する演算ステップとを含むことを特徴とする。
【0060】本発明の第5の画像処理装置は、複数の画
素からなる入力画像信号の各注目画素に対して、入力画
像信号から複数の画素をクラスタップとして選択するク
ラスタップ選択手段と、クラスタップに基づいて、複数
のクラスから注目画素のクラスを決定するクラス決定手
段と、各注目画素に対して、入力画像信号から複数の画
素を仮予測タップとして選択する仮予測タップ選択手段
と、仮予測タップのフレーム内における位置に応じて注
目画素との位置関係が可変される複数の画素を、入力画
像信号から真予測タップとして選択する真予測タップ選
択手段と、クラス毎に予め学習により得られた変換デー
タ、および、真予測タップに基づく演算処理を行うこと
により、入力画像より高質な出力画像信号を出力する演
算手段とを備えることを特徴とする。
【0061】真予測タップ選択手段は、仮予測タップの
複数の画素それぞれが、フレーム中の無効画像領域に位
置する際に、無効画像領域に位置する画素に代えて、フ
レーム中の有効画像領域の画素を真予測タップとして選
択するようにすることができる。
【0062】真予測タップ選択手段は、仮予測タップの
フレームの中心からの距離に基づいて、真予測タップを
選択するようにすることができる。
【0063】真予測タップ選択手段は、仮予測タップ
と、フレーム内でテロップが挿入される位置を示す位置
情報に基づいて、真予測タップを選択するようにするこ
とができる。
【0064】画像処理装置は、入力画像信号の仮注目画
素の動きに応じて、注目画素を決定する注目画素決定手
段をさらに設けることができる。
【0065】画像処理装置は、仮注目画素の動きを検出
する動き検出手段をさらに設けることができる。
【0066】演算手段は、出力画像信号として、入力画
像信号に含まれる欠落画素の情報も含む画像信号を出力
するようにすることができる。
【0067】演算手段は、出力画像信号として、入力画
像信号よりノイズの低減された画像信号を出力するよう
にすることができる。
【0068】演算手段は、出力画像信号として、入力画
像信号より高解像度の画像信号を出力するようにするこ
とができる。
【0069】演算手段は、出力画像信号として、入力画
像信号よりレンズの収差による歪みが低減された画像信
号を出力するようにすることができる。
【0070】本発明の第5の画像処理方法は、複数の画
素からなる入力画像信号の各注目画素に対して、入力画
像信号から複数の画素をクラスタップとして選択するク
ラスタップ選択ステップと、クラスタップに基づいて、
複数のクラスから注目画素のクラスを決定するクラス決
定ステップと、各注目画素に対して、入力画像信号から
複数の画素を仮予測タップとして選択する仮予測タップ
選択ステップと、仮予測タップのフレーム内における位
置に応じて注目画素との位置関係が可変される複数の画
素を、入力画像信号から真予測タップとして選択する真
予測タップ選択ステップと、クラス毎に予め学習により
得られた変換データ、および、真予測タップに基づく演
算処理を行うことにより、入力画像より高質な出力画像
信号を出力する演算ステップとを含むことを特徴とす
る。
【0071】本発明の第5の記録媒体のプログラムは、
複数の画素からなる入力画像信号の各注目画素に対し
て、入力画像信号から複数の画素をクラスタップとして
選択するクラスタップ選択ステップと、クラスタップに
基づいて、複数のクラスから注目画素のクラスを決定す
るクラス決定ステップと、各注目画素に対して、入力画
像信号から複数の画素を仮予測タップとして選択する仮
予測タップ選択ステップと、仮予測タップのフレーム内
における位置に応じて注目画素との位置関係が可変され
る複数の画素を、入力画像信号から真予測タップとして
選択する真予測タップ選択ステップと、クラス毎に予め
学習により得られた変換データ、および、真予測タップ
に基づく演算処理を行うことにより、入力画像より高質
な出力画像信号を出力する演算ステップとを含むことを
特徴とする。
【0072】本発明の第1の画像処理装置および方法、
並びに記録媒体においては、複数の画素からなる入力画
像信号の注目画素のフレーム内における位置を示す位置
情報が検出され、位置情報に応じて、複数のクラスから
注目画素のクラスが決定され、入力画像信号から複数の
画素が予測タップとして選択され、クラス毎に予め学習
により得られた変換データ、および、予測タップに基づ
く演算処理を行うことにより、入力画像より高質な出力
画像信号が出力される。
【0073】本発明の第2の画像処理装置および方法、
並びに記録媒体においては、複数の画素からなる入力画
像信号の注目画素のフレーム内における位置を示す位置
情報が検出され、注目画素との位置関係が、位置情報に
応じて可変される複数の画素が、入力画像信号からクラ
スタップとして選択され、クラスタップに基づいて、複
数のクラスから注目画素のクラスが決定され、入力画像
信号から複数の画素が予測タップとして選択され、クラ
ス毎に予め学習により得られた変換データ、および、予
測タップに基づく演算処理を行うことにより、入力画像
より高質な出力画像信号が出力される。
【0074】本発明の第3の画像処理装置および方法、
並びに記録媒体においては、複数の画素からなる入力画
像信号の注目画素のフレーム内における位置を示す位置
情報が検出され、入力画像信号から複数の画素がクラス
タップとして選択され、クラスタップに基づいて、複数
のクラスから注目画素のクラスが決定され、注目画素と
の位置関係が、位置情報に応じて可変される複数の画素
が、入力画像信号から予測タップとして選択され、クラ
ス毎に予め学習により得られた変換データ、および、予
測タップに基づく演算処理を行うことにより、入力画像
より高質な出力画像信号が出力される。
【0075】本発明の第4の画像処理装置および方法、
並びに記録媒体においては、複数の画素からなる入力画
像信号の各注目画素に対して、入力画像信号から複数の
画素が仮クラスタップとして選択され、仮クラスタップ
のフレーム内における位置に応じて注目画素との位置関
係が可変される複数の画素が、入力画像信号から真クラ
スタップとして選択され、真クラスタップに基づいて、
複数のクラスから注目画素のクラスが決定され、入力画
像信号から複数の画素が予測タップとして選択され、ク
ラス毎に予め学習により得られた変換データ、および、
予測タップに基づく演算処理を行うことにより、入力画
像より高質な出力画像信号が出力される。
【0076】本発明の第5の画像処理装置および方法、
並びに記録媒体においては、複数の画素からなる入力画
像信号の各注目画素に対して、入力画像信号から複数の
画素がクラスタップとして選択され、クラスタップに基
づいて、複数のクラスから注目画素のクラスが決定さ
れ、各注目画素に対して、入力画像信号から複数の画素
が仮予測タップとして選択され、仮予測タップのフレー
ム内における位置に応じて注目画素との位置関係が可変
される複数の画素が、入力画像信号から真予測タップと
して選択され、クラス毎に予め学習により得られた変換
データ、および、真予測タップに基づく演算処理を行う
ことにより、入力画像より高質な出力画像信号が出力さ
れる。
【0077】
【発明の実施の形態】図2は、本発明に係る画像処理装
置の一実施の形態の構成を示す図である。有効画素領域
算出回路11は、欠落画素創造回路12に入力される画
像に同期した垂直同期信号、および水平同期信号を基
に、欠落画素創造回路12に入力される画像の画素が有
効画素領域に位置するか否かを示す、有効画素領域垂直
フラグVFおよび有効画素領域水平フラグHFを生成して、
欠落画素創造回路12に出力する。以下において、画素
は、タップとも称し、画素値は、タップデータとも称す
る。
【0078】欠落画素創造回路12は、入力された画像
および画像の各画素に対応する欠落フラグLF、並びに有
効画素領域算出回路11から供給された有効画素領域垂
直フラグVFおよび有効画素領域水平フラグHFを基に、入
力された画像に含まれる欠落画素に対応する画素を創造
して、欠落画素を創造した画素に置き換えて出力する。
【0079】図3は、有効画素領域算出回路11の構成
の例を示す図である。垂直同期信号検出回路41は、入
力された垂直同期信号を基に、画像の各画素が、画面の
垂直方向に有効画素領域内であるか否かを示すデータ
(以下、垂直有効画素領域データと称する)を生成し
て、有効領域算出回路43に供給する。水平同期信号検
出回路42は、入力された水平同期信号を基に、画像の
各画素が、画面の水平方向に有効画素領域内であるか否
かを示すデータ(以下、水平有効画素領域データと称す
る)を生成して、有効領域算出回路43に供給する。
【0080】有効領域算出回路43は、垂直同期信号検
出回路41から供給された垂直有効画素領域データを補
正して、有効画素領域垂直フラグVFとして欠落画素創造
回路12に出力する。
【0081】有効画素領域垂直フラグVFは、例えば、図
4に示すように、ディスプレイの有効範囲内において、
0の値が設定され、ディスプレイの有効範囲外におい
て、1の値が設定される。
【0082】有効領域算出回路43は、水平同期信号検
出回路42から供給された水平有効画素領域データを補
正して、有効画素領域水平フラグHFとして欠落画素創造
回路12に出力する。
【0083】有効画素領域水平フラグHFは、例えば、図
4に示すように、ディスプレイの有効範囲内において、
0の値が設定され、ディスプレイの有効範囲外におい
て、1の値が設定される。
【0084】欠落画素創造回路12は、有効画素領域算
出回路11から供給された、有効画素領域垂直フラグVF
および有効画素領域水平フラグHFを基に、入力された画
像の各画素が有効画素領域内に位置するか否かを知るこ
とができる。
【0085】次に、欠落画素創造回路12について説明
する。欠落画素創造回路12に入力される画像がインタ
ーレースであるとき、注目しているフィールドの画素の
位置は、注目しているフィールドの1つ前または1つ後
のフィールドの画素の位置に対して、垂直方向に1/2ず
れた位置にある。
【0086】欠落画素創造回路12は、クラス分類適応
処理により、図5に示すように、創造の対象となる画素
と同一のフィールド(図中のフィールドk)にある周辺
の画素の画素値、1つ前のフィールド(図中のフィール
ドk−1)に存在する画素の画素値、並びに2つ前のフ
ィールド(図中のフィールドk−2)に存在する画素の
画素値を基に、欠落画素の画素値を創造する。
【0087】創造の対象となる欠落画素が、画像の端部
に位置する場合、図6に示すように、欠落画素創造回路
12は、有効画素領域算出回路11から供給された有効
画素領域垂直フラグVFおよび有効画素領域水平フラグHF
を基に、画像の有効範囲に位置する画素のみ(画像の有
効範囲外に位置する画素は切り捨てられる)を選択し
て、選択した画素を基に欠落画素の画素値を創造する。
【0088】創造の対象となる欠落画素が、画像の端部
に位置する場合、図7に示すように、欠落画素創造回路
12は、有効画素領域算出回路11から供給された有効
画素領域垂直フラグVFおよび有効画素領域水平フラグHF
を基に、画像の有効範囲に位置する画素を対象としたタ
ップ構造に適応的に切り替えることで、有効な画素をタ
ップとして選択して、欠落画素の画素値を創造するよう
にしてもよい。
【0089】図8は、欠落画素創造回路12の構成の例
を示すブロック図である。欠落画素創造回路12に入力
された画素値および画素の欠落を示す欠落フラグLFは、
前処理回路101およびタップ構築回路102−1に供
給される。
【0090】有効画素領域算出回路11から入力された
有効画素領域垂直フラグVFおよび有効画素領域水平フラ
グHFは、前処理回路101、タップ構築回路102−1
乃至102−5、クラス合成回路107、および係数保
持クラスコード選択回路109に供給される。
【0091】前処理回路101は、有効画素領域垂直フ
ラグVFおよび有効画素領域水平フラグHFを基に、有効画
素領域外に位置する画素の欠落フラグLFを設定する。例
えば、”1”である欠落フラグLFは、その画素値が欠落
していることを示し、”0”である欠落フラグLFは、そ
の画素値が欠落していないことを示す。前処理回路10
1は、画素値および画素に対応する欠落フラグLFを基
に、有効画素領域内の欠落している画素の値を線形補間
フィルタで生成し、欠落画素にその値を設定し、タップ
構築回路102−2乃至102−5に供給する。すなわ
ち、前処理回路101は、画素が欠落しているとき、欠
落している画素の数だけ予測タップの数を増やす。
【0092】但し、後述するように、クラスタップは、
欠落している画素を含まず、クラス分類の処理は、前処
理回路101により生成された画素値を使用しない。
【0093】前処理回路101の処理を図9のフローチ
ャートを参照して説明する。ステップS11において、
前処理回路101は、欠落フラグLFを基に、対象画素が
欠落しているか否かを判定し、対象画素が欠落していな
いと判定された場合、ステップS12に進み、対象画素
の画素値を、対象画素に設定し、処理は終了する。
【0094】ステップS11において、対象画素が欠落
していると判定された場合、ステップS13に進み、前
処理回路101は、欠落フラグLFを基に、対象画素の水
平方向において隣接している2つの画素のいずれかが欠
落しているか否かを判定する。ステップS13におい
て、対象画素の水平方向において隣接している2つの画
素のいずれも欠落していないと判定された場合、ステッ
プS14に進み、前処理回路101は、対象画素の水平
方向において隣接している2つの画素の画素値の平均値
を対象画素の画素値に設定し、処理は終了する。
【0095】ステップS13において、対象画素の水平
方向において隣接している2つの画素のいずれかが欠落
していると判定された場合、ステップS15に進み、前
処理回路101は、対象画素の水平方向において隣接し
ている2つの画素のいずれも欠落しているか否かを判定
する。ステップS15において、対象画素の水平方向に
おいて隣接している2つの画素のいずれかが欠落してい
ないと判定された場合、ステップS16に進み、前処理
回路101は、対象画素の水平に隣接している、欠落し
ていない画素の画素値を対象画素の画素値に設定し、処
理は終了する。
【0096】ステップS15において、対象画素の水平
に隣接している画素のいずれも欠落していると判定され
た場合、ステップS17に進み、前処理回路101は、
欠落フラグLFを基に、対象画素の垂直方向において隣接
している2つの画素のいずれかが欠落しているか否かを
判定する。ステップS17において、対象画素の垂直方
向において隣接している2つの画素のいずれも欠落して
いないと判定された場合、ステップS18に進み、前処
理回路101は、対象画素の垂直に隣接している2つの
画素の画素値の平均値を対象画素の画素値に設定し、処
理は終了する。
【0097】ステップS17において、対象画素の垂直
方向において隣接している2つの画素のいずれかが欠落
していると判定された場合、ステップS19に進み、前
処理回路101は、欠落フラグLFを基に、対象画素に隣
接している全ての画素が欠落しているか否かを判定す
る。ステップS19において、対象画素に隣接している
いずれかの画素が欠落していないと判定された場合、ス
テップS20に進み、前処理回路101は、対象画素に
隣接している、欠落していない画素の画素値を対象画素
の画素値に設定し、処理は終了する。
【0098】ステップS19において、対象画素に隣接
している全ての画素が欠落していると判定された場合、
ステップS21に進み、前処理回路101は、対象画素
と同じ位置の過去のフレームの画素の画素値を、対象画
素の画素値に設定し、処理は終了する。
【0099】以上のように、前処理回路101は、有効
画素領域内の処理の対象画素の画素値を周辺の画素の画
素値から線形に補間する。前処理回路101による補間
処理により、これに続く処理で使用できるタップの範囲
を広げることができる。
【0100】タップ構築回路102−1は、有効画素領
域垂直フラグVFおよび有効画素領域水平フラグHFを基
に、有効画素領域外に位置する画素の欠落フラグLFをセ
ットし、有効画素領域外に位置する画素の欠落フラグLF
をリセットして、欠落フラグLFを欠落フラグタップSLFT
1として動きクラス生成回路103に供給する。タップ
構築回路102−1は、有効画素領域内の欠落していな
い画素からなる、動きクラスタップTD1を選択して、選
択した動きクラスタップTD1を動きクラス生成回路10
3に供給する。
【0101】動きクラス生成回路103は、イニシャラ
イズ回路111から供給されたパラメータ、並びにタッ
プ構築回路102−1から供給された欠落フラグタップ
SLFT1および選択された動きクラスタップTD1を基に、動
きクラスコードMCCおよび静動フラグSMFを生成し、タッ
プ構築回路102−2乃至102−5およびクラス合成
回路107に出力する。動きクラスコードMCCは、動き
の量を示す2ビットの情報を有し、静動フラグSMFは、
動きの有り無しを1ビットで示す。
【0102】図10は、動きクラス生成回路103の構
成を示す図である。タップ構築回路102−1から供給
された、欠落フラグタップSLFT1および動きクラスタッ
プTD1は、動き検出回路151に供給される。動き検出
回路151は、欠落フラグタップSLFT1および動きクラ
スタップTD1を基に、動きクラスコードMCCを生成して、
出力するとともに、生成した動きクラスコードMCCを静
動判定回路152に供給する。
【0103】次に、動き検出回路151の構成につい
て、図11のブロック図を参照して説明する。時間アク
ティビティ算出回路181は、タップ構築回路102−
1から供給された欠落フラグタップSLFT1および動きク
ラスタップTD1を基に、例えば、欠落していない有効領
域内の画素であって、創造の対象画素を中心とした3×
3の画素(動きクラスタップTD1に含まれる)と、1つ
前のフレームの、欠落していない有効領域内の画素であ
って、対応する位置の3×3の画素(動きクラスタップ
TD1に含まれる)との、それぞれの画素値の差の絶対値
を加算した時間アクティビティを算出し、動き判定回路
184に供給する。時間アクティビティ算出回路181
は、欠落している画素を使用せず、欠落していない画素
のみを使用して、時間アクティビティを算出する。
【0104】図12(A)は、時間アクティビティの算
出に使用される、創造の対象画素を中心とした3×3の
画素の例を示す図である。図12(A)において、”エ
ラー”は、欠落画素を示す。図12(B)は、図12
(A)に示された画素に対応する、1つ前のフレームの
3×3の画素の例を示す図である。図12(A)および
図12(B)に示されるL1乃至L3は、それぞれライ
ンを示し、ラインの同一の番号は、垂直方向に同一の位
置であることを示す。図12(A)および図12(B)
に示されるH1乃至H3は、それぞれ画素の水平方向の
位置を示し、その同一の番号は、水平方向に同一の位置
であることを示す。
【0105】欠落している画素は使用されないので、図
12(A)および図12(B)に示される場合におい
て、時間アクティビティは、式(1)で算出される。
【0106】 時間アクティビティ={|(q2)−(p2)|+|(q3)−(p3)|+ |(q4)−(p4)|+|(q6)−(p6)|+ |(q7)−(p7)|+|(q9)−(p9)|}/v (1) 式(1)において、()は、画素の画素値を表し、||
は、絶対値を求める関数を表し、vは、創造の対象画素
が存在するフレームの画素の数から、欠落している画素
の数を減じた数を表す。
【0107】空間アクティビティ算出回路182は、タ
ップ構築回路102−1から供給された欠落フラグタッ
プSLFT1および動きクラスタップTD1を基に、例えば、創
造の対象画素を中心とした3×3の画素の最大値と最小
値との差に1を加算した空間アクティビティを算出し、
閾値設定回路183に供給する。
【0108】図13は、空間アクティビティの算出に使
用される、創造の対象となる欠落画素を中心とした3×
3の画素の例を示す図である。空間アクティビティは、
式(2)で算出される。
【0109】 空間アクティビティ=Max(qi)−Min(qi)+1 (2) 式(2)において、Max(qi)は、q1乃至q9の
画素値の最大値を示す。Min(qi)は、q1乃至q
9の画素値の最小値を示す。
【0110】閾値設定回路183は、空間アクティビテ
ィ算出回路182から供給された空間アクティビティを
基に、閾値設定回路183に予め記憶されている動き判
定の閾値を選択し、選択した閾値を動き判定回路184
に供給する。動き判定回路184に供給される動き判定
の閾値は、空間アクティビティの値によって、それぞれ
異なる値を有する閾値が選択される。
【0111】動き判定回路184は、閾値設定回路18
3から供給された動き判定の閾値、および時間アクティ
ビティ算出回路181から供給された時間アクティビテ
ィから、動きクラスコードMCCを設定し、多数決判定回
路185、遅延回路186、およびセレクタ187に供
給する。
【0112】図14は、動き判定の閾値を説明する図で
ある。動き判定の閾値は、空間アクティビティの値によ
って、異なる値が使用される。空間アクティビティが大
きくなれば、大きな値の閾値が使用される。これは、空
間アクティビティが大きな画素が、少ない動きを伴う場
合、時間アクティビティは、大きな値となることを考慮
したものである。
【0113】次に、動き判定回路184の動きクラスコ
ードMCCを設定する処理を、図15のフローチャートを
参照して説明する。ステップS31において、動き判定
回路184は、時間アクティビティが、閾値1以下であ
るか否かを判定し、時間アクティビティが閾値1以下で
あると判定された場合、ステップS32に進み、動きク
ラスコードMCCに0を設定し、処理は終了する。
【0114】ステップS31において、時間アクティビ
ティが閾値1を越えると判定された場合、ステップS3
3に進み、動き判定回路184は、時間アクティビティ
が、閾値2以下であるか否かを判定し、時間アクティビ
ティが閾値2以下であると判定された場合、ステップS
34に進み、動きクラスコードMCCに1を設定し、処理
は終了する。
【0115】ステップS33において、時間アクティビ
ティが閾値2を越えると判定された場合、ステップS3
5に進み、動き判定回路184は、時間アクティビティ
が閾値3以下であるか否かを判定し、時間アクティビテ
ィが閾値3以下であると判定された場合、ステップS3
6に進み、動きクラスコードMCCに2を設定し、処理は
終了する。
【0116】ステップS35において、時間アクティビ
ティが閾値3を越えると判定された場合、ステップS3
7に進み、動き判定回路184は、動きクラスコードMC
Cに3を設定し、処理は終了する。
【0117】以上のように、動き判定回路184は、閾
値および時間アクティビティを基に、動きクラスコード
MCCを設定する。
【0118】多数決判定回路185は、複数の画素の動
きクラスコードMCCを基に、最終的な、動きクラスコー
ドMCCを設定する。例えば、図16に示すように、創造
の対象画素の周辺の14個の画素の動きクラスコードMC
Cを基に、多数決判定回路185は、対象画素の動きク
ラスコードMCCを設定する。
【0119】動き検出回路151の動きクラスコードMC
Cを設定する処理を図17のフローチャートを参照して
説明する。ステップS51において、動き検出回路15
1は、イニシャライズ回路111からのパラメータの設
定に対応して、多数決判定を実行するか否かを判定し、
多数決判定を実行しないと判定された場合、ステップS
52に進み、セレクタ187は、動き判定回路184が
出力する注目画素の動きクラスコードMCCを選択して、
注目画素の動きクラスコードMCCを最終的な動きクラス
コードMCCとして設定し、処理は終了する。
【0120】ステップS51において、多数決判定を実
行すると判定された場合、ステップS53に進み、多数
決判定回路185は、14個の画素のうち、3の動きク
ラスコードMCCが設定されている画素の数が、閾値3よ
り大きいか否かを判定し、3の動きクラスコードMCCが
設定されている画素の数が、閾値3より大きいと判定さ
れた場合、ステップS54に進み、動きクラスコードMC
Cに3を設定する。セレクタ187は、多数決判定回路
185の出力を最終的な動きクラスコードMCCとして出
力し、処理は終了する。
【0121】ステップS53において、3の動きクラス
コードMCCが設定されている画素の数が、閾値3以下で
あると判定された場合、ステップS55に進み、多数決
判定回路185は、14個の画素のうち、3の動きクラ
スコードMCCが設定されている画素の数と2の動きクラ
スコードMCCが設定されている画素の数を加えた値が、
閾値2より大きいか否かを判定し、3の動きクラスコー
ドMCCが設定されている画素の数と2の動きクラスコー
ドMCCが設定されている画素の数を加えた値が、閾値2
より大きいと判定された場合、ステップS56に進み、
動きクラスコードMCCに2を設定する。セレクタ187
は、多数決判定回路185の出力を最終的な動きクラス
コードMCCとして出力し、処理は終了する。
【0122】ステップS55において、3の動きクラス
コードMCCが設定されている画素の数と2の動きクラス
コードMCCが設定されている画素の数を加えた値が、閾
値2以下であると判定された場合、ステップS57に進
み、多数決判定回路185は、14個の画素のうち、3
の動きクラスコードMCCが設定されている画素の数、2
の動きクラスコードMCCが設定されている画素の数、お
よび1の動きクラスコードMCCが設定されている画素の
数を加えた値が、閾値1より大きいか否かを判定し、3
の動きクラスコードMCCが設定されている画素の数、2
の動きクラスコードMCCが設定されている画素の数、お
よび1の動きクラスコードMCCが設定されている画素の
数を加えた値が、閾値1より大きいと判定された場合、
ステップS58に進み、動きクラスコードMCCに1を設
定し、セレクタ187は、多数決判定回路185の出力
を最終的な動きクラスコードMCCとして出力し、処理は
終了する。
【0123】ステップS57において、3の動きクラス
コードMCCが設定されている画素の数、2の動きクラス
コードMCCが設定されている画素の数、および1の動き
クラスコードMCCが設定されている画素の数を加えた値
が、閾値1以下であると判定された場合、ステップS5
9に進み、多数決判定回路185は、動きクラスコード
MCCに0を設定し、セレクタ187は、多数決判定回路
185の出力を最終的な動きクラスコードMCCとして出
力し、処理は終了する。
【0124】このように、動き検出回路151は、複数
の画素の動きクラスコードMCC、並びに予め記憶してい
る閾値を基に、最終的な、動きクラスコードMCCを設定
する。
【0125】以上のように、動きクラス生成回路103
は、複数の画素の画素値から動きクラスコードMCCを設
定し、動きクラスコードMCCを静動判定回路152およ
び欠落画素創造回路12に出力する。
【0126】図10に戻り、静動判定回路152は、動
きクラスコードMCCを基に、静動フラグSMFを設定し、出
力する。例えば、動きクラスコードMCCが0または1の
とき、静動フラグSMFは、0に設定され、動きクラスコ
ードMCCが2または3のとき、静動フラグSMFは、1に設
定される。
【0127】タップ構築回路102−2は、動きクラス
生成回路103から供給された動きクラスコードMCCお
よび静動フラグSMF、並びに欠落フラグLFを基に、全て
のクラス構造を網羅した全クラス予測タップVET(有効
画素領域外の画素を含まない)を選択して、可変タップ
選択回路108に供給する。
【0128】タップ構築回路102−3は、有効画素領
域垂直フラグVFおよび有効画素領域水平フラグHFを基
に、有効画素領域外に位置する画素の欠落フラグLFをセ
ットし、有効画素領域外に位置する画素の欠落フラグLF
をリセットして、欠落フラグLFを欠落フラグタップSLFT
2としてDRクラス生成回路104に供給する。タップ
構築回路102−3は、動きクラス生成回路103から
供給された動きクラスコードMCCおよび静動フラグSMF、
並びに欠落フラグLFを基に、有効画素領域内の欠落して
いないDRクラスタップTD2を選択して、選択したDRクラ
スタップTD2をDRクラス生成回路104に供給する。
DRクラス生成回路104は、タップ構築回路102−
3から供給された欠落フラグタップSLFT2、およびDRク
ラスタップTD2を基に、DRクラスタップTD2に含まれる画
素であって、欠落していない画素の最大の画素値と最小
の画素値との差であるダイナミックレンジに応じて決定
されるDRクラスコードDRCCを生成して、クラス合成回
路107に出力する。
【0129】タップ構築回路102−4は、有効画素領
域算出回路11から供給された、有効画素領域垂直フラ
グVFおよび有効画素領域水平フラグHFを基に、有効画素
領域外に位置する画素の欠落フラグLFをセットし、有効
画素領域外に位置する画素の欠落フラグLFをリセットし
て、欠落フラグLFを欠落フラグタップSLFT3として空間
クラス生成回路105に供給する。タップ構築回路10
2−4は、動きクラス生成回路103から供給された動
きクラスコードMCCおよび静動フラグSMF、並びに欠落フ
ラグLFを基に、有効画素領域内の欠落していない空間ク
ラスタップTD3を選択して、選択した空間クラスタップT
D3を空間クラス生成回路105に供給する。空間クラス
生成回路105は、タップ構築回路102−4から供給
された欠落フラグタップSLFT3、および空間クラスタッ
プTD3を基に、画素値パターンに対応する空間クラスコ
ードSCCを生成して、クラス合成回路107に出力す
る。
【0130】タップ構築回路102−5は、有効画素領
域算出回路11から供給された、有効画素領域垂直フラ
グVFおよび有効画素領域水平フラグHFを基に、欠落フラ
グLFを選択して、選択された欠落フラグLFを欠落フラグ
タップSLFT4として欠落クラス生成回路106に供給す
る。欠落クラス生成回路106は、タップ構築回路10
2−5から供給された欠落フラグタップSLFT4を基に、
欠落クラスコードLCCを生成して、クラス合成回路10
7に出力する。
【0131】クラス合成回路107は、有効画素領域算
出回路11から供給された、有効画素領域垂直フラグVF
および有効画素領域水平フラグHFを基に、動きクラスコ
ードMCC、静動フラグSMF、DRクラスコードDRCC、空間
クラスコードSCC、および欠落クラスコードLCCを、最終
的な1つのクラスコードCCに統合して、クラスコードCC
を係数保持クラスコード選択回路109に出力する。
【0132】係数保持クラスコード選択回路109は、
有効画素領域算出回路11から供給された、有効画素領
域垂直フラグVFおよび有効画素領域水平フラグHF、イニ
シャライズ回路111から供給された係数セットおよび
予測構造、並びにクラス合成回路107から供給された
クラスコードCCを基に、予測タップ選択信号VTを生成し
て、生成した予測タップ選択信号VTを可変タップ選択回
路108に供給するとともに、クラスコードCCを基に係
数セットから選択された予測係数Wを推定予測演算回路
110に出力する。イニシャライズ回路111から供給
される係数セットは、クラスコードCCにより分類される
クラスに対応して、予め生成され、イニシャライズ回路
111に記憶されている。
【0133】可変タップ選択回路108は、タップ構築
回路102−2から供給された全クラス予測タップVE
T、および係数保持クラスコード選択回路109から供
給された予測タップ選択信号VTを基に、予測タップETを
選択して、選択した予測タップETを推定予測演算回路1
10に供給する。例えば、可変タップ選択回路108
は、全クラス予測タップVETに含まれるタップから、予
測タップ選択信号VTにより指定されるタップを選択し
て、選択されたタップを予測タップETとする。
【0134】推定予測演算回路110の積和器121
は、可変タップ選択回路108から供給された予測タッ
プET、および係数保持クラスコード選択回路109から
供給された予測係数Wを基に、線形推定式を用いて、欠
落画素の画素値を算出する。
【0135】なお、推定予測演算回路110の積和器1
21は、予測係数Wを基に、非線形推定式を用いて、欠
落画素の画素値を算出するようにしてもよい。
【0136】推定予測演算回路110のフィルタ122
は、可変タップ選択回路108から供給された予測タッ
プETから、欠落画素の画素値を算出する。
【0137】推定予測演算回路110は、イニシャライ
ズ回路111から設定された出力モードを基に、フィル
タ122の出力または積和器121の出力を選択して出
力し、出力モードに応じた結果を求める。
【0138】このように、欠落画素創造回路12は、有
効画素領域垂直フラグVFおよび有効画素領域水平フラグ
HFを基に、有効画素領域内の画素から、ダイナミックレ
ンジ、動き、欠落、および画素値パターンなどによるク
ラス分類をし、欠落画素の周辺の画素値(有効画素領域
外の画素の画素値を含まない)を基に、欠落画素値を算
出する。
【0139】また、欠落画素創造回路12は、例えば、
推定予測演算回路110の出力モードを切り換えて、全
ての画素に上記の処理を実行して、入力された画像の画
質をアップさせる(例えば、階調の増加(Yデータ、U
データ、およびVデータのビット数の増加)、ノイズの
除去、量子化歪みの除去(時間方向の歪みの除去を含
む)、4倍密度の解像度の創造など)ことができる。
【0140】更に、創造の対象となる欠落画素が、画像
の端部に位置し、予め決められた数以上のタップが欠落
していると判定された場合、図20に示すように、欠落
画素創造回路12は、クラス分類適応処理に代えて、隣
接する画素の画素値を基に、線形補間処理を行って、欠
落画素の画素値を補間するようにしてもよい。
【0141】また、図21に示すように、欠落画素創造
回路12は、創造の対象となる欠落画素が画像の端部に
位置し、隣接する画素の全てが欠落しているときなど
に、予め定めた目立ちにくい色に相当する値(例えば、
灰色などに相当する)を欠落画素の画素値として設定す
るようにしてもよいし、過去のフレームの同じ位置の画
素値を設定してもよい。
【0142】図22は、図20または図21に示す処理
を実行する、欠落画素創造回路12の他の構成を示すブ
ロック図である。欠落画素創造回路12に入力されたデ
ータである画素値および画素の欠落を示す欠落フラグLF
は、前処理回路201およびタップ構築回路202−1
に供給される。
【0143】前処理回路201は、前処理回路101と
同様の処理を実行し、入力された画素値および画素の欠
落を示す欠落フラグLFを基に、欠落している画素の値を
線形補間フィルタで生成し、欠落している画素にその値
を設定し、タップ構築回路202−2乃至202−5に
供給する。
【0144】タップ構築回路202−1は、選択した画
素の欠落フラグLFを欠落フラグタップSLFT1として、動
きクラス生成回路203に供給する。タップ構築回路2
02−1は、有効画素領域内の欠落していない画素から
なる、動きクラスタップTD1を選択して、選択した動き
クラスタップTD1を動きクラス生成回路203に供給す
る。
【0145】動きクラス生成回路203は、イニシャラ
イズ回路211から供給されたパラメータ、並びにタッ
プ構築回路202−1から供給された欠落フラグLFおよ
び選択された動きクラスタップTD1を基に、動きクラス
コードMCCおよび静動フラグSMFを生成し、タップ構築回
路202−2乃至202−5およびクラス合成回路20
7に出力する。動きクラスコードMCCは、動きの量を示
す2ビットの情報を有し、静動フラグSMFは、動きの有
り無しを1ビットで示す。例えば、動きクラスコードMC
Cが0または1のとき、静動フラグSMFは、0に設定さ
れ、動きクラスコードMCCが2または3のとき、静動フ
ラグSMFは、1に設定される。
【0146】タップ構築回路202−2は、動きクラス
生成回路103から供給された動きクラスコードMCCお
よび静動フラグSMF、並びに欠落フラグLFを基に、全て
のクラス構造を網羅した全クラス予測タップVET(有効
画素領域外の画素を含まない)を選択して、可変タップ
選択回路208に供給する。
【0147】タップ構築回路202−3は、選択した欠
落フラグLFを欠落フラグタップSLFT2としてDRクラス
生成回路204に供給する。タップ構築回路202−3
は、動きクラス生成回路203から供給された動きクラ
スコードMCCおよび静動フラグSMF、並びに欠落フラグLF
を基に、有効画素領域内の欠落していないDRクラスタッ
プTD2を選択して、選択したDRクラスタップTD2をDRク
ラス生成回路204に供給する。DRクラス生成回路2
04は、タップ構築回路202−3から供給された欠落
フラグタップSLFT2、およびDRクラスタップTD2を基に、
欠落していない画素の最大の画素値と最小の画素値との
差であるダイナミックレンジに応じて決定されるDRク
ラスコードDRCCを生成して、クラス合成回路207に出
力する。
【0148】タップ構築回路202−4は、選択した欠
落フラグLFを欠落フラグタップSLFT3として空間クラス
生成回路205に供給する。タップ構築回路202−4
は、動きクラス生成回路203から供給された動きクラ
スコードMCCおよび静動フラグSMF、並びに欠落フラグLF
を基に、有効画素領域内の欠落していない空間クラスタ
ップTD3を選択して、選択した空間クラスタップTD3を空
間クラス生成回路205に供給する。空間クラス生成回
路205は、タップ構築回路202−4から供給された
欠落フラグタップSLFT3、および空間クラスタップTD3を
基に、画素値パターンに対応する空間クラスコードSCC
を生成して、クラス合成回路207に出力する。
【0149】タップ構築回路202−5は、欠落フラグ
LFを選択して、選択された欠落フラグLFを欠落フラグタ
ップSLFT4として欠落クラス生成回路206に供給す
る。欠落クラス生成回路206は、タップ構築回路20
2−5から供給された欠落フラグタップSLFT4を基に、
欠落クラスコードLCCを生成して、クラス合成回路20
7に出力する。
【0150】クラス合成回路207は、動きクラスコー
ドMCC、静動フラグSMF、DRクラスコードDRCC、空間ク
ラスコードSCC、および欠落クラスコードLCCを、最終的
な1つのクラスコードCCに統合して、クラスコードCCを
係数保持クラスコード選択回路209に出力する。
【0151】係数保持クラスコード選択回路209は、
イニシャライズ回路211から供給された、予め学習し
た係数セットおよび予測構造、並びにクラス合成回路2
07から供給されたクラスコードCCを基に、予測タップ
選択信号VTを生成して、生成した予測タップ選択信号VT
を可変タップ選択回路208に供給するとともに、係数
セットからクラスコードCCを基に選択された予測係数W
を推定予測演算回路210に出力する。
【0152】可変タップ選択回路208は、タップ構築
回路202−2から供給された全クラス予測タップVE
T、および係数保持クラスコード選択回路209から供
給された予測タップ選択信号VTを基に、予測タップETを
選択して、選択した予測タップETを推定予測演算回路2
10に供給する。
【0153】推定予測演算回路210は、イニシャライ
ズ回路211から設定された出力モードを基に、可変タ
ップ選択回路208から供給された予測タップET、およ
び係数保持クラスコード選択回路209から供給された
予測係数Wを基に、線形推定式を用いて、欠落画素の画
素値を算出して、選択回路214に出力する。
【0154】推定予測演算回路210は、図8の積和器
121に相当する。
【0155】置換回路212は、画素の欠落を示す欠落
フラグLFを基に、予め定めた目立ちにくい色に相当する
値(例えば、灰色などに相当する)を欠落画素の画素値
として設定し、選択回路214に供給する。
【0156】線形補間回路213は、前処理回路201
と同様の処理を実行し、入力された画素値および画素の
欠落を示す欠落フラグLFを基に、欠落している画素の値
を線形補間フィルタで生成し、欠落している画素にその
値を設定し、選択回路214に供給する。
【0157】置換回路212および線形補間回路213
は、図8のフィルタ122に相当する。
【0158】選択回路214は、有効画素領域算出回路
11から供給された、有効画素領域垂直フラグVFおよび
有効画素領域水平フラグHFを基に、推定予測演算回路2
10、置換回路212、または線形補間回路213のい
ずれかの出力を選択して、欠落画素創造回路12の出力
として出力する。
【0159】このように、欠落画素創造回路12は、ダ
イナミックレンジ、動き、欠落、および画素値の変化な
どによるクラス分類適応処理により、欠落画素の周辺の
画素の画素値を基に、欠落画素値を算出するとともに、
有効画素領域の端部に位置する欠落画素を補間または置
換して出力することができる。
【0160】なお、創造の対象となる欠落画素の画像の
端部に対する位置により、欠落画素創造回路12は、図
6および図7並びに図18乃至図21を参照して説明し
た処理を適宜切り換えるようにしてもよい。
【0161】また、クラスタップは、欠落している画素
を含まないとして説明したが、クラスタップに、前処理
回路101により生成された画素値を含めて、クラス分
類の処理は、前処理回路101により生成された画素値
を使用するようにしてもよい。
【0162】以上のように、本発明に係る画像処理装置
は、画素の画面上の位置にかかわらず、常に、より高質
な画像を生成することができるようになり、例えば、欠
落画素の画面上の位置にかかわらず、欠落画素をより誤
差が少なく創造できるようになる。
【0163】次に、図2の例で示される例の欠落画素創
造を行う画像処理モード、色収差を考慮した画像処理モ
ード、テロップ位置を考慮した画像処理モードの何れか
1つまたは複数を選択的に行う画像処理装置に利用され
る係数セットを予め生成するための画像処理装置につい
て説明する。
【0164】図23は、係数セットを予め生成するため
の画像処理装置の一実施の形態の構成を示す図である。
【0165】画像処理装置に入力された画像は、ダウン
フィルタ303および正規方程式演算回路310に供給
される。
【0166】表示位置算出回路301は、画像の各画素
の画面中央からの距離を算出して、画像の各画素の画面
中央からの距離を示す位置情報をタップ構築回路304
−1乃至304−Nに供給する。
【0167】なお、表示位置算出回路301は、画像の
各画素の画面中央からの距離を示す位置情報を構造切換
制御回路302に供給するようにしてもよい。
【0168】イニシャライズ回路312は、構造切換制
御回路302に、画像端情報、収差情報、処理モードお
よびテロップ位置情報を供給する。
【0169】構造切換制御回路302は、処理モードが
欠落画素創造を示す時に、画像端情報に応じたタップ選
択信号TS1、タップ選択信号TS2、およびタップ選択信
号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路3
04−1乃至304−Nのそれぞれに供給し、処理モー
ドが収差モードを示す時に、収差情報に応じたタップ選
択信号TS1、タップ選択信号TS2、およびタップ選択信
号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路3
04−1乃至304−Nのそれぞれに供給し、処理モー
ドがテロップモードを示す時に、テロップ位置情報に応
じたタップ選択信号TS1、タップ選択信号TS2、および
タップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タッ
プ構築回路304−1乃至304−Nのそれぞれに供給
する。
【0170】また、構造切換制御回路302は、上記3
つの処理モードのうちの複数の処理モードを選択するよ
うにしてもよい。
【0171】以下、収差モードを例に説明する。
【0172】例えば、タップ選択信号TS1、タップ選択
信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)の
それぞれは、赤色に対応する信号、緑色に対応する信
号、および青色に対応する信号、すなわち、RGBに対
応する信号から構成されている。
【0173】また、構造切換制御回路302は、表示位
置算出回路301から供給された各画素の画面上の物理
アドレスから、各画素の画面中央からの距離を算出し、
算出された画面中央からの距離、およびイニシャライズ
回路312から入力された収差情報を基に、赤色に対応
するクラスコード、緑色に対応するクラスコード、およ
び青色に対応するクラスコードから成る収差クラスコー
ドCCAを生成する。構造切換制御回路302は、生成し
た収差クラスコードCCAをクラス合成回路307に供給
する。
【0174】構造切換制御回路302は、各画素の画面
上の物理アドレスと画面中央からの距離との関係を予め
記憶し、予め記憶している関係、および表示位置算出回
路301から供給された各画素の画面上の物理アドレス
を基に、各画素の画面中央からの距離を求めるようにし
てもよい。
【0175】または、構造切換制御回路302は、イニ
シャライズ回路312から入力された収差情報、および
表示位置算出回路301から供給された画面中央からの
距離を基に、赤色に対応するクラスコード、緑色に対応
するクラスコード、および青色に対応するクラスコード
から成る収差クラスコードCCAを生成して、生成した収
差クラスコードCCAをクラス合成回路307に供給する
ようにしてもよい。
【0176】例えば、構造切換制御回路302は、収差
量を量子化して収差クラスコードCCAを生成する。
【0177】ここで、色収差について説明する。
【0178】例えば、図24に示すように、レンズの光
軸に対して、斜めに白色光が入力されたとき、白色光に
含まれる青色光の像は、黄色光の像に対して光軸に近い
位置に結像し、白色光に含まれる黄色光の像は、青色光
の像より光軸から遠い位置であって、赤色光の像より光
軸から近い位置に結像し、白色光に含まれる赤色光の像
は、黄色光の像より光軸に遠い位置に結像する。このよ
うな、青色光の像、黄色光の像、および赤色光の像の結
像位置のずれを色収差と称する。色収差が大きいとは、
青色光の像、黄色光の像、および赤色光の像の結像位置
の距離が長いことをいう。
【0179】色収差の大きさは、画像の位置と画面の中
央との距離に対応して増加するので、図25(A)に示
すように、画面の中央を中心とする円の円周上の画素に
含まれる色収差の大きさは同一となる。
【0180】これを、画面の中央からの距離と色収差の
大きさとの関係をグラフで表すと、図25(B)のよう
になる。すなわち、色収差は、画面の中央からの距離に
対して、非線形に増加する。
【0181】ダウンフィルタ303は、入力された画像
に収差に対応する処理、またはジッタ付加若しくはノイ
ズ付加などの処理を適用して、収差に対応する画素値を
有するか、またはジッタが付加されたか、若しくはノイ
ズが付加された画像を、タップ構築回路304−1乃至
304−Nに供給する。
【0182】タップ構築回路304−1は、表示位置算
出回路301から供給された位置情報、および構造切換
制御回路302から供給されたタップ選択信号TS1に基
づいて、赤色、緑色、および青色毎にタップ構造を切り
換えて、ダウンフィルタ303から供給された画像に含
まれる画素を、赤色、緑色、および青色のそれぞれに対
応する動きクラスタップTD1として選択し、選択した動
きクラスタップTD1を動きクラス生成回路305に供給
する。タップ構築回路304−1が出力する動きクラス
タップTD1は、赤色に対応するタップ、緑色に対応する
タップ、および青色に対応するタップから構成される。
【0183】図26は、タップ構築回路304−1にお
ける、赤色、緑色、または青色毎のタップ構造を説明す
る図である。例えば、緑色に対応するタップは、図26
(A)に示すように、注目画素を中心とするタップによ
り構成される。
【0184】構造切換制御回路302は、イニシャライ
ズ回路312から入力された収差情報を基に、例えば、
図26(B)に示すように、緑色を基準とした、赤色お
よび青色についての補正ベクトルを生成し、生成した補
正ベクトルを含むタップ選択信号TS1をタップ構築回路
304−1に供給する。
【0185】例えば、タップ構築回路304−1は、表
示位置算出回路301から供給された各画素の画面中央
からの距離を示す位置情報、およびタップ選択信号TS1
に含まれる赤色についての補正ベクトルを基に、注目画
素を基準として、赤色についての補正注目画素を選択
し、図26(C)に示すように、補正注目画素を中心と
した赤色に対応するタップを構成する。同様に、タップ
構築回路304−1は、表示位置算出回路301から供
給された各画素の画面中央からの距離を示す位置情報、
およびタップ選択信号TS1に含まれる青色についての補
正ベクトルを基に、注目画素を基準として、青色につい
ての補正注目画素を選択し、補正注目画素を中心とした
青色に対応するタップを構成する。
【0186】なお、注目画素を基準とした、赤色につい
ての補正ベクトル、緑色についての補正ベクトル、およ
び青色についての補正ベクトルを含むようにタップ選択
信号TS1を構成し、タップ構築回路304−1は、表示
位置算出回路301から供給された各画素の画面中央か
らの距離を示す位置情報、およびタップ選択信号TS1に
含まれる赤色についての補正ベクトルを基に、赤色に対
応する補正注目画素を中心とした赤色に対応するタップ
を構成し、表示位置算出回路301から供給された各画
素の画面中央からの距離を示す位置情報、およびタップ
選択信号TS1に含まれる緑色についての補正ベクトルを
基に、緑色に対応する補正注目画素を中心とした緑色に
対応するタップを構成し、表示位置算出回路301から
供給された各画素の画面中央からの距離を示す位置情
報、およびタップ選択信号TS1に含まれる青色について
の補正ベクトルを基に、青色に対応する補正注目画素を
中心とした青色に対応するタップを構成するようにして
もよい。
【0187】動きクラス生成回路305は、パラメータ
設定回路312から供給されたパラメータ、並びにタッ
プ構築回路304−1から供給された動きクラスタップ
TD1を基に、赤色に対応する動きクラスコード、緑色に
対応する動きクラスコード、および青色に対応する動き
クラスコードから成る動きクラスコードMCC、および赤
色に対応する静動フラグ、緑色に対応する静動フラグ、
および青色に対応する静動フラグから成る静動フラグSM
Fを生成し、タップ構築回路304−2乃至304−N
およびクラス合成回路307に出力する。
【0188】タップ構築回路304−2は、動きクラス
生成回路305から供給された赤色、緑色、および青色
ごとの動きクラスコードMCC並びに静動フラグSMF、表示
位置算出回路301から供給された各画素の画面中央か
らの距離を示す位置情報、並びに構造切換制御回路30
2から供給されたタップ選択信号TS2に基づいて、赤
色、緑色、および青色毎にタップ構造を切り換えて、赤
色に対応するタップ、緑色に対応するタップ、および青
色に対応するタップから成る全クラス予測タップVETを
選択して、可変タップ選択回路308に供給する。
【0189】タップ構築回路304−3は、動きクラス
生成回路305から供給された赤色、緑色、および青色
ごとの動きクラスコードMCC並びに赤色、緑色、および
青色ごとの静動フラグSMF、表示位置算出回路301か
ら供給された各画素の画面中央からの距離を示す位置情
報、並びに構造切換制御回路302から供給された赤
色、緑色、および青色ごとのタップ選択信号TS3-1に基
づいて、赤色、緑色、および青色毎にタップ構造を切り
換えて、赤色に対応するタップ、緑色に対応するタッ
プ、および青色に対応するタップから成るクラスタップ
TD2-1を選択して、選択したクラスタップTD2-1をクラス
生成回路306−1に供給する。
【0190】クラス生成回路306−1は、タップ構築
回路304−3から供給されたクラスタップTD2-1を基
に、赤色に対応するクラスコード、緑色に対応するクラ
スコード、および青色に対応するクラスコードから成る
クラスコードCC1を生成して、生成したクラスコードCC1
をクラス合成回路307に出力する。クラスコードCC1
は、例えば、クラスタップTD2-1に含まれる画素の最大
の画素値と最小の画素値との差に対応するクラスコード
とすることができる。
【0191】タップ構築回路304−4乃至304−N
は、動きクラス生成回路305から供給された動きクラ
スコードMCCおよび静動フラグSMF、表示位置算出回路3
01から供給された各画素の画面中央からの距離を示す
位置情報、並びに構造切換制御回路302から供給され
たタップ選択信号TS3-2乃至TS3-(N-2)に基づいて、それ
ぞれ、赤色に対応するタップ、緑色に対応するタップ、
および青色に対応するタップから成るクラスタップTD2-
2乃至TD2-(N-2)を選択して、選択したクラスタップTD2-
2乃至TD2-(N-2)をクラス生成回路306−2乃至306
−(N−2)のぞれぞれに供給する。
【0192】クラス生成回路306−2乃至306−
(N−2)は、タップ構築回路304−4乃至304−
Nから供給されたクラスタップTD2-2乃至TD2-(N-2)のい
ずれかを基に、赤色に対応するクラスコード、緑色に対
応するクラスコード、および青色に対応するクラスコー
ドから成るクラスコードCC2乃至CC(N-2)のいずれか一つ
を生成して、生成したクラスコードCC2乃至CC(N-2)をク
ラス合成回路307に出力する。クラスコードCC2乃至C
C(N-2)のいずれかは、例えば、画素値パターンに対応す
るクラスコードとすることができる。
【0193】クラス合成回路307は、動きクラスコー
ドMCCに含まれる赤色に対応するクラスコードおよび静
動フラグSMFに含まれる赤色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる赤色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る赤色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの赤色に対応するクラスコードに統合す
る。
【0194】クラス合成回路307は、動きクラスコー
ドMCCに含まれる緑色に対応するクラスコードおよび静
動フラグSMFに含まれる緑色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる緑色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る緑色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの緑色に対応するクラスコードに統合す
る。
【0195】クラス合成回路307は、動きクラスコー
ドMCCに含まれる青色に対応するクラスコードおよび静
動フラグSMFに含まれる青色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる青色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る青色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの青色に対応するクラスコードに統合す
る。
【0196】クラス合成回路307は、赤色に対応する
クラスコード、緑色に対応するクラスコード、および青
色に対応するクラスコードから成るクラスコードTCCを
クラスコード選択回路309に出力する。
【0197】クラスコード選択回路309は、クラス合
成回路307から供給されたクラスコードTCCを基に、
赤色に対応するタップ、緑色に対応するタップ、および
青色に対応するタップから成る予測タップ選択信号VTを
生成して、生成した予測タップ選択信号VTを可変タップ
選択回路308に供給するとともに、クラスコードTCC
を正規方程式演算回路310に出力する。
【0198】可変タップ選択回路308は、タップ構築
回路304−2から供給された全クラス予測タップVE
T、およびクラスコード選択回路309から供給された
予測タップ選択信号VTを基に、赤色に対応するタップ、
緑色に対応するタップ、および青色に対応するタップか
ら成る予測タップETを選択して、選択した予測タップET
を正規方程式演算回路310に供給する。
【0199】正規方程式演算回路310は、可変タップ
選択回路308から供給された学習データである予測タ
ップET、およびダウンフィルタ303から供給された教
師データである入力画像を受信すると、それらを用い
て、最小自乗法により、誤差を最小する予測係数Wを算
出する。予測係数Wは、赤色に対応する予測係数、緑色
に対応する予測係数、および青色に対応する予測係数か
ら成る。
【0200】ここで、正規方程式演算回路310が算出
する予測係数Wについて簡単に説明する。
【0201】例えば、いま、元の画像(入力された画像
に相当する(以下、適宜、教師データと称する))の画
素値yの予測値E[y]を、ダウンフィルタ303を通
過することによって、ノイズが付加されるか、収差に対
応する画素値を有する画像の画素値(以下、適宜、学習
データと称する)x1,x2,・・・と、所定の予測係数
1,w2,・・・の線形結合により規定される線形1次
結合モデルにより求めることを考える。この場合、予測
値E[y]は、次式で表すことができる。
【0202】 E[y]=w11+w22+・・・ ・・・(3)
【0203】そこで、一般化するために、予測係数wの
集合でなる行列W、学習データの集合でなる行列X、お
よび予測値E[y]の集合でなる行列Y’を、
【0204】
【数1】 で定義すると、次のような観測方程式が成立する。
【0205】 XW=Y’ ・・・(4)
【0206】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値yの集
合でなる行列Y、および元の画像の画素値yに対する予
測値E[y]の残差eの集合でなる行列Eを、
【0207】
【数2】 で定義すると、式(4)から、次のような残差方程式が
成立する。
【0208】 XW=Y+E ・・・(5)
【0209】この場合、元の画像の画素値yに近い予測
値E[y]を求めるための予測係数wiは、自乗誤差
【0210】
【数3】 を最小にすることで求めることができる。
【0211】従って、上述の自乗誤差を予測係数wi
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
【0212】
【数4】 ・・・(6)
【0213】そこで、まず、式(5)を、予測係数wi
で微分することにより、次式が成立する。
【0214】
【数5】 ・・・(7)
【0215】式(6)および(7)より、式(8)が得
られる。
【0216】
【数6】 ・・・(8)
【0217】さらに、式(5)の残差方程式における学
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(8)から、次のような正規方
程式を得ることができる。
【0218】
【数7】 ・・・(9)
【0219】式(9)の正規方程式を解くことで、最適
な予測係数wを求めることができる。なお、式(9)を
解くにあたっては、例えば、掃き出し法(Gauss-Jordan
の消去法)などを適用することが可能である。
【0220】即ち、例えば、いま、学習データに含まれ
る予測タップETの画素値を、x1,x2,x3,・・・と
し、求めるべき予測係数Wをw1,w2,w3,・・・とす
るとき、これらの線形1次結合により、教師データの、
ある画素の画素値yを求めるには、予測係数w1,w2
3,・・・は、次式を満たす必要がある。
【0221】y=w11+w22+w33+・・・そこ
で、正規方程式演算回路310では、同一クラスの予測
タップと、対応する教師データの画素とから、真値yに
対する、予測値w11+w22+w33+・・・の自乗
誤差を最小とする予測係数w1,w2,w3,・・・が、
上述した式(9)に示す正規方程式をたてて解くことに
より求められる。
【0222】より具体的には、正規方程式演算回路31
0は、赤色に対応する同一クラスの予測タップと、対応
する教師データの赤色の成分とから、赤色に対応する真
値yに対する、予測値w11+w22+w33+・・・
の自乗誤差を最小とする、赤色に対応する予測係数
1,w2,w3,・・・を、正規方程式をたてて解くこ
とにより算出する。
【0223】正規方程式演算回路310は、緑色に対応
する同一クラスの予測タップと、対応する教師データの
緑色の成分とから、緑色に対応する真値yに対する、予
測値w11+w22+w33+・・・の自乗誤差を最小
とする、緑色に対応する予測係数w1,w2,w3,・・
・を、正規方程式をたてて解くことにより算出する。
【0224】正規方程式演算回路310は、青色に対応
する同一クラスの予測タップと、対応する教師データの
青色の成分とから、青色に対応する真値yに対する、予
測値w11+w22+w33+・・・の自乗誤差を最小
とする、青色に対応する予測係数w1,w2,w3,・・
・を、正規方程式をたてて解くことにより算出する。
【0225】従って、この処理をクラスごとに行うこと
により、各クラスごとに、赤色に対応する予測係数、緑
色に対応する予測係数、および青色に対応する予測係数
から成る予測係数Wが生成される。
【0226】正規方程式演算回路310において求めら
れた、赤色に対応する予測係数、緑色に対応する予測係
数、および青色に対応する予測係数から成る、クラスご
との予測係数Wは、クラスコードTCCと共に、係数メモリ
311に供給される。これにより、係数メモリ311に
おいては、正規方程式演算回路310からの予測係数W
が、クラスコードTCCが示すクラスに対応するアドレス
に記憶される。
【0227】このように、図23に構成を示す画像処理
装置は、欠落画素創造を行う画像処理モード、色収差を
考慮した画像処理モード、テロップ位置を考慮した画像
処理モードの何れか1つまたは複数を選択的に行う画像
処理装置に利用される係数セットを生成することができ
る。
【0228】なお、図23に構成を示す画像処理装置
は、収差のあるレンズを介して、撮像された画像、およ
び収差のほとんどないレンズを介して、撮像された同じ
画像を取得し、収差のあるレンズを介して、撮像された
画像を学習データとし、収差のほとんどないレンズを介
して、撮像された同じ画像を教師データとして、色収差
を考慮した画像処理モードで画像処理を実行する画像処
理装置に利用される係数セットを生成するようにしても
よい。
【0229】図27は、図23に構成を示す画像処理装
置が生成した係数セットを利用する、欠落画素創造を行
う画像処理モード、色収差を考慮した画像処理モード、
テロップ位置を考慮した画像処理モードの何れか1つま
たは複数を選択的に行う、本発明に係る画像処理装置の
一実施の形態の構成を示す図である。
【0230】表示位置算出回路401は、入力された画
像の各画素の画面中央からの距離を算出して、各画素の
画面中央からの距離を示す位置情報をタップ構築回路4
03−1乃至403−Nに供給する。
【0231】なお、表示位置算出回路401は、画像の
各画素の画面中央からの距離を示す位置情報を構造切換
制御回路402に供給するようにしてもよい。
【0232】イニシャライズ回路410は、構造切換制
御回路402に、画像端情報、収差情報、処理モードお
よびテロップ位置情報を供給する。
【0233】構造切換制御回路402は、処理モードが
欠落画素創造を示す時に、画像端情報に応じたタップ選
択信号TS1、タップ選択信号TS2、およびタップ選択信
号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路4
03−1乃至403−Nのそれぞれに供給し、処理モー
ドが収差モードを示す時に、収差情報に応じたタップ選
択信号TS1、タップ選択信号TS2、およびタップ選択信
号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路4
03−1乃至403−Nのそれぞれに供給し、処理モー
ドがテロップモードを示す時に、テロップ位置情報に応
じたタップ選択信号TS1、タップ選択信号TS2、および
タップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タッ
プ構築回路403−1乃至403−Nのそれぞれに供給
する。
【0234】また、構造切換制御回路402は、上記3
つの処理モードのうちの複数の処理モードを選択するよ
うにしてもよい。
【0235】以下、収差モードを例に説明する。
【0236】例えば、収差モードのとき、タップ選択信
号TS1、タップ選択信号TS2、およびタップ選択信号TS3
-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、
緑色に対応する信号、および青色に対応する信号、すな
わち、RGBに対応する信号から構成されている。
【0237】また、構造切換制御回路402は、イニシ
ャライズ回路410から入力された収差情報を基に、赤
色に対応するクラスコード、緑色に対応するクラスコー
ド、および青色に対応するクラスコードから成る収差ク
ラスコードCCAを生成して、生成した収差クラスコードC
CAをクラス合成回路407に供給する。
【0238】タップ構築回路403−1は、表示位置算
出回路401から供給された位置情報、および構造切換
制御回路402から供給されたタップ選択信号TS1に基
づいて、赤色、緑色、および青色毎にタップ構造を切り
換えて、前処理回路403から供給された画像に含まれ
る画素を、赤色、緑色、および青色のそれぞれに対応す
る動きクラスタップTD1として選択し、選択した動きク
ラスタップTD1を動きクラス生成回路404に供給す
る。タップ構築回路403−1が出力する動きクラスタ
ップTD1は、赤色に対応するタップ、緑色に対応するタ
ップ、および青色に対応するタップから構成される。
【0239】動きクラス生成回路404は、イニシャラ
イズ回路411から供給されたパラメータ、並びにタッ
プ構築回路403−1から供給された動きクラスタップ
TD1を基に、赤色に対応する動きクラスコード、緑色に
対応する動きクラスコード、および青色に対応する動き
クラスコードから成る動きクラスコードMCC、並びに赤
色に対応する静動フラグ、緑色に対応する静動フラグ、
および青色に対応する静動フラグから成る静動フラグSM
Fを生成し、動きクラスコードMCCおよび静動フラグSMF
をタップ構築回路403−2乃至403−Nおよびクラ
ス合成回路407に出力する。
【0240】タップ構築回路403−2は、動きクラス
生成回路404から供給された赤色、緑色、および青色
ごとの動きクラスコードMCCおよび静動フラグSMF、構造
切換制御回路402から供給されたタップ選択信号TS2
に基づいて、赤色、緑色、および青色毎にタップ構造を
切り換えて、赤色に対応するタップ、緑色に対応するタ
ップ、および青色に対応するタップから成る全クラス予
測タップVETを選択して、全クラス予測タップVETを可変
タップ選択回路407に供給する。
【0241】タップ構築回路403−3は、動きクラス
生成回路404から供給された赤色、緑色、および青色
ごとの動きクラスコードMCC、赤色、緑色、および青色
ごとの静動フラグSMF、並びに構造切換制御回路402
から供給された赤色、緑色、および青色ごとのタップ選
択信号TS3-1に基づいて、赤色、緑色、および青色毎に
タップ構造を切り換えて、赤色に対応するタップ、緑色
に対応するタップ、および青色に対応するタップから成
るクラスタップTD2-1を選択して、選択したクラスタッ
プTD2-1をクラス生成回路405−1に供給する。
【0242】クラス生成回路405−1は、タップ構築
回路403−3から供給されたクラスタップTD2-1を基
に、赤色に対応するクラスコード、緑色に対応するクラ
スコード、および青色に対応するクラスコードから成る
クラスコードCC1を生成して、生成したクラスコードCC1
をクラス合成回路406に出力する。クラスコードCC1
は、クラスタップTD2-1に含まれる画素の最大の画素値
と最小の画素値との差に対応するコードとすることがで
きる。
【0243】タップ構築回路403−4乃至403−N
のそれぞれは、動きクラス生成回路404から供給され
た動きクラスコードMCCおよび静動フラグSMF、構造切換
制御回路402から供給されたタップ選択信号TS3-2乃
至TS3-(N-2)のいずれかに基づいて、それぞれ、赤色に
対応するタップ、緑色に対応するタップ、および青色に
対応するタップから成るクラスタップTD2-2乃至TD2-(N-
2)のいずれか1つを選択して、選択したクラスタップTD
2-2乃至TD2-(N-2)のいずれかをクラス生成回路405−
2乃至405−(N−2)のぞれぞれに供給する。
【0244】クラス生成回路405−2乃至405−
(N−2)のそれぞれは、タップ構築回路403−4乃
至403−Nのいずれかから供給されたクラスタップTD
2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するク
ラスコード、緑色に対応するクラスコード、および青色
に対応するクラスコードから成るクラスコードCC2乃至C
C(N-2)のいずれか一つを生成して、生成したクラスコー
ドCC2乃至CC(N-2)をクラス合成回路406に出力する。
クラスコードCC2は、例えば、画素値パターンに対応す
るクラスコードとすることができる。
【0245】クラス合成回路406は、動きクラスコー
ドMCCに含まれる赤色に対応するクラスコードおよび静
動フラグSMFに含まれる赤色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる赤色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る赤色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの赤色に対応するクラスコードに統合す
る。
【0246】クラス合成回路406は、動きクラスコー
ドMCCに含まれる緑色に対応するクラスコードおよび静
動フラグSMFに含まれる緑色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる緑色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る緑色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの緑色に対応するクラスコードに統合す
る。
【0247】クラス合成回路406は、動きクラスコー
ドMCCに含まれる青色に対応するクラスコードおよび静
動フラグSMFに含まれる青色に対応する静動フラグを基
に、収差クラスコードCCAに含まれる青色に対応するク
ラスコードおよびクラスコードCC1乃至CC(N-2)に含まれ
る青色に対応するクラスコードを、最終的な1つのクラ
スコードTCCの青色に対応するクラスコードに統合す
る。
【0248】クラス合成回路406は、赤色に対応する
クラスコード、緑色に対応するクラスコード、および青
色に対応するクラスコードから成るクラスコードTCCを
係数保持クラスコード選択回路408に出力する。
【0249】係数保持クラスコード選択回路408は、
イニシャライズ回路410から供給されたクラスコード
TCCに対応する予測タップ選択信号VTおよび係数セット
を予め記憶している。
【0250】係数保持クラスコード選択回路408は、
クラス合成回路406から供給されたクラスコードTCC
を基に、赤色に対応するタップ、緑色に対応するタッ
プ、および青色に対応するタップから成る予測タップ選
択信号VTを生成して、生成した予測タップ選択信号VTを
可変タップ選択回路407に供給するとともに、クラス
コードTCCに含まれる赤色のクラスコードに対応する予
測係数、クラスコードTCCに含まれる緑色のクラスコー
ドに対応する予測係数、およびクラスコードTCCに含ま
れる青色のクラスコードに対応する予測係数から成る予
測係数Wを推定予測演算回路409に出力する。
【0251】可変タップ選択回路407は、タップ構築
回路403−2から供給された全クラス予測タップVE
T、および係数保持クラスコード選択回路408から供
給された予測タップ選択信号VTを基に、赤色に対応する
タップ、緑色に対応するタップ、および青色に対応する
タップから成る予測タップETを選択して、選択した予測
タップETを推定予測演算回路409に供給する。
【0252】推定予測演算回路409の積和器421
は、可変タップ選択回路407から供給された予測タッ
プETに含まれる赤色に対応するタップ、および係数保持
クラスコード選択回路408から供給された予測係数W
に含まれる赤色に対応する予測係数を基に、線形推定式
を用いて、画素値の赤色の成分を算出する。
【0253】推定予測演算回路409の積和器421
は、可変タップ選択回路407から供給された予測タッ
プETに含まれる緑色に対応するタップ、および係数保持
クラスコード選択回路408から供給された予測係数W
に含まれる緑色に対応する予測係数を基に、線形推定式
を用いて、画素値の緑色の成分を算出する。
【0254】推定予測演算回路409の積和器421
は、可変タップ選択回路407から供給された予測タッ
プETに含まれる青色に対応するタップ、および係数保持
クラスコード選択回路408から供給された予測係数W
に含まれる青色に対応する予測係数を基に、線形推定式
を用いて、画素値の青色の成分を算出する。
【0255】なお、推定予測演算回路409の積和器4
21は、予測係数Wを基に、非線形推定式を用いて、欠
落画素の画素値を算出するようにしてもよい。
【0256】このように、図27に構成を示す画像処理
装置は、欠落画素創造を行う画像処理モード、色収差を
考慮した画像処理モード、テロップ位置を考慮した画像
処理モードの何れか1つまたは複数を選択的に実行する
ことができ、従来に比較して、より鮮明な画像を得るこ
とができるようになる。
【0257】図28に示すフローチャートを参照して、
図23に構成を示す画像処理装置における、収差モード
における、色収差に対応したタップの切換の処理を説明
する。ステップS101において、構造切換制御回路3
02は、イニシャライズ回路312から供給された収差
情報を取得する。
【0258】ステップS102において、構造切換制御
回路302は、注目画素を選択する。ステップS103
において、表示位置算出回路301は、注目画素と画面
中央との相対距離を求める。ステップS104におい
て、構造切換制御回路302は、赤色についての補正ベ
クトル、緑色についての補正ベクトル、および青色につ
いての補正ベクトルを生成して、補正ベクトルを含むタ
ップ選択信号TS1をタップ構築回路304−1に供給
し、補正ベクトルを含むタップ選択信号TS2をタップ構
築回路304−2に供給し、補正ベクトルを含むタップ
選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回
路304−3乃至304−Nのそれぞれに供給する。
【0259】ステップS105において、タップ構築回
路304−1は、注目画素と画面中央との相対距離を示
す位置情報、並びに赤色についての補正ベクトル、緑色
についての補正ベクトル、および青色についての補正ベ
クトルを基に、タップを切り換えて、赤色、緑色、およ
び青色のそれぞれに対応する動きクラスタップTD1を選
択する。タップ構築回路304−2は、注目画素と画面
中央との相対距離を示す位置情報、並びに赤色について
の補正ベクトル、緑色についての補正ベクトル、および
青色についての補正ベクトルを基に、タップを切り換え
て、赤色、緑色、および青色のそれぞれに対応する全ク
ラス予測タップVETを選択する。タップ構築回路304
−3乃至304−Nのそれぞれは、注目画素と画面中央
との相対距離を示す位置情報、並びに赤色についての補
正ベクトル、緑色についての補正ベクトル、および青色
についての補正ベクトルを基に、タップを切り換えて、
赤色、緑色、および青色のそれぞれに対応するDRクラス
タップTD2-1乃至TD2-(N-2)を選択する。
【0260】ステップS106において、画像処理装置
は、全ての画素について処理を終了したか否かを判定
し、全ての画素について処理を終了していないと判定さ
れた場合、ステップS102に戻り、タップの切換の処
理を繰り返す。
【0261】ステップS106において、全ての画素に
ついて処理を終了したと判定された場合、処理は終了す
る。
【0262】このように、図23に構成を示す画像処理
装置は、収差モードにおいて、収差を考慮し、画面位置
に対応してタップを切り換えることができる。
【0263】図27に構成を示す画像処理装置は、収差
モードにおいて、図28に示すフローチャートを参照し
て説明した処理と同様の処理で画面位置に対応してタッ
プを切り換えるので、その説明は省略する。
【0264】次に、図23に構成を示す画像処理装置、
および図27に構成を示す画像処理装置が実行する他の
処理について説明する。
【0265】図23の画像処理装置の構造切換制御回路
302は、イニシャライズ回路312からテロップモー
ドが指定されたとき、テロップを表示するテロップ表示
領域を示すテロップ位置情報を取得する。テロップ位置
情報は、例えば、上の30ライン、下の50ライン、ま
たは右側100画素などテロップ表示領域の位置と広さ
とを示す。
【0266】構造切換制御回路302は、入力された画
像からテロップ表示領域を示すデータを取得するように
してもよい。
【0267】図29は、テロップ等が表示されている画
面の例を示す図である。図29(A)に示す例におい
て、画像表示領域の上および下のテロップ表示領域に
は、例えば、画像と共に、対応する文字が表示される。
テロップ表示領域の画像の信号特性は、平坦部とエッジ
部とを大量に含んでいるため、自然画等の画像の信号特
性と異なる。
【0268】図29(B)に示す例において、画像表示
領域の下のテロップ表示領域に表示される文字は、画像
上を、画面の右側から左側に向かって流れるように表示
される。
【0269】図29(C)に示す例において、画面の右
半分のテロップ表示領域に表示される文字は、画像上
を、画面の上側から下側に向かって流れるように表示さ
れる。
【0270】図29(D)に示す例において、画像表示
領域の4方を囲む、枠画像表示領域には、例えば、コン
ピュータグラフィクスにより生成された画像が表示され
る。
【0271】以下、テロップモードにおける、図23の
画像処理装置の動作の例を説明する。
【0272】表示位置算出回路301は、入力れた画像
の各画素の画面上の物理アドレスを算出して、タップ構
築回路304−1乃至304−Nに供給する。
【0273】構造切換制御回路302は、テロップ位置
情報を基に、タップ選択信号TS1、タップ選択信号TS
2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成
し、タップ選択信号TS1をタップ構築回路304−1に
供給し、タップ選択信号TS2をタップ構築回路304−
2に供給し、タップ選択信号TS3-1乃至TS3-(N-2)のそれ
ぞれをタップ構築回路304−3乃至304−Nのそれ
ぞれに供給する。
【0274】タップ構築回路304−1は、各画素の画
面上の物理アドレスおよびタップ選択信号TS1を基に、
注目画素が画像表示領域に属するとき、例えば、より広
い範囲の画素を利用するタップを選択し、注目画素がテ
ロップ表示領域に属するとき、例えば、より狭い範囲の
画素を利用するタップを選択し、動きクラスタップTD1
を選択する。例えば、画像表示領域に自然画像が表示さ
れるとき、より広い範囲のタップを選択することで、画
像処理装置は、多数の画素に渡って緩やかに変化する画
像の成分を利用した画像処理を実行することができる。
【0275】これに対して、文字が表示されるテロップ
表示領域において、文字に対応する画素の画素値は、ほ
ぼ同一の値であり、背景に対応する画素の画素値は、ほ
ぼ同一の値である。例えば、白色で表示される文字に対
応する画素の画素値と、黒色で表示される背景に対応す
る画素の画素値とは、大きく異なる。
【0276】すなわち、テロップ表示領域において、文
字と背景とに跨るタップの値は、急激に変化する。文字
のみ、または背景のみから成るタップの値は、ほとんど
変化しない。従って、テロップ表示領域について、より
狭い範囲のタップを選択することで、画像処理装置は、
急激に画素値が変化する画像に適切に対応するクラス分
類または適応処理を実行することができる。
【0277】また、例えば、図29(B)に示すように
テロップ表示領域において画面に対して横方向に流れる
ように文字が表示されるとき、画像処理装置は、テロッ
プ表示領域について、横長のタップを選択することによ
り、少ないクラスに分類してもノイズ除去効果の高い、
より効果的な画像処理を実行することができる。図29
(C)に示すようにテロップ表示領域において画面に対
して縦方向に流れるように文字が表示されるとき、画像
処理装置は、テロップ表示領域について、縦長のタップ
を選択することにより、より効果的な画像処理を実行す
ることができる。
【0278】このように、画像処理装置は、テロップ表
示領域と画像表示領域とで、異なるタップ構造および予
測係数Wを使用することで、最適な信号処理を実行す
る。
【0279】次に、図23に構成を示す画像処理装置に
よる、テロップモードにおける、テロップの位置に対応
したタップの切換の処理を図30のフローチャートを参
照して説明する。
【0280】ステップS201において、構造切換制御
回路302は、イニシャライズ回路312から供給され
たテロップ位置情報を取得する。構造切換制御回路30
2は、テロップの位置に対応するタップ選択信号TS1、
タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS
3-(N-2)を生成し、タップ選択信号TS1をタップ構築回
路304−1に供給し、タップ選択信号TS2をタップ構
築回路304−2に供給し、タップ選択信号TS3-1乃至T
S3-(N-2) のそれぞれをタップ構築回路304−3乃至
304−Nのそれぞれに供給する。
【0281】ステップS202において、タップ構築回
路304−1は、注目画素を選択する。タップ構築回路
304−2は、注目画素を選択する。タップ構築回路3
04−3乃至304−Nのそれぞれは、注目画素を選択
する。
【0282】ステップS203において、タップ構築回
路304−1は、各画素の画面上の物理アドレスおよび
タップ選択信号TS1を基に、注目画素がテロップ内の画
素であるか否かを判定し、注目画素がテロップ内の画素
であると判定された場合、ステップS204に進み、タ
ップを切り換えて、テロップに対応する、動きクラスタ
ップTD1を選択し、手続きは、ステップS206に進
む。
【0283】ステップS203において、注目画素がテ
ロップ内の画素でないと判定された場合、ステップS2
05に進み、タップ構築回路304−1は、タップを切
り換えて、自然画像に対応する、動きクラスタップTD1
を選択し、手続きは、ステップS206に進む。
【0284】ステップS203乃至ステップS205に
おいて、タップ構築回路304−2乃至304−Nは、
タップ構築回路304−1と同様の処理を実行するの
で、その説明は省略する。
【0285】ステップS206において、タップ構築回
路304−1乃至304−Nは、全ての画素について処
理を終了したか否かを判定し、全ての画素について処理
を終了していないと判定された場合、ステップS202
に戻り、タップの切換の処理を繰り返す。
【0286】ステップS206において、全ての画素に
ついて処理を終了したと判定された場合、処理は終了す
る。
【0287】このように、図23に構成を示す画像処理
装置は、テロップモードにおいて、注目画素がテロップ
表示領域に属するか否かに対応してタップを切り換える
ことができる。
【0288】図27に構成を示す画像処理装置は、テロ
ップモードにおいて、図30に示すフローチャートを参
照して説明した処理と同様の処理で、注目画素がテロッ
プ表示領域に属するか否かに対応してタップを切り換え
るので、その説明は省略する。
【0289】図23または図27に構成を示す画像処理
装置は、図29(D)に示す画像についても、枠画像表
示領域のタップおよび画像表示領域のタップを切り換え
て処理を実行する。
【0290】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、記録媒体からイ
ンストールされる。
【0291】図31は、記録媒体およびコンピュータの
例を説明する図である。CPU(Central Processing Uni
t)501は、各種アプリケーションプログラムや、OS
(Operating System)を実際に実行する。ROM(Read-onl
y Memory)502は、一般的には、CPU501が使用す
るプログラムや演算用のパラメータのうちの基本的に固
定のデータを格納する。RAM(Random-Access Memory)
503は、CPU501の実行において使用するプログラ
ムや、その実行において適宜変化するパラメータを格納
する。これらはCPUバスなどから構成されるホストバス
504により相互に接続されている。
【0292】ホストバス504は、ブリッジ505を介
して、PCI(Peripheral Component Interconnect/Interf
ace)バスなどの外部バス506に接続されている。
【0293】キーボード508は、CPU501に各種の
指令を入力するとき、使用者により操作される。マウス
509は、ディスプレイ510の画面上のポイントの指
示や選択を行うとき、使用者により操作される。ディス
プレイ510は、液晶表示装置またはCRT(Cathode Ray
Tube)などから成り、各種情報をテキストやイメージ
で表示する。HDD(Hard Disk Drive)511は、ハード
ディスクを駆動し、それらにCPU501によって実行す
るプログラムや情報を記録または再生させる。
【0294】ドライブ512は、装着されている磁気デ
ィスク551、光ディスク552、光磁気ディスク55
3、または半導体メモリ554に記録されているデータ
またはプログラムを読み出して、そのデータまたはプロ
グラムを、インターフェース507、外部バス506、
ブリッジ505、およびホストバス504を介して接続
されているRAM503に供給する。
【0295】これらのキーボード508乃至ドライブ5
12は、インターフェース507に接続されており、イ
ンターフェース507は、外部バス506、ブリッジ5
05、およびホストバス504を介してCPU501に接
続されている。
【0296】記録媒体は、図23に示すように、コンピ
ュータとは別に、ユーザにブロック図に対応する処理を
実行するプログラムを提供するために配布される、プロ
グラムが記録されている磁気ディスク551(フロッピ
ディスクを含む)、光ディスク552(CD-ROM(Compact
Disc-Read Only Memory)、DVD(Digital Versatile
Disc)を含む)、光磁気ディスク553(MD(Mini-Dis
c)を含む)、若しくは半導体メモリ554などよりなる
リムーバブルメディアにより構成されるだけでなく、コ
ンピュータに予め組み込まれた状態でユーザに提供され
る、プログラムが記録されているROM502や、HDD51
1などで構成される。
【0297】なお、ユーザにブロック図に対応する処理
を実行するプログラムは、有線または無線の通信媒体を
介して、コンピュータに供給されるようにしてもよい。
【0298】また、本明細書において、記録媒体に格納
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0299】
【発明の効果】本発明の第1の画像処理装置および方
法、並びに記録媒体によれば、複数の画素からなる入力
画像信号の注目画素のフレーム内における位置を示す位
置情報が検出され、位置情報に応じて、複数のクラスか
ら注目画素のクラスが決定され、入力画像信号から複数
の画素が予測タップとして選択され、クラス毎に予め学
習により得られた変換データ、および、予測タップに基
づく演算処理を行うことにより、入力画像より高質な出
力画像信号が出力されるようにしたので、画素の画面上
の位置にかかわらず、常に、より高質な画像を生成する
ことができるようになる。
【0300】本発明の第2の画像処理装置および方法、
並びに記録媒体によれば、複数の画素からなる入力画像
信号の注目画素のフレーム内における位置を示す位置情
報が検出され、注目画素との位置関係が、位置情報に応
じて可変される複数の画素が、入力画像信号からクラス
タップとして選択され、クラスタップに基づいて、複数
のクラスから注目画素のクラスが決定され、入力画像信
号から複数の画素が予測タップとして選択され、クラス
毎に予め学習により得られた変換データ、および、予測
タップに基づく演算処理を行うことにより、入力画像よ
り高質な出力画像信号が出力されるようにしたので、画
素の画面上の位置にかかわらず、常に、より高質な画像
を生成することができるようになる。
【0301】本発明の第3の画像処理装置および方法、
並びに記録媒体によれば、複数の画素からなる入力画像
信号の注目画素のフレーム内における位置を示す位置情
報が検出され、入力画像信号から複数の画素がクラスタ
ップとして選択され、クラスタップに基づいて、複数の
クラスから注目画素のクラスが決定され、注目画素との
位置関係が、位置情報に応じて可変される複数の画素
が、入力画像信号から予測タップとして選択され、クラ
ス毎に予め学習により得られた変換データ、および、予
測タップに基づく演算処理を行うことにより、入力画像
より高質な出力画像信号が出力されるようにしたので、
画素の画面上の位置にかかわらず、常に、より高質な画
像を生成することができるようになる。
【0302】本発明の第4の画像処理装置および方法、
並びに記録媒体によれば、複数の画素からなる入力画像
信号の各注目画素に対して、入力画像信号から複数の画
素が仮クラスタップとして選択され、仮クラスタップの
フレーム内における位置に応じて注目画素との位置関係
が可変される複数の画素が、入力画像信号から真クラス
タップとして選択され、真クラスタップに基づいて、複
数のクラスから注目画素のクラスが決定され、入力画像
信号から複数の画素が予測タップとして選択され、クラ
ス毎に予め学習により得られた変換データ、および、予
測タップに基づく演算処理を行うことにより、入力画像
より高質な出力画像信号が出力されるようにしたので、
画素の画面上の位置にかかわらず、常に、より高質な画
像を生成することができるようになる。
【0303】本発明の第5の画像処理装置および方法、
並びに記録媒体によれば、複数の画素からなる入力画像
信号の各注目画素に対して、入力画像信号から複数の画
素がクラスタップとして選択され、クラスタップに基づ
いて、複数のクラスから注目画素のクラスが決定され、
各注目画素に対して、入力画像信号から複数の画素が仮
予測タップとして選択され、仮予測タップのフレーム内
における位置に応じて注目画素との位置関係が可変され
る複数の画素が、入力画像信号から真予測タップとして
選択され、クラス毎に予め学習により得られた変換デー
タ、および、真予測タップに基づく演算処理を行うこと
により、入力画像より高質な出力画像信号が出力される
ようにしたので、画素の画面上の位置にかかわらず、常
に、より高質な画像を生成することができるようにな
る。
【図面の簡単な説明】
【図1】画素のマスクを説明する図である。
【図2】本発明に係る画像処理装置の一実施の形態の構
成を示す図である。
【図3】有効画素領域算出回路11の構成の例を示す図
である。
【図4】有効画素領域垂直フラグVFおよび有効画素領域
水平フラグHFを説明する図である。
【図5】創造の対象となる周辺の画素を説明する図であ
る。
【図6】画像の端部における、タップの構築の例を示す
図である。
【図7】画像の端部における、タップの構築の例を示す
図である。
【図8】欠落画素創造回路12の構成を示すブロック図
である。
【図9】前処理回路101の処理を説明するフローチャ
ートである。
【図10】動きクラス生成回路103の構成を示す図で
ある。
【図11】動き検出回路151の構成を示す図である。
【図12】時間アクティビティの算出に使用されるタッ
プを示す図である。
【図13】空間アクティビティの算出に使用されるタッ
プを示す図である。
【図14】動き判定の閾値を説明する図である。
【図15】動き判定回路184の動きクラスコードMCC
を設定する処理を説明するフローチャートである。
【図16】動きクラスコードMCCの多数決判定に利用さ
れる画素を説明する図である。
【図17】動き検出回路151の動きクラスコードMCC
を設定する処理を説明するフローチャートである。
【図18】画像の端部における、タップの構築の例を示
す図である。
【図19】画像の端部における、タップの構築の例を示
す図である。
【図20】補間の処理に利用される画素を説明する図で
ある。
【図21】画素値が置換される画素を説明する図であ
る。
【図22】欠落画素創造回路12の他の構成を示すブロ
ック図である。
【図23】欠落画素創造を行う画像処理モード、色収差
を考慮した画像処理モード、テロップ位置を考慮した画
像処理モードの何れか1つまたは複数を選択的に行う画
像処理装置に利用される係数セットを生成する、画像処
理装置の一実施の形態の構成を示す図である。
【図24】色収差を説明する図である。
【図25】色収差を説明する図である。
【図26】タップの切換を説明する図である。
【図27】欠落画素創造を行う画像処理モード、色収差
を考慮した画像処理モード、テロップ位置を考慮した画
像処理モードの何れか1つまたは複数を選択的に行う画
像処理装置の一実施の形態の構成を示す図である。
【図28】色収差に対応したタップの切換の処理を説明
するフローチャートである。
【図29】テロップ等が表示されている画面の例を示す
図である。
【図30】テロップの位置に対応したタップの切換の処
理を説明するフローチャートである。
【図31】記録媒体を説明する図である。
【符号の説明】
11 有効画素領域算出回路, 12 欠落画素創造回
路, 101 前処理回路, 102−1乃至102−
5 タップ構築回路, 103 動きクラス生成回路,
104 DRクラス生成回路, 105 空間クラス
生成回路, 106 欠落クラス生成回路, 107
クラス合成回路, 108 可変タップ選択回路, 1
09 係数保持クラスコード選択回路, 110 推定
予測演算回路, 111 イニシャライズ回路, 20
1 前処理回路, 202−1乃至202−5 タップ
構築回路, 203 動きクラス生成回路, 204
DRクラス生成回路, 205 空間クラス生成回路,
206 欠落クラス生成回路, 207 クラス合成
回路, 208 可変タップ選択回路, 209係数保
持クラスコード選択回路, 210 推定予測演算回
路, 211 イニシャライズ回路, 212 置換回
路, 213 線形補間回路, 214 選択回路,
301 表示位置算出回路, 302 構造切換制御回
路, 303ダウンフィルタ, 304−1乃至304
−N タップ構築回路, 305動きクラス生成回路,
306−1乃至306−(N−2) クラス生成回
路,307 クラス合成回路, 308 可変タップ選
択回路, 309 クラスコード選択回路, 310
正規方程式演算回路, 311 係数メモリ, 312
イニシャライズ回路, 401 表示位置算出回路,
402 構造切換制御回路, 403−1乃至403
−N タップ構築回路, 404 動きクラス生成回
路, 405−1乃至405−(N−2) クラス生成
回路, 406クラス合成回路, 407 可変タップ
選択回路, 408 係数保持クラスコード選択回路,
409 推定予測演算回路, 410 イニシャライ
ズ回路, 421 積和器, 501 CPU, 50
2 ROM, 511 HDD, 551 磁気ディス
ク, 552 光ディスク, 553 光磁気ディス
ク, 554 半導体メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 勉 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 大塚 秀樹 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 高橋 康昭 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 和田 成司 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 永野 隆浩 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 太田 浩二 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内

Claims (60)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素からなる入力画像信号の注目
    画素のフレーム内における位置を示す位置情報を検出す
    る位置検出手段と、 前記位置情報に応じて、複数のクラスから前記注目画素
    のクラスを決定するクラス決定手段と、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択手段と、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算手段とを備えることを特徴とする画像処理装置。
  2. 【請求項2】 前記クラス決定手段は、前記位置情報が
    前記フレーム中の有効領域と無効領域のどちらを示すか
    により、クラスを決定することを特徴とする請求項1に
    記載の画像処理装置。
  3. 【請求項3】 前記クラス決定手段は、前記位置情報で
    示される前記フレームの中心からの距離に基づいて、前
    記クラスを決定することを特徴とする請求項1に記載の
    画像処理装置。
  4. 【請求項4】 前記クラス決定手段は、前記位置情報
    が、前記フレーム内でテロップが挿入される位置と一致
    することを示すか否かに基づいて、前記クラスを決定す
    ることを特徴とする請求項1に記載の画像処理装置。
  5. 【請求項5】 前記入力画像信号の仮注目画素の動きに
    応じて、前記注目画素を決定する注目画素決定手段をさ
    らに備えることを特徴とする請求項1に記載の画像処理
    装置。
  6. 【請求項6】 前記仮注目画素の動きを検出する動き検
    出手段をさらに備えることを特徴とする請求項5に記載
    の画像処理装置。
  7. 【請求項7】 前記演算手段は、前記出力画像信号とし
    て、前記入力画像信号に含まれる欠落画素の情報も含む
    画像信号を出力することを特徴とする請求項1に記載の
    画像処理装置。
  8. 【請求項8】 前記演算手段は、前記出力画像信号とし
    て、前記入力画像信号よりノイズの低減された画像信号
    を出力することを特徴とする請求項1に記載の画像処理
    装置。
  9. 【請求項9】 前記演算手段は、前記出力画像信号とし
    て、前記入力画像信号より高解像度の画像信号を出力す
    ることを特徴とする請求項1に記載の画像処理装置。
  10. 【請求項10】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりレンズの収差による歪みが
    低減された画像信号を出力することを特徴とする請求項
    1に記載の画像処理装置。
  11. 【請求項11】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記位置情報に応じて、複数のクラスから前記注目画素
    のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理方法。
  12. 【請求項12】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記位置情報に応じて、複数のクラスから前記注目画素
    のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理をコンピ
    ュータに実行させるプログラムが記録されている記録媒
    体。
  13. 【請求項13】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出手段と、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号からクラスタ
    ップとして選択するクラスタップ選択手段と、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定手段と、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択手段と、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算手段とを備えることを特徴とする画像処理装置。
  14. 【請求項14】 前記クラスタップ選択手段は、前記位
    置情報が前記フレーム中の有効領域と無効領域のどちら
    を示すかに応じて可変される複数の画素を前記クラスタ
    ップとして選択することを特徴とする請求項13に記載
    の画像処理装置。
  15. 【請求項15】 前記クラスタップ選択手段は、前記位
    置情報で示される前記フレームの中心からの距離に基づ
    いて可変される複数の画素を前記クラスタップとして選
    択することを特徴とする請求項13に記載の画像処理装
    置。
  16. 【請求項16】 前記クラスタップ選択手段は、前記位
    置情報が、前記フレーム内でテロップが挿入される位置
    と一致することを示すか否かに基づいて可変される複数
    の画素を前記クラスタップとして選択することを特徴と
    する請求項13に記載の画像処理装置。
  17. 【請求項17】 前記入力画像信号の仮注目画素の動き
    に応じて、前記注目画素を決定する注目画素決定手段を
    さらに備えることを特徴とする請求項13に記載の画像
    処理装置。
  18. 【請求項18】 前記仮注目画素の動きを検出する動き
    検出手段をさらに備えることを特徴とする請求項17に
    記載の画像処理装置。
  19. 【請求項19】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号に含まれる欠落画素の情報も含
    む画像信号を出力することを特徴とする請求項13に記
    載の画像処理装置。
  20. 【請求項20】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりノイズの低減された画像信
    号を出力することを特徴とする請求項13に記載の画像
    処理装置。
  21. 【請求項21】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号より高解像度の画像信号を出力
    することを特徴とする請求項13に記載の画像処理装
    置。
  22. 【請求項22】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりレンズの収差による歪みが
    低減された画像信号を出力することを特徴とする請求項
    13に記載の画像処理装置。
  23. 【請求項23】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号からクラスタ
    ップとして選択するクラスタップ選択ステップと、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理方法。
  24. 【請求項24】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号からクラスタ
    ップとして選択するクラスタップ選択ステップと、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理をコンピ
    ュータに実行させるプログラムが記録されている記録媒
    体。
  25. 【請求項25】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出手段と、 前記入力画像信号から複数の画素をクラスタップとして
    選択するクラスタップ選択手段と、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定手段と、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号から予測タッ
    プとして選択する予測タップ選択手段と、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算手段とを備えることを特徴とする画像処理装置。
  26. 【請求項26】 前記予測タップ選択手段は、前記位置
    情報が前記フレーム中の有効領域と無効領域のどちらを
    示すかに応じて前記位置関係が可変される複数の画素を
    前記予測タップとして選択することを特徴とする請求項
    25に記載の画像処理装置。
  27. 【請求項27】 前記予測タップ選択手段は、前記位置
    情報で示される前記フレームの中心からの距離に基づい
    て前記位置関係が可変される複数の画素を前記予測タッ
    プとして選択することを特徴とする請求項25に記載の
    画像処理装置。
  28. 【請求項28】 前記予測タップ選択手段は、前記位置
    情報が、前記フレーム内でテロップが挿入される位置と
    一致することを示すか否かに基づいて前記位置関係が可
    変される複数の画素を前記予測タップとして選択するこ
    とを特徴とする請求項25に記載の画像処理装置。
  29. 【請求項29】 前記入力画像信号の仮注目画素動きに
    応じて、前記注目画素を決定する注目画素決定手段をさ
    らに備えることを特徴とする請求項25に記載の画像処
    理装置。
  30. 【請求項30】 前記仮注目画素の動きを検出する動き
    検出手段をさらに備えることを特徴とする請求項29に
    記載の画像処理装置。
  31. 【請求項31】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号に含まれる欠落画素の情報も含
    む画像信号を出力することを特徴とする請求項25に記
    載の画像処理装置。
  32. 【請求項32】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりノイズの低減された画像信
    号を出力することを特徴とする請求項25に記載の画像
    処理装置。
  33. 【請求項33】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号より高解像度の画像信号を出力
    することを特徴とする請求項25に記載の画像処理装
    置。
  34. 【請求項34】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりレンズの収差による歪みが
    低減された画像信号を出力することを特徴とする請求項
    25に記載の画像処理装置。
  35. 【請求項35】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記入力画像信号から複数の画素をクラスタップとして
    選択するクラスタップ選択ステップと、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号から予測タッ
    プとして選択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理方法。
  36. 【請求項36】 複数の画素からなる入力画像信号の注
    目画素のフレーム内における位置を示す位置情報を検出
    する位置検出ステップと、 前記入力画像信号から複数の画素をクラスタップとして
    選択するクラスタップ選択ステップと、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記注目画素との位置関係が、前記位置情報に応じて可
    変される複数の画素を、前記入力画像信号から予測タッ
    プとして選択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理をコンピ
    ュータに実行させるプログラムが記録されている記録媒
    体。
  37. 【請求項37】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    仮クラスタップとして選択する仮クラスタップ選択手段
    と、 前記仮クラスタップのフレーム内における位置に応じて
    前記注目画素との位置関係が可変される複数の画素を、
    前記入力画像信号から真クラスタップとして選択する真
    クラスタップ選択手段と、 前記真クラスタップに基づいて、複数のクラスから前記
    注目画素のクラスを決定するクラス決定手段と、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択手段と、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算手段とを備えることを特徴とする画像処理装置。
  38. 【請求項38】 前記真クラスタップ選択手段は、前記
    仮クラスタップの複数の画素それぞれが、前記フレーム
    中の無効画像領域に位置する際に、前記無効画像領域に
    位置する画素に代えて、前記フレーム中の有効画像領域
    の画素を前記真クラスタップとして選択することを特徴
    とする請求項37に記載の画像処理装置。
  39. 【請求項39】 前記真クラスタップ選択手段は、前記
    仮クラスタップの前記フレームの中心からの距離に基づ
    いて、前記真クラスタップを選択することを特徴とする
    請求項37に記載の画像処理装置。
  40. 【請求項40】 前記真クラスタップ選択手段は、前記
    仮クラスタップと、前記フレーム内でテロップが挿入さ
    れる位置を示す位置情報に基づいて、前記真クラスタッ
    プを選択することを特徴とする請求項37に記載の画像
    処理装置。
  41. 【請求項41】 前記入力画像信号の仮注目画素の動き
    に応じて、前記注目画素を決定する注目画素決定手段を
    さらに備えることを特徴とする請求項37に記載の画像
    処理装置。
  42. 【請求項42】 前記仮注目画素の動きを検出する動き
    検出手段をさらに備えることを特徴とする請求項41に
    記載の画像処理装置。
  43. 【請求項43】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号に含まれる欠落画素の情報も含
    む画像信号を出力することを特徴とする請求項37に記
    載の画像処理装置。
  44. 【請求項44】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりノイズの低減された画像信
    号を出力することを特徴とする請求項37に記載の画像
    処理装置。
  45. 【請求項45】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号より高解像度の画像信号を出力
    することを特徴とする請求項37に記載の画像処理装
    置。
  46. 【請求項46】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりレンズの収差による歪みが
    低減された画像信号を出力することを特徴とする請求項
    37に記載の画像処理装置。
  47. 【請求項47】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    仮クラスタップとして選択する仮クラスタップ選択ステ
    ップと、 前記仮クラスタップのフレーム内における位置に応じて
    前記注目画素との位置関係が可変される複数の画素を、
    前記入力画像信号から真クラスタップとして選択する真
    クラスタップ選択ステップと、 前記真クラスタップに基づいて、複数のクラスから前記
    注目画素のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理方法。
  48. 【請求項48】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    仮クラスタップとして選択する仮クラスタップ選択ステ
    ップと、 前記仮クラスタップのフレーム内における位置に応じて
    前記注目画素との位置関係が可変される複数の画素を、
    前記入力画像信号から真クラスタップとして選択する真
    クラスタップ選択ステップと、 前記真クラスタップに基づいて、複数のクラスから前記
    注目画素のクラスを決定するクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして選
    択する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記予測タップに基づく演算処理を行うことによ
    り、前記入力画像より高質な出力画像信号を出力する演
    算ステップとを含むことを特徴とする画像処理をコンピ
    ュータに実行させるプログラムが記録されている記録媒
    体。
  49. 【請求項49】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    クラスタップとして選択するクラスタップ選択手段と、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定手段と、 前記各注目画素に対して、前記入力画像信号から複数の
    画素を仮予測タップとして選択する仮予測タップ選択手
    段と、 前記仮予測タップのフレーム内における位置に応じて前
    記注目画素との位置関係が可変される複数の画素を、前
    記入力画像信号から真予測タップとして選択する真予測
    タップ選択手段と、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記真予測タップに基づく演算処理を行うことに
    より、前記入力画像より高質な出力画像信号を出力する
    演算手段とを備えることを特徴とする画像処理装置。
  50. 【請求項50】 前記真予測タップ選択手段は、前記仮
    予測タップの複数の画素それぞれが、前記フレーム中の
    無効画像領域に位置する際に、前記無効画像領域に位置
    する画素に代えて、前記フレーム中の有効画像領域の画
    素を前記真予測タップとして選択することを特徴とする
    請求項49に記載の画像処理装置。
  51. 【請求項51】 前記真予測タップ選択手段は、前記仮
    予測タップの前記フレームの中心からの距離に基づい
    て、前記真予測タップを選択することを特徴とする請求
    項49に記載の画像処理装置。
  52. 【請求項52】 前記真予測タップ選択手段は、前記仮
    予測タップと、前記フレーム内でテロップが挿入される
    位置を示す位置情報に基づいて、前記真予測タップを選
    択することを特徴とする請求項49に記載の画像処理装
    置。
  53. 【請求項53】 前記入力画像信号の仮注目画素の動き
    に応じて、前記注目画素を決定する注目画素決定手段を
    さらに備えることを特徴とする請求項49に記載の画像
    処理装置。
  54. 【請求項54】 前記仮注目画素の動きを検出する動き
    検出手段をさらに備えることを特徴とする請求項53に
    記載の画像処理装置。
  55. 【請求項55】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号に含まれる欠落画素の情報も含
    む画像信号を出力することを特徴とする請求項49に記
    載の画像処理装置。
  56. 【請求項56】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりノイズの低減された画像信
    号を出力することを特徴とする請求項49に記載の画像
    処理装置。
  57. 【請求項57】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号より高解像度の画像信号を出力
    することを特徴とする請求項49に記載の画像処理装
    置。
  58. 【請求項58】 前記演算手段は、前記出力画像信号と
    して、前記入力画像信号よりレンズの収差による歪みが
    低減された画像信号を出力することを特徴とする請求項
    49に記載の画像処理装置。
  59. 【請求項59】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    クラスタップとして選択するクラスタップ選択ステップ
    と、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記各注目画素に対して、前記入力画像信号から複数の
    画素を仮予測タップとして選択する仮予測タップ選択ス
    テップと、 前記仮予測タップのフレーム内における位置に応じて前
    記注目画素との位置関係が可変される複数の画素を、前
    記入力画像信号から真予測タップとして選択する真予測
    タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記真予測タップに基づく演算処理を行うことに
    より、前記入力画像より高質な出力画像信号を出力する
    演算ステップとを含むことを特徴とする画像処理方法。
  60. 【請求項60】 複数の画素からなる入力画像信号の各
    注目画素に対して、前記入力画像信号から複数の画素を
    クラスタップとして選択するクラスタップ選択ステップ
    と、 前記クラスタップに基づいて、複数のクラスから前記注
    目画素のクラスを決定するクラス決定ステップと、 前記各注目画素に対して、前記入力画像信号から複数の
    画素を仮予測タップとして選択する仮予測タップ選択ス
    テップと、 前記仮予測タップのフレーム内における位置に応じて前
    記注目画素との位置関係が可変される複数の画素を、前
    記入力画像信号から真予測タップとして選択する真予測
    タップ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、お
    よび、前記真予測タップに基づく演算処理を行うことに
    より、前記入力画像より高質な出力画像信号を出力する
    演算ステップとを含むことを特徴とする画像処理をコン
    ピュータに実行させるプログラムが記録されている記録
    媒体。
JP2001026941A 2000-02-10 2001-02-02 画像処理装置および方法、並びに記録媒体 Expired - Fee Related JP4623345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001026941A JP4623345B2 (ja) 2000-02-10 2001-02-02 画像処理装置および方法、並びに記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-33786 2000-02-10
JP2000033786 2000-02-10
JP2001026941A JP4623345B2 (ja) 2000-02-10 2001-02-02 画像処理装置および方法、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2001298637A true JP2001298637A (ja) 2001-10-26
JP2001298637A5 JP2001298637A5 (ja) 2008-03-06
JP4623345B2 JP4623345B2 (ja) 2011-02-02

Family

ID=26585220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001026941A Expired - Fee Related JP4623345B2 (ja) 2000-02-10 2001-02-02 画像処理装置および方法、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4623345B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064640A1 (ja) * 2017-09-27 2019-04-04 株式会社Jvcケンウッド 動きベクトル検出装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134511A (ja) * 1998-10-26 2000-05-12 Sony Corp 画像情報変換装置および変換方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134511A (ja) * 1998-10-26 2000-05-12 Sony Corp 画像情報変換装置および変換方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064640A1 (ja) * 2017-09-27 2019-04-04 株式会社Jvcケンウッド 動きベクトル検出装置

Also Published As

Publication number Publication date
JP4623345B2 (ja) 2011-02-02

Similar Documents

Publication Publication Date Title
KR100742850B1 (ko) 화상 처리 장치와 방법, 및 기록 매체
US8189941B2 (en) Image processing device, display device, image processing method, and program
JP2014194706A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010093672A (ja) 映像変換装置および方法、並びにプログラム
JP2007181189A (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JP3680922B2 (ja) 画像処理装置
KR20070094521A (ko) 화상 처리 장치 및 화상처리 방법과 프로그램
JP5159651B2 (ja) 画像処理装置、画像処理方法、及び画像表示装置
JP4470280B2 (ja) 画像信号処理装置及び画像信号処理方法
JPWO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
JP3946781B2 (ja) 画像情報変換装置及び方法
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
WO2001097510A1 (en) Image processing system, image processing method, program, and recording medium
JP4746909B2 (ja) ビデオシーケンスの補助データ処理
JP2001298637A (ja) 画像処理装置および方法、並びに記録媒体
JP2005086388A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JPH0851598A (ja) 画像情報変換装置
JP4650684B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP4595162B2 (ja) 画像信号処理装置及び画像信号処理方法
JP4441860B2 (ja) 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP2013059092A (ja) 画像処理装置及びその制御方法
JP4241720B2 (ja) 積和演算回路
JP3767019B2 (ja) 積和演算回路および方法
JP4001143B2 (ja) 係数生成装置および方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101020

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees