JP2009253873A - 画像処理装置及び方法、並びにプログラム - Google Patents

画像処理装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP2009253873A
JP2009253873A JP2008102105A JP2008102105A JP2009253873A JP 2009253873 A JP2009253873 A JP 2009253873A JP 2008102105 A JP2008102105 A JP 2008102105A JP 2008102105 A JP2008102105 A JP 2008102105A JP 2009253873 A JP2009253873 A JP 2009253873A
Authority
JP
Japan
Prior art keywords
image
pixel
class
unit
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008102105A
Other languages
English (en)
Inventor
Hironari Aoki
裕也 青木
Takuo Morimura
卓夫 守村
Shinobu Yamada
忍 山田
Kosuke Nagano
宏介 長野
Kentaro Fukazawa
健太郎 深沢
Hideki Mori
英樹 森
Yasuhiko Kan
靖彦 管
Shunsuke Harasaki
俊介 原崎
Seiichi Inomata
誠一 猪俣
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008102105A priority Critical patent/JP2009253873A/ja
Publication of JP2009253873A publication Critical patent/JP2009253873A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】入力画像から出力画像に変換する。
【解決手段】特徴量クラス分類部２３３は、入力画像から出力画像に変換するために、入力画像の水平方向の波形を形成している画素群のうちの注目画素と、その波形に含まれるエッジ領域との位置関係を位相として算出し、その位相に基づいて、注目画素をクラス分類する。積和演算部２４０は、特徴量クラス分類部２３３により分類された注目画素の特徴量クラスにより特定される予測係数と、注目画素を含む入力画像における画素のデータ群とを用いて、出力画像を構成する画素を予測演算する。本発明は、例えば、画像変換装置に適用できる。
【選択図】図３６

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができるようになった画像処理装置及び方法、並びにプログラムに関する。
例えば、標準解像度または低解像度の画像(以下、SD(Standard Definition)画像と称する)を、高解像度の画像(以下、HD(High Definition)画像と称する)に変換する変換手法として、いわゆる補間フィルタなどによって、不足している画素の画素値を補間(補償)する変換手法がある。
しかしながら、補間フィルタによって画素を補間する変換手法では、SD画像に含まれていない成分、即ち、HD画像の成分(高周波成分)を復元することはできない。したがって、この変換手法では、高解像度の画像を得ることは困難であった。
そこで、本出願人は、SD画像には含まれていない高周波成分を復元する変換手法として、SD画像と、所定の予測係数との線形結合により、HD画像の画素の予測値を求める適応処理を行う手法を特許文献１により提案している。
以下、適応処理について説明する。
例えば、いま、HD 画像を構成する画素(以下、適宜、HD 画素と称する) の画素値y の予測値E[y]を、幾つかのSD 画素(HD画素に対して、SD 画像を構成する画素を、以下、このように称する)の画素値x1，x2，・・・，xnと、所定の予測係数w1，w2，・・・，wn（なお、個々の区別が不要な場合、予測係数wと称する）の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式（１）で表すことができる。
E[y] ＝ w1×x1＋ w2×x2＋・・・＋wn×xn ・・・（１）
予測係数wは、あらかじめ学習により求められる。
この学習では、HD画像が学習の教師となる教師データとされ、SD画像が学習の生徒となる生徒データとされる。
生徒データとしてのSD画像の幾つかのSD画素を学習用に多数セット用意するとする。
いま、生徒データの集合でなる行列X、予測係数w の集合でなる行列W、予測値E[y] の集合でなる行列Y ’を、それぞれ、式（２）乃至（４）で定義すると、式（５）で表される観測方程式が成立する。
Figure 2009253873
 ・・・（２）
Figure 2009253873
 ・・・（３）
Figure 2009253873
 ・・・（４）
X・W ＝ Y'
・・・（５）
なお、式（５）及び後述する式（８）において、「・」は、行列積を表す。
そして、最小自乗法を適用して、教師データとしてのHD 画素の画素値y に最も近い予測値E[y]を求めるとする。この場合、HD 画素の画素値y に対する予測値E[y] の残差e の集合でなる行列E、教師データとしてのHD 画素の真の画素値y の集合でなる行列Y を、それぞれ、式（６）、式（７）で定義すると、式（５）から、式（８）で表される残差方程式が成立する。
Figure 2009253873
 ・・・（６）
Figure 2009253873
 ・・・（７）
X・W ＝ Y＋E ・・・（８）
この場合、教師データとしてのHD 画素の画素値y に最も近い予測値E[y] を求めるための予測係数wi は、例えば、式（９）で表される自乗誤差を最小にすることで求めることができる。
Figure 2009253873
 ・・・（９）
従って、式（９）で表される自乗誤差を予測係数wiで微分したものが0になる場合、即ち、式（１０）を満たす予測係数wiが、教師データとしてのHD画素の画素値yに近い予測値E[y]を求めるための最適値ということになる。
Figure 2009253873
 ・・・（１０）
そこで、まず、式（８）を、予測係数wi で微分することにより、式（１１）が成立する。
Figure 2009253873
 ・・・（１１）
式（１０）及び（１１）より、式（１２）が得られる。
Figure 2009253873
 ・・・（１２）
さらに、式（９）の残差方程式における生徒データx、予測係数w、教師データy、および残差e の関係を考慮すると、式（１２） から、式（１３）のような正規方程式を得ることができる。
Figure 2009253873
 ・・・（１３）
式（１３）の正規方程式は、求めるべき予測係数w の数nと同じ数だけたてることができる。従って、式（１３）を解くことで、最適な予測係数w を求めることができる。但し、式（１３）を解くには、予測係数w にかかる係数で構成される行列が正則である必要がある。また、式（１３）を解くにあたっては、例えば、掃き出し法(Gauss−Jordan の消去法) などを適用することが可能である。
以上のようにして、学習により最適な予測係数w を求めておく。そして、その予測係数w を用い、式（１）により、HD 画素の画素値y に近い予測値E[y] を求める処理が適応処理である。
なお、適応処理は、SD 画像には含まれていない成分、即ちHD 画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と、適応処理とは同一にみえる。しかしながら、適応処理では、その補間フィルタのタップ係数に相当する予測係数w が、教師データy を用いた学習により求められるため、HD 画像に含まれる成分を再現することができる。即ち、高解像度の画像を容易に得ることができる。このことから、適応処理は、いわば画像(の解像度) の創造作用がある処理ということができる。
次に、図１を参照して、適応処理によりSD 画像をHD 画像に変換する画像変換装置の一例としての画像変換装置１について説明する。
図１は、画像変換装置１の構成例を示している。
画像変換装置１は、予測タップ選択部２、クラスタップ選択部３、クラス分類部４、係数メモリ５、及び予測演算部６から構成される。
予測タップ選択部２及びクラスタップ選択部３には、外部からSD画像が供給される。
予測タップ選択部２は、適応処理により予測値を求めようとしているHD 画素を、処理対象として注目すべき注目画素に設定する。予測タップ選択部２は、例えば、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを、SD画像から選択し、その予測タップのデータを、予測演算部６に供給する。
クラスタップ選択部３は、例えば、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを、SD画像から選択し、そのクラスタップのデータを、クラス分類部４に供給する。
クラス分類部４は、クラスタップ選択部３から供給されるクラスタップのデータに基づいて、すなわち、クラスタップを構成するSD画素の性質に基づいて、注目画素を所定のクラスにクラス分類し、係数メモリ５に供給する。すなわち、例えば、クラス分類部４は、クラスタップを構成するSD 画素の画素値のパターン(画素値の分布) を検出し、そのパターンにあらかじめ割り当てられた値を、注目画素のクラスとして算出する。
係数メモリ５には、あらかじめ学習により求められた予測係数がクラス毎に記憶されている。係数メモリ５は、クラス分類部４からクラスが供給されると、そのクラスに対応する予測係数を読み出し、予測演算部６に供給する。
予測演算部６は、予測タップ選択部２から供給される注目画素に対する予測タップのデータと、係数メモリ５から供給される注目画素のクラスに対応する予測係数とを用いて、注目画素の画素値を予測し、HD 画素の画素値として外部に出力する。すなわち、予測演算部６は、係数メモリ５からの予測係数w1，w2，・・・，wnと、予測タップ選択部２からの予測タップを構成するSD 画素（の画素値）x1，x2，・・・xnとを用いて、式（１）に示した演算（予測演算）を行うことにより、注目画素（HD 画素）y の予測値E[y] を求める。
特開２００２−２１８４１３号公報
しかしながら、上述した従来のクラス分類手法を用いて画像変換を行った場合、特に、ズーム時等の高倍密変換を行った場合に解像度感が不足するといった問題や、リンギングが発生するといった問題等が生じていた。
本発明は、このような状況に鑑みてなされたものであり、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができるようにするものである。
本発明の第１の側面の画像処理装置は、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、前記クラス分類手段により分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する予測演算手段とを備える。
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、前記位相算出手段には、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求めさせることができる。
前記位相は、前記注目画素の画素値と前記エッジ領域の全体についての画素値範囲との位置関係を表す情報であり、前記位相算出手段には、前記波形から、前記注目画素を含む所定の位置範囲を検出させ、検出された前記位置範囲に基づいて前記エッジ領域の全体についての画素値範囲を求めさせることができる。
前記位置範囲は、画素値の単純増加または単純減少する位置範囲であるようにすることができる。
本発明の第１の側面の画像処理方法またはプログラムは、画像処理装置またはコンピュータが実行するステップとして、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、算出された前記位相に基づいて、前記注目画素をクラス分類し、分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算するステップを含む。
本発明の第２の側面の画像処理装置は、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、前記クラス分類手段により分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する係数生成手段とを備える。
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、前記位相算出手段には、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求めさせることができる。
前記位相は、前記注目画素と前記エッジ領域の全体との位置関係を表す情報であり、前記位相算出手段には、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体の位置を求めさせることができる。
前記位置範囲は、画素値の単純増加または単純減少する位置範囲であるようにすることができる。
本発明の第２の側面の画像処理方法またはプログラムは、画像処理装置またはコンピュータが実行するステップとして、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、算出された前記位相に基づいて、前記注目画素をクラス分類し、分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成するステップを含む。
本発明の第１の側面においては、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係が位相として算出され、算出された前記位相に基づいて、前記注目画素がクラス分類され、分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素が予測演算される。
本発明の第２の側面においては、第１の画像が教師として入力され、前記第１の画像から生徒としての第２の画像が生成され、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係が位相として算出され、算出された前記位相に基づいて、前記注目画素がクラス分類され、分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数が生成される。
本発明の第１の側面によれば、入力画像を出力画像に変換することができる。特に、入力画像をより鮮明な出力画像に変換することができる。即ち、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができる。
本発明の第２の側面によれば、入力画像を出力画像に変換するために用いる予測係数を生成することができる。特に、入力画像をより鮮明な出力画像に変換するために用いる予測係数を生成することができる。即ち、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成するために用いる予測係数を生成することができる。
以下、図面を参照して本発明を適用した実施の形態について説明する。
まず、第１の実施の形態について説明する。
図２は、本発明が適用される画像変換システム１０の構成例を示す図である。
まず、画像変換システム１０で採用するクラス分類手法について、従来のクラス分類手法と対比させながら説明する。なお、説明の便宜上、処理対象は装置であるとして説明していく。
従来のクラス分類手法では、装置は、入力された画素のデータを用いてクラス分類を行っていた。すなわち、従来のクラス分類手法では、装置は、画素精度で得られる特徴量を利用してクラス分類を行っていた。
具体的には、例えば、従来のクラス分類手法では、装置は、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類を行っていた。すなわち、装置は、入力画像から任意のデータを取得し、取得したデータ毎のダイナミックレンジ(画素値の最大値と最小値の差分)に応じて、適応的な量子化を行っていた。すなわち、従来のクラス分類手法では、装置は、入力された画素のデータを用いてクラス分類を行っていた。したがって、従来のクラス分類手法は、画素精度で得られる特徴量を利用したクラス分類手法であると把握することができる。
それに対して、画像変換システム１０で採用するクラス分類手法では、装置は、画素精度より細かい情報、即ち、画素以下の情報を用いる。具体的には、画像変換システム１０で採用するクラス分類手法では、装置は、入力画像の所定方向についての波形の変曲点を求め、その変曲点位置に応じてクラス分類を行う。但し、この変曲点位置は、その波形の二次微分値を利用して算出する。よって、変曲点位置が求まらない場合、変曲点位置の代わりに二次微分値が利用されてクラス分類が行われる。つまり、この二次微分値や変曲点位置が、画素以下の情報に相当する。
なお、波形の方向は、特に限定されない。但し、第１の実施の形態では、水平方向の波形に特化して説明を行う。
第１の実施の形態（及び後述する第２の実施の形態）では、動画像の処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールド等でも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない点留意すべきである。
画像変換システム１０は、学習装置１１及び画像変換装置１２から構成される。
学習装置１１は、予測係数を学習する。この予測係数は、画像変換装置１２によるマッピング処理における予測演算に用いられる。マッピング処理については後述する。学習装置１１は、学習の教師となる教師画像を入力する。学習装置１１は、教師画像から、学習の生徒となる生徒画像を生成する。学習装置１１は、これらの教師画像と生徒画像とを用いて予測係数を学習する学習処理を行う。そして、学習装置１１は、学習した予測係数を画像変換装置１２に供給する。
なお、教師画像及び生徒画像の解像度については、特に限定されない。但し、第１の実施の形態では、教師画像として、例えば16倍密HD画像（SD画像に対して縦横各4倍の解像度のHD画像）を採用し、また、生徒画像として、例えばSD画像を採用するとする。また、これらの画像変換装置１２への入力画像は、生徒画像と同解像度の画像となる。画像変換装置１２からの出力画像は、教師画像と同解像度の画像となる。
画像変換装置１２は、学習装置１１から供給される予測係数を内部の係数メモリ２１に記憶する。また、画像変換装置１２は、外部から供給されるSD画像を入力画像とし、その入力画像に対してマッピング処理を施し、その結果得られる16倍密HD画像を出力画像として外部に出力する。なお、画像変換装置１２は、係数メモリ２１に記憶された予測係数を適宜読み出し、マッピング処理で実行する予測演算に使用する。
ここで、マッピング処理とは、学習処理により得られた予測係数を用いて、SD画像からHD予測画像を得る処理をいう。
なお、係数メモリ２１は、図２の例では画像変換装置１２の一構成要素となっている。しかし、係数メモリ２１は、画像変換装置１２の外部に設けてもよい。
図３は、学習装置１１の内部構成例を示すブロック図である。
学習装置１１は、入力部４１、教師タップ選択部４２、生徒画像生成部４３、特徴量算出クラスタップ選択部４４、クラス分類部４５、予測タップ選択部４６、正規方程式加算部４７、及び係数データ生成部４８から構成される。
入力部４１は、教師画像を入力し、教師タップ選択部４２及び生徒画像生成部４３に供給する。
教師タップ選択部４２は、教師画像から教師タップを選択し、その教師タップのデータを正規方程式加算部４７に提供する。教師タップは、生徒画像における注目画素に対して所定の位置関係にある教師画像内の画素から選択される。なお、注目画素は、後述する特徴量算出クラスタップ選択部４４により設定される。
生徒画像生成部４３は、教師画像から生徒画像を生成し、特徴量算出クラスタップ選択部４４及び予測タップ選択部４６に供給する。例えば、生徒画像生成部４３は、教師画像に対して、LPF(Low Pass Filter)を用いるダウンコンバート処理を施すことで、生徒画像を生成する。
特徴量算出クラスタップ選択部４４は、生徒画像を構成する各画素を注目画素に順次設定する。特徴量算出クラスタップ選択部４４は、注目画素を含む水平方向のN画素分のデータから、水平方向の波形の二次微分値を特徴量として算出し、クラス分類部４５に供給する。但し、Nは、二次微分値を算出するために用いる画素の数で決まる。また、特徴量算出クラスタップ選択部４４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択し、そのクラスタップのデータを、クラス分類部４５に供給する。
クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給される二次微分値から、水平方向の波形の変曲点を求める。クラス分類部４５は、変曲点位置が算出可能な場合、その変曲点位置を特徴量として算出する。これに対して、クラス分類部４５は、変曲点位置が算出不可能な場合、二次微分値をそのまま特徴量として採用する。そして、
クラス分類部４５は、特徴量に基づいて、注目画素をクラス分類する。なお、以下、このようなクラス分類を他のクラス分類と区別するために、特徴量クラス分類と称する。また、特徴量クラス分類で分類されるクラスを、以下、特徴量クラスと称する。さらに、特徴量クラスを特定可能なコードを、以下、特徴量クラスコードと称する。即ち、クラス分類部４５は、注目画素についての特徴量クラスコードを生成する。
また、クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素をクラス分類する。このようなクラス分類を他のクラス分類と区別するために、以下、ADRCクラス分類と称する。また、ADRCクラス分類で分類されるクラスを、以下、ADRCクラスと称する。さらに、ADRCクラスを特定可能なコードを、以下、ADRCクラスコードと称する。即ち、クラス分類部４５は、注目画素についてのADRCクラスコードを生成する。
そして、クラス分類部４５は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部４７に供給する。
予測タップ選択部４６は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択し、その予測タップのデータを、正規方程式加算部４７に供給する。
正規方程式加算部４７は、教師タップ選択部４２から供給される教師タップのデータ、及び予測タップ選択部４６から供給される予測タップのデータを、クラス分類部４５から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。正規方程式加算部４７は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部４８に供給する。
係数データ生成部４８は、正規方程式加算部４７から供給された正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ２１に記憶させる。
次に、図４を参照して、教師タップ選択部４２による教師タップの選択、特徴量算出クラスタップ選択部４４によるクラスタップの選択、及び予測タップ選択部４６による予測タップの選択について説明する。
図４Ａは、クラスタップの一例を示している。図４Ｂは、予測タップの一例を示している。
図４Ａ及び４Ｂにおいて、縦方向は生徒画像の垂直方向を示し、横方向は生徒画像の水平方向を示している。
図４Ａ及び４Ｂにおいて、中央の画素が、注目画素であるとする。
この場合、特徴量算出クラスタップ選択部４４は、例えば、注目画素a3を中心とする水平方向に並んだ画素a1乃至a5、並びに、注目画素a3を挟んで垂直方向に並んだ画素a6乃至a9の集合体をクラスタップに選択する。
予測タップ選択部４６は、例えば、注目画素aa3から水平方向に２画素ずつ離れている画素aa1及びaa5、並びに、注目画素aa3から垂直方向に２画素ずつ離れている画素aa6及びaa9を４頂点とする菱形の辺上若しくは内部に存在する画素aa1乃至aa13の集合体を予測タップに選択する。
教師タップ選択部４２は、教師画像のうちの複数の画素、すなわち、注目画素の左上の画素p1、右上の画素p2、左下の画素p3、及び右下の画素p4を４隅の画素とする正方形の辺上または内部に存在する図示せぬ画素を含む９の画素から、教師タップを選択する。これらの９の画素を、以下、処理画素群と称する。なお、処理画素群のうちの図示している画素p1乃至p4は、特徴量クラスについての予測係数の学習に利用される画素である。処理画素群のうちの図示していない画素は、特徴量クラスについての予測係数の学習に利用されない画素、すなわち、ADRCクラスの予測係数の学習にのみ利用される画素である。
図４Ａを参照したまま、クラス分類部４５による変曲点位置の算出について説明する。
クラス分類部４５は、例えば、図４Ａの実線の両矢印で示される２つの領域のそれぞれについて、その領域に水平方向の波形の変曲点が存在する場合、すなわち、その変曲点位置が算出可能な場合、その変曲点位置を算出する。ここで、実線の両矢印で示される２つの領域とは、注目画素の左隣の画素と注目画素の間の領域と、注目画素と注目画素の右隣の画素の間の領域とを指す。なお、これらの領域を、以下、適宜、処理対象領域と称する。それに対して、クラス分類部４５は、例えば、図４Ａの点線の両矢印で示される２つの領域については、変曲点位置を算出しない。ここで、点線の両矢印で示される２つの領域とは、注目画素の２つ左の画素と左隣の画素の間の領域と、注目画素の右隣の画素と注目画素の２つ右の画素の間の領域とを指す。
すなわち、例えば、クラス分類部４５は、上述した２つの処理対象領域のうちの１つを注目領域に設定し、注目領域の両端における水平方向の波形の二次微分値から、水平方向の波形の変曲点を求める。そして、クラス分類部４５は、水平方向の波形の変曲点が注目領域に存在する場合、注目領域の変曲点位置を算出する。
但し、水平方向の波形の二次微分値は、特徴量算出クラスタップ選択部４４で算出される特徴量である。
次に、図５を参照して、特徴量算出クラスタップ選択部４４による二次微分値の算出について説明する。
図５は、二次微分値の算出に用いる画素の一例を示している。
特徴量算出クラスタップ選択部４４は、注目画素ab3を中心とする水平方向に並んだ画素ab1乃至ab5を、二次微分値の算出用の画素として採用する。
図５では、各処理対象領域の両端の画素が枠で囲まれている。すなわち、左側の処理対象領域についての左端の画素ab2と右端の注目画素ab3とが枠で囲まれている。また、右側の処理対象領域についての左端の注目画素ab3と右端の画素ab4とが枠で囲まれている。
図５に示すように、注目画素ab3の水平方向（x方向）の位置をx0と表し、隣接する画素どうしの間隔を1とする。すなわち、画素ab1、ab2、ab3、ab4、及びab5のx方向位置を、それぞれ、x0−2、x0−1、x0、x0＋1、及びx0＋2と表すとする。
いま、クラス分類部４５により、図４Ａの右側の処理対象領域、すなわち、図５の右側の枠内の位置x0、x0＋1の間の領域が注目領域として設定されているとする。
この場合、特徴量算出クラスタップ選択部４４は、位置x0、x0＋1における水平方向の波形の二次微分値を算出する。
位置xにおける波形をf(x)と表すとすると、位置x0、x0＋1における二次微分値f”(x0)、f”(x0＋1)は、式（１４）で表される。
f”(x0) ＝ f(x0−1)＋f(x0＋1)−2×f(x0)
f”(x0＋1) ＝ f(x0)＋f(x0＋2)−2×f(x0＋1)
・・・（１４）
ここで、f(x0−1)、f(x0)、f(x0＋1)、及びf(x0＋2)は、それぞれ、画素ab2、ab3、ab4、及びab5の画素値を示している。すなわち、二次微分値f”(x0)は、画素ab2、ab3、ab4の画素値から算出される。二次微分値f”(x0＋1)は、画素ab3、ab4、ab5の画素値から算出される。
クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)から、注目領域の変曲点位置が算出可能であれば、注目領域の変曲点位置を算出する。そして、クラス分類部４５は、変曲点位置を算出した場合には変曲点を、算出しない場合には二次微分値f”(x0)、f”(x0＋1)を特徴量に設定する。そして、クラス分類部４５は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。なお、特徴量クラスのクラス数は特に限定されない。但し、第１の実施の形態では、特徴量クラスコードが0乃至7の8クラスを採用するとする。
具体的には、クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)及びf”(x0＋1)のうちのいずれか一つが「0」の場合、通常の処理を行う。すなわち、クラス分類部４５は、それらの二次微分値に基づいて、特徴量クラスに分類する特徴量クラス分類を行う。変曲点位置が位置x0、x0＋1のいずれかに確定しており、変曲点位置の算出が不要だからである。すなわち、クラス分類部４５は、二次微分値f”(x0)が「0」で、二次微分値f”(x0＋1)が「0」でない場合、特徴量クラスコード「0」を生成し、また、二次微分値f”(x0)が「0」でなく、二次微分値f”(x0＋1)が「0」の場合、特徴量クラスコード「3」を生成する。
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が同符号の場合、変曲点が注目領域に存在しないので、変曲点位置の算出は行わない。そして、クラス分類部４５は、|f”(x0)|＞|f”(x0＋1)|の場合と|f”(x0)|＜|f”(x0＋1)|の場合で別々の特徴量クラスに分類する（|a|は、aの絶対値を表す）。すなわち、例えば、クラス分類部４５は、前者の場合には、特徴量クラスコード「4」を生成し、また、後者の場合には、特徴量クラスコード「5」を生成する。このように、２つの二次微分値の大小関係に応じてクラスを分ける理由については後述する。
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が異符号の場合、変曲点が注目領域に存在するので、式（１５）に従って、変曲点位置を算出する。但し、この変曲点位置は、位置x0を基準（0）とした位置である。
[変曲点位置] = |f”(x0)|/(|f”(x0) |＋|f”(x0＋1)|)
・・・（１５）
例えば、図６に示すように、位置x0と位置x0＋1の間の領域を、0.25刻みで４つの領域にさらに分け、左の領域から順に、特徴量クラスコード0、1、2、及び3をあらかじめ割り当てておく。
そして、クラス分類部４５は、例えば、算出した変曲点位置が、図６の４つの領域のうちの何れの領域に属するのかを認識し、属する領域に割り当てられた特徴量クラスコードを生成する。
すなわち、クラス分類部４５は、算出した変曲点位置が位置x0から位置x0＋0.25の領域にある場合、その領域に割り当てられた特徴量クラスコード「0」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.25から位置x0＋0.5の領域にある場合、その領域に割り当てられた特徴量クラスコード「1」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.5から位置x0＋0.75の領域に含まれる場合、その領域に割り当てられた特徴量クラスコード「2」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.75から位置x0＋1の領域にある場合、その領域に割り当てられた特徴量クラスコード「3」を生成する。なお、クラス分類部４５は、算出した変曲点位置が領域どうしの境界にある場合、その境界の左に位置する領域に割り当てられた特徴量クラスコードを生成する。具体的には、例えば、変曲点位置が位置x0＋0.25（位置x0から位置x0＋0.25の領域と、位置x0＋0.25から位置x0＋0.5の領域の境界）にある場合、その境界の左に位置する位置x0から位置x0＋0.25の領域に割り当てられた特徴量クラスコード「0」を生成する。
すなわち、クラス分類部４５は、特徴量クラスコードを、式（１６）に従って生成することになる。
[特徴量クラスコード] = {|f”(x0)|/(|f”(x0)＋f”(x0＋1)|)}/0.25
・・・（１６）
但し、式（１６）において、右辺の演算値に対して少数点以下の切捨てを行うとする。
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が上述したいずれの条件にも該当しない場合、通常処理を行う。すなわち、クラス分類部４５は、それらの二次微分値に基づいて、特徴量クラスに分類する特徴量クラス分類を行う。上述したいずれの条件にも該当しない場合とは、波形が複雑である等の特殊な場合だからである。
具体的には、クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)について、f”(x0) ＝ f”(x0＋1) ≠ 0が成立する場合、特徴量クラスコード「6」を生成する。また、クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)について、f”(x0) ＝ f”(x0＋1) ＝ 0が成立する場合、特徴量クラスコード「7」を生成する。
そして、クラス分類部４５は、残りの方の処理対象領域、すなわち、例えば、図４Ａの左側の処理対象領域（図５の左側の枠内の位置x0、x0＋1の間の領域）を注目領域に設定し、同様の処理を行う。すなわち、クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0−1)とf”(x0)から、適宜、注目領域の変曲点位置を算出する。そして、クラス分類部４５は、変曲点位置または二次微分値f”(x0−1)、f”(x0)に基づいて、注目画素を特徴量クラスに分類する。
クラス分類部４５は、例えば、このようにして生成された２つの処理対象領域のそれぞれについての特徴量クラスコードから、最終的な特徴量クラスコードを生成する。
クラス分類部４５は、例えば、（最終的な）特徴量クラスコードとADRCクラスコードとから、全体のクラスコードを求め、正規方程式加算部４７に供給する。
次に、図７乃至９を参照して、２つの二次微分値が同符号の場合、２つの二次微分値の大小関係に応じて別々のクラスに分類する理由について説明する。
図７Ａは、ある教師画像Pの一部と、教師画像P中のバツ(×)印の画素を注目画素としたときの水平方向の波形Fとを示している。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。波形が示されているグラフの縦軸と横軸についての前提事項は、図８Ａでも同様とされる。
図７Ａのような場合、すなわち、波形のうちのエッジ領域の変曲点が位置x0と位置x0＋1の間にある場合、二次微分値f”(x0−1)とf”(x0)は同符号となる。一方、二次微分値f”(x0)とf”(x0＋1)は異符号となっている。図７Ａのように、エッジ領域の変曲点が注目画素から遠い場合、すなわち、エッジ領域の変曲点が位置x0と位置x0＋1の間の位置x0＋1寄りにある場合、|f”(x0−1)|と|f”(x0)|の大小関係は、|f”(x0−1)|＜|f”(x0)|となる。実際、図７Ｂに示すように、二次微分値f”(x0−1)、f”(x0)は、それぞれ、31、93となっている。
図８Ａは、図７Ａと同じ教師画像Pの一部と、教師画像P中の図７Ａ中のバツ印の画素とは異なる位置のバツ印の画素を注目画素としたときの水平方向の波形Fとを示している。
図８Ａのような場合、すなわち、波形のうちのエッジ領域の変曲点が位置x0と位置x0＋1の間にある場合、二次微分値f”(x0−1)とf”(x0)は同符号となる。一方、二次微分値f”(x0)とf”(x0＋1)は異符号となっている。図８Ａのように、エッジ領域の変曲点が注目画素から近い場合、すなわち、エッジ領域の変曲点が位置x0と位置x0＋1の間の位置x0寄りにある場合、|f”(x0−1)|と|f”(x0)|の大小関係は、|f”(x0−1)|＞|f”(x0)|となる。実際、図７Ｂに示すように、二次微分値f”(x0−1)、f”(x0)は、それぞれ、78、40となっている。
図９を参照して、２つの二次微分値の大小関係についてまとめる。
図９Ａ及び９Ｂは、波形Fのうちのエッジ領域を示す模式図である。
図９Ａ及び９Ｂにおいて、横軸は水平方向位置xを示し、縦軸は画素値Iを示す。
図９Ａに示すように、注目画素が変曲点から遠い場合、|f”(x0−1)|＜|f”(x0)|となる。一方、図９Ｂに示すように、注目画素が変曲点から近い場合、|f”(x0−1)|＞|f”(x0)|となる。
図９Ａと図９Ｂの波形は、注目画素が変曲点に近いか遠いかの違いがある。よって、従来のクラス分類処理（ADRCクラス分類処理等）では、図９Ａと図９Ｂの波形を分類することはできなかった。これに対して、本発明が適用される特徴量クラス分類では、図９Ａと図９Ｂの波形を分類することができる。その結果、適応処理の性能を向上させることができるという効果を奏することが可能になる。さらに、|f”(x0−1)|と|f”(x0)|の大小関係だけではなく、|f”(x0−1)|と|f”(x0)|の差と、教師画像との関係を求め、例えば、非線形の要素を入れる等して、それらを分類することで、効果はより顕著なものとなる。
次に、図１０及び１１のフローチャートを参照して、学習装置１１による学習処理の一例について説明する。
ステップＳ１において、入力部４１は、教師画像を入力し、教師タップ選択部４２及び生徒画像生成部４３に供給する。
ステップＳ２において、生徒画像生成部４３は、教師画像から生徒画像を生成し、特徴量算出クラスタップ選択部４４及び予測タップ選択部４６に供給する。
ステップＳ３において、特徴量算出クラスタップ選択部４４は、生徒画像のうちのまだ設定していない所定の画素を注目画素に設定する。
ステップＳ４において、特徴量算出クラスタップ選択部４４は、注目画素を含む水平方向に並んだN画素分のデータを、特徴量の算出に用いるデータに設定する。但し、Nは、二次微分値を算出するための画素の数で決まる。
ステップＳ５において、特徴量算出クラスタップ選択部４４とクラス分類部４５は、特徴量を算出する。即ち、特徴量算出クラスタップ選択部４４は、設定したデータから水平方向の波形の二次微分値を算出し、クラス分類部４５に供給する。クラス分類部４５は、その二次微分値から水平方向の波形の変曲点を求め、その変曲点位置が算出可能か否かを試みる。クラス分類部４５は、その試みに成功した場合、その変曲点位置を特徴量として算出する。これに対して、その試みに失敗した場合、クラス分類部４５は、二次微分値をそのまま特徴量として採用する。
ステップＳ６において、クラス分類部４５は、例えば、図５及び図６を参照して前述したように、特徴量に基づいて特徴量クラス分類を行う。クラス分類部４５は、特徴量クラス分類の結果として、特徴量クラスコードを生成する。
ステップＳ７において、特徴量算出クラスタップ選択部４４は、図４Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択する。
ステップＳ８において、特徴量算出クラスタップ選択部４４は、選択したクラスタップのデータを、クラス分類部４５に供給する。
ステップＳ９において、クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給されるクラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部４５は、ADRCクラスコードを生成する。
ステップＳ１０において、教師タップ選択部４２は、教師画像から教師タップを選択する。
ステップＳ１１において、教師タップ選択部４２は、選択した教師タップのデータを、正規方程式加算部４７に供給する。
ステップＳ１２において、クラス分類部４５は、ステップＳ６で生成した特徴量クラスコード及びステップＳ９で生成したADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部４７に供給する。なお、クラス分類部４５は、注目画素に対して所定の位置関係にある処理画素群のうちの、例えば、図４Ａに示した画素p1乃至p4のいずれか１つが教師タップとして選択されている場合、特徴量クラスコード及びADRCクラスコードを用いて全体のクラスコードを生成する。クラス分類部４５は、処理画素群のうちの画素p1乃至p4以外の画素が教師タップとして選択されている場合、ADRCクラスコードだけを用いて全体のクラスコードを生成する。
ステップＳ１３において、予測タップ選択部４６は、図４Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択する。
ステップＳ１４において、予測タップ選択部４６は、選択した予測タップのデータを、正規方程式加算部４７に供給する。
ステップＳ１５において、正規方程式加算部４７は、教師タップ選択部４２から供給される教師タップのデータ、及び予測タップ選択部４６から供給される予測タップのデータを、クラス分類部４５から供給されるクラスコード毎に式（１３）の正規方程式に足し込みを行う。
ステップＳ１６において、教師タップ選択部４２は、教師タップが処理画素群のうちの最後の画素か否かを判定する。
教師タップが処理画素群のうちの最後の画素でない場合、ステップＳ１６において、ＮＯと判定されて、処理はステップＳ１０に戻され、それ以降、同様の処理が繰り返される。
即ち、処理画素群の全ての画素に対して、ステップＳ１０乃至Ｓ１６の処理が繰り返し実行される。その結果、処理画素群の全ての画素に対して足し込みの処理が行われることになる。
そして、教師タップが処理画素群のうちの最後の画素とされて、ステップＳ１５の処理が終了すると、ステップＳ１６において、ＹＥＳと判定されて、処理はステップＳ１７に進む。
ステップＳ１７において、特徴量算出クラスタップ選択部４４は、注目画素が生徒画像の最後の画素か否かを判定する。
注目画素が生徒画像の最後の画素でない場合、ステップＳ１７において、ＮＯと判定されて、処理はステップＳ３に戻され、それ以降、同様の処理が繰り返される。
即ち、生徒画像の全ての画素が注目画素に設定され、ステップＳ３乃至Ｓ１７の処理が繰り返し実行される。その結果、生徒画像の全ての画素に対して足し込みの処理が行われることになる。これにより、教師画像の全ての画素に対しても足し込みの処理が行われることになる。
そして、注目画素が生徒画像の最後の画素に設定され、さらに、ステップＳ１６でＹＥＳと判定されると、ステップＳ１７において、ＹＥＳと判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、入力部４１は、教師画像は最後の画像か否かを判定する。
教師画像は最後の画像でない場合、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１に戻され、それ以降、同様の処理が繰り返される。
即ち、教師画像とすべき画像全てに対してステップＳ１乃至Ｓ１８の処理が繰り返し実行される。その結果、教師画像とすべき画像全てに対して足し込みの処理が行われることになる。
そして、教師画像とすべき画像のうちの最後の画像が教師画像とされ、さらに、ステップＳ１７でＹＥＳと判定されると、ステップＳ１８において、ＹＥＳと判定されて、処理はステップＳ１９に進む。
ステップＳ１９において、正規方程式加算部４７は、足し込んだ正規方程式を係数データ生成部４８に供給する。
ステップＳ２０において、係数データ生成部４８は、正規方程式を例えば掃き出し法によりクラスごとに解くことで、クラスごとの予測係数を生成し、外部の係数メモリ２１に記憶させる。そして、最後の予測係数が係数メモリ２１に記憶されると、学習処理は終了する。
以上、図２の画像変換システム１０のうちの学習装置１１について説明した。次に、画像変換装置１２について説明する。
図１２は、画像変換装置１２の内部構成例を示すブロック図である。
画像変換装置１２は、係数メモリ２１、入力部７１、特徴量算出クラスタップ選択部７２、クラス分類部７３、係数取得部７４、予測タップ選択部７５、及び積和演算部７６から構成される。
画像変換装置１２の特徴量算出クラスタップ選択部７２及びクラス分類部７３は、学習装置１１における特徴量算出クラスタップ選択部４４及びクラス分類部４５と基本的に同様の構成と機能を有している。したがって、画像変換装置１２は、学習装置１１と同様に、特徴量の算出及び特徴量クラス分類を行うことができる。以下、これらの説明を適宜省略する。
係数メモリ２１には、学習装置１１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
入力部７１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部７１は、フレームを入力画像として入力し、特徴量算出クラスタップ選択部７２及び予測タップ選択部７５に供給する。
特徴量算出クラスタップ選択部７２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量算出クラスタップ選択部７２は、注目画素を含む水平方向に並んだN画素分のデータから、水平方向の波形の二次微分値を特徴量として算出し、クラス分類部７３に供給する。但し、Nは、二次微分値を算出するために用いる画素の数で決まる。また、特徴量算出クラスタップ選択部７２は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータをクラス分類部７３に供給する。
クラス分類部７３は、特徴量算出クラスタップ選択部７２から供給される二次微分値から、水平方向の波形の変曲点を求め、その変曲点位置が算出可能な場合、その変曲点位置を特徴量として算出する。これに対して、変曲点位置が算出不可能な場合、クラス分類部７３は、二次微分値をそのまま特徴量として採用する。クラス分類部７３は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。すなわち、クラス分類部７３は、特徴量クラスコードを生成する。
クラス分類部７３は、特徴量算出クラスタップ選択部７２から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部７３は、ADRCクラスコードを生成する。
そして、クラス分類部４５は、注目画素についての特徴量クラスコード及びADRCクラスコードから、注目画素についての全体のクラスコードを生成し、係数取得部７４に供給する。
係数取得部７４は、注目画素のクラスコードに対応付けられた予測係数を係数メモリ２１から取得し、積和演算部７６に供給する。
予測タップ選択部７５は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部７６に供給する。
積和演算部７６は、出力画像を構成する各画素の中から対象画素を設定する。対象画素としては、注目画素に対して所定の位置関係にある出力画像内の所定の画素が設定される。積和演算部７６は、予測タップ選択部７５から供給される予測タップのデータと、係数取得部７４から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。そして、積和演算部７６は、マッピングの結果得られる対象画素の画素値を外部に出力する。
ここで、図１３を参照して、特徴量算出クラスタップ選択部７２によるクラスタップの選択、予測タップ選択部７５による予測タップの選択、及び積和演算部７６による対象画素の設定について説明する。
図１３Ａは、クラスタップの一例を示している。図１３Ｂは、予測タップの一例を示している。
図１３Ａ及び１３Ｂにおいて、縦方向は入力画像の垂直方向を示し、横方向は入力画像の水平方向を示している。
図１３Ａ及び１３Ｂにおいて、中央の画素が、注目画素であるとする。
この場合、特徴量算出クラスタップ選択部７２は、例えば、注目画素b3を中心とする水平方向に並んだ画素b1乃至b5、並びに、注目画素b3を挟んで垂直方向に並んだ画素b6乃至b9の集合体をクラスタップに選択する。
予測タップ選択部７５は、例えば、注目画素bb3から水平方向に２画素ずつ離れている画素bb1及びbb5、並びに、注目画素bb3から垂直方向に２画素ずつ離れている画素bb6及びbb9を４頂点とする菱形の辺上若しくは内部に存在する画素bb1乃至bb13の集合体を予測タップに選択する。
積和演算部７６は、例えば、出力画像の複数の画素、すなわち、注目画素の左上の画素q1、右上の画素q2、左下の画素q3、及び右下の画素q4を４隅の画素とする正方形の辺上または内部に存在する図示せぬ画素を含む９の画素から対象画素を選択する。これらの９の画素を、以下、処理画素群と称する。なお、図示している画素q1乃至q4は、特徴量クラス分類を行うことで生成される画素である。処理画素群のうちの図示していない画素は、特徴量クラス分類を行わずに生成される画素、すなわち、ADRCクラス分類のみを行うことで生成される画素である。
次に、図１４及び１５のフローチャートを参照して、画像変換装置１２によるマッピング処理の一例について説明する。
なお、係数メモリ２１には、学習装置１１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
ステップＳ４１において、入力部７１は、フレームを入力する。そのフレームは、入力画像として特徴量算出クラスタップ選択部７２及び予測タップ選択部７５に供給される。
ステップＳ４２において、特徴量算出クラスタップ選択部７２は、入力画像を構成する画素のうちのまだ設定していない所定画素を注目画素に設定する。
ステップＳ４３において、特徴量算出クラスタップ選択部７２は、注目画素を含む水平方向に並んだN画素分のデータを、特徴量の算出に用いるデータに設定する。但し、Nは、二次微分値を算出するための画素の数で決まる。
ステップＳ４４において、特徴量算出クラスタップ選択部７２とクラス分類部７３は、特徴量を算出する。即ち、特徴量算出クラスタップ選択部７２は、設定したデータから水平方向の波形の二次微分値を算出し、クラス分類部７３に供給する。クラス分類部７３は、その二次微分値から水平方向の波形の変曲点を求め、その変曲点位置が算出可能か否かを試みる。クラス分類部７３は、その試みに成功した場合、その変曲点位置を特徴量として算出する。これに対して、その試みに失敗した場合、クラス分類部７３は、二次微分値をそのまま特徴量として採用する。
ステップＳ４５において、クラス分類部７３は、例えば、図５及び図６を参照して前述したように、特徴量に基づいて特徴量クラス分類を行う。クラス分類部７３は、特徴量クラス分類の結果として、特徴量クラスコードを生成する。
ステップＳ４６において、特徴量算出クラスタップ選択部７２は、図１３Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択する。
ステップＳ４７において、特徴量算出クラスタップ選択部７２は、選択したクラスタップのデータを、クラス分類部７３に供給する。
ステップＳ４８において、特徴量算出クラスタップ選択部７２から供給されるクラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部７３は、ADRCクラスコードを生成する。
ステップＳ４９において、積和演算部７６は、出力画像の所定の画素を対象画素に設定する。
ステップＳ５０において、クラス分類部７３は、ステップＳ４５で生成した特徴量クラスコード及びステップＳ４８で生成したADRCクラスコードから、全体のクラスコードを生成し、係数取得部７４に供給する。なお、クラス分類部７３は、注目画素に対して所定の位置関係にある処理画素群、例えば、図１３Ａに示した画素q1乃至q4のいずれか１つが対象画素に選択されている場合、特徴量クラスコード及びADRCクラスコードを用いて全体のクラスコードを生成する。クラス分類部７３は、処理画素群のうちの画素q1乃至q4以外の画素が対象画素に選択されている場合、ADRCクラスコードだけを用いて全体のクラスコードを生成する。
ステップＳ５１において、予測タップ選択部７５は、図１３Ｂに示すような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択する。
ステップＳ５２において、予測タップ選択部７５は、選択した予測タップのデータを、積和演算部７６に供給する。
ステップＳ５３において、係数取得部７４は、注目画素のクラスコードに対応付けられた予測係数を係数メモリ２１から取得し、積和演算部７６に供給する。
ステップＳ５４において、積和演算部７６は、予測タップ選択部７５から供給される予測タップのデータと、係数取得部７４から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部７６は、マッピングの結果得られる対象画素の画素値を外部に出力する。
ステップＳ５５において、積和演算部７６は、対象画素が処理画素群のうちの最後の画素か否かを判定する。
対象画素が処理画素群のうちの最後の画素でない場合、ステップＳ５５において、ＮＯと判定されて、処理はステップＳ４９に戻され、それ以降、同様の処理が繰り返される。
即ち、処理画素群の画素全てに対して、ステップＳ４９乃至Ｓ５５の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して画素値が求められることになる。
そして、対象画素が処理画素群のうちの最後の画素とされて、ステップＳ５４の処理が終了すると、ステップＳ５５において、ＹＥＳと判定されて、処理はステップＳ５６に進む。
ステップＳ５６において、特徴量算出クラスタップ選択部７２は、注目画素が入力画像の最後の画素か否かを判定する。
注目画素が入力画像の最後の画素でない場合、ステップＳ５６において、ＮＯと判定されて、処理はステップＳ４２に戻され、それ以降、同様の処理が繰り返される。
即ち、入力画像の全ての画素が注目画素に設定され、ステップＳ４２乃至Ｓ５６の処理が繰り返し実行される。その結果、入力画像の全ての画素に対して、式（１）の積和演算が行われることになる。また、出力画像の全ての画素に対して画素値が求まることになる。
そして、注目画素が入力画像の最後の画素とされて、ステップＳ５５でＹＥＳと判定されると、ステップＳ５６において、ＹＥＳと判定されて、処理はステップＳ５７に進む。
ステップＳ５７において、入力部７１は、入力画像は最後の画像か否かを判定する。
入力画像は最後の画像でない場合、ステップＳ５７においてＮＯと判定されて、処理はステップＳ４１に戻され、それ以降、同様の処理が繰り返される。
即ち、外部からフレームが供給される限り、ステップＳ４１乃至Ｓ５７の処理が繰り返し実行される。すなわち、外部からフレームが供給されなくなるまで、外部から供給されるフレームとしての入力画像に対して出力画像の生成が行われることになる。
そして、外部から最後のフレームが供給され、入力画像とされて、ステップＳ５６で、ＹＥＳと判定されると、ステップＳ５７において、ＹＥＳと判定されて、マッピング処理は終了する。
次に、図１６乃至２２を参照して、本発明の手法によりマッピングされた画像（以下、特徴量ありの出力画像と称する）と、従来の手法（ADRCクラス分類のみ）によりマッピングされた画像（以下、特徴量なしの出力画像と称する）とを比較する。特徴量ありの出力画像とは、図１４，図１５のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価と、SNR(Signal to Noise ratio)を評価する定量評価の結果を用いて比較する。
図１６は、教師画像P1の一部とその波形を示している。図１７は、教師画像P1に対する特徴量なしの出力画像P2の一部とその波形を示している。図１８は、教師画像P1に対する特徴量ありの出力画像P3の一部とその波形を示している。
図１６乃至図１８の画像は、本来カラー画像である。そして、その画像内に示される波形は、画像中のバツ印の画素mが存在するラインにおける、RGB(Red-Green-Blue)の各色画像の水平方向の波形R、波形G、及び波形Bである。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。また、これらの前提は、図１９乃至２１でも同様である。
特徴量なしの出力画像P2及び特徴量ありの出力画像P3の波形の楕円で囲んだ部分を注目部分として説明する。
特徴量ありの出力画像P3の波形の注目部分では、特徴量なしの出力画像P2の波形の注目部分に比べて、定性的には、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P3では、特徴量なしの出力画像P2に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、注目部分の波打ちが少なく、リンギングに関しても減少していることが分かる。
図１９は、教師画像P4の一部とその各色画像の波形を示している。図２０は、教師画像P4に対する特徴量なしの出力画像P5の一部とその各色画像の波形を示している。図２１は、教師画像P4に対する特徴量ありの出力画像P6の一部とその各色画像の波形を示している。
特徴量なしの出力画像P5及び特徴量ありの出力画像P6の波形の楕円で囲んだ部分を注目部分として説明する。
特徴量ありの出力画像P6の波形の注目部分では、特徴量なしの出力画像P5の波形の注目部分に比べて、定性的には、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P6では、特徴量なしの出力画像P5に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P6の注目部分では、特徴量なしの出力画像P5の注目部分に比べて、注目部分の波打ちが少なく、定性的に、リンギングに関しても減少していることが分かる。
次に、定量評価の結果を、図２２を参照して説明する。
図２２は、定量評価の結果の一覧表を示している。
図２２において、一覧表の第１列には、教師画像の画像番号が示されている。一覧表の第２列には、第１列の教師画像に対する特徴量なしの出力画像のSNRが示されている。一覧表の第３列には、第１列の教師画像に対する特徴量ありの出力画像のSNRが示されている。
例えば、一覧表の第２行に注目すると、画像番号0の教師画像に対する特徴量なしの出力画像のSNRは、29.09944である。それに対して、その教師画像に対する特徴量ありの出力画像のSNRは、29.23068である。すなわち、特徴量ありの出力画像のSNRは、特徴量なしの出力画像のSNRに比べて、0.13124だけ大きい。
一覧表の第３行に注目すると、画像番号1の教師画像に対する特徴量なしの出力画像のSNRは、31.89576である。それに対して、その教師画像に対する特徴量ありの出力画像のSNRは、32.03182である。すなわち、特徴量なしの出力画像のSNRは、特徴量ありの出力画像のSNRに比べて、0.13606だけ大きい。以下、同様である。
画像番号1乃至9の教師画像に対する特徴量ありの出力画像のSNRは、それらの教師画像に対する特徴量なしの出力画像のSNRに比べて、全て大きくなっているという結果である。すなわち、SNRは向上していることが分かる。よって、特徴量クラス分類を追加することにより、SNRが向上するという効果があることが分かる。
但し、これらの結果は、水平方向のみの分類結果である。したがって、例えば、垂直方向についても特徴量クラス分類を行うと、さらにSNRが改善する。
以上のように、学習装置１１及び画像変換装置１２は、特徴量、すなわち、変曲点位置及び二次微分値をクラス分類に利用することで、従来のクラス分類手法で分類することができなかった波形パターンを用いてクラス分類することができる。言い換えれば、学習装置１１及び画像変換装置１２は、従来のクラス分類手法に比べてより似ている波形パターンを集めてクラス分類を行うことができる。したがって、画像変換装置１２の適応処理の性能を、従来のクラス分類手法を用いた適応処理の場合に比べて向上させることができる。
即ち、画像変換装置１２は、従来のクラス分類手法を採用した適応処理の結果得られる画像と比較して、高解像度の画像、すなわち、例えば、エッジを急峻に立たせた画像を生成することができる、という効果を奏することが可能になる。特に、ズーム時に高倍密変換を行った場合に、その効果は顕著なものとなる。さらに、画像変換装置１２は、リンギングを低減した画像を生成することができる。
したがって、画像変換装置１２は、従来のクラス分類手法を採用した場合に発生してしまう問題点、即ち、ズーム時に高倍密変換を行った場合の解像度感の不足やリンギングの発生等といった問題点を解決することができる。
次に、第２の実施の形態について説明する。
図２３は、本発明が適用される画像変換システム１２０の構成例を示す図である。
画像変換システム１２０で採用するクラス分類手法では、装置は、入力画像の所定方向についての波形のうちの注目画素を含む所定領域に注目し、その所定領域についての画素値範囲における注目画素の画素値の位置に応じてクラス分類を行う。なお、画素値範囲については後述する。
なお、波形の方向は、特に限定されない。但し、第２の実施の形態では、水平方向の波形に特化して説明を行う。
画像変換システム１２０は、学習装置１２１及び画像変換装置１２２から構成される。
学習装置１２１は、予測係数を学習する。この予測係数は、画像変換装置１２２によるマッピング処理による予測演算に用いられる。学習装置１２１は、学習の教師となる教師画像を入力する。学習装置１２１は、教師画像から、学習の生徒となる生徒画像を生成する。学習装置１１は、これらの教師画像と生徒画像とを用いて予測係数を学習する学習処理を行う。そして、学習装置１２１は、学習した予測係数を画像変換装置１２２に供給する。
なお、教師画像及び生徒画像の解像度については、特に限定されない。但し、第２の実施の形態では、教師画像として、例えば16倍密HD画像を採用し、また、生徒画像として、例えばSD画像を採用するとする。画像変換装置１２２への入力画像は、生徒画像と同解像度の画像となる。画像変換装置１２２からの出力画像は、教師画像と同解像度の画像となる。
画像変換装置１２２は、学習装置１２１から供給される予測係数を内部の係数メモリ１３１に記憶する。また、画像変換装置１２２は、外部から供給されるSD画像を入力画像とし、その入力画像に対してマッピング処理を施し、その結果得られる16倍密HD画像を出力画像として外部に出力する。なお、画像変換装置１２２は、係数メモリ１３１に記憶された予測係数を適宜読み出し、マッピング処理で実行する予測演算に使用する。
なお、係数メモリ１３１は、図２３の例では画像変換装置１２２の一構成要素となっている。しかし、係数メモリ１３１は、画像変換装置１２２の外部に設けてもよい。
図２４は、学習装置１２１の内部構成例を示すブロック図である。
学習装置１２１は、入力部１５１、教師タップ選択部１５２、生徒画像生成部１５３、特徴量取得部１５４、特徴量クラス分類部１５５、クラスタップ選択部１５６、ADRCクラス分類部１５７、クラスコード生成部１５８、予測タップ選択部１５９、正規方程式加算部１６０、及び係数データ生成部１６１から構成される。
入力部１５１には、外部から教師画像が供給される。
入力部１５１は、教師画像を入力し、教師タップ選択部１５２及び生徒画像生成部１５３に供給する。
教師タップ選択部１５２は、教師画像から教師タップを選択し、その教師タップのデータを正規方程式加算部１６０に供給する。教師タップは、注目画素に対して所定の位置関係にある教師画像内の画素から選択される。なお、注目画素は、後述する特徴量取得部１５４により設定される。
生徒画像生成部１５３は、教師画像から生徒画像を生成し、特徴量取得部１５４、クラスタップ選択部１５６、及び予測タップ選択部１５９に供給する。すなわち、例えば、生徒画像生成部１５３は、教師画像に対して、LPFを用いてダウンコンバートを行うことにより、生徒画像を生成する。
特徴量取得部１５４は、生徒画像を構成する各画素を注目画素に順次設定する。特徴量取得部１５４は、注目画素を含む水平方向のデータから、水平方向の波形のうちの所定の位置範囲をエッジ領域の全体（以下、エッジ領域全体と称する）として検出する。特徴量取得部１５４は、エッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として取得して、特徴量クラス分類部１５５に供給する。
特徴量クラス分類部１５５は、特徴量から、即ち、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、エッジ領域全体についての画素値範囲における注目画素の画素値の位置（以下、注目画素位置と称する）を特徴量として求める。ここで、画素値範囲とは、エッジ領域全体についての最小画素値と最大画素値との間の画素値が取り得る範囲をいう。例えば、後述する図２６のβが画素値範囲の一例である。
特徴量クラス分類部１５５は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部１５５は、特徴量クラスコードを生成する。特徴量クラスコードは、クラスコード生成部１５８に提供される。
クラスタップ選択部１５６は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択し、そのクラスタップのデータを、ADRCクラス分類部１５７に供給する。
ADRCクラス分類部１５７は、クラスタップ選択部１５６から供給されるクラスタップのデータを用いてADRCクラス分類を行う。即ち、特徴量クラス分類部１５５は、ADRCクラスコードを生成する。ADRCクラスコードは、クラスコード生成部１５８に提供される。
クラスコード生成部１５８は、特徴量クラス分類部１５５から供給される特徴量クラスコード、及びADRCクラス分類部１５７から供給されるADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部１６０に供給する。
予測タップ選択部１５９は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択し、その予測タップのデータを、正規方程式加算部１６０に供給する。
正規方程式加算部１６０は、教師タップ選択部１５２から供給される教師タップのデータ、及び予測タップ選択部１５９から供給される予測タップのデータを、クラスコード生成部１５８から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。正規方程式加算部１６０は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部１６１に供給する。
係数データ生成部１６１は、正規方程式加算部１６０から供給された正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ１３１に記憶させる。
ここで、図２５を参照して、教師タップ選択部１５２による教師タップの選択、クラスタップ選択部１５６によるクラスタップの選択、及び予測タップ選択部１５９による予測タップの選択について説明する。
図２５Ａは、クラスタップの一例を示している。図２５Ｂは、予測タップの一例を示している。
図２５Ａ及び２５Ｂにおいて、縦方向は生徒画像の垂直方向を示し、横方向は生徒画像の水平方向を示している。
図２５Ａ及び２５Ｂにおいて、中央の画素が、注目画素とする。
この場合、クラスタップ選択部１５６は、例えば、注目画素c3を中心とする水平方向に並んだ画素c1乃至c5、並びに、注目画素c3を挟んで垂直方向に並んだ画素c6乃至c9の集合体をクラスタップに選択する。
予測タップ選択部１５９は、例えば、注目画素cc3から水平方向に２画素ずつ離れている画素cc1及びcc5、並びに、注目画素cc3から垂直方向に２画素ずつ離れている画素cc6及びcc9を４頂点とする菱形の辺上若しくは内部に存在する画素cc1乃至cc13の集合体を予測タップに選択する。
教師タップ選択部１５２は、例えば、注目画素に対して所定の位置関係にある教師画像の画素r1乃至r3、r5乃至r7、r9乃至r11の９の画素から教師タップを選択する。これらの９の画素を、以下、処理画素群と称する。
次に、図２６を参照して、注目画素位置についての特徴量クラス分類について概要を説明する。
図２６は、波形Fのうちのエッジ領域を示している。
図２６において、縦軸は画素値Iを示し、横軸は水平方向位置xを示している。
注目画素位置は、注目画素の画素値と最小画素値minとの差分αと、最大画素値maxと最小画素値minとの差分βとの比α/βで表される。ここで、差分βとは、上述の如く、画素値範囲を意味する。
特徴量クラス分類部１５５は、例えば、この比α/βを用いた次の式（１７）に従った演算を行うことで、特徴量クラスコードを生成する。
［特徴量クラスコード］＝α／β×(［クラス数］−1)
・・・・（１７）
なお、式（１７）の右辺の演算値の小数点以下は切り捨てるとする。式（１７）において、クラス数は、特徴量クラスのクラス数を表す。また、特徴量クラスの１つを平坦の場合のクラスとして利用する。
図２６における最大画素値max及び最小画素値minは、具体的には例えば、次のように取得される。
特徴量取得部１５４は、注目画素を含む水平ラインの画素群の画素値の系列のうち、即ち、水平方向の波形のうち、ある位置範囲をエッジ領域全体の範囲として検出する。特徴量取得部１５４は、検出したエッジ領域全体の範囲の両端の画素値のうち、大きい方を最大画素値maxとして、小さい方を最小画素値minとして、それぞれ取得する。
ここでいう「ある位置範囲」とは、画素値の単純増加または単純減少する位置範囲をいう。
まず、単純増加の場合について最大画素値max及び最小画素値minの取得手法について、図２７を参照して説明する。
図２７（及び後述する図２８）において、縦軸は画素値Iを示し、横軸は水平方向位置xを示している。
図２７において、注目画素の水平方向位置をx0と表し、水平方向で隣接する画素どうしの間隔を１とする。また、水平方向位置xにおける波形をf(x)と表すとする。
特徴量取得部１５４は、例えば、注目画素よりマイナス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の左端として検出する。
図２７の例では、f(x0)−f(x0−1)＞0、f(x0−1)−f(x0−2)≦0なので、特徴量取得部１５４は、位置x0−1を、画素値の単純増加の範囲の左端として検出する。
特徴量取得部１５４は、例えば、注目画素よりプラス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の右端として検出する。
図２７の例では、f(x0＋1)−f(x0)＞0、f(x0＋2)−f(x0＋1)＞0、f(x0＋3)−f(x0＋2) ≦0なので、特徴量取得部１５４は、位置x0＋2を、画素値の単純増加の範囲の右端として検出する。
このようにして、特徴量取得部１５４は、画素値の単純増加する範囲、すなわち、位置x0−1から位置x0＋2までの範囲をエッジ領域の全体として検出する。
そして、特徴量取得部１５４は、単純増加であることから、最小画素値をf(x0−1)、最大画素値f(x0＋2)として取得し、特徴量クラス分類部１５５に供給する。
図２７を引き続き参照しながら、特徴量クラス分類部１５５による特徴量クラス分類について説明する。
特徴量クラス分類部１５５は、特徴量取得部１５４から供給されるエッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を比α/βとして求める。
図２７の例では、特徴量クラス分類部１５５は、注目画素位置を、(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))として求めることになる。
そして、特徴量クラス分類部１５５は、求めた注目画素位置から、特徴量クラスコードを生成する。このようにすることで、注目画素についての特徴量クラス分類が行われる。
すなわち、特徴量クラス分類部１５５は、注目画素位置(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))から、式（１７）に従って、(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))×7（小数点以下を切り捨て）を特徴量クラスコードとして算出する。
なお、波形が平坦の場合、すなわち、f(x0−1) ＝ f(x0) ＝ f(x0＋1)の場合、特徴量クラスコードは式（１７）から求められるクラスコードのクラスとは別のクラス(クラスコードは7)とされる。
次に、単純減少の場合の最大画素値max及び最小画素値minの取得手法について、図２８を参照して説明する。
特徴量取得部１５４は、例えば、注目画素よりマイナス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の左端として検出する。
図２８の例では、f(x0)−f(x0−1)＜0、f(x0−1)−f(x0−2)≧0なので、特徴量取得部１５４は、位置x0−1を、画素値の単純減少する範囲の左端として検出する。
特徴量取得部１５４は、例えば、注目画素よりプラス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の右端として検出する。
図２８の例では、f(x0＋1)−f(x0)＜0、f(x0＋2)−f(x0＋1)＜0、f(x0＋3)−f(x0＋2)≧0なので、特徴量取得部１５４は、位置x0＋2を、画素値の単純減少の範囲の右端として検出する。
このようにして、特徴量取得部１５４は、画素値の単純減少する範囲、すなわち、位置x0−1から位置x0＋2までの範囲をエッジ領域の全体として検出する。
そして、特徴量取得部１５４は、単純減少であることから、最小画素値をf(x0＋2)、最大画素値f(x0−1)として取得し、特徴量クラス分類部１５５に供給する。また、特徴量取得部１５４は、注目画素の画素値f(x0)を、特徴量クラス分類部１５５に供給する。
図２８を引き続き参照しながら、特徴量クラス分類部１５５による特徴量クラス分類について説明する。
特徴量クラス分類部１５５は、特徴量取得部１５４から供給されるエッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を比α/βとして求める。
図２７の例では、特徴量クラス分類部１５５は、注目画素位置を、(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))として求めることになる。
そして、特徴量クラス分類部１５５は、求めた注目画素位置から、特徴量クラスコードを生成する。これにより、注目画素についての特徴量クラス分類が行われる。
すなわち、特徴量クラス分類部１５５は、注目画素位置(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))から、式（１７）に従って、(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))×7（小数点以下を切り捨て）を特徴量クラスコードとして算出する。
なお、波形が平坦の場合、すなわち、f(x0−1) ＝ f(x0) ＝ f(x0＋1)の場合、上述したように、特徴量クラスコードは式（１７）から求められるクラスコードのクラスとは別のクラス(クラスコードは7)とされる。
次に、図２９及び３０のフローチャートを参照して、学習装置１２１による学習処理の一例について説明する。
ステップＳ７１において、入力部１５１は、教師画像を入力し、教師タップ選択部１５２及び生徒画像生成部１５３に供給する。
ステップＳ７２において、生徒画像生成部１５３は、教師画像から生徒画像を生成し、特徴量取得部１５４、クラスタップ選択部１５６、及び予測タップ選択部１５９に供給する。
ステップＳ７３において、特徴量取得部１５４は、生徒画像の所定の画素を注目画素に設定する。
ステップＳ７４において、特徴量取得部１５４は、注目画素を含む水平ラインの画素群の各画素値の系列のうち、即ち、水平方向の波形のうち、所定の位置範囲をエッジ領域全体として検出する。
ステップＳ７５において、特徴量取得部１５４は、検出したエッジ領域全体の最大画素値と最小画素値、並びに注目画素の画素値を特徴量として取得して、特徴量クラス分類部１５５に供給する。
ステップＳ７６において、特徴量クラス分類部１５５は、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部１５５は、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を求める。そして、特徴量クラス分類部１５５は、例えば、図２６を参照して上述したように、求めた注目画素位置に基づいて特徴量クラス分類を行う。すなわち、特徴量クラス分類部１５５は、特徴量クラスコードを生成する。特徴量クラスコードは、クラスコード生成部１５８に供給される。
ステップＳ７７において、クラスタップ選択部１５６は、図２５Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択する。
ステップＳ７８において、クラスタップ選択部１５６は、選択したクラスタップのデータを、ADRCクラス分類部１５７に供給する。
ステップＳ７９において、ADRCクラス分類部１５７は、クラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部１５７は、ADRCクラスコードを生成する。ADRCクラスコードは、クラスコード生成部１５８に供給される。
ステップＳ８０において、クラスコード生成部１５８は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部１６０に供給する。
ステップＳ８１において、教師タップ選択部１５２は、教師画像から教師タップを選択する。
ステップＳ８２において、教師タップ選択部１５２は、選択した教師タップのデータを、正規方程式加算部１６０に供給する。
ステップＳ８３において、予測タップ選択部１５９は、図２５Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択する。
ステップＳ８４において、予測タップ選択部１５９は、選択した予測タップのデータを、正規方程式加算部１６０に供給する。
ステップＳ８５において、正規方程式加算部１６０は、教師タップ選択部１５２から供給される教師タップのデータ、及び予測タップ選択部１５９から供給される予測タップのデータを、クラスコード生成部１５８から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。
ステップＳ８６において、教師タップ選択部１５２は、教師タップが処理画素群のうちの最後の画素かを判定する。
教師タップが処理画素群のうちの最後の画素でない場合、ステップＳ８６において、ＮＯと判定されて、処理はステップＳ８１に戻され、それ以降、同様の処理が繰り返される。
即ち、処理画素群の画素全てに対して、ステップＳ８１乃至Ｓ８６の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して足し込みの処理が行われることになる。
そして、教師タップが処理画素群のうちの最後の画素とされて、ステップＳ８５の処理が終了すると、ステップＳ８６において、ＹＥＳと判定されて、処理はステップＳ８７に進む。
ステップＳ８７において、特徴量取得部１５４は、注目画素が生徒画像の最後の画素か否かを判定する。
注目画素が生徒画像の最後の画素でない場合、ステップＳ８７において、ＮＯと判定されて、処理はステップＳ７３に戻され、それ以降、同様の処理が繰り返される。
即ち、生徒画像の全ての画素が注目画素に設定され、ステップＳ７３乃至Ｓ８７の処理が繰り返し実行される。その結果、生徒画像の全ての画素に対して、足し込みの処理が行われることになる。これにより、教師画像の全ての画素に対しても、足し込みの処理が行われることになる。
そして、注目画素が生徒画像の最後の画素とされて、ステップＳ８６の処理で、ＹＥＳと判定されると、ステップＳ８７において、ＹＥＳと判定されて、処理はステップＳ８８に進む。
ステップＳ８８において、入力部１５１は、教師画像は最後の画像かを判定する。
教師画像は最後の画像でない場合、ステップＳ８８においてＮＯと判定されて、処理はステップＳ７１に戻され、それ以降、同様の処理が繰り返される。
即ち、教師画像とすべき画像全てに対してステップＳ７１乃至Ｓ８８の処理が繰り返し実行される。その結果、教師画像とすべき画像全てに対して足し込みの処理が行われることになる。
そして、教師画像が最後の画像とされて、ステップＳ８７の処理で、ＹＥＳと判定されると、ステップＳ８８において、ＹＥＳと判定されて、処理はステップＳ８９に進む。
ステップＳ８９において、正規方程式加算部１６０は、それまでに足し込んだ正規方程式を係数データ生成部１６１に供給する。
ステップＳ９０において、係数データ生成部１６１は、正規方程式を例えば掃き出し法により解くことにより、クラス毎に予測係数を生成し、外部の係数メモリ１３１に記憶させる。そして、最後の予測係数が係数メモリ１３１に記憶されると、学習処理は終了する。
以上、図２３の画像変換システム１２０のうちの学習装置１２１について説明した。次に、画像変換装置１２２について説明する。
図３１は、画像変換装置１２２の内部構成例を示すブロック図である。
画像変換装置１２２は、係数メモリ１３１、入力部２１１、特徴量取得部２１２、特徴量クラス分類部２１３、クラスタップ選択部２１４、ADRCクラス分類部２１５、クラスコード生成部２１６、係数取得部２１７、予測タップ選択部２１８、及び積和演算部２１９から構成される。
画像変換装置１２２の特徴量取得部２１２及び特徴量クラス分類部２１３は、学習装置１２１における特徴量取得部１５４及び特徴量クラス分類部１５５と基本的に同様の構成と機能を有している。したがって、画像変換装置１２２は、学習装置１２１と同様に、特徴量の算出及び特徴量クラス分類を行うことができる。以下、これらの説明を適宜省略する。
なお、係数メモリ１３１には、学習装置１２１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
入力部２１１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部２１１は、フレームを入力画像として入力し、特徴量取得部２１２、クラスタップ選択部２１４、及び予測タップ選択部２１８に供給する。
特徴量取得部２１２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量取得部２１２は、注目画素を含む水平方向のデータから、水平方向の波形のうちの所定の位置範囲をエッジ領域全体として検出し、検出したエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として得て、特徴量クラス分類部２１３に供給する。
特徴量クラス分類部２１３は、特徴量取得部２１２から供給されるエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、エッジ領域全体の画素値範囲における注目画素の位置（注目画素位置）を特徴量として求める。そして、特徴量クラス分類部２１３は、求めた特徴量に基づいて、注目画素についての特徴量クラス分類を行う。すなわち、特徴量クラス分類部２１３は、特徴量クラスコードを生成し、クラスコード生成部２１６に供給する。
クラスタップ選択部２１４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータを、ADRCクラス分類部２１５に供給する。
ADRCクラス分類部２１５は、クラスタップ選択部２１４から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部２１５は、ADRCクラスコードを生成し、クラスコード生成部２１６に供給する。
クラスコード生成部２１６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２１７に供給する。
係数取得部２１７は、クラスコード生成部２１６から供給される注目画素のクラスコードに対応付けられた予測係数を係数メモリ１３１から取得し、積和演算部２１９に供給する。
予測タップ選択部２１８は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部２１９に供給する。
積和演算部２１９は、出力画像の所定の画素を対象画素に設定する。対象画素は、注目画素に対して所定の位置関係にある出力画像内の画素に設定される。積和演算部２１９は、予測タップ選択部２１８から供給される予測タップのデータと、係数取得部２１７から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部２１９は、マッピングの結果得られる対象画素の画素値を外部に出力する。
ここで、図３２を参照して、クラスタップ選択部２１４によるクラスタップの選択、予測タップ選択部２１８による予測タップの選択、及び積和演算部２１９による対象画素の設定について説明する。
図３２Ａは、クラスタップの一例を示している。図３２Ｂは、予測タップの一例を示している。
図３２Ａ及び３２Ｂにおいて、縦方向は入力画像の垂直方向を示し、横方向は入力画像の水平方向を示している。
図３２Ａ及び３２Ｂにおいて、中央の画素が、注目画素とする。
この場合、クラスタップ選択部２１４は、例えば、注目画素d3を中心とする水平方向に並んだ画素d1乃至d5、並びに、注目画素d3を挟んで垂直方向に並んだ画素d6乃至d9の集合体をクラスタップに選択する。
予測タップ選択部２１８は、例えば、注目画素dd3から水平方向に２画素ずつ離れている画素dd1及びdd5、並びに、注目画素dd3から垂直方向に２画素ずつ離れている画素dd6及びdd9を４頂点とする菱形の辺上若しくは内部に存在する画素dd1乃至dd13の集合体を予測タップに選択する。
積和演算部２１９は、例えば、注目画素に対して所定の位置関係にある出力画像内の画素s1乃至s3、s5乃至s7、並びにs9乃至s11の９の画素のうちの所定の画素を対象画素に設定する。これらの９の画素を、以下、処理画素群と称する。
次に、図３３及び３４のフローチャートを参照して、画像変換装置１２２によるマッピング処理の一例について説明する。
なお、係数メモリ１３１には、学習装置１２１によりクラスコード（特徴量クラス及びADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
ステップＳ１１１において、入力部２１１は、フレームを入力する。そのフレームは、入力画像として、特徴量取得部２１２、クラスタップ選択部２１４、及び予測タップ選択部２１８に供給される。
ステップＳ１１２において、特徴量取得部２１２は、入力画像を構成する画素のうちのまだ設定していない所定画素を注目画素に設定する。
ステップＳ１１３において、特徴量取得部２１２は、注目画素を含む水平ラインの画素群の各画素値の系列のうち、即ち、水平方向の波形のうち、所定の位置範囲をエッジ領域全体として検出する。
ステップＳ１１４において、特徴量取得部２１２は、検出したエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として取得し、特徴量クラス分類部２１３に供給する。
ステップＳ１１５において、特徴量クラス分類部２１３は、注目画素についての特徴量クラス分類を行う。特徴量クラス分類部２１３は、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を求める。そして、特徴量クラス分類部２１３は、例えば、図２６を参照して前述したように、求めた注目画素位置に基づいて、特徴量クラス分類を行う。すなわち、特徴量クラス分類部２１３は、特徴量クラスコードを生成し、クラスコード生成部２１６に供給する。
ステップＳ１１６において、クラスタップ選択部２１４は、図３２Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択する。
ステップＳ１１７において、クラスタップ選択部２１４は、選択したクラスタップのデータを、ADRCクラス分類部２１５に供給する。
ステップＳ１１８において、ADRCクラス分類部２１５は、クラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部２１５は、ADRCクラスコードを生成し、クラスコード生成部２１６に供給する。
ステップＳ１１９において、クラスコード生成部２１６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２１７に供給する。
ステップＳ１２０において、積和演算部２１９は、出力画像の所定の画素を対象画像に設定する。
ステップＳ１２１において、予測タップ選択部２１８は、図３２Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択する。
ステップＳ１２２において、予測タップ選択部２１８は、選択した予測タップのデータを、積和演算部２１９に供給する。
ステップＳ１２３において、係数取得部２１７は、注目画素についてのクラスコードに対応付けられた予測係数を係数メモリ１３１から取得し、積和演算部２１９に供給する。
ステップＳ１２４において、積和演算部２１９は、予測タップ選択部２１８から供給される予測タップのデータと、係数取得部２１７から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。そして、積和演算部２１９は、マッピングの結果得られる対象画素の画素値を外部に出力する。
ステップＳ１２５において、積和演算部２１９は、対象画素が処理画素群のうちの最後の画素かを判定する。
対象画素が処理画素群のうちの最後の画素でない場合、ステップＳ１２５において、ＮＯと判定されて、処理はステップＳ１２０に戻され、それ以降、同様の処理が繰り返される。
即ち、処理画素群の画素全てに対して、ステップＳ１２０乃至Ｓ１２５の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して画素値が求められることになる。
そして、対象画素が処理画素群の画素のうちの最後の画素とされて、ステップＳ１２４の処理が終了すると、ステップＳ１２５において、ＹＥＳと判定されて、処理はステップＳ１２６に進む。
ステップＳ１２６において、特徴量取得部２１２は、注目画素が入力画像の最後の画素か否かを判定する。
注目画素が入力画像の最後の画素でない場合、ステップＳ１２６において、ＮＯと判定されて、処理はステップＳ１１２に戻され、それ以降、同様の処理が繰り返される。
即ち、入力画像の全ての画素が注目画素に設定され、ステップＳ１１２乃至Ｓ１２６の処理が繰り返し実行される。その結果、入力画像の全ての画素に対して、式（１）の積和演算が行われることになる。これにより、出力画像の全ての画素に対して画素値が求まることになる。
そして、注目画素が入力画像の最後の画素とされて、ステップＳ１２５で、ＹＥＳと判定されると、ステップＳ１２６において、ＹＥＳと判定されて、処理はステップＳ１２７に進む。
ステップＳ１２７において、入力部２１１は、入力画像は最後の画像か否かを判定する。
入力画像は最後の画像でない場合、ステップＳ１２７においてＮＯと判定されて、処理はステップＳ１１１に戻され、それ以降、同様の処理が繰り返される。
即ち、外部からフレームが供給される限り、ステップＳ１１１乃至Ｓ１２７の処理が繰り返し実行される。すなわち、外部からフレームが供給されなくなるまで、外部から供給されるフレームとしての入力画像に対して出力画像の生成が行われることになる。
そして、外部から最後のフレームが供給され、入力画像とされて、ステップＳ１２６で、ＹＥＳと判定されると、ステップＳ１２７において、ＹＥＳと判定されて、マッピング処理は終了する。
次に、図３５を参照して、本発明の手法によりマッピングされた画像（以下、特徴量ありの出力画像）と、従来の手法（ADRCのクラス分類のみ）によりマッピングされた画像（以下、特徴量なしの出力画像）とを比較する。特徴量ありの出力画像とは、図３３，３４のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価の結果を用いて比較する。
図３５の上段には、左から順に、教師画像P1の一部、教師画像P1に対する特徴量なしの出力画像P2の一部、教師画像P1に対する特徴量ありの出力画像P3の一部が示されている。図３５の下段には、左から順に、教師画像P1の水平方向の波形、特徴量なしの出力画像P2の水平方向の波形、特徴量ありの出力画像P3の水平方向の波形が示されている。
図３５の下段の波形は、対応する上段の画像中のバツ印の画素mが存在するラインにおける水平方向の波形を示している。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。
特徴量なしの出力画像P2の波形と、特徴量ありの出力画像P3の楕円で囲んでいる部分を注目部分として説明する。
特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、定性的に、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P3は、特徴量なしの出力画像P2に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、波形の波打ちが少なく、リンギングに関しても減少していることが分かる。
但し、これらの結果は、水平方向のみの分類結果である。したがって、例えば、垂直方向についても特徴量クラス分類を行うと、さらにSNRが改善する。
以上のように、学習装置１２１及び画像変換装置１２２は、特徴量、すなわち、注目画素位置をクラス分類に利用することで、従来のクラス分類手法で分類することができなかった波形パターンを用いてクラス分類することができる。言い換えれば、学習装置１２１及び画像変換装置１２２は、従来のクラス分類手法に比べてより似ている波形パターンを集めてクラス分類を行うことができる。したがって、画像変換装置１２２の適応処理の性能を、従来のクラス分類手法を用いた適応処理の場合に比べて向上させることができる。
即ち、画像変換装置１２２は、従来のクラス分類手法を採用した適応処理の結果得られる画像と比較して、高解像度の画像、すなわち、例えば、エッジを急峻に立たせた画像を生成することができる、という効果を奏することが可能になる。特に、ズーム時に高倍密変換を行った場合に、その効果は顕著なものとなる。さらに、画像変換装置１２２は、リンギングを低減した画像を生成することができる。
したがって、画像変換装置１２２は、従来のクラス分類手法を採用した場合に発生してしまう問題点、即ち、ズーム時に高倍密変換を行った場合の解像度感の不足やリンギングの発生等といった問題点を解決することができる。
ところで、第１の実施の形態における変曲点位置は、エッジ領域の変曲点と、注目画素との位置関係を表す特徴量である。ここで、エッジ領域の変曲点は、エッジ領域の中央に位置することから、変曲点位置は、エッジ領域と注目画素との位置関係を表していると言える。第２の実施の形態における注目画素位置は、エッジ領域の全体の画素値範囲と注目画素の画素値との（画素値方向における）位置関係を表す特徴量である。したがって、第１の実施の形態における変曲点位置と、第２の実施の形態における注目画素位置とは、エッジ領域と注目画素との位置関係を表す特徴量という点で共通している。そこで、以下、エッジ領域と注目画素との位置関係を表す特徴量を、位相と総称するとする。
図３６は、かかる位相のクラス分類を行う画像変換装置２３０の内部構成例を示すブロック図である。
画像変換装置２３０は、入力部２３１、特徴量取得部２３２、特徴量クラス分類部２３３、クラスタップ選択部２３４、ADRCクラス分類部２３５、クラスコード生成部２３６、係数メモリ２３７、係数取得部２３８、予測タップ選択部２３９、及び積和演算部２４０から構成される。
入力部２３１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部２３１は、フレームを入力画像として、特徴量取得部２３２、クラスタップ選択部２３４、及び予測タップ選択部２３９に供給する。
特徴量取得部２３２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量取得部２３２は、入力画像から、位相を算出するためのデータを取得し、特徴量クラス分類部２３３に供給する。
特徴量クラス分類部２３３は、特徴量取得部２３２から供給されるデータを用いて、入力画像の水平方向の波形を形成している画素群のうちの注目画素と、その波形に含まれるエッジ領域との位置関係を表す位相を、特徴量として算出する。そして、特徴量クラス分類部２３３は、特徴量たる位相に基づいて、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部２３３は、特徴量クラスコードを生成し、クラスコード生成部２３６に供給する。
クラスタップ選択部２３４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータを、ADRCクラス分類部２３５に供給する。
ADRCクラス分類部２３５は、クラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。
クラスコード生成部２３６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２３８に供給する。
係数メモリ２３７は、あらかじめ求められたクラスコード（特徴量クラス及びADRCクラスから特定される全体のクラスコード）毎の予測係数を記憶している。
係数取得部２３８は、注目画素のクラスコードに対応する予測係数を、係数メモリ２３７から取得し、積和演算部２４０に供給する。
予測タップ選択部２３９は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部２４０に供給する。
積和演算部２４０は、出力画像の所定の画素を対象画素に設定する。対象画素は、注目画素に対して所定の位置関係にある出力画像内の画素に設定される。積和演算部２４０は、予測タップ選択部２３９から供給される予測タップのデータと、係数取得部２３８から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部２４０は、マッピングの結果得られる対象画素の画素値を外部に出力する。
なお、図示はしないが、画像変換装置２３０に対応する学習装置は、例えば図２４の学習装置１２１と同様の構成を取ることができる。ただし、図２４の特徴量取得部１５４と特徴量クラス分類部１５５の代わりに、図３６の特徴量取得部２３２と特徴量クラス分類部２３３に対応する機能と構成を有する機能ブロックが設けられる。
ところで、以上の例では、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類が採用された。ただし、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類に限定されず、その他の手法のクラス分類、例えばVQ（ベクトル量子化）によるクラス分類等を採用できる。換言すると、これらのクラス分類では画素精度の特徴量を用いているため分類精度が粗く、それゆえ、［発明が解決しようとする課題］の欄で説明した課題が生じていた。即ち、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。そこで、本発明の手法では、この問題点を解決すべく、従来の分類精度が粗いクラス分類のみならず、それよりもさらに細かく分類可能な特徴量クラス分類、即ち、画素以下の特徴量を用いた特徴量クラス分類を採用しているのである。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU２６１，ROM（Read Only Memory）２６２，RAM（Random Access Memory）２６３は、バス２６４により相互に接続されている。
バス２６４には、さらに、入出力インタフェース２６５が接続されている。入出力インタフェース２６５には、キーボード、マウス、マイクロホンなどよりなる入力部２６６、ディスプレイ、スピーカなどよりなる出力部２６７、ハードディスクや不揮発性のメモリなどよりなる記憶部２６８、ネットワークインタフェースなどよりなる通信部２６９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２７１を駆動するドライブ２７０が接続されている。
以上のように構成されるコンピュータでは、CPU２６１が、例えば、記憶部２６８に記憶されているプログラムを、入出力インタフェース２６５及びバス２６４を介して、RAM２６３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２６１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２７１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２７１をドライブ２７０に装着することにより、入出力インタフェース２６５を介して、記憶部２６８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２６９で受信し、記憶部２６８にインストールすることができる。その他、プログラムは、ROM２６２や記憶部２６８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
画像変換装置１の構成例を示す図である。 画像変換システム１０の構成例を示す図である。 学習装置１１の内部構成例を示すブロック図である。 クラスタップ及び予測タップの例を示す図である。 二次微分値の算出に用いる画素の例を示す図である。 変曲点位置と特徴量クラスコードの関係を説明するための図である。 教師画像とその波形、並びに２次微分値の例を示す図である。 教師画像とその波形、並びに２次微分値の例を示す図である。 エッジ領域の波形を示す模式図である。 学習装置１１による学習処理を説明するフローチャートである。 学習装置１１による学習処理を説明するフローチャートである。 画像変換装置１２の内部構成例を示すブロック図である。 クラスタップ及び予測タップの例を示す図である。 画像変換装置１２によるマッピング処理を説明するフローチャートである。 画像変換装置１２によるマッピング処理を説明するフローチャートである。 教師画像P1とその波形を示す図である。 特徴量なしの出力画像P2とその波形を示す図である。 特徴量ありの出力画像P3とその波形を示す図である。 教師画像P4とその波形を示す図である。 特徴量なしの出力画像P5とその波形を示す図である。 特徴量ありの出力画像P6とその波形を示す図である。 定量評価の結果の一覧表を示す図である。 画像変換システム１２０の構成例を示す図である。 学習装置１２１の内部構成例を示すブロック図である。 クラスタップ及び予測タップの例を示す図である。 エッジ領域全体の波形を模式的に示す図である。 エッジ領域全体の範囲の検出を説明するための図である。 エッジ領域全体の範囲の検出を説明するための図である。 学習装置１２１による学習処理を説明するフローチャートである。 学習装置１２１による学習処理を説明するフローチャートである。 画像変換装置１２２の内部構成例を示すブロック図である。 クラスタップ及び予測タップの例を示す図である。 画像変換装置１２２によるマッピング処理を説明するフローチャートである。 画像変換装置１２２によるマッピング処理を説明するフローチャートである。 教師画像P1、出力画像P2、及び出力画像P3とそれぞれの波形を示す図である。 画像変換装置２３０の内部構成例を示すブロック図である。 本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
符号の説明
１ 画像変換装置， ２ 予測タップ選択部， ３ クラスタップ選択部， ４ クラス分類部， ５ 係数メモリ， ６ 予測演算部， １０ 画像変換システム， １１ 学習装置， １２ 画像変換装置， ２１ 係数メモリ， ４１ 入力部， ４２ 教師タップ選択部， ４３ 生徒画像生成部， ４４ 特徴量算出クラスタップ選択部， ４５ クラス分類部， ４６ 予測タップ選択部， ４７ 正規方程式加算部， ４８ 係数データ生成部， ７１ 入力部， ７２ 特徴量算出クラスタップ選択部， ７３ クラス分類部， ７４ 係数取得部， ７５ 予測タップ選択部， ７６ 積和演算部， １２０ 画像変換システム， １２１ 学習装置， １２２ 画像変換装置， １３１ 係数メモリ， １５１ 入力部， １５２ 教師タップ選択部， １５３ 生徒画像生成部， １５４ 特徴量取得部， １５５ 特徴量クラス分類部， １５６ クラスタップ選択部， １５７ ADRCクラス分類部， １５８ クラスコード生成部， １５９ 予測タップ選択部， １６０ 正規方程式加算部， １６１ 係数データ生成部， ２１１ 入力部， ２１２ 特徴量取得部， ２１３ 特徴量クラス分類部， ２１４ クラスタップ選択部， ２１５ ADRCクラス分類部， ２１６ クラスコード生成部， ２１７ 係数取得部， ２１８ 予測タップ選択部， ２１９ 積和演算部， ２３０ 画像変換装置， ２３１ 入力部， ２３２ 特徴量取得部， ２３３ 特徴量クラス分類部， ２３４ クラスタップ選択部， ２３５ ADRCクラス分類部， ２３６ クラスコード生成部， ２３７ 係数メモリ， ２３８ 係数取得部， ２３９ 予測タップ選択部， ２４０ 積和演算部， ２６１ CPU， ２６２ ROM， ２６３ RAM， ２６４ バス， ２６５ 入出力インタフェース， ２６６ 入力部， ２６７ 出力部， ２６８ 記憶部， ２６９ 通信部， ２７０ ドライブ， ２７１ リムーバブルメディア

Claims (12)

  1. 第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、
    前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、
    前記クラス分類手段により分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する予測演算手段と
    を備える画像処理装置。
  2. 前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、
    前記位相算出手段は、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求める
    請求項１に記載の画像処理装置。
  3. 前記位相は、前記注目画素の画素値と前記エッジ領域の全体についての画素値範囲との位置関係を表す情報であり、
    前記位相算出手段は、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体についての画素値範囲を求める
    請求項１に記載の画像処理装置。
  4. 前記位置範囲は、画素値の単純増加または単純減少する位置範囲である
    請求項３に記載の画像処理装置。
  5. 画像処理装置が、
    第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
    算出された前記位相に基づいて、前記注目画素をクラス分類し、
    分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する
    ステップを含む画像処理方法。
  6. コンピュータが実行するステップとして、
    第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
    算出された前記位相に基づいて、前記注目画素をクラス分類し、
    分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する
    ステップを含むプログラム。
  7. 第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、
    前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、
    前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、
    前記クラス分類手段により分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する係数生成手段と
    を備える画像処理装置。
  8. 前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、
    前記位相算出手段は、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求める
    請求項７に記載の画像処理装置。
  9. 前記位相は、前記注目画素と前記エッジ領域の全体との位置関係を表す情報であり、
    前記位相算出手段は、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体の位置を求める
    請求項７に記載の画像処理装置。
  10. 前記位置範囲は、画素値の単純増加または単純減少する位置範囲である
    請求項９に記載の画像処理装置。
  11. 画像処理装置が、
    第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
    前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
    算出された前記位相に基づいて、前記注目画素をクラス分類し、
    分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する
    ステップを含む画像処理方法。
  12. コンピュータが実行するステップとして、
    第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
    前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
    算出された前記位相に基づいて、前記注目画素をクラス分類し、
    分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する
    ステップを含むプログラム。
JP2008102105A 2008-04-10 2008-04-10 画像処理装置及び方法、並びにプログラム Withdrawn JP2009253873A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008102105A JP2009253873A (ja) 2008-04-10 2008-04-10 画像処理装置及び方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008102105A JP2009253873A (ja) 2008-04-10 2008-04-10 画像処理装置及び方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2009253873A true JP2009253873A (ja) 2009-10-29

Family

ID=41314057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008102105A Withdrawn JP2009253873A (ja) 2008-04-10 2008-04-10 画像処理装置及び方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2009253873A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079519A (ja) * 2014-11-04 2015-04-23 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9503629B2 (en) 2010-03-19 2016-11-22 Sony Corporation Image processing apparatus, image processing method, and computer-readable device having instructions for generating focused image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503629B2 (en) 2010-03-19 2016-11-22 Sony Corporation Image processing apparatus, image processing method, and computer-readable device having instructions for generating focused image
JP2015079519A (ja) * 2014-11-04 2015-04-23 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US8401340B2 (en) Image processing apparatus and coefficient learning apparatus
KR100746839B1 (ko) 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체
US20080013835A1 (en) Image processing apparatus and method, program recording medium, and program
JP2006222965A (ja) 画像処理方法及び画像処理装置
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
US8433145B2 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP4524104B2 (ja) 映像の再現品質の向上装置及びその方法
JP2009152820A (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5316385B2 (ja) 画像処理装置及び画像処理プログラム
JP2006067541A (ja) 映像変換装置及び映像変換方法並びに記録媒体
JP2009253873A (ja) 画像処理装置及び方法、並びにプログラム
CN100366074C (zh) 信息处理设备和方法
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH0983961A (ja) クラス予測係数の学習方法並びにクラス分類適応処理を用いた信号変換装置および方法
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP4310697B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP2009252021A (ja) 画像処理装置及び方法、並びにプログラム
JP2010219715A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5131534B2 (ja) 情報処理装置および方法、並びにプログラム
JP4650684B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JPH09270911A (ja) 画像形成装置
US20090232390A1 (en) Image processing device, image processing method, learning device, learning method, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110705