JP2004260399A - Learning apparatus and method, image processing apparatus and method, recording medium, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image with higher accuracy by a simple processing with small computation complexity. <P>SOLUTION: A class tap extract section 151 extracts a plurality of first peripheral pixels of an input image corresponding to a first target pixel. A prediction tap extract section 155 extracts a plurality of second peripheral pixels of the input image corresponding to the first target pixel. A feature quantity arithmetic section 152 detects a feature quantity of the first peripheral pixels. A pixel value arithmetic section 322 predicts the first target pixel from differences between the second peripheral pixels on the basis of the feature quantity. A pixel value calculation section 323 predicts a second target pixel on the basis of a value resulting from subtracting the pixel value of the first target pixel from the pixel value of a concerned pixel of the input image corresponding to the first and second target pixels. A learning apparatus or the like of this invention is applicable to an image processing apparatus for generating a horizontally double density image from an SD image. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００６】
但し、式（１）において、ｘ_ｎは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素の画素値を表し、ｗ_ｎは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ_１，ｘ_２，・・・，ｘ_Ｎで構成されるものとしてある。
【０００７】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００８】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_ｋと表すとともに、式（１）によって得られるその真値ｙ_ｋの予測値をｙ_ｋ’と表すと、その予測誤差ｅ_ｋは、次式で表される。
【数２】

【０００９】
式（２）の予測値ｙ_ｋ’は、式（１）にしたがって求められるため、式（２）のｙ_ｋ’を、式（１）にしたがって置き換えると、次式が得られる。
【数３】

【００１０】
但し、式（３）において、ｘ_ｎ，ｋは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１１】
式（３）の予測誤差ｅ_ｋを０とするタップ係数ｗ_ｎが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_ｎを求めることは、一般には困難である。
【００１２】
そこで、タップ係数ｗ_ｎが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_ｎは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数４】

【００１３】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_ｋと、そのＨＤ画素ｙ_ｋについての予測タップを構成するＳＤ画素ｘ_１，ｋ，ｘ_２，ｋ，・・・，ｘ_Ｎ，ｋとのセットのサンプル数を表す。
【００１４】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_ｎは、その総和Ｅをタップ係数ｗ_ｎで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数５】

【００１５】
そこで、上述の式（３）をタップ係数ｗ_ｎで偏微分すると、次式が得られる。
【数６】

【００１６】
式（５）と（６）から、次式が得られる。
【数７】

【００１７】
式（７）のｅ_ｋに、式（３）を代入することにより、式（７）は、式（８）で示される正規方程式で表すことができる。
【数８】

【００１８】
式（８）の正規方程式は、ＨＤ画素ｙ_ｋとＳＤ画素ｘ_ｎ，ｋのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_ｎの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_ｎにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_ｎを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを採用することが可能である。
【００１９】
以上のように、多数のＨＤ画素ｙ_１，ｙ_２，・・・，ｙ_Ｋを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_ｋについての予測タップを構成するＳＤ画素ｘ_１，ｋ，ｘ_２，ｋ，・・・，ｘ_Ｎ，ｋを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_ｎを求める学習を行っておき、さらに、そのタップ係数ｗ_ｎを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２０】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_ｎが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２１】
ここで、タップ係数ｗ_ｎの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_ｎを求めることができる。
【００２２】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_ｎを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_ｎを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗ_ｎを得ることができる。
【００２３】
次に、クラス分類適応処理を実行する、従来の画像処理装置の構成を説明する。
【００２４】
図１は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置の構成を説明するブロック図である。
【００２５】
図１に構成が示される画像処理装置において、入力画像は、クラスタップ抽出部１１および予測タップ抽出部１５に供給される。
【００２６】
クラスタップ抽出部１１は、注目している画素（以下、注目画素とも称する）に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量演算部１２に供給する。特徴量演算部１２は、クラスタップ抽出部１１から供給された入力画像から、注目している画素に対応する画像の特徴量を演算し、クラスタップと共に演算した特徴量をクラス分類部１３に供給する。画像の特徴量とは、動き、またはフレーム内の画素値の変化などをいう。
【００２７】
クラス分類部１３は、特徴量演算部１２から供給されたクラスタップおよび特徴量を基に、注目している画素に対応して、クラス分けし、クラス分けの結果を示すクラスコードを係数メモリ１４および予測タップ抽出部１５に供給する。
【００２８】
係数メモリ１４は、クラス分類部１３から供給されたクラスコードを基に、注目している画素のクラスに対応するタップ係数を画素値演算部１６に供給する。
【００２９】
予測タップ抽出部１５は、クラス分類部１３から供給されたクラスコードを基に、注目している画素に対応して、所定の予測タップを入力画像から抽出する。予測タップ抽出部１５は、抽出した予測タップを画素値演算部１６に供給する。
【００３０】
画素値演算部１６は、予測タップ抽出部１５から供給された予測タップおよび係数メモリ１４から供給されたタップ係数から、式（１）で示される演算により、ＨＤ画像の注目している画素の画素値を演算し、演算されたＨＤ画像を出力する。
【００３１】
図２は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【００３２】
ステップＳ１１において、クラスタップ抽出部１１は、入力画像から、注目画素に対応するクラスタップを抽出する。ステップＳ１２において、特徴量演算部１２は、入力画像から、注目画素に対応する特徴量を演算する。
【００３３】
ステップＳ１３において、クラス分類部１３は、ステップＳ１１の処理により抽出されたクラスタップ、およびステップＳ１２の処理により演算された特徴量を基に、注目画素に対応して、クラスを分類する。
【００３４】
ステップＳ１４において、予測タップ抽出部１５は、ステップＳ１３の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップＳ１５において、係数メモリ１４は、ステップＳ１３の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。
【００３５】
ステップＳ１６において、画素値演算部１６は、ステップＳ１４の処理で抽出された予測タップ、およびステップＳ１５の処理で読み出された予測係数を基に、注目画素に対応する画素値を演算する。
【００３６】
ステップＳ１７において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップＳ１１に戻り、クラスの分類および適応の処理を繰り返す。
【００３７】
ステップＳ１７において、全ての画素について予測が終了したと判定された場合、処理は終了する。
【００３８】
図３は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【００３９】
図３で示される画像処理装置に入力される入力画像は、ＨＤ画像である教師画像であり、生徒画像生成部３１および教師画素抽出部３８に供給される。教師画像に含まれる画素は、教師データとして使用される。
【００４０】
生徒画像生成部３１は、入力されたＨＤ画像である教師画像から、画素を間引いて、教師画像に対応するＳＤ画像である生徒画像を生成し、生成した生徒画像を画像メモリ３２に供給する。
【００４１】
画像メモリ３２は、生徒画像生成部３１から供給されたＳＤ画像である生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部３３および予測タップ抽出部３６に供給する。
【００４２】
クラスタップ抽出部３３は、注目している画素に対応して生徒画像からクラスタップを抽出し、生徒画像と共に抽出されたクラスタップを特徴量演算部３４に供給する。特徴量演算部３４は、生徒画像から特徴量を演算し、演算された特徴量をクラスタップと共にクラス分類部３５に供給する。
【００４３】
クラス分類部３５は、特徴量演算部３４から供給されたクラスタップおよび特徴量を基に、注目している画素に対応してクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部３６および学習メモリ３９に供給する。
【００４４】
予測タップ抽出部３６は、クラス分類部３５から供給されたクラスコードを基に、画像メモリ３２から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出された予測タップを足し込み演算部３７に供給する。
【００４５】
教師画素抽出部３８は、教師データ、すなわち、教示画像の注目している画素を抽出して、抽出した教師データを足し込み演算部３７に供給する。
【００４６】
足し込み演算部３７は、式（８）の正規方程式に、ＨＤ画素である教師データおよびＳＤ画素である予測タップを足し込み、教師データおよび予測タップを足し込んだ正規方程式を学習メモリ３９に供給する。
【００４７】
学習メモリ３９は、クラス分類部３５から供給されたクラスコードを基に、足し込み演算部３７から供給された正規方程式をクラス毎に記憶する。学習メモリ３９は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部４０に供給する。
【００４８】
正規方程式演算部４０は、学習メモリ３９から供給された正規方程式を掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部４０は、クラス毎の予測係数を係数メモリ４１に供給する。
【００４９】
係数メモリ４１は、正規方程式演算部４０から供給された、クラス毎の予測係数を記憶する。
【００５０】
図４は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置による学習の処理を説明するフローチャートである。
【００５１】
ステップＳ３１において、生徒画像生成部３１は、教師画像である入力画像から生徒画像を生成する。ステップＳ３２において、クラスタップ抽出部３３は、注目している画素に対応するクラスタップを生徒画像から抽出する。
【００５２】
ステップＳ３３において、特徴量演算部３４は、生徒画像から、特徴量を演算する。
【００５３】
ステップＳ３４において、クラス分類部３５は、ステップＳ３２の処理により抽出されたクラスタップ、およびステップＳ３３の処理により演算された特徴量を基に、注目している画素のクラスを分類する。
【００５４】
ステップＳ３５において、予測タップ抽出部３６は、ステップＳ３４の処理により分類されたクラスを基に、注目している画素に対応する予測タップを生徒画像から抽出する。
【００５５】
ステップＳ３６において、教師画素抽出部３８は、教師画像である入力画像から教師画素（教師データ）を抽出する。
【００５６】
ステップＳ３７において、足し込み演算部３７は、ステップＳ３５の処理で抽出された予測タップ、およびステップＳ３６の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。
【００５７】
ステップＳ３８において、画像処理装置は、全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップＳ３２に戻り、次の画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。
【００５８】
ステップＳ３８において、全画素について足し込みの処理が終了したと判定された場合、ステップＳ３９に進み、正規方程式演算部４０は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。
【００５９】
ステップＳ４０において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステップＳ３９に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。
【００６０】
ステップＳ４０において、全クラスの予測係数を演算したと判定された場合、処理は終了する。
【００６１】
また、生成されるべき注目画素の周囲に存在する第１のディジタルビデオ信号に含まれる複数の周辺画素を受け取り、その複数の周辺画素からその注目画素のパターンを検出し、検出されたパターンを示すパターンデータを発生し、基準のデータを用いて、生成されるべき注目画素と真値との誤差の自乗和が最小となるように、最小自乗和法により予め定められた各パターン毎の係数群を格納し、パターンデータに基づいて読み出されたパターンデータに対応する係数群と第１のディジタルビデオ信号を受け取り、係数群と第１のディジタルビデオ信号から注目画素を生成しているものもある（例えば、特許文献１参照）。
【００６２】
【特許文献１】
特開平８−３１７３４６号公報
【００６３】
【発明が解決しようとする課題】
しかしながら、より精度の高い画像を予測するには、クラスタップまたは予測タップの数を増やさなければならず、クラスタップまたは予測タップの数を増やしたとき、画像の予測のための演算量が多くなってしまうという問題があった。
【００６４】
本発明はこのような状況に鑑みてなされたものであり、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようにすることを目的とする。
【００６５】
【課題を解決するための手段】
本発明の第１の学習装置は、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出手段と、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する学習手段と、学習手段により学習された予測手段を記憶する記憶手段とを含むことを特徴とする。
【００６６】
本発明の第１の学習方法は、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する学習ステップと、学習ステップにおいて学習された予測手段を記憶する記憶ステップとを含むことを特徴とする。
【００６７】
本発明の第１の記録媒体のプログラムは、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。
【００６８】
本発明の第１のプログラムは、コンピュータに、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する学習ステップとを実行させることを特徴とする。
【００６９】
本発明の第２の学習装置は、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出手段と、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する学習手段と、学習手段により学習された予測手段を記憶する記憶手段とを含むことを特徴とする。
【００７０】
本発明の第２の学習方法は、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する学習ステップと、学習ステップにおいて学習された予測手段を記憶する記憶ステップとを含むことを特徴とする。
【００７１】
本発明の第２の記録媒体のプログラムは、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。
【００７２】
本発明の第２のプログラムは、コンピュータに、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する学習ステップとを実行させることを特徴とする。
【００７３】
本発明の第１の画像処理装置は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出手段と、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量に基づいて、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測する第１の予測手段と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する第２の予測手段とを含むことを特徴とする。
【００７４】
本発明の第１の画像処理方法は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測する第１の予測ステップと、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する第２の予測ステップとを含むことを特徴とする。
【００７５】
本発明の第３の記録媒体のプログラムは、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測する第１の予測ステップと、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する第２の予測ステップとを含むことを特徴とする。
【００７６】
本発明の第３のプログラムは、コンピュータに、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測する第１の予測ステップと、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する第２の予測ステップとを実行させることを特徴とする。
【００７７】
本発明の第２の画像処理装置は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出手段と、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量に基づいて、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する第１の予測手段と、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する第２の予測手段とを含むことを特徴とする。
【００７８】
本発明の第２の画像処理方法は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する第１の予測ステップと、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する第２の予測ステップとを含むことを特徴とする。
【００７９】
本発明の第４の記録媒体のプログラムは、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する第１の予測ステップと、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する第２の予測ステップとを含むことを特徴とする。
【００８０】
本発明の第４のプログラムは、コンピュータに、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する第１の予測ステップと、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する第２の予測ステップと実行させることを特徴とする。
【００８１】
本発明の第１の学習装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素が抽出され、注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、複数の第１の周辺画素に基づいて、注目画素の特徴量が検出される。そして、検出された特徴量毎に、複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段が学習される。
【００８２】
本発明の第２の学習装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素が抽出され、注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、複数の第１の周辺画素に基づいて、注目画素の特徴量が検出される。そして、検出された特徴量毎に、複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段が学習される。
【００８３】
学習装置は、独立した装置であっても良いし、学習処理を行うブロックであっても良い。
【００８４】
本発明の第１の画像処理装置および方法、第３の記録媒体、並びに第３のプログラムにおいては、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素が抽出され、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、複数の第１の周辺画素の特徴量が検出される。そして、検出された特徴量に基づいて、複数の第２の周辺画素同士の差分値から第１の注目画素が予測され、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素が、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測される。
【００８５】
本発明の第２の画像処理装置および方法、第４の記録媒体、並びに第４のプログラムにおいては、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素が抽出され、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、複数の第１の周辺画素の特徴量が検出される。そして、検出された特徴量に基づいて、複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値が予測され、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素が予測される。
【００８６】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００８７】
【発明の実施の形態】
図５は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【００８８】
この画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像を生成し、その差分画像に対して、クラス分類適応処理が適用されることにより、ＨＤ画像が出力されるようになっている。
【００８９】
即ち、この画像処理装置は、差分画像生成部１０１、クラスタップ抽出部１０２、特徴量演算部１０３、クラス分類部１０４、係数メモリ１０５、予測タップ抽出部１０６、および画素値演算部１０７から構成される。画像処理装置には、空間解像度の創造の対象となる入力画像、例えば、ＳＤ画像が入力される。
【００９０】
入力されたＳＤ画像である入力画像は、差分画像生成部１０１、クラスタップ抽出部１０２、および特徴量演算部１０３に供給される。
【００９１】
差分画像生成部１０１は、ＳＤ画像である入力画像から、差分画像を生成し、生成した差分画像をクラスタップ抽出部１０２、特徴量演算部１０３、および予測タップ抽出部１０６に供給する。
【００９２】
図６は、差分画像生成部１０１により生成される差分画像を説明する図である。
【００９３】
図６中の横方向は、例えば、画像上の横方向である空間方向Ｘを示し、図６中の縦方向は、例えば、画像上の縦方向である空間方向Ｙを示す。また、図６において、個々の四角（マス目）は、入力画像の画素を示し、ｘ０乃至ｘ１４は、入力画像の各画素の画素値を示す。
【００９４】
図６において、ｄ０乃至ｄ１２は、横方向に隣接する画素の画素値の差分値を示す。すなわち、ｄ０，ｄ１，ｄ２、およびｄ３は、それぞれ、ｘ１からｘ０を減算した値、ｘ２からｘ１を減算した値、ｘ３からｘ２を減算した値、ｘ４からｘ３を減算した値を示す。また、ｄ５，ｄ６，ｄ７、およびｄ８は、それぞれ、ｘ６からｘ５を減算した値、ｘ７からｘ６を減算した値、ｘ８からｘ７を減算した値、ｘ９からｘ８を減算した値を示す。同様に、ｄ９，ｄ１０，ｄ１１、およびｄ１２は、それぞれ、ｘ１１からｘ１０を減算した値、ｘ１２からｘ１１を減算した値、ｘ１３からｘ１２を減算した値、ｘ１４からｘ１３を減算した値を示す。
【００９５】
差分画像生成部１０１は、例えば、図６に示すように、入力画像の全ての画素について、その画素値から、その画素の左側に隣接する画素の画素値を減算して、差分値を算出する処理を適用して、入力画像の画素値に対応する差分値からなる差分画像を生成する。すなわち、差分画像生成部１０１は、入力画像の画素の数と略同数の差分値からなる差分画像を生成する。
【００９６】
なお、差分画像生成部１０１は、例えば、入力画像の全ての画素について、その画素値から、その画素の右側に隣接する画素の画素値を減算して、差分値を算出する処理を適用して、入力画像の画素値に対応する差分値からなる差分画像を生成するようにしても良いことは勿論である。
【００９７】
差分画像生成部１０１は、図示せぬフレームメモリを内蔵し、画像処理装置に入力されたＳＤ画像の差分画像、およびＳＤ画像である入力画像のそれぞれを、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、差分画像生成部１０１は、内蔵しているフレームメモリに、複数フレームの入力画像および差分画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００９８】
クラスタップ抽出部１０２は、クラス分類適応処理により求めようとするＨＤ画像のＨＤ画素（サンプル）を、順次、注目画素とする。そして、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いるクラスタップを、差分画像生成部１０１に記憶されている差分画像から抽出して生成し、特徴量演算部１０３に出力する。すなわち、クラスタップ抽出部１０２は、入力画像に比較して高質な高質画像の注目画素に対応する、入力画像内の複数の周辺画素（クラスタップ）を抽出する。
【００９９】
より具体的には、例えば、クラスタップ抽出部１０２は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することによりクラスタップとし、特徴量演算部１０３に出力する。
【０１００】
ここで、図７において、○印がＳＤ画像を構成するＳＤ画素を表し、×印がＨＤ画像を構成するＨＤ画素を表している。また、図７では、ＨＤ画像は、水平方向と垂直方向それぞれの画素数が、ＳＤ画像の２倍の画像になっている。
【０１０１】
また、図７において、△印が差分画像を構成する差分値を表す。
【０１０２】
クラスタップ抽出部１０２は、注目画素について、例えば、図７で示されるように、その注目画素の位置から近い横×縦が３×３個の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することによりクラスタップ（周辺画素）とする。
【０１０３】
なお、図７において、ＨＤ画像の注目している１つのＨＤ画素を、ｙ^（１）と表す。また、図７において、クラスタップを構成する３×３個の差分値のうちの、第１行第１列、第１行第２列、第１行第３列、第２行第１列、第２行第２列、第２行第３列、第３行第１列、第３行第２列、第３行第３列の差分値を、それぞれｄ^（１），ｄ^（２），ｄ^（３），ｄ^（４），ｄ^（５），ｄ^（６），ｄ^（７），ｄ^（８），ｄ^（９）と表す。差分値ｄ^（１），ｄ^（２），ｄ^（３），ｄ^（４），ｄ^（５），ｄ^（６），ｄ^（７），ｄ^（８），ｄ^（９）の右側に位置するＳＤ画素を、それぞれ、ｘ^（２），ｘ^（３），ｘ^（４），ｘ^（６），ｘ^（７），ｘ^（８），ｘ^（１０），ｘ^（１１），ｘ^（１２）と表す。差分値ｄ^（１）の左側のＳＤ画素を、ｘ^（１）で表し、差分値ｄ^（４）の左側のＳＤ画素を、ｘ^（５）で表し、差分値ｄ^（７）の左側のＳＤ画素を、ｘ^（９）で表す。
【０１０４】
図７で示される場合において、差分値ｄ^（１）は、ＳＤ画素ｘ^（２）からＳＤ画素ｘ^（１）を減算した値であり、差分値ｄ^（２）は、ＳＤ画素ｘ^（３）からＳＤ画素ｘ^（２）を減算した値であり、差分値ｄ^（３）は、ＳＤ画素ｘ^（４）からＳＤ画素ｘ^（３）を減算した値である。
【０１０５】
また、図７で示される場合において、差分値ｄ^（４）は、ＳＤ画素ｘ^（６）からＳＤ画素ｘ^（５）を減算した値であり、差分値ｄ^（５）は、ＳＤ画素ｘ^（７）からＳＤ画素ｘ^（６）を減算した値であり、差分値ｄ^（６）は、ＳＤ画素ｘ^（８）からＳＤ画素ｘ^（７）を減算した値である。
【０１０６】
同様に、図７で示される場合において、差分値ｄ^（７）は、ＳＤ画素ｘ^（１０）からＳＤ画素ｘ^（９）を減算した値であり、差分値ｄ^（８）は、ＳＤ画素ｘ^（１１）からＳＤ画素ｘ^（１０）を減算した値であり、差分値ｄ^（９）は、ＳＤ画素ｘ^（１２）からＳＤ画素ｘ^（１１）を減算した値である。
【０１０７】
すなわち、差分値ｄ^（１）乃至差分値ｄ^（９）を含む差分値ｄは、ＳＤ画像の隣接する画素の画素値の差分値である。
【０１０８】
例えば、クラスタップ抽出部１０２は、注目画素ｙ^（１）について、図７で示される、横×縦が３×３個の差分値ｄ^（１）乃至差分値ｄ^（９）を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０１０９】
クラスタップ抽出部１０２は、抽出された差分画像のクラスタップを、特徴量演算部１０３を介してクラス分類部１０４に供給する。
【０１１０】
また、クラスタップ抽出部１０２は、差分画像のクラスタップとは別に、ＳＤ画像である入力画像から、入力画像のクラスタップ（入力画像の画素）を抽出して特徴量演算部１０３に供給する。
【０１１１】
例えば、クラスタップ抽出部１０２は、注目画素ｙ^（１）について、図７で示される、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）を、入力画像から抽出することにより入力画像のクラスタップとする。
【０１１２】
特徴量演算部１０３は、クラスタップ抽出部１０２により抽出された複数の周辺画素、すなわち、差分画像のクラスタップまたは入力画像のクラスタップに基づいて、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。換言すれば、特徴量演算部１０３は、差分画像のクラスタップまたは入力画像のクラスタップから特徴量を演算して、演算した特徴量をクラス分類部１０４に供給する。差分画像のクラスタップは、周辺画素の差分からなるので、差分画像のクラスタップに基づく特徴量は、複数の周辺画素の特徴量であるとも言える。
【０１１３】
例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、周辺画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１０４に供給する。また、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化（アクティビティ）を演算して、演算した画素値の変化を特徴量としてクラス分類部１０４に供給する。
【０１１４】
さらに、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、注目画素の位置から空間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的な変化の傾きを演算して、演算した画素値の変化の傾きを特徴量としてクラス分類部１０４に供給する。
【０１１５】
また、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給された差分画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある差分画像の複数の差分値の空間的または時間的な変化を演算して、演算した差分値の変化を特徴量としてクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給された差分画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある差分値の自己相関係数を演算して、演算した自己相関係数を特徴量としてクラス分類部１０４に供給する。
【０１１６】
このように、特徴量演算部１０３は、差分画像のクラスタップまたは入力画像のクラスタップに基づいて、例えば、上述した演算により、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。
【０１１７】
さらに、特徴量演算部１０３は、特徴量とは別に、差分画像のクラスタップおよび入力画像のクラスタップをそのままクラス分類部１０４に供給する。
【０１１８】
なお、特徴量として、差分画像のクラスタップまたは入力画像のクラスタップの、ラプラシアン、ソーベル、または分散などを採用することができる。
【０１１９】
さらにまた、特徴量演算部１０３は、入力画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、入力画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１０４に供給する。
【０１２０】
また、特徴量演算部１０３は、差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、差分画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１０４に供給する。
【０１２１】
本発明の画像処理装置によれば、ＳＤ画像から演算される特徴量とは異なる特徴量を差分画像から簡単に演算することができる。これにより、クラス分類の処理において、注目画素をより詳細なクラスにクラス分類することができ、その結果、画素値の予測の精度を向上させることができる。
【０１２２】
クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、および特徴量演算部１０３からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１０５と予測タップ抽出部１０６とに供給する。
【０１２３】
例えば、クラス分類部１０４は、差分画像のクラスタップを、１ビットＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）処理し、その結果得られるＡＤＲＣコードを、クラスコードとする。
【０１２４】
なお、ＫビットＡＤＲＣ処理においては、クラスタップを構成する差分画像の差分値の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する差分値がＫビットに再量子化される。即ち、クラスタップを構成する各差分値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２^Ｋで除算（量子化）される。従って、クラスタップが、１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各差分値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各差分値についての１ビットの値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【０１２５】
但し、クラス分類は、その他、例えば、クラスタップを構成する差分値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。
【０１２６】
また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部１０４は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【０１２７】
ここで、ＡＤＲＣコードは、差分画像のクラスタップに基づいて検出された、複数の周辺画素の特徴量の１つであるとも言える。すなわち、差分画像のクラスタップを１ビットＡＤＲＣ処理し、その結果得られたＡＤＲＣコードからなるクラスコードは、複数の周辺画素の特徴量を示している。
【０１２８】
同様に、例えば、クラス分類部１０４は、入力画像のクラスタップを、１ビットＡＤＲＣ処理し、その結果得られるＡＤＲＣコードを、クラスコードとする。
【０１２９】
また、例えば、クラス分類部１０４は、特徴量演算部１０３からの特徴量を、そのままクラスコードとする。例えば、クラス分類部１０４は、特徴量演算部１０３からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０１３０】
さらに例えば、クラス分類部１０４は、差分画像のクラスタップを基にしたクラスコード、入力画像のクラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１０５と予測タップ抽出部１０６とに供給する。
【０１３１】
なお、差分画像のクラスタップを基にしたクラスコード、入力画像のクラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか１つを、最終的なクラスコードとするようにしてもよい。
【０１３２】
このように、クラス分類部１０４から出力されるクラスコードは、注目画素の周辺の、複数の周辺画素の特徴量を示している。
【０１３３】
係数メモリ１０５は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となる差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１０５は、クラス分類部１０４から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部１０７に供給する。なお、係数メモリ１０５に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０１３４】
予測タップ抽出部１０６は、画素値演算部１０７において注目画素（の予測値）を求めるのに用いる、注目画素に対応する、注目画素の周辺の、差分画像の複数の差分値を抽出する。
【０１３５】
すなわち、予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、画素値演算部１０７において注目画素（の予測値）を求めるのに用いる予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、生成した予測タップを画素値演算部１０７に供給する。例えば、予測タップ抽出部１０６は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとし、画素値演算部１０７に供給する。
【０１３６】
例えば、予測タップ抽出部１０６は、注目画素ｙ^（１）について、図７で示される、横×縦が３×３個の差分値ｄ^（１）乃至差分値ｄ^（９）を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとする。
【０１３７】
なお、クラスタップとする差分値と、予測タップとする差分値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。
【０１３８】
また、予測タップとする差分値は、クラス毎に異なるものであっても、同一であってもよい。
【０１３９】
なお、クラスタップや予測タップのタップ構造は、図７で示される、３×３個の差分値または４×３個のＳＤ画素に限定されるものではない。
【０１４０】
画素値演算部１０７は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から注目画素を予測する。
【０１４１】
より詳しく説明すれば、画素値演算部１０７は、係数メモリ１０５から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ_１，ｄ_２，・・・とを用いて、注目画素ｙ（の予測値）を演算し、これを、ＨＤ画素の画素値とする。画素値演算部１０７は、このように演算された画素値からなるＨＤ画像を出力画像として出力する。
【０１４２】
すなわち、本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、ＨＤ画像に変換される。
【０１４３】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画素（の画素値）ｙは、差分画像を構成する差分値から、ＨＤ画素を予測するための予測タップとして抽出される複数の差分値と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数９】

【０１４４】
但し、式（９）において、ｄ_ｎは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目の差分画像の差分値を表し、ｗ_ｎは、ｎ番目の差分値と乗算されるｎ番目のタップ係数を表す。なお、式（９）では、予測タップが、Ｎ個の差分値ｄ_１，ｄ_２，・・・，ｄ_Ｎで構成されるものとしてある。
【０１４５】
ここで、ＨＤ画素の画素値ｙは、式（９）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４６】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_ｋと表すとともに、式（９）によって得られるその真値ｙ_ｋの予測値をｙ_ｋ’と表すと、その予測誤差ｅ_ｋは、次式で表される。
【数１０】

【０１４７】
式（１０）の予測値ｙ_ｋ’は、式（９）にしたがって求められるため、式（１０）のｙ_ｋ’を、式（９）にしたがって置き換えると、次式が得られる。
【数１１】

【０１４８】
但し、式（１１）において、ｄ_ｎ，ｋは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目の差分値を表す。
【０１４９】
式（１１）の予測誤差ｅ_ｋを０とするタップ係数ｗ_ｎが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_ｎを求めることは、一般には困難である。
【０１５０】
そこで、タップ係数ｗ_ｎが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_ｎは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数１２】

【０１５１】
但し、式（１２）において、Ｋは、ＨＤ画素ｙ_ｋと、そのＨＤ画素ｙ_ｋについての予測タップを構成する差分値ｄ_１，ｋ，ｄ_２，ｋ，・・・，ｄ_Ｎ，ｋとのセットのサンプル数を表す。
【０１５２】
式（１２）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_ｎは、その総和Ｅをタップ係数ｗ_ｎで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数１３】

【０１５３】
そこで、上述の式（１１）をタップ係数ｗ_ｎで偏微分すると、次式が得られる。
【数１４】

【０１５４】
式（１３）と（１４）から、次式が得られる。
【数１５】

【０１５５】
式（１５）のｅ_ｋに、式（１１）を代入することにより、式（１５）は、式（１６）で示される正規方程式で表すことができる。
【数１６】

【０１５６】
式（１６）の正規方程式は、ＨＤ画素ｙ_ｋと差分値ｄ_ｎ，ｋのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_ｎの数と同じ数だけたてることができ、従って、式（１６）を解くことで（但し、式（１６）を解くには、式（１６）において、タップ係数ｗ_ｎにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_ｎを求めることができる。なお、式（１６）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを採用することが可能である。
【０１５７】
以上のように、多数のＨＤ画素ｙ_１，ｙ_２，・・・，ｙ_Ｋを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_ｋについての予測タップを構成する差分値ｄ_１，ｋ，ｄ_２，ｋ，・・・，ｄ_Ｎ，ｋを、タップ係数の学習の生徒となる生徒データとして、式（１６）を解くことにより、最適なタップ係数ｗ_ｎを求める学習を行っておき、さらに、そのタップ係数ｗ_ｎを用い、式（９）により、差分画像を、ＨＤ画像データにマッピング（変換）するのが本発明における適応処理である。
【０１５８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（９）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_ｎが、教師データとしてのＨＤ画像データと生徒データとしての差分画像とを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０１５９】
ここで、タップ係数ｗ_ｎの学習では、教師データｙと生徒データｄとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_ｎを求めることができる。
【０１６０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｄとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データの差分値を採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_ｎを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｄとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データの差分値を採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_ｎを得ることができる。
【０１６１】
次に、図８のフローチャートを参照して、図５の画像処理装置が行う、ＳＤ画像からＨＤ画像を創造する画像処理について説明する。
【０１６２】
ステップＳ１０１において、差分画像生成部１０１は、ＳＤ画像である入力画像から、図７を参照して説明したように、ＳＤ画像の画素値の差分を算出して、差分値を求め、差分値からなる差分画像を生成する。差分画像は、クラスタップ抽出部１０２、特徴量演算部１０３、および予測タップ抽出部１０６に供給され、手続は、ステップＳ１０２に進む。また、差分画像生成部１０１は、ＳＤ画像である入力画像を、クラスタップ抽出部１０２に供給する。
【０１６３】
ステップＳ１０２において、クラスタップ抽出部１０２は、注目画素の位置に空間的または時間的に近い複数の差分値を差分画像から差分画像のクラスタップとして抽出して、差分画像のクラスタップを生成する。クラスタップ抽出部１０２は、注目画素の位置に空間的または時間的に近い複数の画素を入力画像から入力画像のクラスタップとして抽出して、入力画像のクラスタップを生成する。差分画像のクラスタップおよび入力画像のクラスタップは、特徴量演算部１０３およびクラス分類部１０４に供給され、手続は、ステップＳ１０３に進む。ステップＳ１０３において、特徴量演算部１０３は、差分画像のクラスタップ、入力画像のクラスタップ、入力画像、または差分画像から特徴量を演算して、演算された特徴量をクラス分類部１０４に供給し、ステップＳ１０４に進む。
【０１６４】
ステップＳ１０４において、クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、または特徴量演算部１０３から供給される特徴量に基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１０５および予測タップ抽出部１０６に供給して、ステップＳ１０５に進む。
【０１６５】
ステップＳ１０５において、予測タップ抽出部１０６は、クラス分類部１０４から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の差分値を差分画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値演算部１０７に供給され、手続は、ステップＳ１０６に進む。
【０１６６】
ステップＳ１０６において、係数メモリ１０５は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、タップ係数を画素値演算部１０７に供給し、ステップＳ１０７に進む。
【０１６７】
ステップＳ１０７において、画素値演算部１０７は、特徴量に基づいて、抽出された複数の周辺画素同士の差分値から、注目画素（の予測値）を算出して、ステップＳ１０８に進む。即ち、ステップＳ１０７では、画素値演算部１０７は、予測タップ抽出部１０６からの予測タップと、係数メモリ１０５からのタップ係数とを用いて、式（９）に示した演算を行い、注目画素（の予測値）を求める。
【０１６８】
ステップＳ１０８において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１０１に戻り、以下、同様の処理を繰り返す。
【０１６９】
また、ステップＳ１０８において、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、予測された場合、処理は終了する。
【０１７０】
このように、図５で構成が示される画像処理装置は、ＳＤ画像である入力画像から、ＨＤ画像を生成して、生成したＨＤ画像を出力することができる。
【０１７１】
ここで、ＳＤ画像の自己相関係数（水平方向）、および差分画像の自己相関係数（水平方向）の一例を示す。
【０１７２】
ＳＤ画像において、距離が１画素（自分自身であるとき）、２画素、３画素、４画素、５画素、６画素であるとき、自己相関係数は、それぞれ、１．０００，０．９６９，０．９１５，０．８６６，０．８２６，０．７９５であった。
【０１７３】
これに対して、同じＳＤ画像の差分画像において、距離が１画素、２画素、３画素、４画素、５画素、６画素であるとき、自己相関係数は、それぞれ、１．０００，０．３６８，−０．０７０，−０．１５３，−０．１４７，−０．１１６であった。
【０１７４】
差分画像において、３画素離れると負の相関をもち、非常に相関が低いことがわかる。
【０１７５】
実験により、クラスタップの数が同じで、予測タップの数も同じ場合、通常のＳＤ画像を基にクラス分類処理を行ったときに比較して、差分画像を基にクラス分類処理を行ったとき、より高いＳＮ比の画像を得られることが確認できた。
【０１７６】
通常のＳＤ画像の９つの画素でクラス分類を行い、予測タップとして通常のＳＤ画像から９つの画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、３７．０６０ｄＢ，３４．６０５ｄＢ，３２．５４２ｄＢであった。
【０１７７】
これに対して、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から９つの画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、３７．５９５ｄＢ，３４．９３９ｄＢ，３２．６５５ｄＢであった。
【０１７８】
さらに、実験により、クラスタップの数が同じで、予測タップの数も同じ場合、通常のＳＤ画像に適応処理を適用したときに比較して、差分画像に適応処理を適用したとき、より高いＳＮ比の画像を得られることが確認できた。
【０１７９】
すなわち、差分画像の９つの差分値でクラス分類を行い、予測タップとして差分画像から９つの差分値を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、３７．８３８ｄＢ，３５．０８９ｄＢ，３２．７０４ｄＢであった。
【０１８０】
比較のために、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から１２の画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、３７．９４６ｄＢ，３５．１７７ｄＢ，３２．７６６ｄＢであった。
【０１８１】
これにより、差分画像の９つの差分値でクラス分類を行い、予測タップとして差分画像から９つの差分値を抽出して予測した場合、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から１２の画素を抽出して予測した場合とほぼ等しいＳＮ比の画像を得られることがわかる。
【０１８２】
このように、差分画像でクラス分類をおこない、差分画像から予測タップを抽出した場合、より少ないクラスタップまたはより少ない予測タップで、より高いＳＮ比の画像、すなわち、より精度の高い画像を得ることができる。
【０１８３】
また、実験において、差分画像を用いて画像を予測した場合、画像のエッジの近傍でより良い精度の画像を予測できることが確認された。
【０１８４】
以上のように、本発明の画像処理装置によれば、比較的簡単で演算量の少ない画素値の減算の処理で、差分画像を求め、より少ない数のクラスタップまたは予測タップで画像を創造することにより、多数のクラスタップおよび予測タップを用いて画像を創造する場合に比較して、全体として、処理をより簡単にすることができ、また、演算量をより少なくすることができる。
【０１８５】
さらに、実験の結果から、本発明の画像処理装置において、より少ない数のクラスタップまたは予測タップであっても、より精度の高い画像を創造することができることがわかる。
【０１８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０１８７】
また、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、第２の画像（出力画像）の注目している画素である注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、差分画像から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、差分画像から生成し、学習の教師となる、第２の画像に対応する教師データと、学習の生徒となる、差分画像に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップとを用いて、注目画素を演算し、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０１８８】
次に、図９は、図５の係数メモリ１０５に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０１８９】
図９の画像処理装置には、タップ係数の学習用の画像データとしての、例えばＨＤ画像が入力される。画像処理装置に入力されたＨＤ画像は、ＳＤ画像生成部１３１および教師画素抽出部１３９に供給される。
【０１９０】
ＳＤ画像生成部１３１は、入力された教師画像から、ＳＤ画像を生成し、差分画像生成部１３２および画像メモリ１３３に供給する。ＳＤ画像生成部１３１は、例えば、教師画像としてのＨＤ画像データの画素を間引く、またはＨＤ画像データの４つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その教師画像としてのＨＤ画像に対応したＳＤ画像を生成する。ここで、ＳＤ画像は、図５の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。
【０１９１】
ＳＤ画像生成部１３１は、上述のようにして、教師画像に対応するＳＤ画像（教師画像から生成されたＳＤ画像）を生成すると、そのＳＤ画像を差分画像生成部１３２および画像メモリ１３３に供給する。
【０１９２】
差分画像生成部１３２は、差分画像生成部１０１と同様の処理で、ＳＤ画像から、生徒画像である差分画像を生成し、生成した差分画像を画像メモリ１３３に供給する。すなわち、差分画像生成部１３２は、例えば、図６で示されるように、ＳＤ画像の全ての画素について、その画素値から、その画素の左側に隣接する画素の画素値を減算して、差分値（サンプル）を算出する処理を適用して、ＳＤ画像の画素値に対応する差分値からなる、生徒画像である差分画像を生成する。
【０１９３】
画像メモリ１３３は、差分画像生成部１３２からの生徒画像である差分画像を一時記憶する。また、画像メモリ１３３は、ＳＤ画像生成部１３１から供給されたＳＤ画像を一時記憶する。
【０１９４】
図９で示される画像処理装置においては、ＳＤ画像の差分画像を生徒データとして、タップ係数が生成される。
【０１９５】
クラスタップ抽出部１３４は、画像１３３に記憶されている生徒画像である差分画像に対応する教師画像としてのＨＤ画像に含まれる画素を、図５のクラスタップ抽出部１０２における場合と同様に、順次、注目画素とする。
【０１９６】
さらに、クラスタップ抽出部１３４は、注目画素についての差分画像のクラスタップを、画像メモリ１３３に記憶された差分画像から抽出して生成し、特徴量演算部１３５に供給する。例えば、クラスタップ抽出部１３４は、注目画素ｙ^（１）について、図７で示される、横×縦が３×３個の差分値ｄ^（１）乃至差分値ｄ^（９）を、画像メモリ１３３に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０１９７】
また、クラスタップ抽出部１３４は、注目画素についてのＳＤ画像のクラスタップを、画像メモリ１３３に記憶されたＳＤ画像から抽出して生成し、特徴量演算部１３５に供給する。例えば、クラスタップ抽出部１３４は、注目画素ｙ^（１）について、図７で示される、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^{（１ ２）}を、画像メモリ１３３に記憶されたＳＤ画像から抽出することによりＳＤ画像のクラスタップとする。
【０１９８】
ここで、クラスタップ抽出部１３４は、図５のクラスタップ抽出部１０２が生成するのと同一のタップ構造のクラスタップを生成する。
【０１９９】
なお、クラスタップ抽出部１３４において生成されるＳＤ画像のクラスタップは、クラスタップ抽出部１０２において生成される入力画像のクラスタップに対応する。
【０２００】
特徴量演算部１３５は、クラスタップ抽出部１３４により抽出された複数の周辺画素に基づいて、注目画素の特徴量を検出する。すなわち、特徴量演算部１３５は、特徴量演算部１０３と同様の処理で、差分画像のクラスタップまたはＳＤ画像のクラスタップから特徴量を演算して、演算した特徴量をクラス分類部１３６に供給する。
【０２０１】
例えば、特徴量演算部１３５は、ＳＤ画像のクラスタップを基に、注目画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１３６に供給する。また、例えば、特徴量演算部１３５は、ＳＤ画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にあるＳＤ画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化を演算して、演算した画素値の変化を特徴量としてクラス分類部１３６に供給する。
【０２０２】
なお、特徴量演算部１３５は、特徴量演算部１０３と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０２０３】
さらに、特徴量演算部１３５は、特徴量演算部１０３と同様に、差分画像のクラスタップから特徴量を求める。
【０２０４】
このように、特徴量演算部１３５は、ＳＤ画像のクラスタップまたは差分画像のクラスタップ、すなわち複数の周辺画素を基に、検出された注目画素の特徴量をクラス分類部１３６に供給する。また、特徴量演算部１３５は、ＳＤ画像のクラスタップおよび差分画像のクラスタップをクラス分類部１３６に供給する。
【０２０５】
さらにまた、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。例えば、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１３６に供給する。
【０２０６】
また、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。例えば、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１３６に供給する。
【０２０７】
クラス分類部１３６は、図５のクラス分類部１０４と同様に構成され、ＳＤ画像のクラスタップ、差分画像のクラスタップ、または特徴量演算部１３５からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ１４０に供給する。
【０２０８】
予測タップ抽出部１３７は、注目画素に対応する、注目画素の周辺の、差分画像の複数の差分値を抽出する。
【０２０９】
すなわち、予測タップ抽出部１３７は、クラス分類部１３６から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１３３に記憶された差分画像から抽出して生成し、足し込み演算部１３８に供給する。ここで、予測タップ抽出部１３７は、図５の予測タップ抽出部１０６が生成するのと同一のタップ構造の予測タップを生成する。
【０２１０】
例えば、予測タップ抽出部１３７は、注目画素ｙ^（１）について、図７で示される、横×縦が３×３個の差分値ｄ^（１）乃至差分値ｄ^（９）を、画像メモリ１３３に記憶された差分画像から抽出することにより予測タップとする。
【０２１１】
教師画素抽出部１３９は、教師画像である入力画像から、注目している画素を教師データとして抽出して、抽出した教師データを足し込み演算部１３８に供給する。例えば、教師画素抽出部１３９は、教師画像である入力画像から、注目画素ｙ^（１）を教師データとして抽出して、抽出した教師データを足し込み演算部１３８に供給する。
【０２１２】
即ち、教師画素抽出部１３９は、入力された学習用の画像データであるＨＤ画像を、例えば、そのまま教師データとする。ここで、図５の画像処理装置で得られるＨＤ画像は、図９の画像処理装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０２１３】
足し込み演算部１３８および正規方程式演算部１４１は、注目画素となっている教師データと、予測タップ抽出部１３７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１３６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。換言すれば、足し込み演算部１３８および正規方程式演算部１４１は、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する。
【０２１４】
この場合、予測手段は、複数の周辺画素同士の差分値から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値演算部１０７、または画素値演算部１０７における処理を言う。複数の周辺画素同士の差分値から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０２１５】
従って、複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値演算部１０７、または画素値演算部１０７における処理が具体的に特定され、画素値演算部１０７を実現し、または画素値演算部１０７における処理を実行することができるようになるからである。
【０２１６】
即ち、足し込み演算部１３８は、予測タップ抽出部１３７から供給される予測タップ（差分値）と、教師画素抽出部１３９から供給される、注目画素となっている教師データであるＨＤ画素とを対象とした、式（１６）の足し込みを行う。
【０２１７】
具体的には、足し込み演算部１３８は、予測タップを構成する生徒データとしての差分値ｄ_ｎ，ｋを用い、式（１６）の左辺の行列における差分値どうしの乗算（ｄ_ｎ，ｋｄ_ｎ’，ｋ）と、サメーション（Σ）に相当する演算を行う。
【０２１８】
さらに、足し込み演算部１３８は、予測タップを構成する生徒データとしての差分値ｄ_ｎ，ｋと、注目画素となっている教師データであるＨＤ画素ｙ_ｋを用い、式（１６）の右辺のベクトルにおける差分値およびＨＤ画素ｙ_ｋの乗算（ｄ_ｎ，ｋｙ_ｋ）と、サメーション（Σ）に相当する演算を行う。
【０２１９】
ここで、足し込みとは、各行列の要素における、乗算の処理およびサメーション（Σ）の処理、並びに乗算の処理およびサメーション（Σ）の処理の結果を正規方程式に設定する処理を言う。
【０２２０】
足し込み演算部１３８は、教師データとしてのＨＤ画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ１４０に供給する。
【０２２１】
学習メモリ１４０は、足し込み演算部１３８から供給された、生徒データとして差分値、教師データとしてＨＤ画素が足し込まれた、式（１６）に対応した正規方程式を記憶する。
【０２２２】
正規方程式演算部１４１は、学習メモリ１４０から、各クラスについての式（１６）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０２２３】
係数メモリ１４２は、正規方程式演算部１４１が出力するクラスごとのタップ係数を記憶する。すなわち、係数メモリ１４２は、学習された予測手段を記憶する。
【０２２４】
次に、図１０のフローチャートを参照して、図９の画像処理装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０２２５】
最初に、ステップＳ１３１において、ＳＤ画像生成部１３１は、入力画像である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、差分画像生成部１３２および画像メモリ１３３に供給される。画像メモリ１３３は、ＳＤ画像を記憶する。
【０２２６】
そして、ステップＳ１３２に進み、差分画像生成部１３２は、ＳＤ画像生成部１３１から供給されたＳＤ画像の画素値の差を求めて、差分値からなる、生徒画像である差分画像を生成する。差分画像は、画像メモリ１３３に供給され、画像メモリ１３３は、差分画像を記憶し、手続は、ステップＳ１３３に進む。
【０２２７】
ステップＳ１３３において、クラスタップ抽出部１３４は、図５のクラスタップ抽出部１０２における場合と同様に、教師データとしてのＨＤ画像の画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、注目画素に対応する差分画像のクラスタップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から生成すると共に、ＳＤ画像のクラスタップを画像メモリ１３３に記憶されているＳＤ画像から生成し、生成した差分画像のクラスタップおよびＳＤ画像のクラスタップを特徴量演算部１３５に供給して、ステップＳ１３４に進む。
【０２２８】
ステップＳ１３４において、特徴量演算部１３５は、図５の特徴量演算部１０３における場合と同様に、複数の周辺画素である、差分画像のクラスタップおよびＳＤ画像のクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１３６に供給し、ステップＳ１３５に進む。
【０２２９】
また、ステップＳ１３４において、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。さらに、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。
【０２３０】
ステップＳ１３５では、クラス分類部１３６が、図５のクラス分類部１０４における場合と同様にして、クラスタップ抽出部１３４からのクラスタップ、および特徴量演算部１３５からの特徴量を用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ１４０に供給して、ステップＳ１３６に進む。
【０２３１】
ステップＳ１３６において、予測タップ抽出部１３７は、クラス分類部１３６から供給されるクラスコードに基づいて、図５の予測タップ抽出部１０６における場合と同様に、注目画素に対応する予測タップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から抽出して生成し、足し込み演算部１３８に供給して、ステップＳ１３７に進む。
【０２３２】
ステップＳ１３７において、教師画素抽出部１３９は、注目画素、すなわち教師画素（教師データ）であるＨＤ画素を入力画像から抽出し、抽出した教師データを足し込み演算部１３８に供給し、ステップＳ１３８に進む。
【０２３３】
ステップＳ１３８では、足し込み演算部１３８が、分類されたクラス毎に、予測タップ抽出部１３７から供給される予測タップ（生徒データ）、および教師画素抽出部１３９から供給される教師データを対象とした、上述した式（１６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ１４０に記憶させ、ステップＳ１３９に進む。
【０２３４】
そして、ステップＳ１３９では、クラスタップ抽出部１３４は、教師データとしてのＨＤ画像データの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ１３９において、教師データの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１３３に戻り、以下、同様の処理が繰り返される。
【０２３５】
また、ステップＳ１３９において、教師データの画素の中に、注目画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ１４０に進み、正規方程式演算部１４１は、いままでのステップＳ１３８における足し込みによって、クラスごとに得られた式（１６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１４０から読み出し、読み出した式（１６）の正規方程式を解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ１４２に供給して記憶させ、ステップＳ１４１に進む。
【０２３６】
すなわち、ステップＳ１３８およびステップ１４０において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段が学習される。
【０２３７】
ステップＳ１４１において、正規方程式演算部１４１は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ１４０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０２３８】
ステップＳ１４１において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ１４２は、全クラスのタップ係数を記憶し、すなわち、学習された予測手段を記憶して、処理は終了する。
【０２３９】
以上のようにして、係数メモリ１４２に記憶されたクラスごとのタップ係数が、図５の画像処理装置における係数メモリ１０５に記憶されている。
【０２４０】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、正規方程式演算部１４１において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【０２４１】
このように、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０２４２】
また、タップ係数の学習の生徒となる、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、タップ係数の学習の教師となる、第２の画像（出力画像）の画素のうちの注目している注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、学習の生徒となる、差分画像から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、差分画像から生成し、注目画素と予測タップとを用い、第２の画像と差分画像との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０２４３】
図１１は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【０２４４】
この画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、ＨＤ画像が出力されるようになっている。
【０２４５】
即ち、この画像処理装置は、クラスタップ抽出部１５１、特徴量演算部１５２、クラス分類部１５３、係数メモリ１５４、予測タップ抽出部１５５、差分算出部１５６、および画素値演算部１５７から構成される。
【０２４６】
画像処理装置には、空間解像度の創造の対象となるＳＤ画像が入力される。ＳＤ画像である入力画像は、クラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５に供給される。
【０２４７】
クラスタップ抽出部１５１は、クラス分類適応処理により求めようとするＨＤ画像のＨＤ画素（サンプル）を、順次、注目画素とする。そして、クラスタップ抽出部１５１は、ＳＤ画像である入力画像から、クラスタップを抽出して特徴量演算部１５２に供給する。すなわち、クラスタップ抽出部１５１は、注目画素に対する複数の周辺画素である、ＳＤ画像のＳＤ画素を抽出して、ＳＤ画素からなるクラスタップを特徴量演算部１５２に供給する。
【０２４８】
例えば、クラスタップ抽出部１５１は、図７で示されるように、注目画素ｙ^（１）について、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）を、入力画像から抽出することによりクラスタップとする。
【０２４９】
特徴量演算部１５２は、クラスタップ抽出部１５１により抽出された複数の周辺画素、すなわち、クラスタップに基づいて、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。換言すれば、特徴量演算部１５２は、クラスタップから特徴量を演算して、演算した特徴量をクラス分類部１５３に供給する。
【０２５０】
例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、周辺画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１５３に供給する。また、例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化（アクティビティ）を演算して、演算した画素値の変化を特徴量としてクラス分類部１５３に供給する。
【０２５１】
さらに、例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、注目画素の位置から空間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的な変化の傾きを演算して、演算した画素値の変化の傾きを特徴量としてクラス分類部１５３に供給する。
【０２５２】
このように、特徴量演算部１５２は、クラスタップに基づいて、例えば、上述した演算により、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。
【０２５３】
さらに、特徴量演算部１５２は、特徴量とは別に、クラスタップをそのままクラス分類部１５３に供給する。
【０２５４】
なお、特徴量として、クラスタップの、ラプラシアン、ソーベル、または分散などを採用することができる。
【０２５５】
さらにまた、特徴量演算部１５２は、入力画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。例えば、特徴量演算部１５２は、入力画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１５３に供給する。
【０２５６】
クラス分類部１５３は、クラスタップおよび特徴量演算部１５２からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１５４と予測タップ抽出部１５５とに供給する。
【０２５７】
例えば、クラス分類部１５３は、入力画像のクラスタップを、１ビットＡＤＲＣ処理し、その結果得られるＡＤＲＣコードを、クラスコードとする。
【０２５８】
また、例えば、クラス分類部１５３は、特徴量演算部１５２からの特徴量を、そのままクラスコードとする。例えば、クラス分類部１５３は、特徴量演算部１５２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０２５９】
さらに例えば、クラス分類部１５３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１５４と予測タップ抽出部１５５とに供給する。
【０２６０】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか１つを、最終的なクラスコードとするようにしてもよい。
【０２６１】
このように、クラス分類部１５３から出力されるクラスコードは、注目画素の周辺の、複数の周辺画素の特徴量を示している。
【０２６２】
係数メモリ１５４は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となる差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１５４は、クラス分類部１５３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部１５７に供給する。なお、係数メモリ１５４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０２６３】
予測タップ抽出部１５５は、注目画素に対応する、入力画像内の複数の周辺画素を抽出する。
【０２６４】
すなわち、予測タップ抽出部１５５は、クラス分類部１５３から供給されるクラスコードを基に、画素値演算部１５７において注目画素（の予測値）を求めるのに用いる予測タップを、入力画像から抽出して生成し、生成した予測タップを差分算出部１５６に供給する。
【０２６５】
例えば、予測タップ抽出部１５５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素の画素値を抽出することにより予測タップとし、差分算出部１５６に供給する。予測タップ抽出部１５５は、図７で示されるように、注目画素ｙ^（１）について、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）を、入力画像から抽出することにより予測タップとする。
【０２６６】
なお、クラスタップとする画素と、予測タップとする画素とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。
【０２６７】
また、予測タップとする画素は、クラス毎に異なるものであっても、同一であってもよい。
【０２６８】
なお、クラスタップや予測タップのタップ構造は、図７に示した、４×３個のＳＤ画素に限定されるものではない。
【０２６９】
差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップについて、差分値を算出し、算出した差分値を画素値演算部１５７に供給する。
【０２７０】
例えば、差分算出部１５６は、予測タップ抽出部１５５から供給された、図７で示される、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）からなる予測タップから、差分値ｄ^（１）乃至ｄ^（９）を算出し、算出した差分値ｄ^（１）乃至ｄ^（９）を画素値演算部１５７に供給する。
【０２７１】
画素値演算部１５７は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から注目画素を予測する。
【０２７２】
より詳しく説明すれば、画素値演算部１５７は、係数メモリ１５４から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１５５からの予測タップの差分値ｄ_１，ｄ_２，・・・とを用いて、注目画素ｙ（の予測値）を演算し、これを、ＨＤ画素の画素値とする。画素値演算部１５７は、このように演算された画素値からなるＨＤ画像を出力画像として出力する。
【０２７３】
すなわち、本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、ＨＤ画像に変換される。
【０２７４】
画素値演算部１５７は、画素値演算部１０７と同様の処理を実行するので、詳細な説明は省略する。
【０２７５】
次に、図１２のフローチャートを参照して、図１１の画像処理装置が行う、ＳＤ画像からＨＤ画像を創造する画像処理について説明する。
【０２７６】
ステップＳ１５１において、クラスタップ抽出部１５１は、注目画素の位置に空間的または時間的に近い（注目画素の周辺の）複数の画素を入力画像からクラスタップとして抽出して、入力画像の画素からなるクラスタップを生成する。クラスタップは、特徴量演算部１５２およびクラス分類部１５３に供給され、手続は、ステップＳ１５２に進む。ステップＳ１５２において、特徴量演算部１５２は、クラスタップから特徴量を演算して、演算された特徴量をクラス分類部１５３に供給し、ステップＳ１５３に進む。また、ステップＳ１５２において、特徴量演算部１５２は、入力画像から特徴量を演算して、演算された特徴量をクラス分類部１５３に供給する。
【０２７７】
ステップＳ１５３において、クラス分類部１５３は、クラスタップまたは特徴量演算部１５２から供給される特徴量に基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１５４および予測タップ抽出部１５５に供給して、ステップＳ１５４に進む。
【０２７８】
ステップＳ１５４において、予測タップ抽出部１５５は、クラス分類部１５３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、差分算出部１５６に供給され、手続は、ステップＳ１５５に進む。
【０２７９】
ステップＳ１５５において、差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップから、図７を参照して説明したように、差分値を求め、求めた差分値を画素値演算部１５７に供給し、手続きは、ステップＳ１５６に進む。
【０２８０】
ステップＳ１５６において、係数メモリ１５４は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、タップ係数を画素値演算部１５７に供給し、ステップＳ１５７に進む。
【０２８１】
ステップＳ１５７において、画素値演算部１５７は、特徴量に基づいて、抽出された複数の周辺画素同士の差分値から、注目画素（の予測値）を算出して、ステップＳ１５８に進む。即ち、ステップＳ１５７では、画素値演算部１５７は、差分算出部１５６からの予測タップの差分値と、係数メモリ１５４からのタップ係数とを用いて、式（９）で示される演算を行い、注目画素（の予測値）を求める。
【０２８２】
ステップＳ１５８において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１５１に戻り、以下、同様の処理を繰り返す。
【０２８３】
また、ステップＳ１５８において、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、予測された場合、処理は終了する。
【０２８４】
このように、図１１で構成が示される画像処理装置は、ＳＤ画像である入力画像から、ＨＤ画像を生成して、生成したＨＤ画像を出力することができる。
【０２８５】
次に、図１３は、図１１の係数メモリ１５４に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０２８６】
図１３の画像処理装置には、タップ係数の学習用の画像データとしての、例えばＨＤ画像が入力される。画像処理装置に入力されたＨＤ画像は、ＳＤ画像生成部１７１および教師画素抽出部１７９に供給される。
【０２８７】
ＳＤ画像生成部１７１は、入力された教師画像から、ＳＤ画像を生成し、画像メモリ１７２に供給する。ＳＤ画像生成部１７１は、例えば、教師画像としてのＨＤ画像データの画素を間引く、またはＨＤ画像データの４つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その教師画像としてのＨＤ画像に対応したＳＤ画像を生成する。ここで、ＳＤ画像は、図１１の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。
【０２８８】
ＳＤ画像生成部１７１は、上述のようにして、教師画像に対応するＳＤ画像（教師画像から生成されたＳＤ画像）を生成すると、そのＳＤ画像を画像メモリ１７２に供給する。
【０２８９】
画像メモリ１７２は、ＳＤ画像生成部１７１から供給されたＳＤ画像を一時記憶する。
【０２９０】
クラスタップ抽出部１７３は、画像メモリ１７２に記憶されているＳＤ画像に対応する教師画像としてのＨＤ画像に含まれる画素を、図１１のクラスタップ抽出部１５１における場合と同様に、順次、注目画素とする。
【０２９１】
さらに、クラスタップ抽出部１７３は、注目画素に対応する、ＳＤ画像内の周辺画素を抽出する。すなわち、クラスタップ抽出部１７３は、注目画素についてのクラスタップを、画像メモリ１７２に記憶されたＳＤ画像から抽出して生成し、特徴量演算部１７４に供給する。ここで、クラスタップ抽出部１７３は、図１１のクラスタップ抽出部１５１が生成するのと同一のタップ構造のクラスタップを生成する。
【０２９２】
例えば、クラスタップ抽出部１７３は、注目画素ｙ^（１）について、図７で示される、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）を、画像メモリ１７２に記憶されたＳＤ画像から抽出することによりクラスタップとする。
【０２９３】
特徴量演算部１７４は、クラスタップ抽出部１７３により抽出された複数の周辺画素に基づいて、注目画素の特徴量を検出する。すなわち、特徴量演算部１７４は、特徴量演算部１５２と同様の処理で、クラスタップから特徴量を演算して、演算した特徴量をクラス分類部１７５に供給する。
【０２９４】
例えば、特徴量演算部１７４は、クラスタップを基に、注目画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１７５に供給する。また、例えば、特徴量演算部１７４は、クラスタップを基に、注目画素の位置から空間的または時間的に近い位置にあるＳＤ画像の複数の画素（注目画素の周辺画素）の画素値の空間的または時間的な変化を演算して、演算した画素値の変化を特徴量としてクラス分類部１７５に供給する。
【０２９５】
なお、特徴量演算部１７４は、特徴量演算部１５２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０２９６】
特徴量演算部１７４は、クラスタップすなわち複数の周辺画素を基に、検出された注目画素の特徴量をクラス分類部１７５に供給する。また、特徴量演算部１７４は、クラスタップをクラス分類部１７５に供給する。
【０２９７】
さらにまた、特徴量演算部１７４は、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。例えば、特徴量演算部１７４は、画像メモリ１７２に記憶されているＳＤ画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１７５に供給する。
【０２９８】
クラス分類部１７５は、図１１のクラス分類部１５３と同様に構成され、クラスタップまたは特徴量演算部１７４からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ１８０に供給する。
【０２９９】
予測タップ抽出部１７６は、クラス分類部１７５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１７２に記憶されたＳＤ画像から抽出して生成し、差分算出部１７７に供給する。ここで、予測タップ抽出部１７６は、図１１の予測タップ抽出部１５５が生成するのと同一のタップ構造の予測タップを生成する。
【０３００】
例えば、予測タップ抽出部１７６は、図７で示されるように、注目画素ｙ^（１）について、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）を、画像メモリ１７２に記憶されたＳＤ画像から抽出することにより予測タップとする。
【０３０１】
差分算出部１７７は、差分算出部１５６と同様の処理で、予測タップ抽出部１７６から供給された予測タップについて、差分値を算出し、算出した差分値を足し込み演算部１７８に供給する。例えば、差分算出部１７７は、予測タップ抽出部１７６から供給された、図７で示される、横×縦が４×３個のＳＤ画素ｘ^（１）乃至ＳＤ画素ｘ^（１２）からなる予測タップから、差分値ｄ^（１）乃至ｄ^（９）を算出し、算出した差分値ｄ^（１）乃至ｄ^（９）を足し込み演算部１７８に供給する。
【０３０２】
従って、足し込み演算部１７８には、足し込み演算部１３８に供給される予測タップと同様の差分値が供給されることになる。
【０３０３】
教師画素抽出部１７９は、教師画像である入力画像から、注目している画素を教師データとして抽出して、抽出した教師データを足し込み演算部１７８に供給する。例えば、教師画素抽出部１７９は、教師画像である入力画像から、注目画素ｙ^（１）を教師データとして抽出して、抽出した教師データを足し込み演算部１７８に供給する。
【０３０４】
即ち、教師画素抽出部１７９は、入力された学習用の画像データであるＨＤ画像を、例えば、そのまま教師データとする。ここで、図１１の画像処理装置で得られるＨＤ画像は、図１３の画像処理装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０３０５】
足し込み演算部１７８および正規方程式演算部１８１は、注目画素となっている教師データと、差分算出部１７７から供給される予測タップの差分値となっている生徒データとを用い、教師データと生徒データとの関係を、クラス分類部１７５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。換言すれば、足し込み演算部１７８および正規方程式演算部１８１は、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する。
【０３０６】
この場合、予測手段は、複数の周辺画素同士の差分値から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値演算部１５７、または画素値演算部１５７における処理を言う。複数の周辺画素同士の差分値から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０３０７】
従って、複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値演算部１５７、または画素値演算部１５７における処理が具体的に特定され、画素値演算部１５７を実現し、または画素値演算部１５７における処理を実行することができるようになるからである。
【０３０８】
即ち、足し込み演算部１７８は、足し込み演算部１３８と同様の処理で、差分算出部１７７から供給される予測タップの差分値と、教師画素抽出部１７９から供給される、注目画素となっている教師データであるＨＤ画素とを対象とした、式（１６）の足し込みを行う。
【０３０９】
学習メモリ１８０は、足し込み演算部１７８から供給された、生徒データとして差分値、および教師データとしてＨＤ画素が足し込まれた、式（１６）に対応した正規方程式を記憶する。
【０３１０】
正規方程式演算部１８１は、学習メモリ１８０から、各クラスについての式（１６）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０３１１】
係数メモリ１８２は、正規方程式演算部１８１が出力するクラスごとのタップ係数を記憶する。すなわち、係数メモリ１８２は、学習された予測手段を記憶する。
【０３１２】
次に、図１４のフローチャートを参照して、図１３の画像処理装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０３１３】
最初に、ステップＳ１７１において、ＳＤ画像生成部１７１は、入力画像である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、画像メモリ１７２に供給される。
【０３１４】
ステップＳ１７２において、クラスタップ抽出部１７３は、図１１のクラスタップ抽出部１５１における場合と同様に、教師データとしてのＨＤ画像の画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、注目画素に対応する、複数の周辺画素をＳＤ画像から抽出することによって、クラスタップを画像メモリ１７２に記憶されているＳＤ画像から生成し、生成したクラスタップを特徴量演算部１７４に供給して、ステップＳ１７３に進む。
【０３１５】
ステップＳ１７３において、特徴量演算部１７４は、図１１の特徴量演算部１５２における場合と同様に、複数の周辺画素であるクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１７５に供給し、ステップＳ１７４に進む。また、ステップＳ１７３において、特徴量演算部１７４は、図１１の特徴量演算部１５２における場合と同様に、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。
【０３１６】
ステップＳ１７４では、クラス分類部１７５が、図１１のクラス分類部１５３における場合と同様にして、クラスタップ抽出部１７３からのクラスタップ、および特徴量演算部１７４からの特徴量を用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ１８０に供給して、ステップＳ１７５に進む。
【０３１７】
ステップＳ１７５において、予測タップ抽出部１７６は、クラス分類部１７５から供給されるクラスコードに基づいて、図１１の予測タップ抽出部１５５における場合と同様に、注目画素に対応する予測タップを、画像メモリ１７２に記憶されているＳＤ画像から抽出して生成し、差分算出部１７７に供給して、ステップＳ１７６に進む。
【０３１８】
ステップＳ１７６において、差分算出部１７７は、予測タップ抽出部１７６から供給された予測タップに含まれる画素の画素値の差を算出し、差分値を求める。算出された差分値は、足し込み演算部１７８に供給され、手続は、ステップＳ１７７に進む。
【０３１９】
ステップＳ１７７において、教師画素抽出部１７９は、注目画素、すなわち教師画素（教師データ）であるＨＤ画素を入力画像から抽出し、抽出した教師データを足し込み演算部１７８に供給し、ステップＳ１７８に進む。
【０３２０】
ステップＳ１７８では、足し込み演算部１７８が、分類されたクラス毎に、差分算出部１７７から供給される予測タップの差分値、および教師画素抽出部１７９から供給される教師データを対象とした、上述した式（１６）における足し込みを行い、生徒データである差分値および教師データが足し込まれた正規方程式を学習メモリ１８０に記憶させ、ステップＳ１７９に進む。
【０３２１】
そして、ステップＳ１７９では、クラスタップ抽出部１７３は、教師データとしてのＨＤ画像データの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ１７９において、教師データの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１７２に戻り、以下、同様の処理が繰り返される。
【０３２２】
また、ステップＳ１７９において、教師データの画素の中に、注目画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ１８０に進み、正規方程式演算部１８１は、いままでのステップＳ１７８における足し込みによって、クラスごとに得られた式（１６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１８０から読み出し、読み出した式（１６）の正規方程式を解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ１８２に供給して記憶させ、ステップＳ１８１に進む。
【０３２３】
すなわち、ステップＳ１７８およびステップ１８０において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段が学習される。
【０３２４】
ステップＳ１８１において、正規方程式演算部１８１は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ１８０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０３２５】
ステップＳ１８１において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ１８２は、全クラスのタップ係数を記憶し、すなわち、学習された予測手段を記憶して、処理は終了する。
【０３２６】
以上のようにして、係数メモリ１８２に記憶されたクラスごとのタップ係数が、図１１の画像処理装置における係数メモリ１５４に記憶されている。
【０３２７】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０３２８】
また、第２の画像（出力画像）の注目している画素である注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、第１の画像（入力画像）から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、第１の画像（入力画像）から生成し、予測タップの差分を算出し、学習の教師となる、第２の画像に対応する教師データと、学習の生徒となる、予測タップの差分に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップの差分とを用いて、注目画素を演算し、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０３２９】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０３３０】
また、タップ係数の学習の教師となる、第２の画像（出力画像）の画素のうちの注目している注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、第１の画像（入力画像）から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、第１の画像（入力画像）から生成し、予測タップの差分を算出し、注目画素と予測タップの差分とを用い、第２の画像と差分との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０３３１】
図１５は、本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。
【０３３２】
図１５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が適用されることにより、１つのフレーム当たり水平方向に２倍の数の画素を配置した、空間方向により高解像度の画像（以下、適宜、水平倍密画像と称する）の差分画像が創造される。そして、創造された水平倍密画像の差分画像から、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０３３３】
なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図１５の画像処理装置は、画素値算出部２０３が新たに設けられ、入力画像が差分画像生成部１０１と共に画素値算出部２０３に供給され、図５における係数メモリ１０５および画素値演算部１０７に代えて、係数メモリ２０１および差分演算部２０２が設けられている他は、図５における場合と同様に構成されている。
【０３３４】
係数メモリ２０１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２０１は、クラス分類部１０４から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２０２に供給する。
【０３３５】
差分演算部２０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である予測タップから、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０３３６】
より具体的に説明すると、差分演算部２０２は、係数メモリ２０１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ_１，ｄ_２，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算し、これを、水平倍密画像の画素値の差分値とする。差分演算部２０２は、このよう演算された差分値からなる差分画像を画素値算出部２０３に供給する。
【０３３７】
すなわち、差分演算部２０２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の画素値の差分値に変換される。
【０３３８】
このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、水平倍密画像の画素値の差分値Ｄは、差分画像を構成する差分値から、水平倍密画像の画素値の差分値を予測するための予測タップとして抽出される複数の差分値と、タップ係数とを用いて、式（１７）の線形１次式（線形結合）によって求められる。
【数１７】

【０３３９】
但し、式（１７）において、ｄ_ｎは、水平倍密画像の画素値の差分値Ｄについての予測タップを構成する、ｎ番目の差分画像の差分値を表し、ｗ_ｎは、ｎ番目の差分値と乗算されるｎ番目のタップ係数を表す。なお、式（１７）では、予測タップが、Ｎ個の差分値ｄ_１，ｄ_２，・・・，ｄ_Ｎで構成されるものとしてある。
【０３４０】
ここで、水平倍密画像の画素値の差分値Ｄは、式（１７）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０３４１】
画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０３４２】
すなわち、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像との関係により、ＳＤ画像に対して、水平倍密画像の画素値を算出して、算出により得られた水平倍密画像を出力する。
【０３４３】
ＳＤ画像が空間的に積分されることに基づく水平倍密画像との関係、およびこの関係に基づく画素値算出部２０３の算出の処理の詳細は、後述する。
【０３４４】
図１６は、図１５で示される画像処理装置に入力されるＳＤ画像と、ＳＤ画像の差分画像と、生成される水平倍密画像の差分画像と、画像処理装置から出力される水平倍密画像との関係を説明する図である。
【０３４５】
図１６において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が水平倍密画像を構成する水平倍密画素を表している。また、図１６では、水平倍密画像は、水平方向の画素数が、ＳＤ画像の２倍の画像になっている。水平倍密画像における、垂直方向の画素数は、ＳＤ画像と同じである。
【０３４６】
また、図１６において、△印は、ＳＤ画像に対応する差分画像を構成する差分値を表す。図１６において、□印は、水平倍密画像に対応する差分画像を構成する差分値を表す。
【０３４７】
図１５で示される画像処理装置のクラスタップ抽出部１０２は、注目画素について、例えば、図１６で示されるように、その注目画素の位置から近い横×縦が４×３個の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０３４８】
図１６において、水平倍密画像の注目画素に対応する注目している差分値をＤで表す。図１６において、水平倍密画像の注目している差分値に対応する、空間方向に隣接する（空間的に近接する）、水平倍密画像の２つの画素を、ｙ^（１）またはｙ^（２）と表す。ここで、ｙ^（１）は、第１の注目画素の一例であり、ｙ^（２）は、第２の注目画素の一例である。
【０３４９】
すなわち、水平倍密画像の注目している差分値Ｄは、水平倍密画像の第１の注目画素の画素値ｙ^（１）と、第２の注目画素の画素値ｙ^（２）との差分値である。水平倍密画像の注目している差分値Ｄ、並びに水平倍密画像の画素値ｙ^（１）およびｙ^（２）の間には、Ｄ＝ｙ^（２）−ｙ^（１）の関係がある。
【０３５０】
また、図１６において、差分画像のクラスタップを構成する４×３個の差分値のうちの、第１行第１列、第１行第２列、第１行第３列、第１行第４列、第２行第１列、第２行第２列、第２行第３列、第２行第４列、第３行第１列、第３行第２列、第３行第３列、第３行第４列の差分値を、それぞれｄ^（１），ｄ^（２），ｄ^（３），ｄ^（４），ｄ^（５），ｄ^（６），ｄ^（７），ｄ^（８），ｄ^（９），ｄ^（１０），ｄ^（１１），ｄ^（１２）と表す。差分値ｄ^（１），ｄ^（２），ｄ^（３），ｄ^（４），ｄ^（５），ｄ^（６），ｄ^（７），ｄ^（８），ｄ^（９），ｄ^（１０），ｄ^（１１），ｄ^（１２）の右側に位置するＳＤ画素を、それぞれ、ｘ^（２），ｘ^（３），ｘ^（４），ｘ^（５），ｘ^（７），ｘ^（８），ｘ^（９），ｘ^（１０），ｘ^（１２），ｘ^（１３），ｘ^（１４），ｘ^（１５）と表す。差分値ｄ^（１）の左側のＳＤ画素を、ｘ^（１）で表し、差分値ｄ^（５）の左側のＳＤ画素を、ｘ^（６）で表し、差分値ｄ^（９）の左側のＳＤ画素を、ｘ^（１１）で表す。
【０３５１】
なお、ｙまたはｘは、画素を示すと共に、その画素値を示す。以下、同様である。
【０３５２】
図１６で示される場合において、差分値ｄ^（１）は、ＳＤ画素ｘ^（２）からＳＤ画素ｘ^（１）を減算した値であり、差分値ｄ^（２）は、ＳＤ画素ｘ^（３）からＳＤ画素ｘ^（２）を減算した値であり、差分値ｄ^（３）は、ＳＤ画素ｘ^（４）からＳＤ画素ｘ^（３）を減算した値であり、差分値ｄ^（４）は、ＳＤ画素ｘ^（５）からＳＤ画素ｘ^（４）を減算した値である。
【０３５３】
また、図１６で示される場合において、差分値ｄ^（５）は、ＳＤ画素ｘ^（７）からＳＤ画素ｘ^（６）を減算した値であり、差分値ｄ^（６）は、ＳＤ画素ｘ^（８）からＳＤ画素ｘ^（７）を減算した値であり、差分値ｄ^（７）は、ＳＤ画素ｘ^（９）からＳＤ画素ｘ^（８）を減算した値であり、差分値ｄ^（８）は、ＳＤ画素ｘ^（１０）からＳＤ画素ｘ^（９）を減算した値である。
【０３５４】
同様に、図１６で示される場合において、差分値ｄ^（９）は、ＳＤ画素ｘ^（１２）からＳＤ画素ｘ^（１１）を減算した値であり、差分値ｄ^（１０）は、ＳＤ画素ｘ^（１３）からＳＤ画素ｘ^（１２）を減算した値であり、差分値ｄ^（１１）は、ＳＤ画素ｘ^（１４）からＳＤ画素ｘ^（１３）を減算した値であり、差分値ｄ^（１２）は、ＳＤ画素ｘ^（１５）からＳＤ画素ｘ^（１４）を減算した値である。
【０３５５】
すなわち、差分値ｄ^（１）乃至ｄ^（１２）は、空間方向に隣接するＳＤ画素の画素値の差分値からなる。
【０３５６】
例えば、クラスタップ抽出部１０２は、注目している第１の注目画素について、図１６で示される、４×３個の差分値ｄ^（１）乃至差分値ｄ^（１２）を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０３５７】
例えば、クラスタップ抽出部１０２は、注目している第１の注目画素について、図１６で示される、３×３個のＳＤ画素ｘ^（２）乃至ＳＤ画素ｘ^（４）、ＳＤ画素ｘ^（７）乃至ＳＤ画素ｘ^（９）、およびＳＤ画素ｘ^（１２）乃至ＳＤ画素ｘ^（１４）を、差分画像生成部１０１に記憶されたＳＤ画像から抽出することによりＳＤ画像のクラスタップとする。
【０３５８】
例えば、予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードに基づき、第１の注目画素について、図１６で示される、４×３個の差分値ｄ^（１）乃至差分値ｄ^（１２）を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとする。
【０３５９】
例えば、差分演算部２０２は、係数メモリ２０１から供給される、第１の注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・，ｗ_１２と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ^（１），ｄ^（２），・・・，ｄ^（１２）とを用いて、式（１７）により、注目している差分値Ｄ（の予測値）を求め、これを、水平倍密画像の画素値の差分値とする。差分演算部２０２は、このよう演算された差分値からなる差分画像を画素値算出部２０３に供給する。
【０３６０】
次に、図１７乃至図２０を参照して、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係を説明する。
【０３６１】
まず、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサにおける、撮像された画像の画素の空間的な積分効果について説明する。
【０３６２】
イメージセンサは、現実世界のオブジェクトを撮像し、撮像の結果得られた画像を１フレーム単位で出力する。例えば、イメージセンサは、１秒間に３０フレームから成る画像を出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【０３６３】
図１７は、イメージセンサ上の画素の配置を説明する図である。図１７中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【０３６４】
図１８で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面に入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、受光面の全体に入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、受光面の全体に入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【０３６５】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、イメージセンサから出力される個々の画素値は、現実世界のオブジェクトの時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の空間方向について積分した結果である、１次元の空間に射影された値を有する。
【０３６６】
図１９は、図１７に対応する、ＣＣＤであるイメージセンサに設けられている画素の配置、および水平倍密画像の画素データに対応する領域を説明する図である。図１９中において、Ａ乃至Ｉは、個々の画素を示す。領域ａ乃至ｒは、画素Ａ乃至Ｉの個々の画素を縦に半分にした受光領域である。画素Ａ乃至Ｉの受光領域の幅が、２Ｌであるとき、領域ａ乃至ｒの幅は、Ｌである。図１５で構成が示される画像処理装置は、領域ａ乃至ｒに対応する画素データの画素値を算出する。
【０３６７】
図２０は、領域ｇ乃至領域ｌに入力される光に対応する画素データを説明する図である。図２０のｆ（ｘ）は、入力される光および空間的な微少区間に対応する、空間的に見て理想的な画素値を示す。
【０３６８】
１つの画素データの画素値が、理想的な画素値ｆ（ｘ）の一様な積分で表されるとすれば、領域ｉに対応する画素データの画素値Ｙ１は、式（１８）で表され、領域ｊに対応する画素データの画素値Ｙ２は、式（１９）で表され、画素Ｅの画素値Ｙ３は、式（２０）で表される。
【数１８】

【０３６９】
【数１９】

【０３７０】
【数２０】

【０３７１】
式（１８）乃至式（２０）において、ｘ１，ｘ２、およびｘ３は、画素Ｅの受光領域、領域ｉ、および領域ｊのそれぞれの境界の空間座標である。
【０３７２】
式（２０）における、Ｙ３は、上述したＳＤ画素ｘに対応する。また、式（１８）乃至式（２０）における、Ｙ１およびＹ２は、それぞれ、図１５の画像処理装置が求めようとする、ＳＤ画像に対する水平倍密画像の画素値に対応する。
【０３７３】
Ｙ３をｘに、Ｙ１をｙ^（１）に、Ｙ２をｙ^（２）にそれぞれ置き換えると、式（２０）から、式（２１）を導くことができる。
ｘ＝（ｙ^（１）＋ｙ^（２））／２ ・・・（２１）
【０３７４】
式（２１）を、ｙ^（２）について変形すると、式（２２）が得られる。
ｙ^（１）＝２ｘ−ｙ^（２） ・・・（２２）
【０３７５】
ｙ^（１）とｙ^（２）の差をＤ、すなわちＤ＝ｙ^（２）−ｙ^（１）とすれば、ｙ^（１）は、式（２３）で表すことができる。
ｙ^（１）＝ｙ^（２）−Ｄ ・・・（２３）
【０３７６】
式（２３）を式（２２）の左辺に代入すると、式（２４）で示されるように、ｙ^（２）は、ｘおよびＤから算出できることがわかる。
ｙ^（２）＝（２ｘ＋Ｄ）／２ ・・・（２４）
【０３７７】
同様に、式（２５）で示されるように、ｙ^（１）は、ｘおよびＤから算出できる。
ｙ^（１）＝（２ｘ−Ｄ）／２ ・・・（２５）
【０３７８】
画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。すなわち、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像の差分値Ｄ、およびＳＤ画像である入力画像の画素値ｘに、ＳＤ画像が空間的に積分されることによる関係に基づく演算、すなわち、式（２４）を適用して、第２の注目画素の画素値である、水平倍密画像の画素値ｙ^（２）を算出する。また、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像の差分値Ｄ、およびＳＤ画像である入力画像の画素ｘに、式（２５）を適用して、第１の注目画素の画素値である、水平倍密画像の画素値ｙ^（１）を算出する。
【０３７９】
図２１は、水平倍密画像の差分画像の差分値と、水平倍密画像の画素値との関係の一例を説明する図である。
【０３８０】
図２１において、横方向は、空間方向Ｘを示し、縦方向は、空間方向Ｙを示す。また、図２１において、四角（マス目）は、入力画像の画素を示し、ｘ０乃至ｘ１４は、入力画像の各画素の画素値を示す。
【０３８１】
図２１において、ｄ０乃至ｄ１２は、入力画像の差分値を示す。なお、ｄ０乃至ｄ１２の差分値は、図６の場合と同様であるので、その説明は省略する。
【０３８２】
図２１において、水平倍密画像の差分画像の注目している差分値Ｄは、入力画像の画素値ｘ７を有する画素に対応する、受光領域の幅を１／２とした水平倍密画像の画素値の差分値である。
【０３８３】
図２１において、斜線で示す部分は、１つのオブジェクト（前景のオブジェクト）が撮像された領域を示し、白い部分は、背景が撮像された領域を示す。
【０３８４】
すなわち、入力画像の画素値ｘ３，ｘ４，ｘ８，ｘ９，およびｘ１４は、オブジェクトのみに対応する画素値を有する。入力画像の画素値ｘ０，ｘ５，ｘ６，ｘ１０，およびｘ１１は、背景のみに対応する画素値を有する。入力画像の画素値ｘ１，ｘ７，ｘ１２，およびｘ１３は、オブジェクトおよび背景に対応する画素値を有する。
【０３８５】
画素値ｘ７に対応するイメージセンサの画素は、そのほぼ半分の領域において、オブジェクトを撮像し、他のほぼ半分の領域において、背景を撮像したので、画素値ｘ７には、イメージセンサの積分効果により、イメージセンサの画素の半分の領域で撮像されたオブジェクトに対応する画像の成分と、イメージセンサの画素の他の半分の領域で撮像された背景に対応する画像の成分とが含まれる。
【０３８６】
言い換えれば、画素値ｘ７には、ほぼ同じ量の、オブジェクトに対応する画像の成分および背景に対応する画像の成分が含まれていると言える。ここで言う「同じ量」とは、「同じ面積の領域で取得された」という意味である。同じ量の画像の成分が同じ値（画素値）であるとは限らない。
【０３８７】
ここで、画素値ｘ７を有する画素を縦に半分にした受光領域について考える。
【０３８８】
画素値ｘ７を有する画素を縦に半分にした受光領域に対応する、水平倍密画像の２つの画素のうち、右側の画素は、オブジェクトに対応する画像の成分でほぼ占められ、左側の画素は、背景に対応する画像の成分でほぼ占められる。
【０３８９】
従って、図２１で示される差分値Ｄは、入力画像の画素値ｘ７を有する画素に含まれる、オブジェクトに対応する画像の成分と、背景の画像の成分との差分にほぼ等しい。
【０３９０】
画素値算出部２０３は、入力画像の画素値ｘ７を有する画素に含まれる、オブジェクトに対応する画像の成分と、背景の画像の成分との差分にほぼ等しい差分値Ｄ、および入力画像の画素値ｘ７から、画素値ｘ７を有する画素を縦に半分にした受光領域に対応する水平倍密画像の画素であって、オブジェクトに対応する画像の成分からなる画素と、背景に対応する画像の成分からなる画素とを求める。
【０３９１】
画素値算出部２０３は、このように算出された画素値からなる水平倍密画像を出力する。
【０３９２】
なお、図１５で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０３９３】
次に、図２２のフローチャートを参照して、図１５で構成が示される画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０３９４】
ステップＳ２０１乃至ステップＳ２０５の処理は、それぞれ、図８のステップＳ１０１乃至ステップＳ１０５の処理と同様なので、その説明は省略する。
【０３９５】
ステップＳ２０６において、係数メモリ２０１は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目している注目画素のクラスのタップ係数を取得して、差分演算部２０２に供給し、ステップＳ２０７に進む。
【０３９６】
ステップＳ２０７において、差分演算部２０２は、注目している差分値（サンプル）（の予測値）を演算して、ステップＳ２０８に進む。即ち、ステップＳ２０７では、差分演算部２０２は、検出された特徴量に基づいて、予測タップ抽出部１０６により抽出された複数の周辺画素同士の差分値である、予測タップから、出力画像データ内の第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、出力画像データ内の第２の注目画素の画素値との差分値を予測する。例えば、差分演算部２０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ２０１からのタップ係数とを用いて、式（１７）の演算を行い、水平倍密画像の差分画像を構成する、注目している差分値（注目サンプル）（の予測値）を求める。
【０３９７】
ステップＳ２０８において、画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。例えば、画素値算出部２０３は、ステップＳ２０７の処理で算出された差分値、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像との関係に基づく演算、すなわち、式（２４）および式（２５）を適用して、水平倍密画像の２つの画素値を算出する。
【０３９８】
ステップＳ２０９において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、算出されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ２０１に戻り、以下、同様の処理を繰り返す。
【０３９９】
また、ステップＳ２０９において、算出されていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０４００】
このように、図１５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０４０１】
図１５で構成が示される画像処理装置においては、水平倍密画像を構成する水平倍密画素に対して半数の、差分画像の差分値を予測し、差分画像の差分値から、式（２４）または式（２５）で示される簡単な演算で、水平倍密画像の画素値を算出するようにしたので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０４０２】
次に、図２３は、図１５の係数メモリ２０１に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０４０３】
図９で示される場合と同様の部分には、同一の番号を付してあり、その説明は適宜省略する。即ち、図２３の画像処理装置は、差分画像生成部２２１が新たに設けられ、図９における足し込み演算部１３８、教師画素抽出部１３９、学習メモリ１４０、正規方程式演算部１４１、および係数メモリ１４２に代えて、足し込み演算部２２２、教師画素抽出部２２３、学習メモリ２２４、正規方程式演算部２２５、および係数メモリ２２６が設けられている他は、図９における場合と同様に構成されている。
【０４０４】
図２３の画像処理装置には、タップ係数の学習用の画像データとしての、水平倍密画像が入力される。画像処理装置に入力された水平倍密画像は、ＳＤ画像生成部１３１および差分画像生成部２２１に供給される。
【０４０５】
図２３のＳＤ画像生成部１３１は、入力された水平倍密画像から、ＳＤ画像を生成し、差分画像生成部１３２および画像メモリ１３３に供給する。ＳＤ画像生成部１３１は、例えば、水平倍密画像の水平に並ぶ２つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その水平倍密画像に対応したＳＤ画像を生成する。
【０４０６】
差分画像生成部２２１は、入力画像である水平倍密画像から、教師画像である差分画像を生成し、生成した差分画像を教師画素抽出部２２３に供給する。すなわち、差分画像生成部２２１は、左右に隣り合う２つの画素からなる組の１つに、水平倍密画像のそれぞれの画素を振り分けて、その組毎に画素値の差を算出して、差分とし、例えば、図１６で示される、水平倍密画像の画素値の差分値からなる、教師画像である差分画像を生成する。差分画像生成部２２１で生成される差分画像の差分値の数は、水平倍密画像の画素に対して半数になる。
【０４０７】
教師画素抽出部２２３は、教師画像である、水平倍密画像の差分画像から、注目している差分値である教師データを抽出して、抽出した教師データを足し込み演算部２２２に供給する。
【０４０８】
足し込み演算部２２２および正規方程式演算部２２５は、検出された特徴量毎に、予測タップ抽出部１３７により抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する。
【０４０９】
この場合、予測手段は、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される差分演算部２０２、または差分演算部２０２における処理を言う。複数の周辺画素同士の差分値から注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段の実現（構築）を可能にすることを意味する。
【０４１０】
従って、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、差分演算部２０２、または差分演算部２０２における処理が特定され、差分演算部２０２を実現し、または差分演算部２０２における処理を実行することができるようになるからである。
【０４１１】
すなわち、足し込み演算部２２２および正規方程式演算部２２５は、注目している差分値である教師データと、予測タップ抽出部１３７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１３６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０４１２】
即ち、足し込み演算部２２２は、予測タップ抽出部１３７から供給される予測タップ（差分値）と、教師画素抽出部２２３から供給される教師データである差分値とを対象とした、式（２６）の足し込みを行う。
【数２１】

【０４１３】
具体的には、足し込み演算部２２２は、予測タップを構成する生徒データとしての差分値ｄ_ｎ，ｋを用い、式（２６）の左辺の行列における差分値どうしの乗算（ｄ_ｎ，ｋｄ_ｎ’，ｋ）と、サメーション（Σ）に相当する演算を行う。
【０４１４】
さらに、足し込み演算部２２２は、予測タップを構成する生徒データとしての差分値ｄ_ｎ，ｋと、教師データである差分値Ｄ_ｋを用い、式（２６）の右辺のベクトルにおける差分値および差分値Ｄ_ｋの乗算（ｄ_ｎ，ｋＤ_ｋ）と、サメーション（Σ）に相当する演算を行う。
【０４１５】
足し込み演算部２２２は、教師データとしての、水平倍密画像の差分画像の差分値すべてを注目している差分値として、上述の足し込みを行うことにより、各クラスについて、式（２６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２２４に供給する。
【０４１６】
なお、画素値ｙを差分値Ｄに置き換えることにより、式（９）乃至式（１５）から式（１６）を導く場合と同様に、式（２６）を導くことができ、その説明は省略する。
【０４１７】
学習メモリ２２４は、足し込み演算部２２２から供給された、生徒データとして差分値、教師データとして差分値が足し込まれた、式（２６）に対応した正規方程式を記憶する。
【０４１８】
正規方程式演算部２２５は、学習メモリ２２４から、各クラスについての式（２６）の正規方程式を取得し、その正規方程式を解くことにより（学習することにより）、クラスごとのタップ係数を求めて出力する。
【０４１９】
係数メモリ２２６は、正規方程式演算部２２５が出力するクラスごとのタップ係数を記憶する。
【０４２０】
次に、図２４のフローチャートを参照して、図２３に構成を示す画像処理装置による学習の処理を説明する。
【０４２１】
ステップＳ２２１において、ＳＤ画像生成部１３１は、入力画像（水平倍密画像）である学習用の画像データを取得し、ＳＤ画像を生成する。ＳＤ画像は、差分画像生成部１３２に供給され、手続は、ステップＳ２２２に進む。
【０４２２】
ステップＳ２２２に進み、差分画像生成部１３２は、ＳＤ画像生成部１３１から供給されたＳＤ画像の画素値の差を求めて、差分値からなる生徒画像である、ＳＤ画像の差分画像を生成する。生成されたＳＤ画像の差分画像は、画像メモリ１３３に記憶され、手続は、ステップＳ２２３に進む。
【０４２３】
ステップＳ２２３において、差分画像生成部２２１は、入力画像である水平倍密画像の画素値の差を求めて、差分値からなる教師画像である、水平倍密画像の差分画像を生成する。生成された水平倍密画像の差分画像は、教師画素抽出部２２３に供給され、手続は、ステップＳ２２４に進む。
【０４２４】
ステップＳ２２４において、クラスタップ抽出部１３４は、図１５のクラスタップ抽出部１０２における場合と同様に、教師データとしての水平倍密画像の差分画像の差分値の中から、まだ注目されていないもののうちの１つを注目している差分値として選択し、注目画素に対応する差分画像のクラスタップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から生成すると共に、ＳＤ画像のクラスタップを、画像メモリ１３３に記憶されているＳＤ画像から生成し、生成した差分画像のクラスタップおよびＳＤ画像のクラスタップを特徴量演算部１３５に供給して、ステップＳ２２５に進む。
【０４２５】
ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、複数の周辺画素である、差分画像のクラスタップおよびＳＤ画像のクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１３６に供給し、ステップＳ２２６に進む。
【０４２６】
また、ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。さらに、ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。
【０４２７】
ステップＳ２２６では、クラス分類部１３６が、図１５のクラス分類部１０４における場合と同様にして、クラスタップ抽出部１３４からのクラスタップ、および特徴量演算部１３５からの特徴量を用いて、注目している注目画素をクラス分類し、その注目している注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ２２４に供給して、ステップＳ２２７に進む。
【０４２８】
ステップＳ２２７において、予測タップ抽出部１３７は、クラス分類部１３６から供給されるクラスコードに基づいて、図１５の予測タップ抽出部１０６における場合と同様に、注目している注目画素に対応する予測タップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から抽出して生成し、足し込み演算部２２２に供給して、ステップＳ２２８に進む。
【０４２９】
ステップＳ２２８において、教師画素抽出部２２３は、注目している注目画素に対応する差分値、すなわち教師画素（教師データ）を水平倍密画像の差分画像から抽出し、抽出した教師データを足し込み演算部２２２に供給し、ステップＳ２２９に進む。
【０４３０】
ステップＳ２２９では、足し込み演算部２２２が、予測タップ抽出部１３７から供給される予測タップ（生徒データ）、および教師画素抽出部２２３から供給される教師データを対象とした、上述した式（２６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２２４に記憶させ、ステップＳ２３０に進む。
【０４３１】
そして、ステップＳ２３０では、クラスタップ抽出部１３４は、教師データとしての水平倍密画像の差分値の中に、まだ注目している差分値としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ２３０において、教師データの画素の中に、まだ注目している差分値としていないものがあると判定された場合、ステップＳ２２４に戻り、以下、同様の処理が繰り返される。
【０４３２】
また、ステップＳ２３０において、教師画像の中に、注目している差分値としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ２３１に進み、正規方程式演算部２２５は、いままでのステップＳ２２９における足し込みによって、クラスごとに得られた式（２６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２２４から読み出し、読み出した式（２６）の正規方程式を解くことにより（学習することにより）、所定のクラスのタップ係数を求め、係数メモリ２２６に供給して記憶させ、ステップＳ２３２に進む。
【０４３３】
すなわち、ステップＳ２２９およびステップＳ２３１において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段が学習される。
【０４３４】
ステップＳ２３２において、正規方程式演算部２２５は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２３１に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０４３５】
ステップＳ２３２において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ２２６は、全クラスのタップ係数を記憶し、処理は終了する。すなわち、係数メモリ２２６は、学習された予測手段を記憶する。
【０４３６】
以上のようにして、係数メモリ２２６に記憶されたクラスごとのタップ係数が、図１５の画像処理装置における係数メモリ２０１に記憶されている。
【０４３７】
図２５は、本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。
【０４３８】
図２５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像の差分画像が創造される。そして、創造された水平倍密画像の差分画像から、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０４３９】
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図２５の画像処理装置は、画素値算出部２５３が新たに設けられ、入力画像がクラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５と共に画素値算出部２５３に供給され、図１１における係数メモリ１５４および画素値演算部１５７に代えて、係数メモリ２５１および差分演算部２５２が設けられている他は、図１１における場合と同様に構成されている。
【０４４０】
係数メモリ２５１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２５１は、クラス分類部１５３から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２５２に供給する。
【０４４１】
差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０４４２】
より具体的に説明すると、差分演算部２５２は、係数メモリ２５１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、差分算出部１５６からの予測タップの差分値ｄ_１，ｄ_２，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算し、これを、水平倍密画像の画素値の差分値とする。差分演算部２５２は、このよう演算された差分値からなる差分画像を画素値算出部２５３に供給する。
【０４４３】
すなわち、差分演算部２５２は、差分演算部２０２と同様の処理により、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。
【０４４４】
画素値算出部２５３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０４４５】
例えば、画素値算出部２５３は、差分演算部２５２から供給された、水平倍密画像の差分画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像との関係により、ＳＤ画像に対して、水平倍密画像の画素値を算出して、算出により得られた水平倍密画像を出力する。
【０４４６】
すなわち、画素値算出部２５３は、画素値算出部２０３と同様の処理により、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０４４７】
なお、図２５で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０４４８】
次に、図２６のフローチャートを参照して、図２５に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０４４９】
ステップＳ２５１乃至ステップＳ２５５の処理は、それぞれ、図１２のステップＳ１５１乃至ステップＳ１５５の処理と同様なので、その説明は省略する。
【０４５０】
ステップＳ２５６において、係数メモリ２５１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目している注目画素のクラスのタップ係数を取得して、差分演算部２５２に供給し、ステップＳ２５７に進む。
【０４５１】
ステップＳ２５７において、差分演算部２５２は、注目している差分値（サンプル）（の予測値）を演算して、ステップＳ２５８に進む。即ち、ステップＳ２５７では、差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、複数の周辺画素同士の差分値から、出力画像データ内の第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、出力画像データ内の第２の注目画素の画素値との差分値を予測する。例えば、差分演算部２５２は、差分算出部１５６からの予測タップの差分値と、係数メモリ２５１からのタップ係数とを用いて、式（１７）の演算を行い、水平倍密画像の差分画像を構成する、注目している差分値（注目サンプル）（の予測値）を求める。
【０４５２】
ステップＳ２５８において、画素値算出部２５３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。例えば、画素値算出部２５３は、ステップＳ２５７の処理で算出された差分値、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像との関係に基づく演算、すなわち、式（２４）および式（２５）を適用して、水平倍密画像の２つの画素値を算出する。
【０４５３】
ステップＳ２５９において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、算出されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ２５１に戻り、以下、同様の処理を繰り返す。
【０４５４】
また、ステップＳ２５９において、算出されていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０４５５】
このように、図２５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０４５６】
図２５で構成が示される画像処理装置においては、水平倍密画像を構成する水平倍密画素に対して半数の、差分画像の差分値を予測し、差分画像の差分値から、式（２４）または式（２５）で示される簡単な演算で、水平倍密画像の画素値を算出するようにしたので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０４５７】
次に、図２７は、図２５の係数メモリ２５１に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０４５８】
図１３で示される場合と同様の部分には、同一の番号を付してあり、その説明は適宜省略する。即ち、図２７の画像処理装置は、差分画像生成部２７１が新たに設けられ、入力画像がＳＤ画像生成部１７１および差分画像生成部２７１に供給され、図１３における足し込み演算部１７８、教師画素抽出部１７９、学習メモリ１８０、正規方程式演算部１８１、および係数メモリ１８２に代えて、足し込み演算部２７２、教師画素抽出部２７３、学習メモリ２７４、正規方程式演算部２７５、および係数メモリ２７６が設けられている他は、図１３における場合と同様に構成されている。
【０４５９】
図２７の画像処理装置には、タップ係数の学習用の画像データとしての、水平倍密画像が入力される。画像処理装置に入力された水平倍密画像は、ＳＤ画像生成部１７１および差分画像生成部２７１に供給される。
【０４６０】
差分画像生成部２７１は、入力画像である水平倍密画像から、教師画像である差分画像を生成し、生成した差分画像を教師画素抽出部２７３に供給する。すなわち、差分画像生成部２７１は、左右に隣り合う２つの画素からなる組の１つに、水平倍密画像のそれぞれの画素を振り分けて、その組毎に画素値の差を算出して、差分とし、例えば、図１６に示す、水平倍密画像の画素値の差分値からなる、教師画像である差分画像を生成する。差分画像生成部２７１で生成される差分画像の差分値の数は、水平倍密画像の画素に対して半数になる。
【０４６１】
教師画素抽出部２７３は、教師画像である、水平倍密画像の差分画像から、注目している差分値（第１の注目画素と第２の注目画素の差分値）である教師データを抽出して、抽出した教師データを足し込み演算部２７２に供給する。
【０４６２】
足し込み演算部２７２および正規方程式演算部２７５は、検出された特徴量毎に、差分算出部１７７により算出された、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する。
【０４６３】
この場合、予測手段は、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される差分演算部２５２、または差分演算部２５２における処理を言う。複数の周辺画素同士の差分値から注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段の実現（構築）を可能にすることを意味する。
【０４６４】
従って、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、差分演算部２５２、または差分演算部２５２における処理が特定され、差分演算部２５２を実現し、または差分演算部２５２における処理を実行することができるようになるからである。
【０４６５】
すなわち、足し込み演算部２７２および正規方程式演算部２７５は、注目している差分値である教師データと、差分算出部１７７から供給される予測タップの差分値とを用い、教師データと差分値である生徒データとの関係を、クラス分類部１７５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０４６６】
より具体的には、足し込み演算部２７２は、予測タップ抽出部１７６から供給される予測タップの差分値と、教師画素抽出部２７３から供給される教師データである差分値とを対象とした、式（２６）の足し込みを行う。足し込み演算部２７２は、教師データとしての、水平倍密画像の差分画像の差分値すべてを注目している差分値として、足し込みを行うことにより、各クラスについて、式（２６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２７４に供給する。
【０４６７】
学習メモリ２７４は、足し込み演算部２７２から供給された、生徒データとして差分値、教師データとして差分値が足し込まれた式（２６）に対応した正規方程式を記憶する。
【０４６８】
正規方程式演算部２７５は、学習メモリ２７４から、各クラスについての式（２６）の正規方程式を取得し、その正規方程式を解くことにより（学習することにより）、クラスごとのタップ係数を求めて出力する。
【０４６９】
係数メモリ２７６は、正規方程式演算部２７５が出力するクラスごとのタップ係数を記憶する。
【０４７０】
次に、図２８のフローチャートを参照して、図２７に構成を示す画像処理装置による学習の処理を説明する。
【０４７１】
ステップＳ２７１において、ＳＤ画像生成部１７１は、入力画像（水平倍密画像）である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、画像メモリ１７２に供給され、画像メモリ１７２に記憶されて、手続は、ステップＳ２７７に進む。
【０４７２】
ステップＳ２７２において、差分画像生成部２７１は、入力画像である水平倍密画像の画素値の差を求めて、差分値からなる教師画像である、水平倍密画像の差分画像を生成する。生成された水平倍密画像の差分画像は、教師画素抽出部２７３に供給され、手続は、ステップＳ２７３に進む。
【０４７３】
ステップＳ２７３において、クラスタップ抽出部１７３は、図２５のクラスタップ抽出部１５１における場合と同様に、教師データとしての水平倍密画像の差分画像の画素のうち１つおきの画素の中から、まだ注目されていないもののうちの１つを注目している画素として選択し、注目画素に対応する、ＳＤ画像内の複数の周辺画素を抽出することにより、注目画素に対応するクラスタップを、画像メモリ１７２に記憶されているＳＤ画像から生成し、生成したクラスタップを特徴量演算部１３５に供給して、ステップＳ２７４に進む。
【０４７４】
ステップＳ２７４において、特徴量演算部１７４は、図２５の特徴量演算部１５２における場合と同様に、複数の周辺画素であるクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１７５に供給し、ステップＳ２７５に進む。また、ステップＳ２７４において、特徴量演算部１７４は、図２５の特徴量演算部１５２における場合と同様に、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。
【０４７５】
ステップＳ２７５では、クラス分類部１７５が、図２５のクラス分類部１５３における場合と同様にして、クラスタップ抽出部１７３からのクラスタップ、および特徴量演算部１７４からの特徴量を用いて、注目している注目画素をクラス分類し、その注目している注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ２７４に供給して、ステップＳ２７６に進む。
【０４７６】
ステップＳ２７６において、予測タップ抽出部１７６は、クラス分類部１７５から供給されるクラスコードに基づいて、図２５の予測タップ抽出部１５５における場合と同様に、注目している注目画素に対応する予測タップを、画像メモリ１７２に記憶されているＳＤ画像から抽出して生成し、差分算出部１７７に供給して、ステップＳ２７７に進む。
【０４７７】
ステップＳ２７７に進み、差分算出部１７７は、予測タップ抽出部１７６から供給された予測タップの画素値の差を求めて、差分値を生成する。生成された差分値は、足し込み演算部２７２に供給され、手続は、ステップＳ２７８に進む。
【０４７８】
ステップＳ２７８において、教師画素抽出部２７３は、注目している注目画素に対応する差分値、すなわち教師画素（教師データ）を水平倍密画像の差分画像から抽出し、抽出した教師データを足し込み演算部２７２に供給し、ステップＳ２７９に進む。
【０４７９】
ステップＳ２７９では、足し込み演算部２７２が、差分算出部１７７から供給される差分値（生徒データ）、および教師画素抽出部２７３から供給される教師データを対象とした、上述した式（２６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２７４に記憶させ、ステップＳ２８０に進む。
【０４８０】
そして、ステップＳ２８０では、クラスタップ抽出部１７３は、教師データとしての水平倍密画像の画素のうちの１つおきの画素の中に、まだ注目している画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ２８０において、教師データの画素の中に、まだ注目している画素としていないものがあると判定された場合、ステップＳ２７３に戻り、以下、同様の処理が繰り返される。
【０４８１】
また、ステップＳ２８０において、教師画像の中に、注目している画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ２８１に進み、正規方程式演算部２７５は、いままでのステップＳ２７９における足し込みによって、クラスごとに得られた式（２６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２７４から読み出し、読み出した式（２６）の正規方程式を解くことにより（学習することにより）、所定のクラスのタップ係数を求め、係数メモリ２７６に供給して記憶させ、ステップＳ２８２に進む。
【０４８２】
すなわち、ステップＳ２７９およびステップＳ２８１において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段が学習される。
【０４８３】
ステップＳ２８２において、正規方程式演算部２７５は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２８１に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０４８４】
ステップＳ２８２において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ２７６は、全クラスのタップ係数を記憶し、処理は終了する。すなわち、係数メモリ２７６は、学習された予測手段を記憶する。
【０４８５】
以上のようにして、係数メモリ２７６に記憶されたクラスごとのタップ係数が、図２５の画像処理装置における係数メモリ２５１に記憶されている。
【０４８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０４８７】
また、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測し、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０４８８】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０４８９】
また、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するようにした場合には、予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０４９０】
図２９は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０４９１】
図２９で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造される。
【０４９２】
例えば、図１６の×印で示される水平倍密画像の画素のうちの、第１行第１列、第１行第３列、第１行第５列、第１行第７列、第２行第１列、第２行第３列、第２行第５列、第２行第７列、第３行第１列、第３行第３列、第３行第５列、第３行第７列、第４行第１列、第４行第３列、第４行第５列、第４行第７列、第５行第１列、第５行第３列、第５行第５列、第５行第７列の画素が創造される。
【０４９３】
そして、創造された、半数の画素からなる水平倍密画像から、水平倍密画像の全体が生成され、生成された水平倍密画像が出力されるようになっている。
【０４９４】
なお、図中、図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図２９の画像処理装置は、図１５における係数メモリ２０１、差分演算部２０２、および画素値算出部２０３に代えて、係数メモリ３０１、画素値演算部３０２、および画素値算出部３０３が設けられている他は、図１５における場合と同様に構成されている。
【０４９５】
図２９で示される画像処理装置のクラスタップ抽出部１０２は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素（サンプル）を、水平方向に１つおきに、順次、注目画素とする。そして、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いるクラスタップを、差分画像生成部１０１に記憶された差分画像から生成し、特徴量演算部１０３に出力する。
【０４９６】
すなわち、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いる差分画像のクラスタップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、特徴量演算部１０３に出力する。
【０４９７】
また、クラスタップ抽出部１０２は、差分画像のクラスタップとは別に、ＳＤ画像である入力画像から、入力画像のクラスタップを抽出して特徴量演算部１０３に供給する。
【０４９８】
このように、クラスタップ抽出部１０２は、入力画像に比較して高質な高質画像の注目画素に対応する、入力画像内の複数の周辺画素（クラスタップ）を抽出する。
【０４９９】
図２９で示される画像処理装置の予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、画素値演算部３０２において注目画素（の予測値）を求めるのに用いる予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、画素値演算部３０２に供給する。例えば、予測タップ抽出部１０６は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとし、画素値演算部３０２に供給する。
【０５００】
係数メモリ３０１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３０１は、クラス分類部１０４から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３０２に供給する。
【０５０１】
画素値演算部３０２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５０２】
より詳しく説明すれば、画素値演算部３０２は、係数メモリ３０１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ_１，ｄ_２，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部３０３に供給する。
【０５０３】
すなわち、画素値演算部３０２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の１つおきの画素値に変換される。
【０５０４】
画素値算出部３０３は、第１の注目画素に空間的に近接する位置に配される、水平倍密画像の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。
【０５０５】
換言すれば、画素値算出部３０３は、画素値演算部３０２から供給された、水平方向に１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく関係から、ＳＤ画像に対して、残った水平倍密画像の画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３０２で演算されなかった画素の画素値）を算出して、画素値演算部３０２で得られた画素と、画素値算出部３０３で算出された画素とからなる水平倍密画像を出力する。すなわち、例えば、画素値算出部３０３は、画素値演算部３０２から供給された、水平倍密画像の１つおきの画素の画素値をｙ^（１）とし、およびＳＤ画像である入力画像の画素値をｘとするとき、ｘおよびｙ^（１）に対応する、画素値演算部３０２で演算されなかった画素の画素値ｙ^（２）を算出する。
【０５０６】
式（２１）を変形することにより、ｙ^（２）について、式（２７）を導くことができる。
ｙ^（２）＝２ｘ−ｙ^（１） ・・・（２７）
【０５０７】
従って、式（２２）および式（２７）により、ＳＤ画素ｘ、およびＳＤ画素ｘに対応する水平倍密画像の画素値ｙ^（１）およびｙ^（２）のいずれか一方が既知であれば、水平倍密画像の画素値ｙ^（１）およびｙ^（２）の他の一方を算出することができる。
【０５０８】
すなわち、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像とＳＤ画像との関係から、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を知ることができれば、ＳＤ画像に対応する、残った水平倍密画像の画素値を算出することができる。
【０５０９】
例えば、画素値演算部３０２において、図１６に×印で示される水平倍密画像の画素値ｙ^（２）が算出され、画素値ｙ^（２）に対応する、ＳＤ画像である入力画像の画素値がｘ^（８）であるとき、画素値算出部３０３は、画素値ｘ^（８）およびｙ^（２）に、ｙ^（１）＝２ｘ^（８）−ｙ^（２）の演算を適用して、水平倍密画像の画素値ｙ^（１）を算出する。
【０５１０】
なお、図２９で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０５１１】
次に、図３０のフローチャートを参照して、図２９に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５１２】
ステップＳ３０１乃至ステップＳ３０５の処理は、ステップＳ３０２の処理において、水平倍密画像の水平方向に１つおきの画素が注目画素として選択される点を除き、それぞれ、図８のステップＳ１０１乃至ステップＳ１０５の処理と同様なので、その説明は省略する。
【０５１３】
ステップＳ３０６において、係数メモリ３０１は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、画素値演算部３０２に供給し、ステップＳ３０７に進む。
【０５１４】
ステップＳ３０７において、画素値演算部３０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である、予測タップから第１の注目画素を予測する。換言すれば、画素値演算部３０２は、水平倍密画像の水平方向に１つおきの画素である注目画素（の予測値）を演算して、ステップＳ３０８に進む。即ち、ステップＳ３０７では、画素値演算部３０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ３０１からのタップ係数とを用いて、線形１次式（線形結合）によって、注目画素（の予測値）を求める。
【０５１５】
例えば、ステップＳ３０７において、画素値演算部３０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ３０１からのタップ係数とを用いて、式（９）で示される演算により、注目画素（の予測値）を求める。
【０５１６】
なお、式（９）で示される演算により、画素値演算部１０７において、ＨＤ画像の画素値が演算されるのに対して、係数メモリ３０１が、学習の教師となる、水平倍密画像である教師データと、学習の生徒となる、ＳＤ画像の差分画像である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶しているので、画素値演算部３０２においては、式（９）で示される演算により、水平倍密画像の画素値が求められる。
【０５１７】
ステップＳ３０８において、画素値算出部３０３は、第１の注目画素に空間的に近接する位置に配される、高質画像である出力画像内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。換言すれば、画素値算出部３０３は、ステップＳ３０７の処理で算出された、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像とＳＤ画像との関係に基づく演算、すなわち、式（２２）（または式（２７））の演算を適用して、水平倍密画像の残った画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３０２で演算されなかった画素の画素値）を算出する。
【０５１８】
ステップＳ３０９において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３０１に戻り、以下、同様の処理を繰り返す。
【０５１９】
また、ステップＳ３０９において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５２０】
なお、係数メモリ３０１に格納されるタップ係数は、入力画像を水平倍密画像とし、注目画素として、水平倍密画像の水平方向に１つおきの画素に注目するようにして、図９で構成が示される画像処理装置の学習の処理により求めることができる。
【０５２１】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０５２２】
また、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、第２の画像（出力画像）に関係する第３の画像の注目しているサンプルである注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、差分画像から生成し、クラスタップに基づいて、注目サンプルをクラス分類し、注目サンプルを求めるのに用いる予測タップを、差分画像から生成し、学習の教師となる、第３の画像に対応する教師データと、学習の生徒となる、差分画像に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップとを用いて、注目サンプルを演算し、第３の画像を求め、第１の画像の画素値と、第２の画像の画素値と、第３の画像のサンプルとの関係を基に、第３の画像のサンプル、およびサンプルに対応する第１の画像の画素値から、第２の画像の画素値を算出して、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５２３】
第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０５２４】
また、タップ係数の学習の生徒となる、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる生徒画像を生成し、タップ係数の学習の教師となる、第２の画像（出力画像）に関係する第３の画像を生成し、タップ係数の学習の教師となる、第３の画像のサンプルうちの注目している注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、学習の生徒となる、生徒画像から生成し、クラスタップに基づいて、注目サンプルをクラス分類し、注目サンプルを求めるのに用いる予測タップを、生徒画像から生成し、注目サンプルと予測タップとを用い、教師画像と生徒画像との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５２５】
図３１は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５２６】
図３１で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造される。
【０５２７】
そして、創造された、半数の画素からなる水平倍密画像から、水平倍密画像の全体が生成され、生成された水平倍密画像が出力されるようになっている。
【０５２８】
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図３１の画像処理装置は、画素値算出部３２３が新たに設けられ、入力画像がクラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５と共に画素値演算部３２３に供給され、図１１における係数メモリ１５４、および画素値演算部１５７に代えて、係数メモリ３２１、および画素値演算部３２２が設けられている他は、図１１における場合と同様に構成されている。
【０５２９】
係数メモリ３２１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３２１は、クラス分類部１５３から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３２２に供給する。
【０５３０】
画素値演算部３２２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５３１】
より詳しく説明すれば、画素値演算部３２２は、画素値演算部３０２と同様の処理で、係数メモリ３２１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、差分算出部１５６からの差分値ｄ_１，ｄ_２，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３２２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部３２３に供給する。
【０５３２】
すなわち、画素値演算部３２２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の１つおきの画素の画素値に変換される。
【０５３３】
画素値算出部３２３は、第１の注目画素に空間的に近接する位置に配される、水平倍密画像の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。
【０５３４】
換言すれば、画素値算出部３２３は、画素値演算部３２２から供給された、水平方向に１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく関係から、ＳＤ画像に対して、残った水平倍密画像の画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３２２で演算されなかった画素の画素値）を算出して、画素値演算部３２２で得られた画素と、画素値算出部３２３で算出された画素とからなる水平倍密画像を出力する。すなわち、例えば、画素値算出部３２３は、画素値演算部３２２から供給された、水平倍密画像の１つおきの画素の画素値をｙ^（１）とし、およびＳＤ画像である入力画像の画素値をｘとするとき、式（２７）で示される演算により、ｘおよびｙ^（１）に対応する、画素値演算部３２２で演算されなかった画素の画素値ｙ^（２）を算出する。
【０５３５】
例えば、画素値算出部３２３は、画素値演算部３２２から供給された、水平倍密画像の１つおきの画素が、図１６で示される水平倍密画素ｙ^（１）であり、水平倍密画素ｙ^（１）および水平倍密画素ｙ^（２）に対応する入力画像の画素がＳＤ画素ｘ^（８）であるとき、ＳＤ画素ｘ^（８）の画素値から水平倍密画素ｙ^（１）の画素値を引き算することにより、図１６で示される水平倍密画素ｙ^（２）を算出する。
【０５３６】
なお、図３１で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０５３７】
次に、図３２のフローチャートを参照して、図３１で構成が示される画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５３８】
ステップＳ３２１乃至ステップＳ３２５の処理は、それぞれ、図１２のステップＳ１５１乃至ステップＳ１５５の処理と同様なので、その説明は省略する。
【０５３９】
ステップＳ３２６において、係数メモリ３２１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、画素値演算部３２２に供給し、ステップＳ３２７に進む。
【０５４０】
ステップＳ３２７において、画素値演算部３２２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から第１の注目画素を予測する。換言すれば、画素値演算部３２２は、水平倍密画像の水平方向に１つおきの画素である注目画素（の予測値）を演算して、ステップＳ３２８に進む。
【０５４１】
例えば、ステップＳ３２７において、画素値演算部３２２は、差分算出部１５６からの差分値と、係数メモリ３２１からのタップ係数とを用いて、式（９）で示される演算により、注目画素（の予測値）を求める。
【０５４２】
ステップＳ３２８において、画素値算出部３２３は、第１の注目画素に空間的に近接する位置に配される、高質画像である出力画像内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。換言すれば、画素値算出部３２３は、ステップＳ３２７の処理で算出された、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像とＳＤ画像との関係に基づく演算、すなわち、式（２２）（または式（２７））の演算を適用して、水平倍密画像の残った画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３２２で演算されなかった画素の画素値）を算出する。
【０５４３】
ステップＳ３２９において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３２１に戻り、以下、同様の処理を繰り返す。
【０５４４】
また、ステップＳ３２９において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５４５】
なお、係数メモリ３２１に格納されるタップ係数は、入力画像を水平倍密画像とし、注目画素として、水平倍密画像の水平方向に１つおきの画素に注目するようにして、図１３で構成が示される画像処理装置の学習の処理により求めることができる。
【０５４６】
図３３は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５４７】
図３３で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造されると共に、水平倍密画像の画素の画素値の差分値が創造される。そして、水平倍密画像の１つおき画素と差分値とから、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０５４８】
なお、図３３中、図２９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。また、図３３中、図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０５４９】
図３３における、クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、および特徴量演算部１０３からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに第１の注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３０１、係数メモリ２０１、および予測タップ抽出部１０６に供給する。
【０５５０】
予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、生成した予測タップを画素値演算部３０２および差分演算部２０２に供給する。
【０５５１】
係数メモリ３０１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３０１は、クラス分類部１０４から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３０２に供給する。
【０５５２】
画素値演算部３０２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５５３】
より詳しく説明すれば、画素値演算部３０２は、係数メモリ３０１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ_１，ｄ_２，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部４０１に供給する。
【０５５４】
係数メモリ２０１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２０１は、クラス分類部１０４から、水平倍密画像の注目している第１の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、第１の注目画素のクラスのタップ係数を取得し、差分演算部２０２に供給する。
【０５５５】
差分演算部２０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である予測タップから、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０５５６】
より具体的に説明すると、差分演算部２０２は、係数メモリ２０１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ_１，ｄ_２，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。差分演算部２０２は、このよう演算された差分値を画素値算出部４０１に供給する。
【０５５７】
画素値算出部４０１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、画素値算出部４０１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素の画素値に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値を加算することにより、第２の注目画素の画素値を算出することにより、第２の注目画素を予測する。
【０５５８】
このように、図３３で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５５９】
次に、図３４のフローチャートを参照して、図３３に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５６０】
ステップＳ４０１乃至ステップＳ４０７の処理は、それぞれ、図３０のステップＳ３０１乃至ステップＳ３０７の処理と同様なので、その説明は省略する。
【０５６１】
ステップＳ４０８およびステップＳ４０９の処理は、それぞれ、図２２のステップＳ２０６およびステップＳ２０７の処理と同様なので、その説明は省略する。
【０５６２】
ステップＳ４１０において、画素値算出部４０１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、図１６を参照して説明したように、差分値Ｄ並びに水平倍密画像の画素値ｙ^（１）およびｙ^（２）の間には、Ｄ＝ｙ^（２）−ｙ^（１）の関係があるので、画素値算出部４０１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素ｙ^（１）に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値Ｄを加算することにより、第２の注目画素の画素値を算出して、第２の注目画素ｙ^（２）を予測する。
【０５６３】
ステップＳ４１１において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ４０１に戻り、以下、同様の処理を繰り返す。
【０５６４】
また、ステップＳ４１１において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５６５】
このように、図３３で構成が示される画像処理装置は、図３４のフローチャートを参照して説明した処理により、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５６６】
図３５は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５６７】
図３５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造されると共に、水平倍密画像の画素の画素値の差分値が創造される。そして、水平倍密画像の１つおき画素と差分値とから、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０５６８】
なお、図３５中、図３１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。また、図３５中、図２５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０５６９】
図３５における、クラス分類部１５３は、入力画像の画素からなるクラスタップ、および特徴量演算部１５２からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３２１、係数メモリ２５１、および予測タップ抽出部１５５に供給する。
【０５７０】
予測タップ抽出部１５５は、クラス分類部１５３から供給されるクラスコードを基に、画素値演算部１５７において注目画素（の予測値）を求めるのに用いる予測タップを、入力画像から抽出して生成し、生成した予測タップを差分算出部１５６に供給する。差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップについて、差分値を算出し、算出した差分値を画素値演算部３２２および差分演算部２５２に供給する。
【０５７１】
係数メモリ３２１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３２１は、クラス分類部１５３から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３２２に供給する。
【０５７２】
画素値演算部３２２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５７３】
より詳しく説明すれば、画素値演算部３２２は、係数メモリ３２１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、差分算出部１５６からの予測タップの差分値ｄ_１，ｄ_２，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部４２１に供給する。
【０５７４】
係数メモリ２５１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２５１は、クラス分類部１５３から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２５２に供給する。
【０５７５】
差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０５７６】
より具体的に説明すると、差分演算部２５２は、係数メモリ２５１から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、差分算出部１５６からの予測タップの差分値ｄ_１，ｄ_２，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。差分演算部２５２は、このよう演算された差分値を画素値算出部４２１に供給する。
【０５７７】
画素値算出部４２１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、画素値算出部４２１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素の画素値に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値を加算することにより、第２の注目画素の画素値を算出することにより、第２の注目画素を予測する。
【０５７８】
このように、図３５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５７９】
次に、図３６のフローチャートを参照して、図３５に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５８０】
ステップＳ４２１乃至ステップＳ４２７の処理は、それぞれ、図３２のステップＳ３２１乃至ステップＳ３２７の処理と同様なので、その説明は省略する。
【０５８１】
ステップＳ４２８およびステップＳ４２９の処理は、それぞれ、図２６のステップＳ２５６およびステップＳ２５７の処理と同様なので、その説明は省略する。
【０５８２】
ステップＳ４３０において、画素値算出部４２１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、図１６を参照して説明したように、差分値Ｄ並びに水平倍密画像の画素値ｙ^（１）およびｙ^（２）の間には、Ｄ＝ｙ^（２）−ｙ^（１）の関係があるので、画素値算出部４２１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素ｙ^（１）に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値Ｄを加算することにより、第２の注目画素の画素値を算出して、第２の注目画素ｙ^（２）を予測する。
【０５８３】
ステップＳ４３１において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ４２１に戻り、以下、同様の処理を繰り返す。
【０５８４】
また、ステップＳ４３１において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５８５】
このように、図３５で構成が示される画像処理装置は、図３６のフローチャートを参照して説明した処理により、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０５８７】
また、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測し、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５８８】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０５８９】
また、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するようにした場合には、予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５９０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０５９１】
図３７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【０５９２】
ＣＰＵ５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ５０１は、処理の結果得られた画像や音声等を出力部５０７に出力する。
【０５９３】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクなどで構成され、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部５０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０５９４】
また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
【０５９５】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、或いは半導体メモリ５５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され、記憶される。
【０５９６】
一連の処理をさせるプログラムが格納されている記録媒体は、図３７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フレキシブルディスクを含む）、光ディスク５５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク５５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（商標）を含む）、若しくは半導体メモリ５５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ５０２や、記憶部５０８に含まれるハードディスクなどで構成される。
【０５９７】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０５９８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０５９９】
【発明の効果】
以上のように、第１の本発明によれば、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６００】
また、第１の本発明によれば、学習の結果得られた予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０１】
第２の本発明によれば、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０２】
また、第２の本発明によれば、学習の結果得られた予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０３】
第３の本発明によれば、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０４】
また、第３の本発明によれば、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０５】
第４の本発明によれば、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０６】
また、第４の本発明によれば、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の構成を説明するブロック図である。
【図２】従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【図３】従来の画像処理装置の構成を説明するブロック図である。
【図４】従来の画像処理装置による学習の処理を説明するフローチャートである。
【図５】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図６】差分画像生成部１０１により生成される差分画像を説明する図である。
【図７】ＳＤ画像と、差分画像と、ＨＤ画像との関係を説明する図である。
【図８】ＳＤ画像からＨＤ画像を創造する画像処理を説明するフローチャートである。
【図９】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図１０】学習処理を説明するフローチャートである。
【図１１】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１２】ＳＤ画像からＨＤ画像を創造する他の画像処理を説明するフローチャートである。
【図１３】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１４】学習処理を説明するフローチャートである。
【図１５】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１６】ＳＤ画像と、ＳＤ画像の差分画像と、水平倍密画像と、水平倍密画像の差分画像との関係を説明する図である。
【図１７】イメージセンサ上の画素の配置を説明する図である。
【図１８】検出素子を説明する図である。
【図１９】イメージセンサに設けられている画素の配置、および水平倍密画像の画素データに対応する領域を説明する図である。
【図２０】領域ａ乃至ｒに入力される光に対応する画素データを説明する図である。
【図２１】水平倍密画像の差分画像の差分値と、水平倍密画像の画素値との関係の一例を説明する図である。
【図２２】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図２３】画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２４】学習の処理を説明するフローチャートである。
【図２５】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２６】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図２７】画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２８】学習の他の処理を説明するフローチャートである。
【図２９】本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【図３０】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３１】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３２】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３３】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３４】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３５】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３６】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３７】一連の処理をソフトウェアにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１０１ 差分画像生成部， １０２ クラスタップ抽出部， １０３ 特徴量演算部， １０４ クラス分類部， １０５ 係数メモリ， １０６ 予測タップ抽出部， １０７ 画素値演算部， １３１ ＳＤ画像生成部， １３２ 差分画像生成部， １３３ 画像メモリ， １３４ クラスタップ抽出部， １３５ 特徴量演算部， １３６ クラス分類部， １３７ 予測タップ抽出部， １３８ 足し込み演算部， １３９ 教師画素抽出部， １４０ 学習メモリ，１４１ 正規方程式演算部， １４２ 係数メモリ， １５１ クラスタップ抽出部， １５２ 特徴量演算部， １５３ クラス分類部， １５４ 係数メモリ， １５５ 予測タップ抽出部， １５６ 差分算出部， １５７ 画素値演算部， １７１ ＳＤ画像生成部， １７２ 画像メモリ， １７３ クラスタップ抽出部， １７４ 特徴量演算部， １７５ クラス分類部， １７６ 予測タップ抽出部， １７７ 差分算出部， １７８ 足し込み演算部， １７９ 教師画素抽出部， １８０ 学習メモリ， １８１ 正規方程式演算部， １８２ 係数メモリ， ２０１ 係数メモリ， ２０２ 差分演算部， ２０３画素値算出部， ２２１ 差分画像生成部， ２２２ 足し込み演算部， ２２３ 教師画素抽出部， ２２４ 学習メモリ， ２２５ 正規方程式演算部，２２６ 係数メモリ， ２５１ 係数メモリ， ２５２ 差分演算部， ２５３ 画素値算出部， ２７１ 差分画像生成部， ２７２ 足し込み演算部， ２７３ 教師画素抽出部， ２７４ 学習メモリ， ２７５ 正規方程式演算部， ２７６ 係数メモリ， ３０１ 係数メモリ， ３０２ 画素値演算部， ３０３ 画素値算出部， ３２１ 係数メモリ， ３２２ 画素値演算部， ３２３ 画素値算出部， ４０１ 画素値算出部， ４２１ 画素値算出部， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５０３ ＲＡＭ， ５０８ 記憶部， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a learning device and method, an image processing device and method, a recording medium, and a program, and in particular, for example, a learning device and method for converting an image into a higher-quality image, and image processing. The present invention relates to an apparatus and a method, a recording medium, and a program.
[0002]
[Prior art]
The applicant of the present application has previously proposed, for example, a classification adaptive process as a data conversion process for improving the image quality of an image and performing other image conversion.
[0003]
Classification adaptive processing includes class classification processing and adaptive processing. The class classification processing classifies data into classes based on their properties, and performs adaptive processing for each class. This is the processing of the following method.
[0004]
That is, in the adaptive processing, for example, low-quality or standard-quality image (hereinafter, appropriately referred to as SD (Standard Definition) image) data is mapped using predetermined tap coefficients (hereinafter, also appropriately referred to as prediction coefficients). By performing the mapping, the image data is converted into high-quality image data (hereinafter, appropriately referred to as HD (High Definition) image).
[0005]
Now, assuming that, for example, a linear linear combination model is adopted as a mapping method using the tap coefficients, a pixel y (pixel value) of a pixel (hereinafter, appropriately referred to as an HD pixel) constituting HD image data is , A plurality of SD pixels extracted as prediction taps for predicting HD pixels from pixels constituting the SD image data (hereinafter, appropriately referred to as SD pixels), and the following linear linear It is determined by an equation (linear combination).
(Equation 1)

[0006]
However, in equation (1), x_nRepresents the pixel value of the pixel of the n-th SD image data that constitutes the prediction tap for the HD pixel y, and w_nRepresents the n-th tap coefficient multiplied by (the pixel value of) the n-th SD pixel. In equation (1), the prediction tap is N SD pixels x₁, X₂, ..., x_NIt is assumed to be composed of
[0007]
Here, the pixel value y of the HD pixel can be obtained not by the linear linear expression shown in Expression (1) but by a higher-order expression of second order or higher.
[0008]
Now, let the true value of the pixel value of the HD pixel of the k-th sample be y_kAnd its true value y obtained by equation (1)_kThe predicted value of_k′, The prediction error e_kIs represented by the following equation.
(Equation 2)

[0009]
Predicted value y of equation (2)_k′ Is obtained according to the equation (1), so that y in the equation (2)_kIs replaced according to equation (1), the following equation is obtained.
(Equation 3)

[0010]
However, in equation (3), x_{n, k}Represents an n-th SD pixel forming a prediction tap for an HD pixel of a k-th sample.
[0011]
Prediction error e in equation (3)_kTap coefficient w with 0_nIs optimal for predicting HD pixels, but for all HD pixels, such a tap coefficient w_nIs generally difficult to find.
[0012]
Then, tap coefficient w_nAs a criterion indicating that is the optimal one, for example, if the least squares method is adopted, the optimal tap coefficient w_nCan be obtained by minimizing the sum E of square errors represented by the following equation as a statistical error.
(Equation 4)

[0013]
However, in equation (4), K is the HD pixel y_kAnd its HD pixel y_kSD pixel x that constitutes a prediction tap for_{1, k}, X_{2, k}, ..., x_{N, k}And the number of samples in the set.
[0014]
Tap coefficient w that minimizes (minimizes) the sum E of the squared errors in equation (4)_nCalculates the sum E as a tap coefficient w_nIs set to 0, and therefore the following equation must be satisfied.
(Equation 5)

[0015]
Therefore, the above equation (3) is changed to the tap coefficient w._nBy partial differentiation with, the following equation is obtained.
(Equation 6)

[0016]
From equations (5) and (6), the following equation is obtained.
(Equation 7)

[0017]
E in equation (7)_kBy substituting equation (3) into equation (3), equation (7) can be represented by a normal equation represented by equation (8).
(Equation 8)

[0018]
The normal equation of Expression (8) is the HD pixel y_kAnd SD pixel x_{n, k}Are prepared in a certain number, so that the tap coefficient w to be obtained can be obtained._nTherefore, by solving equation (8) (however, to solve equation (8), the tap coefficient w_n, The matrix on the left side must be regular), and the optimal tap coefficient w_nCan be requested. In solving equation (8), for example, a sweeping-out method (Gauss-Jordan elimination method) or the like can be adopted.
[0019]
As described above, a large number of HD pixels y₁, Y₂, ..., y_KIs used as teacher data serving as a teacher of tap coefficient learning, and each HD pixel y_kSD pixel x that constitutes a prediction tap for_{1, k}, X_{2, k}, ..., x_{N, k}Is used as student data for learning tap coefficients, by solving equation (8), the optimum tap coefficient w_n, And the tap coefficient w_nThe adaptive processing is to map (convert) the SD image data to the HD image data according to the equation (1) using Expression (1).
[0020]
Note that the adaptive processing differs from, for example, simple interpolation processing in that components included in an HD image, which are not included in an SD image, are reproduced. That is, the adaptive processing is the same as the interpolation processing using the so-called interpolation filter as far as only the equation (1) is viewed, but the tap coefficient w corresponding to the tap coefficient of the interpolation filter is used._nCan be obtained by learning using the HD image data as the teacher data and the SD image data as the student data, so that the components included in the HD image can be reproduced. From this, it can be said that the adaptive processing has a so-called image creation (resolution imagination) action.
[0021]
Here, the tap coefficient w_nIn the learning of, the tap coefficient w for performing various conversions depends on what combination is used as the combination of the teacher data y and the student data x._nCan be requested.
[0022]
That is, for example, when the HD image data is adopted as the teacher data y and the SD image data obtained by adding noise or blur to the HD image data is adopted as the student data x, the image is replaced with the noise or blur. Tap coefficient w for converting to an image from which_nCan be obtained. Further, for example, when HD image data is adopted as the teacher data y and SD image data whose resolution of the HD image data is degraded is adopted as the student data x, the resolution of the image is improved. Coefficient w to be converted to a compressed image_nCan be obtained. Further, for example, when the image data is adopted as the teacher data y and the DCT coefficient obtained by DCT (Discrete Cosine Transform) transformation of the image data is adopted as the student data x, the DCT coefficient is transformed into the image data. Tap coefficient w_nCan be obtained.
[0023]
Next, a configuration of a conventional image processing apparatus that executes the class classification adaptive processing will be described.
[0024]
FIG. 1 is a block diagram illustrating a configuration of a conventional image processing apparatus that creates an output image as an HD image from an input image as an SD image by a class classification adaptive process.
[0025]
In the image processing device whose configuration is shown in FIG. 1, an input image is supplied to a class tap extracting unit 11 and a prediction tap extracting unit 15.
[0026]
The class tap extracting unit 11 extracts a class tap, which is a predetermined pixel, corresponding to a pixel of interest (hereinafter, also referred to as a pixel of interest) from the input image, and extracts the extracted class tap together with the input image as a feature amount calculating unit. 12 The feature calculation unit 12 calculates the feature of the image corresponding to the pixel of interest from the input image supplied from the class tap extraction unit 11, and supplies the feature calculated with the class tap to the class classification unit 13. I do. The feature amount of an image refers to a motion or a change in a pixel value in a frame.
[0027]
Based on the class tap and the feature amount supplied from the feature amount operation unit 12, the class classification unit 13 classifies the class according to the pixel of interest and stores a class code indicating the result of the classification in the coefficient memory 14 And a prediction tap extraction unit 15.
[0028]
The coefficient memory 14 supplies a tap coefficient corresponding to the class of the pixel of interest to the pixel value calculation unit 16 based on the class code supplied from the class classification unit 13.
[0029]
The prediction tap extracting unit 15 extracts a predetermined prediction tap from the input image corresponding to the pixel of interest based on the class code supplied from the class classification unit 13. The prediction tap extraction unit 15 supplies the extracted prediction tap to the pixel value calculation unit 16.
[0030]
The pixel value calculation unit 16 calculates the pixel of the pixel of interest in the HD image from the prediction tap supplied from the prediction tap extraction unit 15 and the tap coefficient supplied from the coefficient memory 14 by the calculation represented by Expression (1). The value is calculated, and the calculated HD image is output.
[0031]
FIG. 2 is a flowchart illustrating a process of creating an image by a conventional image processing apparatus that creates an output image as an HD image from an input image as an SD image by a class classification adaptive process.
[0032]
In step S11, the class tap extracting unit 11 extracts a class tap corresponding to the pixel of interest from the input image. In step S12, the feature value calculation unit 12 calculates a feature value corresponding to the target pixel from the input image.
[0033]
In step S13, the class classification unit 13 classifies the class corresponding to the target pixel based on the class tap extracted in the processing in step S11 and the feature amount calculated in the processing in step S12.
[0034]
In step S14, the prediction tap extracting unit 15 extracts a prediction tap corresponding to the pixel of interest from the input image according to the result of the class classification performed in step S13. In step S15, the coefficient memory 14 reads out a prediction coefficient corresponding to the classified class from among the prediction coefficients stored in advance, corresponding to the result of the class classification by the processing in step S13.
[0035]
In step S16, the pixel value calculation unit 16 calculates a pixel value corresponding to the target pixel based on the prediction tap extracted in step S14 and the prediction coefficient read in step S15.
[0036]
In step S17, the image processing apparatus determines whether or not prediction has been completed for all pixels. If it is determined that prediction has not been completed for all pixels, the image processing apparatus sets the next pixel as a pixel of interest and sets step S11. And the process of class classification and adaptation is repeated.
[0037]
If it is determined in step S17 that prediction has been completed for all pixels, the process ends.
[0038]
FIG. 3 is a block diagram illustrating a configuration of a conventional image processing apparatus that generates a prediction coefficient used in a classification adaptive process for creating an output image that is an HD image from an input image that is an SD image.
[0039]
The input image input to the image processing apparatus shown in FIG. 3 is a teacher image which is an HD image, and is supplied to the student image generator 31 and the teacher pixel extractor 38. The pixels included in the teacher image are used as teacher data.
[0040]
The student image generation unit 31 generates a student image, which is an SD image corresponding to the teacher image, by thinning out pixels from the input teacher image, which is an HD image, and supplies the generated student image to the image memory 32.
[0041]
The image memory 32 stores the student image, which is the SD image supplied from the student image generation unit 31, and supplies the stored student image to the class tap extraction unit 33 and the prediction tap extraction unit 36.
[0042]
The class tap extracting unit 33 extracts a class tap from the student image corresponding to the pixel of interest, and supplies the extracted class tap together with the student image to the feature value calculating unit 34. The feature value calculation unit 34 calculates a feature value from the student image, and supplies the calculated feature value to the class classification unit 35 together with the class tap.
[0043]
The class classification unit 35 classifies the class corresponding to the pixel of interest based on the class tap and the characteristic amount supplied from the characteristic amount calculation unit 34, and extracts a class code indicating the classified class by predictive tap extraction. It is supplied to the unit 36 and the learning memory 39.
[0044]
The prediction tap extracting unit 36 extracts a prediction tap corresponding to the classified class from the student image supplied from the image memory 32 based on the class code supplied from the class classification unit 35, and The tap is added and supplied to the calculation unit 37.
[0045]
The teacher pixel extraction unit 38 extracts teacher data, that is, a pixel of interest in the teaching image, and supplies the extracted teacher data to the addition operation unit 37.
[0046]
The addition operation unit 37 adds the teacher data, which is an HD pixel, and the prediction tap, which is an SD pixel, to the normal equation of Expression (8), and supplies the learning equation with the teacher data and the prediction tap to the learning memory 39. I do.
[0047]
The learning memory 39 stores the normal equation supplied from the addition operation unit 37 for each class based on the class code supplied from the class classification unit 35. The learning memory 39 supplies the normal equation stored with the teacher data and the prediction tap stored for each class to the normal equation calculation unit 40.
[0048]
The normal equation calculation unit 40 solves the normal equation supplied from the learning memory 39 by a sweeping out method, and obtains a prediction coefficient for each class. The normal equation calculation unit 40 supplies the prediction coefficient for each class to the coefficient memory 41.
[0049]
The coefficient memory 41 stores the prediction coefficients for each class, supplied from the normal equation operation unit 40.
[0050]
FIG. 4 is a flowchart illustrating a learning process performed by a conventional image processing apparatus for generating a prediction coefficient used in a class classification adaptive process for creating an output image that is an HD image from an input image that is an SD image.
[0051]
In step S31, the student image generation unit 31 generates a student image from an input image that is a teacher image. In step S32, the class tap extracting unit 33 extracts a class tap corresponding to the pixel of interest from the student image.
[0052]
In step S33, the feature value calculation unit 34 calculates a feature value from the student image.
[0053]
In step S34, the class classification unit 35 classifies the class of the pixel of interest based on the class tap extracted in the processing in step S32 and the feature amount calculated in the processing in step S33.
[0054]
In step S35, the prediction tap extraction unit 36 extracts a prediction tap corresponding to the pixel of interest from the student image based on the class classified by the processing in step S34.
[0055]
In step S36, the teacher pixel extraction unit 38 extracts teacher pixels (teacher data) from the input image that is the teacher image.
[0056]
In step S37, the addition operation unit 37 performs an operation of adding the prediction tap extracted in the process of step S35 and the teacher pixel (teacher data) extracted in the process of step S36 to the normal equation.
[0057]
In step S38, the image processing apparatus determines whether the addition processing has been completed for all the pixels. When it is determined that the addition processing has not been completed for all the pixels, the image processing apparatus returns to step S32, and returns to step S32. The prediction tap and the teacher pixel are extracted using the pixel of interest as the pixel of interest, and the process of adding the prediction tap and the teacher pixel to the normal equation is repeated.
[0058]
If it is determined in step S38 that the addition process has been completed for all the pixels, the process proceeds to step S39, where the normal equation calculation unit 40 calculates the normal equation in which the prediction tap and the teacher pixel are added, and performs the prediction. Find the coefficient.
[0059]
In step S40, the image processing apparatus determines whether or not the prediction coefficients of all the classes have been calculated. If it is determined that the prediction coefficients of all the classes have not been calculated, the process returns to step S39 to calculate the normal equation. Then, the processing for obtaining the prediction coefficient is repeated.
[0060]
If it is determined in step S40 that the prediction coefficients of all the classes have been calculated, the process ends.
[0061]
Receiving a plurality of peripheral pixels included in the first digital video signal present around the pixel of interest to be generated, detecting a pattern of the pixel of interest from the plurality of peripheral pixels, and indicating the detected pattern; Generating pattern data, and using reference data, a coefficient group for each pattern predetermined by a least square sum method so that the square sum of an error between a target pixel to be generated and a true value is minimized. And receives a coefficient group corresponding to the pattern data read based on the pattern data and the first digital video signal, and generates a pixel of interest from the coefficient group and the first digital video signal. (For example, see Patent Document 1).
[0062]
[Patent Document 1]
JP-A-8-317346
[0063]
[Problems to be solved by the invention]
However, in order to predict a more accurate image, the number of class taps or prediction taps must be increased, and when the number of class taps or prediction taps is increased, the amount of calculation for image prediction increases. There was a problem that would.
[0064]
The present invention has been made in view of such a situation, and it is an object of the present invention to be able to obtain a more accurate image by a simpler process with a smaller amount of calculation.
[0065]
[Means for Solving the Problems]
A first learning apparatus according to the present invention includes: a first extraction unit that extracts a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction unit that extracts a plurality of second peripheral pixels in the input image data; and a feature amount of the target pixel is detected based on the plurality of first peripheral pixels extracted by the first extraction unit. A feature amount detecting unit and a predicting unit for predicting a pixel of interest from a difference value between a plurality of second peripheral pixels extracted by the second extracting unit for each feature amount detected by the feature amount detecting unit. It is characterized by including learning means for learning, and storage means for storing prediction means learned by the learning means.
[0066]
A first learning method according to the present invention includes a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; Detecting a feature amount of the pixel of interest based on the second extraction step of extracting a plurality of second peripheral pixels in the input image data and the plurality of first peripheral pixels extracted in the first extraction step; A feature value detecting step, and a prediction unit for predicting a target pixel from a difference value between a plurality of second peripheral pixels extracted in the second extracting step for each feature value detected in the feature value detecting step. It is characterized by including a learning step of learning and a storage step of storing prediction means learned in the learning step.
[0067]
The program of the first recording medium of the present invention comprises a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data, and a feature amount of the pixel of interest based on the plurality of first peripheral pixels extracted in the first extraction step. A feature value detection step to be detected, and prediction for predicting a target pixel from a difference value between a plurality of second peripheral pixels extracted in the second extraction step for each feature value detected in the feature value detection step Learning step of learning means.
[0068]
A first program according to the present invention comprises: a computer configured to execute a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data, and a feature amount of the pixel of interest based on the plurality of first peripheral pixels extracted in the first extraction step. A feature value detection step to be detected, and prediction for predicting a target pixel from a difference value between a plurality of second peripheral pixels extracted in the second extraction step for each feature value detected in the feature value detection step And a learning step of learning means.
[0069]
A second learning apparatus according to the present invention includes: a first extracting unit that extracts a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction unit that extracts a plurality of second peripheral pixels in the input image data; and a feature amount of the target pixel is detected based on the plurality of first peripheral pixels extracted by the first extraction unit. For each feature amount detected by the feature amount detection unit and the feature amount detection unit, the difference value between the plurality of second peripheral pixels extracted by the second extraction unit is used to determine the pixel of interest and the high quality image data. It is characterized by including learning means for learning prediction means for predicting a difference value between the pixel of interest and another pixel adjacent thereto, and storage means for storing the prediction means learned by the learning means.
[0070]
A second learning method according to the present invention includes: a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; Detecting a feature amount of the pixel of interest based on the second extraction step of extracting a plurality of second peripheral pixels in the input image data and the plurality of first peripheral pixels extracted in the first extraction step; For each of the feature amounts detected in the feature amount detection step and the feature amount detection step, the difference value between the plurality of second peripheral pixels extracted in the second extraction step is used to determine the pixel of interest and the high quality image data. The method includes a learning step of learning prediction means for predicting a difference value between another pixel adjacent to the pixel of interest and a storage step of storing the prediction means learned in the learning step.
[0071]
The program of the second recording medium according to the present invention comprises: a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data, and a feature amount of the pixel of interest based on the plurality of first peripheral pixels extracted in the first extraction step. For each feature amount detected in the feature amount detection step to be detected, and for the feature amount detected in the feature amount detection step, the target pixel and the high-quality image data A learning step of learning a prediction unit for predicting a difference value between another pixel adjacent to the target pixel in the target pixel.
[0072]
A second program according to the present invention includes: a first extracting step of extracting a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data, and a feature amount of the pixel of interest based on the plurality of first peripheral pixels extracted in the first extraction step. For each feature amount detected in the feature amount detection step to be detected, and for the feature amount detected in the feature amount detection step, the target pixel and the high-quality image data And a learning step of learning a prediction unit for predicting a difference value between another pixel adjacent to the pixel of interest within the target pixel.
[0073]
A first image processing apparatus according to the present invention includes a first extraction unit that extracts a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction unit that extracts a plurality of second peripheral pixels in the input image data corresponding to the pixel of interest, and detects a feature amount of the plurality of first peripheral pixels extracted by the first extraction unit A first target pixel is predicted from a difference value between a plurality of second peripheral pixels extracted by the second extracting unit based on the characteristic amount detecting means to be executed and the characteristic amount detected by the characteristic amount detecting means. A first predictor and a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, corresponding to the first target pixel and the second target pixel The pixel value of the first pixel of interest from the pixel value of the corresponding pixel in the input image data Characterized in that it comprises a second prediction means for predicting, based on the calculated value.
[0074]
A first image processing method according to the present invention includes a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the pixel of interest, and detecting feature amounts of the plurality of first peripheral pixels extracted in the first extraction step A first target pixel is predicted from a difference value between a plurality of second peripheral pixels extracted in the second extraction step, based on the feature value detection step to be performed and the feature value detected in the feature value detection step. A first prediction step, wherein a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, corresponds to the first target pixel and the second target pixel Of the corresponding pixel in the input image data Characterized in that it comprises a second prediction step of predicting, based on the value obtained by subtracting the pixel value of the first pixel of interest from the pixel value.
[0075]
The program of the third recording medium according to the present invention includes a first extracting step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to one target pixel, and a feature amount of the plurality of first peripheral pixels extracted in the first extraction step. Predicting a first target pixel from a difference value between a plurality of second peripheral pixels extracted in a second extraction step based on a feature amount detection step to be detected and the feature amount detected in the feature amount detection step A first prediction step, and a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, as a first target pixel and a second target pixel. The corresponding pair in the input image data Characterized in that it comprises a second prediction step of predicting, based on the value obtained by subtracting the pixel value of the first target pixel from the pixel value of the pixel.
[0076]
A third program according to the present invention provides a computer with a first extracting step of extracting a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to one target pixel, and a feature amount of the plurality of first peripheral pixels extracted in the first extraction step. Predicting a first target pixel from a difference value between a plurality of second peripheral pixels extracted in a second extraction step based on a feature amount detection step to be detected and the feature amount detected in the feature amount detection step A first prediction step, and a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, as a first target pixel and a second target pixel. Corresponding input image data Characterized in that to execute a second prediction step of predicting, based of the value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel.
[0077]
A second image processing apparatus according to the present invention includes a first extraction unit that extracts a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction unit that extracts a plurality of second peripheral pixels in the input image data corresponding to the pixel of interest, and detects a feature amount of the plurality of first peripheral pixels extracted by the first extraction unit A pixel of a first pixel of interest from a difference value between a plurality of second peripheral pixels extracted by the second extracting unit based on the characteristic amount detected by the characteristic amount detecting unit and the characteristic amount detected by the characteristic amount detecting unit First prediction means for predicting a difference value between the value and a pixel value of a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel; Pixel values of corresponding pixels in the input image data corresponding to the target pixel of interest and the second target pixel, And second prediction means for predicting the first target pixel and the second target pixel from the difference between the pixel value of the first target pixel and the pixel value of the second target pixel. I do.
[0078]
According to a second image processing method of the present invention, a first extraction step of extracting a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the pixel of interest, and detecting feature amounts of the plurality of first peripheral pixels extracted in the first extraction step A pixel value of a first target pixel from a difference value between a plurality of second peripheral pixels extracted in the second extraction step based on the feature value detection step to be performed and the feature value detected in the feature value detection step. A first prediction step of predicting a difference value between the value and a pixel value of a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel; Input pixels corresponding to the pixel of interest and the second pixel of interest. A second prediction unit that predicts the first target pixel and the second target pixel from the pixel value of the corresponding pixel in the image data and a difference value between the pixel value of the first target pixel and the pixel value of the second target pixel; And a prediction step.
[0079]
The program of the fourth recording medium according to the present invention includes a first extracting step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to one target pixel, and a feature amount of the plurality of first peripheral pixels extracted in the first extraction step. Based on a feature value detection step to be detected and a feature value detected in the feature value detection step, a difference value between the plurality of second peripheral pixels extracted in the second extraction step is used to determine a first pixel of interest. A first prediction step of predicting a difference value between the pixel value and a pixel value of a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel; A pair of the first pixel of interest and the second pixel of interest The first target pixel and the second target pixel are predicted from the pixel value of the corresponding pixel in the input image data to be processed and the difference value between the pixel value of the first target pixel and the pixel value of the second target pixel. And a second prediction step.
[0080]
A fourth program according to the present invention provides a computer with a first extracting step of extracting a plurality of first peripheral pixels in input image data corresponding to a first target pixel in high-quality image data; A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to one target pixel, and a feature amount of the plurality of first peripheral pixels extracted in the first extraction step. Based on a feature value detection step to be detected and a feature value detected in the feature value detection step, a difference value between the plurality of second peripheral pixels extracted in the second extraction step is used to determine a first pixel of interest. A first prediction step of predicting a difference value between the pixel value and a pixel value of a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel; 1st pixel of interest and 2nd pixel of interest From the pixel value of the corresponding pixel in the input image data corresponding to and the difference between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest, the first pixel of interest and the second pixel of interest are A second prediction step for performing prediction is performed.
[0081]
In the first learning device and method, the first recording medium, and the first program of the present invention, a plurality of first peripheral pixels in input image data corresponding to a target pixel in high-quality image data are used. A plurality of second peripheral pixels in the input image data corresponding to the extracted pixel of interest are extracted, and a feature amount of the pixel of interest is detected based on the plurality of first peripheral pixels. Then, a prediction unit for predicting a target pixel from a difference value between a plurality of second peripheral pixels is learned for each detected feature amount.
[0082]
In the second learning device and method, the second recording medium, and the second program according to the present invention, a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data are used. A plurality of second peripheral pixels in the input image data corresponding to the extracted pixel of interest are extracted, and a feature amount of the pixel of interest is detected based on the plurality of first peripheral pixels. A prediction for predicting a difference value between the target pixel and another pixel adjacent to the target pixel in the high-quality image data from a difference value between the plurality of second peripheral pixels for each detected feature amount. The means are learned.
[0083]
The learning device may be an independent device or a block that performs a learning process.
[0084]
In the first image processing apparatus and method, the third recording medium, and the third program of the present invention, a plurality of first image data in the input image data corresponding to a first target pixel in the high-quality image data is provided. Are extracted, a plurality of second peripheral pixels in the input image data corresponding to the first target pixel are extracted, and the feature amounts of the plurality of first peripheral pixels are detected. Then, a first target pixel is predicted from a difference value between the plurality of second peripheral pixels based on the detected feature amount, and the first target pixel is located at a position spatially close to the first target pixel. A value obtained by subtracting the pixel value of the first pixel of interest from the pixel value of the corresponding pixel in the input image data, wherein the second pixel of interest in the quality image data corresponds to the first pixel of interest and the second pixel of interest. Predicted based on
[0085]
According to the second image processing apparatus and method, the fourth recording medium, and the fourth program of the present invention, a plurality of first image data in input image data corresponding to a first target pixel in high-quality image data is provided. Are extracted, a plurality of second peripheral pixels in the input image data corresponding to the first target pixel are extracted, and the feature amounts of the plurality of first peripheral pixels are detected. Then, the pixel value of the first target pixel and the pixel value of the first target pixel are arranged at positions spatially close to the first target pixel from the difference values between the plurality of second peripheral pixels based on the detected feature amount. A difference value between the pixel value of the second pixel of interest in the high-quality image data and the pixel value of the corresponding pixel in the input image data corresponding to the first pixel of interest and the second pixel of interest, and The first target pixel and the second target pixel are predicted from the difference between the pixel value of the first target pixel and the pixel value of the second target pixel.
[0086]
The image processing device may be an independent device or a block that performs image processing.
[0087]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 5 is a block diagram showing the configuration of an embodiment of the image processing apparatus according to the present invention.
[0088]
In this image processing apparatus, for example, an SD image is input, a difference image of the input SD image is generated, and an HD image is output by applying a class classification adaptive process to the difference image. It has become so.
[0089]
That is, the image processing apparatus includes a difference image generation unit 101, a class tap extraction unit 102, a feature value calculation unit 103, a class classification unit 104, a coefficient memory 105, a prediction tap extraction unit 106, and a pixel value calculation unit 107. You. An input image, for example, an SD image, for which spatial resolution is to be created is input to the image processing apparatus.
[0090]
The input image, which is the input SD image, is supplied to the difference image generation unit 101, the class tap extraction unit 102, and the feature amount calculation unit 103.
[0091]
The difference image generation unit 101 generates a difference image from an input image that is an SD image, and supplies the generated difference image to the class tap extraction unit 102, the feature amount calculation unit 103, and the prediction tap extraction unit 106.
[0092]
FIG. 6 is a diagram illustrating a difference image generated by the difference image generation unit 101.
[0093]
The horizontal direction in FIG. 6 indicates, for example, a spatial direction X which is a horizontal direction on the image, and the vertical direction in FIG. 6 indicates, for example, a spatial direction Y which is a vertical direction on the image. In FIG. 6, each square (square) indicates a pixel of the input image, and x0 to x14 indicate pixel values of each pixel of the input image.
[0094]
In FIG. 6, d0 to d12 indicate difference values of pixel values of pixels adjacent in the horizontal direction. That is, d0, d1, d2, and d3 indicate a value obtained by subtracting x0 from x1, a value obtained by subtracting x1 from x2, a value obtained by subtracting x2 from x3, and a value obtained by subtracting x3 from x4. Also, d5, d6, d7, and d8 indicate a value obtained by subtracting x5 from x6, a value obtained by subtracting x6 from x7, a value obtained by subtracting x7 from x8, and a value obtained by subtracting x8 from x9. Similarly, d9, d10, d11, and d12 indicate a value obtained by subtracting x10 from x11, a value obtained by subtracting x11 from x12, a value obtained by subtracting x12 from x13, and a value obtained by subtracting x13 from x14.
[0095]
For example, as illustrated in FIG. 6, the difference image generation unit 101 calculates a difference value by subtracting a pixel value of a pixel adjacent to the left side of the pixel from a pixel value of all pixels of the input image. By applying the processing, a difference image including difference values corresponding to pixel values of the input image is generated. That is, the difference image generation unit 101 generates a difference image including substantially the same number of difference values as the number of pixels of the input image.
[0096]
Note that the difference image generation unit 101 applies, for example, a process of subtracting the pixel value of a pixel adjacent to the right side of the pixel from all the pixels of the input image to calculate a difference value. Of course, a difference image composed of difference values corresponding to the pixel values of the input image may be generated.
[0097]
The difference image generation unit 101 has a built-in frame memory (not shown), and temporarily stores the difference image of the SD image input to the image processing apparatus and the input image as the SD image, for example, in frame (or field) units. Remember. Note that, in the present embodiment, the difference image generation unit 101 can store the input image and the difference image of a plurality of frames in a built-in frame memory by bank switching, and thereby, Even if the SD image input to the image processing apparatus is a moving image, the processing can be performed in real time.
[0098]
The class tap extracting unit 102 sequentially sets the HD pixels (samples) of the HD image to be obtained by the class classification adaptive processing as the target pixels. Then, the class tap extracting unit 102 extracts and generates a class tap used for class classification of the pixel of interest from the difference image stored in the difference image generating unit 101, and outputs the generated class tap to the feature amount calculating unit 103. That is, the class tap extracting unit 102 extracts a plurality of peripheral pixels (class taps) in the input image corresponding to the target pixel of the high quality image compared to the input image.
[0099]
More specifically, for example, the class tap extraction unit 102 extracts, from the difference image stored in the difference image generation unit 101, a plurality of difference values that are spatially or temporally close to the position of the pixel of interest. Thus, a class tap is output to the feature amount calculation unit 103.
[0100]
Here, in FIG. 7, a mark represents an SD pixel constituting the SD image, and a mark represents an HD pixel constituting the HD image. Further, in FIG. 7, the HD image has twice the number of pixels in the horizontal direction and the vertical direction as compared with the SD image.
[0101]
Further, in FIG. 7, a mark “△” indicates a difference value constituting a difference image.
[0102]
For example, as illustrated in FIG. 7, the class tap extracting unit 102 stores, in the difference image generating unit 101, 3 × 3 difference values in the horizontal and vertical directions that are close to the position of the target pixel, as illustrated in FIG. A class tap (peripheral pixels) is obtained by extracting from the difference image.
[0103]
In FIG. 7, one HD pixel of interest of the HD image is represented by y⁽¹⁾It expresses. In FIG. 7, among the 3 × 3 difference values forming the class tap, the first row, first column, first row, second column, first row, third column, second row, first column, The difference values of the second row and second column, the second row and third column, the third row and first column, the third row and second column, and the third row and third column are represented by d, respectively.⁽¹⁾, D⁽²⁾, D⁽³⁾, D⁽⁴⁾, D⁽⁵⁾, D⁽⁶⁾, D⁽⁷⁾, D⁽⁸⁾, D⁽⁹⁾It expresses. Difference value d⁽¹⁾, D⁽²⁾, D⁽³⁾, D⁽⁴⁾, D⁽⁵⁾, D⁽⁶⁾, D⁽⁷⁾, D⁽⁸⁾, D⁽⁹⁾The SD pixels located on the right side of⁽²⁾, X⁽³⁾, X⁽⁴⁾, X⁽⁶⁾, X⁽⁷⁾, X⁽⁸⁾, X⁽¹⁰⁾, X⁽¹¹⁾, X⁽¹²⁾It expresses. Difference value d⁽¹⁾The left SD pixel of x⁽¹⁾And the difference value d⁽⁴⁾The left SD pixel of x⁽⁵⁾And the difference value d⁽⁷⁾The left SD pixel of x⁽⁹⁾Expressed by
[0104]
In the case shown in FIG. 7, the difference value d⁽¹⁾Is the SD pixel x⁽²⁾From SD pixel x⁽¹⁾Is subtracted, and the difference value d⁽²⁾Is the SD pixel x⁽³⁾From SD pixel x⁽²⁾Is subtracted, and the difference value d⁽³⁾Is the SD pixel x⁽⁴⁾From SD pixel x⁽³⁾Is subtracted.
[0105]
In addition, in the case shown in FIG.⁽⁴⁾Is the SD pixel x⁽⁶⁾From SD pixel x⁽⁵⁾Is subtracted, and the difference value d⁽⁵⁾Is the SD pixel x⁽⁷⁾From SD pixel x⁽⁶⁾Is subtracted, and the difference value d⁽⁶⁾Is the SD pixel x⁽⁸⁾From SD pixel x⁽⁷⁾Is subtracted.
[0106]
Similarly, in the case shown in FIG.⁽⁷⁾Is the SD pixel x⁽¹⁰⁾From SD pixel x⁽⁹⁾Is subtracted, and the difference value d⁽⁸⁾Is the SD pixel x⁽¹¹⁾From SD pixel x⁽¹⁰⁾Is subtracted, and the difference value d⁽⁹⁾Is the SD pixel x⁽¹²⁾From SD pixel x⁽¹¹⁾Is subtracted.
[0107]
That is, the difference value d⁽¹⁾Or difference value d⁽⁹⁾Is a difference value between pixel values of adjacent pixels of the SD image.
[0108]
For example, the class tap extracting unit 102 determines that the target pixel y⁽¹⁾, 3 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽⁹⁾Is extracted from the difference image stored in the difference image generation unit 101 to be a class tap of the difference image.
[0109]
The class tap extracting unit 102 supplies the class tap of the extracted difference image to the class classifying unit 104 via the feature amount calculating unit 103.
[0110]
Further, the class tap extracting unit 102 extracts a class tap (pixels of the input image) of the input image from the input image which is the SD image and supplies the class tap to the feature amount calculating unit 103 separately from the class tap of the difference image.
[0111]
For example, the class tap extracting unit 102 determines that the target pixel y⁽¹⁾, 4 × 3 SD pixels × horizontal × vertical shown in FIG.⁽¹⁾Or SD pixel x⁽¹²⁾Is extracted from the input image to be a class tap of the input image.
[0112]
The feature amount calculation unit 103 detects and detects a feature amount of the plurality of peripheral pixels based on the plurality of peripheral pixels extracted by the class tap extraction unit 102, that is, the class tap of the difference image or the class tap of the input image. The obtained feature amount is supplied to the class classification unit 104. In other words, the feature calculation unit 103 calculates the feature from the class tap of the difference image or the class tap of the input image, and supplies the calculated feature to the class classification unit 104. Since the class tap of the difference image is made up of the differences between the peripheral pixels, the feature amount based on the class tap of the difference image can be said to be a feature amount of a plurality of peripheral pixels.
[0113]
For example, the feature amount calculation unit 103 calculates a motion vector of a peripheral pixel based on a class tap of an input image which is an SD image supplied from the class tap extraction unit 102, and uses the calculated motion vector as a feature amount as a class. The information is supplied to the classification unit 104. Further, for example, based on the class tap of the input image which is the SD image supplied from the class tap extracting unit 102, the feature amount calculating unit 103 may input the input image located at a position spatially or temporally close to the position of the pixel of interest. The spatial or temporal change (activity) of the pixel values of a plurality of pixels (peripheral pixels) is calculated, and the calculated change in the pixel value is supplied to the classifying unit 104 as a feature amount.
[0114]
Further, for example, based on the class tap of the input image, which is the SD image, supplied from the class tap extracting unit 102, the feature amount calculating unit 103 calculates a plurality of input images that are spatially close to the pixel of interest. The slope of the spatial change of the pixel value of the pixel (peripheral pixel) is calculated, and the calculated slope of the change of the pixel value is supplied to the classifying unit 104 as a feature amount.
[0115]
Further, for example, based on the class tap of the difference image supplied from the class tap extraction unit 102, the feature amount calculation unit 103 may calculate a plurality of differences of the difference image at a position spatially or temporally close to the position of the pixel of interest. The spatial or temporal change of the value is calculated, and the calculated change of the difference value is supplied to the classifying unit 104 as a feature amount. For example, based on the class taps of the difference image supplied from the class tap extraction unit 102, the feature amount calculation unit 103 calculates an autocorrelation coefficient of a difference value spatially or temporally close to the position of the pixel of interest. The calculated autocorrelation coefficient is supplied to the classifying unit 104 as a feature amount.
[0116]
As described above, the feature amount calculation unit 103 detects the feature amounts of a plurality of peripheral pixels based on the class tap of the difference image or the class tap of the input image, for example, by the above-described calculation, and classifies the detected feature amounts into a class. The information is supplied to the classification unit 104.
[0117]
Further, the feature amount calculation unit 103 supplies the class tap of the difference image and the class tap of the input image to the class classification unit 104 as they are, separately from the feature amount.
[0118]
The Laplacian, Sobel, or variance of the class tap of the difference image or the class tap of the input image can be adopted as the feature amount.
[0119]
Furthermore, the feature value calculation unit 103 detects feature values of a plurality of peripheral pixels for the target pixel based on the input image, and supplies the detected feature values to the class classification unit 104. For example, the feature value calculation unit 103 calculates a motion vector, a spatial or temporal change of pixel values of peripheral pixels, Laplacian, Sobel, or variance based on the input image, and uses the calculated result as a feature value. This is supplied to the class classification unit 104.
[0120]
In addition, the feature value calculation unit 103 detects feature values of a plurality of peripheral pixels with respect to the target pixel based on the difference image, and supplies the detected feature values to the class classification unit 104. For example, the feature value calculation unit 103 calculates a motion vector, a spatial or temporal change in pixel values of peripheral pixels, Laplacian, Sobel, or variance based on the difference image, and uses the calculated result as a feature value. This is supplied to the class classification unit 104.
[0121]
According to the image processing apparatus of the present invention, a feature amount different from a feature amount calculated from an SD image can be easily calculated from a difference image. Thereby, in the class classification process, the target pixel can be classified into a more detailed class, and as a result, the accuracy of prediction of the pixel value can be improved.
[0122]
The classifying unit 104 classifies the target pixel into one of one or more classes based on the class tap of the difference image, the class tap of the input image, and the feature amount from the feature amount calculating unit 103. Then, the class code corresponding to the class of the pixel of interest obtained as a result is supplied to the coefficient memory 105 and the prediction tap extracting unit 106.
[0123]
For example, the class classification unit 104 performs a 1-bit ADRC (Adaptive Dynamic Range Coding) process on the class tap of the difference image, and sets the resulting ADRC code as a class code.
[0124]
In the K-bit ADRC process, the maximum value MAX and the minimum value MIN of the difference value of the difference image forming the class tap are detected, and DR = MAX−MIN is set as a local dynamic range. Based on the difference, the difference value forming the class tap is requantized to K bits. That is, the minimum value MIN is subtracted from each difference value constituting the class tap, and the subtracted value is DR / 2.^KDivided by (quantization). Therefore, when the class tap is subjected to the 1-bit ADRC process, each difference value forming the class tap has 1 bit. Then, in this case, a bit string obtained by arranging, in a predetermined order, one-bit values of the respective difference values constituting the class tap is output as an ADRC code.
[0125]
However, the class classification can also be performed by, for example, regarding the difference values forming the class taps as components of the vector and performing vector quantization on the vector.
[0126]
As the class classification, it is also possible to perform one class classification. In this case, the class classification unit 104 outputs a fixed class code regardless of what class tap is supplied.
[0127]
Here, it can be said that the ADRC code is one of the feature amounts of a plurality of peripheral pixels detected based on the class tap of the difference image. That is, the class tap of the difference image is subjected to 1-bit ADRC processing, and the class code including the ADRC code obtained as a result indicates the feature amount of a plurality of peripheral pixels.
[0128]
Similarly, for example, the class classification unit 104 performs 1-bit ADRC processing on a class tap of an input image, and sets an ADRC code obtained as a result to a class code.
[0129]
Further, for example, the class classification unit 104 uses the feature amount from the feature amount calculation unit 103 as a class code as it is. For example, the class classification unit 104 orthogonally transforms a plurality of feature amounts from the feature amount calculation unit 103 and sets the obtained value as a class code.
[0130]
Further, for example, the class classification unit 104 combines (combines) a class code based on the class tap of the difference image, a class code based on the class tap of the input image, and a class code based on the feature amount, A final class code is generated, and the final class code is supplied to the coefficient memory 105 and the prediction tap extracting unit 106.
[0131]
Note that any one of a class code based on the class tap of the difference image, a class code based on the class tap of the input image, and a class code based on the feature amount is set as a final class code. It may be.
[0132]
As described above, the class code output from the class classification unit 104 indicates the feature amounts of a plurality of peripheral pixels around the target pixel.
[0133]
The coefficient memory 105 is a tap coefficient obtained by learning, for each of one or more classes, a relationship between teacher data, which is HD image data as a learning teacher, and student data, which is a difference value as a learning student. I remember. Then, when the class code of the pixel of interest is supplied from the class classification unit 104, the coefficient memory 105 reads out the tap coefficient stored at the address corresponding to the class code to obtain the tap coefficient of the class of the pixel of interest. Obtained and supplied to the pixel value calculation unit 107. The details of the method of learning the tap coefficients stored in the coefficient memory 105 will be described later.
[0134]
The prediction tap extraction unit 106 extracts a plurality of difference values of the difference image around the pixel of interest, corresponding to the pixel of interest, which is used to calculate the (predicted value of) the pixel of interest in the pixel value calculation unit 107.
[0135]
That is, based on the class code supplied from the class classification unit 104, the prediction tap extraction unit 106 determines the prediction tap used for obtaining (the predicted value of) the pixel of interest in the pixel value calculation unit 107, by using the difference image generation unit 101. Is generated by extracting from the difference image stored in the pixel value calculation unit 107, and the generated prediction tap is supplied to the pixel value calculation unit 107. For example, the prediction tap extracting unit 106 extracts a plurality of difference values spatially or temporally close to the position of the pixel of interest from the difference image stored in the difference image generation unit 101 to obtain a prediction tap, It is supplied to the pixel value calculation unit 107.
[0136]
For example, the prediction tap extraction unit 106 determines the target pixel y⁽¹⁾, 3 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽⁹⁾Is extracted from the difference image stored in the difference image generation unit 101 to be a prediction tap.
[0137]
Note that the difference value used as a class tap and the difference value used as a prediction tap may be the same or different. That is, the class tap and the prediction tap can be independently configured (generated).
[0138]
Further, the difference value used as the prediction tap may be different for each class or may be the same.
[0139]
Note that the tap structure of the class tap or the prediction tap is not limited to the 3 × 3 difference values or the 4 × 3 SD pixels shown in FIG.
[0140]
The pixel value calculation unit 107 predicts a target pixel from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0141]
More specifically, the pixel value calculation unit 107 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 105.₁, W₂,..., And the prediction tap (difference value constituting the same) d from the prediction tap extraction unit 106₁, D₂,... Are used to calculate (the predicted value of) the pixel of interest y, and this is set as the pixel value of the HD pixel. The pixel value calculation unit 107 outputs an HD image including the pixel values calculated as described above as an output image.
[0142]
That is, in the adaptive processing in the image processing apparatus according to the present invention, the difference value between the pixel values of the input image which is the SD image is converted into an HD image by mapping (mapping) using a predetermined tap coefficient. .
[0143]
Now, assuming that, for example, a linear linear combination model is adopted as a mapping method using the tap coefficients, (the pixel value of) the HD pixel y predicts the HD pixel from the difference value forming the difference image. It is obtained by the following linear linear expression (linear combination) using a plurality of difference values extracted as prediction taps for performing the calculation and tap coefficients.
(Equation 9)

[0144]
However, in equation (9), d_nRepresents the difference value of the n-th difference image that constitutes the prediction tap for the HD pixel y, and w_nRepresents the n-th tap coefficient multiplied by the n-th difference value. Note that in equation (9), the prediction tap has N difference values d.₁, D₂, ..., d_NIt is assumed to be composed of
[0145]
Here, the pixel value y of the HD pixel can be determined not by the linear linear expression shown in Expression (9) but by a higher-order expression of second or higher order.
[0146]
Now, let the true value of the pixel value of the HD pixel of the k-th sample be y_kAnd its true value y obtained by equation (9)_kThe predicted value of_k′, The prediction error e_kIs represented by the following equation.
(Equation 10)

[0147]
Predicted value y of equation (10)_k′ Is obtained according to equation (9), and therefore y in equation (10)_kIs replaced according to equation (9), the following equation is obtained.
(Equation 11)

[0148]
However, in equation (11), d_{n, k}Represents the n-th difference value forming the prediction tap for the HD pixel of the k-th sample.
[0149]
The prediction error e in equation (11)_kTap coefficient w with 0_nIs optimal for predicting HD pixels, but for all HD pixels, such a tap coefficient w_nIs generally difficult to find.
[0150]
Then, tap coefficient w_nAs a criterion indicating that is the optimal one, for example, if the least squares method is adopted, the optimal tap coefficient w_nCan be obtained by minimizing the sum E of square errors represented by the following equation as a statistical error.
(Equation 12)

[0151]
However, in equation (12), K is the HD pixel y_kAnd its HD pixel y_kDifference value d that constitutes a prediction tap for_{1, k}, D_{2, k}, ..., d_{N, k}And the number of samples in the set.
[0152]
Tap coefficient w that minimizes (minimizes) the sum E of the squared errors in equation (12)_nCalculates the sum E as a tap coefficient w_nIs set to 0, and therefore the following equation must be satisfied.
(Equation 13)

[0153]
Therefore, the above equation (11) is changed to the tap coefficient w._nBy partial differentiation with, the following equation is obtained.
[Equation 14]

[0154]
From equations (13) and (14), the following equation is obtained.
[Equation 15]

[0155]
E in equation (15)_kBy substituting equation (11) into equation (15), equation (15) can be represented by a normal equation represented by equation (16).
(Equation 16)

[0156]
The normal equation of Expression (16) is the HD pixel y_kAnd the difference value d_{n, k}Are prepared in a certain number, so that the tap coefficient w to be obtained can be obtained._nTherefore, by solving equation (16) (however, to solve equation (16), the tap coefficient w_n, The matrix on the left side must be regular), and the optimal tap coefficient w_nCan be requested. In solving equation (16), for example, a sweeping-out method (Gauss-Jordan elimination method) can be adopted.
[0157]
As described above, a large number of HD pixels y₁, Y₂, ..., y_KIs used as teacher data serving as a teacher of tap coefficient learning, and each HD pixel y_kDifference value d that constitutes a prediction tap for_{1, k}, D_{2, k}, ..., d_{N, k}Is used as student data for learning tap coefficients, by solving equation (16), an optimal tap coefficient w_n, And the tap coefficient w_nThe adaptive processing according to the present invention is to map (convert) the difference image to HD image data according to Expression (9) using Expression (9).
[0158]
Note that the adaptive processing differs from, for example, simple interpolation processing in that components included in an HD image, which are not included in an SD image, are reproduced. That is, the adaptive processing is the same as the interpolation processing using the so-called interpolation filter as far as only the equation (9) is viewed, but the tap coefficient w corresponding to the tap coefficient of the interpolation filter is used._nCan be obtained by learning using the HD image data as the teacher data and the difference image as the student data, so that the components included in the HD image can be reproduced. From this, it can be said that the adaptive processing has a so-called image creation (resolution imagination) action.
[0159]
Here, the tap coefficient w_nIn the learning of, the tap coefficient w for performing various conversions depends on what is used as a combination of the teacher data y and the student data d._nCan be requested.
[0160]
That is, for example, when the HD image data is adopted as the teacher data y and the difference value of the SD image data obtained by adding noise or blur to the HD image data is adopted as the student data d, the image is assigned to the image data. Tap coefficient w for converting to an image from which noise and blur have been removed_nCan be obtained. Further, for example, when the HD image data is adopted as the teacher data y and the difference value of the SD image data in which the resolution of the HD image data is degraded is adopted as the student data d, the image is converted to the resolution. Coefficient w to convert to image with improved_nCan be obtained.
[0161]
Next, with reference to the flowchart in FIG. 8, image processing performed by the image processing apparatus in FIG. 5 to create an HD image from an SD image will be described.
[0162]
In step S101, the difference image generation unit 101 calculates the difference between the pixel values of the SD image from the input image, which is the SD image, as described with reference to FIG. Is generated. The difference image is supplied to the class tap extraction unit 102, the feature amount calculation unit 103, and the prediction tap extraction unit 106, and the procedure proceeds to step S102. Further, the difference image generation unit 101 supplies the input image that is the SD image to the class tap extraction unit 102.
[0163]
In step S102, the class tap extraction unit 102 extracts a plurality of difference values spatially or temporally close to the position of the pixel of interest from the difference image as class taps of the difference image, and generates class taps of the difference image. The class tap extracting unit 102 extracts a plurality of pixels spatially or temporally close to the position of the target pixel from the input image as class taps of the input image, and generates class taps of the input image. The class tap of the difference image and the class tap of the input image are supplied to the feature value calculation unit 103 and the class classification unit 104, and the procedure proceeds to step S103. In step S103, the feature value calculation unit 103 calculates a feature value from the class tap of the difference image, the class tap of the input image, the input image, or the difference image, and supplies the calculated feature value to the class classification unit 104. The process proceeds to step S104.
[0164]
In step S <b> 104, the classifying unit 104 assigns one of one or more classes to one of the one or more classes based on the class tap of the difference image, the class tap of the input image, or the feature amount supplied from the feature amount calculating unit 103. The class of the pixel of interest is classified, and the resulting class code representing the class of the pixel of interest is supplied to the coefficient memory 105 and the prediction tap extracting unit 106, and the process proceeds to step S105.
[0165]
In step S105, the prediction tap extraction unit 106 extracts a plurality of difference values spatially or temporally close to the position of the target pixel from the difference image as prediction taps based on the class code supplied from the class classification unit 104. To generate a prediction tap. The prediction tap is supplied to the pixel value calculation unit 107, and the procedure proceeds to Step S106.
[0166]
In step S106, the coefficient memory 105 reads the tap coefficient (prediction coefficient) stored at the address corresponding to the class code supplied from the class classification unit 104, thereby acquiring the tap coefficient of the class of the pixel of interest. Then, the tap coefficient is supplied to the pixel value calculation unit 107, and the process proceeds to step S107.
[0167]
In step S107, the pixel value calculation unit 107 calculates a (predicted value of) the pixel of interest from the difference value between the plurality of extracted peripheral pixels based on the feature amount, and proceeds to step S108. That is, in step S107, the pixel value calculation unit 107 performs the calculation shown in Expression (9) using the prediction tap from the prediction tap extraction unit 106 and the tap coefficient from the coefficient memory 105, and performs the calculation on the target pixel ( Is estimated).
[0168]
In step S108, the class tap extraction unit 102 determines whether there is a pixel that is not yet set as the target pixel among the pixels forming the target frame. If it is determined that there is a target pixel, the process returns to step S101. Is repeated.
[0169]
If it is determined in step S108 that there is no pixel that is not the pixel of interest, that is, if all HD pixels forming the frame of interest have been predicted, the process ends.
[0170]
As described above, the image processing apparatus having the configuration illustrated in FIG. 5 can generate an HD image from an input image that is an SD image and output the generated HD image.
[0171]
Here, an example of the autocorrelation coefficient (horizontal direction) of the SD image and the autocorrelation coefficient (horizontal direction) of the difference image are shown.
[0172]
In the SD image, when the distance is 1 pixel (when the distance is oneself), 2, 3, 4, 5, and 6, the autocorrelation coefficients are 1.000, 0.969, 0.915, 0.866, 0.826, 0.795.
[0173]
On the other hand, in the difference image of the same SD image, when the distance is 1, 2, 3, 4, 5, and 6, the autocorrelation coefficients are 1.000, 0. 368, -0.070, -0.153, -0.147, -0.116.
[0174]
It can be seen that the difference image has a negative correlation at a distance of three pixels, and the correlation is extremely low.
[0175]
According to the experiment, when the number of class taps is the same and the number of prediction taps is the same, when the class classification processing is performed based on the difference image as compared with the case where the classification processing is performed based on the normal SD image It was confirmed that an image with a higher SN ratio could be obtained.
[0176]
When classifying is performed on nine pixels of a normal SD image and nine pixels are extracted from the normal SD image as prediction taps and predicted, the SN ratio of the R, G, and B signals is 37. 060 dB, 34.605 dB and 32.542 dB.
[0177]
On the other hand, when classifying is performed using the nine difference values of the difference image and nine pixels are extracted and predicted from a normal SD image as prediction taps, the S / N ratio of the R, G, and B signals is: They were 37.595 dB, 34.939 dB and 32.655 dB, respectively.
[0178]
Furthermore, according to experiments, when the number of class taps is the same and the number of prediction taps is the same, a higher SN is obtained when the adaptive processing is applied to the difference image than when the adaptive processing is applied to the normal SD image. It was confirmed that an image having a ratio was obtained.
[0179]
That is, when classifying is performed using the nine difference values of the difference image and nine difference values are extracted from the difference image as prediction taps and predicted, the SN ratios of the R, G, and B signals are 37. It was 838 dB, 35.089 dB, and 32.704 dB.
[0180]
For comparison, class classification is performed using nine difference values of the difference image, and when 12 pixels are extracted and predicted from a normal SD image as a prediction tap, the SN ratio of the R signal, the G signal, and the B signal is: It was 37.946 dB, 35.177 dB, and 32.766 dB, respectively.
[0181]
With this, the class classification is performed using the nine difference values of the difference image, and when nine difference values are extracted from the difference image as prediction taps and predicted, the class classification is performed using the nine difference values of the difference image, and the prediction tap is performed. It can be seen that an image having an SN ratio substantially equal to that obtained when 12 pixels are extracted from a normal SD image and predicted is obtained.
[0182]
As described above, when the classification is performed on the difference image and the prediction tap is extracted from the difference image, an image with a higher SN ratio, that is, an image with higher accuracy can be obtained with less class taps or less prediction taps. Can be.
[0183]
In experiments, it was confirmed that when an image was predicted using a difference image, an image with better accuracy could be predicted near the edge of the image.
[0184]
As described above, according to the image processing apparatus of the present invention, a difference image is obtained by a relatively simple and low-computation pixel value subtraction process, and an image is created with a smaller number of class taps or prediction taps. As a result, as compared with a case where an image is created using a large number of class taps and prediction taps, the processing can be simplified as a whole, and the amount of calculation can be reduced.
[0185]
Furthermore, the results of the experiments show that the image processing apparatus of the present invention can create a more accurate image even with a smaller number of class taps or prediction taps.
[0186]
As described above, when the classification adaptive processing is applied to the input image, a higher-quality second image (output image) corresponding to the first image (input image) can be obtained. .
[0187]
In addition, a difference image including a difference value between pixel values of pixels adjacent in the spatial direction of the first image (input image) is generated, and a target pixel which is a target pixel of the second image (output image) is determined. A class tap used to perform a class classification for classifying into one of one or more classes is generated from the difference image, and a target pixel is classified based on the class tap to obtain a target pixel. Is generated from the difference image, and the relationship between the teacher data corresponding to the second image serving as a learning teacher and the student data corresponding to the difference image serving as a learning student is set to one or more. From the tap coefficients obtained by learning for each class, the tap coefficients of the class of the sample of interest are obtained, and the pixel of interest is calculated using the tap coefficients of the class of the sample of interest and the prediction taps. When to obtain the image is more less amount of calculation, with a simpler process, it is possible to obtain a more accurate image.
[0188]
Next, FIG. 9 is a block diagram illustrating a configuration example of an embodiment of an image processing apparatus that performs learning for obtaining a tap coefficient for each class stored in the coefficient memory 105 of FIG.
[0189]
For example, an HD image as image data for learning tap coefficients is input to the image processing device in FIG. 9. The HD image input to the image processing device is supplied to the SD image generation unit 131 and the teacher pixel extraction unit 139.
[0190]
The SD image generation unit 131 generates an SD image from the input teacher image, and supplies the SD image to the difference image generation unit 132 and the image memory 133. The SD image generating unit 131, for example, thins out the pixels of the HD image data as the teacher image, or calculates the average value of the four pixels of the HD image data and sets the average value as the pixel value of the SD image, and the like. An SD image corresponding to the HD image is generated. Here, the SD image needs to have an image quality corresponding to the SD image to be processed by the image processing apparatus in FIG.
[0191]
Upon generating an SD image corresponding to the teacher image (an SD image generated from the teacher image) as described above, the SD image generation unit 131 supplies the SD image to the difference image generation unit 132 and the image memory 133. .
[0192]
The difference image generation unit 132 generates a difference image as a student image from the SD image and supplies the generated difference image to the image memory 133 in the same process as the difference image generation unit 101. That is, for example, as shown in FIG. 6, the difference image generation unit 132 subtracts the pixel value of the pixel adjacent to the left side of the pixel from the pixel value of all the pixels of the SD image to obtain the difference value. By applying a process of calculating (sample), a difference image, which is a student image, including a difference value corresponding to the pixel value of the SD image is generated.
[0193]
The image memory 133 temporarily stores the difference image that is the student image from the difference image generation unit 132. Further, the image memory 133 temporarily stores the SD image supplied from the SD image generation unit 131.
[0194]
In the image processing apparatus shown in FIG. 9, tap coefficients are generated using the difference image of the SD image as student data.
[0195]
The class tap extracting unit 134 sequentially sorts the pixels included in the HD image as the teacher image corresponding to the difference image, which is the student image stored in the image 133, as in the case of the class tap extracting unit 102 in FIG. , The target pixel.
[0196]
Further, the class tap extracting unit 134 extracts and generates a class tap of the difference image for the pixel of interest from the difference image stored in the image memory 133, and supplies the generated class tap to the feature amount calculation unit 135. For example, the class tap extracting unit 134 determines the target pixel y⁽¹⁾, 3 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽⁹⁾Is extracted from the difference image stored in the image memory 133 to be a class tap of the difference image.
[0197]
Further, the class tap extracting unit 134 generates a class tap of the SD image for the target pixel by extracting the class tap from the SD image stored in the image memory 133, and supplies the generated class tap to the feature amount calculating unit 135. For example, the class tap extracting unit 134 determines the target pixel y⁽¹⁾, 4 × 3 SD pixels × horizontal × vertical shown in FIG.⁽¹⁾Or SD pixel x^{(1 2)}Is extracted from the SD image stored in the image memory 133 to be a class tap of the SD image.
[0198]
Here, the class tap extracting unit 134 generates a class tap having the same tap structure as that generated by the class tap extracting unit 102 in FIG.
[0199]
The class tap of the SD image generated by the class tap extracting unit 134 corresponds to the class tap of the input image generated by the class tap extracting unit 102.
[0200]
The feature amount calculation unit 135 detects the feature amount of the pixel of interest based on the plurality of peripheral pixels extracted by the class tap extraction unit 134. That is, the feature amount calculation unit 135 calculates the feature amount from the class tap of the difference image or the class tap of the SD image in the same process as the feature amount calculation unit 103, and supplies the calculated feature amount to the class classification unit 136. I do.
[0201]
For example, the feature amount calculation unit 135 calculates a motion vector of the pixel of interest based on the class tap of the SD image, and supplies the calculated motion vector to the class classification unit 136 as a feature amount. Further, for example, based on the class tap of the SD image, the feature amount calculation unit 135 may calculate the space of the pixel values of a plurality of pixels (peripheral pixels) of the SD image that are spatially or temporally close to the position of the target pixel. The change in target or time is calculated, and the calculated change in pixel value is supplied to the classification unit 136 as a feature amount.
[0202]
Note that, similarly to the feature amount calculation unit 103, the feature amount calculation unit 135 can obtain a Laplacian, a Sobel, or a variance of a pixel value as a feature amount.
[0203]
Further, similarly to the feature amount calculation unit 103, the feature amount calculation unit 135 obtains a feature amount from the class tap of the difference image.
[0204]
As described above, the feature amount calculation unit 135 supplies the feature amount of the detected target pixel to the class classification unit 136 based on the class tap of the SD image or the class tap of the difference image, that is, the plurality of peripheral pixels. In addition, the feature amount calculation unit 135 supplies the class tap of the SD image and the class tap of the difference image to the class classification unit 136.
[0205]
Furthermore, the feature amount calculation unit 135 detects feature amounts of a plurality of peripheral pixels with respect to the target pixel based on the SD image stored in the image memory 133, and supplies the detected feature amounts to the class classification unit 136. . For example, based on the SD image stored in the image memory 133, the feature amount calculation unit 135 calculates a motion vector, a spatial or temporal change in pixel values of peripheral pixels, a Laplacian, a Sobel, or a variance. Is supplied to the classifying unit 136 as a feature amount.
[0206]
Further, the feature amount calculation unit 135 detects feature amounts of a plurality of peripheral pixels with respect to the target pixel based on the difference image stored in the image memory 133, and supplies the detected feature amounts to the class classification unit 136. For example, based on the difference image stored in the image memory 133, the feature amount calculation unit 135 calculates a motion vector, a spatial or temporal change in pixel values of peripheral pixels, Laplacian, Sobel, or variance. Is supplied to the classifying unit 136 as a feature amount.
[0207]
The class classification unit 136 is configured in the same manner as the class classification unit 104 in FIG. 5, and based on a class tap of an SD image, a class tap of a difference image, or a feature amount from the feature amount calculation unit 135, one or more classes. The target pixel is classified into one of the classes, and a class code representing the class of the target pixel is supplied to the prediction tap extracting unit 137 and the learning memory 140.
[0208]
The prediction tap extraction unit 137 extracts a plurality of difference values of the difference image around the pixel of interest corresponding to the pixel of interest.
[0209]
That is, the prediction tap extracting unit 137 extracts and generates a prediction tap for the target pixel from the difference image stored in the image memory 133 based on the class code supplied from the class classification unit 136, and performs an addition operation. To the unit 138. Here, the prediction tap extraction unit 137 generates a prediction tap having the same tap structure as that generated by the prediction tap extraction unit 106 in FIG.
[0210]
For example, the prediction tap extracting unit 137 outputs the target pixel y⁽¹⁾, 3 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽⁹⁾Is extracted from the difference image stored in the image memory 133 to obtain a prediction tap.
[0211]
The teacher pixel extraction unit 139 extracts a pixel of interest as teacher data from the input image that is the teacher image, and supplies the extracted teacher data to the addition operation unit 138. For example, the teacher pixel extracting unit 139 extracts the target pixel y from the input image that is the teacher image.⁽¹⁾Is extracted as teacher data, and the extracted teacher data is supplied to the adding operation unit 138.
[0212]
That is, the teacher pixel extracting unit 139 takes the input HD image, which is the image data for learning, as it is, for example, as teacher data. Here, the HD image obtained by the image processing apparatus in FIG. 5 corresponds to the image quality of HD image data used as teacher data in the image processing apparatus in FIG.
[0213]
The addition calculation unit 138 and the normal equation calculation unit 141 use the teacher data serving as the pixel of interest and the prediction tap supplied from the prediction tap extraction unit 137 to classify the relationship between the teacher data and the student data into class classification. By learning for each class indicated by the class code supplied from the unit 136, a tap coefficient for each class is obtained. In other words, the addition operation unit 138 and the normal equation operation unit 141 learn a prediction unit for predicting a target pixel from a difference value between a plurality of extracted peripheral pixels for each detected feature amount.
[0214]
In this case, the prediction unit is a specific unit that predicts a target pixel from a difference value between a plurality of peripheral pixels. For example, the pixel value calculation unit 107 whose operation is defined by a tap coefficient for each class, or a pixel value calculation unit This refers to processing in the unit 107. Learning the prediction means for predicting a pixel of interest from a difference value between a plurality of peripheral pixels means, for example, realizing (constructing) a prediction means for predicting a pixel of interest from a difference value between a plurality of peripheral pixels. means.
[0215]
Therefore, learning a prediction unit for predicting a target pixel from a difference value between a plurality of peripheral pixels means, for example, obtaining a tap coefficient for each class. By obtaining tap coefficients for each class, the pixel value calculation unit 107 or the processing in the pixel value calculation unit 107 is specifically specified, and the pixel value calculation unit 107 is realized or the processing in the pixel value calculation unit 107 is executed. This is because you will be able to do that.
[0216]
That is, the addition operation unit 138 calculates the prediction tap (difference value) supplied from the prediction tap extraction unit 137 and the HD pixel that is the teacher data serving as the target pixel and supplied from the teacher pixel extraction unit 139. Expression (16) is added to the target.
[0217]
Specifically, the adding operation unit 138 calculates the difference value d as the student data constituting the prediction tap._{n, k}And multiplication (d) of the difference values in the matrix on the left side of equation (16)_{n, k}d_{n ', k}) And an operation equivalent to summation (Σ) is performed.
[0218]
Further, the adding operation unit 138 calculates the difference value d as the student data constituting the prediction tap._{n, k}And the HD pixel y which is the teacher data serving as the pixel of interest_kAnd the difference value and the HD pixel y in the vector on the right side of Expression (16)._kMultiplication (d_{n, k}y_k) And an operation equivalent to summation (Σ) is performed.
[0219]
Here, the addition refers to a process of setting the results of the multiplication process and the summation (Σ) process and the results of the multiplication process and the summation (Σ) process in the elements of each matrix in a normal equation.
[0220]
The addition calculation unit 138 performs the above-described addition using all pixels of the HD image as teacher data as the pixel of interest, and sets a normal equation corresponding to Expression (16) for each class. The equations are provided to a learning memory 140.
[0221]
The learning memory 140 stores the normal equation corresponding to the equation (16) supplied from the addition operation unit 138, in which the difference value is added as the student data and the HD pixel is added as the teacher data.
[0222]
The normal equation calculation unit 141 obtains the normal equation of Expression (16) for each class from the learning memory 140, solves the normal equation (learns for each class), and obtains a tap coefficient for each class. Output.
[0223]
The coefficient memory 142 stores the tap coefficient for each class output by the normal equation operation unit 141. That is, the coefficient memory 142 stores the learned prediction means.
[0224]
Next, with reference to a flowchart of FIG. 10, a description will be given of a learning process for obtaining a tap coefficient for each class, which is performed in the image processing apparatus of FIG.
[0225]
First, in step S131, the SD image generation unit 131 acquires learning image data that is an input image, and generates an SD image from the input image. The SD image is supplied to the difference image generation unit 132 and the image memory 133. The image memory 133 stores an SD image.
[0226]
Then, the process proceeds to step S132, where the difference image generation unit 132 obtains a difference between the pixel values of the SD image supplied from the SD image generation unit 131, and generates a difference image, which is a student image, including the difference values. The difference image is supplied to the image memory 133, and the image memory 133 stores the difference image, and the procedure proceeds to step S133.
[0227]
In step S133, as in the case of the class tap extraction unit 102 in FIG. 5, the class tap extraction unit 134 assigns one of the pixels of the HD image as the teacher data that has not yet been set as the target pixel to the target pixel. The class tap of the difference image corresponding to the target pixel is generated from the difference image as the student image stored in the image memory 133, and the class tap of the SD image is stored in the SD memory stored in the image memory 133. The class tap of the generated difference image and the generated class tap of the SD image are supplied to the feature amount calculation unit 135, and the process proceeds to step S134.
[0228]
In step S134, similarly to the case of the feature amount calculation unit 103 in FIG. 5, the feature amount calculation unit 135 calculates, for example, a motion vector from a plurality of peripheral pixels, that is, a class tap of a difference image and a class tap of an SD image. Alternatively, the feature amount of the pixel of interest, such as a change in the pixel value of a pixel of a plurality of SD images that are spatially or temporally close to the position of the pixel of interest, is calculated, and the calculated feature amount is sent to the class classification unit 136. Is supplied, and the process proceeds to step S135.
[0229]
Also, in step S134, the feature amount calculation unit 135 detects feature amounts of a plurality of peripheral pixels with respect to the target pixel based on the SD image stored in the image memory 133, and classifies the detected feature amounts into a class classification unit 136. To supply. Further, the feature amount calculation unit 135 detects feature amounts of a plurality of peripheral pixels with respect to the target pixel based on the difference image stored in the image memory 133, and supplies the detected feature amounts to the class classification unit 136.
[0230]
In step S135, the classifying unit 136 uses the class tap from the class tap extracting unit 134 and the feature amount from the feature amount calculating unit 135 to perform one or more processes in the same manner as in the case of the classifying unit 104 in FIG. The target pixel is classified into any one of the classes, and a class code representing the class of the target pixel is supplied to the prediction tap extracting unit 137 and the learning memory 140, and the process proceeds to step S136.
[0231]
In step S136, based on the class code supplied from the classifying unit 136, the prediction tap extracting unit 137 determines the prediction tap corresponding to the pixel of interest in the image memory, as in the case of the prediction tap extracting unit 106 in FIG. The image is extracted and generated from the difference image as the student image stored in the storage unit 133, supplied to the addition operation unit 138, and the process proceeds to step S137.
[0232]
In step S137, the teacher pixel extraction unit 139 extracts the pixel of interest, that is, the HD pixel that is the teacher pixel (teacher data) from the input image, supplies the extracted teacher data to the addition operation unit 138, and proceeds to step S138. .
[0233]
In step S138, the addition operation unit 138 targets the prediction tap (student data) supplied from the prediction tap extraction unit 137 and the teacher data supplied from the teacher pixel extraction unit 139 for each classified class. Then, the addition in the above-described equation (16) is performed, and the normal equation in which the student data and the teacher data are added is stored in the learning memory 140, and the process proceeds to step S139.
[0234]
Then, in step S139, the class tap extraction unit 134 determines whether or not there is any pixel of the HD image data as the teacher data that has not yet been set as the pixel of interest, that is, whether or not addition of all pixels has been completed. judge. If it is determined in step S139 that there is a pixel in the teacher data that is not the pixel of interest yet, the process returns to step S133, and the same processing is repeated.
[0235]
If it is determined in step S139 that none of the pixels of the teacher data is a pixel of interest, that is, it is determined that addition of all pixels has been completed, the process proceeds to step S140, and the normal equation calculation unit 141 determines that The normal equation of the class for which the tap coefficient has not yet been determined is read out from the learning memory 140 from the normal equation of the equation (16) obtained for each class by the addition in step S138 up to step S138. By solving the normal equation (learning for each class), tap coefficients of a predetermined class are obtained, supplied to and stored in the coefficient memory 142, and the process proceeds to step S141.
[0236]
That is, in steps S138 and 140, a prediction unit for predicting a pixel of interest from a difference value between a plurality of extracted peripheral pixels is learned for each detected feature amount.
[0237]
In step S141, the normal equation calculation unit 141 determines whether or not the calculation of the tap coefficients of all the classes has been completed. If it is determined that the calculation of the tap coefficients of all the classes has not been completed, the process returns to step S140. , And repeats the process of obtaining the tap coefficient of the next class.
[0238]
If it is determined in step S141 that the calculation of the tap coefficients of all the classes has been completed, the coefficient memory 142 stores the tap coefficients of all the classes, that is, stores the learned prediction means, and the process ends. .
[0239]
As described above, the tap coefficients for each class stored in the coefficient memory 142 are stored in the coefficient memory 105 in the image processing apparatus in FIG.
[0240]
In the above-described tap coefficient learning process, there may be a case where a class in which the number of normal equations necessary for obtaining the tap coefficient cannot be obtained may occur depending on the prepared learning image data or the like. For such a class, for example, the normal equation operation unit 141 can output a default tap coefficient. Alternatively, when a class in which the number of normal equations required for obtaining the tap coefficient is not obtained, a new image data for learning is prepared, and the learning of the tap coefficient may be performed again. good. The same applies to the learning of the tap coefficient in the learning device described later.
[0241]
As described above, when learning is performed for each class based on the first image (input image) and the second image (output image), a higher image quality corresponding to the first image is obtained. A tap coefficient for obtaining the second image can be obtained.
[0242]
Also, a difference image composed of difference values of pixel values of pixels adjacent to each other in the spatial direction of the first image (input image), which is a student of tap coefficient learning, is generated, and the difference image becomes a tap coefficient learning teacher. The class tap used for classifying the pixel of interest out of the pixels of the second image (output image) into any one of one or more classes is used as a learning student. Generating a prediction tap from the difference image, which is generated from the difference image, classifies the pixel of interest based on the class tap, and is used for obtaining the pixel of interest, and generates the second image using the pixel of interest and the prediction tap. When the tap coefficient for each of one or more classes is calculated by learning the relationship between the difference image and the difference image for each of one or more classes, the calculation amount is smaller based on the obtained tap coefficients. Easier In the process, it is possible to obtain a more accurate image.
[0243]
FIG. 11 is a block diagram showing another configuration of the embodiment of the image processing apparatus according to the present invention.
[0244]
In this image processing apparatus, for example, an SD image is input, a class classification process is applied to the input SD image, a difference between pixel values of the SD image is calculated, and an adaptive process is applied to the difference. As a result, an HD image is output.
[0245]
That is, the image processing apparatus includes a class tap extracting unit 151, a feature calculating unit 152, a class classifying unit 153, a coefficient memory 154, a prediction tap extracting unit 155, a difference calculating unit 156, and a pixel value calculating unit 157. .
[0246]
An SD image to be created with a spatial resolution is input to the image processing device. The input image, which is an SD image, is supplied to a class tap extraction unit 151, a feature amount calculation unit 152, and a prediction tap extraction unit 155.
[0247]
The class tap extracting unit 151 sequentially sets HD pixels (samples) of the HD image to be obtained by the class classification adaptive processing as target pixels. Then, the class tap extracting unit 151 extracts a class tap from the input image, which is an SD image, and supplies the extracted class tap to the feature amount calculating unit 152. That is, the class tap extracting unit 151 extracts SD pixels of the SD image, which are a plurality of peripheral pixels with respect to the target pixel, and supplies a class tap including the SD pixels to the feature amount calculating unit 152.
[0248]
For example, as shown in FIG. 7, the class tap extracting unit 151⁽¹⁾Is 4 × 3 SD pixels x⁽¹⁾Or SD pixel x⁽¹²⁾Is a class tap by extracting from the input image.
[0249]
The feature value calculation unit 152 detects feature values of the plurality of peripheral pixels based on the plurality of peripheral pixels extracted by the class tap extraction unit 151, that is, the class taps, and sends the detected feature values to the class classification unit 153. Supply. In other words, the feature value calculation unit 152 calculates the feature value from the class tap, and supplies the calculated feature value to the class classification unit 153.
[0250]
For example, the feature amount calculating unit 152 calculates a motion vector of a peripheral pixel based on a class tap extracted from an input image which is an SD image supplied from the class tap extracting unit 151, and calculates the calculated motion vector. The amount is supplied to the class classification unit 153. Further, for example, based on the class tap extracted from the input image which is the SD image supplied from the class tap extraction unit 151, the feature amount calculation unit 152 may be located at a position spatially or temporally close to the position of the pixel of interest. A spatial or temporal change (activity) of pixel values of a plurality of pixels (peripheral pixels) of a certain input image is calculated, and the calculated change of the pixel value is supplied to the class classification unit 153 as a feature amount.
[0251]
Further, for example, based on the class tap extracted from the input image which is the SD image supplied from the class tap extracting unit 151, the feature amount calculating unit 152 may input the input image at a position spatially close to the position of the pixel of interest. Of the plurality of pixels (peripheral pixels) are calculated, and the calculated slope of the change in pixel value is supplied to the classifying unit 153 as a feature amount.
[0252]
As described above, based on the class tap, for example, the feature amount calculation unit 152 detects the feature amounts of a plurality of peripheral pixels based on the class tap, and supplies the detected feature amounts to the class classification unit 153.
[0253]
Further, the feature amount calculation unit 152 supplies the class tap to the class classification unit 153 as it is, separately from the feature amount.
[0254]
In addition, a Laplacian, a Sobel, a variance, or the like of a class tap can be adopted as the feature amount.
[0255]
Furthermore, the feature value calculation unit 152 detects feature values of a plurality of peripheral pixels for the target pixel based on the input image, and supplies the detected feature values to the class classification unit 153. For example, the feature value calculation unit 152 calculates a motion vector, a spatial or temporal change in pixel values of peripheral pixels, Laplacian, Sobel, or variance based on the input image, and uses the calculated result as a feature value. This is supplied to the class classification unit 153.
[0256]
The class classification unit 153 classifies the pixel of interest into one of one or more classes based on the class tap and the feature amount from the feature amount calculation unit 152, and classifies the pixel of interest as a result. The corresponding class code is supplied to the coefficient memory 154 and the prediction tap extracting unit 155.
[0257]
For example, the class classification unit 153 performs 1-bit ADRC processing on the class tap of the input image, and sets the resulting ADRC code as a class code.
[0258]
Further, for example, the class classification unit 153 uses the feature amount from the feature amount calculation unit 152 as a class code as it is. For example, the class classification unit 153 orthogonally transforms a plurality of feature amounts from the feature amount calculation unit 152 and sets the obtained value as a class code.
[0259]
Further, for example, the class classification unit 153 combines (combines) the class code based on the class tap and the class code based on the feature amount, generates a final class code, and generates a final class code. Is supplied to the coefficient memory 154 and the prediction tap extracting unit 155.
[0260]
Note that any one of the class code based on the class tap and the class code based on the feature amount may be used as the final class code.
[0261]
As described above, the class code output from the class classification unit 153 indicates the feature amounts of a plurality of peripheral pixels around the target pixel.
[0262]
The coefficient memory 154 stores a tap coefficient obtained by learning, for each of one or more classes, a relationship between teacher data, which is HD image data serving as a learning teacher, and student data, which is a difference value serving as a learning student. I remember. Then, when the class code of the pixel of interest is supplied from the class classification unit 153, the coefficient memory 154 reads out the tap coefficient stored at the address corresponding to the class code, thereby converting the tap coefficient of the class of the pixel of interest. Obtained and supplied to the pixel value calculation unit 157. The details of the method of learning the tap coefficients stored in the coefficient memory 154 will be described later.
[0263]
The prediction tap extracting unit 155 extracts a plurality of peripheral pixels in the input image corresponding to the target pixel.
[0264]
That is, the prediction tap extracting unit 155 extracts, from the input image, a prediction tap used for obtaining the (predicted value of) the pixel of interest in the pixel value calculating unit 157 based on the class code supplied from the class classification unit 153. Then, the generated prediction tap is supplied to the difference calculation unit 156.
[0265]
For example, the prediction tap extracting unit 155 extracts pixel values of a plurality of pixels spatially or temporally close to the position of the pixel of interest, sets the pixel values as prediction taps, and supplies the prediction taps to the difference calculation unit 156. The prediction tap extracting unit 155, as shown in FIG.⁽¹⁾Is 4 × 3 SD pixels x⁽¹⁾Or SD pixel x⁽¹²⁾Is set as a prediction tap by extracting from the input image.
[0266]
In addition, the pixel used as a class tap and the pixel used as a prediction tap may be the same or different. That is, the class tap and the prediction tap can be independently configured (generated).
[0267]
Further, the pixels used as the prediction taps may be different for each class or may be the same.
[0268]
Note that the tap structure of the class tap and the prediction tap is not limited to the 4 × 3 SD pixels shown in FIG.
[0269]
The difference calculation unit 156 calculates a difference value for the prediction tap supplied from the prediction tap extraction unit 155, and supplies the calculated difference value to the pixel value calculation unit 157.
[0270]
For example, the difference calculation unit 156 supplies 4 × 3 SD pixels x horizontal × vertical shown in FIG. 7 supplied from the prediction tap extraction unit 155.⁽¹⁾Or SD pixel x⁽¹²⁾From the prediction tap consisting of⁽¹⁾Or d⁽⁹⁾Is calculated, and the calculated difference value d⁽¹⁾Or d⁽⁹⁾Is supplied to the pixel value calculation unit 157.
[0271]
The pixel value calculation unit 157 predicts a target pixel from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0272]
More specifically, the pixel value calculation unit 157 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 154.₁, W₂,..., And the difference value d of the prediction tap from the prediction tap extraction unit 155₁, D₂,... Are used to calculate (the predicted value of) the pixel of interest y, and this is set as the pixel value of the HD pixel. The pixel value calculation unit 157 outputs an HD image including the pixel values calculated as described above as an output image.
[0273]
That is, in the adaptive processing in the image processing apparatus according to the present invention, the difference value between the pixel values of the input image which is the SD image is converted into an HD image by mapping (mapping) using a predetermined tap coefficient. .
[0274]
The pixel value calculation unit 157 performs the same processing as the pixel value calculation unit 107, and thus a detailed description is omitted.
[0275]
Next, with reference to a flowchart of FIG. 12, an image processing performed by the image processing apparatus of FIG. 11 to create an HD image from an SD image will be described.
[0276]
In step S151, the class tap extracting unit 151 extracts a plurality of pixels spatially or temporally (around the pixel of interest) close to the position of the pixel of interest as class taps from the input image, and includes the pixels of the input image. Generate class taps. The class tap is supplied to the feature calculation unit 152 and the class classification unit 153, and the procedure proceeds to step S152. In step S152, the feature value calculation unit 152 calculates the feature value from the class tap, supplies the calculated feature value to the class classification unit 153, and proceeds to step S153. In addition, in step S152, the feature amount calculation unit 152 calculates a feature amount from the input image, and supplies the calculated feature amount to the class classification unit 153.
[0277]
In step S153, the class classification unit 153 classifies the target pixel into one of one or more classes based on the feature amount supplied from the class tap or the feature amount calculation unit 152, and as a result, The obtained class code representing the class of the target pixel is supplied to the coefficient memory 154 and the prediction tap extracting unit 155, and the process proceeds to step S154.
[0278]
In step S154, the prediction tap extracting unit 155 extracts a plurality of pixels spatially or temporally close to the position of the target pixel from the input image as prediction taps based on the class code supplied from the class classification unit 153. , Generate prediction taps. The prediction tap is supplied to the difference calculation unit 156, and the procedure proceeds to Step S155.
[0279]
In step S155, the difference calculation unit 156 obtains a difference value from the prediction tap supplied from the prediction tap extraction unit 155, as described with reference to FIG. 7, and sends the obtained difference value to the pixel value calculation unit 157. Then, the procedure goes to step S156.
[0280]
In step S156, the coefficient memory 154 reads the tap coefficient (prediction coefficient) stored at the address corresponding to the class code supplied from the class classification unit 153, and thereby acquires the tap coefficient of the class of the pixel of interest. Then, the tap coefficient is supplied to the pixel value calculation unit 157, and the process proceeds to step S157.
[0281]
In step S157, the pixel value calculation unit 157 calculates (the predicted value of) the pixel of interest (predicted value) from the difference value between the plurality of extracted peripheral pixels based on the feature amount, and proceeds to step S158. That is, in step S157, the pixel value calculation unit 157 performs the calculation represented by Expression (9) using the difference value of the prediction tap from the difference calculation unit 156 and the tap coefficient from the coefficient memory 154, and Find the (predicted value of) the pixel.
[0282]
In step S158, the class tap extracting unit 151 determines whether there is a pixel that is not yet set as the target pixel among the pixels forming the target frame. If it is determined that the target pixel exists, the process returns to step S151. Is repeated.
[0283]
If it is determined in step S158 that there is no pixel that is not the target pixel, that is, if all HD pixels constituting the target frame have been predicted, the process ends.
[0284]
As described above, the image processing apparatus having the configuration illustrated in FIG. 11 can generate an HD image from an input image that is an SD image and output the generated HD image.
[0285]
Next, FIG. 13 is a block diagram illustrating a configuration example of an embodiment of an image processing apparatus that performs learning for obtaining a tap coefficient for each class stored in the coefficient memory 154 of FIG.
[0286]
For example, an HD image is input to the image processing device in FIG. 13 as image data for learning tap coefficients. The HD image input to the image processing device is supplied to the SD image generation unit 171 and the teacher pixel extraction unit 179.
[0287]
The SD image generation unit 171 generates an SD image from the input teacher image and supplies the SD image to the image memory 172. The SD image generation unit 171, for example, thins out the pixels of the HD image data as the teacher image, or calculates the average value of the four pixels of the HD image data and sets the average value as the pixel value of the SD image, thereby obtaining the teacher image as the teacher image. An SD image corresponding to the HD image is generated. Here, the SD image needs to have an image quality corresponding to the SD image to be processed by the image processing apparatus in FIG.
[0288]
Upon generating an SD image corresponding to the teacher image (an SD image generated from the teacher image) as described above, the SD image generation unit 171 supplies the SD image to the image memory 172.
[0289]
The image memory 172 temporarily stores the SD image supplied from the SD image generation unit 171.
[0290]
The class tap extracting unit 173 sequentially converts the pixels included in the HD image as the teacher image corresponding to the SD image stored in the image memory 172 into the target pixel as in the case of the class tap extracting unit 151 in FIG. And
[0291]
Further, the class tap extracting unit 173 extracts peripheral pixels in the SD image corresponding to the target pixel. That is, the class tap extracting unit 173 extracts and generates a class tap for the target pixel from the SD image stored in the image memory 172, and supplies the generated class tap to the feature amount calculating unit 174. Here, the class tap extracting unit 173 generates a class tap having the same tap structure as that generated by the class tap extracting unit 151 in FIG.
[0292]
For example, the class tap extracting unit 173 determines that the target pixel y⁽¹⁾, 4 × 3 SD pixels × horizontal × vertical shown in FIG.⁽¹⁾Or SD pixel x⁽¹²⁾Is extracted from the SD image stored in the image memory 172 to be a class tap.
[0293]
The feature amount calculation unit 174 detects the feature amount of the pixel of interest based on the plurality of peripheral pixels extracted by the class tap extraction unit 173. That is, the feature value calculation unit 174 calculates the feature value from the class tap in the same process as the feature value calculation unit 152, and supplies the calculated feature value to the class classification unit 175.
[0294]
For example, the feature value calculation unit 174 calculates a motion vector of the target pixel based on the class tap, and supplies the calculated motion vector to the class classification unit 175 as a feature value. Further, for example, based on the class tap, the feature amount calculation unit 174 determines the space of the pixel values of a plurality of pixels (pixels around the pixel of interest) of the SD image located spatially or temporally near the pixel of interest. The change in pixel value or time is calculated, and the calculated change in pixel value is supplied to the class classification unit 175 as a feature value.
[0295]
Note that, similarly to the feature value calculation unit 152, the feature value calculation unit 174 can obtain the Laplacian, Sobel, or variance of the pixel value as the feature value.
[0296]
The feature value calculation unit 174 supplies the feature value of the detected target pixel to the class classification unit 175 based on the class tap, that is, the plurality of peripheral pixels. Further, the feature value calculation unit 174 supplies the class tap to the class classification unit 175.
[0297]
Furthermore, based on the SD image stored in the image memory 172, the feature amount calculation unit 174 detects feature amounts of a plurality of peripheral pixels with respect to the target pixel, and supplies the detected feature amounts to the class classification unit 175. . For example, the feature amount calculation unit 174 calculates a motion vector, a spatial or temporal change in pixel values of peripheral pixels, Laplacian, Sobel, or variance based on the SD image stored in the image memory 172. Is supplied to the classifying unit 175 as a feature amount.
[0298]
The class classification unit 175 is configured similarly to the class classification unit 153 of FIG. 11, and assigns the target pixel to one of one or more classes based on the feature amount from the class tap or the feature amount calculation unit 174. The class is classified and the class code representing the class of the target pixel is supplied to the prediction tap extracting unit 176 and the learning memory 180.
[0299]
The prediction tap extraction unit 176 extracts and generates a prediction tap for the target pixel from the SD image stored in the image memory 172 based on the class code supplied from the class classification unit 175, and sends the prediction tap to the difference calculation unit 177. Supply. Here, the prediction tap extracting unit 176 generates a prediction tap having the same tap structure as that generated by the prediction tap extracting unit 155 in FIG.
[0300]
For example, as shown in FIG. 7, the prediction tap extraction unit 176⁽¹⁾Is 4 × 3 SD pixels x⁽¹⁾Or SD pixel x⁽¹²⁾Is extracted from the SD image stored in the image memory 172 to be a prediction tap.
[0301]
The difference calculation unit 177 calculates a difference value for the prediction tap supplied from the prediction tap extraction unit 176 in the same process as the difference calculation unit 156, and supplies the calculated difference value to the addition operation unit 178. For example, the difference calculation unit 177 supplies 4 × 3 SD pixels x horizontal × vertical as shown in FIG. 7 supplied from the prediction tap extraction unit 176.⁽¹⁾Or SD pixel x⁽¹²⁾From the prediction tap consisting of⁽¹⁾Or d⁽⁹⁾Is calculated, and the calculated difference value d⁽¹⁾Or d⁽⁹⁾Is supplied to the addition operation unit 178.
[0302]
Accordingly, the difference value similar to the prediction tap supplied to the addition operation unit 138 is supplied to the addition operation unit 178.
[0303]
The teacher pixel extraction unit 179 extracts a pixel of interest as teacher data from the input image that is the teacher image, and supplies the extracted teacher data to the addition operation unit 178. For example, the teacher pixel extracting unit 179 extracts the target pixel y from the input image that is the teacher image.⁽¹⁾Is extracted as teacher data, and the extracted teacher data is supplied to the adding operation unit 178.
[0304]
That is, the teacher pixel extracting unit 179 takes the input HD image, which is the learning image data, as the teacher data, for example. Here, the HD image obtained by the image processing apparatus in FIG. 11 corresponds to the image quality of HD image data used as teacher data in the image processing apparatus in FIG.
[0305]
The addition operation unit 178 and the normal equation operation unit 181 use the teacher data serving as the pixel of interest and the student data serving as the difference value of the prediction tap supplied from the difference calculation unit 177 to obtain the teacher data and the student data. By learning the relationship with the data for each class indicated by the class code supplied from the class classification unit 175, the tap coefficient for each class is obtained. In other words, the addition operation unit 178 and the normal equation operation unit 181 learn a prediction unit for predicting a target pixel from a difference value between a plurality of extracted peripheral pixels for each detected feature amount.
[0306]
In this case, the prediction unit is a specific unit that predicts a target pixel from a difference value between a plurality of peripheral pixels. For example, the pixel value calculation unit 157 whose operation is defined by a tap coefficient for each class or a pixel value calculation unit This refers to processing in the unit 157. Learning the prediction means for predicting a pixel of interest from a difference value between a plurality of peripheral pixels means, for example, realizing (constructing) a prediction means for predicting a pixel of interest from a difference value between a plurality of peripheral pixels. means.
[0307]
Therefore, learning a prediction unit for predicting a target pixel from a difference value between a plurality of peripheral pixels means, for example, obtaining a tap coefficient for each class. By obtaining the tap coefficients for each class, the pixel value calculation unit 157 or the processing in the pixel value calculation unit 157 is specifically specified, and the pixel value calculation unit 157 is realized or the processing in the pixel value calculation unit 157 is executed. This is because you will be able to do that.
[0308]
That is, in the same process as the addition calculation unit 138, the addition calculation unit 178 becomes the target pixel supplied from the teacher pixel extraction unit 179 and the difference value of the prediction tap supplied from the difference calculation unit 177. Expression (16) is added to the HD pixel which is the teacher data.
[0309]
The learning memory 180 stores the normal value corresponding to the equation (16), supplied with the difference value as the student data and the HD pixel as the teacher data, supplied from the addition operation unit 178.
[0310]
The normal equation operation unit 181 obtains the normal equation of Expression (16) for each class from the learning memory 180, solves the normal equation (learns for each class), and obtains a tap coefficient for each class. Output.
[0311]
The coefficient memory 182 stores the tap coefficients for each class output by the normal equation operation unit 181. That is, the coefficient memory 182 stores the learned prediction means.
[0312]
Next, with reference to a flowchart of FIG. 14, a description will be given of a learning process for obtaining a tap coefficient for each class, which is performed in the image processing apparatus of FIG.
[0313]
First, in step S171, the SD image generation unit 171 acquires learning image data that is an input image, and generates an SD image from the input image. The SD image is supplied to the image memory 172.
[0314]
In step S172, as in the case of the class tap extraction unit 151 in FIG. 11, the class tap extraction unit 173 selects one of the pixels of the HD image as the teacher data that has not yet been set as the target pixel. , And a plurality of peripheral pixels corresponding to the pixel of interest are extracted from the SD image, thereby generating a class tap from the SD image stored in the image memory 172. And the process proceeds to step S173.
[0315]
In step S173, similarly to the case of the feature value calculation unit 152 in FIG. 11, the feature value calculation unit 174 uses a class tap that is a plurality of peripheral pixels, for example, a motion vector or a spatial or temporal The feature amount of the pixel of interest, such as a change in the pixel values of a plurality of pixels of the SD image that are close to each other, is calculated, and the calculated feature amount is supplied to the class classification unit 175, and the process proceeds to step S174. In addition, in step S173, the feature amount calculation unit 174 determines the features of a plurality of peripheral pixels with respect to the pixel of interest based on the SD image stored in the image memory 172, as in the case of the feature amount calculation unit 152 in FIG. The amount is detected, and the detected feature amount is supplied to the classifying unit 175.
[0316]
In step S174, the classifying unit 175 uses the class tap from the class tap extracting unit 173 and the feature amount from the feature amount calculating unit 174 to perform one or more processes in the same manner as in the case of the classifying unit 153 in FIG. The target pixel is classified into one of the above classes, and a class code representing the class of the target pixel is supplied to the prediction tap extracting unit 176 and the learning memory 180, and the process proceeds to step S175.
[0317]
In step S175, the prediction tap extraction unit 176, based on the class code supplied from the class classification unit 175, stores the prediction tap corresponding to the pixel of interest in the image memory as in the case of the prediction tap extraction unit 155 of FIG. The image is extracted and generated from the SD image stored in the storage unit 172, supplied to the difference calculation unit 177, and proceeds to step S 176.
[0318]
In step S176, the difference calculation unit 177 calculates the difference between the pixel values of the pixels included in the prediction tap supplied from the prediction tap extraction unit 176, and obtains the difference value. The calculated difference value is supplied to the adding operation unit 178, and the procedure proceeds to step S177.
[0319]
In step S177, the teacher pixel extraction unit 179 extracts the pixel of interest, that is, the HD pixel that is the teacher pixel (teacher data) from the input image, supplies the extracted teacher data to the addition operation unit 178, and proceeds to step S178. .
[0320]
In step S178, the addition operation unit 178 performs the above-described processing on the difference value of the prediction tap supplied from the difference calculation unit 177 and the teacher data supplied from the teacher pixel extraction unit 179 for each of the classified classes. The addition in the equation (16) is performed, and the normal equation in which the difference value as the student data and the teacher data are added is stored in the learning memory 180, and the process proceeds to step S179.
[0321]
Then, in step S179, the class tap extracting unit 173 determines whether or not there is any pixel of the HD image data as the teacher data that has not yet been set as the pixel of interest, that is, whether or not addition of all pixels has been completed. judge. If it is determined in step S179 that there is a pixel in the teacher data that is not the pixel of interest yet, the process returns to step S172, and the same processing is repeated.
[0322]
If it is determined in step S179 that none of the pixels of the teacher data is a pixel of interest, that is, it is determined that addition of all pixels has been completed, the process proceeds to step S180, and the normal equation calculation unit 181 determines that From the normal equations of the equation (16) obtained for each class by the addition in step S178 up to step S178, the normal equations of the class for which the tap coefficients have not yet been determined are read from the learning memory 180, and the read equation (16) By solving the normal equation (learning for each class), tap coefficients of a predetermined class are obtained, supplied to and stored in the coefficient memory 182, and the process proceeds to step S181.
[0323]
That is, in steps S178 and 180, a prediction unit for predicting a pixel of interest from a difference value between a plurality of extracted peripheral pixels is learned for each detected feature amount.
[0324]
In step S181, the normal equation calculation unit 181 determines whether or not the calculation of the tap coefficients of all the classes has been completed. If it is determined that the calculation of the tap coefficients of all the classes has not been completed, the process returns to step S180. , And repeats the process of obtaining the tap coefficient of the next class.
[0325]
If it is determined in step S181 that the calculation of the tap coefficients of all the classes has been completed, the coefficient memory 182 stores the tap coefficients of all the classes, that is, stores the learned prediction means, and the process ends. .
[0326]
As described above, the tap coefficients for each class stored in the coefficient memory 182 are stored in the coefficient memory 154 in the image processing apparatus in FIG.
[0327]
As described above, when the classification adaptive processing is applied to the input image, a higher-quality second image (output image) corresponding to the first image (input image) can be obtained. .
[0328]
Further, a class tap used for performing a class classification for classifying a pixel of interest, which is a pixel of interest in the second image (output image), into one of one or more classes is a first tap. Generated from an image (input image), classifies the target pixel based on the class tap, generates a prediction tap used to obtain the target pixel from the first image (input image), and calculates a difference between the prediction taps. By calculating and learning the relationship between the teacher data corresponding to the second image, which is a learning teacher, and the student data, which is a learning student, corresponding to the difference between predicted taps, for each of one or more classes. From the obtained tap coefficients, a tap coefficient of the class of the sample of interest is obtained, and the pixel of interest is calculated using the tap coefficient of the class of the sample of interest and the difference between the prediction taps to obtain a second image. When is more less amount of calculation, with a simpler process, it is possible to obtain a more accurate image.
[0329]
Further, when learning is performed for each class based on the first image (input image) and the second image (output image), the second image of higher quality corresponding to the first image is obtained. Tap coefficients for obtaining the image of (1) can be obtained.
[0330]
Further, a class classification is performed to classify a target pixel of interest among pixels of the second image (output image) into one of one or more classes, which serves as a teacher of tap coefficient learning. Is generated from the first image (input image), the target pixel is classified into classes based on the class tap, and the prediction tap used to obtain the target pixel is set to the first image (input image). ), The difference between the prediction taps is calculated, and the relationship between the second image and the difference is learned for each of the one or more classes using the pixel of interest and the difference between the prediction taps. When the tap coefficient is calculated for each of the images, a more accurate image can be obtained by simpler processing with a smaller amount of calculation based on the obtained tap coefficient.
[0331]
FIG. 15 is a block diagram showing a configuration of another embodiment of the image processing apparatus according to the present invention.
[0332]
In the image processing apparatus shown in FIG. 15, for example, an SD image is input, a difference image of the input SD image is generated, and a class classification adaptive process is applied to the difference image. A difference image of a high-resolution image (hereinafter, appropriately referred to as a horizontal double-density image) in the spatial direction, in which twice as many pixels are arranged in one frame, is created. Then, a horizontal double-density image is generated from the difference image of the created horizontal double-density image, and the generated horizontal double-density image is output.
[0333]
In the figure, portions corresponding to those in FIG. 5 are denoted by the same reference numerals, and the description thereof will be appropriately omitted below. That is, in the image processing apparatus of FIG. 15, a pixel value calculation unit 203 is newly provided, an input image is supplied to the pixel value calculation unit 203 together with the difference image generation unit 101, and the coefficient memory 105 and the pixel value calculation unit of FIG. The configuration is the same as that in FIG. 5 except that a coefficient memory 201 and a difference calculation unit 202 are provided instead of 107.
[0334]
The coefficient memory 201 stores the relationship between the teacher data, which is the difference between the pixel values of the horizontal double-density image, which is a learning teacher, and the student data, which is the difference between the pixel values of the SD image, which is a student of learning. A tap coefficient obtained by learning for each of one or more classes is stored. When the class code of the noted pixel of interest of the horizontal double-density image is supplied from the class classification unit 104, the coefficient memory 201 reads the tap coefficient stored at the address corresponding to the class code. Thus, the tap coefficient of the class of the pixel of interest is obtained and supplied to the difference calculation unit 202.
[0335]
Based on the detected feature amount, the difference calculation unit 202 spatially converts a pixel value of the first target pixel and a pixel value of the first target pixel from a prediction tap that is a difference value between the plurality of extracted peripheral pixels. The difference value between the pixel value of the second target pixel in the high-quality image data and the pixel value of the second target pixel located at a position close to is predicted.
[0336]
More specifically, the difference calculation unit 202 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 201.₁, W₂,..., And the prediction tap (difference value constituting the same) d from the prediction tap extraction unit 106₁, D₂,... Are used to calculate (the predicted value of) the difference value D of interest, which is the difference value between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest. The difference value between the pixel values of the horizontal double-density image is used. The difference calculation unit 202 supplies a difference image including the calculated difference values to the pixel value calculation unit 203.
[0337]
That is, in the adaptive processing in the difference calculation unit 202, the difference value of the pixel value of the input image which is an SD image is mapped (mapped) using a predetermined tap coefficient, so that the difference of the pixel value of the horizontal double-density image is obtained. Converted to a value.
[0338]
For example, assuming that a linear linear combination model is adopted as a mapping method using the tap coefficients, the difference value D of the pixel value of the horizontal doubled image is calculated from the difference value forming the differential image by the horizontal doubled density. Using a plurality of difference values extracted as prediction taps for predicting a difference value between pixel values of an image and a tap coefficient, a linear linear expression (linear combination) of Expression (17) is used.
[Equation 17]

[0339]
However, in equation (17), d_nRepresents the difference value of the n-th difference image, which constitutes a prediction tap for the difference value D of the pixel value of the horizontal double-density image, and w_nRepresents the n-th tap coefficient multiplied by the n-th difference value. Note that, in equation (17), the prediction tap has N difference values d.₁, D₂, ..., d_NIt is assumed to be composed of
[0340]
Here, the difference value D between the pixel values of the horizontal double-density image can be obtained not by the linear linear expression shown in Expression (17) but by a higher-order expression of second or higher order.
[0341]
The pixel value calculation unit 203 calculates a pixel value of a corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, a pixel value of the first target pixel, and a pixel value of the second target pixel. The first and second pixels of interest are predicted from the difference value of.
[0342]
That is, the pixel value calculation unit 203 is based on the fact that the SD image is spatially integrated based on the difference image of the horizontal double-density image and the input image that is the SD image, supplied from the difference calculation unit 202. Based on the relationship with the horizontal double-density image, the pixel value of the horizontal double-density image is calculated for the SD image, and the horizontal double-density image obtained by the calculation is output.
[0343]
The relationship between the SD image and the horizontal double-density image based on spatial integration and the calculation process of the pixel value calculating unit 203 based on this relationship will be described later in detail.
[0344]
FIG. 16 shows an SD image input to the image processing apparatus shown in FIG. 15, a difference image of the SD image, a difference image of the generated horizontal double-density image, and a horizontal double-density image output from the image processing apparatus. FIG.
[0345]
In FIG. 16, a mark represents an SD pixel constituting the SD image, and a mark represents a horizontal doubled pixel constituting the horizontal doubled image. In FIG. 16, the horizontal double-density image has twice the number of pixels in the horizontal direction as the SD image. The number of pixels in the vertical direction in the horizontal double-density image is the same as that in the SD image.
[0346]
In FIG. 16, a mark “△” indicates a difference value forming a difference image corresponding to the SD image. In FIG. 16, a mark represents a difference value forming a difference image corresponding to the horizontal double-density image.
[0347]
The class tap extraction unit 102 of the image processing apparatus illustrated in FIG. 15 calculates, for a target pixel, for example, as illustrated in FIG. 16, 4 × 3 difference values in the horizontal and vertical directions that are close to the position of the target pixel. By extracting from the difference image stored in the difference image generation unit 101, a class tap of the difference image is obtained.
[0348]
In FIG. 16, the difference value of interest corresponding to the pixel of interest in the horizontal double-density image is represented by D. In FIG. 16, two pixels of the horizontal double-density image that are adjacent in the spatial direction (spatially close to each other) and correspond to the difference value of interest of the horizontal double-density image are denoted by y.⁽¹⁾Or y⁽²⁾It expresses. Where y⁽¹⁾Is an example of a first pixel of interest, and y⁽²⁾Is an example of a second target pixel.
[0349]
That is, the difference value D of interest of the horizontal double-density image is the pixel value y of the first target pixel of the horizontal double-density image.⁽¹⁾And the pixel value y of the second pixel of interest⁽²⁾Is the difference value between The noted difference value D of the horizontal double-density image and the pixel value y of the horizontal double-density image⁽¹⁾And y⁽²⁾In between, D = y⁽²⁾-Y⁽¹⁾There is a relationship.
[0350]
In FIG. 16, among the 4 × 3 difference values constituting the class tap of the difference image, the first row, first column, first row, second column, first row, third column, and first row, third column Four columns, second row, first column, second row, second column, second row, third column, second row, fourth column, third row, first column, third row, second column, third row, third The difference value of the column and the third row and the fourth column is d, respectively.⁽¹⁾, D⁽²⁾, D⁽³⁾, D⁽⁴⁾, D⁽⁵⁾, D⁽⁶⁾, D⁽⁷⁾, D⁽⁸⁾, D⁽⁹⁾, D⁽¹⁰⁾, D⁽¹¹⁾, D⁽¹²⁾It expresses. Difference value d⁽¹⁾, D⁽²⁾, D⁽³⁾, D⁽⁴⁾, D⁽⁵⁾, D⁽⁶⁾, D⁽⁷⁾, D⁽⁸⁾, D⁽⁹⁾, D⁽¹⁰⁾, D⁽¹¹⁾, D⁽¹²⁾The SD pixels located on the right side of⁽²⁾, X⁽³⁾, X⁽⁴⁾, X⁽⁵⁾, X⁽⁷⁾, X⁽⁸⁾, X⁽⁹⁾, X⁽¹⁰⁾, X⁽¹²⁾, X⁽¹³⁾, X⁽¹⁴⁾, X⁽¹⁵⁾It expresses. Difference value d⁽¹⁾The left SD pixel of x⁽¹⁾And the difference value d⁽⁵⁾The left SD pixel of x⁽⁶⁾And the difference value d⁽⁹⁾The left SD pixel of x⁽¹¹⁾Expressed by
[0351]
Note that y or x indicates a pixel and its pixel value. Hereinafter, the same applies.
[0352]
In the case shown in FIG. 16, the difference value d⁽¹⁾Is the SD pixel x⁽²⁾From SD pixel x⁽¹⁾Is subtracted, and the difference value d⁽²⁾Is the SD pixel x⁽³⁾From SD pixel x⁽²⁾Is subtracted, and the difference value d⁽³⁾Is the SD pixel x⁽⁴⁾From SD pixel x⁽³⁾Is subtracted, and the difference value d⁽⁴⁾Is the SD pixel x⁽⁵⁾From SD pixel x⁽⁴⁾Is subtracted.
[0353]
In addition, in the case shown in FIG.⁽⁵⁾Is the SD pixel x⁽⁷⁾From SD pixel x⁽⁶⁾Is subtracted, and the difference value d⁽⁶⁾Is the SD pixel x⁽⁸⁾From SD pixel x⁽⁷⁾Is subtracted, and the difference value d⁽⁷⁾Is the SD pixel x⁽⁹⁾From SD pixel x⁽⁸⁾Is subtracted, and the difference value d⁽⁸⁾Is the SD pixel x⁽¹⁰⁾From SD pixel x⁽⁹⁾Is subtracted.
[0354]
Similarly, in the case shown in FIG.⁽⁹⁾Is the SD pixel x⁽¹²⁾From SD pixel x⁽¹¹⁾Is subtracted, and the difference value d⁽¹⁰⁾Is the SD pixel x⁽¹³⁾From SD pixel x⁽¹²⁾Is subtracted, and the difference value d⁽¹¹⁾Is the SD pixel x⁽¹⁴⁾From SD pixel x⁽¹³⁾Is subtracted, and the difference value d⁽¹²⁾Is the SD pixel x⁽¹⁵⁾From SD pixel x⁽¹⁴⁾Is subtracted.
[0355]
That is, the difference value d⁽¹⁾Or d⁽¹²⁾Is composed of a difference value between pixel values of SD pixels adjacent in the spatial direction.
[0356]
For example, the class tap extracting unit 102 calculates the 4 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽¹²⁾Is extracted from the difference image stored in the difference image generation unit 101 to be a class tap of the difference image.
[0357]
For example, the class tap extracting unit 102 calculates, for the first target pixel of interest, 3 × 3 SD pixels x shown in FIG.⁽²⁾Or SD pixel x⁽⁴⁾, SD pixel x⁽⁷⁾Or SD pixel x⁽⁹⁾, And SD pixel x⁽¹²⁾Or SD pixel x⁽¹⁴⁾Is extracted from the SD image stored in the difference image generation unit 101 to be a class tap of the SD image.
[0358]
For example, based on the class code supplied from the class classifying unit 104, the prediction tap extracting unit 106 calculates the 4 × 3 difference values d shown in FIG.⁽¹⁾Or difference value d⁽¹²⁾Is extracted from the difference image stored in the difference image generation unit 101 to be a prediction tap.
[0359]
For example, the difference calculation unit 202 supplies the tap coefficient w for the class of the first pixel of interest supplied from the coefficient memory 201.₁, W₂, ..., w₁₂And the prediction tap from the prediction tap extraction unit 106 (difference value constituting it) d⁽¹⁾, D⁽²⁾, ..., d⁽¹²⁾Is used to calculate (the predicted value of) the difference value D of interest from equation (17), and this is used as the difference value between the pixel values of the horizontal double-density image. The difference calculation unit 202 supplies a difference image including the calculated difference values to the pixel value calculation unit 203.
[0360]
Next, with reference to FIGS. 17 to 20, the relationship between the SD image and the horizontal double-density image based on the spatial integration of the SD image will be described.
[0361]
First, a spatial integration effect of pixels of a captured image in an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) sensor will be described.
[0362]
The image sensor captures an image of an object in the real world and outputs an image obtained as a result of the capture in units of one frame. For example, an image sensor outputs an image composed of 30 frames per second. In this case, the exposure time of the image sensor can be set to 1/30 second. The exposure time is a period from when the image sensor starts converting the input light into electric charges to when the conversion of the input light into electric charges ends. Hereinafter, the exposure time is also referred to as a shutter time.
[0363]
FIG. 17 is a diagram illustrating the arrangement of pixels on the image sensor. In FIG. 17, A to I indicate individual pixels. The pixels are arranged on a plane corresponding to the image. One detection element corresponding to one pixel is arranged on the image sensor. When the image sensor captures an image, one detection element outputs a pixel value corresponding to one pixel forming the image. For example, the position of the detection element in the X direction corresponds to the position in the horizontal direction on the image, and the position of the detection element in the Y direction corresponds to the position in the vertical direction on the image.
[0364]
As shown in FIG. 18, for example, a detection element such as a CCD converts light input to the light receiving surface into charges for a period corresponding to the shutter time, and accumulates the converted charges. The amount of charge is substantially proportional to the intensity of light input to the entire light receiving surface and the time during which light is input. During a period corresponding to the shutter time, the detection element adds the charge converted from the light input to the entire light receiving surface to the already accumulated charge. That is, the detection element integrates light input to the entire light receiving surface for a period corresponding to the shutter time, and accumulates an amount of charge corresponding to the integrated light. It can be said that the detection element has an integration effect on space (light receiving surface) and time (shutter time).
[0365]
The electric charge accumulated in the detection element is converted into a voltage value by a circuit (not shown), and the voltage value is further converted into a pixel value such as digital data and output. Therefore, the individual pixel values output from the image sensor are the result of integrating a part of the object in the real world having a temporal and spatial spread in the time direction of the shutter time and the spatial direction of the detection element. It has values projected into a dimensional space.
[0366]
FIG. 19 is a view for explaining the arrangement of pixels provided in the image sensor which is a CCD and the area corresponding to the pixel data of the horizontal double-density image, corresponding to FIG. In FIG. 19, A to I indicate individual pixels. The regions a to r are light receiving regions in which each of the pixels A to I is vertically halved. When the width of the light receiving area of the pixels A to I is 2L, the width of the areas a to r is L. The image processing apparatus having the configuration shown in FIG. 15 calculates the pixel values of the pixel data corresponding to the regions a to r.
[0367]
FIG. 20 is a diagram illustrating pixel data corresponding to light input to regions g to l. F (x) in FIG. 20 indicates spatially ideal pixel values corresponding to the input light and the minute spatial section.
[0368]
Assuming that the pixel value of one pixel data is represented by a uniform integration of the ideal pixel value f (x), the pixel value Y1 of the pixel data corresponding to the region i is expressed by Expression (18). Then, the pixel value Y2 of the pixel data corresponding to the region j is expressed by Expression (19), and the pixel value Y3 of the pixel E is expressed by Expression (20).
(Equation 18)

[0369]
[Equation 19]

[0370]
(Equation 20)

[0371]
In Expressions (18) to (20), x1, x2, and x3 are the spatial coordinates of the respective boundaries of the light receiving region of the pixel E, the region i, and the region j.
[0372]
In Expression (20), Y3 corresponds to the above-described SD pixel x. Further, Y1 and Y2 in Expressions (18) to (20) respectively correspond to the pixel values of the horizontal double-density image with respect to the SD image, which are to be obtained by the image processing apparatus in FIG.
[0373]
Y3 to x, Y1 to y⁽¹⁾And Y2 to y⁽²⁾Equation (21) can be derived from Equation (20).
x = (y⁽¹⁾+ Y⁽²⁾) / 2 (21)
[0374]
Equation (21) is replaced by y⁽²⁾Equation (22) is obtained by transforming
y⁽¹⁾= 2x-y⁽²⁾                                      ... (22)
[0375]
y⁽¹⁾And y⁽²⁾Is D, that is, D = y⁽²⁾-Y⁽¹⁾Then y⁽¹⁾Can be expressed by equation (23).
y⁽¹⁾= Y⁽²⁾-D (23)
[0376]
By substituting equation (23) into the left side of equation (22), as shown in equation (24), y⁽²⁾Can be calculated from x and D.
y⁽²⁾= (2x + D) / 2 (24)
[0377]
Similarly, as shown in equation (25), y⁽¹⁾Can be calculated from x and D.
y⁽¹⁾= (2x-D) / 2 (25)
[0378]
The pixel value calculation unit 203 calculates a pixel value of a corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, a pixel value of the first target pixel, and a pixel value of the second target pixel. The first and second pixels of interest are predicted from the difference value of. That is, the pixel value calculation unit 203 spatially integrates the SD image with the difference value D of the difference image of the horizontal double-density image and the pixel value x of the input image that is the SD image, supplied from the difference calculation unit 202. Is applied to the calculation based on the relationship, ie, the equation (24), and the pixel value y of the horizontal double-density image, which is the pixel value of the second target pixel⁽²⁾Is calculated. Further, the pixel value calculation unit 203 applies Equation (25) to the difference value D of the difference image of the horizontal double-density image and the pixel x of the input image which is the SD image, supplied from the difference calculation unit 202. , The pixel value y of the horizontal double-density image, which is the pixel value of the first pixel of interest⁽¹⁾Is calculated.
[0379]
FIG. 21 is a diagram illustrating an example of the relationship between the difference value of the difference image of the horizontal double-density image and the pixel value of the horizontal double-density image.
[0380]
In FIG. 21, the horizontal direction indicates the spatial direction X, and the vertical direction indicates the spatial direction Y. In FIG. 21, squares (squares) indicate pixels of the input image, and x0 to x14 indicate pixel values of each pixel of the input image.
[0381]
In FIG. 21, d0 to d12 indicate difference values of the input image. Note that the difference values of d0 to d12 are the same as in the case of FIG. 6, and a description thereof will be omitted.
[0382]
In FIG. 21, the difference value D of interest in the difference image of the horizontal double-density image corresponds to the pixel having the pixel value x7 of the input image, and the pixel of the horizontal double-density image whose width of the light receiving region is １ ／. This is the difference between the values.
[0383]
In FIG. 21, a hatched portion indicates a region where one object (a foreground object) is captured, and a white portion indicates a region where a background is captured.
[0384]
That is, the pixel values x3, x4, x8, x9, and x14 of the input image have pixel values corresponding only to the object. The pixel values x0, x5, x6, x10, and x11 of the input image have pixel values corresponding only to the background. The pixel values x1, x7, x12, and x13 of the input image have pixel values corresponding to the object and the background.
[0385]
The pixel of the image sensor corresponding to the pixel value x7 captures an object in almost half the area, and captures the background in the other half of the area. , An image component corresponding to an object captured in a half area of the pixel of the image sensor and an image component corresponding to a background captured in another half area of the pixel of the image sensor.
[0386]
In other words, it can be said that the pixel value x7 includes substantially the same amount of the image component corresponding to the object and the image component corresponding to the background. Here, “the same amount” means “acquired in a region having the same area”. The same amount of image components is not always the same value (pixel value).
[0387]
Here, a light receiving area in which the pixel having the pixel value x7 is vertically halved will be considered.
[0388]
Of the two pixels of the horizontal double-density image corresponding to the light receiving region in which the pixel having the pixel value x7 is halved vertically, the pixel on the right is almost occupied by the component of the image corresponding to the object, and the pixel on the left is , And are substantially occupied by components of the image corresponding to the background.
[0389]
Therefore, the difference value D shown in FIG. 21 is substantially equal to the difference between the component of the image corresponding to the object and the component of the background image included in the pixel having the pixel value x7 of the input image.
[0390]
The pixel value calculation unit 203 calculates a difference value D substantially equal to the difference between the component of the image corresponding to the object and the component of the background image included in the pixel having the pixel value x7 of the input image, and the pixel value of the input image. From x7, a pixel of a horizontal double-density image corresponding to a light receiving area in which a pixel having a pixel value x7 is halved vertically, and a pixel composed of an image component corresponding to an object and a pixel component of an image corresponding to a background Pixels.
[0391]
The pixel value calculation unit 203 outputs a horizontal double-density image composed of the pixel values calculated in this way.
[0392]
The image processing apparatus having the configuration shown in FIG. 15 generates a horizontal double-density image for the input SD image, and further applies the above-described processing in the vertical direction to the generated horizontal double-density image. Thus, an HD image can be generated.
[0393]
Next, with reference to a flowchart of FIG. 22, image processing for creating a horizontal double-density image by the image processing apparatus having the configuration shown in FIG. 15 will be described.
[0394]
The processing in steps S201 to S205 is the same as the processing in steps S101 to S105 in FIG. 8, respectively, and a description thereof will be omitted.
[0395]
In step S206, the coefficient memory 201 reads the tap coefficient (prediction coefficient) stored at the address corresponding to the class code supplied from the class classification unit 104, and thereby, taps the class of the target pixel of interest. The coefficient is obtained and supplied to the difference calculation unit 202, and the process proceeds to step S207.
[0396]
In step S207, the difference calculation unit 202 calculates (the predicted value of) the difference value (sample) of interest, and proceeds to step S208. That is, in step S207, the difference calculation unit 202 calculates, based on the detected feature amount, a prediction tap, which is a difference value between a plurality of peripheral pixels extracted by the prediction tap extraction unit 106, in the output image data. A difference value between the pixel value of the first target pixel and the pixel value of the second target pixel in the output image data, which is arranged at a position spatially close to the first target pixel, is predicted. For example, the difference calculation unit 202 performs the calculation of Expression (17) using the prediction tap from the prediction tap extraction unit 106 and the tap coefficient from the coefficient memory 201 to form a difference image of the horizontal double-density image. , The difference value of interest (the sample of interest) (the predicted value of).
[0397]
In step S208, the pixel value calculation unit 203 calculates the pixel value of the corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, and the pixel value of the first target pixel and the second target pixel. A first target pixel and a second target pixel are predicted from the difference value from the pixel value of. For example, the pixel value calculation unit 203 determines the difference value calculated in the process of step S207 and the relationship between the input image as the SD image and the horizontal double-density image by spatially integrating the SD image. By applying the calculation, that is, the equations (24) and (25), two pixel values of the horizontal double-density image are calculated.
[0398]
In step S209, the class tap extraction unit 102 determines whether there is a pixel that has not been calculated among the pixels that form the frame of interest. If it is determined that there is a pixel, the process returns to step S201. Is repeated.
[0399]
If it is determined in step S209 that there is no pixel that has not been calculated, that is, if all horizontal double-density pixels forming the frame of interest have been predicted, the process ends.
[0400]
As described above, the image processing apparatus having the configuration shown in FIG. 15 can generate a horizontal double-density image corresponding to an input SD image.
[0401]
In the image processing apparatus having the configuration shown in FIG. 15, half of the horizontal double-density pixels forming the horizontal double-density image predict half of the difference value of the difference image, and the equation (24) is obtained from the difference value of the difference image. Alternatively, the pixel value of the horizontal double-density image is calculated by the simple calculation represented by Expression (25), so that a more accurate image can be obtained by simpler processing with less calculation amount. Become like
[0402]
Next, FIG. 23 is a block diagram illustrating a configuration example of an embodiment of an image processing device that performs learning for obtaining a tap coefficient for each class stored in the coefficient memory 201 in FIG.
[0403]
The same parts as those shown in FIG. 9 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the image processing apparatus of FIG. 23 is provided with a new difference image generation unit 221, and the addition processing unit 138, the teacher pixel extraction unit 139, the learning memory 140, the normal equation calculation unit 141, and the coefficient memory 142 in FIG. 9 except that an add-on operation unit 222, a teacher pixel extraction unit 223, a learning memory 224, a normal equation operation unit 225, and a coefficient memory 226 are provided.
[0404]
The horizontal double-density image as the image data for learning the tap coefficients is input to the image processing device in FIG. The horizontal double-density image input to the image processing device is supplied to the SD image generation unit 131 and the difference image generation unit 221.
[0405]
The SD image generation unit 131 in FIG. 23 generates an SD image from the input horizontal double-density image and supplies the SD image to the difference image generation unit 132 and the image memory 133. The SD image generation unit 131 generates an SD image corresponding to the horizontal double-density image by, for example, obtaining an average value of two pixels arranged horizontally in the horizontal double-density image and setting the average value as the pixel value of the SD image. .
[0406]
The difference image generation unit 221 generates a difference image as a teacher image from the horizontal double-density image as the input image, and supplies the generated difference image to the teacher pixel extraction unit 223. That is, the difference image generation unit 221 sorts each pixel of the horizontal double-density image into one of a set of two pixels adjacent to each other on the left and right, calculates a pixel value difference for each of the sets, and calculates the difference. For example, a difference image, which is a teacher image and includes a difference value between the pixel values of the horizontal double-density image shown in FIG. 16, is generated. The number of difference values of the difference image generated by the difference image generation unit 221 is half the number of pixels of the horizontal double-density image.
[0407]
The teacher pixel extraction unit 223 extracts teacher data as a difference value of interest from the difference image of the horizontal double-density image as the teacher image, and supplies the extracted teacher data to the addition operation unit 222.
[0408]
The addition calculation unit 222 and the normal equation calculation unit 225 determine, for each detected feature amount, the difference between the plurality of peripheral pixels extracted by the prediction tap extraction unit 137 and the attention pixel in the high-quality image data. A prediction unit for predicting a difference value between another pixel and another pixel adjacent to the pixel is learned.
[0409]
In this case, the prediction unit is a specific unit that predicts a difference value between the target pixel and another pixel adjacent to the target pixel in the high-quality image data from a difference value between a plurality of peripheral pixels. It refers to a difference calculation unit 202 whose operation is defined by each tap coefficient, or a process in the difference calculation unit 202. Learning a prediction unit for predicting a difference value between a target pixel and another pixel adjacent to the target pixel in the high-quality image data from a difference value between a plurality of peripheral pixels means that, for example, This means that it is possible to realize (construct) a prediction unit that predicts a difference value between the target pixel and another pixel adjacent to the target pixel in the high-quality image data from the difference value.
[0410]
Therefore, learning a prediction unit that predicts a difference value between a pixel of interest and another pixel adjacent to the pixel of interest in the high-quality image data from a difference value between a plurality of peripheral pixels means, for example, a tap coefficient for each class. Say you get. By obtaining the tap coefficient for each class, the difference calculation unit 202 or the processing in the difference calculation unit 202 is specified, and the difference calculation unit 202 can be realized or the processing in the difference calculation unit 202 can be executed. Because.
[0411]
That is, the addition operation unit 222 and the normal equation operation unit 225 use the teacher data as the difference value of interest and the prediction tap supplied from the prediction tap extraction unit 137 to determine the relationship between the teacher data and the student data. Is learned for each class indicated by the class code supplied from the class classification unit 136, thereby obtaining a tap coefficient for each class.
[0412]
That is, the addition operation unit 222 targets the prediction tap (difference value) supplied from the prediction tap extraction unit 137 and the difference value which is the teacher data supplied from the teacher pixel extraction unit 223, using the expression (26). ).
(Equation 21)

[0413]
Specifically, the addition operation unit 222 calculates the difference value d as the student data that constitutes the prediction tap._{n, k}And the multiplication (d) of the difference values in the matrix on the left side of equation (26)_{n, k}d_{n ', k}) And an operation equivalent to summation (Σ) is performed.
[0414]
Further, the adding operation unit 222 calculates the difference value d as the student data constituting the prediction tap._{n, k}And a difference value D as teacher data_kAnd the difference value and difference value D in the vector on the right side of equation (26)._kMultiplication (d_{n, k}D_k) And an operation equivalent to summation (Σ) is performed.
[0415]
The addition operation unit 222 performs the above addition as the difference value of the difference image of the horizontal double-density image as the teacher data, as a difference value of interest, so that for each class, When the corresponding normal equation is established, the normal equation is supplied to the learning memory 224.
[0416]
By replacing the pixel value y with the difference value D, Expression (26) can be derived in the same manner as Expression (16) from Expressions (9) to (15), and the description thereof is omitted. .
[0417]
The learning memory 224 stores the normal equation corresponding to the equation (26) supplied from the addition operation unit 222 and having the difference value added as the student data and the difference value added as the teacher data.
[0418]
The normal equation calculation unit 225 obtains the normal equation of the equation (26) for each class from the learning memory 224, solves the normal equation (by learning), calculates and outputs the tap coefficient for each class. I do.
[0419]
The coefficient memory 226 stores tap coefficients for each class output by the normal equation operation unit 225.
[0420]
Next, learning processing by the image processing apparatus having the configuration shown in FIG. 23 will be described with reference to the flowchart in FIG.
[0421]
In step S221, the SD image generation unit 131 acquires learning image data that is an input image (horizontal double-density image), and generates an SD image. The SD image is supplied to the difference image generation unit 132, and the procedure proceeds to Step S222.
[0422]
Proceeding to step S222, the difference image generation unit 132 obtains a difference between the pixel values of the SD image supplied from the SD image generation unit 131, and generates a difference image of the SD image, which is a student image including the difference values. The difference image of the generated SD image is stored in the image memory 133, and the procedure proceeds to step S223.
[0423]
In step S223, the difference image generation unit 221 obtains the difference between the pixel values of the horizontal double-density image that is the input image, and generates a difference image of the horizontal double-density image that is a teacher image including the difference values. The generated difference image of the horizontal double-density image is supplied to the teacher pixel extracting unit 223, and the procedure proceeds to step S224.
[0424]
In step S224, as in the case of the class tap extraction unit 102 in FIG. 15, the class tap extraction unit 134 selects, among the difference values of the difference image of the horizontal double-density image as the teacher data, Is selected as a difference value of interest, a class tap of a difference image corresponding to the pixel of interest is generated from a difference image as a student image stored in the image memory 133, and a class tap of an SD image is generated. Is generated from the SD image stored in the image memory 133, and the generated class tap of the difference image and the generated class tap of the SD image are supplied to the feature amount calculation unit 135, and the process proceeds to step S225.
[0425]
In step S225, the feature amount calculation unit 135 determines, for example, a motion vector from a plurality of peripheral pixels, that is, a class tap of a difference image and a class tap of an SD image, as in the case of the feature amount calculation unit 103 in FIG. Alternatively, the feature amount of the pixel of interest, such as a change in the pixel value of a pixel of a plurality of SD images that are spatially or temporally close to the position of the pixel of interest, is calculated, and the calculated feature amount is sent to the class classification unit 136. Supply, and the process proceeds to step S226.
[0426]
Further, in step S225, the feature amount calculation unit 135 determines the feature of the plurality of peripheral pixels for the target pixel based on the SD image stored in the image memory 133, as in the case of the feature amount calculation unit 103 in FIG. The amount is detected, and the detected feature amount is supplied to the classifying unit 136. Further, in step S225, the feature amount calculation unit 135 determines the feature of a plurality of peripheral pixels with respect to the pixel of interest based on the difference image stored in the image memory 133, as in the case of the feature amount calculation unit 103 in FIG. The amount is detected, and the detected feature amount is supplied to the classifying unit 136.
[0427]
In step S226, the classifying unit 136 pays attention using the class tap from the class tap extracting unit 134 and the feature amount from the feature amount calculating unit 135, as in the case of the classifying unit 104 in FIG. The target pixel is classified into classes, and a class code indicating the class of the target pixel of interest is supplied to the prediction tap extracting unit 137 and the learning memory 224, and the process proceeds to step S227.
[0428]
In step S227, the prediction tap extraction unit 137, based on the class code supplied from the class classification unit 136, executes the prediction tap corresponding to the target pixel of interest in the same manner as in the prediction tap extraction unit 106 of FIG. Is generated by extracting from the difference image as the student image stored in the image memory 133, and is supplied to the adding operation unit 222, and the process proceeds to step S228.
[0429]
In step S228, the teacher pixel extracting unit 223 extracts a difference value corresponding to the target pixel of interest, that is, a teacher pixel (teacher data) from the difference image of the horizontal double-density image, and adds the extracted teacher data. Then, the process proceeds to step S229.
[0430]
In step S229, the addition operation unit 222 performs the above-described expression (26) on the prediction tap (student data) supplied from the prediction tap extraction unit 137 and the teacher data supplied from the teacher pixel extraction unit 223. Is added, and the normal equation in which the student data and the teacher data are added is stored in the learning memory 224, and the process proceeds to step S230.
[0431]
Then, in step S230, the class tap extraction unit 134 determines whether there is any difference value of the horizontal double-density image as the teacher data that is not the difference value of interest, that is, adds all the pixels. It is determined whether the process has been completed. If it is determined in step S230 that some of the pixels of the teacher data do not yet have the difference value of interest, the process returns to step S224, and the same processing is repeated.
[0432]
If it is determined in step S230 that there is no teacher image that does not have the difference value of interest, that is, it is determined that the addition of all pixels has been completed, the process proceeds to step S231, and the normal equation calculation unit 225 determines The normal equation of the class for which the tap coefficient has not yet been determined is read out from the learning memory 224 from the normal equation of the equation (26) obtained for each class by the addition in step S229 so far, and the read equation ( 26) By solving (learning) the normal equation, a tap coefficient of a predetermined class is obtained, supplied to the coefficient memory 226 and stored, and the process proceeds to step S232.
[0433]
In other words, in steps S229 and S231, for each feature amount detected, the difference between the pixel of interest and another pixel adjacent to the pixel of interest in the high-quality image data is determined from the difference value between the plurality of extracted peripheral pixels. A prediction means for predicting the value is learned.
[0434]
In step S232, the normal equation calculation unit 225 determines whether or not the calculation of the tap coefficients of all the classes has been completed. If it is determined that the calculation of the tap coefficients of all the classes has not been completed, the process returns to step S231. , And repeats the process of obtaining the tap coefficient of the next class.
[0435]
If it is determined in step S232 that the calculation of the tap coefficients of all classes has been completed, the coefficient memory 226 stores the tap coefficients of all classes, and the process ends. That is, the coefficient memory 226 stores the learned prediction means.
[0436]
As described above, the tap coefficients for each class stored in the coefficient memory 226 are stored in the coefficient memory 201 in the image processing apparatus in FIG.
[0437]
FIG. 25 is a block diagram showing a configuration of another embodiment of the image processing apparatus according to the present invention.
[0438]
In the image processing apparatus shown in FIG. 25, for example, an SD image is input, a class classification process is applied to the input SD image, a difference between pixel values of the SD image is calculated, and an adaptive By applying the processing, a difference image of the horizontal double-density image is created. Then, a horizontal double-density image is generated from the difference image of the created horizontal double-density image, and the generated horizontal double-density image is output.
[0439]
In the figure, portions corresponding to those in FIG. 11 are denoted by the same reference numerals, and a description thereof will be omitted below as appropriate. That is, in the image processing apparatus of FIG. 25, a pixel value calculation unit 253 is newly provided, and the input image is supplied to the pixel value calculation unit 253 together with the class tap extraction unit 151, the feature amount calculation unit 152, and the prediction tap extraction unit 155. The configuration is the same as that in FIG. 11 except that a coefficient memory 251 and a difference calculation unit 252 are provided instead of the coefficient memory 154 and the pixel value calculation unit 157 in FIG.
[0440]
The coefficient memory 251 stores a relationship between teacher data, which is a difference value between pixel values of the horizontal double-density image, which is a learning teacher, and student data, which is a difference value between pixel values of an SD image, which is a learning student. A tap coefficient obtained by learning for each of one or more classes is stored. When the class memory 251 is supplied with the class code of the pixel of interest in the horizontal double-density image from the class classification unit 153, the coefficient memory 251 reads out the tap coefficient stored at the address corresponding to the class code. Thus, the tap coefficient of the class of the pixel of interest is acquired and supplied to the difference calculation unit 252.
[0441]
The difference calculation unit 252 calculates a first pixel of interest from a difference value of a prediction tap, which is a difference value between a plurality of extracted neighboring pixels, supplied from the difference calculation unit 156, based on the detected feature amount. And a pixel value of the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, is predicted.
[0442]
More specifically, the difference calculation unit 252 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 251.₁, W₂,..., And the difference value d of the prediction tap from the difference calculation unit 156₁, D₂,... Are used to calculate (the predicted value of) the difference value D of interest, which is the difference value between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest. The difference value between the pixel values of the horizontal double-density image is used. The difference calculation unit 252 supplies a difference image including the calculated difference values to the pixel value calculation unit 253.
[0443]
That is, the difference calculation unit 252 performs the same process as the difference calculation unit 202 to predict the difference value D (of interest, which is the difference value between the pixel value of the first target pixel and the pixel value of the second target pixel. Value).
[0444]
The pixel value calculation unit 253 calculates the pixel value of the corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, and the pixel value of the first target pixel and the pixel value of the second target pixel. The first and second pixels of interest are predicted from the difference value of.
[0445]
For example, the pixel value calculation unit 253 performs spatial integration on the SD image based on the difference image of the horizontal double-density image and the input image that is the SD image supplied from the difference calculation unit 252. The pixel value of the horizontal double-density image is calculated for the SD image based on the relationship with the horizontal double-density image, and the horizontal double-density image obtained by the calculation is output.
[0446]
That is, the pixel value calculation unit 253 performs the same processing as the pixel value calculation unit 203, and calculates the pixel value of the corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, and the first target pixel And a second target pixel are predicted from the difference between the pixel value of the second target pixel and the pixel value of the second target pixel.
[0447]
The image processing apparatus having the configuration shown in FIG. 25 generates a horizontal double-density image for the input SD image, and further applies the above-described processing in the vertical direction to the generated horizontal double-density image. Thus, an HD image can be generated.
[0448]
Next, with reference to the flowchart of FIG. 26, image processing for creating a horizontal double-density image by the image processing apparatus shown in FIG. 25 will be described.
[0449]
The processes in steps S251 to S255 are the same as the processes in steps S151 to S155 in FIG. 12, respectively, and thus description thereof will be omitted.
[0450]
In step S256, the coefficient memory 251 reads out the tap coefficient (prediction coefficient) stored at the address corresponding to the class code supplied from the class classification unit 153, and thereby, taps the class of the target pixel of interest. The coefficient is obtained and supplied to the difference calculator 252, and the process proceeds to step S257.
[0451]
In step S257, the difference calculation unit 252 calculates (a predicted value of) the difference value (sample) of interest, and proceeds to step S258. That is, in step S257, the difference calculation unit 252 calculates the first target pixel in the output image data from the difference value between the plurality of peripheral pixels supplied from the difference calculation unit 156 based on the detected feature amount. And a pixel value of the second target pixel in the output image data, which is arranged at a position spatially close to the first target pixel, is predicted. For example, the difference calculation unit 252 performs the calculation of Expression (17) using the difference value of the prediction tap from the difference calculation unit 156 and the tap coefficient from the coefficient memory 251 to calculate the difference image of the horizontal double-density image. The difference value of interest (the sample of interest) that constitutes (the predicted value of) is obtained.
[0452]
In step S258, the pixel value calculation unit 253 calculates the pixel value of the corresponding pixel in the input image corresponding to the first target pixel and the second target pixel, and the pixel value of the first target pixel and the second target pixel. A first target pixel and a second target pixel are predicted from the difference value from the pixel value of. For example, the pixel value calculation unit 253 calculates the difference value calculated in the process of step S257 and the relationship between the input image, which is the SD image, and the horizontal double-density image by spatially integrating the SD image. By applying the calculation, that is, the equations (24) and (25), two pixel values of the horizontal double-density image are calculated.
[0453]
In step S259, the class tap extracting unit 151 determines whether there is a pixel that has not been calculated among the pixels constituting the frame of interest. If it is determined that there is a pixel, the process returns to step S251. Is repeated.
[0454]
If it is determined in step S259 that there is no pixel that has not been calculated, that is, if all horizontal double-density pixels forming the frame of interest have been predicted, the process ends.
[0455]
As described above, the image processing apparatus having the configuration illustrated in FIG. 25 can generate a horizontal double-density image corresponding to an input SD image.
[0456]
In the image processing apparatus having the configuration shown in FIG. 25, half of the horizontal double-density pixels constituting the horizontal double-density image are predicted with half the difference values of the difference image, and the difference value of the difference image is used to calculate the equation (24) Alternatively, the pixel value of the horizontal double-density image is calculated by the simple calculation represented by Expression (25), so that a more accurate image can be obtained by simpler processing with less calculation amount. Become like
[0457]
Next, FIG. 27 is a block diagram illustrating a configuration example of an embodiment of an image processing apparatus that performs learning for obtaining a tap coefficient for each class stored in the coefficient memory 251 of FIG.
[0458]
The same parts as those shown in FIG. 13 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, in the image processing apparatus of FIG. 27, a difference image generation unit 271 is newly provided, and an input image is supplied to the SD image generation unit 171 and the difference image generation unit 271. Instead of the extraction unit 179, the learning memory 180, the normal equation operation unit 181, and the coefficient memory 182, an addition operation unit 272, a teacher pixel extraction unit 273, a learning memory 274, a normal equation operation unit 275, and a coefficient memory 276 are provided. Otherwise, the configuration is the same as in FIG.
[0459]
The horizontal double-density image as the image data for learning the tap coefficients is input to the image processing device in FIG. The horizontal double-density image input to the image processing device is supplied to the SD image generation unit 171 and the difference image generation unit 271.
[0460]
The difference image generation unit 271 generates a difference image as a teacher image from the horizontal double-density image as the input image, and supplies the generated difference image to the teacher pixel extraction unit 273. That is, the difference image generation unit 271 assigns each pixel of the horizontal double-density image to one of a set of two pixels adjacent to each other on the left and right, calculates a pixel value difference for each of the sets, and calculates the difference. For example, a difference image, which is a teacher image and includes a difference value between pixel values of the horizontal double-density image illustrated in FIG. 16, is generated. The number of difference values of the difference image generated by the difference image generation unit 271 is half of the number of pixels of the horizontal double-density image.
[0461]
The teacher pixel extracting unit 273 extracts teacher data as a difference value of interest (a difference value between the first target pixel and the second target pixel) from the difference image of the horizontal double-density image as the teacher image. Then, the extracted teacher data is supplied to the adding operation unit 272.
[0462]
The addition calculation unit 272 and the normal equation calculation unit 275 determine, based on the difference value between a plurality of peripheral pixels calculated by the difference calculation unit 177 for each detected feature amount, the attention pixel and the attention in the high-quality image data. A prediction unit for predicting a difference value between another pixel and another pixel adjacent to the pixel is learned.
[0463]
In this case, the prediction unit is a specific unit that predicts a difference value between the target pixel and another pixel adjacent to the target pixel in the high-quality image data from a difference value between a plurality of peripheral pixels. This means a difference calculation unit 252 whose operation is defined by each tap coefficient, or a process in the difference calculation unit 252. Learning a prediction unit for predicting a difference value between a target pixel and another pixel adjacent to the target pixel in the high-quality image data from a difference value between a plurality of peripheral pixels means that, for example, This means that it is possible to realize (construct) a prediction unit that predicts a difference value between the target pixel and another pixel adjacent to the target pixel in the high-quality image data from the difference value.
[0464]
Therefore, learning a prediction unit that predicts a difference value between a pixel of interest and another pixel adjacent to the pixel of interest in the high-quality image data from a difference value between a plurality of peripheral pixels means, for example, a tap coefficient for each class. Say you get. By obtaining the tap coefficient for each class, the difference calculation unit 252 or the processing in the difference calculation unit 252 is specified, and the difference calculation unit 252 can be realized or the processing in the difference calculation unit 252 can be executed. Because.
[0465]
That is, the addition calculation unit 272 and the normal equation calculation unit 275 use the teacher data as the difference value of interest and the difference value of the prediction tap supplied from the difference calculation unit 177 to calculate the difference between the teacher data and the difference value. By learning the relationship with certain student data for each class indicated by the class code supplied from the class classification unit 175, a tap coefficient for each class is obtained.
[0466]
More specifically, the addition operation unit 272 targets the difference value of the prediction tap supplied from the prediction tap extraction unit 176 and the difference value which is the teacher data supplied from the teacher pixel extraction unit 273. Expression (26) is added. The addition calculation unit 272 adds the difference values of the difference image of the horizontal double-density image as the teacher data as the difference values of interest, and thereby corresponds to Expression (26) for each class. When the normal equation is established, the normal equation is supplied to the learning memory 274.
[0467]
The learning memory 274 stores the normal equation corresponding to the equation (26) in which the difference value is added as the student data and the difference value is added as the teacher data, which are supplied from the addition operation unit 272.
[0468]
The normal equation calculation unit 275 obtains the normal equation of the equation (26) for each class from the learning memory 274, solves the normal equation (by learning), and calculates and outputs a tap coefficient for each class. I do.
[0469]
The coefficient memory 276 stores tap coefficients for each class output by the normal equation operation unit 275.
[0470]
Next, learning processing by the image processing apparatus having the configuration shown in FIG. 27 will be described with reference to the flowchart in FIG.
[0471]
In step S271, the SD image generation unit 171 acquires learning image data that is an input image (horizontal double-density image), and generates an SD image from the input image. The SD image is supplied to the image memory 172 and stored in the image memory 172, and the procedure proceeds to step S277.
[0472]
In step S272, the difference image generation unit 271 obtains a difference between the pixel values of the horizontal double-density image that is the input image, and generates a difference image of the horizontal double-density image that is a teacher image including the difference values. The generated difference image of the horizontal double-density image is supplied to the teacher pixel extracting unit 273, and the procedure proceeds to step S273.
[0473]
In step S273, as in the case of the class tap extraction unit 151 in FIG. 25, the class tap extraction unit 173 selects, from among the pixels of the difference image of the horizontal double-density image as the teacher data, every other pixel. By selecting one of the non-attention pixels as the pixel of interest and extracting a plurality of peripheral pixels in the SD image corresponding to the pixel of interest, a class tap corresponding to the pixel of interest is stored in the image memory. The generated class tap is generated from the SD image stored in the storage unit 172, and the generated class tap is supplied to the feature amount calculation unit 135, and the process proceeds to step S274.
[0474]
In step S274, similarly to the case of the feature amount calculation unit 152 in FIG. 25, the feature amount calculation unit 174 uses a class tap that is a plurality of peripheral pixels to detect, for example, a motion vector or a spatial or temporal The feature amount of the pixel of interest, such as a change in the pixel value of a pixel of a plurality of SD images that are close to each other, is calculated, and the calculated feature amount is supplied to the class classification unit 175, and the process proceeds to step S275. In step S274, the feature amount calculation unit 174 determines the feature of a plurality of peripheral pixels with respect to the target pixel based on the SD image stored in the image memory 172, as in the case of the feature amount calculation unit 152 in FIG. The amount is detected, and the detected feature amount is supplied to the classifying unit 175.
[0475]
In step S275, the classifying unit 175 uses the class tap from the class tap extracting unit 173 and the feature amount from the feature amount calculating unit 174 to perform attention in the same manner as in the case of the classifying unit 153 in FIG. The target pixel is classified into classes, and a class code indicating the class of the target pixel of interest is supplied to the prediction tap extracting unit 176 and the learning memory 274, and the process proceeds to step S276.
[0476]
In step S276, based on the class code supplied from the class classification unit 175, the prediction tap extraction unit 176 determines the prediction tap corresponding to the target pixel of interest in the same manner as in the prediction tap extraction unit 155 of FIG. Is extracted from the SD image stored in the image memory 172, generated, supplied to the difference calculator 177, and the process proceeds to step S277.
[0477]
Proceeding to step S277, the difference calculation unit 177 calculates the difference between the pixel values of the prediction taps supplied from the prediction tap extraction unit 176, and generates a difference value. The generated difference value is supplied to the adding operation unit 272, and the procedure proceeds to step S278.
[0478]
In step S278, the teacher pixel extraction unit 273 extracts a difference value corresponding to the target pixel of interest, that is, a teacher pixel (teacher data) from the difference image of the horizontal double-density image, and adds the extracted teacher data. Then, the process proceeds to step S279.
[0479]
In step S279, the addition calculation unit 272 performs the above-described expression (26) on the difference value (student data) supplied from the difference calculation unit 177 and the teacher data supplied from the teacher pixel extraction unit 273. The addition is performed, and the normal equation in which the student data and the teacher data are added is stored in the learning memory 274, and the process proceeds to step S280.
[0480]
Then, in step S280, the class tap extraction unit 173 determines whether or not every other pixel among the pixels of the horizontal double-density image as the teacher data is not the pixel of interest, that is, It is determined whether addition of all pixels has been completed. If it is determined in step S280 that some of the pixels of the teacher data are not the pixels of interest, the process returns to step S273, and the same processing is repeated.
[0481]
If it is determined in step S280 that there is no teacher image that is not the pixel of interest, that is, it is determined that the addition of all pixels has been completed, the process proceeds to step S281, and the normal equation calculation unit 275 From the normal equation of equation (26) obtained for each class by the addition in step S279 so far, the normal equation of the class for which the tap coefficient has not yet been determined is read from the learning memory 274, and the read equation (26) ) By solving (learning) the normal equation, a tap coefficient of a predetermined class is obtained, supplied to and stored in the coefficient memory 276, and the process proceeds to step S282.
[0482]
That is, in step S279 and step S281, for each feature amount detected, the difference between the pixel of interest and another pixel adjacent to the pixel of interest in the high-quality image data is determined based on the difference between the plurality of extracted peripheral pixels. A prediction means for predicting the value is learned.
[0483]
In step S282, the normal equation calculation unit 275 determines whether or not the calculation of the tap coefficients of all the classes has been completed. If it is determined that the calculation of the tap coefficients of all the classes has not been completed, the process returns to step S281. , And repeats the process of obtaining the tap coefficient of the next class.
[0484]
If it is determined in step S282 that the calculation of the tap coefficients of all the classes has been completed, the coefficient memory 276 stores the tap coefficients of all the classes, and the process ends. That is, the coefficient memory 276 stores the learned prediction means.
[0485]
As described above, the tap coefficients for each class stored in the coefficient memory 276 are stored in the coefficient memory 251 in the image processing apparatus in FIG.
[0486]
As described above, when the classification adaptive processing is applied to the input image, a higher-quality second image (output image) corresponding to the first image (input image) can be obtained. .
[0487]
Further, a plurality of first peripheral pixels in the input image data corresponding to the first target pixel in the high quality image data are extracted, and a plurality of first peripheral pixels in the input image data corresponding to the first target pixel are extracted. 2 are extracted, and the feature values of the plurality of extracted first surrounding pixels are detected. Based on the detected feature values, a difference value between the extracted plurality of second surrounding pixels is Predicting a difference value between the pixel value of the first target pixel and the pixel value of the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel; From the pixel value of the corresponding pixel in the input image data corresponding to the first pixel of interest and the second pixel of interest, and the difference value between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest, When the target pixel and the second target pixel are predicted, the calculation amount is smaller, A single processing, it is possible to obtain a more accurate image.
[0488]
Further, when learning is performed for each class based on the first image (input image) and the second image (output image), the second image of higher quality corresponding to the first image is obtained. Tap coefficients for obtaining the image of (1) can be obtained.
[0489]
Further, a plurality of first peripheral pixels in the input image data corresponding to the target pixel in the high-quality image data are extracted, and a plurality of second peripheral pixels in the input image data corresponding to the target pixel are extracted. Then, a feature amount of the pixel of interest is detected based on the extracted plurality of first peripheral pixels, and the feature value of the detected pixel is calculated from the difference value between the extracted plurality of second peripheral pixels for each detected feature amount. If the prediction means for predicting the difference value between the pixel and another pixel adjacent to the pixel of interest in the high-quality image data is to be learned, the calculation amount is smaller based on the prediction means. An image with higher accuracy can be obtained by simple processing.
[0490]
FIG. 29 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
[0490]
In the image processing apparatus shown in FIG. 29, for example, an SD image is input, a difference image of the input SD image is generated, and the difference image is subjected to a class classification adaptive process, so that the horizontal direction is obtained. Every other pixel in the horizontal direction is created among the pixels constituting the double-density image.
[0492]
For example, among the pixels of the horizontal double-density image indicated by the crosses in FIG. 16, the first row, first column, first row, third column, first row, fifth column, first row, seventh column, and second row Row 1st column, 2nd row 3rd column, 2nd row 5th column, 2nd row 7th column, 3rd row 1st column, 3rd row 3rd column, 3rd row 5th column, 3rd row 7th column, 4th row, 1st column, 4th row, 3rd column, 4th row, 5th column, 4th row, 7th column, 5th row, 1st column, 5th row, 3rd column, 5th row Pixels in column 5, row 5, column 7 are created.
[0493]
Then, the entire horizontal double-density image is generated from the created horizontal double-density image composed of half of the pixels, and the generated horizontal double-density image is output.
[0494]
In the figure, portions corresponding to those in FIG. 15 are denoted by the same reference numerals, and a description thereof will be appropriately omitted below. That is, the image processing apparatus in FIG. 29 includes a coefficient memory 301, a pixel value calculation unit 302, and a pixel value calculation unit 303 instead of the coefficient memory 201, the difference calculation unit 202, and the pixel value calculation unit 203 in FIG. Otherwise, the configuration is the same as in FIG.
[0495]
The class tap extracting unit 102 of the image processing apparatus shown in FIG. 29 sequentially focuses horizontal double-density pixels (samples) of the horizontal double-density image to be obtained by the class classification adaptive processing, every other pixel in the horizontal direction. Pixels. Then, the class tap extraction unit 102 generates a class tap used for class classification of the pixel of interest from the difference image stored in the difference image generation unit 101, and outputs the class tap to the feature amount calculation unit 103.
[0496]
That is, the class tap extracting unit 102 extracts and generates the class tap of the difference image used for the class classification of the pixel of interest from the difference image stored in the difference image generation unit 101, and outputs the class tap to the feature amount calculation unit 103. .
[0497]
Further, the class tap extracting unit 102 extracts the class tap of the input image from the input image which is the SD image and supplies the extracted class tap to the feature amount calculating unit 103 separately from the class tap of the difference image.
[0498]
As described above, the class tap extracting unit 102 extracts a plurality of peripheral pixels (class taps) in the input image corresponding to the target pixel of the high-quality image that is higher in quality than the input image.
[0499]
The prediction tap extraction unit 106 of the image processing apparatus shown in FIG. 29 uses a prediction tap used for obtaining (a predicted value of) a pixel of interest in the pixel value calculation unit 302 based on the class code supplied from the class classification unit 104. Is extracted from the difference image stored in the difference image generation unit 101, generated, and supplied to the pixel value calculation unit 302. For example, the prediction tap extracting unit 106 extracts a plurality of difference values spatially or temporally close to the position of the pixel of interest from the difference image stored in the difference image generation unit 101 to obtain a prediction tap, It is supplied to the pixel value calculation unit 302.
[0500]
The coefficient memory 301 stores a relationship between teacher data, which is a pixel value of a horizontal double-density image, which is a learning teacher, and student data, which is a difference value of SD image data, which is a learning student, for each of one or more classes. The tap coefficients obtained by learning are stored. When the class code of the pixel of interest of the horizontal double-density image is supplied from the class classification unit 104, the coefficient memory 301 reads the tap coefficient stored at the address corresponding to the class code, thereby obtaining the pixel of interest. Are obtained and supplied to the pixel value calculation unit 302.
[0501]
The pixel value calculation unit 302 predicts a first target pixel of the horizontal double-density image from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0502]
More specifically, the pixel value calculation unit 302 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 301.₁, W₂,..., And the prediction tap (difference value constituting the same) d from the prediction tap extraction unit 106₁, D₂,..., Are used to calculate (predicted values of) target pixels y that have been noticed in every other horizontal direction in the horizontal double-density image, and this is calculated as the first target of the horizontal double-density image. The pixel value of the pixel is used. The pixel value calculation unit 302 supplies a horizontal double-density image composed of pixel values calculated every other in this way to the pixel value calculation unit 303.
[0503]
That is, in the adaptive processing in the pixel value calculation unit 302, the difference value between the pixel values of the input image which is the SD image is mapped (mapped) using a predetermined tap coefficient, so that every other horizontal double-density image is obtained. Are converted to pixel values.
[0504]
The pixel value calculation unit 303 corresponds the second target pixel of the horizontal double-density image arranged at a position spatially close to the first target pixel to the first target pixel and the second target pixel. Is predicted based on the value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image.
[0505]
In other words, the pixel value calculating unit 303 converts the SD image based on the horizontal double-density image including every other pixel in the horizontal direction and the input image that is the SD image supplied from the pixel value calculating unit 302. From the relationship based on the spatial integration, the pixel value of the remaining horizontal double-density image (the pixel adjacent to every other pixel of the horizontal double-density image, A pixel value calculated by the pixel value calculation unit 302 is calculated, and a horizontal double-density image including the pixel obtained by the pixel value calculation unit 302 and the pixel calculated by the pixel value calculation unit 303 is output. That is, for example, the pixel value calculation unit 303 calculates the pixel value of every other pixel of the horizontal double-density image supplied from the pixel value calculation unit 302 as y⁽¹⁾And when the pixel value of the input image which is an SD image is x, x and y⁽¹⁾, The pixel value y of the pixel not calculated by the pixel value calculation unit 302⁽²⁾Is calculated.
[0506]
By transforming equation (21), y⁽²⁾Equation (27) can be derived for
y⁽²⁾= 2x-y⁽¹⁾                                      ... (27)
[0507]
Therefore, according to the equations (22) and (27), the SD pixel x and the pixel value y of the horizontal double-density image corresponding to the SD pixel x are obtained.⁽¹⁾And y⁽²⁾Is known, the pixel value y of the horizontal double-density image⁽¹⁾And y⁽²⁾Can be calculated.
[0508]
That is, from the relationship between the horizontal double-density image and the SD image based on the spatial integration of the SD image, it is possible to know the horizontal double-density image composed of every other pixel and the input image that is the SD image. If possible, the pixel value of the remaining horizontal double-density image corresponding to the SD image can be calculated.
[0509]
For example, in the pixel value calculation unit 302, the pixel value y of the horizontal double-density image indicated by an X mark⁽²⁾Is calculated, and the pixel value y⁽²⁾, The pixel value of the input image which is the SD image is x⁽⁸⁾, The pixel value calculation unit 303 calculates the pixel value x⁽⁸⁾And y⁽²⁾And y⁽¹⁾= 2x⁽⁸⁾-Y⁽²⁾To calculate the pixel value y of the horizontal double-density image⁽¹⁾Is calculated.
[0510]
The image processing apparatus shown in FIG. 29 generates a horizontal double-density image for the input SD image, and further applies the above-described processing in the vertical direction to the generated horizontal double-density image. Thus, an HD image can be generated.
[0511]
Next, with reference to the flowchart of FIG. 30, image processing for creating a horizontal double-density image by the image processing apparatus having the configuration shown in FIG. 29 will be described.
[0512]
Steps S301 to S305 are performed in steps S101 to S105 in FIG. 8, respectively, except that every other pixel in the horizontal direction of the horizontal double-density image is selected as the pixel of interest in the process of step S302. Since the processing is the same as that of the processing, the description is omitted.
[0513]
In step S306, the coefficient memory 301 reads a tap coefficient (prediction coefficient) stored at an address corresponding to the class code supplied from the class classification unit 104, thereby acquiring a tap coefficient of the class of the pixel of interest. Then, the data is supplied to the pixel value calculation unit 302, and the process proceeds to step S307.
[0514]
In step S307, the pixel value calculation unit 302 predicts a first target pixel from a prediction tap, which is a difference value between a plurality of extracted peripheral pixels, based on the detected feature amount. In other words, the pixel value calculation unit 302 calculates (the predicted value of) the pixel of interest, which is every other pixel in the horizontal direction of the horizontal double-density image, and proceeds to step S308. That is, in step S307, the pixel value calculation unit 302 uses the prediction taps from the prediction tap extraction unit 106 and the tap coefficients from the coefficient memory 301 to perform a linear linear expression (linear combination) on (Predicted value).
[0515]
For example, in step S307, the pixel value calculation unit 302 uses the prediction tap from the prediction tap extraction unit 106 and the tap coefficient from the coefficient memory 301 to perform the calculation represented by Expression (9), (Predicted value).
[0516]
Note that while the pixel value of the HD image is calculated by the pixel value calculation unit 107 by the calculation represented by Expression (9), the coefficient memory 301 is a horizontal double-density image serving as a learning teacher. Since the tap coefficients obtained by learning the relationship between the teacher data and the student data, which is the difference image of the SD image, which is a student of learning, for each of one or more classes are stored, the pixel value calculation unit is used. In 302, the pixel value of the horizontal double-density image is obtained by the calculation represented by Expression (9).
[0517]
In step S308, the pixel value calculation unit 303 assigns the second target pixel in the output image, which is a high-quality image, which is arranged at a position spatially close to the first target pixel, to the first target pixel and the first target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image corresponding to the second target pixel. In other words, the pixel value calculation unit 303 spatially integrates the SD image into the horizontal double-density image composed of every other pixel and the input image that is the SD image calculated in the process of step S307. Thus, the calculation based on the relationship between the horizontal double-density image and the SD image, that is, the calculation of Expression (22) (or Expression (27)) is applied to obtain the remaining pixel value (horizontal double-density) of the horizontal double-density image. The pixel value of a pixel adjacent to every other pixel of the image and not calculated by the pixel value calculation unit 302 is calculated.
[0518]
In step S309, the class tap extraction unit 102 determines whether there is a pixel that has not been calculated or calculated and that is not predicted among the pixels that form the frame of interest. Returning to step S301, the same processing is repeated thereafter.
[0519]
In step S309, if all the pixels of the frame of interest have been calculated or determined to have been calculated, that is, if all the horizontal double-density pixels forming the frame of interest have been predicted, the process ends. .
[0520]
The tap coefficients stored in the coefficient memory 301 are configured as shown in FIG. Can be obtained by the learning process of the image processing apparatus indicated by.
[0521]
As described above, when the classification adaptive processing is applied to the input image, a higher-quality second image (output image) corresponding to the first image (input image) can be obtained. .
[0522]
In addition, a difference image including a difference value between pixel values of pixels adjacent in the spatial direction of the first image (input image) is generated, and attention is paid to a third image related to the second image (output image). A class tap used to perform class classification for classifying a sample of interest, which is a sample, into one of one or more classes is generated from the difference image, and the sample of interest is classified based on the class tap. Then, a prediction tap used for obtaining the sample of interest is generated from the difference image, and teacher data corresponding to the third image serving as a learning teacher and student data corresponding to the difference image serving as a learning student are generated. The tap coefficients of the class of the sample of interest are obtained from the tap coefficients obtained by learning the relationship of The target sample is calculated by using the map and the third image is obtained. Based on the relationship between the pixel value of the first image, the pixel value of the second image, and the sample of the third image, When the pixel value of the second image is calculated from the sample of the third image and the pixel value of the first image corresponding to the sample, and the second image is obtained, the amount of calculation becomes smaller. More accurate images can be obtained with less and simpler processing.
[0523]
When learning is performed for each class based on the first image (input image) and the second image (output image), a higher-quality second image corresponding to the first image Can be obtained to obtain tap coefficients.
[0524]
In addition, a student image of a difference between pixel values of pixels adjacent to each other in the spatial direction of the first image (input image), which is a student of tap coefficient learning, is generated, and a teacher image of tap coefficient learning is generated. A third image related to the second image (output image) is generated, and the attention sample of the third image sample serving as a teacher of tap coefficient learning is selected from any of one or more classes. A class tap used to perform class classification to classify into the class is generated from a student image to be a student of learning, and a sample of interest is classified based on the class tap and used to obtain a sample of interest. A prediction tap is generated from the student image, and the relationship between the teacher image and the student image is learned for each of one or more classes using the sample of interest and the prediction tap. When to seek coefficient, based on the tap coefficient determined, less the amount of calculation by a simpler process, it is possible to obtain a more accurate image.
[0525]
FIG. 31 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
[0526]
In the image processing apparatus shown in FIG. 31, for example, an SD image is input, a class classification process is applied to the input SD image, a difference between pixel values of the SD image is calculated, and an adaptive By applying the processing, every other pixel in the horizontal direction is created among the pixels forming the horizontal double-density image.
[0527]
Then, the entire horizontal double-density image is generated from the created horizontal double-density image composed of half of the pixels, and the generated horizontal double-density image is output.
[0528]
In the figure, portions corresponding to those in FIG. 11 are denoted by the same reference numerals, and a description thereof will be omitted below as appropriate. That is, in the image processing apparatus of FIG. 31, a pixel value calculation unit 323 is newly provided, and an input image is supplied to the pixel value calculation unit 323 together with the class tap extraction unit 151, the feature amount calculation unit 152, and the prediction tap extraction unit 155. The configuration is the same as that in FIG. 11 except that a coefficient memory 321 and a pixel value calculation unit 322 are provided instead of the coefficient memory 154 and the pixel value calculation unit 157 in FIG.
[0529]
The coefficient memory 321 stores a relationship between teacher data, which is a pixel value of a horizontal double-density image, which serves as a learning teacher, and student data, which is a difference value of SD image data, which serves as a learning student, for each of one or more classes. The tap coefficients obtained by learning are stored. When the class code of the target pixel of the horizontal double-density image is supplied from the class classification unit 153, the coefficient memory 321 reads the tap coefficient stored at the address corresponding to the class code, and thereby obtains the target pixel. Are obtained and supplied to the pixel value calculation unit 322.
[0530]
The pixel value calculation unit 322 predicts a first target pixel of the horizontal double-density image from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0531]
More specifically, the pixel value calculation unit 322 performs the same processing as the pixel value calculation unit 302, and supplies the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 321.₁, W₂,... And the difference value d from the difference calculation unit 156₁, D₂,..., Are used to calculate (predicted values of) target pixels y that have been noticed in every other horizontal direction in the horizontal double-density image. The pixel value of the pixel is used. The pixel value calculation unit 322 supplies a horizontal double-density image composed of pixel values calculated every other in this way to the pixel value calculation unit 323.
[0532]
That is, in the adaptive processing in the pixel value calculation unit 322, the difference value between the pixel values of the input image which is the SD image is mapped (mapped) using a predetermined tap coefficient, so that every other horizontal double-density image is obtained. Is converted to the pixel value of the pixel of.
[0533]
The pixel value calculating unit 323 corresponds to the second target pixel of the horizontal double-density image, which is arranged at a position spatially close to the first target pixel, to the first target pixel and the second target pixel. Is predicted based on the value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image.
[0534]
In other words, the pixel value calculation unit 323 converts the SD image based on the horizontal double-density image composed of every other pixel in the horizontal direction supplied from the pixel value calculation unit 322 and the input image which is the SD image. From the relationship based on the spatial integration, the pixel value of the remaining horizontal double-density image (the pixel adjacent to every other pixel of the horizontal double-density image, The pixel value of the pixel not calculated by the pixel value calculation unit 322 is calculated, and a horizontal double-density image composed of the pixel obtained by the pixel value calculation unit 322 and the pixel calculated by the pixel value calculation unit 323 is output. That is, for example, the pixel value calculation unit 323 calculates the pixel value of every other pixel of the horizontal double-density image supplied from the pixel value calculation unit 322 as y⁽¹⁾And when the pixel value of the input image, which is an SD image, is x, x and y are calculated by the calculation represented by Expression (27).⁽¹⁾, The pixel value y of the pixel not calculated by the pixel value calculation unit 322⁽²⁾Is calculated.
[0535]
For example, the pixel value calculation unit 323 determines that every other pixel of the horizontal double-density image supplied from the pixel value calculation unit 322 is a horizontal double-density pixel y shown in FIG.⁽¹⁾And the horizontal double density pixel y⁽¹⁾And horizontal double pixel y⁽²⁾The pixel of the input image corresponding to is SD pixel x⁽⁸⁾, The SD pixel x⁽⁸⁾From the pixel value of⁽¹⁾Is subtracted to obtain the horizontal double-density pixel y shown in FIG.⁽²⁾Is calculated.
[0536]
The image processing apparatus shown in FIG. 31 generates a horizontal double-density image for the input SD image, and further applies the above-described processing in the vertical direction to the generated horizontal double-density image. Thus, an HD image can be generated.
[0537]
Next, with reference to a flowchart of FIG. 32, image processing for creating a horizontally double-density image by the image processing apparatus shown in FIG.
[0538]
The processing of steps S321 to S325 is the same as the processing of steps S151 to S155 in FIG. 12, respectively, and a description thereof will be omitted.
[0539]
In step S326, the coefficient memory 321 reads out the tap coefficient (prediction coefficient) stored at the address corresponding to the class code supplied from the class classification unit 153, and thereby acquires the tap coefficient of the class of the pixel of interest. The pixel value is supplied to the pixel value calculation unit 322, and the process proceeds to step S327.
[0540]
In step S327, the pixel value calculation unit 322 predicts a first target pixel from a difference value of a prediction tap, which is a difference value between a plurality of extracted neighboring pixels, based on the detected feature amount. In other words, the pixel value calculation unit 322 calculates (the predicted value of) the pixel of interest, which is every other pixel in the horizontal direction of the horizontal double-density image, and proceeds to step S328.
[0541]
For example, in step S327, the pixel value calculation unit 322 calculates the prediction of the target pixel (by using the difference value from the difference calculation unit 156 and the tap coefficient from the coefficient memory 321 by the calculation represented by Expression (9). Value).
[0542]
In step S328, the pixel value calculation unit 323 determines the second target pixel in the output image that is a high-quality image and is located at a position spatially close to the first target pixel, as the first target pixel and the first target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image corresponding to the second target pixel. In other words, the pixel value calculation unit 323 spatially integrates the SD image into the horizontal double-density image composed of every other pixel and the input image that is the SD image calculated in the process of step S327. Therefore, by applying the calculation based on the relationship between the horizontal double-density image and the SD image, that is, the calculation of Expression (22) (or Expression (27)), the remaining pixel value of the horizontal double-density image (horizontal double-density) The pixel value of a pixel adjacent to every other pixel of the image and not calculated by the pixel value calculation unit 322 is calculated.
[0543]
In step S329, the class tap extracting unit 151 determines whether or not there is a pixel that has been calculated or has not been calculated and predicted among the pixels forming the frame of interest. Returning to step S321, the same processing is repeated thereafter.
[0544]
In step S329, if it is determined that all the pixels of the frame of interest have been calculated or calculated, that is, if all the horizontal double-density pixels forming the frame of interest have been predicted, the process ends. .
[0545]
The tap coefficients stored in the coefficient memory 321 are configured as shown in FIG. 13 such that the input image is a horizontal double-density image, and every other pixel in the horizontal direction of the horizontal double-density image is focused as a pixel of interest. Can be obtained by the learning process of the image processing apparatus indicated by.
[0546]
FIG. 33 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
[0547]
In the image processing apparatus illustrated in FIG. 33, for example, an SD image is input, a difference image of the input SD image is generated, and the difference image is subjected to a class classification adaptive process, so that the horizontal direction is obtained. Of the pixels forming the double-density image, every other pixel in the horizontal direction is created, and a difference value between the pixel values of the pixels of the horizontal double-density image is created. Then, a horizontal double image is generated from every other pixel of the horizontal double image and the difference value, and the generated horizontal double image is output.
[0548]
Note that, in FIG. 33, portions corresponding to the case in FIG. 29 are denoted by the same reference numerals, and a description thereof will be appropriately omitted below. In FIG. 33, portions corresponding to those in FIG. 15 are denoted by the same reference numerals, and description thereof will be appropriately omitted below.
[0549]
33, based on the class tap of the difference image, the class tap of the input image, and the feature amount from the feature amount calculation unit 103, the class classification unit 104 assigns the first class to one of the one or more classes. And class codes corresponding to the class of the pixel of interest obtained as a result are supplied to the coefficient memory 301, the coefficient memory 201, and the prediction tap extracting unit 106.
[0550]
The prediction tap extracting unit 106 extracts and generates a prediction tap from the difference image stored in the difference image generation unit 101 based on the class code supplied from the class classification unit 104, and generates the generated prediction tap with a pixel value. It is supplied to the calculation unit 302 and the difference calculation unit 202.
[0551]
The coefficient memory 301 stores a relationship between teacher data, which is a pixel value of a horizontal double-density image, which is a learning teacher, and student data, which is a difference value of SD image data, which is a learning student, for each of one or more classes. The tap coefficients obtained by learning are stored. When the class code of the pixel of interest of the horizontal double-density image is supplied from the class classification unit 104, the coefficient memory 301 reads the tap coefficient stored at the address corresponding to the class code, thereby obtaining the pixel of interest. Are obtained and supplied to the pixel value calculation unit 302.
[0552]
The pixel value calculation unit 302 predicts a first target pixel of the horizontal double-density image from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0553]
More specifically, the pixel value calculation unit 302 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 301.₁, W₂,..., And the prediction tap (difference value constituting the same) d from the prediction tap extraction unit 106₁, D₂,..., Are used to calculate (predicted values of) target pixels y that have been noticed in every other horizontal direction in the horizontal double-density image. The pixel value of the pixel is used. The pixel value calculation unit 302 supplies a horizontal double-density image composed of pixel values calculated every other in this way to the pixel value calculation unit 401.
[0554]
The coefficient memory 201 stores the relationship between the teacher data, which is the difference between the pixel values of the horizontal double-density image, which is a learning teacher, and the student data, which is the difference between the pixel values of the SD image, which is a student of learning. A tap coefficient obtained by learning for each of one or more classes is stored. Then, when the class code of the first target pixel of interest of the horizontal double-density image is supplied from the class classification unit 104, the coefficient memory 201 stores the tap coefficient stored in the address corresponding to the class code. Is read, the tap coefficient of the class of the first pixel of interest is obtained and supplied to the difference calculation unit 202.
[0555]
Based on the detected feature amount, the difference calculation unit 202 spatially converts a pixel value of the first target pixel and a pixel value of the first target pixel from a prediction tap that is a difference value between the plurality of extracted peripheral pixels. The difference value between the pixel value of the second target pixel in the high-quality image data and the pixel value of the second target pixel located at a position close to is predicted.
[0556]
More specifically, the difference calculation unit 202 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 201.₁, W₂,..., And the prediction tap (difference value constituting the same) d from the prediction tap extraction unit 106₁, D₂,... Are used to calculate (the predicted value of) the difference value D of interest, which is the difference value between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest. The difference calculation unit 202 supplies the calculated difference value to the pixel value calculation unit 401.
[0557]
The pixel value calculation unit 401 corresponds the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, to the first target pixel and the second target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image data. For example, the pixel value calculation unit 401 adds the pixel value of the first target pixel supplied from the difference calculation unit 202 to the pixel value of the first target pixel of the horizontal double-density image supplied from the pixel value calculation unit 302. The second target pixel is predicted by calculating the pixel value of the second target pixel by adding the difference value between the value and the pixel value of the second target pixel.
[0558]
As described above, the image processing apparatus having the configuration illustrated in FIG. 33 can generate a horizontal double-density image corresponding to an input SD image.
[0559]
Next, image processing for creating a horizontally doubled image by the image processing apparatus shown in FIG. 33 will be described with reference to the flowchart in FIG.
[0560]
The processing in steps S401 to S407 is the same as the processing in steps S301 to S307 in FIG. 30, respectively, and thus description thereof is omitted.
[0561]
The processing in steps S408 and S409 is the same as the processing in steps S206 and S207 in FIG. 22, respectively, and a description thereof will be omitted.
[0562]
In step S410, the pixel value calculation unit 401 determines the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, as the first target pixel and the second target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image data corresponding to the target pixel. For example, as described with reference to FIG. 16, the difference value D and the pixel value y of the horizontal double-density image⁽¹⁾And y⁽²⁾In between, D = y⁽²⁾-Y⁽¹⁾, The pixel value calculation unit 401 outputs the first target pixel y of the horizontal double-density image supplied from the pixel value calculation unit 302.⁽¹⁾Then, the pixel value of the second target pixel is calculated by adding the difference value D between the pixel value of the first target pixel and the pixel value of the second target pixel, supplied from the difference calculation unit 202. And the second target pixel y⁽²⁾Predict.
[0563]
In step S411, the class tap extraction unit 102 determines whether there is a pixel that has not been calculated or calculated and has not been predicted among the pixels forming the frame of interest. Returning to step S401, the same processing is repeated thereafter.
[0564]
Also, in step S411, if it is determined that all the pixels of the frame of interest have been calculated or have been calculated, that is, if all the horizontal double-density pixels forming the frame of interest have been predicted, the process ends. .
[0565]
As described above, the image processing apparatus having the configuration illustrated in FIG. 33 can generate the horizontal double-density image corresponding to the input SD image by the processing described with reference to the flowchart in FIG.
[0566]
FIG. 35 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
[0567]
In the image processing apparatus shown in FIG. 35, for example, an SD image is input, a class classification process is applied to the input SD image, a difference between pixel values of the SD image is calculated, and an adaptive By applying the processing, every other pixel in the horizontal direction among the pixels constituting the horizontal double-density image is created, and a difference value between the pixel values of the pixels of the horizontal double-density image is created. Then, a horizontal double image is generated from every other pixel of the horizontal double image and the difference value, and the generated horizontal double image is output.
[0568]
In FIG. 35, portions corresponding to the case in FIG. 31 are denoted by the same reference numerals, and description thereof will be appropriately omitted below. In FIG. 35, portions corresponding to those in FIG. 25 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
[0569]
A class classification unit 153 in FIG. 35 classifies a target pixel into one of one or more classes based on a class tap composed of pixels of an input image and a feature amount from a feature amount calculation unit 152. Then, a class code corresponding to the class of the pixel of interest obtained as a result is supplied to the coefficient memory 321, the coefficient memory 251, and the prediction tap extracting unit 155.
[0570]
The prediction tap extracting unit 155 extracts and generates a prediction tap used for obtaining a (predicted value of) a pixel of interest in the pixel value calculating unit 157 based on the class code supplied from the class classification unit 153 from the input image. Then, the generated prediction tap is supplied to the difference calculation unit 156. The difference calculation unit 156 calculates a difference value for the prediction tap supplied from the prediction tap extraction unit 155, and supplies the calculated difference value to the pixel value calculation unit 322 and the difference calculation unit 252.
[0571]
The coefficient memory 321 stores a relationship between teacher data, which is a pixel value of a horizontal double-density image, which serves as a learning teacher, and student data, which is a difference value of SD image data, which serves as a learning student, for each of one or more classes. The tap coefficients obtained by learning are stored. When the class code of the target pixel of the horizontal double-density image is supplied from the class classification unit 153, the coefficient memory 321 reads the tap coefficient stored at the address corresponding to the class code, and thereby obtains the target pixel. Are obtained and supplied to the pixel value calculation unit 322.
[0572]
The pixel value calculation unit 322 predicts a first target pixel of the horizontal double-density image from a difference value between a plurality of peripheral pixels based on the detected feature amount.
[0573]
More specifically, the pixel value calculation unit 322 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 321.₁, W₂,..., And the difference value d of the prediction tap from the difference calculation unit 156₁, D₂,..., Are used to calculate (predicted values of) target pixels y that have been noticed in every other horizontal direction in the horizontal double-density image. The pixel value of the pixel is used. The pixel value calculation unit 302 supplies a horizontal double-density image composed of pixel values calculated every other in this way to the pixel value calculation unit 421.
[0574]
The coefficient memory 251 stores a relationship between teacher data, which is a difference value between pixel values of the horizontal double-density image, which is a learning teacher, and student data, which is a difference value between pixel values of an SD image, which is a learning student. A tap coefficient obtained by learning for each of one or more classes is stored. When the class memory 251 is supplied with the class code of the pixel of interest in the horizontal double-density image from the class classification unit 153, the coefficient memory 251 reads out the tap coefficient stored at the address corresponding to the class code. Thus, the tap coefficient of the class of the pixel of interest is acquired and supplied to the difference calculation unit 252.
[0575]
The difference calculation unit 252 calculates a first pixel of interest from a difference value of a prediction tap, which is a difference value between a plurality of extracted neighboring pixels, supplied from the difference calculation unit 156, based on the detected feature amount. And a pixel value of the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, is predicted.
[0576]
More specifically, the difference calculation unit 252 calculates the tap coefficient w for the class of the pixel of interest supplied from the coefficient memory 251.₁, W₂,..., And the difference value d of the prediction tap from the difference calculation unit 156₁, D₂,... Are used to calculate (the predicted value of) the difference value D of interest, which is the difference value between the pixel value of the first pixel of interest and the pixel value of the second pixel of interest. The difference calculation unit 252 supplies the calculated difference value to the pixel value calculation unit 421.
[0577]
The pixel value calculation unit 421 assigns the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, to the first target pixel and the second target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image data. For example, the pixel value calculation unit 421 calculates the pixel value of the first target pixel supplied from the difference calculation unit 202 with the pixel value of the first target pixel of the horizontal double-density image supplied from the pixel value calculation unit 302. The second target pixel is predicted by calculating the pixel value of the second target pixel by adding the difference value between the value and the pixel value of the second target pixel.
[0578]
As described above, the image processing apparatus having the configuration illustrated in FIG. 35 can generate a horizontal double-density image corresponding to an input SD image.
[0579]
Next, with reference to the flowchart in FIG. 36, image processing for creating a horizontal double-density image by the image processing apparatus having the configuration shown in FIG. 35 will be described.
[0580]
The processing of steps S421 to S427 is the same as the processing of steps S321 to S327 in FIG. 32, respectively, and a description thereof will be omitted.
[0581]
Steps S428 and S429 are the same as steps S256 and S257 in FIG. 26, respectively, and a description thereof will be omitted.
[0582]
In step S430, the pixel value calculation unit 421 converts the second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, into the first target pixel and the second target pixel. The prediction is performed based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the input image data corresponding to the target pixel. For example, as described with reference to FIG. 16, the difference value D and the pixel value y of the horizontal double-density image⁽¹⁾And y⁽²⁾In between, D = y⁽²⁾-Y⁽¹⁾, The pixel value calculation unit 421 outputs the first target pixel y of the horizontal double-density image supplied from the pixel value calculation unit 302.⁽¹⁾Then, the pixel value of the second target pixel is calculated by adding the difference value D between the pixel value of the first target pixel and the pixel value of the second target pixel, supplied from the difference calculation unit 202. And the second target pixel y⁽²⁾Predict.
[0583]
In step S431, the class tap extraction unit 102 determines whether or not there is a pixel that has been calculated or has not been predicted to be calculated among the pixels that form the frame of interest. Returning to step S421, the same processing is repeated thereafter.
[0584]
Also, in step S431, if it is determined that all the pixels of the frame of interest have been calculated or have been calculated, that is, if all the horizontal double-density pixels forming the frame of interest have been predicted, the process ends. .
[0585]
As described above, the image processing apparatus having the configuration illustrated in FIG. 35 can generate the horizontal double-density image corresponding to the input SD image by the processing described with reference to the flowchart in FIG.
[0586]
As described above, when the classification adaptive processing is applied to the input image, a higher-quality second image (output image) corresponding to the first image (input image) can be obtained. .
[0587]
Further, a plurality of first peripheral pixels in the input image data corresponding to the first target pixel in the high-quality image data are extracted, and a plurality of first peripheral pixels in the input image data corresponding to the first target pixel are extracted. And extracting the characteristic amounts of the plurality of extracted first peripheral pixels. Based on the detected characteristic amounts, the second peripheral pixel is extracted from the difference value between the extracted plural second peripheral pixels. One target pixel is predicted, and a second target pixel in the high-quality image data, which is arranged at a position spatially close to the first target pixel, is set as a first target pixel and a second target pixel. In the case where the prediction is performed based on the value obtained by subtracting the pixel value of the first pixel of interest from the pixel value of the corresponding pixel in the input image data, the amount of calculation is smaller and the processing is simpler. An image with higher accuracy can be obtained.
[0588]
Further, when learning is performed for each class based on the first image (input image) and the second image (output image), the first method is performed based on prediction means obtained as a result of learning. And a higher quality second image corresponding to the image of
[0589]
Further, a plurality of first peripheral pixels in the input image data corresponding to the target pixel in the high-quality image data are extracted, and a plurality of second peripheral pixels in the input image data corresponding to the target pixel are extracted. Then, a feature amount of the target pixel is detected based on the extracted plurality of first peripheral pixels, and for each detected feature amount, a target pixel is calculated from a difference value between the extracted second peripheral pixels. When the prediction means for predicting the prediction is learned, an image with higher accuracy can be obtained by simpler processing with a smaller amount of calculation based on the prediction means.
[0590]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software can execute various functions by installing a computer incorporated in dedicated hardware or installing various programs. It is installed from a recording medium into a possible general-purpose personal computer or the like.
[0591]
FIG. 37 is a block diagram illustrating an example of a configuration of a personal computer that executes the above-described series of processing using a program. A CPU (Central Processing Unit) 501 executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. In a RAM (Random Access Memory) 503, a program executed by the CPU 501, data, and the like are stored as appropriate. The CPU 501, the ROM 502, and the RAM 503 are mutually connected by a bus 504.
[0592]
An input / output interface 505 is also connected to the CPU 501 via a bus 504. The input / output interface 505 is connected to an input unit 506 including a keyboard, a mouse, a microphone, and the like, and an output unit 507 including a display, a speaker, and the like. The CPU 501 executes various processes in response to a command input from the input unit 506. Then, the CPU 501 outputs images, sounds, and the like obtained as a result of the processing to the output unit 507.
[0593]
The storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data. The communication unit 509 communicates with an external device via the Internet or another network. In the case of this example, the communication unit 509 operates as an external interface that acquires an input image or outputs an output image.
[0594]
Alternatively, a program may be obtained via the communication unit 509 and stored in the storage unit 508.
[0595]
The drive 510 connected to the input / output interface 505 drives the magnetic disk 551, the optical disk 552, the magneto-optical disk 553, the semiconductor memory 554, and the like when they are mounted, and drives programs and data recorded thereon. Get etc. The acquired programs and data are transferred to and stored in the storage unit 508 as necessary.
[0596]
As shown in FIG. 37, a recording medium on which a program for performing a series of processes is stored is a magnetic disk 551 (flexible) on which the program is recorded, which is distributed to provide the program to a user separately from a computer. Disc (including a disc), an optical disc 552 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (including a Digital Versatile Disc)), a magneto-optical disc 553 (including an MD (Mini-Disc) (trademark)), or a semiconductor. Not only a package medium including the memory 554 and the like, but also a ROM 502 storing a program and a hard disk included in the storage unit 508, which are provided to the user in a state where the program is incorporated in the computer in advance. Is done.
[0597]
The program for executing the above-described series of processes is installed on a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. May be performed.
[0598]
In this specification, the step of describing a program stored in a recording medium may be performed in chronological order according to the described order, or may be performed in parallel or not necessarily in chronological order. This also includes processes executed individually.
[0599]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to obtain a higher quality second image corresponding to the first image based on the prediction means obtained as a result of learning.
[0600]
Further, according to the first aspect of the present invention, it is possible to obtain an image with higher accuracy by simpler processing with a smaller amount of calculation based on the prediction means obtained as a result of learning.
[0601]
According to the second aspect of the present invention, a higher quality second image corresponding to the first image can be obtained based on the prediction means obtained as a result of learning.
[0602]
Further, according to the second aspect of the present invention, it is possible to obtain an image with higher accuracy by simpler processing with a smaller amount of calculation based on the prediction means obtained as a result of learning.
[0603]
According to the third aspect of the present invention, it is possible to obtain a higher quality second image corresponding to the first image.
[0604]
Further, according to the third aspect of the present invention, a more accurate image can be obtained by simpler processing with a smaller amount of calculation.
[0605]
According to the fourth aspect of the invention, it is possible to obtain a higher quality second image corresponding to the first image.
[0606]
Further, according to the fourth aspect of the present invention, a more accurate image can be obtained by simpler processing with a smaller amount of calculation.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a conventional image processing apparatus.
FIG. 2 is a flowchart illustrating a process of creating an image by a conventional image processing apparatus.
FIG. 3 is a block diagram illustrating a configuration of a conventional image processing apparatus.
FIG. 4 is a flowchart illustrating a learning process performed by a conventional image processing apparatus.
FIG. 5 is a block diagram illustrating a configuration of an embodiment of an image processing apparatus according to the present invention.
FIG. 6 is a diagram illustrating a difference image generated by a difference image generation unit.
FIG. 7 is a diagram illustrating a relationship among an SD image, a difference image, and an HD image.
FIG. 8 is a flowchart illustrating image processing for creating an HD image from an SD image.
FIG. 9 is a block diagram illustrating a configuration of an embodiment of an image processing apparatus according to the present invention.
FIG. 10 is a flowchart illustrating a learning process.
FIG. 11 is a block diagram illustrating another configuration of an embodiment of the image processing apparatus according to the present invention.
FIG. 12 is a flowchart illustrating another image processing for creating an HD image from an SD image.
FIG. 13 is a block diagram illustrating another configuration of an embodiment of the image processing apparatus according to the present invention.
FIG. 14 is a flowchart illustrating a learning process.
FIG. 15 is a block diagram showing another configuration of an embodiment of the image processing apparatus according to the present invention.
FIG. 16 is a diagram illustrating the relationship between an SD image, a difference image of the SD image, a horizontal doubled image, and a differential image of the horizontal doubled image.
FIG. 17 is a diagram illustrating an arrangement of pixels on an image sensor.
FIG. 18 is a diagram illustrating a detection element.
FIG. 19 is a diagram illustrating an arrangement of pixels provided in an image sensor and an area corresponding to pixel data of a horizontal double-density image.
FIG. 20 is a diagram illustrating pixel data corresponding to light input to regions a to r.
FIG. 21 is a diagram illustrating an example of a relationship between a difference value of a difference image of the horizontal double-density image and a pixel value of the horizontal double-density image.
FIG. 22 is a flowchart illustrating image processing for creating a double-density image.
FIG. 23 is a block diagram showing another configuration of the embodiment of the image processing apparatus.
FIG. 24 is a flowchart illustrating a learning process.
FIG. 25 is a block diagram showing another configuration of the embodiment of the image processing apparatus according to the present invention.
FIG. 26 is a flowchart illustrating image processing for creating a double-density image.
FIG. 27 is a block diagram illustrating another configuration of the embodiment of the image processing apparatus.
FIG. 28 is a flowchart illustrating another process of learning.
FIG. 29 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
FIG. 30 is a flowchart illustrating image processing for creating a double-density image.
FIG. 31 is a block diagram showing still another configuration of the image processing apparatus according to the embodiment of the present invention;
FIG. 32 is a flowchart illustrating image processing for creating a double-density image.
FIG. 33 is a block diagram showing still another configuration of the embodiment of the image processing apparatus according to the present invention.
FIG. 34 is a flowchart illustrating image processing for creating a double-density image.
FIG. 35 is a block diagram showing still another configuration of the embodiment of the image processing apparatus according to the present invention.
FIG. 36 is a flowchart illustrating image processing for creating a horizontal double-density image.
FIG. 37 is a block diagram illustrating an example of a configuration of a personal computer that executes a series of processes using software.
[Explanation of symbols]
Reference Signs List 101 difference image generation unit, 102 class tap extraction unit, 103 feature amount calculation unit, 104 class classification unit, 105 coefficient memory, 106 prediction tap extraction unit, 107 pixel value calculation unit, 131 SD image generation unit, 132 difference image generation unit , 133 image memory, 134 class tap extraction unit, 135 feature quantity calculation unit, 136 class classification unit, 137 prediction tap extraction unit, 138 addition calculation unit, 139 teacher pixel extraction unit, 140 learning memory, 141 normal equation calculation unit, 142 coefficient memory, 151 class tap extraction unit, 152 feature amount calculation unit, 153 class classification unit, 154 coefficient memory, 155 prediction tap extraction unit, 156 difference calculation unit, 157 pixel value calculation unit, 171 SD image generation unit, 172 image memory, 73 class tap extraction section, 174 feature quantity calculation section, 175 class classification section, 176 prediction tap extraction section, 177 difference calculation section, 178 addition calculation section, 179 teacher pixel extraction section, 180 learning memory, 181 normal equation calculation section, 182 coefficient memory, 201 coefficient memory, 202 difference calculation unit, 203 pixel value calculation unit, 221 difference image generation unit, 222 addition calculation unit, 223 teacher pixel extraction unit, 224 learning memory, 225 normal equation calculation unit, 226 coefficient memory , 251 coefficient memory, 252 difference calculation section, 253 pixel value calculation section, 271 difference image generation section, 272 addition calculation section, 273 teacher pixel extraction section, 274 learning memory, 275 normal equation calculation section, 276 coefficient memory, 301 coefficient memory, 302 pixel value calculation unit, 303 pixel value calculation unit, 321 coefficient memory, 322 pixel value calculation unit, 323 pixel value calculation unit, 401 pixel value calculation unit, 421 pixel value calculation unit, 501 CPU, 502 ROM, 503 RAM, 508 Storage unit, 551 magnetic disk, 552 optical disk, 553 magneto-optical disk, 554 semiconductor memory

Claims (16)

Learning to learn prediction means for predicting high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In the device,
First extraction means for extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
Second extraction means for extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
Feature value detection means for detecting a feature value of the pixel of interest based on the plurality of first peripheral pixels extracted by the first extraction means;
The predicting unit for predicting the pixel of interest from a difference value between the plurality of second peripheral pixels extracted by the second extracting unit for each of the characteristic amounts detected by the characteristic amount detecting unit. Learning means to learn,
Storage means for storing the prediction means learned by the learning means. Learning to learn prediction means for predicting high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In the method,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each of the feature amounts detected in the feature amount detection step, the prediction means for predicting the pixel of interest from a difference value between the plurality of second peripheral pixels extracted in the second extraction step Learning steps to learn,
A storage step of storing the prediction means learned in the learning step. Learning to learn prediction means for predicting high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. A processing program,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each of the feature amounts detected in the feature amount detection step, the prediction means for predicting the pixel of interest from a difference value between the plurality of second peripheral pixels extracted in the second extraction step A recording medium in which a computer-readable program is recorded, comprising a learning step of learning. Learning to learn prediction means for predicting high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In a program that causes a computer to perform processing,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each of the feature amounts detected in the feature amount detection step, the prediction means for predicting the pixel of interest from a difference value between the plurality of second peripheral pixels extracted in the second extraction step A learning step for learning. A prediction unit that predicts a difference value of high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In the learning device to learn,
First extraction means for extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
Second extraction means for extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
Feature value detection means for detecting a feature value of the pixel of interest based on the plurality of first peripheral pixels extracted by the first extraction means;
For each feature value detected by the feature value detection means, a difference value between the plurality of second peripheral pixels extracted by the second extraction means is used to calculate the target pixel and the high quality image data. Learning means for learning prediction means for predicting the difference value between the pixel of interest and another pixel adjacent to the pixel of interest;
Storage means for storing prediction means learned by the learning means. A prediction unit that predicts a difference value of high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In the learning method to learn,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each feature value detected in the feature value detection step, the difference between the plurality of second peripheral pixels extracted in the second extraction step is used to calculate the target pixel and the high-quality image data in the high-quality image data. A learning step of learning a prediction unit for predicting the difference value between the pixel of interest and another pixel adjacent to the pixel of interest;
Storing a prediction unit learned in the learning step. A prediction unit that predicts a difference value of high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. A learning processing program for learning,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each feature value detected in the feature value detection step, the difference between the plurality of second peripheral pixels extracted in the second extraction step is used to calculate the target pixel and the high-quality image data in the high-quality image data. A learning step of learning a prediction unit for predicting the difference value between the pixel of interest and another pixel adjacent to the pixel of interest, wherein a computer-readable program is recorded. A prediction unit that predicts a difference value of high-quality image data higher in quality than the input image data from input image data including a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect. In a program that causes a computer to perform a learning process for learning,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the target pixel;
A feature value detecting step of detecting a feature value of the target pixel based on the plurality of first peripheral pixels extracted in the first extracting step;
For each feature value detected in the feature value detection step, the difference between the plurality of second peripheral pixels extracted in the second extraction step is used to calculate the target pixel and the high-quality image data in the high-quality image data. A learning step of learning a prediction unit for predicting the difference value between the pixel of interest and another pixel adjacent to the pixel of interest. In an image processing apparatus that converts input image data composed of a plurality of pixel data acquired by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data,
First extraction means for extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
Second extraction means for extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
Feature value detection means for detecting a feature value of the plurality of first peripheral pixels extracted by the first extraction means;
A first predicting unit that predicts the first target pixel from a difference value between the plurality of second peripheral pixels extracted by the second extracting unit based on the characteristic amount detected by the characteristic amount detecting unit; Forecasting means;
A second pixel of interest in the high-quality image data, which is arranged at a position spatially close to the first pixel of interest, and corresponds to the input pixel corresponding to the first pixel of interest and the second pixel of interest; A second prediction unit that performs prediction based on a value obtained by subtracting the pixel value of the first pixel of interest from the pixel value of the corresponding pixel in the image data. An image processing method for converting input image data consisting of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A first predicting unit that predicts the first target pixel from a difference value between the plurality of second peripheral pixels extracted in the second extracting step based on the characteristic amount detected in the characteristic amount detecting step; A prediction step;
A second pixel of interest in the high-quality image data, which is arranged at a position spatially close to the first pixel of interest, and corresponds to the input pixel corresponding to the first pixel of interest and the second pixel of interest; A second prediction step of performing prediction based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of the corresponding pixel in the image data. An image processing program for converting input image data composed of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data. So,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A first predicting unit that predicts the first target pixel from a difference value between the plurality of second peripheral pixels extracted in the second extracting step based on the characteristic amount detected in the characteristic amount detecting step; A prediction step;
A second pixel of interest in the high-quality image data, which is arranged at a position spatially close to the first pixel of interest, and corresponds to the input pixel corresponding to the first pixel of interest and the second pixel of interest; A second prediction step of performing prediction based on a value obtained by subtracting the pixel value of the first pixel of interest from the pixel value of the corresponding pixel in the image data. Recording media. Image processing for converting input image data consisting of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data, using a computer In the program
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A first predicting unit that predicts the first target pixel from a difference value between the plurality of second peripheral pixels extracted in the second extracting step based on the characteristic amount detected in the characteristic amount detecting step; A prediction step;
A second pixel of interest in the high-quality image data, which is arranged at a position spatially close to the first pixel of interest, and corresponds to the input pixel corresponding to the first pixel of interest and the second pixel of interest; A second prediction step of performing prediction based on a value obtained by subtracting the pixel value of the first target pixel from the pixel value of a corresponding pixel in the image data. In an image processing apparatus that converts input image data composed of a plurality of pixel data acquired by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data,
First extraction means for extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
Second extraction means for extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
Feature value detection means for detecting a feature value of the plurality of first peripheral pixels extracted by the first extraction means;
A pixel value of the first pixel of interest based on a difference value between the plurality of second peripheral pixels extracted by the second extraction unit based on the feature amount detected by the feature amount detection unit; First prediction means arranged at a position spatially close to the first pixel of interest, for predicting a difference value between the pixel value of a second pixel of interest in the high-quality image data and
A pixel value of a corresponding pixel in the input image data corresponding to the first target pixel and the second target pixel, and the difference between a pixel value of the first target pixel and a pixel value of a second target pixel An image processing apparatus comprising: a second prediction unit configured to predict the first target pixel and the second target pixel from a value. An image processing method for converting input image data consisting of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A pixel value of the first pixel of interest, based on a feature value detected in the feature value detection step, from a difference value between the plurality of second peripheral pixels extracted in the second extraction step, A first prediction step of predicting a difference value between a pixel value of a second pixel of interest in the high-quality image data and a pixel located at a position spatially close to the first pixel of interest;
A pixel value of a corresponding pixel in the input image data corresponding to the first target pixel and the second target pixel, and the difference between a pixel value of the first target pixel and a pixel value of a second target pixel A second prediction step of predicting the first target pixel and the second target pixel from a value. An image processing program for converting input image data composed of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data. So,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A pixel value of the first pixel of interest, based on a feature value detected in the feature value detection step, from a difference value between the plurality of second peripheral pixels extracted in the second extraction step, A first prediction step of predicting a difference value between a pixel value of a second pixel of interest in the high-quality image data and a pixel located at a position spatially close to the first pixel of interest;
A pixel value of a corresponding pixel in the input image data corresponding to the first target pixel and the second target pixel, and the difference between a pixel value of the first target pixel and a pixel value of a second target pixel A second prediction step of predicting the first pixel of interest and the second pixel of interest from a value, wherein a computer-readable program is recorded. Image processing for converting input image data consisting of a plurality of pixel data obtained by an image sensor having a plurality of pixels each having a spatial integration effect into high-quality image data higher in quality than the input image data is performed by a computer. In the program to be executed,
A first extraction step of extracting a plurality of first peripheral pixels in the input image data corresponding to a first target pixel in the high-quality image data;
A second extraction step of extracting a plurality of second peripheral pixels in the input image data corresponding to the first target pixel;
A feature value detecting step of detecting feature values of the plurality of first peripheral pixels extracted in the first extracting step;
A pixel value of the first pixel of interest, based on a feature value detected in the feature value detection step, from a difference value between the plurality of second peripheral pixels extracted in the second extraction step, A first prediction step of predicting a difference value between a pixel value of a second pixel of interest in the high-quality image data and a pixel located at a position spatially close to the first pixel of interest;
A pixel value of a corresponding pixel in the input image data corresponding to the first target pixel and the second target pixel, and the difference between a pixel value of the first target pixel and a pixel value of a second target pixel A second prediction step of predicting the first target pixel and the second target pixel from a value.

Images