JP2004302821A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにする。
【解決手段】混合比演算部７１は、画素取得部７４により取得された、注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式を生成し、生成した方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みを検出する（注目画素の空間混合比を演算する）。倍密画素演算部７２は、混合比演算部７１により演算された注目画素の空間混合比（重み）に応じて、注目画素が１次元方向に２倍密化される２倍密画素の画素値や、注目画素が２次元方向に４倍密化される４倍密画素の画素値等を演算する。
【選択図】 図１５

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、データが取得された現実世界を考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
【０００３】
また、第１の次元を有する現実世界の信号である第１の画像をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪を含む第２の画像を取得し、第２の画像に基づく画像処理を行うことにより、第２の画像に比して歪の軽減された第３の画像を生成するようにしているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２５０１１９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、データが取得された現実世界を考慮した画像処理はこれまで考えられていなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうちの２次元方向に４倍密化される画素を注目画素として、注目画素の画素値を検出する画素値検出手段と、検出手段により検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式を生成し、生成した方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みを検出する重み検出手段と、重み検出手段により検出された、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算手段とを備えることを特徴とする。
【０００８】
重み検出手段は、注目画素の画素値は、２次元方向のうちの第１の１次元方向に隣接する２つの画素の画素値の重み付け加算により演算されるとして第１の方程式を生成し、生成した第１の方程式を演算することにより、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みを検出し、画素値演算手段は、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みに応じて、注目画素が第１の１次元方向に２倍密化される２倍密画素の画素値を演算し、重み検出手段は、注目画素における２倍密画素を注目倍密画素として、注目倍密画素の画素値は、２次元方向のうちの第１の１次元方向に直交する第２の１次元方向に隣接する２倍密画素の画素値の重み付け加算により演算されるとして第２の方程式を生成し、生成した第２の方程式を演算することにより、第２の１次元方向に注目倍密画素と隣接する２つの２倍密画素の画素値のそれぞれに対する重みを検出し、画素値演算手段は、第２の１次元方向に注目倍密画素と隣接する２つの２倍密画素の画素値のそれぞれに対する重みに応じて、注目画素における４倍密画素の画素値を演算するようにすることができる。
【０００９】
重み検出手段は、注目画素の画素値は、２次元方向のうちの第１の１次元方向に隣接する２つの画素の画素値の重み付け加算により演算されるとして第１の方程式を生成し、生成した第１の方程式を演算することにより、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みを検出するとともに、注目画素の画素値は、２次元方向のうちの第１の１次元方向に直交する第２の１次元方向に隣接する２つの画素の画素値の重み付け加算により演算されるとして第２の方程式を生成し、生成した第２の方程式を演算することにより、第２の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みを検出するとともに、画素値演算手段は、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重み、および、第２の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みに応じて、注目画素における４倍密画素の画素値を演算するようにすることができる。
【００１０】
重み検出手段は、注目画素の画素値は、２次元方向のうちの第１の１次元方向に２分割され、かつ、第１の１次元方向に直交する第２の１次元方向に２分割される４つの画素成分により構成されるとして、第１の１次元方向に対する画素成分のそれぞれの値の重み付け加算により注目画素の画素値が演算されるとして第１の方程式を生成するとともに、第２の１次元方向に対する画素成分のそれぞれの値の重み付け加算により注目画素の画素値が演算されるとして第２の方程式を生成し、画素成分のそれぞれの値は、画素成分の位置と対応する位置に属する複数の画素の画素値の平均値であるとして、画素成分のそれぞれの値を第１および第２の方程式のそれぞれに代入して演算することにより、第１の１次元方向、および、第２の１次元方向のそれぞれに対応する重みを検出し、画素値演算手段は、第１の１次元方向、および、第２の１次元方向のそれぞれに対応する重みに応じて、注目画素における４倍密画素の画素値を演算するようにすることができる。
【００１１】
本発明の画像処理方法は、それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される画素を注目画素として、注目画素の画素値を検出する画素値検出ステップと、検出ステップの処理により検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式を生成し、生成した方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みを検出する重み検出ステップと、重み検出ステップの処理により検出された、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体のプログラムは、それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される画素を注目画素として、注目画素の画素値を検出する画素値検出ステップと、検出ステップの処理により検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式を生成し、生成した方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みを検出する重み検出ステップと、重み検出ステップの処理により検出された、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される画素を注目画素として、注目画素の画素値を検出する画素値検出ステップと、検出ステップの処理により検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式を生成し、生成した方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みを検出する重み検出ステップと、重み検出ステップの処理により検出された、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップとを含むことを特徴とする。
【００１４】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される画素が注目画素とされて、その画素値が検出される。次に、検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値により演算されるとして方程式が生成され、生成された方程式が演算されることにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重みが検出される。そして、このようにして検出された、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値が演算される。
【００１５】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００１６】
【発明の実施の形態】
はじめに、従来の画像処理と比較しつつ、本発明の画像処理の原理を説明する。
【００１７】
図１は、従来の画像処理装置４における処理の原理を説明する図である。
【００１８】
図１に示されるように、空間、時間、および質量の次元を有する実世界１の事象（現象）は、センサ２により取得され、データ化される。実世界１の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界１の事象は、時空間方向に分布している。例えば、実世界１の画像は、実世界１の光の強度の時空間方向の分布である。
【００１９】
センサ２に注目すると、空間、時間、および質量の次元を有する実世界１の事象のうち、センサ２が取得可能な、実世界１の事象が、センサ２により、データ３に変換される。センサ２によって、実世界１の事象を示す情報が取得されるとも言える。
【００２０】
即ち、センサ２は、実世界１の事象を示す情報を、データ３に変換する。空間、時間、および質量の次元を有する実世界１の事象（現象）を示す情報である信号がセンサ２により取得され、データ化されるとも言える。
【００２１】
以下、実世界１における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界１の事象を示す情報である信号とも称する。また、実世界１の事象を示す情報である信号を、単に、実世界１の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【００２２】
センサ２から出力されるデータ３（検出信号）は、実世界１の事象を示す情報を、実世界１に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ３は、実世界１の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ３がデジタルデータであるとき、データ３は、サンプリングの単位に応じて、丸められている。データ３がアナログデータであるとき、データ３において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【００２３】
このように、所定の次元を有する実世界１の事象を示す情報である信号をデータ３（検出信号）に射影することにより、実世界１の事象を示す情報の一部が欠落する。即ち、センサ２が出力するデータ３において、実世界１の事象を示す情報の一部が欠落している。
【００２４】
従来の画像処理装置４は、このようなデータ３を処理の基準とすると共に、データ３を処理の対象として、高解像度化などの処理を実行する。従来の画像処理装置４においては、実世界１が考慮されることはなく、データ３が最終的な基準となり、データ３に含まれている情報以上の情報を出力として得ることはできない。
【００２５】
また、従来の画像処理装置４において、データ３に存在する、センサ２による歪み（実世界１の情報である信号とデータ３との差）は全く考慮されないので、従来の画像処理装置４は、歪みを含んだままの信号を出力することになる。さらに、画像処理装置４の処理の内容によっては、データ３に存在する、センサ２による歪みがさらに増幅されて、増幅された歪みを含むデータが出力されることになる。
【００２６】
このように、従来の画像処理においては、データ３が取得された実世界１（の信号）そのものが考慮されることはなかった。換言すれば、従来の画像処理においては、データ３に含まれている情報の枠内で実世界１を捉えていたので、データ３に含まれている情報および歪みにより、信号処理の限界が決定される。
【００２７】
これに対して、本発明の画像処理においては、実世界１（の信号）そのものを明確に考慮して、処理が実行される。
【００２８】
図２は、本発明に係る画像処理装置１１における処理の原理を説明する図である。
【００２９】
実世界１の事象を示す情報である信号をセンサ２が取得し、センサ２が、実世界１の情報である信号を射影したデータ３を出力する点では、従来と同様である。
【００３０】
しかしながら、本発明においては、センサ２により取得された、実世界１の事象を示す情報である信号が明確に考慮される。即ち、データ３が、センサ２による歪み（実世界１の情報である信号とデータ３との差）を含むことを意識して画像処理がなされる。
【００３１】
このようにすることで、本発明の画像処理においては、データ３に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界１の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。即ち、本発明によれば、センサ２に入力された、実世界１の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【００３２】
具体的には、データ３は、射影により実世界１の事象を示す情報の一部が欠落しているものの、データ３は、実世界１の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【００３３】
本発明においては、実世界１の情報である信号を推定するための有意情報として、空間混合を利用する。
【００３４】
ここで、空間混合について説明する前に、空間混合を理解する上で欠かすことができない概念である、センサ２の積分効果について説明する。
【００３５】
画像を撮像するセンサ２である、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を２次元のデータに投影する。イメージセンサの各検出素子は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、検出素子毎に、空間方向および時間方向に積分され、各検出素子に対して１つの画素値に変換される。即ち、１つの検出素子は、１つの画素に対応することになる。
【００３６】
図３乃至図６を参照して、画像の空間的時間的な積分について説明する。
【００３７】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。即ち、イメージセンサは、実世界１の対象物で反射された光である、実世界１の信号を取得し、データ３を出力する。
【００３８】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００３９】
図３は、イメージセンサ上の検出素子の配置の例を説明する図である。図３中において、Ａ乃至Ｉは、個々の画素に対応する検出素子を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【００４０】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【００４１】
図４で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【００４２】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。即ち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【００４３】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ３として出力される。従って、イメージセンサから出力される個々の画素値は、実世界１の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【００４４】
即ち、１つの画素の画素値は、Ｆ（ｘ，ｙ，ｔ）の積分で表される。Ｆ（ｘ，ｙ，ｔ）は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Ｐは、式（１）で表される。
【００４５】
【数１】

【００４６】
式（１）において、ｘ_１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ_２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、ｙ_１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ_２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【００４７】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００４８】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００４９】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００５０】
このように、実世界１の画像は、画素を単位として、空間方向および時間方向に積分されて、実世界１の画像とは異なる（実世界１の画像が歪んだ）画像データとなる。
【００５１】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００５２】
図５は、検出素子Ｄ乃至検出素子Ｆに入射される光と、検出素子Ｄ乃至検出素子Ｆのそれぞれから出力される画素値との関係を説明する図である。
【００５３】
図５のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。さらに、言い換えれば、Ｆ（ｘ）は、実世界１の信号をＸ方向に射影した１次元の波形と捉えることもできる。従って、以下、Ｆ（ｘ）を、Ｘ断面波形と称する。
【００５４】
また、図５において、Ｌは、検出素子Ｄ乃至検出素子Ｆの受光面の空間方向Ｘの長さを示す。
【００５５】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、検出素子Ｅに対応する画素の画素値Ｐは、式（２）で表される。
【００５６】
【数２】

【００５７】
式（２）において、ｘ_１は、検出素子Ｅの受光面の左側の境界の空間方向Ｘの空間座標である。ｘ_２は、検出素子Ｅの受光面の右側の境界の空間方向Ｘの空間座標である。
【００５８】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【００５９】
図６は、時間の経過と、１つの画素に対応する検出素子に入射される光と、検出素子から出力される画素値との関係を説明する図である。図６のＦ（ｔ）は、時刻ｔを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。ｔ_ｓは、シャッタ時間を示す。
【００６０】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。即ち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【００６１】
なお、図６で示される例において、シャッタ時間ｔ_ｓとフレーム間隔とが同一である。
【００６２】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（３）で表される。
【００６３】
【数３】

【００６４】
式（３）において、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【００６５】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【００６６】
次に、空間混合について説明する。
【００６７】
ここでは、実世界１の信号が、センサ２により射影されてデータ３となる際、センサ２の積分効果により、実世界１における２つ以上の物体に対する信号が混合されて１つの値（画素値）となることを、混合と称している。
【００６８】
即ち、空間混合とは、上述したセンサ２の空間積分効果による、２つ以上の物体に対する信号の空間方向の混合をいう。
【００６９】
図７は、空間混合の概念を説明する図である。
【００７０】
図７において、実世界１の光信号の１部分２１（以下、領域２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【００７１】
領域２１がセンサ２に検出されると、センサ２からは、領域２１が時空間方向（Ｘ方向，Ｙ方向，およびｔ方向）に積分された値（１つの画素値）２２が出力される。なお、画素値２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【００７２】
実世界１の領域２１は、前景に対応する光信号（例えば、図中白い領域）と、背景に対応する光信号（例えば、図中黒い領域）に明確に区分される。
【００７３】
これに対して、画素値２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【００７４】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の空間積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このことを、ここでは、空間混合と称している。
【００７５】
従来の画像処理装置４（図１）は、このような空間混合については全く考慮せず、即ち、実世界１、センサ２、およびデータ３のそれぞれの関係は考慮せず、データ３を正として画像処理を行っていた。
【００７６】
これに対して、本発明の画像処理装置１１（図２）は、データ３の空間混合を考慮して、即ち、実世界１の信号が、センサ２の空間積分効果によりデータ３になること（実世界１、センサ２、データ３のそれぞれの関係）を明確に考慮して、画像処理を行う。
【００７７】
さらに、本発明の画像処理装置１１が実行する画像処理の原理について、従来の画像処理装置４が実行する画像処理と比較しつつ、具体的な例を挙げて説明する。
【００７８】
図８は、データ３の１例を表している。
【００７９】
図８において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００８０】
また、図８において、９個の「丸印」のそれぞれは、所定の実世界１の信号が、センサ２により取得され、上述した積分効果により複数の画素値からなるデータ３に変換された場合、データ３を構成する複数の画素値のうちの、Ｘ方向に並ぶ所定の９個の画素（センサ２の検出素子に対応する画素）の画素値のそれぞれを表している。
【００８１】
なお、ここでは、データ３は、画像処理装置４または画像処理装置１１に入力される画像データであるので、以下、データ３を入力画像と適宜称し、データ３を構成する各画素値のそれぞれを、入力画素値と適宜称する。また、入力画素値を有する画素（即ち、検出素子に対応する画素）を、入力画素と適宜称する。
【００８２】
例えば、いま、図８に「丸印」として示される入力画素値に基づいて、空間解像度を高解像度化する画像処理について考える。
【００８３】
画像には空間近傍相関が強いという一般特性があり、従来の画像処理装置４（図１）は、この一般特性を利用する手法、例えば、線形補間という手法を利用して、空間解像度を高解像度化する画像処理を行っている。
【００８４】
図９は、従来の画像処理装置４が、図８に「丸印」として示される入力画素値に対して、線形補間を行った結果を表している。
【００８５】
図９において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００８６】
また、図９において、９個の「丸印」のそれぞれは、図８に示される９個の「丸印」のそれぞれと同一の入力画素値を表している。所定の２つの「丸印」の間に示される２つの「バツ印」のそれぞれは、線形補間により新たに創造された画素の画素値を表している。
【００８７】
ここでいう線形補間とは、これから創造する画素に最も似ている入力画素は、それに最も近い（空間的に近い）入力画素であるという仮定のもと、隣接周辺画素（入力画素）の各画素値の加重平均で、入力画素間の新たな画素の画素値を演算する（即ち、新たな画素を創造する）手法である。
【００８８】
即ち、従来の画像処理装置４は、例えば、次の式（４）と式（５）を演算することで、線形補間による新たな画素値を創造する（空間解像度を高解像度化する画像処理を行う）。
【００８９】
Ｈ０ ＝ Ｓ０×２／３ ＋ Ｓ１×１／３ ・・・（４）
Ｈ１ ＝ Ｓ０×１／３ ＋ Ｓ１×２／３ ・・・（５）
【００９０】
なお、式（４）と式（５）において、Ｓ０は、２つの入力画素値（図９の「丸印」）のうちの、図９中左側に示される入力画素値を、Ｓ１は、他方の入力画素値（図９中右側に示される入力画素値）を、それぞれ表している。また、Ｈ０は、入力画素値Ｓ０を有する入力画素と、入力画素値Ｓ１を有する入力画素との間に新たに創造される２つの画素の画素値（図９の「バツ印」）のうちの、図９中左側に示される画素値（入力画素値Ｓ０の入力画素に近いほうの画素の画素値）を、Ｈ１は、他方の画素値（図９中右側に示される画素値。即ち、入力画素値Ｓ１の入力画素に近いほうの画素の画素値）を、それぞれ表している。
【００９１】
図９のみに注目すると、「バツ印（即ち、新たに創造された画素の画素値）」は、あたかも正しい画素値（即ち、実世界１の信号に忠実な値）であるように見える。しかしながら、図９（図９に示される「バツ印」）と、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）を実際に使って撮影した結果である図１０（図１０に「二重丸」として示される画素値）を比較すると、「バツ印（即ち、従来の画像処理装置４により創造された画素の画素値）」のうちの幾つかは、「二重丸印」とは全く異なる（即ち、実世界１の信号を忠実に再現できていない）ことがわかる。
【００９２】
なお、図１０において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００９３】
また、図１０において、９個の「丸印」のそれぞれは、図８や図９と比較した場合にわかり易い様に、図８や図９に示される９個の「丸印」のそれぞれと同一の入力画素値を表している。
【００９４】
「二重丸印」は、上述したように、図８の「丸印（入力画素値）」に対応する実世界１の信号が、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）により取得され、上述した積分効果により複数の画素値からなる画像データに変換された場合、その画像データを構成する複数の画素値のうちの、Ｘ方向に並ぶ画素（即ち、図示せぬ撮像素子の検出素子に対応する画素）の画素値のそれぞれを表している。
【００９５】
このように、従来の画像処理装置４（図１）は、線形補間のような、センサ２から出力されたデータ３を原点（基準）とするとともに、データ３を処理の対象とする手法を利用して画像処理を行っていた。即ち、センサ２から出力されたデータ３は、積分効果により実世界１の信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置４は、その実世界１の信号とは異なるデータ３を正として画像処理を行っていた。
【００９６】
その結果、従来の画像処理装置４が、たとえ、空間解像度を高解像度化する線形補間等の手法を利用して新たな画素を創造したとしても、創造した画素のうちの、幾つかの画素の画素値は、図１０の「二重丸印」で示される画素値とは大きく異なる値となってしまうという課題、即ち、実世界１の信号を忠実に再現できないという課題が発生してしまう。
【００９７】
さらに、従来の画像処理装置４が実行する線形補間について説明する。
【００９８】
具体的には、例えば、いま、従来の画像処理装置４が、線形補間を利用して、入力画像を、Ｘ方向に２倍密にするとする。即ち、例えば、図１１に示されるように、従来の画像処理装置４は、各入力画素３１のそれぞれの位置に、注目画素３１がＸ方向に倍密化された画素（入力画素の解像度に対してＸ方向に２倍の解像度の画素）３２，３３を創造する。
【００９９】
なお、以下、入力画素が所定の１次元方向（この例では、Ｘ方向）に倍密化された画素を、入力画素と区別するために、倍密画素と称する。
【０１００】
より具体的には、例えば、いま、図１２に示されるように、センサ２のＸ方向に連続する３つの検出素子（画素）と空間的に同一の大きさを有する、実世界１の部分４１（以下、このような部分を、図７の部分２１と同様に領域と称する）が存在したとする。
【０１０１】
この場合、この領域４１は、センサ２により取得されると、その積分効果により、３つの画素値５１、画素値５２、および画素値５３からなるデータ３となって、センサ２より出力される。なお、画素値５１乃至画素値５３のそれぞれは、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【０１０２】
図１２に示されるように、実世界１の領域４１は、画素値５２に対応するセンサ２の検出素子（画素）に相当する部分において、前景に対応する光信号（例えば、図中斜線の間隔が狭い領域）と、背景に対応する光信号（例えば、図中斜線の間隔が広い領域）に明確に区分される。
【０１０３】
これに対して、画素値５２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値５２は、空間混合による値（前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値）である。
【０１０４】
このような画素値５１乃至画素値５３からなるデータ３が、従来の画像処理装置４に入力されると、図１３に示されるように、従来の画像処理装置４は、入力されたデータ３の画素値５１乃至画素値５３を処理の基準とすると共に、データ３を処理の対象として、線形補間を施す。
【０１０５】
その結果、従来の画像処理装置４からは、元の領域（実世界１の信号の部分）４１（図１２）とは異なる画像（データ）６１が出力されてしまう。即ち、上述したように、元の領域４１は、２つの光のレベルに明確に区分されているのに対して、従来の画像処理装置４から出力されるデータ６１に対応する画像（Ｘ方向に連続して並ぶ６個の倍密画素）は、グラデーションになってしまう。これは、従来の画像処理装置４が、画素値５２は空間混合された結果であるという事実（実世界１を忠実に表していないという事実）を無視し（考慮せず）、画素値５２は正しい値（実世界１を忠実に表した値）であるとして画像処理を行ったためである。
【０１０６】
このように、従来の画像処理装置４は、たとえ、空間解像度を高解像度化する線形補間等の手法を利用して倍密画素を創造したとしても、創造した倍密画素のうちの、幾つかの倍密画素の画素値（例えば、図１３の入力画素値５２に対応する倍密画素）は、実世界１の信号を忠実に再現できていない（例えば、図１２の領域４１の対応する部分のレベルとは大きく異なる値となってしまう）という課題を有することになる。
【０１０７】
そこで、このような課題を解決するために、本発明の画像処理装置１１（図２）は、上述したように、データ３と実世界１の信号の関係（データ３は、センサ２の積分効果により、実世界１の信号とは異なるものであるという事実）を明確に考慮して、即ち、空間混合を考慮して画像処理を行う。
【０１０８】
具体的には、例えば、いま、本発明の画像処理装置１１も、上述した従来の画像処理装置４と同様に、入力画像を、Ｘ方向に２倍密にする画像処理を行うとする。即ち、例えば、上述した図１１に示されるように、画像処理装置１１は、各入力画素３１のそれぞれにおける、倍密画素３２と倍密画素３３を創造する。
【０１０９】
図１４は、このような本発明の画像処理装置１１の画像処理の概容を説明する図である。
【０１１０】
図１４に示されるように、本発明の画像処理装置１１には、例えば、混合比演算部７１と倍密画素演算部７２が設けられている（後述する図１５に示されるように、その他のブロックがさらに設けられることもある）。
【０１１１】
例えば、いま、本発明の画像処理装置１１も、従来の画像処理装置４（図１３）と同様に、画素値５１乃至画素値５３からなるデータ３（図１２の領域４１に対応するデータ３）を入力したとする。
【０１１２】
この場合、画像処理装置１１の混合比演算部７１は、入力画素値５２が空間混合された値であることを明確に考慮し、領域４１（図１２）を推定し、推定した結果（即ち、図１４に示されるように、推定領域８１）を倍密画素演算部７２に供給する。
【０１１３】
詳細には、混合比演算部７１は、空間混合が起きる画素（いまの場合、入力画素値５２に対応する画素）内での光の混合の比率（以下、このような比率を、空間混合比と称する）を演算することで、元の実世界１の信号を推定する。
【０１１４】
具体的には、図１４に示されるように、入力画素値５２は、図中左隣の入力画素値５１と同一の光のレベルがα分だけ、かつ、図中右隣の入力画素値５３と同一の光のレベルが１−α分だけ混合されたレベルに対応する値である。この場合、αが空間混合比となる。
【０１１５】
即ち、空間混合比をαと、入力画素値５１をＳ１と、入力画素値５２をＳ０と、入力画素値５３をＳ２と、それぞれ記述した場合、次の式（６）で示される関係が成立する。
【０１１６】
Ｓ０ ＝ Ｓ１×α ＋ Ｓ２×（１−α） ・・・（６）
【０１１７】
式（６）より、空間混合比αは、次の式（７）のように示される。
【０１１８】
α ＝（Ｓ０−Ｓ１−Ｓ２）／（Ｓ１−Ｓ２） ・・・（７）
【０１１９】
従って、混合比演算部７１は、式（７）の右辺を演算して、入力画素値５２における空間混合比αを算出することで、図１２の実世界１の領域４１を推定する（推定領域８１を生成する）。
【０１２０】
換言すると、上述した式（６）で示されるように、αは、画素値５２に対応する画素における、それのＸ方向に対して左側に隣接する画素（画素値５１に対応する画素）に対する重みとも言える。同様に、（１−α）は、画素値５２に対応する画素における、それのＸ方向に対して右側に隣接する画素（画素値５３に対応する画素）に対する重みとも言える。このような観点からは、混合比演算部７１は、空間混合が起きた画素における、その画素に隣接する複数の画素のそれぞれに対する重みを検出するとも言える。
【０１２１】
倍密画素演算部７２は、混合比演算部７１により演算された混合比αを利用して、入力画素５１乃至入力画素５３のそれぞれにおける、倍密画素の画素値を演算する。即ち、倍密画素演算部７２は、混合比演算部７１により演算された混合比αを利用して、図１４に示されるような、Ｘ方向に連続して並ぶ６つの倍密画素からなる画像（データ）８２を創造し、出力する。
【０１２２】
具体的には、倍密画素演算部７２は、混合比演算部７１により演算された混合比αに基づいて生成される推定領域８１を、各倍密画素のそれぞれの空間的位置に対応する範囲で再積分することで、各倍密画素のそれぞれの画素値を演算する。
【０１２３】
即ち、図１２に示されるように、実世界１の領域（部分）４１が、センサ２により１度積分されて画素値５１乃至画素値５３となり、図１４に示されるように、混合比演算部７１により、その画素値５１乃至画素値５３から領域４１が推測され（画素５２における空間混合比αが演算され、演算された空間混合比αより推定領域８１が生成され）、倍密画素演算部７２により、推測された実世界１の領域（即ち、推定領域８１）が再度積分されて、倍密画素の画素値（画像データ８２）が生成される。従って、以下、倍密画素演算部７２が実行する演算処理を再積分とも称する。
【０１２４】
換言すると、上述したように、混合比演算部７１を重みを検出する重み検出部として捉え、かつ、混合比演算部７１が重みを検出したときに利用した３つの画素のうちの中心の画素（例えば、図１４の画素値５２を有する画素）を注目画素とすると、倍密画素演算部７２は、混合比演算部７１により検出された、注目画素とＸ方向に隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素がＸ方向に２倍密化される倍密画素の画素値を演算する（画像データ８２を生成する）ともいえる。
【０１２５】
このようにして、本発明の画像処理装置１１により生成された（創造された）画像（データ）８２は、図１３の従来の画像処理装置４により生成された画像（データ）６１に比較して、図１２の元の実世界１の領域（部分）４１をより忠実に再現していることがわかる。
【０１２６】
このように、本発明の画像処理装置１１は、空間混合を明確に考慮した画像処理を実行するので、即ち、空間混合が起きた画素における空間混合比を演算し、演算した空間混合比より元の実世界１の信号を推定し、推定した実世界１の信号をその処理の基準とするとともに、推定した実世界１の信号を再積分することで新たな倍密画素を創造するので、実世界１の信号を忠実に再現することが可能になる。
【０１２７】
より具体的には、本発明の画像処理装置１１は、例えば、図１５に示されるように構成される。即ち、図１５は、本発明の画像処理装置１１の構成例を表すブロック図である。
【０１２８】
なお、画像処理装置１１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、図１５は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。ただし、図１５をソフトウエアの機能ブロック図と考えた場合、後述する図２９の構成の情報処理装置等に、図１５の機能ブロック図を実現可能なソフトウエアがインストールされ、実行されることになる。
【０１２９】
図１５において、フレーム記憶部７３は、図２のデータ３を入力画像として入力し、１フレームを単位として記憶する。
【０１３０】
画素取得部７４は、フレーム記憶部７３に記憶された１フレームの入力画像内の注目画素の画素値と、注目画素のＸ方向に対して左右に隣接する２つの画素の画素値のそれぞれを取得し、上述した混合比演算部７１に供給する。
【０１３１】
混合比演算部７１と倍密画素演算部７２のそれぞれは、図１４のそれらと同様の構成と機能を有するものであるので、それらの説明については省略する。
【０１３２】
倍密フレーム記憶部７５は、入力画像の各画素のそれぞれが注目画素とされて、倍密画素演算部７２より、注目画素における２つの倍密画素の画素値のそれぞれが順次供給されてきたとき、それら２つの画素値を順次記憶する。
【０１３３】
そして、倍密フレーム記憶部７５は、１フレーム分の入力画素のうちの最後の入力画素が注目画素とされて、倍密画素演算部７２より、注目画素における２つの倍密画素の画素値のそれぞれが供給されてきたとき、供給された２つの画素値（倍密画素の画素値）と、それまでに記憶した画素値（倍密画素の画素値）から構成される画像、即ち、入力画像に対してＸ方向に２倍密の画像を、出力画像として出力する。
【０１３４】
次に、図１６のフローチャートを参照して、本発明の画像処理装置１１（図２と図１５）の画像の処理を生成する処理について説明する。
【０１３５】
はじめに、ステップＳ１において、画像処理装置１１（図２）は、データ３（図２）である画像データを入力する。即ち、１フレームの入力画像（データ）が、図１５のフレーム記憶部７３に記憶される。
【０１３６】
画素取得部７４は、ステップＳ２において、フレーム記憶部７３に記憶された１フレームの入力画像内の未処理画素を注目画素として、その画素値を取得する（検出する）とともに、ステップＳ３において、その注目画素の左右の（Ｘ方向に対して両隣の）画素のそれぞれの画素値を取得し、取得した３つの画素（注目画素とその左右の画素）の画素値を混合比演算部７１に供給する。
【０１３７】
例えば、上述した図１２の画素値５２に対応する入力画素が注目画素とされた場合、３つの画素値５１乃至画素値５３のそれぞれが取得されることになる。
【０１３８】
ステップＳ４において、混合比演算部７１は、画素取得部７４より供給された、注目画素、およびその左右の画素のそれぞれの画素値を用いて、注目画素の空間混合比を演算する。
【０１３９】
即ち、混合比演算部７１は、上述した式（７）の右辺のうちの、Ｓ１に注目画素の左隣の画素の画素値を、Ｓ０に注目画素の画素値を、Ｓ２に注目画素の右隣の画素の画素値を、それぞれ代入した上、式（７）の右辺を演算することで、注目画素の空間混合比αを演算し、倍密画素演算部７２に供給する。
【０１４０】
ステップＳ５において、倍密画素演算部７２は、混合比演算部７１より供給された空間混合比を用いて注目画素における２つの倍密画素のそれぞれの画素値を演算する。
【０１４１】
そして、ステップＳ６において、倍密画素演算部７２は、水平２倍密画像として創造した２つの倍密画素の画素値を、倍密フレーム記憶部７５が記憶している出力画像（水平２倍密画像）の対応する位置に出力する（記憶させる）。
【０１４２】
即ち、倍密画素演算部７２は、ステップＳ５において、注目画素の空間混合比に基づいて推定される実世界１の信号を、２つの倍密画素のそれぞれに対応する積分範囲（２つの倍密画素の空間的な配置位置）で再積分し、ステップＳ６において、２つの再積分値のそれぞれを、２つの倍密画素のそれぞれの画素値として倍密フレーム記憶部７５に供給する。
【０１４３】
ステップＳ７において、画像処理装置１１は、フレーム記憶部７３に記憶された１フレームの入力画像内に未処理画素があるか否かを判定する。
【０１４４】
ステップＳ７において、未処理画素があると判定された場合、処理はステップＳ２に戻り、それ以降の処理が繰り返される。即ち、未処理画素が、順次注目画素とされて、ステップＳ２乃至Ｓ７の処理が繰り返される。
【０１４５】
そして、全画素の処理が終了すると（ステップＳ７において、入力画像内に未処理画素がないと判定されると）、ステップＳ８において、倍密フレーム記憶部７５が、いままで記憶していた倍密画素から構成される、１フレームの入力画像に対応する水平２倍密画像を出力する。
【０１４６】
ところで、上述した例では、本発明の画像処理装置１１は、水平（Ｘ方向の）２倍密の画像を生成する（例えば、図１１に示されるように、入力画素３１に対して、Ｘ方向の倍密画素３２と倍密画素３３を生成する）画像処理を行ったが、上述した図１５の構成を有し、上述した図１６のフローチャートに示される処理を同様に実行すれば、垂直（Ｙ方向の）２倍密の画像を生成する（例えば、図１７に示されるように、入力画素３１に対して、Ｙ方向の倍密画素８１と倍密画素８２を生成する）こともできる。
【０１４７】
さらに、本発明の画像処理装置１１は、例えば、上述した図１５の構成を有することで、２倍密画像よりも高解像度な画像を生成することも可能である。
【０１４８】
具体的には、例えば、本発明の画像処理装置１１は、水平垂直（ＸＹ方向）４倍密の画像を生成する（例えば、図１８に示されるように、入力画素３１に対して、ＸＹ方向に４倍密の画素８３乃至画素８６を生成する）画像処理も実行することができる。
【０１４９】
以下、本発明の画像処理装置１１が水平垂直（ＸＹ方向）４倍密の画像を生成する実施の形態について説明する。
【０１５０】
なお、以下、各画素を区別するために、入力画素に対して水平垂直（ＸＹ方向）４倍密の画素を４倍密画素と称する。これに伴い、上述した倍密画素と称している画素のうちの、Ｘ方向（水平方向）の倍密画素を水平２倍密画素と、Ｙ方向垂直方向）の倍密画素を垂直２倍密画素と、それぞれ称する。
【０１５１】
また、４倍密画素の創造を実現する画像処理装置１１は、様々な構成が可能であり、後述する本発明の画像処理を実行可能な構成であれば、いずれの構成が採用されてもよいが、上述したように、図１５に示される構成でも足りる。従って、以下においても、画像処理装置１１は、例えば、図１５に示されるように構成されるとして説明する。
【０１５２】
ただし、図１５においては、倍密画素演算部７２の出力は、倍密フレーム記憶部７５のみに供給されているが、４倍密画素の創造の場合、後述するように、必要に応じて、倍密画素演算部７２の出力が、混合比演算部７１に供給されるときもある（即ち、改めて図示はしないが、この場合、混合比演算部７１と倍密画素演算部７２の間の矢印は、両方向の矢印となることに相当する）。
【０１５３】
また、４倍密画素の創造の場合、混合比演算部７１は、必要に応じて、画素取得部７４を介さずに、直接（自分自身で）フレーム記憶部７３や倍密フレーム記憶部７５に記憶されている画素値を取得する（検出する）こともできる（即ち、改めて図示はしないが、この場合、フレーム記憶部７３から混合比演算部７１に矢印が引かれるとともに、倍密フレーム記憶部７５から混合比演算部７１に矢印が引かれることに相当する）。
【０１５４】
空間混合比を利用して４倍密画素を創造する（それらの画素値を演算する）手法は、特に限定されず、様々な手法が存在するが、ここでは、それらのうちの３つの手法（第１乃至第３の手法）についてそれぞれ具体的に説明する。
【０１５５】
第１の手法は、画像処理装置１１が、はじめに上述した一連の処理を実行して、水平方向（Ｘ方向）の空間混合比を演算し、それを用いて注目画素における水平２倍密画素を創造した後、さらに、創造した水平２倍密画素に対して、上述した一連の処理と同様の処理を実行して、垂直方向（Ｙ方向）の空間混合比を演算し、それを用いて水平２倍密画素に対してさらに垂直方向に２倍密の画素、即ち、注目画素における４倍密画素を創造する手法である。
【０１５６】
なお、以下、水平方向（Ｘ方向）の空間混合比と、垂直方向（Ｙ方向）の空間混合比を区別する必要がある場合、水平方向（Ｘ方向）の空間混合比を水平混合比と、垂直方向（Ｙ方向）の空間混合比を垂直混合比と、それぞれ称する。
【０１５７】
このような第１の手法に対して、第２の手法と第３の手法は、画像処理装置１１が、注目画素の水平混合比と、垂直混合比のそれぞれを併せて（ほぼ同時に）演算し、演算した水平混合比と垂直混合比のそれぞれを用いて、注目画素における４倍密画素を一気に創造する手法である。
【０１５８】
なお、第２の手法と第３の手法の差異は、水平混合比、および、垂直混合比の算出方法の違いであるが、これらの算出方法については後述する。
【０１５９】
以下、図面を参照して、本発明の画像処理装置１１が、４倍密画素を創造する３つの手法（第１乃至第３の手法）のそれぞれの詳細について、その順番に個別に説明していく。
【０１６０】
図１９は、４倍密画素を創造する第１の手法が適用される本発明の画像処理装置１１（図２と図１５）の画像の処理を表すフローチャートである。そこで、以下、図１９のフローチャートを参照して、４倍密画素を創造する第１の手法が適用される本発明の画像処理装置１１の画像の処理について説明する。
【０１６１】
上述したように、第１の手法においては、はじめに注目画素の水平混合比が演算され、演算された水平混合比を用いて、注目画素における２つの水平２倍密画素が創造される。これらの処理は、ステップＳ２１乃至Ｓ２５の処理で実行される。なお、ステップＳ２１乃至Ｓ２５の処理のそれぞれは、ステップＳ１乃至Ｓ５（図１６）の処理のそれぞれと基本的に同様の処理とされるので、その処理の詳細な説明は省略する。
【０１６２】
例えば、いま、図２０に示されるように、注目画素が画素９０とされ、その画素値Ｓ０、注目画素９０の左（注目画素９０のＸ方向に対して左隣）の画素９１の画素値Ｓ１、および、注目画素９０の右（注目画素９０のＸ方向に対して右隣）の画素９２の画素値Ｓ２から、水平混合比（以下、水平混合比をαｘと記述する）が演算され（上述した式（７）の右辺が演算されて水平混合比αｘが算出され）、水平混合比αｘを用いて、注目画素９０における、水平２倍密画素９０−１の画素値Ｈ１と水平２倍密画素９０−２の画素値Ｈ２が算出されたとする。
【０１６３】
図１９に戻り、ステップＳ２６において、混合比演算部７１は、２つの水平２倍密画素のうちの一方を注目倍密画素とし、その画素値を倍密画素演算部７２より取得する（なお、図１５においては、上述したように、倍密画素演算部７２から混合比演算部７１に向かう方向の矢印は図示されていないが、ここでは、矢印が両方向の矢印であるとする）。
【０１６４】
いまの場合、図２０に示されるように、注目画素９０における、水平２倍密画素９０−１の画素値Ｈ１と水平２倍密画素９０−２の画素値Ｈ２のうちのいずれか一方が取得される（検出される）。例えば、いま、画素値Ｈ１が取得されたとする。
【０１６５】
図１９に戻り、ステップＳ２７において、混合比演算部７１は、注目倍密画素の上下の水平２倍密画素のそれぞれの画素値を取得する（検出する）。
【０１６６】
いまの場合、図２０に示されるように、混合比演算部７１は、注目倍密画素９０−１の上（Ｙ方向）に位置する、画素９３における水平２倍密画素９３−１の画素値Ｈ３と、注目倍密画素９０−１の下（Ｙ方向）に位置する、画素９４における水平２倍密画素９４−１の画素値Ｈ５のそれぞれを取得する。
【０１６７】
なお、注目倍密画素９０−１の画素値Ｈ１が算出された時点よりも時間的に前に倍密画素演算部７２により画素値Ｈ３と画素値Ｈ５が既に演算されている場合、混合比演算部７１は、画素値Ｈ３と画素値Ｈ５を倍密画素演算部７２より取得してもよい。ただし、この場合、倍密画素演算部７２は、その演算結果を保持する必要がある。或いは、図示はしないが、倍密フレーム記憶部７５が、後述する４倍密画素の画素値とともに、水平２倍密画素の画素値（いまの場合、画素値Ｈ３と画素値Ｈ５）もあわせて記憶し、混合比演算部７１が、倍密フレーム記憶部７５より画素値Ｈ３と画素値Ｈ５を取得してもよい。
【０１６８】
或いは、図示はしないが、混合比演算部７１は、画素９３における水平２倍密画素９３−１の画素値Ｈ３は、画素９３の画素値Ｓ３と等しいとみなし、画素値Ｈ３として画素値Ｓ３をフレーム記憶部７３より取得するとともに、画素９４における水平２倍密画素９４−１の画素値Ｈ５は、画素９４の画素値Ｓ４と等しいとみなし、画素値Ｈ５として画素値Ｓ４をフレーム記憶部７３より取得してもよい。
【０１６９】
図１９に戻り、ステップＳ２８において、混合比演算部７１は、注目倍密画素、およびその上下の水平２倍密画素のそれぞれの画素値を用いて注目倍密画素の垂直混合比を演算する。
【０１７０】
いまの場合、図２０に示されるように、注目倍密画素が水平２倍密画素９０−１とされ、その画素値Ｈ１、注目倍密画素９０−１の上の水平２倍密画素９３−１の画素値Ｈ３、および、注目倍密画素９０−１の下の水平２倍密画素９４−１の画素値Ｈ５が取得されている。従って、注目倍密画素９０−１の垂直混合比をαｙと記述すると、混合比演算部７１は、上述した式（７）に対応する次の式（８）の右辺を演算することで、注目倍密画素９０−１の垂直混合比αｙを演算し、倍密画素演算部７２に供給する。
【０１７１】
αｙ ＝ （Ｈ１−Ｈ３−Ｈ５）／（Ｈ３−Ｈ５） ・・・（８）
【０１７２】
図１９に戻り、ステップＳ２９において、倍密画素演算部７２は、混合比演算部７１より供給された垂直混合比（いまの場合、式（８）で演算された垂直混合比αｙ）を用いて、注目倍密画素における、さらにＹ方向に２倍密の２つの画素（即ち、注目画素における４倍密画素）の画素値を演算する。
【０１７３】
いまの場合、図２０に示されるように、注目画素は９０とされ、かつ、注目倍密画素は、注目画素９０における水平２倍密画素９０−１とされているので、図２１に示されるように、注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のうちの、４倍密画素９０−３の画素値ＨＨ１と４倍密画素９０−５の画素値ＨＨ３が演算される。
【０１７４】
具体的には、倍密画素演算部７２は、混合比演算部７１により演算された（式（８）で示される）垂直混合比αｙに基づいて推定される実世界１を、４倍密画素９０−３と４倍密画素９０−５のそれぞれの空間的位置に対応する範囲で再積分することで、４倍密画素９０−３の画素値ＨＨ１と、４倍密画素９０−５の画素値ＨＨ３を演算する。
【０１７５】
図１９に戻り、ステップＳ３０において、混合比演算部７１は、２つの水平２倍密画素を処理したか否かを判定する。
【０１７６】
いまの場合、図２０に示されるように、注目画素は画素９０とされ、注目画素における水平２倍密画素９０−１と水平２倍密画素９０−２のうちの、水平２倍密画素９０−２についての処理がまだ実行されていないので、ステップＳ３０（図１９）において、２つの水平２倍密画素を処理していないと判定され、処理はステップＳ２６（図１９）に戻り、それ以降の処理が繰り返される。
【０１７７】
即ち、今度は、水平２倍密画素９０−２が注目倍密画素とされ、その画素値Ｈ２、注目倍密画素９０−２の上の水平２倍密画素９３−２の画素値Ｈ４、および、注目倍密画素９０−２の下の水平２倍密画素９４−２の画素値Ｈ６が取得され、上述した式（８）に対応する次の式（９）の右辺が演算されて、注目倍密画素９０−２の垂直混合比αｙが算出される。
【０１７８】
αｙ ＝ （Ｈ２−Ｈ４−Ｈ６）／（Ｈ４−Ｈ６） ・・・（９）
【０１７９】
そして、このようにして演算された（式（９）で表される）注目倍密画素９０−２の垂直混合比αｙを用いて、図２１に示される、注目画素９０における４つの４倍密画素９０−３乃至４倍密画素９０−６のうちの、残りの４倍密画素９０−４の画素値ＨＨ２と、４倍密画素９０−６の画素値ＨＨ４が演算される。
【０１８０】
図１９に戻り、ステップＳ３１において、倍密画素演算部７２は、水平垂直４倍密画像として創造した４つの４倍密画素の画素値（いまの場合、図２１の注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）を、倍密フレーム記憶部７５が記憶している出力画像（水平垂直４倍密画像）の対応する位置に出力する（記憶させる）。
【０１８１】
ステップＳ３２において、画像処理装置１１は、フレーム記憶部７３に記憶された１フレームの入力画像内に未処理画素があるか否かを判定する。
【０１８２】
ステップＳ３２において、未処理画素があると判定された場合、処理はステップＳ２２に戻り、それ以降の処理が繰り返される。即ち、未処理画素が、順次注目画素とされて、ステップＳ２２乃至Ｓ３２の処理が繰り返される。
【０１８３】
そして、全画素の処理が終了すると（ステップＳ３２において、入力画像内に未処理画素がないと判定されると）、ステップＳ３３において、倍密フレーム記憶部７５が、いままで記憶していた４倍密画素から構成される、１フレームの入力画像に対応する水平垂直４倍密画像を出力する。
【０１８４】
なお、上述した例では、はじめに水平混合比が求められ、その水平混合比を利用して水平２倍密画素の画素値が演算された後、垂直混合比が求められ、その垂直混合比を利用して４倍密画素の画素値が演算されたが、当然ながら、処理の順序はその逆でもよい。即ち、はじめに垂直混合比が求められ、その垂直混合比を利用して垂直２倍密画素の画素値が演算された後、水平混合比が求められ、その水平混合比を利用して４倍密画素の画素値が演算されてもよい。
【０１８５】
このように、４倍密画素を創造する第１の手法が適用される、本発明の画像処理装置１１においては、例えば、図１５の混合比演算部７１が、注目画素の画素値（例えば、図２０の画素９０の画素値Ｓ０）は、２次元方向（例えば、空間方向のうちのＸ方向とＹ方向）のうちの第１の１次元方向（例えば、Ｘ方向）に隣接する２つの画素の画素値（例えば、図２０の画素９０の画素値Ｓ１と画素９２の画素値Ｓ２）の重み付け加算により演算されるとして第１の方程式（例えば、上述した式（７）に対応する方程式）を生成し、生成した第１の方程式を演算することにより、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重み（例えば、水平混合比αｘ（具体的には、例えば、画素９１に対する重みはαｘであり、画素９２に対する重みは（１−αｘ）である）を検出する（例えば、図１９のステップＳ２４の処理を演算する。
【０１８６】
すると、例えば、図１５の倍密画素演算部７２は、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みに応じて、注目画素が第１の１次元方向に２倍密化される２倍密画素の画素値（例えば、図２０の注目画素９０における、水平２倍密画素９０−１の画素値Ｈ１と水平２倍密画素９０−２の画素値Ｈ２）を演算する。（例えば、図１９のステップＳ２５の処理を実行する）。
【０１８７】
次に、例えば、図１５の混合比演算部７１は、注目画素における２倍密画素のうちの一方を注目倍密画素として、注目倍密画素の画素値は、２次元方向のうちの第１の１次元方向（例えば、Ｘ方向）に直交する第２の１次元方向（例えば、Ｙ方向）に隣接する２倍密画素の画素値（例えば、注目倍密画素が水平２倍密画素９０−１の場合、水平２倍密画素９３−１の画素値Ｈ３と水平２倍密画素９４−１の画素値Ｈ５であり、注目倍密画素が水平２倍密画素９０−２の場合、水平２倍密画素９３−２の画素値Ｈ４と水平２倍密画素９４−２の画素値Ｈ６）の重み付け加算により演算されるとして第２の方程式（例えば、上述した式（８）または式（９）に対応する方程式）を生成し、生成した第２の方程式を演算することにより、第２の１次元方向に注目倍密画素と隣接する２つの２倍密画素の画素値のそれぞれに対する重み（例えば、垂直混合比αｙ（具体的には、例えば、水平２倍密画素９３−１または水平２倍密画素９３−２に対する重みはαｙであり、水平２倍密画素９４−１または水平２倍密画素９４−２に対する重みは（１−αｙ）である））を検出する（例えば、図１９のステップＳ２８の処理を実行する）。
【０１８８】
注目画素における２つの２倍密画素のそれぞれに対して以上の処理が実行されると、例えば、図１５の倍密画素演算部７２は、第２の１次元方向に注目倍密画素と隣接する２つの２倍密画素の画素値のそれぞれに対する重みに応じて、注目画素における４倍密画素の画素値（例えば、図２１の注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）を演算する。
【０１８９】
次に、４倍密画素を創造する第２の手法について説明する。第２の手法は、２倍密画素を創造した上で４倍密画素を創造する第１の手法に対して、画像処理装置１１が、注目画素の水平混合比と、垂直混合比のそれぞれを併せて演算し、演算した水平混合比と垂直混合比のそれぞれを用いて、注目画素における４倍密画素を一気に創造する手法である。
【０１９０】
図２２は、このような、４倍密画素を創造する第２の手法が適用される本発明の画像処理装置１１（図２と図１５）の画像の処理を表すフローチャートである。そこで、以下、図２２のフローチャートを参照して、４倍密画素を創造する第２の手法が適用される本発明の画像処理装置１１の画像の処理について説明する。
【０１９１】
はじめに、ステップＳ５１において、画像処理装置１１（図２）は、データ３（図２）である画像データを入力する。即ち、１フレームの入力画像（データ）が、図１５のフレーム記憶部７３に記憶される。
【０１９２】
画素取得部７４は、ステップＳ５２において、フレーム記憶部７３に記憶された１フレームの入力画像内の未処理画素を注目画素として、その画素値を取得する（検出する）とともに、ステップＳ５３において、混合比の演算に必要な、注目画素の近隣の画素のそれぞれの画素値を取得し、取得した複数の画素（注目画素とその近隣の画素）の画素値を、混合比演算部７１に供給する。
【０１９３】
具体的には、第２の手法においては、後述するように、注目画素の水平混合比と垂直混合比が一緒に算出される。従って、第２の手法においては、画素取得部７４は、注目画素の画素値の他に、注目画素の水平混合比の演算に必要な、注目画素の左右の（Ｘ方向に対して両隣の）画素のそれぞれの画素値、および、注目画素の垂直混合比の演算に必要な、注目画素の上下の（Ｙ方向に対して両隣の）画素のそれぞれの画素値を取得する。
【０１９４】
例えば、いま、図２３に示される３×３画素群のうちの中心の画素９０が注目画素とされた場合、第２の手法においては、画素取得部７４は、注目画素９０の画素値Ｓ０、注目画素９０の水平混合比の演算に必要な、注目画素９０の左側（Ｘ方向に対して隣接する画素のうちの一方の）画素９１の画素値Ｓ１、および、注目画素９０の右側（Ｘ方向に対して隣接する画素のうちの他方の）画素９２の画素値Ｓ２、並びに、注目画素９０の垂直混合比の演算に必要な、注目画素９０の上側の（Ｙ方向に対して隣接する画素のうちの一方の）画素９３の画素値Ｓ３、および、注目画素９０の下側の（Ｙ方向に対して隣接する画素のうちの他方の）画素９４の画素値Ｓ４を、それぞれ取得することになる。
【０１９５】
図２２に戻り、ステップＳ５４において、混合比演算部７１は、画素取得部７４より供給された、注目画素、およびその近隣の画素のそれぞれの画素値を用いて、注目画素の水平混合比と垂直混合比のそれぞれを演算する。
【０１９６】
即ち、いまの場合、混合比演算部７１は、上述した式（７）に対応する次の式（１０）の右辺を演算することで、注目画素９０の水平混合比αｘを演算し、倍密画素演算部７２に供給する。
【０１９７】
αｘ ＝ （Ｓ０−Ｓ１−Ｓ２）／（Ｓ１−Ｓ２） ・・・（１０）
【０１９８】
また、混合比演算部７１は、上述した式（７）に対応する次の式（１１）の右辺を演算することで、注目画素９０の垂直混合比αｙを演算し、倍密画素演算部７２に供給する。
αｙ ＝ （Ｓ０−Ｓ３−Ｓ４）／（Ｓ３−Ｓ４） ・・・（１１）
【０１９９】
なお、式（１０）と式（１１）において、Ｓ０は注目画素９０の画素値を、Ｓ１は注目画素９０の左側に隣接する画素９１の画素値を、Ｓ２は注目画素９０の右側に隣接する画素９２の画素値を、Ｓ３は注目画素９０の上側に隣接する画素９３の画素値を、Ｓ４は注目画素９０の下側に隣接する画素９４の画素値を、それぞれ表している。
【０２００】
ステップＳ５５において、倍密画素演算部７２は、混合比演算部７１より供給された水平混合比と垂直混合比のそれぞれを用いて、注目画素における４つの４倍密画素のそれぞれの画素値を演算する。
【０２０１】
そして、ステップＳ５６において、倍密画素演算部７２は、水平垂直４倍密画像として創造した４つの４倍密画素の画素値を、倍密フレーム記憶部７５が記憶している出力画像（水平垂直４倍密画像）の対応する位置に出力する（記憶させる）。
【０２０２】
即ち、いまの場合、倍密画素演算部７２は、ステップＳ５５において、注目画素９０の水平混合比αｘと垂直混合比αｙに基づいて推定される実世界１の信号を、４つの４倍密画素のそれぞれに対応する積分範囲（即ち、図２１で示される４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの空間的な配置位置）で再積分する。そして、倍密画素演算部７２は、ステップＳ５６において、４つの再積分値のそれぞれを、４つの倍密画素のそれぞれの画素値（即ち、図２１で示される４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）として倍密フレーム記憶部７５に供給する。
【０２０３】
ステップＳ５７において、画像処理装置１１は、フレーム記憶部７３に記憶された１フレームの入力画像内に未処理画素があるか否かを判定する。
【０２０４】
ステップＳ５７において、未処理画素があると判定された場合、処理はステップＳ５２に戻り、それ以降の処理が繰り返される。即ち、未処理画素が、順次注目画素とされて、ステップＳ５２乃至Ｓ５７の処理が繰り返される。
【０２０５】
そして、全画素の処理が終了すると（ステップＳ５７において、入力画像内に未処理画素がないと判定されると）、ステップＳ５８において、倍密フレーム記憶部７５が、いままで記憶していた４倍密画素から構成される、１フレームの入力画像に対応する水平垂直４倍密画像を出力する。
【０２０６】
このように、４倍密画素を創造する第２の手法においては、例えば、図１５の混合比演算部７１が、注目画素の画素値（例えば、図２３の画素９０の画素値Ｓ０）は、２次元方向（空間方向のうちのＸ方向とＹ方向）のうちの第１の１次元方向（例えば、Ｘ方向）に隣接する２つの画素の画素値（例えば、図２３の画素９１の画素値Ｓ１と画素９２の画素値Ｓ２）の重み付け加算により演算されるとして第１の方程式（例えば、式（１０）に対応する方程式）を生成し、生成した第１の方程式を演算することにより、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重み（例えば、水平混合比αｘ（具体的には、例えば、画素９１に対する重みはαｘであり、画素９２に対する重みは（１−αｘ）である）を検出するとともに、注目画素の画素値は、２次元方向のうちの第１の１次元方向（例えば、Ｘ方向）に直交する第２の１次元方向（例えば、Ｙ方向）に隣接する２つの画素の画素値（例えば、図２３の画素９３の画素値Ｓ３と画素９４の画素値Ｓ４）の重み付け加算により演算されるとして第２の方程式（例えば、式（１１）に対応する方程式）を生成し、生成した第２の方程式を演算することにより、第２の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重み（例えば、水平混合比αｙ（具体的には、例えば、画素９３に対する重みはαｙであり、画素９４に対する重みは（１−αｙ）である）を検出する（例えば、図２２のステップＳ５４の処理を実行する）。
【０２０７】
すると、例えば、図１５の倍密画素演算部７２は、第１の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重み、および、第２の１次元方向に注目画素と隣接する２つの画素の画素値のそれぞれに対する重みに応じて、注目画素における４倍密画素の画素値（例えば、図２１の注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）を演算する（例えば、図２２のステップＳ５５の処理を実行する）。
【０２０８】
次に、４倍密画素を創造する第３の手法について説明する。
【０２０９】
第３の手法と、上述した第２の手法を比較するに、画像処理装置１１が、注目画素の水平混合比と、垂直混合比のそれぞれをはじめに演算した後、演算した水平混合比と垂直混合比のそれぞれを用いて、注目画素における４倍密画素を一気に創造する点は基本的に同様である。
【０２１０】
従って、４倍密画素を創造する第３の手法が適用される画像処理装置１１も、上述した図２２のフローチャートに従って、画像の処理を実行する点は同じである。即ち、図２２は、４倍密画素を創造する第３の手法が適用される画像処理装置１１の画像の処理のフローチャートとしても引用される。
【０２１１】
しかしながら、画像処理装置１１が、注目画素の水平混合比と、垂直混合比のそれぞれを演算する演算方法が、第２の手法と第３の手法で異なる。そこで、はじめに、第３の手法における、注目画素の水平混合比と、垂直混合比のそれぞれを演算する演算方法について説明する。
【０２１２】
即ち、第３の手法においては、図２４に示されるように、注目画素９０の画素値Ｓ０は、図中示されるように配置される４つの画素成分１０１乃至画素成分１０４の各値（画素値に相当する値）Ｔ１乃至Ｔ４の集まりであると考える。
【０２１３】
この場合、注目画素９０の画素値Ｓ０は、注目画素９０の水平混合比αｘを使用すると次の式（１２）のように表され、また、注目画素９０の垂直混合比αｙを使用すると次の式（１３）のように表される。
【０２１４】
αｘ ＝ （Ｔ１＋Ｔ３）×αｘ ＋ （Ｔ２＋Ｔ４）×（１−αｘ） ・・・（１２）
αｙ ＝ （Ｔ１＋Ｔ２）×αｙ ＋ （Ｔ３＋Ｔ４）×（１−αｙ） ・・・（１３）
【０２１５】
また、画素成分１０１乃至画素成分１０４の各値Ｔ１乃至Ｔ４のそれぞれは、周辺３画素の画素値の平均値として表される（ただし、実際には、ゲイン調整が必要となる）。
【０２１６】
具体的には、図２５に示されるように、画素成分１０１の値Ｔ１は、画素９１の画素値Ｓ１、画素９５の画素値Ｓ５、および画素９３の画素値Ｓ３の平均値とされる。同様に、図２６に示されるように、画素成分１０２の値Ｔ２は、画素９３の画素値Ｓ３、画素９６の画素値Ｓ６、および画素９２の画素値Ｓ２の平均値とされる。図２７に示されるように、画素成分１０３の値Ｔ３は、画素９１の画素値Ｓ１、画素９７の画素値Ｓ７、および画素９４の画素値Ｓ４の平均値とされる。図２８に示されるように、画素成分１０４の値Ｔ４は、画素９４の画素値Ｓ４、画素９８の画素値Ｓ８、および画素９２の画素値Ｓ２の平均値とされる。
【０２１７】
即ち、画素成分１０１乃至画素成分１０４の各値Ｔ１乃至Ｔ４のそれぞれは、次の式（１４）乃至式（１７）のそれぞれとして表される。
【０２１８】
Ｔ１＝（Ｓ１＋Ｓ５＋Ｓ３）／３ ・・・（１４）
Ｔ２＝（Ｓ３＋Ｓ６＋Ｓ２）／３ ・・・（１５）
Ｔ３＝（Ｓ１＋Ｓ７＋Ｓ４）／３ ・・・（１６）
Ｔ４＝（Ｓ４＋Ｓ８＋Ｓ２）／３ ・・・（１７）
【０２１９】
従って、第３の手法においては、図２２のステップＳ５２とＳ５３において、画素取得部７４は、注目画素９０をその中心に含む３×３画素群（例えば、図２３で示される、９個の画素９０乃至画素９８からなる画素群）のそれぞれの画素値（例えば、図２３で示される画素値Ｓ０乃至Ｓ８のそれぞれ）を取得し、混合比演算部７１に供給する。
【０２２０】
すると、混合比演算部７１は、上述した式（１２）乃至式（１７）のそれぞれを利用して、注目画素９０の水平混合比αｘと垂直混合比αｙを演算し、倍密画素演算部７２に供給する。
【０２２１】
なお、それ以外の処理（ステップＳ５２乃至Ｓ５４以外の処理）については、上述した第２の手法と基本的に同様の処理とされるので、その説明については省略する。
【０２２２】
このように、４倍密画素を創造する第３の手法が適用される画像処理装置１１においては、例えば、図１５の混合比演算部７１は、注目画素の画素値（例えば、図２４の画素９０の画素値Ｓ０）は、２次元方向（例えば、空間方向のうちのＸ方向とＹ方向）のうちの第１の１次元方向（例えば、Ｘ方向）に２分割され、かつ、第１の１次元方向に直交する第２の１次元方向（Ｙ方向）に２分割される４つの画素成分（例えば、図２４のように配置される（分割される）画素成分１０１乃至画素成分１０４）により構成されるとして、第１の１次元方向に対する画素成分のそれぞれの値（例えば、図２４の画素成分１０１乃至画素成分１０４のそれぞれの値Ｔ１乃至Ｔ４）の重み付け加算により注目画素の画素値が演算されるとして第１の方程式（例えば、式（１２）に対応する方程式）を生成するとともに、第２の１次元方向に対する画素成分のそれぞれの値の重み付け加算により注目画素の画素値が演算されるとして第２の方程式（例えば、式（１３）に対応する方程式）を生成し、画素成分のそれぞれの値は、画素成分の位置と対応する位置に属する複数の画素の画素値の平均値（例えば、図２５に示されるように、画素成分１０１の値Ｔ１は、画素９１の画素値Ｓ１、画素９５の画素値Ｓ５、および、画素９３の画素値Ｓ３の平均値。同様に、その他の画素成分１０２乃至画素成分１０４のそれぞれも、図２６乃至図２８に示される通りである）であるとして（例えば、式（１４）乃至式（１７）が成立するとして）、画素成分のそれぞれの値を第１および第２の方程式のそれぞれに代入して演算することにより、第１の１次元方向、および、第２の１次元方向のそれぞれに対応する重み（例えば、式（１２）の水平混合比αｘと式（１３）の垂直混合比αｙ）を検出する（例えば、図２２のステップＳ５４の処理を実行する）。
【０２２３】
そして、例えば、図１５の倍密画素演算部７２は、第１の１次元方向、および、第２の１次元方向のそれぞれに対応する重みに応じて、注目画素における４倍密画素の画素値（例えば、図２１の注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）を演算する（例えば、図２２のステップＳ５５の処理を実行する）。
【０２２４】
以上のように、本発明の画像処理装置１１（例えば、図２の画像処理装置１１（その構成は、図１５））は、入力画像の水平垂直４倍密の画像を生成することができる。
【０２２５】
即ち、本発明の画像処理装置においては、４倍密画素を創造する場合、それぞれ空間積分効果を有する、センサ（例えば、図２のセンサ２）の複数の検出素子（例えば、図３の検出素子Ａ乃至Ｉ）により現実世界（例えば、図２の実世界１）の光信号が射影されて取得された画素値を有する複数の画素からなる画像データ（例えば、図２のデータ３であって、図１５の入力画像）において、空間方向のうちの２次元方向（例えば、Ｘ方向とＹ方向）に４倍密化される画素（例えば、図２０と図２１の画素９０）を注目画素として、注目画素の画素値を検出する。
【０２２６】
すると、例えば、図１５の混合比演算部７１は、画素取得部７４により検出された注目画素の画素値は、２次元方向に隣接する複数の画素の画素値（例えば、図２０の画素９１の画素値Ｓ１および画素９２の画素値Ｓ２、並びに、画素９３の画素値Ｓ３および画素９４の画素値Ｓ４）により演算されるとして方程式（例えば、式（７）に対応する方程式）を生成し、生成した前記方程式を演算することにより、注目画素に隣接する複数の画素の画素値のそれぞれに対する重み（例えば、式（７）の空間混合比αであって、具体的には、図２０の注目画素９０の水平混合比αｘ（および、（１−αｘ））、または、垂直混合比αｙ（１−αｙ））を検出する。
【０２２７】
そして、例えば、図１５の倍密画素演算部７２は、混合比演算部７１により検出された（演算された）、２次元方向に注目画素と隣接する複数の画素の画素値のそれぞれに対する重みに応じて、注目画素が２次元方向に４倍密化される４倍密画素の画素値（例えば、図２１の注目画素９０における、４つの４倍密画素９０−３乃至４倍密画素９０−６のそれぞれの画素値ＨＨ１乃至画素値ＨＨ４）を演算する。
【０２２８】
これにより、例えば、従来の線形補間が苦手とするエッジ部で、より実世界１に近い画像を再現することが可能になる。即ち、本発明においては、従来の線形補間等の画像処理に比較して、精度のよい画像処理をエッジ部に対して実行することができる。勿論、本発明においては、線形補間が得意とする平坦部やグラデーション部でも悪さをせずに、即ち、線形補間と同等以上の精度で画像処理を実行することができる。
【０２２９】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０２３０】
この場合、上述した図２の画像処理装置１１は、例えば、図２９に示されるようなパーソナルコンピュータにより構成される。
【０２３１】
図２９に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２に記録されているプログラム、または記憶部１５８からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３２】
ＣＰＵ１５１、ＲＯＭ１５２、およびＲＡＭ１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インタフェース１５５も接続されている。
【０２３３】
入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイなどよりなる出力部１５７、ハードディスクなどより構成される記憶部１５８、モデム、ターミナルアダプタなどより構成される通信部１５９が接続されている。通信部１５９は、インターネット等のネットワークを介しての他の情報処理装置との通信処理を行う。
【０２３４】
入出力インタフェース１５５にはまた、必要に応じてドライブ１６０が接続され、磁気ディスク１６１、光ディスク１６２、光磁気ディスク１６３、或いは半導体メモリ１６４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５８にインストールされる。
【０２３５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラム（例えば、上述した図１５の機能ブロック図を実現可能なプログラム）が、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２３６】
この記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）１６１、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）１６２、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）１６３、もしくは半導体メモリ１６４などにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１５２や、記憶部１５８に含まれるハードディスクなどで構成される。
【０２３７】
また、図２のセンサ２は、固体撮像素子である、例えば、ＢＢＤ（Ｂｕｃｋｅｔ Ｂｒｉｇａｄｅ Ｄｅｖｉｃｅ）、ＣＩＤ（Ｃｈａｒｇｅ Ｉｎｊｅｃｔｉｏｎ Ｄｅｖｉｃｅ）、またはＣＰＤ（Ｃｈａｒｇｅ Ｐｒｉｍｉｎｇ Ｄｅｖｉｃｅ）などのセンサでもよい。
【０２３８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３９】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
【０２４０】
また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の処理の原理を説明する図である。
【図２】本発明の画像処理装置の処理の原理を説明する図である。
【図３】イメージセンサ上の画素の配置の例を説明する図である。
【図４】ＣＣＤである検出素子の動作を説明する図である。
【図５】各画素のそれぞれに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図６】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図７】センサの積分効果と空間混合を説明する図である。
【図８】センサから出力されるデータの例を示す図である。
【図９】図１の従来の画像処理装置が、図８のデータに対して従来の線形補間を施した結果を示す図である。
【図１０】図９との比較のために、図１のセンサに対して２倍のサンプリングレートを有する撮像素子から出力されるデータ（図８のデータの位置に対応するデータ）の例を示す図である。
【図１１】水平（Ｘ方向）２倍密の画像を説明する図である。
【図１２】センサから出力されるデータの他の例を示す図である。
【図１３】図１の従来の画像処理装置が図１２のデータに対して画像処理を施した結果を説明する図である。
【図１４】図２の本発明の画像処理装置が図１２のデータに対して画像処理を施した結果を説明する図である。
【図１５】本発明の画像処理装置の構成例を表すブロック図である。
【図１６】図１５の画像処理装置の画像の処理のうちの、２倍密画像を生成する処理の例を説明するフローチャートである。
【図１７】垂直（Ｙ方向）２倍密の画像を説明する図である。
【図１８】水平垂直（ＸＹ方向）４倍密の画像を説明する図である。
【図１９】図１５の画像処理装置の画像の処理のうちの、４倍密画像を生成する処理の例を説明するフローチャートである。
【図２０】４倍密画素を創造する場合に利用される空間混合比の演算に必要な画素値の例を説明する図である。
【図２１】創造される４倍密画素の例を説明する図である。
【図２２】図１５の画像処理装置の画像の処理のうちの、４倍密画像を生成する処理の他の例を説明するフローチャートである。
【図２３】４倍密画素を創造する場合に利用される空間混合比の演算に必要な画素値の他の例を説明する図である。
【図２４】４倍密画素を創造する場合に利用される空間混合比の演算に必要な画素成分の値の例を説明する図である。
【図２５】図２４の画素成分と、図２３の画素との関係を説明する図である。
【図２６】図２４の画素成分と、図２３の画素との関係を説明する図である。
【図２７】図２４の画素成分と、図２３の画素との関係を説明する図である。
【図２８】図２４の画素成分と、図２３の画素との関係を説明する図である。
【図２９】本発明の画像処理装置の他の構成例を表すブロック図である。
【符号の説明】
１ 実世界， ２ センサ， ３ センサ， １１ 画像処理装置， ７１ 混合比演算部， ７２ 倍密画素演算部， ７３ フレーム記憶部， ７４ 画素取得部， ７５ 倍密フレーム記憶部， ９０乃至９８ 入力画素， ９０−１，９０−２ ２倍密画素， ９０−３乃至９０−６ ４倍密画素， ９３−１，９３−２，９４−１，９４−２ ２倍密画素， １０１乃いたる１０４ 画素成分， １５１ ＣＰＵ， １５２ ＲＯＭ， １５３ ＲＡＭ， １５８ 記憶部， １６１ 磁気ディスク， １６２ 光ディスク， １６３ 光磁気ディスク， １６４ 半導体メモリ， Ｓ０乃至Ｓ８ 入力画素の画素値， Ｔ１乃至Ｔ４ 画素成分の値， Ｈ０乃至Ｈ６ ２倍密画素の画素値， ＨＨ１乃至ＨＨ４ ４倍密画素の画素値

Claims (7)

1. それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうちの２次元方向に４倍密化される前記画素を注目画素として、前記注目画素の前記画素値を検出する画素値検出手段と、
   前記検出手段により検出された前記注目画素の前記画素値は、前記２次元方向に隣接する複数の前記画素の前記画素値により演算されるとして方程式を生成し、生成した前記方程式を演算することにより、前記注目画素に隣接する複数の前記画素の前記画素値のそれぞれに対する重みを検出する重み検出手段と、
   前記重み検出手段により検出された、前記２次元方向に前記注目画素と隣接する複数の前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素が前記２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算手段と
   を備えることを特徴とする画像処理装置。
2. 前記重み検出手段は、前記注目画素の前記画素値は、前記２次元方向のうちの第１の１次元方向に隣接する２つの前記画素の前記画素値の重み付け加算により演算されるとして第１の方程式を生成し、生成した前記第１の方程式を演算することにより、前記第１の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する重みを検出し、
   前記画素値演算手段は、前記第１の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素が前記第１の１次元方向に２倍密化される２倍密画素の画素値を演算し、
   前記重み検出手段は、前記注目画素における前記２倍密画素を注目倍密画素として、前記注目倍密画素の前記画素値は、前記２次元方向のうちの前記第１の１次元方向に直交する第２の１次元方向に隣接する２倍密画素の画素値の重み付け加算により演算されるとして第２の方程式を生成し、生成した前記第２の方程式を演算することにより、前記第２の１次元方向に前記注目倍密画素と隣接する２つの前記２倍密画素の画素値のそれぞれに対する重みを検出し、
   前記画素値演算手段は、前記第２の１次元方向に前記注目倍密画素と隣接する２つの前記２倍密画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素における前記４倍密画素の前記画素値を演算する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記重み検出手段は、
   前記注目画素の前記画素値は、前記２次元方向のうちの第１の１次元方向に隣接する２つの前記画素の前記画素値の重み付け加算により演算されるとして第１の方程式を生成し、生成した前記第１の方程式を演算することにより、前記第１の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する重みを検出するとともに、
   前記注目画素の前記画素値は、前記２次元方向のうちの前記第１の１次元方向に直交する第２の１次元方向に隣接する２つの前記画素の前記画素値の重み付け加算により演算されるとして第２の方程式を生成し、生成した前記第２の方程式を演算することにより、前記第２の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する重みを検出し、
   前記画素値演算手段は、前記第１の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する前記重み、および、前記第２の１次元方向に前記注目画素と隣接する２つの前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素における前記４倍密画素の前記画素値を演算する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記重み検出手段は、
   前記注目画素の前記画素値は、前記２次元方向のうちの第１の１次元方向に２分割され、かつ、前記第１の１次元方向に直交する第２の１次元方向に２分割される４つの画素成分により構成されるとして、前記第１の１次元方向に対する前記画素成分のそれぞれの値の重み付け加算により前記注目画素の前記画素値が演算されるとして第１の方程式を生成するとともに、前記第２の１次元方向に対する前記画素成分のそれぞれの前記値の重み付け加算により前記注目画素の前記画素値が演算されるとして第２の方程式を生成し、
   前記画素成分のそれぞれの前記値は、前記画素成分の位置と対応する位置に属する複数の前記画素の前記画素値の平均値であるとして、前記画素成分のそれぞれの前記値を前記値を前記第１および前記第２の方程式のそれぞれに代入して演算することにより、前記第１の１次元方向、および、前記第２の１次元方向のそれぞれに対応する重みを検出し、
   前記画素値演算手段は、前記第１の１次元方向、および、前記第２の１次元方向のそれぞれに対応する前記重みに応じて、前記注目画素における前記４倍密画素の前記画素値を演算する
   ことを特徴とする請求項１に記載の画像処理装置。
5. それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される前記画素を注目画素として、前記注目画素の前記画素値を検出する画素値検出ステップと、
   前記検出ステップの処理により検出された前記注目画素の前記画素値は、前記２次元方向に隣接する複数の前記画素の前記画素値により演算されるとして方程式を生成し、生成した前記方程式を演算することにより、前記注目画素に隣接する複数の前記画素の前記画素値のそれぞれに対する重みを検出する重み検出ステップと、
   前記重み検出ステップの処理により検出された、前記２次元方向に前記注目画素と隣接する複数の前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素が前記２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップと
   を含むことを特徴とする画像処理方法。
6. それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される前記画素を注目画素として、前記注目画素の前記画素値を検出する画素値検出ステップと、
   前記検出ステップの処理により検出された前記注目画素の前記画素値は、前記２次元方向に隣接する複数の前記画素の前記画素値により演算されるとして方程式を生成し、生成した前記方程式を演算することにより、前記注目画素に隣接する複数の前記画素の前記画素値のそれぞれに対する重みを検出する重み検出ステップと、
   前記重み検出ステップの処理により検出された、前記２次元方向に前記注目画素と隣接する複数の前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素が前記２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップと
   を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
7. それぞれ空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、空間方向のうち所定の２次元方向に４倍密化される前記画素を注目画素として、前記注目画素の前記画素値を検出する画素値検出ステップと、
   前記検出ステップの処理により検出された前記注目画素の前記画素値は、前記２次元方向に隣接する複数の前記画素の前記画素値により演算されるとして方程式を生成し、生成した前記方程式を演算することにより、前記注目画素に隣接する複数の前記画素の前記画素値のそれぞれに対する重みを検出する重み検出ステップと、
   前記重み検出ステップの処理により検出された、前記２次元方向に前記注目画素と隣接する複数の前記画素の前記画素値のそれぞれに対する前記重みに応じて、前記注目画素が前記２次元方向に４倍密化される４倍密画素の画素値を演算する画素値演算ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images