JP2004264941A - Image processor and processing method, storage medium, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To perform a signal processing, considering an influence by OLPF. <P>SOLUTION: An image to be inputted to a signal processor is adapted so that light is dispersively incident, in imaging, on an imaging element so as to correspond to the pixel pitch of the imaging element by an OLPF (optical low pass filter) included in an optical block. An OLPF removal part 5131 removes the influence by the OLPF by use of a coefficient acquired from data of the image taken by the imaging element by learning, and outputs the result to a data steadiness detection part 101 and a real world estimation part 102 of the latter stage. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【００８９】
式（１）において、ｘ_１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ_２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、ｙ_１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ_２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【００９０】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００９１】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００９２】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００９３】
このように、実世界１の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界１の画像の定常性の一部が欠落し、実世界１の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界１の画像の定常性から変化してしまった定常性が含まれることがある。
【００９４】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００９５】
図１０は、画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。図１０のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。図１０において、Ｌは、画素Ｄ乃至画素Ｆに対応する検出素子の受光面の空間方向Ｘの長さを示す。
【００９６】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、画素Ｅの画素値Ｐは、式（２）で表される。
【００９７】
【数２】

【００９８】
式（２）において、ｘ_１は、画素Ｅに対応する検出素子の受光面の左側の境界の空間方向Ｘの空間座標である。ｘ_２は、画素Ｅに対応する検出素子の受光面の右側の境界の空間方向Ｘの空間座標である。
【００９９】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【０１００】
図１１は、時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図１１のＦ（ｔ）は、時刻ｔを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。ｔ_ｓは、シャッタ時間を示す。
【０１０１】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０１０２】
なお、図１１で示される例において、シャッタ時間ｔ_ｓとフレーム間隔とが同一である。
【０１０３】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（３）で表される。
【０１０４】
【数３】

【０１０５】
式（３）において、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【０１０６】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【０１０７】
次に、積分効果を有するイメージセンサにより取得されたデータ３に含まれるデータの定常性の例について説明する。
【０１０８】
図１２は、実世界１の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図１２において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１０９】
実世界１の線状の物の画像には、所定の定常性が含まれる。すなわち、図１２で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１１０】
図１３は、図１２で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【０１１１】
図１４は、図１３に示す画像データの模式図である。
【０１１２】
図１４で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１４で示される画像データが取得されたときにイメージセンサに入射された画像は、図１２の実世界１の線状の物の画像である。
【０１１３】
図１４において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１４における画素値を示す方向は、図１２におけるレベルの方向に対応し、図１４における空間方向Ｘ、および空間方向Ｙは、図１２における方向と同じである。
【０１１４】
各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。１つの円弧形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１４における１つの円弧形状は、縦に１列の画素の上に形成される。
【０１１５】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界１の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Ｙにおける断面形状が同じであるという定常性が失われている。また、実世界１の線状の物の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１１６】
図１５は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像、すなわち光の強度の分布の例を示す図である。図１５において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１１７】
背景とは異なる色の、直線状の縁を有する物の実世界１の画像には、所定の定常性が含まれる。すなわち、図１５で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１１８】
図１６は、図１５で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図１６で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【０１１９】
図１７は、図１６に示す画像データの模式図である。
【０１２０】
図１７で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１７で示される画像データが取得されたときにイメージセンサに入射された画像は、図１５で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像である。
【０１２１】
図１７において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１７における画素値を示す方向は、図１５におけるレベルの方向に対応し、図１７における空間方向Ｘ、および空間方向Ｙは、図１５における方向と同じである。
【０１２２】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（ｐａｗｌ）形状で表される。各つめ形状は、ほぼ同じ形状である。１つのつめ形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１７において、１つのつめ形状は、縦に１列の画素の上に形成される。
【０１２３】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１２４】
データ定常性検出部１０１は、このような、例えば、入力画像であるデータ３が有するデータの定常性を検出する。例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部１０１は、図１４で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部１０１は、図１７で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。
【０１２５】
また、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０１２６】
また、例えば、データ定常性検出部１０１は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。
【０１２７】
さらに、例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。
【０１２８】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像がセンサ２により射影されたデータ３の部分を２値エッジとも称する。
【０１２９】
次に、本発明の原理をさらに具体的に説明する。
【０１３０】
図１８で示されるように、従来の信号処理においては、データ３から、例えば、所望の高解像度データ１８１が生成される。
【０１３１】
これに対して、本発明に係る信号処理においては、データ３から、実世界１が推定され、推定の結果に基づいて、高解像度データ１８１が生成される。すなわち、図１９で示されるように、実世界１が、データ３から推定され、高解像度データ１８１が、データ３を考慮して、推定された実世界１から高解像度データ１８１が生成される。
【０１３２】
実世界１から高解像度データ１８１を生成するためには、実世界１とデータ３との関係を考慮する必要がある。例えば、実世界１が、ＣＣＤであるセンサ２により、データ３に射影されるとどうなるかが考慮される。
【０１３３】
ＣＣＤであるセンサ２は、上述したように、積分特性を有する。すなわち、データ３の１つの単位（例えば、画素値）は、実世界１の信号をセンサ２の検出素子（例えば、ＣＣＤ）の検出領域（例えば、受光面）で積分することにより算出することができる。
【０１３４】
これを高解像度データ１８１について当てはめると、仮想的な高解像度のセンサが実世界１の信号をデータ３に射影する処理を、推定された実世界１に適用することにより、高解像度データ１８１を得ることができる。
【０１３５】
換言すれば、図２０で示されるように、データ３から実世界１の信号を推定できれば、実世界１の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データ１８１に含まれる１つの値を得ることができる。
【０１３６】
例えば、センサ２の検出素子の検出領域の大きさに比較して、実世界１の信号の変化が、より小さいとき、データ３は、実世界１の信号の小さい変化を表すことができない。そこで、データ３から推定された実世界１の信号を、実世界１の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界１の信号の小さい変化を示す高解像度データ１８１を得ることができる。
【０１３７】
すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界１の信号を検出領域で積分することにより、高解像度データ１８１を得ることができる。
【０１３８】
本発明において、画像生成部１０３は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界１の信号を積分することにより、高解像度データ１８１を生成する。
【０１３９】
次に、データ３から、実世界１を推定するために、本発明においては、データ３と実世界１との関係、定常性、およびデータ３における空間混合が利用される。
【０１４０】
ここで、混合とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となることをいう。
【０１４１】
空間混合とは、センサ２の空間積分効果による、２つの物体に対する信号の空間方向の混合をいう。
【０１４２】
実世界１そのものは、無限の数の事象からなり、従って、実世界１そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ３から、実世界１の全ての事象を予測することはできない。
【０１４３】
同様に、データ３から、実世界１の信号の全てを予測することはできない。
【０１４４】
そこで、図２１で示されるように、本発明においては、実世界１の信号のうち、定常性を有し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる部分に注目し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる、定常性を有する実世界１の信号の部分が、Ｎ個の変数で表現されるモデル１６１で近似される。そして、図２２で示されるように、モデル１６１が、データ３の中の、Ｍ個のデータ１６２から予測される。
【０１４５】
Ｍ個のデータ１６２からモデル１６１の予測を可能にするには、第１に、モデル１６１を、定常性に基づいて、Ｎ個の変数で表し、第２に、センサ２の積分特性に基づいて、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てることが必要である。モデル１６１が、定常性に基づいて、Ｎ個の変数で表されているので、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式は、定常性を有する実世界１の信号の部分と、データの定常性を有するデータ３の部分との関係を記述しているとも言える。
【０１４６】
換言すれば、Ｎ個の変数で表現されるモデル１６１で近似される、定常性を有する実世界１の信号の部分は、データ３において、データの定常性を生じさせる。
【０１４７】
データ定常性検出部１０１は、定常性を有する実世界１の信号の部分によって、データの定常性が生じたデータ３の部分、およびデータの定常性が生じた部分の特徴を検出する。
【０１４８】
例えば、図２３で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像において、図２３中Ａで示す、注目する位置における縁は、傾きを有している。図２３のＢの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの長さおよび空間方向Ｙの長さで示される方向で表すことができる。
【０１４９】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が、センサ２で取得されて、データ３が出力されたとき、データ３において、実世界１の画像における、縁の注目する位置（Ａ）に対する、図２３中Ａ’で示す位置に、縁に対応するつめ形状が並び、実世界１の画像の縁の傾きに対応する、図２３中Ｂ’で示す傾きの方向に、縁に対応するつめ形状が並ぶ。
【０１５０】
Ｎ個の変数で表現されるモデル１６１は、このような、データ３において、データの定常性を生じさせる、実世界の１の信号の部分を近似する。
【０１５１】
Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てるとき、データ３において、データの定常性が生じている部分の値を利用する。
【０１５２】
この場合において、図２４で示される、データ３において、データの定常性が生じ、混合領域に属する値に注目して、実世界１の信号を積分した値が、センサ２の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ３における複数の値について、複数の式を立てることができる。
【０１５３】
図２４において、Ａは、縁の注目する位置を示し、Ａ’は、実世界１の画像における、縁の注目する位置（Ａ）に対する、画素（の位置）を示す。
【０１５４】
ここで、混合領域とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像に対するデータ３において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。
【０１５５】
図２５は、式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【０１５６】
図２５中の左側は、センサ２の１つの検出素子の検出領域で取得される、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号を示す。図２５中の右側は、図２５中の左側に示す実世界１の信号がセンサ２の１つの検出素子によって射影された、データ３の１つの画素の画素値Ｐを示す。すなわち、センサ２の１つの検出素子によって取得された、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号が射影された、データ３の１つの画素の画素値Ｐを示す。
【０１５７】
図２５のＬは、実世界１における１つの物体に対する、図２５の白い部分の実世界１の信号のレベルを示す。図２５のＲは、実世界１における他の１つの物体に対する、図２５の斜線で表される部分の実世界１の信号のレベルを示す。
【０１５８】
ここで、混合比αは、センサ２の１つの検出素子の、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する検出領域に入射された、２つの物体に対する信号（の面積）の割合を示す。例えば、混合比αは、センサ２の１つの検出素子の検出領域の面積に対する、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、センサ２の１つの検出素子の検出領域に入射された、レベルＬの信号の面積の割合を示す。
【０１５９】
この場合において、レベルＬ、レベルＲ、および画素値Ｐの関係は、式（４）で表すことができる。
【０１６０】
α×Ｌ＋（１−α）×Ｒ＝Ｐ ・・・（４）
【０１６１】
なお、レベルＲは、注目している画素の右側に位置している、データ３の画素の画素値とすることができる場合があり、レベルＬは、注目している画素の左側に位置している、データ３の画素値とすることができる場合がある。
【０１６２】
また、混合比αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ２に対して撮像の対象となる実世界１の物体が移動しているとき、時間方向に、センサ２の１つの検出素子の検出領域に入射される、２つの物体に対する信号の割合は変化する。センサ２の１つの検出素子の検出領域に入射された、時間方向に割合が変化する、２つの物体に対する信号は、センサ２の検出素子によって、データ３の１つの値に射影される。
【０１６３】
センサ２の時間積分効果による、２つの物体に対する信号の時間方向の混合を時間混合と称する。
【０１６４】
データ定常性検出部１０１は、例えば、実世界１における２つの物体に対する実世界１の信号が射影された、データ３における画素の領域を検出する。データ定常性検出部１０１は、例えば、実世界１の画像の縁の傾きに対応する、データ３における傾きを検出する。
【０１６５】
そして、実世界推定部１０２は、例えば、データ定常性検出部１０１で検出された、所定の混合比αを有する画素の領域、および領域の傾きを基に、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てて、立てた式を解くことにより、実世界１の信号を推定する。
【０１６６】
さらに、具体的な実世界１の推定について説明する。
【０１６７】
関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表される実世界の信号のうち、空間方向Ｚの断面（センサ２の位置）における関数Ｆ（ｘ，ｙ，ｔ）で表される実世界の信号を、空間方向Ｘにおける位置ｘ、空間方向Ｙにおける位置ｙ、および時刻ｔで決まる近似関数ｆ（ｘ，ｙ，ｔ）で近似することを考える。
【０１６８】
ここで、センサ２の検出領域は、空間方向Ｘおよび空間方向Ｙに広がりを有する。換言すれば、近似関数ｆ（ｘ，ｙ，ｔ）は、センサ２で取得される、空間方向および時間方向に広がりを有する実世界１の信号を近似する関数である。
【０１６９】
センサ２による実世界１の信号の射影によって、データ３の値Ｐ（ｘ，ｙ，ｔ）が得られるものとする。データ３の値Ｐ（ｘ，ｙ，ｔ）は、例えば、イメージセンサであるセンサ２が出力する、画素値である。
【０１７０】
ここで、センサ２による射影を定式化できる場合、近似関数ｆ（ｘ，ｙ，ｔ）を射影して得られた値を射影関数Ｓ（ｘ，ｙ，ｔ）と表すことができる。
【０１７１】
射影関数Ｓ（ｘ，ｙ，ｔ）を求める上で、以下に示す問題がある。
【０１７２】
第１に、一般的に、実世界１の信号を表す関数Ｆ（ｘ，ｙ，ｚ，ｔ）は、無限の次数の関数となりうる。
【０１７３】
第２に、たとえ、実世界の信号を関数として記述できたとしても、センサ２の射影を介した、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることは、一般的にはできない。すなわち、センサ２による射影の動作、言い換えればセンサ２の入力信号と出力信号との関係を知らないので、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることはできない。
【０１７４】
第１の問題点に対して、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を記述可能な関数（例えば、有限次数の関数）である関数ｆ_ｉ（ｘ，ｙ，ｔ）および変数ｗ_ｉの積和で表現することを考える。
【０１７５】
また、第２の問題点に対して、センサ２による射影を定式化することで、関数ｆ_ｉ（ｘ，ｙ，ｔ）の記述から、関数Ｓ_ｉ（ｘ，ｙ，ｔ）を記述することができる。
【０１７６】
すなわち、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を関数ｆ_ｉ（ｘ，ｙ，ｔ）および変数ｗ_ｉの積和で表現すると、式（５）が得られる。
【０１７７】
【数４】

【０１７８】
例えば、式（６）で示されるように、センサ２の射影を定式化することにより、式（５）から、データ３と実世界の信号の関係を式（７）のように定式化することができる。
【０１７９】
【数５】

【０１８０】
【数６】

式（７）において、ｊは、データのインデックスである。
【０１８１】
式（７）のＮ個の変数ｗ_ｉ（ｉ＝１乃至Ｎ）が共通であるＭ個のデータ群（ｊ＝１乃至Ｍ）が存在すれば、式（８）を満たすので、データ３から実世界のモデル１６１を求めることができる。
【０１８２】
Ｎ≦Ｍ ・・・（８）
Ｎは、実世界１を近似するモデル１６１を表現する変数の数である。Ｍは、データ３に含まれるデータ１６２の数である。
【０１８３】
実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を式（５）で表すことにより、ｗ_ｉとして変数の部分を独立させることができる。このとき、ｉは、そのまま変数の数を示すことになる。また、ｆ_ｉで示される関数の形を独立させることができ、ｆ_ｉとして所望の関数を利用することができるようになる。
【０１８４】
従って、関数ｆ_ｉの形に依存せず、変数ｗ_ｉの数Ｎを定義でき、変数ｗ_ｉの数Ｎとデータの数Ｍとの関係で変数ｗ_ｉを求めることができる。
【０１８５】
すなわち、以下の３つを用いることで、データ３から実世界１を推定することができるようになる。
【０１８６】
第１に、Ｎ個の変数を定める、すなわち、式（５）を定める。これは、定常性を用いて実世界１を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル１６１で実世界１の信号を記述することができる。
【０１８７】
第２に、例えば、センサ２による射影を定式化して、式（７）を記述する。例えば、実世界２の信号の積分を行った結果がデータ３であると定式化する。
【０１８８】
第３に、Ｍ個のデータ１６２を集めて、式（８）を満足させる。例えば、データ定常性検出部１０１で検出された、データの定常性を有する領域から、データ１６２が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ１６２が集められる。
【０１８９】
このように、式（５）によって、データ３と実世界１との関係を記述し、Ｍ個のデータ１６２を集めることで、式（８）を満たすことにより、実世界１を推定することができる。
【０１９０】
より具体的には、Ｎ＝Ｍのとき、変数の数Ｎと式の数Ｍが等しいので、連立方程式を立てることにより、変数ｗ_ｉを求めることができる。
【０１９１】
また、Ｎ＜Ｍのとき、様々な解法を適用できる。例えば、最小自乗法により、変数ｗ_ｉを求めることができる。
【０１９２】
ここで、最小自乗法による解法について、詳細に記載する。
【０１９３】
まず、式（７）に従って、実世界１からデータ３を予測する式（９）を示す。
【０１９４】
【数７】

【０１９５】
式（９）において、Ｐ’_ｊ（ｘ_ｊ，ｙ_ｊ，ｔ_ｊ）は、予測値である。
【０１９６】
予測値Ｐ’と実測値Ｐとの差分自乗和Ｅは、式（１０）で表される。
【０１９７】
【数８】

【０１９８】
差分自乗和Ｅが最小になるように、変数ｗ_ｉが求められる。従って、各変数ｗ_ｋによる式（１０）の偏微分値は０とされる。すなわち、式（１１）が成り立つ。
【０１９９】
【数９】

【０２００】
式（１１）から式（１２）が導かれる。
【０２０１】
【数１０】

【０２０２】
式（１２）がＫ＝１乃至Ｎで成り立つとき、最小自乗法による解が得られる。このときの正規方程式は、式（１３）で示される。
【０２０３】
【数１１】

ただし、式（１３）において、Ｓ_ｉ（ｘ_ｊ，ｙ_ｊ，ｔ_ｊ）は、Ｓ_ｉ（ｊ）と記述した。
【０２０４】
【数１２】

【０２０５】
【数１３】

【０２０６】
【数１４】

【０２０７】
式（１４）乃至式（１６）から、式（１３）は、Ｓ_ＭＡＴＷ_ＭＡＴ＝Ｐ_ＭＡＴと表すことができる。
【０２０８】
式（１３）において、Ｓ_ｉは、実世界１の射影を表す。式（１３）において、Ｐ_ｊは、データ３を表す。式（１３）において、ｗ_ｉは、実世界１の信号の特徴を記述し、求めようとする変数である。
【０２０９】
従って、式（１３）にデータ３を入力し、行列解法などによりＷ_ＭＡＴを求めることで、実世界１を推定することが可能になる。すなわち、式（１７）を演算することにより、実世界１を推定することができるようになる。
【０２１０】

【０２１１】
なお、Ｓ_ＭＡＴが正則でない場合、Ｓ_ＭＡＴの転置行列を利用して、Ｗ_ＭＡＴを求めることができる。
【０２１２】
実世界推定部１０２は、例えば、式（１３）にデータ３を入力し、行列解法などによりＷ_ＭＡＴを求めることで、実世界１を推定する。
【０２１３】
ここで、さらにより具体的な例を説明する。例えば、実世界１の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界１の信号の断面形状が一定で、実世界１の信号の断面が等速で移動すると仮定する。そして、センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化する。
【０２１４】
実世界１の信号の断面形状が、等速で移動するとの仮定から、式（１８）および式（１９）が得られる。
【０２１５】
【数１５】

【０２１６】
【数１６】

ここで、ｖ_ｘおよびｖ_ｙは、一定である。
【０２１７】
実世界１の信号の断面形状は、式（１８）および式（１９）を用いることで、式（２０）と表される。
【０２１８】
ｆ（ｘ’，ｙ’）＝ｆ（ｘ＋ｖ_ｘｔ，ｙ＋ｖ_ｙｔ） ・・・（２０）
【０２１９】
センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化すれば、式（２１）が得られる。
【０２２０】
【数１７】

【０２２１】
式（２１）において、Ｓ（ｘ，ｙ，ｔ）は、空間方向Ｘについて、位置ｘ_ｓから位置ｘ_ｅまで、空間方向Ｙについて、位置ｙ_ｓから位置ｙ_ｅまで、時間方向ｔについて、時刻ｔ_ｓから時刻ｔ_ｅまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。
【０２２２】
式（２１）を定めることができる所望の関数ｆ（ｘ’，ｙ’）を用いて、式（１３）を解けば、実世界１の信号を推定することができる。
【０２２３】
以下では、関数ｆ（ｘ’，ｙ’）の一例として、式（２２）に示す関数を用いることとする。
【０２２４】

【０２２５】
すなわち、実世界１の信号が、式（１８）、式（１９）、および式（２２）で表される定常性を含むと仮定している。これは、図２６で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。
【０２２６】
式（２１）に、式（２２）を代入することにより、式（２３）が得られる。
【０２２７】
【数１８】

ただし、
Ｖｏｌｕｍｅ＝（ｘ_ｅ−ｘ_ｓ）（ｙ_ｅ−ｙ_ｓ）（ｔ_ｅ−ｔ_ｓ）
Ｓ_０（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｘ_ｅ＋ｘ_ｓ＋ｖ_ｘ（ｔ_ｅ＋ｔ_ｓ））
Ｓ_１（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｙ_ｅ＋ｙ_ｓ＋ｖ_ｙ（ｔ_ｅ＋ｔ_ｓ））
Ｓ_２（ｘ，ｙ，ｔ）＝１
である。
【０２２８】
図２７は、データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。例えば、２７個の画素値が、データ１６２として抽出され、抽出された画素値が、Ｐ_ｊ（ｘ，ｙ，ｔ）とされる。この場合、ｊは、０乃至２６である。
【０２２９】
図２７に示す例において、ｎである時刻ｔの注目する位置に対応する画素の画素値がＰ_１３（ｘ，ｙ，ｔ）であり、データの定常性を有する画素の画素値の並ぶ方向（例えば、データ定常性検出部１０１で検出された、同じ形状であるつめ形状が並ぶ方向）が、Ｐ_４（ｘ，ｙ，ｔ）、Ｐ_１３（ｘ，ｙ，ｔ）、およびＰ_２２（ｘ，ｙ，ｔ）を結ぶ方向であるとき、ｎである時刻ｔにおける、画素値Ｐ_９（ｘ，ｙ，ｔ）乃至Ｐ_１７（ｘ，ｙ，ｔ）、ｎより時間的に前である、ｎ−１である時刻ｔにおける、画素値Ｐ_０（ｘ，ｙ，ｔ）乃至Ｐ_８（ｘ，ｙ，ｔ）、およびｎより時間的に後である、ｎ＋１である時刻ｔにおける、画素値Ｐ_１８（ｘ，ｙ，ｔ）乃至Ｐ_２６（ｘ，ｙ，ｔ）が抽出される。
【０２３０】
ここで、センサ２であるイメージセンサから出力された、データ３である画素値が取得された領域は、図２８で示されるように、時間方向および２次元の空間方向に広がりを有する。そこで、例えば、図２９で示されるように、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。図２９中の丸は、重心を示す。
【０２３１】
２７個の画素値Ｐ_０（ｘ，ｙ，ｔ）乃至Ｐ_２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１を推定することが可能になる。
【０２３２】
このように、実世界推定部１０２は、例えば、２７個の画素値Ｐ_０（ｘ，ｙ，ｔ）乃至Ｐ_２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１の信号を推定する。
【０２３３】
なお、関数ｆ_ｉ（ｘ，ｙ，ｔ）として、ガウス関数、またはシグモイド関数などを利用することができる。
【０２３４】
図３０乃至図３４を参照して、推定された実世界１の信号から、データ３に対応する、より高解像度の高解像度データ１８１を生成する処理の例について説明する。
【０２３５】
図３０で示されるように、データ３は、時間方向および２次元の空間方向に実世界１の信号が積分された値を有する。例えば、センサ２であるイメージセンサから出力された、データ３である画素値は、検出素子に入射された光である、実世界１の信号が、時間方向に、検出時間であるシャッタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。
【０２３６】
これに対して、図３１で示されるように、空間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、時間方向に、データ３を出力したセンサ２の検出時間と同じ時間で積分するとともに、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。
【０２３７】
なお、空間方向により解像度の高い高解像度データ１８１を生成する場合において、推定された実世界１の信号が積分される領域は、データ３を出力したセンサ２の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データ１８１に、データ３に対して、空間方向に整数倍の解像度を持たせることは勿論、５／３倍など、データ３に対して、空間方向に有理数倍の解像度を持たせることができる。
【０２３８】
また、図３２で示されるように、時間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２３９】
なお、時間方向により解像度の高い高解像度データ１８１を生成する場合において、推定された実世界１の信号が積分される時間は、データ３を出力したセンサ２の検出素子のシャッタ時間と全く無関係に設定することができる。例えば、高解像度データ１８１に、データ３に対して、時間方向に整数倍の解像度を持たせることは勿論、７／４倍など、データ３に対して、時間方向に有理数倍の解像度を持たせることができる。
【０２４０】
図３３で示されるように、動きボケを除去した高解像度データ１８１は、推定された実世界１の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。
【０２４１】
さらに、図３４で示されるように、時間方向および空間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２４２】
この場合において、推定された実世界１の信号が積分される領域および時間は、データ３を出力したセンサ２の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。
【０２４３】
このように、画像生成部１０３は、例えば、推定された実世界１の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。
【０２４４】
以上のように、実世界１の信号を推定することにより、実世界１の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。
【０２４５】
図３５乃至図３９を参照して、本発明に係る信号処理装置４の、入力画像の例と、処理の結果の例を示す。
【０２４６】
図３５は、入力画像の元の画像を示す図である。図３６は、入力画像の例を示す図である。図３６で示される入力画像は、図３５で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。すなわち、入力画像は、図３５で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。
【０２４７】
図３５で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図３６で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【０２４８】
図３７は、図３６で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【０２４９】
図３７で示される画像において、細線の画像が、図３５の元の画像とは異なるものになっていることがわかる。
【０２５０】
図３８は、データ定常性検出部１０１による、図３６の例で示される入力画像から細線の領域を検出した結果を示す図である。図３８において、白い領域は、細線の領域、すなわち、図１４で示される円弧形状が並んでいる領域を示す。
【０２５１】
図３９は、図３６で示される画像を入力画像として、本発明に係る信号処理装置４から出力された出力画像の例を示す図である。図３９で示されるように、本発明に係る信号処理装置４によれば、図３５で示される元の画像の細線の画像により近い画像を得ることができる。
【０２５２】
図４０は、本発明に係る信号処理装置４による、信号の処理を説明するフローチャートである。
【０２５３】
ステップＳ１０１において、データ定常性検出部１０１は、定常性の検出の処理を実行する。データ定常性検出部１０１は、データ３である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。
【０２５４】
データ定常性検出部１０１は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップＳ１０１の処理において、データ定常性検出部１０１により検出されるデータの定常性は、データ３に含まれる、実世界１の画像の定常性の一部であるか、または、実世界１の信号の定常性から変化してしまった定常性である。
【０２５５】
例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０２５６】
ステップＳ１０１における、定常性の検出の処理の詳細は、後述する。
【０２５７】
なお、データ定常性情報は、データ３の特徴を示す特徴量として利用することができる。
【０２５８】
ステップＳ１０２において、実世界推定部１０２は、実世界の推定の処理を実行する。すなわち、実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。例えば、ステップＳ１０２の処理において、実世界推定部１０２は、実世界１を近似（記述）するモデル１６１を予測することにより、実世界１の信号を推定する。実世界推定部１０２は、推定された実世界１の信号を示す実世界推定情報を画像生成部１０３に供給する。
【０２５９】
例えば、実世界推定部１０２は、線状の物の幅を予測することにより、実世界１の信号を推定する。また、例えば、実世界推定部１０２は、線状の物の色を示すレベルを予測することにより、実世界１の信号を推定する。
【０２６０】
ステップＳ１０２における、実世界の推定の処理の詳細は、後述する。
【０２６１】
なお、実世界推定情報は、データ３の特徴を示す特徴量として利用することができる。
【０２６２】
ステップＳ１０３において、画像生成部１０３は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部１０３は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。
【０２６３】
例えば、ステップＳ１０３の処理において、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップＳ１０３における、画像の生成の処理の詳細は、後述する。
【０２６４】
このように、本発明に係る信号処理装置４は、データ３からデータの定常性を検出し、検出したデータの定常性を基に、実世界１を推定する。そして、信号処理装置４は、推定された実世界１を基に、より実世界１に近似した信号を生成する。
【０２６５】
以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。
【０２６６】
また、第１の次元を有する現実世界の信号である第１の信号が射影され、現実世界の信号の定常性の一部が欠落した第１の次元よりも少ない第２の次元の第２の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第１の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０２６７】
次に、データ定常性検出部１０１の構成の詳細について説明する。
【０２６８】
図４１は、データ定常性検出部１０１の構成を示すブロック図である。
【０２６９】
図４１に構成を示すデータ定常性検出部１０１は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。すなわち、図４１に構成を示すデータ定常性検出部１０１は、細線である実世界１の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。
【０２７０】
より具体的には、図４１に構成を示すデータ定常性検出部１０１は、細線の画像を空間積分効果を有するセンサ２で撮像して得られたデータ３に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。
【０２７１】
データ定常性検出部１０１は、データ３である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界１の細線の画像が射影された画素を検出し、入力画像における、実世界１の細線の画像が射影された画素からなる領域を検出する。
【０２７２】
非定常成分抽出部２０１は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。
【０２７３】
例えば、図４２で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界１の画像がデータ３に射影されたとき、図４３で示されるように、非定常成分抽出部２０１は、データ３である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図４３において、実線は、データ３の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図４３において、Ａは、細線の画像が射影された画素の画素値を示し、ＰＬは、背景を近似する平面を示す。
【０２７４】
このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。
【０２７５】
非定常成分抽出部２０１は、実世界１の光信号である画像が射影され、実世界１の画像の定常性の一部が欠落した、データ３である画像データの複数の画素の画素値の不連続部を検出する。
【０２７６】
非定常成分抽出部２０１における非定常成分の抽出の処理の詳細は、後述する。
【０２７７】
頂点検出部２０２および単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を０に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素の画素値から、平面ＰＬで近似される値を引き算することにより、入力画像から非定常成分を除去する。
【０２７８】
入力画像から背景を除去することができるので、頂点検出部２０２乃至連続性検出部２０４は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０２７９】
なお、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像データを頂点検出部２０２および単調増減検出部２０３に供給するようにしてもよい。
【０２８０】
以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。
【０２８１】
ここで、頂点検出部２０２乃至連続性検出部２０４が検出しようとする、細線の画像が射影された画像データについて説明する。
【０２８２】
図４２で示される細線の画像が射影された画像データの空間方向Ｙの断面形状（空間方向の位置の変化に対する画素値の変化）は、光学ＬＰＦがないとした場合、センサ２であるイメージセンサの空間積分効果から、図４４に示す台形、または図４５に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学ＬＰＦを備え、イメージセンサは、光学ＬＰＦを通過した画像を取得し、取得した画像をデータ３に射影するので、現実には、細線の画像データの空間方向Ｙの断面形状は、図４６に示すようなガウス分布に類似した形状となる。
【０２８３】
頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、縦に１列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０２８４】
また、頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、横に１列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０２８５】
まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。
【０２８６】
頂点検出部２０２は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。画面の上下方向に１列に並ぶ画素を対象とした場合、頂点検出部２０２は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部２０２は、１つの画像、例えば、１つのフレームの画像から、１または複数の頂点を検出する。
【０２８７】
１つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。
【０２８８】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０２８９】
頂点検出部２０２が、頂点を検出しない場合もある。例えば、１つの画像の画素の画素値が全て同じ値であるとき、または、１若しくは２の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。
【０２９０】
単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点検出部２０２で検出された頂点に対して上下方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部２０４に供給する。
【０２９１】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。
【０２９２】
また、単調増減検出部２０３は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。
【０２９３】
以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。
【０２９４】
例えば、単調増減検出部２０３は、頂点に対して縦に１列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０２９５】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０２９６】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０２９７】
このように、単調増減検出部２０３は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０２９８】
図４７は、空間方向Ｙの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。
【０２９９】
図４７乃至図４９において、Ｐは、頂点を示す。図４１で構成が示されるデータ定常性検出部１０１の説明において、Ｐは、頂点を示す。
【０３００】
頂点検出部２０２は、各画素の画素値と、これに空間方向Ｙに隣接する画素の画素値とを比較して、空間方向Ｙに隣接する２つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点Ｐを検出する。
【０３０１】
頂点Ｐと、頂点Ｐの空間方向Ｙの両側の画素とからなる領域は、頂点Ｐの画素値に対して、空間方向Ｙの両側の画素の画素値が単調に減少する単調減少領域である。図４７において、Ａで示す矢印、およびＢで示す矢印は、頂点Ｐの両側に存在する単調減少領域を示す。
【０３０２】
単調増減検出部２０３は、各画素の画素値と、その画素に空間方向Ｙに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。
【０３０３】
図４７において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＣで示される。
【０３０４】
さらに、単調増減検出部２０３は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向Ｙに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を細線領域の境界とする。
【０３０５】
図４７において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＤで示される。
【０３０６】
図４７で示されるように、細線の画像が射影された画素からなる細線領域Ｆは、細線領域の境界Ｃと、細線領域の境界Ｄとに挟まれる領域とされる。
【０３０７】
単調増減検出部２０３は、このような単調増減領域からなる細線領域Ｆの中から、予め定めた閾値より長い細線領域Ｆ、すなわち、閾値より多い数の画素を含む細線領域Ｆを求める。例えば、閾値が３であるとき、単調増減検出部２０３は、４つ以上の画素を含む細線領域Ｆを検出する。
【０３０８】
さらに、このように検出された細線領域Ｆの中から、単調増減検出部２０３は、頂点Ｐの画素値、および頂点Ｐの右側の画素の画素値、および頂点Ｐの左側の画素の画素値を、それぞれ閾値と比較し、頂点Ｐの画素値が閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下である頂点Ｐが属する細線領域Ｆを検出し、検出された細線領域Ｆを細線の画像の成分を含む画素からなる領域の候補とする。
【０３０９】
言い換えれば、頂点Ｐの画素値が閾値以下であるか、頂点Ｐの右側の画素の画素値が閾値を超えるか、または頂点Ｐの左側の画素の画素値が閾値を超える頂点Ｐが属する細線領域Ｆは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３１０】
すなわち、図４８で示されるように、単調増減検出部２０３は、頂点Ｐの画素値を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘ（点線ＡＡ’で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点Ｐの画素値が閾値を超え、空間方向Ｘに隣接する画素の画素値が閾値以下である、頂点Ｐが属する細線領域Ｆを検出する。
【０３１１】
図４９は、図４８の点線ＡＡ’で示す空間方向Ｘに並ぶ画素の画素値を表す図である。頂点Ｐの画素値が閾値Ｔｈ_Ｓを超え、頂点Ｐの空間方向Ｘに隣接する画素の画素値が、閾値Ｔｈ_Ｓ以下である、頂点Ｐが属する細線領域Ｆは、細線の成分を含む。
【０３１２】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点Ｐの画素値と背景の画素値との差分を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点Ｐの画素値と背景の画素値との差分が閾値を超え、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点Ｐが属する細線領域Ｆを検出するようにしてもよい。
【０３１３】
単調増減検出部２０３は、頂点Ｐを基準として、画素値が単調減少し、画素値の符号が頂点Ｐと同じである画素からなる領域であって、その頂点Ｐが閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３１４】
画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。
【０３１５】
このように、頂点検出部２０２および単調増減検出部２０３は、細線の画像が射影された画素において、空間方向Ｙの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。
【０３１６】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。
【０３１７】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３１８】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３１９】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３２０】
図５０は、単調増減領域の連続性を検出の処理を説明する図である。
【０３２１】
図５０に示すように、連続性検出部２０４は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆについて、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの細線領域Ｆの間に連続性がないとする。例えば、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ_−１は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ_０の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ_０と連続しているとされる。画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ_０は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ_１の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ_１と連続しているとされる。
【０３２２】
このように、頂点検出部２０２乃至連続性検出部２０４により、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。
【０３２３】
頂点検出部２０２乃至連続性検出部２０４は、上述したように、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。
【０３２４】
なお、処理の順序は、本発明を限定するものではなく、並列に実行するようにしても良いことは当然である。
【０３２５】
すなわち、頂点検出部２０２は、画面の左右方向に１列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。頂点検出部２０２は、１つの画像、例えば、１フレームの画像から、１または複数の頂点を検出する。
【０３２６】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３２７】
頂点検出部２０２が、頂点を検出しない場合もある。
【０３２８】
単調増減検出部２０３は、頂点検出部２０２で検出された頂点に対して左右方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３２９】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３３０】
例えば、単調増減検出部２０３は、頂点に対して横に１列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３３１】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３３２】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３３３】
このように、単調増減検出部２０３は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３３４】
単調増減検出部２０３は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。
【０３３５】
さらに、このように検出された細線領域の中から、単調増減検出部２０３は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。
【０３３６】
言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３３７】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。
【０３３８】
単調増減検出部２０３は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３３９】
画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ１列の画素であって、細線の画像が射影されたものからなる領域を含む。
【０３４０】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。
【０３４１】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３４２】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３４３】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３４４】
図５１は、平面での近似により定常成分を抽出した画像の例を示す図である。図５２は、図５１に示す画像から頂点を検出し、単調減少している領域を検出した結果を示す図である。図５２において、白で示される部分が、検出された領域である。
【０３４５】
図５３は、図５２に示す画像から、隣接している領域の連続性を検出して、連続性が検出された領域を示す図である。図５３において、白で示される部分が、連続性が検出された領域である。連続性の検出により、領域がさらに特定されていることがわかる。
【０３４６】
図５４は、図５３に示す領域の画素値、すなわち、連続性が検出された領域の画素値を示す図である。
【０３４７】
このように、データ定常性検出部１０１は、入力画像であるデータ３に含まれている定常性を検出することができる。すなわち、データ定常性検出部１０１は、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性を検出することができる。データ定常性検出部１０１は、データ３から、細線である実世界１の画像が射影された画素からなる領域を検出する。
【０３４８】
図５５は、定常性検出部１０１における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。
【０３４９】
定常性検出部１０１は、図５５に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図５５に示すように、画素値がそれぞれＰ０、Ｐ１、Ｐ２である画素が並んでいるとき、定常性検出部１０１は、差分ｄ０＝Ｐ０−Ｐ１および差分ｄ１＝Ｐ１−Ｐ２を計算する。さらに、定常性検出部１０１は、差分ｄ０および差分ｄ１の絶対値を算出する。
【０３５０】
画素値Ｐ０、Ｐ１、およびＰ２に含まれている非定常性成分が同一であるとき、差分ｄ０および差分ｄ１には、細線の成分に対応した値のみが設定されることになる。
【０３５１】
従って、定常性検出部１０１は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その２つの差分の絶対値に対応する画素（２つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。
【０３５２】
定常性検出部１０１においては、このような、簡便な方法で細線を検出することもできる。
【０３５３】
図５６は、定常性検出の処理を説明するフローチャートである。
【０３５４】
ステップＳ２０１において、非定常成分抽出部２０１は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部２０１は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。非定常成分の抽出の処理の詳細は、後述する。
【０３５５】
ステップＳ２０２において、頂点検出部２０２は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０２において、頂点検出部２０２は、頂点を検出する。
【０３５６】
すなわち、頂点検出部２０２は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップＳ２０２において、頂点検出部２０２は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。
【０３５７】
頂点検出部２０２は、検出した頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３５８】
ステップＳ２０３において、単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０３において、単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。
【０３５９】
単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に１列に並ぶ画素の画素値を基に、縦に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３６０】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３６１】
また、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に１列に並ぶ画素の画素値を基に、横に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３６２】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３６３】
ステップＳ２０４において、単調増減検出部２０３は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部２０１は、入力画像の１つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。
【０３６４】
ステップＳ２０４において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０２に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。
【０３６５】
ステップＳ２０４において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップＳ２０５に進み、連続性検出部２０４は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の縦方向に１列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の横方向に１列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。
【０３６６】
連続性検出部２０４は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部２０４から出力されるデータ定常性情報は、実世界１の細線の画像が射影された画素からなる、定常領域である細線領域を示す。
【０３６７】
ステップＳ２０６において、定常性方向検出部２０５は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部２０５は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。
【０３６８】
ステップＳ２０６において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０５に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。
【０３６９】
ステップＳ２０６において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。
【０３７０】
このように、入力画像であるデータ３に含まれている定常性が検出される。すなわち、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性が検出され、データ３から、細線である実世界１の画像が射影された画素からなる、データの定常性を有する領域が検出される。
【０３７１】
なお、図４１で構成が示されるデータ定常性検出部１０１は、データ３のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。
【０３７２】
例えば、図５７に示すように、連続性検出部２０４は、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。
【０３７３】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０３７４】
より具体的には、図５７において、Ｇは、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きベクトルを示し、Ｇ’は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きベクトルＧおよび動きベクトルＧ’は、時間方向のデータの定常性の一例である。
【０３７５】
さらに、図４１で構成が示されるデータ定常性検出部１０１は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。
【０３７６】
図５８は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部２０１の構成を示すブロック図である。
【０３７７】
図５８に構成を示す非定常成分抽出部２０１は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。
【０３７８】
入力画像は、ブロック抽出部２２１に供給されるとともに、そのまま出力される。
【０３７９】
ブロック抽出部２２１は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、７×７の画素からなるブロックを抽出し、平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。
【０３８０】
平面近似部２２２は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部２２２は、式（２４）で表される平面でブロックに含まれる画素の画素値を近似する。
【０３８１】
ｚ＝ａｘ＋ｂｙ＋ｃ ・・・（２４）
【０３８２】
式（２４）において、ｘは、画素の画面上の一方の方向（空間方向Ｘ）の位置を示し、ｙは、画素の画面上の他の一方の方向（空間方向Ｙ）の位置を示す。ｚは、平面で示される近似値を示す。ａは、平面の空間方向Ｘの傾きを示し、ｂは、平面の空間方向Ｙの傾きを示す。式（２４）において、ｃは、平面のオフセット（切片）を示す。
【０３８３】
例えば、平面近似部２２２は、回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（２４）で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部２２２は、棄却を伴う回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（２４）で表される平面で、ブロックに含まれる画素の画素値を近似する。
【０３８４】
例えば、平面近似部２２２は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（２４）で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。
【０３８５】
なお、平面近似部２２２は、式（２４）で表される平面でブロックを近似すると説明したが、式（２４）で表される平面に限らず、より高い自由度をもった関数、例えば、ｎ次の多項式で表される面でブロックを近似するようにしてもよい。
【０３８６】
繰り返し判定部２２３は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（２５）は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値ｚｉとの差分である誤差ｅｉを示す式である。
【０３８７】
【数１９】

【０３８８】
式（２５）において、ｚハット（ｚに＾を付した文字をｚハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、ａハットは、ブロックの画素値を近似した平面の空間方向Ｘの傾きを示し、ｂハットは、ブロックの画素値を近似した平面の空間方向Ｙの傾きを示す。式（２５）において、ｃハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。
【０３８９】
繰り返し判定部２２３は、式（２５）で示される、近似値とブロックの対応する画素の画素値との誤差ｅｉが、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部２２３は、棄却した画素を示す棄却情報を平面近似部２２２に供給する。
【０３９０】
さらに、繰り返し判定部２２３は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、ブロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部２２３は、平面近似部２２２に、ブロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。
【０３９１】
定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。
【０３９２】
繰り返し判定部２２３は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。
【０３９３】
５×５の画素からなるブロックについて、標準誤差ｅ_ｓは、例えば、式（２６）で算出される。
【０３９４】
【数２０】

ここで、ｎは、画素の数である。
【０３９５】
なお、繰り返し判定部２２３は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の２乗の和を算出して、以下の処理を実行するようにしてもよい。
【０３９６】
ここで、ラスタスキャン方向に１画素ずつずれたブロックを平面で近似するとき、図５９に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。
【０３９７】
繰り返し判定部２２３は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（２４）の平面の傾きおよび切片）を、非定常成分情報として出力する。
【０３９８】
なお、繰り返し判定部２２３は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部２０２乃至定常性方向検出部２０５は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。
【０３９９】
図６０乃至図６７を参照して、非定常成分抽出の処理の結果の例を説明する。
【０４００】
図６０は、細線が含まれる画像から、元の画像の２×２の画素の画素値の平均値を画素値として生成した入力画像の例を示す図である。
【０４０１】
図６１は、図６０で示される画像を、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。図６１で示される例において、注目している１つの画素に対する５×５の画素からなるブロックを平面で近似した。図６１において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。
【０４０２】
図６１から、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした場合、非定常部の周辺に広く、大きな値が求められていることが確認できる。
【０４０３】
図６２乃至図６７で示される例において、注目している１つの画素に対する７×７の画素からなるブロックを平面で近似した。７×７の画素からなるブロックを平面で近似する場合、１つの画素が４９のブロックに繰り返し含まれることになるので、定常成分を含む画素は、最も多くて４９回、棄却されることになる。
【０４０４】
図６２は、図６０で示される画像を、棄却をして平面で近似したとき、得られる標準誤差を画素値とした画像である。
【０４０５】
図６２において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。棄却をしない場合に比較して、棄却をした場合、全体として、標準誤差がより小さくなることがわかる。
【０４０６】
図６３は、図６０で示される画像を、棄却をして平面で近似したとき、棄却された回数を画素値とした画像を示す図である。図６３において、白い画素はより大きい画素値、すなわち、棄却された回数がより多い画素であり、黒い画素はより小さい画素値、すなわち、棄却された回数がより少ない画素である。
【０４０７】
図６３から、細線の画像が射影された画素は、より多く棄却されていることがわかる。棄却された回数を画素値とした画像を用いて、入力画像の非定常部をマスクする画像を生成することも可能である。
【０４０８】
図６４は、ブロックの画素値を近似した平面の空間方向Ｘの傾きを画素値とした画像を示す図である。図６５は、ブロックの画素値を近似した平面の空間方向Ｙの傾きを画素値とした画像を示す図である。
【０４０９】
図６６は、ブロックの画素値を近似した平面で示される近似値からなる画像を示す図である。図６６で示される画像からは、細線が消えていることがわかる。
【０４１０】
図６７は、図６０で示される、元の画像の２×２の画素のブロックの平均値を画素の画素値として生成した画像と、図６６で示される、平面で示される近似値からなる画像との差分からなる画像を示す図である。図６７の画像の画素値は、非定常成分が除去されるので、細線の画像が射影された値のみを含む。図６７からもわかるように、元の画素値と近似した平面で示される近似値との差分からなる画像では、元の画像の定常成分がうまく抽出できていることが確認できる。
【０４１１】
棄却された回数、ブロックの画素の画素値を近似する平面の空間方向Ｘの傾き、ブロックの画素の画素値を近似する平面の空間方向Ｙの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差ｅｉは、入力画像の特徴量としても利用することができる。
【０４１２】
図６８は、ステップＳ２０１に対応する、図５８に構成を示す非定常成分抽出部２０１による、非定常成分の抽出の処理を説明するフローチャートである。
【０４１３】
ステップＳ２２１において、ブロック抽出部２２１は、入力画素から、所定の数の画素からなるブロックを抽出し、抽出したブロックを平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、入力画素から、まだ、選択されていない画素のうち、１つの画素を選択し、選択された画素を中心とする７×７の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、ラスタスキャン順に画素を選択することができる。
【０４１４】
ステップＳ２２２において、平面近似部２２２は、抽出されたブロックを平面で近似する。平面近似部２２２は、例えば、回帰の処理により、抽出されたブロックの画素の画素値を、平面で近似する。例えば、平面近似部２２２は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップＳ２２３において、繰り返し判定部２２３は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数をカウントすることにより、繰り返し判定を実行する。
【０４１５】
ステップＳ２２４において、繰り返し判定部２２３は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進む。
【０４１６】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４１７】
ステップＳ２２５において、繰り返し判定部２２３は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部２２２に通知する。手続きは、ステップＳ２２２に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。
【０４１８】
ステップＳ２２５において、ラスタスキャン方向に１画素ずつずれたブロックがステップＳ２２１の処理で抽出される場合、図５９に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。
【０４１９】
ステップＳ２２４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２２６に進む。
【０４２０】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４２１】
ステップＳ２２６において、繰り返し判定部２２３は、ブロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。
【０４２２】
ステップＳ２２７において、ブロック抽出部２２１は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２２１に戻り、まだ処理の対象となっていない画素からブロックを抽出して、上述した処理を繰り返す。
【０４２３】
ステップＳ２２７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。
【０４２４】
このように、図５８に構成を示す非定常成分抽出部２０１は、入力画像から非定常成分を抽出することができる。非定常成分抽出部２０１が入力画像の非定常成分を抽出するので、頂点検出部２０２および単調増減検出部２０３は、入力画像と、非定常成分抽出部２０１で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。
【０４２５】
なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向Ｘの傾き（式（２４）におけるａハット）、平面の空間方向Ｙの傾き（式（２４）におけるｂハット）、平面で置き換えたときのレベル（式（２４）におけるｃハット）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。
【０４２６】
図６９は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出の処理を説明するフローチャートである。ステップＳ２４１乃至ステップＳ２４５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４２７】
ステップＳ２４６において、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、平面による近似値と、真値である画素値との差分を出力する。
【０４２８】
なお、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。
【０４２９】
ステップＳ２４７の処理は、ステップＳ２２７の処理と同様なので、その説明は省略する。
【０４３０】
平面が非定常成分を近似しているので、非定常成分抽出部２０１は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部２０２乃至連続性検出部２０４は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０４３１】
図７０は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出の他の処理を説明するフローチャートである。ステップＳ２６１乃至ステップＳ２６５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４３２】
ステップＳ２６６において、繰り返し判定部２２３は、画素毎の、棄却の回数を記憶し、ステップＳ２６２に戻り、処理を繰り返す。
【０４３３】
ステップＳ２６４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２６７に進み、繰り返し判定部２２３は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２６１に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。
【０４３４】
ステップＳ２６７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、ステップＳ２６８に進み、繰り返し判定部２２３は、まだ選択されていない画素から１つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部２２３は、ステップＳ２６８において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。
【０４３５】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップＳ２６９に進み、繰り返し判定部２２３は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップＳ２７０に進む。
【０４３６】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステップＳ２６９の処理をスキップして、手続きは、ステップＳ２７０に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。
【０４３７】
なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部２２３は、０を設定した画素値を出力するようにしてもよい。
【０４３８】
ステップＳ２７０において、繰り返し判定部２２３は、入力画像の１つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップＳ２６８に戻り、まだ処理の対象となっていない画素から１つの画素を選択して、上述した処理を繰り返す。
【０４３９】
ステップＳ２７０において、入力画像の１つの画面の全画素について処理を終了したと判定された場合、処理は終了する。
【０４４０】
このように、非定常成分抽出部２０１は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部２０１は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。
【０４４１】
図７１は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップＳ２８１乃至ステップＳ２８８の処理は、ステップＳ２６１乃至ステップＳ２６８の処理と同様なので、その説明は省略する。
【０４４２】
ステップＳ２８９において、繰り返し判定部２２３は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、入力画像から非定常成分を除去した画像を定常性情報として出力する。
【０４４３】
ステップＳ２９０の処理は、ステップＳ２７０の処理と同様なので、その説明は省略する。
【０４４４】
このように、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。
【０４４５】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第１の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４４６】
図７２は、データ定常性検出部１０１の他の構成を示すブロック図である。
【０４４７】
図７２に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０４４８】
データの定常性の角度とは、基準軸と、データ３が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ３における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【０４４９】
基準軸は、例えば、空間方向Ｘを示す軸（画面の水平方向）、または空間方向Ｙを示す軸（画面の垂直方向）などとすることができる。
【０４５０】
入力画像は、アクティビティ検出部４０１およびデータ選択部４０２に供給される。
【０４５１】
アクティビティ検出部４０１は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４５２】
例えば、アクティビティ検出部４０１は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【０４５３】
アクティビティ検出部４０１は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４５４】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図７３で示されるように、垂直方向に１列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、４５度乃至９０度のいずれかの値である。
【０４５５】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に１列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、０度乃至４５度のいずれかの値である。
【０４５６】
例えば、アクティビティ検出部４０１は、図７４で示される、注目画素を中心とした３×３の９つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部４０１は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆは、式（２７）で求められる。
【０４５７】
ｈ_ｄｉｆｆ＝Σ（Ｐ_{ｉ＋１，ｊ}−Ｐ_ｉ，ｊ） ・・・（２７）
【０４５８】
同様に、縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆは、式（２８）で求められる。
【０４５９】
ｖ_ｄｉｆｆ＝Σ（Ｐ_{ｉ，ｊ＋１}−Ｐ_ｉ，ｊ） ・・・（２８）
【０４６０】
式（２７）および式（２８）において、Ｐは、画素値を示し、ｉは、画素の横方向の位置を示し、ｊは、画素の縦方向の位置を示す。
【０４６１】
アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆを比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部４０１は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【０４６２】
例えば、横に１列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に１列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ３である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。
【０４６３】
例えば、図７５に示すように、アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆを比較して、横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、４５度乃至１３５度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、０度乃至４５度のいずれかの値、または１３５度乃至１８０度のいずれかの値であると判定する。
【０４６４】
例えば、アクティビティ検出部４０１は、判定の結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４６５】
なお、アクティビティ検出部４０１は、５×５の２５の画素からなるブロック、または７×７の４９の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【０４６６】
データ選択部４０２は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部４０１から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４６７】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、４５度乃至１３５度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４６８】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、０度乃至４５度または１３５度乃至１８０度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４６９】
また、例えば、データの定常性の角度が４５度乃至１３５度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７０】
データの定常性の角度が０度乃至４５度または１３５度乃至１８０度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７１】
データ選択部４０２は、抽出した画素からなる複数の組を誤差推定部４０３に供給する。
【０４７２】
誤差推定部４０３は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【０４７３】
例えば、誤差推定部４０３は、１つの角度に対応する、垂直方向に１列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部４０３は、１つの角度に対応する、水平方向に１列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【０４７４】
誤差推定部４０３は、検出した相関を示す相関情報を定常方向導出部４０４に供給する。誤差推定部４０３は、相関を示す値として、データ選択部４０２から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部４０４に供給する。
【０４７５】
定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【０４７６】
以下の説明において、適宜、０度乃至９０度の範囲（いわゆる第１象限）のデータの定常性の角度を検出するものとして説明する。
【０４７７】
図７６は、図７２に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０４７８】
データ選択部４０２は、画素選択部４１１−１乃至画素選択部４１１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌを含む。定常方向導出部４０４は、最小誤差角度選択部４１３を含む。
【０４７９】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０４８０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０４８１】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素から、注目画素を中心として９つの画素を画素の組として選択する。
【０４８２】
図７７において、マス目状の１つの四角（１つのマス目）は、１つの画素を示す。図７７において、中央に示す丸は、注目画素を示す。
【０４８３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４８４】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４８５】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４８６】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４８７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４８８】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４８９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９０】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４９１】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０４９２】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部４１１−１は、４５度についての、画素の組を選択し、画素選択部４１１−２は、４７．５度についての、画素の組を選択し、画素選択部４１１−３は、５０度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、５２．５度から１３５度までの、２．５度毎の角度についての、画素の組を選択する。
【０４９３】
なお、画素の組の数は、例えば、３つ、または７つなど、任意の数とすることができ、本発明を限定するものではない。また、１つの組として選択された画素の数は、例えば、５つ、または１３など、任意の数とすることができ、本発明を限定するものではない。
【０４９４】
なお、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に１２１個の画素（注目画素に対して、上方向に６０画素、下方向に６０画素）から、画素の組を選択する。この場合、データ定常性検出部１０１は、空間方向Ｘを示す軸に対して、８８．０９度まで、データの定常性の角度を検出することができる。
【０４９５】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０４９６】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、相関を示す値として、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０４９７】
より具体的には、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０４９８】
そして、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０４９９】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【０５００】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部４１３に供給する。
【０５０１】
なお、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【０５０２】
最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５０３】
例えば、最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部４１３は、選択された総和が算出された画素の組について、注目画素に対して、左側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【０５０４】
図７７で示されるように、最小誤差角度選択部４１３は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Ｓを求める。最小誤差角度選択部４１３は、図７８で示すように、式（２９）から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Ｘを示す軸を基準としたデータの定常性の角度θを検出する。
【０５０５】
θ＝ｔａｎ^−１（ｓ／２） ・・・（２９）
【０５０６】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０５０７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５０８】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５０９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１１】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１２】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０５１３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部４１１−１は、０度についての、画素の組を選択し、画素選択部４１１−２は、２．５度についての、画素の組を選択し、画素選択部４１１−３は、５度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、７．５度から４５度および１３５度から１８０度までの、２．５度毎の角度についての、画素の組を選択する。
【０５１４】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０５１５】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０５１６】
最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５１７】
次に、図７９のフローチャートを参照して、ステップＳ１０１の処理に対応する、図７２で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０５１８】
ステップＳ４０１において、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部４０１およびデータ選択部４０２は、同一の注目画素を選択する。例えば、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０５１９】
ステップＳ４０２において、アクティビティ検出部４０１は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部４０１は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【０５２０】
アクティビティ検出部４０１は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０５２１】
ステップＳ４０３において、データ選択部４０２は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５２２】
ステップＳ４０４において、データ選択部４０２は、ステップＳ４０２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に１列または２列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５２３】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５２４】
ステップＳ４０５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５２５】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５２６】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５２７】
ステップＳ４０６において、定常方向導出部４０４は、ステップＳ４０５の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部４０４は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【０５２８】
定常方向導出部４０４は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０５２９】
ステップＳ４０７において、データ選択部４０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０５３０】
ステップＳ４０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０５３１】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０５３２】
なお、図７２で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５３３】
例えば、図８０に示すように、データ選択部４０２は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム＃ｎ、フレーム＃ｎ−１、およびフレーム＃ｎ＋１のそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０５３４】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０５３５】
誤差推定部４０３は、抽出した画素からなる複数の組について、１つの角度および１つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部４０４は、画素の組の相関に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０５３６】
図８１は、図７２に示すデータ定常性検出部１０１のより詳細な他の構成を示すブロック図である。図７６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０５３７】
データ選択部４０２は、画素選択部４２１−１乃至画素選択部４２１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌを含む。
【０５３８】
図８１で示すデータ定常性検出部１０１においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０５３９】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０５４０】
図８２の左側に示すように、図７６で示されるデータ定常性検出部１０１においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図８１で示されるデータ定常性検出部１０１においては、図８２の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図８１で示されるデータ定常性検出部１０１においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。
【０５４１】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、４５度乃至１３５度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０５４２】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。
【０５４３】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。
【０５４４】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０５４５】
例えば、空間方向Ｘに対してほぼ４５度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ２で撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ３つの画素に円弧形状が形成されるように、データ３に射影される。これに対して、空間方向Ｘに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ２で撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ、多数の画素に円弧形状が形成されるように、データ３に射影される。
【０５４６】
画素の組に同じ数の画素が含まれるとすると、細線が空間方向Ｘに対してほぼ４５度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向Ｘに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。
【０５４７】
そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定する直線が空間方向Ｘに対して４５度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向Ｘに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素および画素の組を選択する。
【０５４８】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲（図８３および図８４において、Ａで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。
【０５４９】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲にあるとき、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に５画素乃至９画素離れた位置にある。
【０５５０】
図８４において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図８４において、１列の画素の数は、注目画素に対して、縦に１列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図８４において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。
【０５５１】
図８５で示されるように、例えば、画素選択部４２１−１は、設定された直線の角度が、４５度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−１は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５画素離れた位置にある。
【０５５２】
なお、図８５乃至図９２において、点線で表された四角（点線で仕切られた１つのマス目）は、１つの画素を示し、実線で表された四角は、画素の組を示す。図８５乃至図９２において、注目画素の空間方向Ｘの座標を０とし、注目画素の空間方向Ｙの座標を０とした。
【０５５３】
また、図８５乃至図９２において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図８５乃至図９２において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。
【０５５４】
図８６で示されるように、例えば、画素選択部４２１−２は、設定された直線の角度が、６０．９度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−２は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０５５５】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲（図８３および図８４において、Ｂで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。
【０５５６】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲囲にあるとき、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至１１画素である。
【０５５７】
図８７で示されるように、例えば、画素選択部４２１−３は、設定された直線の角度が、６３．４度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−３は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０５５８】
また、図８８で示されるように、例えば、画素選択部４２１−４は、設定された直線の角度が、７０．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−４は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０５５９】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲（図８３および図８４において、Ｃで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。
【０５６０】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲にあるとき、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、９画素乃至１１画素である。
【０５６１】
図８９で示されるように、例えば、画素選択部４２１−５は、設定された直線の角度が、７１．６度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−５は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０５６２】
また、図９０で示されるように、例えば、画素選択部４２１−６は、設定された直線の角度が、７４．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−６は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０５６３】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲（図８３および図８４において、Ｄで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲にあるとき、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至５０画素である。
【０５６４】
図９１で示されるように、例えば、画素選択部４２１−７は、設定された直線の角度が、７６．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−７は、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０５６５】
また、図９２で示されるように、例えば、画素選択部４２１−８は、設定された直線の角度が、８７．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−８は、入力画像から、それぞれ１１の画素からなる、５の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５０画素離れた位置にある。
【０５６６】
このように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。
【０５６７】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０５６８】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。
【０５６９】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部４１３に供給する。
【０５７０】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０５７１】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、０度乃至４５度または１３５度乃至１８０度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０５７２】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。
【０５７３】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側および下側の横に１列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。
【０５７４】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０５７５】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０５７６】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。
【０５７７】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０５７８】
次に、図９３のフローチャートを参照して、ステップＳ１０１の処理に対応する、図８１で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０５７９】
ステップＳ４２１およびステップＳ４２２の処理は、ステップＳ４０１およびステップＳ４０２の処理と同様なので、その説明は省略する。
【０５８０】
ステップＳ４２３において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。
【０５８１】
ステップＳ４２４において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５８２】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５８３】
ステップＳ４２５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。
【０５８４】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５８５】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５８６】
ステップＳ４２６およびステップＳ４２７の処理は、ステップＳ４０６およびステップＳ４０７の処理と同様なので、その説明は省略する。
【０５８７】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図８１に構成を示すデータ定常性検出部１０１は、特に、データの定常性の角度が４５度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。
【０５８８】
なお、図８１で構成が示されるデータ定常性検出部１０１においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５８９】
図９４は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０５９０】
図９４に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたブロックと周辺のブロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０５９１】
データ選択部４４１は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出し、抽出したブロックを誤差推定部４４２に供給する。
【０５９２】
例えば、データ選択部４４１は、注目画素を中心とした５×５画素からなるブロック、注目画素の周辺から、注目画素および基準軸を基準とした所定の角度の範囲毎に、５×５画素からなる２つのブロックを抽出する。
【０５９３】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、注目画素の周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。
【０５９４】
例えば、誤差推定部４４２は、角度の範囲毎に、注目画素を中心とした５×５画素からなるブロックと、１つの角度の範囲に対応する、５×５画素からなる２つのブロックとについて、画素値の相関を検出する。
【０５９５】
定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、注目画素を中心とした５×５画素からなるブロックに対して最も相関の強い、５×５画素からなる２つのブロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０５９６】
図９５は、図９４に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０５９７】
データ選択部４４１は、画素選択部４６１−１乃至画素選択部４６１−Ｌを含む。誤差推定部４４２は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌを含む。定常方向導出部４４３は、最小誤差角度選択部４６３を含む。
【０５９８】
例えば、データ選択部４４１には、画素選択部４６１−１乃至画素選択部４６１−８が設けられる。例えば、誤差推定部４４２には、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８が設けられる。
【０５９９】
画素選択部４６１−１乃至画素選択部４６１−Ｌのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる２つのブロックを抽出する。
【０６００】
図９６は、画素選択部４６１−１乃至画素選択部４６１−Ｌにより抽出される、５×５画素のブロックの例を説明する図である。図９６における中央の位置は、注目画素の位置を示す。
【０６０１】
なお、５×５画素のブロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。
【０６０２】
例えば、画素選択部４６１−１は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応した、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ａで示す）を抽出し、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ａ’で示す）を抽出する。画素選択部４６１−１は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−１に供給する。
【０６０３】
画素選択部４６１−２は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１８．４度乃至３３．７度の範囲に対応した、注目画素に対して、右側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｂで示す）を抽出し、注目画素に対して、左側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｂ’で示す）を抽出する。画素選択部４６１−２は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−２に供給する。
【０６０４】
画素選択部４６１−３は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、３３．７度乃至５６．３度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｃで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｃ’で示す）を抽出する。画素選択部４６１−３は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−３に供給する。
【０６０５】
画素選択部４６１−４は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、５６．３度乃至７１．６度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｄで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｄ’で示す）を抽出する。画素選択部４６１−４は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−４に供給する。
【０６０６】
画素選択部４６１−５は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、７１．６度乃至１０８．４度の範囲に対応した、注目画素に対して、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｅで示す）を抽出し、注目画素に対して、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｅ’で示す）を抽出する。画素選択部４６１−５は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−５に供給する。
【０６０７】
画素選択部４６１−６は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１０８．４度乃至１２３．７度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｆで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｆ’で示す）を抽出する。画素選択部４６１−６は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−６に供給する。
【０６０８】
画素選択部４６１−７は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１２３．７度乃至１４６．３度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｇで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｇ’で示す）を抽出する。画素選択部４６１−７は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−７に供給する。
【０６０９】
画素選択部４６１−８は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１４６．３度乃至１６１．６度の範囲に対応した、注目画素に対して、左側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｈで示す）を抽出し、注目画素に対して、右側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｈ’で示す）を抽出する。画素選択部４６１−８は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−８に供給する。
【０６１０】
以下、注目画素を中心とした、所定の数の画素からなるブロックを注目ブロックと称する。
【０６１１】
以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるブロックを参照ブロックと称する。
【０６１２】
このように、画素選択部４６１−１乃至画素選択部４６１−８は、例えば、注目画素を中心として、２５×２５画素の範囲から、注目ブロックおよび参照ブロックを抽出する。
【０６１３】
推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌは、画素選択部４６１−１乃至画素選択部４６１−Ｌから供給された、注目ブロックと、２つの参照ブロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部４６３に供給する。
【０６１４】
例えば、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０６１５】
この場合において、推定誤差算出部４６２−１は、図９７に示されるように、注目ブロックの中央の画素と参照ブロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に２画素乃至右側に２画素のいずれか、上側に２画素乃至下側に２画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの２５種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目ブロックおよび参照ブロックとからなる範囲は、９×９画素である。
【０６１６】
図９７において、四角は、画素を示し、Ａは、参照ブロックを示し、Ｂは、注目ブロックを示す。図９７において、太線は、注目画素を示す。すなわち、図９７は、参照ブロックに対して、注目ブロックが右側に２画素、および上側に１画素移動した場合の例を示す図である。
【０６１７】
さらに、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０６１８】
そして、推定誤差算出部４６２−１は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０６１９】
推定誤差算出部４６２−２は、５×５画素からなる注目ブロックと、１８．４度乃至３３．７度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−１は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０６２０】
同様に、推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、５×５画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０６２１】
最小誤差角度選択部４６３は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照ブロックの位置から、２つの参照ブロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０６２２】
ここで、参照ブロックの位置と、データの定常性の角度の範囲との関係について説明する。
【０６２３】
実世界の信号を近似する近似関数ｆ（ｘ）をｎ次の１次元多項式で近似した場合、近似関数ｆ（ｘ）は、式（３０）で表すことができる。
【０６２４】
【数２１】

【０６２５】
近似関数ｆ（ｘ）で近似される実世界１の信号の波形が、空間方向Ｙに対して一定の傾き（角度）を有する場合、式（３０）における、ｘをｘ＋γｙとすることにより得られた式（３１）で、実世界１の信号を近似する近似関数（ｘ，ｙ）は、表現される。
【０６２６】
【数２２】

【０６２７】
γは、空間方向Ｙの位置の変化に対する、空間方向Ｘの位置の変化の割合を示す。以下、γをシフト量とも称する。
【０６２８】
図９８は、注目画素の位置と、角度θを有する直線との空間方向Ｘの距離を０としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。
【０６２９】
例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、１であり、注目画素の左側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、−１である。注目画素の上側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、−γであり、注目画素の下側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、γである。
【０６３０】
角度θが４５度を超え、９０度未満であり、シフト量γが、０を超え、１未満であるとき、シフト量γと角度θとの間には、γ＝１／ｔａｎθの関係式が成り立つ。図９９は、シフト量γと角度θとの関係を示す図である。
【０６３１】
ここで、シフト量γの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離の変化に注目する。
【０６３２】
図１００は、シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。図１００において、右上がりの一点鎖線は、シフト量γに対する、注目画素の下側に隣接する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの一点鎖線は、シフト量γに対する、注目画素の上側に隣接する画素の位置と直線との空間方向Ｘの距離を示す。
【０６３３】
図１００において、右上がりの二点鎖線は、シフト量γに対する、注目画素から、２画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの二点鎖線は、シフト量γに対する、注目画素から、２画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０６３４】
図１００において、右上がりの三点鎖線は、シフト量γに対する、注目画素から、１画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの三点鎖線は、シフト量γに対する、注目画素から、１画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０６３５】
図１００から、シフト量γに対して、距離が最も小さい画素がわかる。
【０６３６】
すなわち、シフト量γが０乃至１／３であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。すなわち、角度θが７１．６度乃至９０度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。
【０６３７】
シフト量γが１／３乃至２／３であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが５６．３度乃至７１．６度であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０６３８】
また、シフト量γが２／３乃至１であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが４５度乃至５６．３度であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０６３９】
角度θが０度から４５度までの範囲の直線と画素との関係も、同様に考えることができる。
【０６４０】
図９８に示す画素を、注目ブロックおよび参照ブロックに置き換えて、参照ブロックと直線との空間方向Ｘの距離を考えることができる。
【０６４１】
図１０１に、注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す。
【０６４２】
図１０１におけるＡ乃至ＨおよびＡ’乃至Ｈ’は、図９６におけるＡ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックを示す。
【０６４３】
すなわち、注目画素を通り、空間方向Ｘの軸を基準とした、０度乃至１８．４度および１６１．６度乃至１８０．０度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＡおよびＡ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＡおよびＡ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＡおよびＡ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲にあると言える。
【０６４４】
注目画素を通り、空間方向Ｘの軸を基準とした、１８．４度乃至３３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＢおよびＢ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＢおよびＢ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＢおよびＢ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１８．４度乃至３３．７度の範囲にあると言える。
【０６４５】
注目画素を通り、空間方向Ｘの軸を基準とした、３３．７度乃至５６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＣおよびＣ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＣおよびＣ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＣおよびＣ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、３３．７度乃至５６．３度の範囲にあると言える。
【０６４６】
注目画素を通り、空間方向Ｘの軸を基準とした、５６．３度乃至７１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＤおよびＤ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＤおよびＤ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＤおよびＤ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、５６．３度乃至７１．６度の範囲にあると言える。
【０６４７】
注目画素を通り、空間方向Ｘの軸を基準とした、７１．６度乃至１０８．４度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＥおよびＥ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＥおよびＥ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、７１．６度乃至１０８．４度の範囲にあると言える。
【０６４８】
注目画素を通り、空間方向Ｘの軸を基準とした、１０８．４度乃至１２３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＦおよびＦ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＦおよびＦ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＦおよびＦ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１０８．４度乃至１２３．７度の範囲にあると言える。
【０６４９】
注目画素を通り、空間方向Ｘの軸を基準とした、１２３．７度乃至１４６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＧおよびＧ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＧおよびＧ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＧおよびＧ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１２３．７度乃至１４６．３度の範囲にあると言える。
【０６５０】
注目画素を通り、空間方向Ｘの軸を基準とした、１４６．３度乃至１６１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＨおよびＨ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＨおよびＨ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＨおよびＨ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１４６．３度乃至１６１．６度の範囲にあると言える。
【０６５１】
このように、データ定常性検出部１０１は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。
【０６５２】
なお、図９４に構成を示すデータ定常性検出部１０１においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。
【０６５３】
さらに、図９４に構成を示すデータ定常性検出部１０１は、相関が最も強い参照ブロックの周辺の参照ブロックの相関を利用することにより、検出するデータの定常性の角度の範囲を１／２に、すなわち、検出するデータの定常性の角度の分解能を２倍にすることができる。
【０６５４】
例えば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、最小誤差角度選択部４６３は、図１０２で示されるように、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関と、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関とを比較する。注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関が、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、７１．６度乃至９０度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として８１度を設定するようにしてもよい。
【０６５５】
注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関が、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、９０度乃至１０８．４度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として９９度を設定するようにしてもよい。
【０６５６】
最小誤差角度選択部４６３は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を１／２にすることができる。
【０６５７】
尚、図１０２を参照して説明した手法を、簡易１６方位検出手法とも称する。
【０６５８】
このように、図９４に構成を示すデータ定常性検出部１０１は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。
【０６５９】
次に、図１０３のフローチャートを参照して、ステップＳ１０１の処理に対応する、図９４で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０６６０】
ステップＳ４４１において、データ選択部４４１は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部４４１は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０６６１】
ステップＳ４４２において、データ選択部４４１は、注目画素を中心とする所定の数の画素からなる注目ブロックを選択する。例えば、データ選択部４４１は、注目画素を中心とする５×５画素からなる注目ブロックを選択する。
【０６６２】
ステップＳ４４３において、データ選択部４４１は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部４４１は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックの大きさを基準とした、所定の位置の画素を中心とする５×５画素からなる参照ブロックを選択する。
【０６６３】
データ選択部４４１は、注目ブロックおよび参照ブロックを誤差推定部４４２に供給する。
【０６６４】
ステップＳ４４４において、誤差推定部４４２は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部４４２は、算出された相関を示す相関情報を定常方向導出部４４３に供給する。
【０６６５】
ステップＳ４４５において、定常方向導出部４４３は、注目ブロックに対して、相関が最も強い参照ブロックの位置から、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０６６６】
定常方向導出部４４３は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０６６７】
ステップＳ４４６において、データ選択部４４１は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４４１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０６６８】
ステップＳ４４６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０６６９】
このように、図９４に構成を示すデータ定常性検出部１０１は、より簡単な処理で、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図９４に構成を示すデータ定常性検出部１０１は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。
【０６７０】
なお、図９４で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたブロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出し、注目画素を中心としたブロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０６７１】
例えば、図１０４に示すように、データ選択部４４１は、注目フレームであるフレーム＃ｎから注目画素を順に選択し、フレーム＃ｎから、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。また、データ選択部４４１は、フレーム＃ｎ−１およびフレーム＃ｎ＋１のそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。データ選択部４４１は、抽出したブロックを誤差推定部４４２に供給する。
【０６７２】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０６７３】
また、データ定常性検出部１０１は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。
【０６７４】
図１０５は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【０６７５】
データ定常性検出部４８１−１乃至４８１−３のそれぞれは、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、入力画像のコンポーネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。
【０６７６】
データ定常性検出部４８１−１は、入力画像の第１のコンポーネント信号を基に、データの定常性を検出し、第１のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−１は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６７７】
データ定常性検出部４８１−２は、入力画像の第２のコンポーネント信号を基に、データの定常性を検出し、第２のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＩ信号を基に、データの定常性を検出し、Ｉ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６７８】
データ定常性検出部４８１−３は、入力画像の第３のコンポーネント信号を基に、データの定常性を検出し、第３のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＱ信号を基に、データの定常性を検出し、Ｑ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６７９】
決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。
【０６８０】
例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。
【０６８１】
さらに、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン（中央値）を最終的なデータの定常性とするようにしてもよい。
【０６８２】
また、例えば、決定部４８２は、外部から入力された信号を基に、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。
【０６８３】
なお、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。
【０６８４】
図１０６は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の他の構成を示す図である。
【０６８５】
コンポーネント処理部４９１は、入力画像のコンポーネント信号を基に、１つの信号を生成し、データ定常性検出部４９２に供給する。例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。
【０６８６】
例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。
【０６８７】
データ定常性検出部４９２は、コンポーネント処理部４９１から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。
【０６８８】
データ定常性検出部４９２は、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、コンポーネント処理部４９１から供給された信号を対象として、上述した、または後述する処理を実行する。
【０６８９】
このように、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度（傾き）、混合比、またはデータの定常性を有する領域を検出することができる。
【０６９０】
なお、コンポーネント信号は、輝度信号および色差信号に限らず、ＲＧＢ信号、またはＹＵＶ信号など他の方式のコンポーネント信号であっても良い。
【０６９１】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０６９２】
また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基いて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０６９３】
図１０７は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０６９４】
図１０７に示されるデータ定常性検出部１０１においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。
【０６９５】
フレームメモリ５０１は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部５０２に供給する。フレームメモリ５０１は、１つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して１つ前（過去）のフレームの画素の画素値を画素取得部５０２に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部５０２に、動画である入力画像のフレームの画素の画素値を供給することができる。
【０６９６】
画素取得部５０２は、フレームメモリ５０１から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部５０２は、注目画素を中心とする５×５画素からなる領域を選択する。
【０６９７】
画素取得部５０２が選択する領域の大きさは、本発明を限定するものではない。
【０６９８】
画素取得部５０２は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部５０３に供給する。
【０６９９】
度数検出部５０３は、画素取得部５０２から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部５０３における、相関値に基づく度数の設定の処理の詳細は、後述する。
【０７００】
度数検出部５０３は、検出した度数を回帰直線演算部５０４に供給する。
【０７０１】
回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部５０４は、演算された回帰線および演算の結果を示す演算結果パラメータを角度算出部５０５に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【０７０２】
角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。角度算出部５０５は、力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。
【０７０３】
図１０８乃至図１１０を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。
【０７０４】
図１０８において、丸は、１つの画素を示し、２重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、３０である画素値を示し、白は、１２０である画素値を示す。
【０７０５】
図１０８で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。
【０７０６】
図１０７に構成を示すデータ定常性検出部１０１は、図１０８で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。
【０７０７】
図１０９は、図１０８で示される画素の画素値を数値で表した図である。丸は、１つの画素を示し、丸の中の数値は、画素値を示す。
【０７０８】
例えば、注目画素の画素値は、１２０であり、注目画素の上側の画素の画素値は、１００であり、注目画素の下側の画素の画素値は、１００である。また、注目画素の左側の画素の画素値は、８０であり、注目画素の右側の画素の画素値は、８０である。同様に、注目画素の左下側の画素の画素値は、１００であり、注目画素の右上側の画素の画素値は、１００である。注目画素の左上側の画素の画素値は、３０であり、注目画素の右下側の画素の画素値は、３０である。
【０７０９】
図１０７に構成を示すデータ定常性検出部１０１は、図１０９で示される入力画像に対して、図１１０で示されるように、回帰直線Ａを引く。
【０７１０】
図１１１は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Ａとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図１１１に示すように、山脈状に変化している。
【０７１１】
図１０７に構成を示すデータ定常性検出部１０１は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Ａを引く。データ定常性検出部１０１により求められた回帰直線Ａは、注目画素の周辺におけるデータの定常性を表現している。
【０７１２】
入力画像における、基準軸を基準としたデータの定常性の角度は、図１１２で示されるように、回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度θを求めることにより、検出される。
【０７１３】
次に、図１０７に構成を示すデータ定常性検出部１０１における、回帰直線の具体的な算出方法について説明する。
【０７１４】
度数検出部５０３は、例えば、画素取得部５０２から供給された、注目画素を中心とする、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【０７１５】
例えば、度数検出部５０３は、式（３２）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【０７１６】
【数２３】

【０７１７】
式（３２）において、Ｐ_０，０は、注目画素の画素値を示し、Ｐ_ｉ，ｊは、座標（ｘ_ｉ，ｙ_ｊ）の画素の画素値を示す。Ｔｈは、閾値を示す。
【０７１８】
ｉは、領域内における、空間方向Ｘの画素の順番を示し、１≦ｉ≦ｋである。ｊは、領域内における、空間方向Ｙの画素の順番を示し、１≦ｊ≦ｌである。
【０７１９】
ｋは、領域における、空間方向Ｘの画素の数を示し、ｌは、領域における、空間方向Ｙの画素の数を示す。例えば、領域が、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなるとき、Ｋは、９であり、ｌは、５である。
【０７２０】
図１１３は、画素取得部５０２において取得される領域の例を示す図である。図１１３において、点線の四角は、１つの画素を示す。
【０７２１】
例えば、図１１３で示されるように、領域が、空間方向Ｘについて、注目画素を中心とした９画素、空間方向Ｙについて、注目画素を中心とした５画素からなり、注目画素の座標（ｘ，ｙ）が（０，０）であるとき、領域の左上の画素の座標（ｘ，ｙ）は、（−４，２）であり、領域の右上の画素の座標（ｘ，ｙ）は、（４，２）であり、領域の左下の画素の座標（ｘ，ｙ）は、（−４，−２）であり、領域の右下の画素の座標（ｘ，ｙ）は、（４，−２）である。
【０７２２】
領域の左側の画素の、空間方向Ｘにおける、画素の順番ｉは、１であり、領域の右側の画素の、空間方向Ｘにおける、画素の順番ｉは、９である。領域の下側の画素の、空間方向Ｙにおける、画素の順番ｊは、１であり、領域の上側の画素の、空間方向Ｙにおける、画素の順番ｊは、５である。
【０７２３】
すなわち、注目画素の座標（ｘ_５，ｙ_３）を（０，０）としたとき、領域の左上の画素の座標（ｘ_１，ｙ_５）は、（−４，２）であり、領域の右上の画素の座標（ｘ_９，ｙ_５）は、（４，２）であり、領域の左下の画素の座標（ｘ_１，ｙ_１）は、（−４，−２）であり、領域の右下の画素の座標（ｘ_９，ｙ_１）は、（４，−２）である。
【０７２４】
度数検出部５０３は、式（３２）において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界１の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が射影された、入力画像における、２値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【０７２５】
なお、度数検出部５０３は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【０７２６】
また、式（３２）において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【０７２７】
閾値Ｔｈは、任意の値とすることができる。例えば、閾値Ｔｈは、３０とすることができる。
【０７２８】
このように、度数検出部５０３は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【０７２９】
また、例えば、度数検出部５０３は、式（３３）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【０７３０】
【数２４】

【０７３１】
座標（ｘ_ｉ，ｙ_ｊ）における度数をＬ_ｉ，ｊ（１≦ｉ≦ｋ，１≦ｊ≦ｌ）としたとき、座標ｘ_ｉにおける、空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉは、式（３４）で表され、座標ｙ_ｊにおける、空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊは、式（３５）で表される。
【０７３２】
【数２５】

【０７３３】
【数２６】

【０７３４】
度数の総和ｕは、式（３６）で表される。
【０７３５】
【数２７】

【０７３６】
図１１３で示される例において、注目画素の座標の度数Ｌ_５，３は、３であり、注目画素の上側の画素の座標の度数Ｌ_５，４は、１であり、注目画素の右上側の画素の座標の度数Ｌ_６，４は、４であり、注目画素に対して、２画素上側であって、１画素右側の画素の座標の度数Ｌ_６，５は、２であり、注目画素に対して、２画素上側であって、２画素右側の画素の座標の度数Ｌ_７，５は、３である。また、注目画素の下側の画素の座標の度数Ｌ_５，２は、２であり、注目画素の左側の画素の座標の度数Ｌ_４，３は、１であり、注目画素の左下側の画素の座標の度数Ｌ_４，２は、３であり、注目画素に対して、１画素下側であって、２画素左側の画素の座標の度数Ｌ_３，２は、２であり、注目画素に対して、２画素下側であって、２画素左側の画素の座標の度数Ｌ_３，１は、４である。図１１３で示される領域の他の画素の座標の度数は、０であり、図１１３において、０である度数の記載は省略する。
【０７３７】
図１１３で示される領域において、空間方向Ｙの度数の和ｑ_１は、ｉが１である度数Ｌが全て０なので、０であり、ｑ_２は、ｉが２である度数Ｌが全て０なので、０である。ｑ_３は、度数Ｌ_３，２が２であり、度数Ｌ_３，１が４なので、６である。同様に、ｑ_４は、４であり、ｑ_５は、６であり、ｑ_６は、６であり、ｑ_７は、３であり、ｑ_８は、０であり、ｑ_９は、０である。
【０７３８】
図１１３で示される領域において、空間方向Ｘの度数の和ｈ_１は、度数Ｌ_３，１が４なので、４である。ｈ_２は、度数Ｌ_３，２が２であり、度数Ｌ_４，２が３であり、度数Ｌ_５，２が２なので、７である。同様に、ｈ_３は、４であり、ｈ_４は、５であり、ｈ_５は、５である。
【０７３９】
図１１３で示される領域において、度数の総和ｕは、２５である。
【０７４０】
空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉに、座標ｘ_ｉを乗じた結果を加算した和Ｔ_ｘは、式（３７）で表される。
【０７４１】
【数２８】

【０７４２】
空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊに、座標ｙ_ｊを乗じた結果を加算した和Ｔ_ｙは、式（３７）で表される。
【０７４３】
【数２９】

【０７４４】
例えば、図１１３で示される領域において、ｑ_１が０であり、ｘ_１が−４なので、ｑ_１ｘ_１は０であり、ｑ_２が０であり、ｘ_２が−３なので、ｑ_２ｘ_２は０である。同様に、ｑ_３が６であり、ｘ_３が−２なので、ｑ_３ｘ_３は−１２であり、ｑ_４が４であり、ｘ_４が−１なので、ｑ_４ｘ_４は、−４であり、ｑ_５が６であり、ｘ_５が０なので、ｑ_５ｘ_５は０である。同様に、ｑ_６が６であり、ｘ_６が１なので、ｑ_６ｘ_６は６であり、ｑ_７が３であり、ｘ_７が２なので、ｑ_７ｘ_７は６であり、ｑ_８が０であり、ｘ_８が３なので、ｑ_８ｘ_８は０であり、ｑ_９が０であり、ｘ_９が４なので、ｑ_９ｘ_９は０である。従って、ｑ_１ｘ_１乃至ｑ_９ｘ_９の和であるＴ_ｘは、−４である。
【０７４５】
例えば、図１１３で示される領域において、ｈ_１が４であり、ｙ_１が−２なので、ｈ_１ｙ_１は−８であり、ｈ_２が７であり、ｙ_２が−１なので、ｈ_２ｙ_２は−７である。同様に、ｈ_３が４であり、ｙ_３が０なので、ｈ_３ｙ_３は０であり、ｈ_４が５であり、ｙ_４が１なので、ｈ_４ｙ_４は、５であり、ｈ_５が５であり、ｙ_５が２なので、ｈ_５ｙ_５は１０である。従って、ｈ_１ｙ_１乃至ｈ_５ｙ_５の和であるＴ_ｙは、０である。
【０７４６】
また、Ｑ_ｉを以下のように定義する。
【０７４７】
【数３０】

【０７４８】
ｘの変動Ｓ_ｘは、式（４０）で表される。
【０７４９】
【数３１】

【０７５０】
ｙの変動Ｓ_ｙは、式（４１）で表される。
【０７５１】
【数３２】

【０７５２】
共変動Ｓ_ｘｙは、式（４２）で表される。
【０７５３】
【数３３】

【０７５４】
式（４３）に示す１次の回帰直線を求めることを考える。
【０７５５】
ｙ＝ａｘ＋ｂ ・・・（４３）
【０７５６】
傾きａおよび切片ｂは、最小自乗法により、以下のように求めることができる。
【０７５７】
【数３４】

【０７５８】
【数３５】

【０７５９】
ただし、正しい回帰直線を求めるための必要条件は、度数Ｌ_ｉ，ｊが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部５０３は、度数Ｌ_ｉ，ｊがガウス分布するように、領域の画素の画素値を度数Ｌ_ｉ，ｊに変換する必要がある。
【０７６０】
回帰直線演算部５０４は、式（４４）および式（４５）で示される演算を実行して、回帰直線を求める。
【０７６１】
角度算出部５０５は、式（４６）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。
【０７６２】
θ＝ｔａｎ^−１（ａ） ・・・（４６）
【０７６３】
なお、回帰直線演算部５０４が所定の曲線である回帰線を演算する場合、角度算出部５０５は、基準軸に対する、注目画素の位置における回帰線の角度θを求める。
【０７６４】
ここで、画素毎にデータの定常性を検出するためには、切片ｂは、不要である。そこで、式（４７）に示す１次の回帰直線を求めることを考える。
【０７６５】
ｙ＝ａｘ ・・・（４７）
【０７６６】
この場合、回帰直線演算部５０４は、最小自乗法により、傾きａを式（４８）で求めることができる。
【０７６７】
【数３６】

【０７６８】
図１１４のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１０７で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０７６９】
ステップＳ５０１において、画素取得部５０２は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部５０２は、ラスタスキャン順に、注目画素を選択する。ステップＳ５０２において、画素取得部５０２は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部５０３に供給する。例えば、画素取得部５０２は、注目画素を中心とした、９×５画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【０７７０】
ステップＳ５０３において、度数検出部５０３は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部５０３は、式（３２）に示される演算により、画素値を度数Ｌ_ｉ，ｊに変換する。この場合において、度数Ｌ_ｉ，ｊがガウス分布するように、領域の画素の画素値が度数Ｌ_ｉ，ｊに変換される。度数検出部５０３は、変換された度数を回帰直線演算部５０４に供給する。
【０７７１】
ステップＳ５０４において、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部５０４は、式（４４）および式（４５）で示される演算を実行して、回帰直線を求める。回帰直線演算部５０４は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部５０５に供給する。
【０７７２】
ステップＳ５０５において、角度算出部５０５は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部５０５は、式（４６）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。角度算出部５０５は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。
【０７７３】
なお、角度算出部５０５は、傾きａを示すデータ定常性情報を出力するようにしてもよい。
【０７７４】
ステップＳ５０６において、画素取得部５０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ５０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０７７５】
ステップＳ５０６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０７７６】
このように、図１０７に構成を示すデータ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０７７７】
特に、図１０７に構成を示すデータ定常性検出部１０１は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。
【０７７８】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０７７９】
なお、図１０７に構成を示すデータ定常性検出部１０１は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。
【０７８０】
図１１５は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０７８１】
図１１５に示されるデータ定常性検出部１０１においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出する。
【０７８２】
フレームメモリ６０１は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部６０２に供給する。フレームメモリ６０１は、１つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して１つ前（過去）のフレームの画素の画素値を画素取得部６０２に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部６０２に、動画である入力画像のフレームの画素の画素値を供給することができる。
【０７８３】
画素取得部６０２は、フレームメモリ６０１から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部６０２は、注目画素を中心とする５×５画素からなる領域を選択する。
【０７８４】
画素取得部６０２が選択する領域の大きさは、本発明を限定するものではない。
【０７８５】
画素取得部６０２は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部６０３に供給する。
【０７８６】
度数検出部６０３は、画素取得部６０２から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部６０３における、相関値に基づく度数の設定の処理の詳細は、後述する。
【０７８７】
度数検出部６０３は、検出した度数を回帰直線演算部６０４に供給する。
【０７８８】
回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部６０４は、演算された回帰線および演算の結果を示す演算結果パラメータを領域算出部６０５に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【０７８９】
領域算出部６０５は、回帰直線演算部６０４から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像においてデータの定常性を有する領域を検出する。
【０７９０】
図１１６は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Ａとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図１１６に示すように、山脈状に変化している。
【０７９１】
図１１５に構成を示すデータ定常性検出部１０１は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Ａを引く。データ定常性検出部１０１により求められた回帰直線Ａは、注目画素の周辺におけるデータの定常性を表現している。
【０７９２】
回帰直線を引くということは、ガウス関数を前提とした近似を意味する。図１１７に示すように、図１１５に構成を示すデータ定常性検出部１０１は、例えば、標準偏差を求めることで、細線の画像が射影された、データ３における領域の、おおよその幅を知ることができる。また、例えば、図１１５に構成を示すデータ定常性検出部１０１は、相関係数を基に、細線の画像が射影された、データ３における領域の、おおよその幅を知ることができる。
【０７９３】
次に、図１１５に構成を示すデータ定常性検出部１０１における、回帰直線の具体的な算出方法について説明する。
【０７９４】
度数検出部６０３は、例えば、画素取得部６０２から供給された、注目画素を中心とする、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【０７９５】
例えば、度数検出部６０３は、式（４９）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【０７９６】
【数３７】

【０７９７】
式（４９）において、Ｐ_０，０は、注目画素の画素値を示し、Ｐ_ｉ，ｊは、座標（ｘ_ｉ，ｙ_ｊ）の画素の画素値を示す。Ｔｈは、閾値を示す。
【０７９８】
ｉは、領域内における、空間方向Ｘの画素の順番を示し、１≦ｉ≦ｋである。ｊは、領域内における、空間方向Ｙの画素の順番を示し、１≦ｊ≦ｌである。
【０７９９】
ｋは、領域における、空間方向Ｘの画素の数を示し、ｌは、領域における、空間方向Ｙの画素の数を示す。例えば、領域が、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなるとき、Ｋは、９であり、ｌは、５である。
【０８００】
図１１８は、画素取得部６０２において取得される領域の例を示す図である。図１１８において、点線の四角は、１つの画素を示す。
【０８０１】
例えば、図１１８で示されるように、領域が、空間方向Ｘについて、注目画素を中心とした９画素、空間方向Ｙについて、注目画素を中心とした５画素からなり、注目画素の座標（ｘ，ｙ）が（０，０）であるとき、領域の左上の画素の座標（ｘ，ｙ）は、（−４，２）であり、領域の右上の画素の座標（ｘ，ｙ）は、（４，２）であり、領域の左下の画素の座標（ｘ，ｙ）は、（−４，−２）であり、領域の右下の画素の座標（ｘ，ｙ）は、（４，−２）である。
【０８０２】
領域の左側の画素の、空間方向Ｘにおける、画素の順番ｉは、１であり、領域の右側の画素の、空間方向Ｘにおける、画素の順番ｉは、９である。領域の下側の画素の、空間方向Ｙにおける、画素の順番ｊは、１であり、領域の上側の画素の、空間方向Ｙにおける、画素の順番ｊは、５である。
【０８０３】
すなわち、注目画素の座標（ｘ_５，ｙ_３）を（０，０）としたとき、領域の左上の画素の座標（ｘ_１，ｙ_５）は、（−４，２）であり、領域の右上の画素の座標（ｘ_９，ｙ_５）は、（４，２）であり、領域の左下の画素の座標（ｘ_１，ｙ_１）は、（−４，−２）であり、領域の右下の画素の座標（ｘ_９，ｙ_１）は、（４，−２）である。
【０８０４】
度数検出部６０３は、式（４９）において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界１の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が射影された、入力画像における、２値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【０８０５】
なお、度数検出部６０３は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【０８０６】
また、式（４９）において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【０８０７】
閾値Ｔｈは、任意の値とすることができる。例えば、閾値Ｔｈは、３０とすることができる。
【０８０８】
このように、度数検出部６０３は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【０８０９】
また、例えば、度数検出部６０３は、式（５０）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【０８１０】
【数３８】

【０８１１】
座標（ｘ_ｉ，ｙ_ｊ）における度数をＬ_ｉ，ｊ（１≦ｉ≦ｋ，１≦ｊ≦ｌ）としたとき、座標ｘ_ｉにおける、空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉは、式（５１）で表され、座標ｙ_ｊにおける、空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊは、式（５２）で表される。
【０８１２】
【数３９】

【０８１３】
【数４０】

【０８１４】
度数の総和ｕは、式（５３）で表される。
【０８１５】
【数４１】

【０８１６】
図１１８で示される例において、注目画素の座標の度数Ｌ_５，３は、３であり、注目画素の上側の画素の座標の度数Ｌ_５，４は、１であり、注目画素の右上側の画素の座標の度数Ｌ_６，４は、４であり、注目画素に対して、２画素上側であって、１画素右側の画素の座標の度数Ｌ_６，５は、２であり、注目画素に対して、２画素上側であって、２画素右側の画素の座標の度数Ｌ_７，５は、３である。また、注目画素の下側の画素の座標の度数Ｌ_５，２は、２であり、注目画素の左側の画素の座標の度数Ｌ_４，３は、１であり、注目画素の左下側の画素の座標の度数Ｌ_４，２は、３であり、注目画素に対して、１画素下側であって、２画素左側の画素の座標の度数Ｌ_３，２は、２であり、注目画素に対して、２画素下側であって、２画素左側の画素の座標の度数Ｌ_３，１は、４である。図１１８で示される領域の他の画素の座標の度数は、０であり、図１１８において、０である度数の記載は省略する。
【０８１７】
図１１８で示される領域において、空間方向Ｙの度数の和ｑ_１は、ｉが１である度数Ｌが全て０なので、０であり、ｑ_２は、ｉが２である度数Ｌが全て０なので、０である。ｑ_３は、度数Ｌ_３，２が２であり、度数Ｌ_３，１が４なので、６である。同様に、ｑ_４は、４であり、ｑ_５は、６であり、ｑ_６は、６であり、ｑ_７は、３であり、ｑ_８は、０であり、ｑ_９は、０である。
【０８１８】
図１１８で示される領域において、空間方向Ｘの度数の和ｈ_１は、度数Ｌ_３，１が４なので、４である。ｈ_２は、度数Ｌ_３，２が２であり、度数Ｌ_４，２が３であり、度数Ｌ_５，２が２なので、７である。同様に、ｈ_３は、４であり、ｈ_４は、５であり、ｈ_５は、５である。
【０８１９】
図１１８で示される領域において、度数の総和ｕは、２５である。
【０８２０】
空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉに、座標ｘ_ｉを乗じた結果を加算した和Ｔ_ｘは、式（５４）で表される。
【０８２１】
【数４２】

【０８２２】
空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊに、座標ｙ_ｊを乗じた結果を加算した和Ｔ_ｙは、式（５５）で表される。
【０８２３】
【数４３】

【０８２４】
例えば、図１１８で示される領域において、ｑ_１が０であり、ｘ_１が−４なので、ｑ_１ｘ_１は０であり、ｑ_２が０であり、ｘ_２が−３なので、ｑ_２ｘ_２は０である。同様に、ｑ_３が６であり、ｘ_３が−２なので、ｑ_３ｘ_３は−１２であり、ｑ_４が４であり、ｘ_４が−１なので、ｑ_４ｘ_４は、−４であり、ｑ_５が６であり、ｘ_５が０なので、ｑ_５ｘ_５は０である。同様に、ｑ_６が６であり、ｘ_６が１なので、ｑ_６ｘ_６は６であり、ｑ_７が３であり、ｘ_７が２なので、ｑ_７ｘ_７は６であり、ｑ_８が０であり、ｘ_８が３なので、ｑ_８ｘ_８は０であり、ｑ_９が０であり、ｘ_９が４なので、ｑ_９ｘ_９は０である。従って、ｑ_１ｘ_１乃至ｑ_９ｘ_９の和であるＴ_ｘは、−４である。
【０８２５】
例えば、図１１８で示される領域において、ｈ_１が４であり、ｙ_１が−２なので、ｈ_１ｙ_１は−８であり、ｈ_２が７であり、ｙ_２が−１なので、ｈ_２ｙ_２は−７である。同様に、ｈ_３が４であり、ｙ_３が０なので、ｈ_３ｙ_３は０であり、ｈ_４が５であり、ｙ_４が１なので、ｈ_４ｙ_４は、５であり、ｈ_５が５であり、ｙ_５が２なので、ｈ_５ｙ_５は１０である。従って、ｈ_１ｙ_１乃至ｈ_５ｙ_５の和であるＴ_ｙは、０である。
【０８２６】
また、Ｑ_ｉを以下のように定義する。
【０８２７】
【数４４】

【０８２８】
ｘの変動Ｓ_ｘは、式（５７）で表される。
【０８２９】
【数４５】

【０８３０】
ｙの変動Ｓ_ｙは、式（５８）で表される。
【０８３１】
【数４６】

【０８３２】
共変動Ｓ_ｘｙは、式（５９）で表される。
【０８３３】
【数４７】

【０８３４】
式（６０）に示す１次の回帰直線を求めることを考える。
【０８３５】
ｙ＝ａｘ＋ｂ ・・・（６０）
【０８３６】
傾きａおよび切片ｂは、最小自乗法により、以下のように求めることができる。
【０８３７】
【数４８】

【０８３８】
【数４９】

【０８３９】
ただし、正しい回帰直線を求めるための必要条件は、度数Ｌ_ｉ，ｊが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部６０３は、度数Ｌ_ｉ，ｊがガウス分布するように、領域の画素の画素値を度数Ｌ_ｉ，ｊに変換する必要がある。
【０８４０】
回帰直線演算部６０４は、式（６１）および式（６２）で示される演算を実行して、回帰直線を求める。
【０８４１】
また、画素毎にデータの定常性を検出するためには、切片ｂは、不要である。そこで、式（６３）に示す１次の回帰直線を求めることを考える。
【０８４２】
ｙ＝ａｘ ・・・（６３）
【０８４３】
この場合、回帰直線演算部６０４は、最小自乗法により、傾きａを式（６４）で求めることができる。
【０８４４】
【数５０】

【０８４５】
データの定常性を有する領域を特定する第１の手法においては、式（６０）に示す回帰直線の推定誤差が利用される。
【０８４６】
ｙの変動Ｓ_ｙ・ｘは、式（６５）で示される演算で求められる。
【０８４７】
【数５１】

【０８４８】
推定誤差の分散は、変動を用いて、式（６６）で示される演算で求められる。
【０８４９】
【数５２】

【０８５０】
よって、標準偏差は、以下の式で導出される。
【０８５１】
【数５３】

【０８５２】
ただし、標準偏差は、細線の画像が射影された領域を対象とする場合、細線の幅に値する量なので、一概に、標準偏差が大きいことをもって、データの定常を有する領域ではないという判断をすることはできない。しかしながら、例えば、クラス分類適応処理が破綻するのは、データの定常を有する領域の中でも、細線の幅が狭い部分なので、クラス分類適応処理が破綻する可能性が大きい領域を検出するために、標準偏差を用いて検出された領域を示す情報を利用することができる。
【０８５３】
領域算出部６０５は、式（６７）で示される演算により、標準偏差を算出して、標準偏差を基に、入力画像における、データの定常性を有する領域を算出する。例えば、領域算出部６０５は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域とする。例えば、領域算出部６０５は、回帰直線を中心として、回帰直線から標準偏差以内の距離の領域を、データの定常性を有する領域として算出する。
【０８５４】
第２の手法においては、度数の相関をデータの定常を有する領域の検出に用いる。
【０８５５】
相関係数ｒ_ｘｙは、ｘの変動Ｓ_ｘ、ｙの変動Ｓ_ｙ、および共変動Ｓ_ｘｙを基に、式（６８）で示される演算で求めることができる。
【０８５６】
【数５４】

【０８５７】
相関には、正の相関と負の相関があるので、領域算出部６０５は、相関係数ｒ_ｘｙの絶対値を求めて、相関係数ｒ_ｘｙの絶対値が１に近いほど、相関が強いと判定する。より具体的には、領域算出部６０５は、閾値と、相関係数ｒ_ｘｙの絶対値とを比較し、相関係数ｒ_ｘｙの絶対値が閾値以上である領域を、データの定常性を有する領域として検出する。
【０８５８】
図１１９のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０８５９】
ステップＳ６０１において、画素取得部６０２は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部６０２は、ラスタスキャン順に、注目画素を選択する。ステップＳ６０２において、画素取得部６０２は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部６０３に供給する。例えば、画素取得部６０２は、注目画素を中心とした、９×５画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【０８６０】
ステップＳ６０３において、度数検出部６０３は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部６０３は、式（４９）で示される演算により、画素値を度数Ｌ_ｉ，ｊに変換する。この場合において、度数Ｌ_ｉ，ｊがガウス分布状に分布するように、領域の画素の画素値が度数Ｌ_ｉ，ｊに変換される。度数検出部６０３は、変換された度数を回帰直線演算部６０４に供給する。
【０８６１】
ステップＳ６０４において、回帰直線演算部６０４は、度数検出部５０３から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部６０４は、式（６１）および式（６２）で示される演算を実行して、回帰直線を求める。回帰直線演算部６０４は、算出された結果である回帰直線を示す演算結果パラメータを領域算出部６０５に供給する。
【０８６２】
ステップＳ６０５において、領域算出部６０５は、回帰直線についての標準偏差を算出する。例えば、領域算出部６０５は、式（６７）に示す演算により、回帰直線に対する標準偏差を算出する。
【０８６３】
ステップＳ６０６において、領域算出部６０５は、標準偏差から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部６０５は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域として特定する。
【０８６４】
領域算出部６０５は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【０８６５】
ステップＳ６０７において、画素取得部６０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ６０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０８６６】
ステップＳ６０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０８６７】
図１２０のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の他の処理を説明する。ステップＳ６２１乃至ステップＳ６２４の処理は、ステップＳ６０１乃至ステップＳ６０４の処理と同様なので、その説明は省略する。
【０８６８】
ステップＳ６２５において、領域算出部６０５は、回帰直線についての相関係数を算出する。例えば、領域算出部６０５は、式（６８）で示される演算により、回帰直線に対する相関係数を算出する。
【０８６９】
ステップＳ６２６において、領域算出部６０５は、相関係数から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部６０５は、予め記憶している閾値と相関係数の絶対値とを比較し、相関係数の絶対値が閾値以上である領域を、データの定常性を有する領域として特定する。
【０８７０】
領域算出部６０５は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【０８７１】
ステップＳ６２７の処理は、ステップＳ６０７の処理と同様なので、その説明は省略する。
【０８７２】
このように、図１１５に構成を示すデータ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、データの定常性を有する領域を検出することができる。
【０８７３】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０８７４】
図１２１は、データ定常性検出部１０１のその他の実施の形態の構成を示している。
【０８７５】
図１２１のデータ定常性検出部１０１は、データ選択部７０１、データ足し込み部７０２、および、定常方向導出部７０３より構成される。
【０８７６】
データ選択部７０１は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部７０２に出力する。
【０８７７】
データ足し込み部７０２は、データ選択部７０１より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部７０３に出力する。このデータ足し込み部７０２による足し込み演算とは、後述する最小自乗法の演算に用いるサメーションの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。
【０８７８】
定常方向導出部７０３は、データ足し込み部７０２より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度（例えば、細線、または２値エッジなどの傾き、または方向）を演算し、これをデータ定常性情報として出力する。
【０８７９】
次に、図１２２を参照して、データ定常性検出部１０１における定常性（方向、または、角度）を検出する動作の概要について説明する。尚、図１２２，図１２３中、図６，図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８８０】
図１２２で示されるように、実世界１の信号（例えば、画像）は、光学系１４１（例えば、レンズ、またはＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）などからなる）により、センサ２（例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など）の受光面に結像される。センサ２は、例えば、ＣＣＤやＣＭＯＳのような積分特性を有する素子から構成される。このような構成により、センサ２から出力されるデータ３から得られる画像は、実世界１の画像とは異なる画像となる（実世界１の画像とは差が生じることになる）。
【０８８１】
そこで、データ定常性検出部１０１は、図１２３で示されるように、モデル７０５を用いて、実世界１を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル７０５は、例えば、Ｎ個の変数で表現される。より正確には、モデル７０５は、実世界１の信号を近似（記述）する。
【０８８２】
データ定常性検出部１０１は、モデル７０５を予測するために、データ３から、Ｍ個のデータ７０６を抽出する。その結果、モデル７０５は、データの定常性に拘束されることになる。
【０８８３】
すなわち、モデル７０５は、センサ２で取得されたとき、データ３においてデータのデータ定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界１の事象（を示す情報（信号））を近似する。
【０８８４】
ここで、データ７０６の数Ｍが、モデル７０５の変数の数Ｎ以上であれば、Ｍ個のデータ７０６から、Ｎ個の変数で表現されるモデル７０５を予測することができる。
【０８８５】
さらに、データ定常性検出部１０１は、実世界１（の信号）を近似（記述）するモデル７０５を予測することにより、実世界１の情報である信号に含まれるデータ定常性を、例えば、細線や２値エッジの方向（傾き、または、所定の方向を軸としたときの軸とのなす角度）として導出し、データ定常性情報として出力する。
【０８８６】
次に、図１２４を参照して、入力画像より細線の方向（角度）をデータ定常性情報として出力するデータ定常性検出部１０１について説明する。
【０８８７】
データ選択部７０１は、水平・垂直判定部７１１、および、データ取得部７１２から構成されている。水平・垂直判定部７１１は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部７１２、および、データ足し込み部７０２にそれぞれ出力する。
【０８８８】
より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易１６方位検出手法をここで使用してもよい。図１２５で示されるように、水平・垂直判定部７１１は、注目画素と、その注目画素に隣接する画素間の差分（画素間の画素値の差分）のうち、水平方向の画素間の差分（アクティビティ）の和（ｈｄｉｆｆ）と、垂直方向の画素間の差分（アクティビティ）の和の差分（ｖｄｉｆｆ）を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図１２５においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和がｈｄｉｆｆで示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和がｖｄｉｆｆで示される。
【０８８９】
このように求められた水平方向の画素間の画素値の差分和ｈｄｉｆｆと、垂直方向の画素間の画素値の差分和ｖｄｉｆｆに基づいて、水平・垂直判定部７１１は、（ｈｄｉｆｆ−ｖｄｉｆｆ）が正であれば、垂直方向よりも水平方向の画素間の画素値の変化（アクティビティ）が大きいので、図１２６で示されるように、水平方向に対する角度がθ（０度度≦θ≦１８０度度）で示される場合、４５度度＜θ≦１３５度度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化（アクティビティ）が大きいので、０度度≦θ＜４５度度、または、１３５度度＜θ≦１８０度度、すなわち、水平方向に近い角度の細線に属している画素であると判定する（細線が続く方向（角度）に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化（アクティビティ）は小さくなるはずである）。
【０８９０】
また、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタ（図示せず）を備えており、適宜必要に応じて使用する。
【０８９１】
尚、図１２５においては、注目画素を中心として、３画素×３画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として５画素×５画素や、７画素×７画素など、それ以上の画素数のブロックに基づいて判定するようにしてもよい。
【０８９２】
データ取得部７１２は、水平・垂直判定部７１１より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のブロック単位で画素値を読み出し（取得し）、読み出した（取得した）注目画素毎に対応する複数の画素間における、水平・垂直方向判定部７１１の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のブロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部７０２に出力する。尚、以下においては、データ取得部７１２により、注目画素に対応して取得される複数の画素のブロックを取得ブロックと称する（取得ブロックは、例えば、後述する図１３９で示される複数の画素（各マス目で示される）のうち、黒線の正方形が示された画素を注目画素とするとき、その上下３画素分と、左右１画素分の合計１５画素などである）。
【０８９３】
データ足し込み部７０２の差分足し込み部７２１は、データ選択部７０１より入力された差分データを検出し、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部７０３に出力する。より具体的には、複数の画素のうち水平・垂直判定部７１１による判定方向に隣接する画素ｉと画素（ｉ＋１）の画素間の画素値の差分データをｙｉとし、注目画素に対応する取得ブロックがｎ個の画素から構成された場合、差分足し込み部７２１は、水平方向、または、垂直方向毎に（ｙ１）^２＋（ｙ２）^２＋（ｙ３）^２＋・・・を足し込んで演算し、定常方向導出部７０３に出力する。
【０８９４】
ＭａｘＭｉｎ取得部７２２は、データ選択部７０１より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるブロック（以下、ダイナミックレンジブロックと称する（ダイナミックレンジブロックは、後述する図１３９で示される取得ブロックの画素のうち、例えば、画素ｐｉｘ１２について、黒の実線で囲まれている、ダイナミックレンジブロックＢ１で示される、画素ｐｉｘ１２の上下３画素分の合計７画素などである））に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジＤｒｉ（取得ブロック内のｉ番目の画素に対応する、ダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値の差分）を演算（検出）して、差分足し込み部７２３に出力する。
【０８９５】
差分足し込み部７２３は、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジＤｒｉと、データ選択部７０１より入力された差分データを検出し、検出したダイナミックレンジＤｒｉと差分データに基づいて、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向毎に、ダイナミックレンジＤｒｉと差分データｙｉを乗じた値を足し込んで、演算結果を定常方向導出部７０３に出力する。すなわち、差分足し込み部７２３が出力する演算結果は、水平方向、または、垂直方向毎にｙ１×Ｄｒ１＋ｙ２×Ｄｒ２＋ｙ３×Ｄｒ３＋・・・となる。
【０８９６】
定常方向導出部７０３の定常方向演算部７３１は、データ足し込み部７０２より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度（方向）を演算し、演算された角度を定常性情報として出力する。
【０８９７】
ここで、細線の方向（細線の傾き、または、角度）の演算方法について説明する。
【０８９８】
図１２７Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線（図中、右上がりで、かつ斜め方向の白線）は、実際には、図１２７Ｂで示されるように表示されている。すなわち、現実世界においては、図１２７Ｃで示されるように、画像は、細線のレベル（図１２７Ｃ中では濃度の薄い斜線部）と背景レベルの２種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサ２により撮像された画像、すなわち、画素単位で撮像された画像は、図１２７Ｂで示されるように、その積分効果により背景レベルと細線レベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックが細線方向に繰り返して配置されたような画像となる。尚、図１２７Ｂにおいて、各正方形状のマス目は、ＣＣＤの１画素を示し、各辺の長さをｄ＿ＣＣＤであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする（従って、斜線のない白色のマス目が画素値の最大値となる）。
【０８９９】
図１２８Ａで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図１２８Ｂで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。
【０９００】
同様にして、センサ２で撮像された画像は、図１２９Ａで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたブロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図１２９Ｂで示すように、背景のレベルとなる領域（背景領域）と、細線のレベルの中間のレベルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図１２９Ｂにおいて縦軸は、画素数であるが、１画素の面積は（ｄ＿ＣＣＤ）^２となるため、図１２９Ｂの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。
【０９０１】
これは、図１３０Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）においても、図１３０Ｂで示されるように同様の結果が得られる。すなわち、図１３０Ａで示される背景部分（図１３０Ａ中では、黒色に見える部分）は、図１３０Ｂで示されるように、画素値レベルの低い（画素値が２０付近の）画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図１３０Ｂの画素値レベルが低くない部分、すなわち、画素値レベルが４０付近乃至１６０付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。
【０９０２】
ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図１３１Ａで示される矢印方向（Ｙ座標方向）に見ると、図１３１Ｂで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレベルとなり、細線領域を通過して再び背景領域に戻ると、レベルの低い背景のレベルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。
【０９０３】
これに対して、センサ２で撮像された画像のうち、図１３１Ａ中の矢印の向きに対応する、図１３２Ａの空間方向Ｘ＝Ｘ１上の画素（図１３２Ａにおいては、黒丸で示されている画素）の画素値と、その画素の空間方向Ｙの関係は、図１３２Ｂに示されるようになる。尚、図１３２Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０９０４】
すなわち、図１３２Ｂで示されるように、図１３２Ａ中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向Ｙの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図１３２Ｂで示すように、山型の波形が形成される。また、図１３２Ａの空間方向Ｘ＝Ｘ０，Ｘ２に対応する各画素の画素値の変化は、空間方向Ｙのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。
【０９０５】
例えば、図１３３Ａで示されるような、実際にセンサ２により撮像された画像における場合においても、図１３３Ｂで示されるように、同様の結果が得られる。すなわち、図１３３Ｂは、図１３３Ａの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝５６１，５６２，５６３）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサ２により撮像された画像においても、Ｘ＝５６１においては、Ｙ＝７３０付近で、Ｘ＝５６２においては、Ｙ＝７０５付近で、Ｘ＝５６３においては、Ｙ＝６８５付近で、それぞれピークとなる山型の波形となっている。
【０９０６】
このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサ２により撮像された画像の画素値の変化を示す波形は山型の波形となる。
【０９０７】
すなわち、換言すれば、現実世界の画像のレベルは、図１３１Ｂで示されるような波形になるべきところが、センサ２により撮像されることにより、撮像された画像は、図１３２Ｂで示されるように、その変化に歪が生じて、現実世界の画像とは異なる（現実世界の情報が欠落した）波形に変化していると言える。
【０９０８】
そこで、このセンサ２により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ２より取得された画像のデータから現実世界を近似的に記述するためのモデル（図１２３のモデル７０５に相当する）を設定する。例えば、細線の場合、図１３４で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＢ１、図中右側の背景部分のレベルをＢ２、細線部分のレベルをＬ、細線の混合比をα、細線の幅をＷ、細線の水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向（傾き、または、基準軸に対する角度）を求める。
【０９０９】
このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図１３５で示されるように、統一してＢ（＝Ｂ１＝Ｂ２）とする。また、細線の幅を１画素以上であるものとする。このように設定された現実世界をセンサ２で撮像するとき、撮像された画像は、図１３６Ａで示されるように撮像されることになる。尚、図１３６Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０９１０】
すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近いレベルとなり、垂直方向（空間方向Ｙの方向）に対して細線から離れるに従って画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値Ｂと、細線レベルの画素値Ｌが、混合比αで混合された画素値となっている。
【０９１１】
このように、撮像された画像の各画素を注目画素とした場合、データ取得部７１２は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得ブロックを構成する画素毎に、ダイナミックレンジブロックを抽出し、そのダイナミックレンジブロックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図１３６Ａで示すように、取得ブロック中の所定の画素（図中の１マスの中に黒の実線で正方形が記述された画素ｐｉｘ４）に対応したダイナミックレンジブロックの画素（例えば、図中の黒の実線で囲まれた画素ｐｉｘ１乃至７の７画素））が抽出された場合、その各画素に対応する現実世界の画像は、図１３６Ｂで示されるようになる。
【０９１２】
すなわち、図１３６Ｂで示されるように、画素ｐｉｘ１は、左部の略１／８の面積を占める部分が背景領域となり、右部の略７／８の面積を占める部分が細線領域となる。画素ｐｉｘ２は、略全領域が細線領域となる。画素ｐｉｘ３は、左部の略７／８の面積を占める部分が細線領域となり、右部１／８の面積を占める部分が細線領域となる。画素ｐｉｘ４は、左部の略２／３の面積を占める部分が細線領域となり、右部の略１／３の面積を占める部分が背景領域となる。画素ｐｉｘ５は、左部の略１／３の面積を占める部分が細線領域となり、右部の略２／３の面積を占める部分が背景領域となる。画素ｐｉｘ６は、左部の略１／８の面積を占める部分が細線領域となり、右部の略７／８の面積を占める部分が背景領域となる。さらに、画素ｐｉｘ７は、全体が背景領域となる。
【０９１３】
結果として、図１３６で示されるダイナミックレンジブロックの各画素ｐｉｘ１乃至７の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル：前景レベルの混合比は、画素ｐｉｘ１が略１：７、画素ｐｉｘ２が略０：１、画素ｐｉｘ３が略１：７、画素ｐｉｘ４が略１：２、画素ｐｉｘ５が略２：１、画素ｐｉｘ６が略７：１、および、画素ｐｉｘ７が略１：０となる。
【０９１４】
従って、抽出されたダイナミックレンジブロックの画素ｐｉｘ１乃至７の各画素の画素値は、画素ｐｉｘ２が最も高く、次いで画素ｐｉｘ１，３が続き、以下画素値が高い順に画素ｐｉｘ４，５，６，７となる。従って、図１３６Ｂで示される場合、最大値は、画素ｐｉｘ２の画素値であり、最小値は、画素ｐｉｘ７の画素値となる。
【０９１５】
また、図１３７Ａで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。
【０９１６】
ここで、細線の方向を示す傾きＧ_ｆｌは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図１３７Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きＧ_ｆｌとなる。
【０９１７】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図１３７Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサ２により撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向Ｘの最大値となる空間方向Ｙの間隔Ｓが、細線の傾きＧ_ｆｌとなる。すなわち、図１３７Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧ_ｆｌとなる。従って、この細線の傾きＧ_ｆｌ（水平方向を基準軸としたときの角度に対応する）は、図１３７Ｃで示すように、その傾きに対応する水平方向を基準軸とした細線の角度をθとして表現する場合、以下の式（６９）で示される関係が成立することになる。
【０９１８】
θ＝Ｔａｎ^−１（Ｇ_ｆｌ）（＝Ｔａｎ^−１（Ｓ））・・・（６９）
【０９１９】
また、図１３５で示されるようなモデルを設定し、さらに、空間方向Ｙの画素と画素値の関係が、図１３７Ｂで示される山型の波形が、完全な三角波形（立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形）であると仮定する場合、図１３８で示すように、所定の注目画素の空間方向Ｘにおける、空間方向Ｙ上に存在する各画素の画素値の最大値をＭａｘ＝Ｌ（ここでは、現実世界の細線のレベルに対応する画素値）、最小値をＭｉｎ＝Ｂ（ここでは、現実世界の背景のレベルに対応する画素値）とするとき、以下の式（７０）で示される関係が成立する。
【０９２０】
Ｌ−Ｂ＝Ｇ_ｆｌ×ｄ＿ｙ・・・（７０）
【０９２１】
ここで、ｄ＿ｙは、空間方向Ｙの画素間の画素値の差分を示す。
【０９２２】
すなわち、空間方向の傾きＧ_ｆｌは、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾きＳが小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾きＧ_ｆｌが大きいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは小さく、傾きＳが小さいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは大きくなる。
【０９２３】
そこで、上述の式（７０）の関係が成立する傾きＧ_ｆｌを求めることにより、細線の基準軸に対する角度θを求めることが可能となる。式（７０）は、傾きＧ_ｆｌを変数とする１変数の関数であるため、注目画素について、周辺の画素間の画素値の（垂直方向の）差分ｄ＿ｙ、並びに、最大値、および、最小値の差分（Ｌ−Ｂ）を１組用いれば求めることが可能であるが、上述のように、空間方向Ｙの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出ブロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジＤｒを求めるとともに、抽出ブロックの各画素毎の空間方向Ｙの画素間の画素値の差分ｄ＿ｙを用いて、最小自乗法により統計的に求める。
【０９２４】
ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出ブロック、および、ダイナミックレンジブロックについて、詳細を説明する。
【０９２５】
抽出ブロックは、例えば、図１３９で示すように、注目画素（図中の黒の実線で正方形が描かれているマス目の画素）の、空間方向Ｙについて上下３画素分、空間方向Ｘについて、左右１画素分の合計１５画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分ｄ＿ｙは、例えば、画素ｐｉｘ１１に対応する差分がｄ＿ｙ１１で示されるとき、空間方向Ｘ＝Ｘ０の場合、画素ｐｉｘ１１とｐｉｘ１２、ｐｉｘ１２とｐｉｘ１３、ｐｉｘ１３とｐｉｘ１４、ｐｉｘ１５とｐｉｘ１６、ｐｉｘ１６とｐｉｘ１７の画素間の画素値の差分ｄ＿ｙ１１乃至ｄ＿ｙ１６が得られることになる。このとき、空間方向Ｘ＝Ｘ１，Ｘ２についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素間の画素値の差分ｄ＿ｙは、１８個存在することになる。
【０９２６】
さらに、抽出ブロックの各画素について、ダイナミックレンジブロックの画素が、例えば、画素ｐｉｘ１１については、水平・垂直判定部７１１の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図１３９で示されるように、画素ｐｉｘ１１を含めて、垂直方向（空間方向Ｙ）の上下方向にそれぞれ３画素分のダイナミックレンジブロックＢ１の範囲の７画素であるものとすると、このダイナミックレンジブロックＢ１の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジＤｒ１１とする。同様にして、抽出ブロックの画素ｐｉｘ１２については、図１３９中のダイナミックレンジブロックＢ２の７画素から同様にしてダイナミックレンジＤｒ１２を求める。このようにして、抽出ブロック内の１８個の画素間差分ｄ＿ｙｉと、対応するダイナミックレンジＤｒｉとの組み合わせに基づいて、最小自乗法を用いて統計的に傾きＧ_ｆｌが求められる。
【０９２７】
次に、１変数の最小自乗法の解法について説明する。尚、ここでは、水平・垂直判定部７１１の判定結果が垂直方向であったものとする。
【０９２８】
１変数の最小自乗法による解法は、例えば、図１４０で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値Ｄｒｉ＿ｃからなる直線の傾きＧ_ｆｌを求めるものである。そこで、上述の式（７０）で示される関係から以下のような手法により、傾きＳが求められる。
【０９２９】
すなわち、上述の式（７０）は、最大値と最小値の差分をダイナミックレンジＤｒとするとき、以下の式（７１）で示すように記述される。
【０９３０】
Ｄｒ＝Ｇ_ｆｌ×ｄ＿ｙ・・・（７１）
【０９３１】
上述の式（７１）に、抽出ブロックの各画素間についての差分ｄ＿ｙｉを代入することによりダイナミックレンジＤｒｉ＿ｃが求められることになる。従って、各画素について、以下の式（７２）の関係が満たされることになる。
【０９３２】
Ｄｒｉ＿ｃ＝Ｇ_ｆｌ×ｄ＿ｙｉ・・・（７２）
【０９３３】
ここで、差分ｄ＿ｙｉは、各画素ｉの空間方向Ｙの画素間の画素値の差分（例えば、画素ｉに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分であり、Ｄｒｉ＿ｃは、画素ｉについて式（７０）が成立するときに得られるダイナミックレンジである。
【０９３４】
上述のように、ここでいう最小自乗法は、抽出ブロックの画素ｉのダイナミックレンジＤｒｉ＿ｃと、図１３６を参照して説明した方法で得られる、画素ｉの実測値となるダイナミックレンジＤｒｉ＿ｒとの差分自乗和Ｑが、画像内のすべての画素において最小となるときの傾きＧ_ｆｌを求める方法である。従って、差分自乗和Ｑは以下の式（７３）により求められることになる。
【０９３５】
【数５５】

【０９３６】
式（７３）で示される差分自乗和Ｑは、２次関数であるので、変数Ｇ_ｆｌ（傾きＧ_ｆｌ）について図１４１で示すような下に凸の曲線となるため、傾きＧ_ｆｌが最小となるＧ_ｆｌｍｉｎが最小自乗法の解となる。
【０９３７】
式（７３）で示される差分自乗和Ｑは、変数Ｇ_ｆｌで微分されると、以下に示す式（７４）で示されるｄＱ／ｄＧ_ｆｌとなる。
【０９３８】
【数５６】

【０９３９】
式（７４）が、０となるＧ_ｆｌが図１４１で示す差分自乗和Ｑの最小値をとるＧ_ｆｌｍｉｎとなるので、式（７４）が０となるときの式を展開することにより、以下の式（７５）で傾きＧ_ｆｌが求められることになる。
【０９４０】
【数５７】

【０９４１】
上述の式（７５）は、いわゆる、１変数（傾きＧ_ｆｌ）の正規方程式となる。
【０９４２】
このようにして、得られた傾きＧ_ｆｌを上述の式（６９）に代入することにより、細線の傾きＧ_ｆｌに対応する、水平方向を基準軸としたときの細線の角度θを得ることができる。
【０９４３】
尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度θが４５度度≦θ＜１３５度度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１０８度度となる、水平方向に近い細線上の画素である場合、画素ｉに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分ｄ＿ｘｉとなり、同様に、画素ｉに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブロックの画素についても、画素ｉに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。
【０９４４】
また、同様の手法により、２値エッジの傾きに対応する角度を求めることも可能である。
【０９４５】
すなわち、図１４２Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分（図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分）（以下、このように、２値のレベルからなる画像上のエッジ部分を２値エッジとも称する）は、実際には、図１４２Ｂで示されるように表示されている。すなわち、現実世界においては、図１４２Ｃで示されるように、画像では、第１のレベル（旗の地のレベル）と、第２のレベル（文字のレベル（図１４２Ｃ中では濃度の薄い斜線部））との２種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサ２により撮像された画像、すなわち、画素単位で撮像された画像は、図１４２Ｂで示されるように、第１のレベルと第２のレベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックがエッジが構成されている方向に繰り返して配置されたような領域を境とした第１のレベルの画素が配置される部分と、第２のレベルの画素が配置される部分とが存在する画像となる。
【０９４６】
すなわち、図１４３Ａで示されるように、空間方向Ｘ＝Ｘ０，Ｘ１，Ｘ２について、それぞれの空間方向Ｙへの画素値の変化は、図１４３Ｂ中では、各画素値は、図中の下から２値エッジ（図１４３Ａ中の右上がりの直線）の境界手前付近までは、所定の最小値の画素値になっているが、２値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点Ｐ_Ｅにおいて、画素値が所定の最大値となる。より詳細には、空間方向Ｘ＝Ｘ０の変化は、図１４３Ｂで示されるように、画素値の最小値となる点Ｐ_Ｓを通過した後、徐々に画素値が増大し、画素値の最大値となる点Ｐ０となる。これに対して、空間方向Ｘ＝Ｘ１に対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図１４３Ｂで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向Ｙの正方向にずれて、図中の点Ｐ１を経由して、画素値の最大値にまで増大する。さらに、空間方向Ｘ＝Ｘ２における空間方向Ｙの画素値の変化は、空間方向Ｙの正の方向にさらにずれ込んだ図中の点Ｐ２を経由して減少し、画素値の最大値から最小値となる。
【０９４７】
これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図１４４Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）において、背景部分（図１４４Ａ中では、黒色に見える部分）は、図１４４Ｂで示されるように、画素値の低い（画素値が９０付近の）画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図１４４Ｂの画素値が低くない部分、すなわち、画素値が１００付近乃至２００付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域（図１４４Ａ中では、白色に見える部分）の画素が、２２０で示される画素値の付近に多く分布している。
【０９４８】
この結果、図１４５Ａで示されるエッジ画像における所定の空間方向Ｘに対する、空間方向Ｙの画素値の変化は、図１４５Ｂで示されるようになものとなる。
【０９４９】
すなわち、図１４５Ｂは、図１４５Ａの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝６５８，６５９，６６０）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサ２により撮像された画像においても、Ｘ＝６５８において、画素値は、Ｙ＝３７４付近で増大を開始し（図中、黒丸で示される分布）、Ｘ＝３８２付近で最大画素値に到達する。また、Ｘ＝６５９においては、空間方向Ｙに対して正方向にずれ込んで、画素値は、Ｙ＝３７８付近で増大を開始し（図中、黒三角で示される分布）、Ｘ＝３８６付近で最大画素値に到達する。さらに、Ｘ＝６６０においては、空間方向Ｙに対して、さらに、正方向にずれ込んで、画素値は、Ｙ＝３８２付近で増大を開始し（図中、黒四角で示される分布）、Ｘ＝３９０付近で最大画素値に到達する。
【０９５０】
そこで、このセンサ２により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ２より取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、２値エッジの場合、図１４６で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＶ１、図中右側の文字部分のレベルをＶ２、２値エッジ付近の画素間の混合比をα、エッジの水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向（傾き、または、基準軸に対する角度）を求める。
【０９５１】
ここで、エッジの方向を示す傾きは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図１４７Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きとなる。
【０９５２】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図１４７Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサ２により撮像された画像において、エッジは、類似した画素値の変化（今の場合、最小値から最大値へと変化する、所定の空間方向Ｙ上の画素値の変化）が空間的に連続する方向であるので、各空間方向Ｘにおいて、空間方向Ｙの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向Ｙの間隔Ｓが、エッジの傾きＧ_ｆｅとなる。すなわち、図１４７Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧ_ｆｅとなる。
【０９５３】
ところで、この関係は、図１３７Ａ乃至Ｃを参照して上述した細線の傾きＧ_ｆｌにおける関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、２値エッジにおける場合の関係式は、図１４８で示すものとなり、背景領域の画素値をＶ１、文字領域の画素値をＶ２、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をαとし、エッジの傾きをＧ_ｆｅとおけば、成立する関係式は、上述の式（６９）乃至式（７１）と同様となる（ただし、Ｇ_ｆｌは、Ｇ_ｆｅに置き換えられる）。
【０９５４】
このため、図１２４で示されるデータ定常性検出部１０１は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、２値エッジの傾きとを総称して、傾きＧ_ｆと称する。また、上述の式（７３）乃至式（７５）の式における傾きＧ_ｆｌは、Ｇ_ｆｅであってもよいものであり、結果として、傾きＧ_ｆと置き換えて考えるものとする。
【０９５５】
次に、図１４９のフローチャートを参照して、データ定常性の検出の処理を説明する。
【０９５６】
ステップＳ７０１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＴを初期化する。
【０９５７】
ステップＳ７０２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。
【０９５８】
ここで、図１５０のフローチャートを参照して、データを抽出する処理について説明する。
【０９５９】
ステップＳ７１１において、データ選択部７０１の水平・垂直判定部７１１は、各注目画素Ｔについて、図１２５を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する９画素の水平方向に隣接する画素間の画素値の差分（アクティビティ）の和ｈｄｉｆｆと、垂直方向に隣接する画素間の画素値の差分（アクティビティ）の和ｖｄｉｆｆとを演算し、さらに、その差分（ｈｄｉｆｆ−ｖｄｉｆｆ）を求め、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）≧０の場合、その注目画素Ｔが、水平方向を基準軸としたとき、その基準軸との角度θが４５度度≦θ＜１３５度度となる、垂直方向に近い細線、または、２値エッジ付近の画素であるものとみなし、使用する抽出ブロックを垂直方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０９６０】
一方、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）＜０の場合、水平・垂直判定部７１１は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、２値エッジのなす角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１８０度度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出ブロックを水平方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０９６１】
すなわち、細線、または、２値エッジの傾きが垂直方向に近いと言うことは、例えば、図１３１Ａで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出ブロックを設定する（縦長な抽出ブロックを設定する）。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出ブロックを設定するようにする（横長な抽出ブロックを設定する）。このようにすることにより、不要な計算量を増やすことなく、正確な最大値と最小値の演算が可能となる。
【０９６２】
ステップＳ７１２において、データ取得部７１２は、注目画素について水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に対応した抽出ブロックの画素を抽出する。すなわち、例えば、図１３９で示されるように、注目画素を中心として、（水平方向に３画素）×（垂直方向に７画素）の合計２１画素を抽出ブロックとして抽出し、記憶する。
【０９６３】
ステップＳ７１３において、データ取得部７１２は、抽出ブロックの各画素について、水平・垂直判定部７１１の判定結果に対応した方向に対応するダイナミックレンジブロックの画素を抽出し、記憶する。すなわち、図１３９を参照して、上述したように、例えば、抽出ブロックの画素ｐｉｘ１１については、今の場合、水平・垂直判定部７１１の判定結果が垂直方向になるので、データ取得部７１２は、垂直方向に、ダイナミックレンジブロックＢ１を、同様にして、画素ｐｉｘ１２は、ダイナミックレンジブロックＢ２を抽出する。その他の抽出ブロックについても同様にしてダイナミックレンジブロックが抽出される。
【０９６４】
すなわち、このデータ抽出処理により、所定の注目画素Ｔについて、正規方程式の演算に必要な画素の情報がデータ取得部７１２に蓄えられることになる（処理される領域が選択されることになる）。
【０９６５】
ここで、図１４９のフローチャートの説明に戻る。
【０９６６】
ステップＳ７０３において、データ足し込み部７０２は、正規方程式（ここでは、式（７４））の演算の各項に必要な値の足し込み処理を実行する。
【０９６７】
ここで、図２４のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【０９６８】
ステップＳ７２１において、差分足し込み部７２１は、データ選択部７０１の水平・垂直判定部７１１の判定結果に応じて、データ取得部７１２に記憶されている抽出ブロックの画素間の画素値の差分を求め（検出し）、さらに、２乗（自乗）して足し込む。すなわち、水平・垂直判定部７１１の判定結果が垂直方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。同様にして、水平・垂直判定部７１１の判定結果が水平方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。結果として、差分足し込み部７２１は、上述の式（７５）の分母となる項の差分の自乗和を生成し、記憶する。
【０９６９】
ステップＳ７２２において、ＭａｘＭｉｎ取得部７２２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、ステップＳ７２３において、その最大値と最小値との差分からダイナミックレンジを求め（検出し）、差分足し込み部７２３に出力する。すなわち、図１３６Ｂで示されているような、画素ｐｉｘ１乃至７からなる７画素のダイナミックレンジブロックの場合、ｐｉｘ２の画素値が最大値として検出され、ｐｉｘ７の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。
【０９７０】
ステップＳ７２４において、差分足し込み部７２３は、データ取得部７１２に記憶されている抽出ブロックの画素間のうち、データ選択部７０１の水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分を求め（検出し）、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部７２１は、上述の式（７５）の分子となる項の和を生成し、記憶する。
【０９７１】
ここで、図１４９のフローチャートの説明に戻る。
【０９７２】
ステップＳ７０４において、差分足し込み部７２１は、抽出ブロックの全ての画素の画素間の画素値の差分（水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分）を足し込んだか否かを判定し、例えば、抽出ブロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップＳ７０２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップＳ７０２乃至Ｓ７０４の処理が繰り返される。
【０９７３】
ステップＳ７０４において、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップＳ７０５にいて、差分足し込み部７２１，７２３は、自らで記憶している足し込み結果を定常方向導出部７０３に出力する。
【０９７４】
ステップＳ７０６において、定常方向演算部７３１は、データ足し込み部７０２の差分足し込み部７２１より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部７２３より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分、および、取得ブロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式（７５）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度（細線、または、２値エッジの傾きを示す角度）を演算し、出力する。
【０９７５】
ステップＳ７０７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、２値エッジの角度の情報を出力していないと判定した場合、ステップＳ７０８において、カウンタＴを１インクリメントして、その処理は、ステップＳ７０２に戻る。すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップＳ７０２乃至Ｓ７０８の処理が繰り返されることになる。このカウンタＴによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【０９７６】
ステップＳ７０７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７０９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７０１に戻り、それ以降の処理が繰り返される。
【０９７７】
ステップＳ７０９において、次の入力画像はないと判定された場合、その処理は、終了する。
【０９７８】
以上の処理により、細線、または、２値エッジの角度が、定常性情報として検出されて、出力される。
【０９７９】
このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、２値エッジの角度とほぼ一致する。すなわち、図１５２Ａで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図１５２Ｂで示されるように、相関を用いた方法により得られる細線の傾きを示す角度（図中の黒丸印）と、図１２４で示されたデータ定常性検出部１０１により統計処理により得られる細線の角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図１５２Ｂにおいては、図中の黒実線で挟まれた空間方向Ｙ＝６８０乃至７３０が細線上の座標である。
【０９８０】
同様にして、図１５３Ａで示すような画像の白線で囲まれる範囲の画像について、２値エッジ上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図１５３Ｂで示されるように、相関を用いた方法により得られる２値エッジの傾きを示す角度（図中の黒丸印）と、図１２４で示されたデータ定常性検出部１０１により統計処理により得られる２値エッジの角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図１５３Ｂにおいては、空間方向Ｙ＝３７６（付近）乃至３８８（付近）が細線上の座標であるである。
【０９８１】
結果として、図１２４に示されるデータ定常性検出部１０１は、データの定常性として細線、または、２値エッジの角度を求める際、所定の画素からなるブロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、２値エッジの傾きを示す角度（ここでは、水平方向を基準軸とした角度）を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、２値エッジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。
【０９８２】
また、以上においては、データ定常性検出部１０１は、細線、または、２値エッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部１０１の定常方向導出部７０３の定常方向演算部７３１は、最小自乗法により求められた細線、または、２値エッジの傾きＧ_ｆを、そのまま定常性情報として出力するようにしてもよい。
【０９８３】
さらに、以上においては、式（７５）において、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジブロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について演算することなく、抽出ブロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。
【０９８４】
すなわち、以下の式（７６）のように、画素間の画素値の差分のみを足し込むことにより細線の角度θ（傾きＧ_ｆ）を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。
【０９８５】
【数５８】

【０９８６】
次に、図１５４を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部１０１について説明する。
【０９８７】
尚、図１５４のデータ定常性検出部１０１においては、図１２４のデータ定常性検出部１０１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０９８８】
図１５４のデータ定常性検出部１０１において、図１２４のデータ定常性検出部１０１と異なるのは、データ足し込み部７０２、および、定常性方向導出部７０３に代えて、データ足し込み部７５１、および、混合比導出部７６１が設けられている点である。
【０９８９】
データ足し込み部７５１のＭａｘＭｉｎ取得部７５２は、図１２４におけるＭａｘＭｉｎ取得部７２２と同様の処理を行うものであるが、ダイナミックレンジブロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分（ダイナミックレンジ）を求め、足し込み部７５３，７５５に出力すると共に、最大値を差分演算部７５４に出力する。
【０９９０】
足し込み部７５３は、ＭａｘＭｉｎ取得部より入力された値を自乗して、抽出ブロックの全ての画素について足し込み、その和を求めて、混合比導出部７６１に出力する。
【０９９１】
差分演算部７５４は、データ取得部７１２の取得ブロックの各画素について、対応するダイナミックレンジブロックの最大値との差分を求めて、足し込み部７５５に出力する。
【０９９２】
足し込み部７５５は、取得ブロックの各画素について、ＭａｘＭｉｎ取得部７５２より入力された最大値と最小値の差分（ダイナミックレンジ）と、差分演算部７５４より入力された取得ブロックの各画素の画素値と、対応するダイナミックレンジブロックの最大値との差分と乗じて、その和を求め、混合比導出部７６１に出力する。
【０９９３】
混合比導出部７６１の混合比算出部７６２は、データ足し込み部の足し込み部７５３，７５５のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。
【０９９４】
次に、混合比の導出方法について説明する。
【０９９５】
図１５５Ａで示されるように、画像上に細線が存在する場合、センサ２で撮像された画像は、図１５５Ｂで示されるような画像となる。個の画像について、図１５５Ｂの空間方向Ｘ＝Ｘ１上の黒の実線で囲まれた画素について注目する。尚、図１５５Ｂの白線ではさまれた範囲は、細線領域に対応する位置を示す。この画素の画素値Ｍは、背景領域のレベルに対応する画素値Ｂと、細線領域のレベルに対応する画素値Ｌの中間色となっているはずであり、さらに詳細には、この画素値Ｐ_Ｓは、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値Ｐ_Ｓは、以下の式（７７）により表現される。
【０９９６】
Ｐ_Ｓ＝α×Ｂ＋（１−α）×Ｌ・・・（７７）
【０９９７】
ここで、αは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、（１−α）は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するオブジェクトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景オブジェクトに対して前景オブジェクトの成分であると考えられるので、前景オブジェクト成分とも言える。
【０９９８】
この結果、混合比αは、式（７７）を展開することにより、以下の式（７８）で表現できることになる。
【０９９９】
α＝（Ｐ_Ｓ−Ｌ）／（Ｂ−Ｌ）・・・（７８）
【１０００】
さらに、今の場合、画素値は、第１の画素値（画素値Ｂ）の領域と第２の画素値（画素値Ｌ）の領域とをまたいだ位置に存在することが前提であるので、画素値Ｌは、画素値の最大値Ｍａｘで置き換えることができ、さらに、画素値Ｂは、画素値の最小値と置き換えることができる。従って、混合比αは、以下の式（７９）でも表現することができる。
【１００１】
α＝（Ｐ_Ｓ−Ｍａｘ）／（Ｍｉｎ−Ｍａｘ）・・・（７９）
【１００２】
以上の結果、混合比αは、注目画素についてのダイナミックレンジブロックのダイナミックレンジ（（Ｍｉｎ−Ｍａｘ）に相当する）と、注目画素と、ダイナミックレンジブロック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比αを求める。
【１００３】
すなわち、上述の式（７９）は、展開すると以下の式（８０）となる。
【１００４】
（Ｐ_Ｓ−Ｍａｘ）＝α×（Ｍｉｎ−Ｍａｘ）・・・（８０）
【１００５】
この式（８０）は、上述の式（７１）と同様の１変数の最小自乗法の式となる。すなわち、式（７１）においては、最小自乗法により傾きＧ_ｆが求められていたが、ここでは、混合比αが求められることになる。従って、以下の式（８１）で示される正規方程式を解くことにより、混合比αは、統計的に求められる。
【１００６】
【数５９】

【１００７】
ここで、ｉは、抽出ブロックの各画素を識別するものである。従って、式（８１）においては、抽出ブロックの画素数はｎである。
【１００８】
次に、図１５６のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。
【１００９】
ステップＳ７３１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＵを初期化する。
【１０１０】
ステップＳ７３２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップＳ７３２の処理は、図１５０のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【１０１１】
ステップＳ７３３において、データ足し込み部７５１は、正規方程式（ここでは、式（８１））の演算の各項に必要な値の足し込み処理を実行する。
【１０１２】
ここで、図１５７のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【１０１３】
ステップＳ７５１において、ＭａｘＭｉｎ取得部７５２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部７５４に出力する。
【１０１４】
ステップＳ７５２において、ＭａｘＭｉｎ取得部７５２は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部７５３，７５５に出力する。
【１０１５】
ステップＳ７５３において、足し込み部７５３は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジ（Ｍａｘ−Ｍｉｎ）を自乗して、足し込む。すなわち、足し込み部７５３は、上述の式（８１）の分母に相当する値を足し込みにより生成する。
【１０１６】
ステップＳ７５４において、差分演算部７５４は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジブロックの最大値と、抽出ブロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部７５５に出力する。
【１０１７】
ステップＳ７５５において、足し込み部７５５は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジと、差分演算部７５４より入力された、今現在処理している画素の画素値と、ダイナミックレンジブロックの画素のうち最大値となる値との差分を乗じて、足し込む。すなわち、足し込み部７５５は、上述の式（８１）の分子の項に相当する値を生成する。
【１０１８】
以上のように、データ足し込み部７５１は、足し込み処理により、上述の式（８１）の各項の演算を実行する。
【１０１９】
ここで、図１５６のフローチャートの説明に戻る。
【１０２０】
ステップＳ７３４において、差分足し込み部７２１は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出ブロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理は、ステップＳ７３２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステップＳ７３２乃至Ｓ７３４の処理が繰り返される。
【１０２１】
ステップＳ７３４において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップＳ７３５にいて、足し込み部７５３，７５５は、自らで記憶している足し込み結果を混合比導出部７６１に出力する。
【１０２２】
ステップＳ７３６において、混合比導出部７６１の混合比算出部７６２は、データ足し込み部７５１の足し込み部７５３，７５５より入力された、ダイナミックレンジの自乗和、および、抽出ブロックの各画素の画素値とダイナミックレンジブロックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式（８１）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。
【１０２３】
ステップＳ７３７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップＳ７３８において、カウンタＵを１インクリメントして、その処理は、ステップＳ７３２に戻る。
【１０２４】
すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップＳ７３２乃至Ｓ７３８の処理が繰り返されることになる。このカウンタＵによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【１０２５】
ステップＳ７３７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７３９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７３１に戻り、それ以降の処理が繰り返される。
【１０２６】
ステップＳ７３９において、次の入力画像はないと判定された場合、その処理は、終了する。
【１０２７】
以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。
【１０２８】
以上の手法により、例えば、図１５８Ａで示される画像中の白線内の細線の画像について、所定の空間方向Ｘ（＝５６１，５６２，５６３）上の混合比の変化が、図１５８Ｂに示されている。図１５８Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝５６３の場合、混合比は、空間方向Ｙ＝６６０付近で立ち上がり、Ｙ＝６８５付近でピークとなり、Ｙ＝７１０まで減少する。また、空間方向Ｘ＝５６２の場合、混合比は、空間方向Ｙ＝６８０付近で立ち上がり、Ｙ＝７０５付近でピークとなり、Ｙ＝７３５まで減少する。さらに、空間方向Ｘ＝５６１の場合、混合比は、空間方向Ｙ＝７０５付近で立ち上がり、Ｙ＝７２５付近でピークとなり、Ｙ＝７５５まで減少する。
【１０２９】
このように、図１５８Ｂで示されるように、連続する空間方向Ｘのそれぞれの混合比の変化は、混合比により変化する画素値の変化（図１３３Ｂで示した画素値の変化）と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。
【１０３０】
また、同様にして、図１５９Ａで示される画像中の白線内の２値エッジの画像について、所定の空間方向Ｘ（＝６５８，６５９，６６０）上の混合比の変化が、図１５９Ｂに示されている。図１５９Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝６６０の場合、混合比は、空間方向Ｙ＝７５０付近で立ち上がり、Ｙ＝７６５付近でピークとなる。また、空間方向Ｘ＝６５９の場合、混合比は、空間方向Ｙ＝７６０付近で立ち上がり、Ｙ＝７７５付近でピークとなる。さらに、空間方向Ｘ＝６５８の場合、混合比は、空間方向Ｙ＝７７０付近で立ち上がり、Ｙ＝７８５付近でピークとなる。
【１０３１】
このように、図１５９Ｂで示されるように、２値エッジの混合比の変化は、混合比により変化する画素値の変化（図１４５Ｂで示した画素値の変化）と同様の変化とほぼ同様であり、周期的に連続していることから、２値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。
【１０３２】
以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。
【１０３３】
また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式（８２）で示されるような関係が成立する。
【１０３４】
α＝ｍ×ｙ＋ｎ・・・（８２）
【１０３５】
ここで、ｍは、混合比αが、空間方向Ｙに対して変化するときの傾きを示し、また、ｎは、混合比αが直線的に変化するときの切片に相当するものである。
【１０３６】
すなわち、図１６０で示されるように、混合比を示す直線は、背景領域のレベルに相当する画素値Ｂと、細線のレベルに相当するレベルＬの境界を示す直線であり、この場合、空間方向Ｙについて単位距離進んだときの混合比の変化量が傾きｍとなる。
【１０３７】
そこで、式（８２）を、式（７７）に代入すると以下の式（８３）が導出される。
【１０３８】
Ｍ＝（ｍ×ｙ＋ｎ）×Ｂ＋（１−（ｍ×ｙ＋ｎ））×Ｌ・・・（８３）
【１０３９】
さらに、この式（８３）を展開すると、以下の式（８４）が導出される。
【１０４０】
Ｍ−Ｌ＝（ｙ×Ｂ−ｙ×Ｌ）×ｍ＋（Ｂ−Ｌ）×ｎ・・・（８４）
【１０４１】
式（８４）においては、第１項のｍが、混合比の空間方向の傾きを示し、第２項が混合比の切片を示す項である。従って、上述の式（８４）のｍ，ｎを２変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。
【１０４２】
しかしながら、混合比αの傾きｍは、上述した細線や２値エッジの傾き（上述の傾きＧ_ｆ）そのものであるので、予め、上述の方法を用いて、細線、または、２値エッジの傾きＧ_ｆを求めた後、その傾きを用いて、式（８４）に代入することにより、切片の項についての１変数の関数とし、上述した手法と同様に、１変数の最小自乗法により求めるようにしてもよい。
【１０４３】
以上の例においては、空間方向の細線、または、２値エッジの角度（傾き）、または、混合比をデータ定常性情報として検出するデータ定常性検出部１０１について説明してきたが、例えば、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる角度に対応するものとは、物体の動きベクトル（動きベクトルの方向）である。
【１０４４】
より具体的には、図１６１Ａで示すように、物体が、時間が進むにつれて空間方向Ｙについて、図中の上方向に移動している場合、図中の細線に相当する部分（図１３１Ａとの比較）には、物体の移動の軌跡が現れることになる。従って、時間方向Ｔの細線における傾きは、図１６１Ａにおいては、物体の動く方向（物体の動きを示す角度）を示すもの（動きベクトルの方向と同値のもの）である。従って、現実世界において、図１６１Ａ中の矢印で示される、所定の時刻におけるフレームでは、図１６１Ｂで示すように物体の軌跡となる部分が、物体の（色の）レベルとなり、それ以外の部分が、背景のレベルとなったパルス状の波形となる。
【１０４５】
このように、センサ２により動きのある物体を撮像したした場合、図１６２Ａで示されるように、時刻Ｔ１乃至Ｔ３におけるフレームの各画素の画素値の分布は、図１６２Ｂで示されるように、空間方向Ｙに対して、それぞれ山型の波形をとる。この関係は、図１３２Ａ，Ｂを参照して、説明した空間方向Ｘ，Ｙにおける関係と同様であるものと考えることができる。従って、フレーム方向Ｔに対して、物体に動きがある場合、上述した細線の傾き、または、２値エッジの角度（傾き）の情報と同様の手法により、物体の動きベクトルの方向をデータ定常性情報として求めることも可能である。尚、図１６２Ｂにおいては、フレーム方向Ｔ（時間方向Ｔ）について、各マス目は、１フレームの画像を構成するシャッタ時間となる。
【１０４６】
また、同様にして、図１６３Ａで示されるように、フレーム方向Ｔ毎に、空間方向Ｙについて物体に動きがある場合、図１６３Ｂで示されるように、所定の時刻Ｔ１に相当するフレーム上で空間方向Ｙに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図１６３Ｂにおける、黒の実線で囲まれた画素の画素値は、図１６３Ｃで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比βで混合している画素値である。
【１０４７】
この関係は、図１５５Ａ，Ｂ，Ｃを参照して説明した関係と同様である。
【１０４８】
さらに、図１６４で示されるように、物体のレベルＯと背景のレベルＢとは、フレーム方向（時間方向）の混合比βにより直線近似することも可能である。個の関係は、図１６０を参照して説明した空間方向の混合比の直線近似と同様の関係である。
【１０４９】
従って、空間方向の混合比αと同様の手法により、時間（フレーム）方向の混合比βをデータ定常性情報として求めることも可能である。
【１０５０】
また、フレーム方向、または、空間方向のいずれか１次元を選択して、定常性の角度、または、動きベクトルの方向を求めるようにしてもよいし、同様にして混合比α，βを選択的に求めるようにしてもよい。
【１０５１】
以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基いて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度（動きベクトルの方向）、または、（時空間の）混合比を求めることが可能となる。
【１０５２】
次に、図１６５を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行うべき領域の情報を出力する、データ定常性情報検出部１０１について説明する。
【１０５３】
角度検出部８０１は、入力された画像のうち、定常性を有する領域、すなわち、画像上において定常性を有する細線や２値エッジを構成する部分の空間方向の角度を検出し、検出した角度を実世界推定部８０２に出力する。尚、この角度検出部８０１は、図３におけるデータ定常性検出部１０１と同様のものである。
【１０５４】
実世界推定部８０２は、角度検出部８０１より入力されたデータ定常性の方向を示す角度と、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部８０２は、入力された角度と、入力画像の各画素から実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部８０３に出力する。尚、この実世界推定部８０２は、図３における実世界推定部１０２と同様のものである。
【１０５５】
誤差演算部８０３は、実世界推定部８０２より入力された係数に基づいて、近似的に記述された現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数に基づいて各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部８０４に出力する。
【１０５６】
比較部８０４は、各画素について誤差演算部８０３より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【１０５７】
次に、図１６６のフローチャートを参照して、図１６５のデータ定常性検出部１０１による、定常性の検出の処理について説明する。
【１０５８】
ステップＳ８０１において、角度検出部８０１は、入力された画像を取得し、ステップＳ８０２において、定常性の方向を示す角度を検出する。より詳細には、角度検出部８０１は、例えば、水平方向を基準軸としたときの細線、または、２値エッジの有する定常性の方向を示す角度を検出して、実世界推定部８０２に出力する。
【１０５９】
ステップＳ８０３において、実世界推定部８０２は、角度検出部８０１より入力される角度の情報と、入力画像の情報に基づいて、現実世界を表現する関数Ｆ（ｘ）に近似的に記述する、多項式からなる近似関数ｆ（ｘ）の係数を求めて、誤差演算部８０３に出力する。すなわち、現実世界を表現する近似関数ｆ（ｘ）は、以下の式（８５）のような１次元多項式で示される。
【１０６０】
【数６０】

【１０６１】
ここで、ｗｉは、多項式の係数であり、実世界推定部８０２は、この係数ｗｉを求めて、誤差演算部８０３に出力する。さらに、角度検出部８０１より入力される角度により、定常性の方向から傾きを求めることができる（Ｇ_ｆ＝ｔａｎ^−１θ，Ｇ_ｆ：傾き，θ：角度）ので、この傾きＧ_ｆの拘束条件を代入することにより、上述の式（８５）の式は、以下の式（８６）で示されるように、２次元多項式で記述することができる。
【１０６２】
【数６１】

【１０６３】
すなわち、上述の式（８６）は、式（８５）で記述される１次元の近似関数ｆ（ｘ）が、空間方向Ｙに平行移動することにより生じるずれ幅をシフト量α（＝−ｄｙ／Ｇ_ｆ：ｄｙは、空間方向Ｙへの変化量）で表現することにより得られる２次元の関数ｆ（ｘ，ｙ）を記述している。
【１０６４】
したがって、実世界推定部８０２は、入力画像と、定常性方向の角度の情報を用いて、上述の式（８６）の各係数ｗｉを解いて、求められた係数ｗｉを誤差演算部８０３に出力する。
【１０６５】
ここで、図１６６のフローチャートの説明に戻る。
【１０６６】
ステップＳ８０４において、誤差演算部８０３は、実世界推定部８０２より入力された係数から、各画素について再積分を実行する。すなわち、誤差演算部８０３は、実世界推定部８０２より入力された係数から、上述の式（８６）を、以下の式（８７）で示されるように、各画素について積分する。
【１０６７】
【数６２】

【１０６８】
ここで、Ｓ_Ｓは、図１６７で示される空間方向の積分結果を示す。また、その積分範囲は、図１６７で示すように、空間方向Ｘについては、ｘ_ｍ乃至ｘ_ｍ＋Ｂであり、空間方向Ｙについては、ｙ_ｍ乃至ｙ_ｍ＋Ａである。また、図１６７においては、各マス目（正方形）は、１画素を示すものとし、空間方向Ｘ，Ｙについて、いずれも１であるものとする。
【１０６９】
従って、誤差演算部８０３は、図１６８で示されるように、近似関数ｆ（ｘ，ｙ）で示される曲面の空間方向Ｘについてｘ_ｍ乃至ｘ_ｍ＋１、および、空間方向Ｙについてｙ_ｍ乃至ｙ_ｍ＋１（Ａ＝Ｂ＝１）で、以下の式（８８）で示されるような積分演算を各画素について実行し、実世界を近似的に表現する近似関数を空間的に積分することにより得られる各画素の画素値Ｐ_Ｓを演算する。
【１０７０】
【数６３】

【１０７１】
すなわち、この処理により、誤差演算部８０３は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【１０７２】
ステップＳ８０５において、誤差演算部８０３は、上述の式（８８）で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部８０４に出力する。すなわち、誤差演算部８０３は、上述の図１６７，図１６８で示した積分範囲（空間方向Ｘについてｘ_ｍ乃至ｘ_ｍ＋１、および、空間方向Ｙについてｙ_ｍ乃至ｙ_ｍ＋１）に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部８０４に出力する。
【１０７３】
ステップＳ８０６において、比較部８０４は、誤差演算部８０３より入力される積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【１０７４】
ステップＳ８０６において、誤差が所定の閾値以下であると判定された場合、ステップＳ８０７において、比較部８０４は、積分により得られた画素値が、入力画像の画素の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似しているとみなし、今処理した画素の領域は、定常性情報に基づいた近似関数による処理を行う処理領域として認識する。より詳細には、比較部８０４は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【１０７５】
一方、ステップＳ８０６において、誤差が所定の閾値以下ではないと判定された場合、ステップＳ８０８において、比較部８０４は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部８０４は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【１０７６】
ステップＳ８０９において、比較部８０４は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップＳ８０２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップＳ８０２乃至Ｓ８０９の処理が繰り返される。
【１０７７】
ステップＳ８０９において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップＳ８１０において、比較部８０４は、図示せぬメモリに記憶されている、入力画像について、後段の処理において空間方向の定常性情報に基づいた処理がなされる処理領域と、空間方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【１０７８】
以上の処理によれば、定常性情報に基づいて演算された近似関数ｆ（ｘ）を用いて各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいた積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみ空間方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１０７９】
次に、図１６９を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行う画素の存在する領域情報を出力する、データ定常性情報検出部１０１のその他の実施例について説明する。
【１０８０】
動き検出部８２１は、入力された画像のうち、定常性を有する領域、すなわち、画像上においてフレーム方向に定常性を有する動き（動きベクトルの方向：Ｖ_ｆ）を検出し、検出した動きを実世界推定部８２２に出力する。尚、この動き検出部８２１は、図３におけるデータ定常性検出部１０１と同様のものである。
【１０８１】
実世界推定部８２２は、動き検出部８２１より入力されたデータ定常性の動きと、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部８２２は、入力された動きと、入力画像の各画素からフレーム方向（時間方向）の実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部８２３に出力する。尚、この実世界推定部８２２は、図３における実世界推定部１０２と同様のものである。
【１０８２】
誤差演算部８２３は、実世界推定部８２２より入力された係数に基づいて、近似的に記述されたフレーム方向の現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数からフレーム毎に各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部８２４に出力する。
【１０８３】
比較部８２４は、各画素について誤差演算部８２３より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【１０８４】
次に、図１７０のフローチャートを参照して、図１６９のデータ定常性検出部１０１による、定常性の検出の処理について説明する。
【１０８５】
ステップＳ８２１において、動き検出部８０１は、入力された画像を取得し、ステップＳ８２２において、定常性を示す動きを検出する。より詳細には、動き検出部８０１は、例えば、入力画像中で動く物体の動き（動きベクトルの方向：Ｖ_ｆ）を検出して、実世界推定部８２２に出力する。
【１０８６】
ステップＳ８２３において、実世界推定部８２２は、動き検出部８２１より入力される動きの情報と、入力画像の情報に基づいて、現実世界を表現するフレーム方向の関数Ｆ（ｔ）に近似的に記述する、多項式からなる関数ｆ（ｔ）の係数を求めて、誤差演算部８２３に出力する。すなわち、現実世界を表現する関数ｆ（ｔ）は、以下の式（８９）のような１次元多項式で示される。
【１０８７】
【数６４】

【１０８８】
ここで、ｗｉは、多項式の係数であり、実世界推定部８２２は、この係数ｗｉを求めて、誤差演算部８２３に出力する。さらに、動き検出部８２１より入力される動きにより、定常性の動きを求めることができる（Ｖ_ｆ＝ｔａｎ^−１θｖ，Ｖ_ｆ：動きベクトルのフレーム方向の傾き，θｖ：動きベクトルのフレーム方向の角度）ので、この傾きの拘束条件を代入することにより、上述の式（８９）の式は、以下の式（９０）で示されるように、２次元多項式で記述することができる。
【１０８９】
【数６５】

【１０９０】
すなわち、上述の式（９０）は、式（８９）で記述される１次元の近似関数ｆ（ｔ）が、空間方向Ｙに平行移動することにより生じるずれ幅を、シフト量αｔ（＝−ｄｙ／Ｖ_ｆ：ｄｙは、空間方向Ｙへの変化量）で表現することにより得られる２次元の関数ｆ（ｔ，ｙ）を記述している。
【１０９１】
したがって、実世界推定部８２２は、入力画像と、定常性の動きの情報を用いて、上述の式（９０）の各係数ｗｉを解いて、求められた係数ｗｉを誤差演算部８２３に出力する。
【１０９２】
ここで、図１７０のフローチャートの説明に戻る。
【１０９３】
ステップＳ８２４において、誤差演算部８２３は、実世界推定部８２２より入力された係数から、各画素についてフレーム方向に積分を実行する。すなわち、誤差演算部８２３は、実世界推定部８２２より入力された係数から、上述の式（９０）を、以下の式（９１）で示されるように、各画素について積分する。
【１０９４】
【数６６】

【１０９５】
ここで、Ｓ_ｔは、図１７１で示されるフレーム方向の積分結果を示す。また、その積分範囲は、図１７１で示すように、フレーム方向Ｔについては、Ｔ_ｍ乃至Ｔ_ｍ＋Ｂであり、空間方向Ｙについては、ｙ_ｍ乃至ｙ_ｍ＋Ａである。また、図１７１においては、各マス目（正方形）は、１画素を示すものとし、フレーム方向Ｔ、および、空間方向Ｙのいずれも１であるものとする。ここで、フレーム方向Ｔについて１であるとは、１フレーム分のシャッタ時間を１とすることである。
【１０９６】
従って、誤差演算部８２３は、図１７２で示されるように、近似関数ｆ（ｔ，ｙ）で示される曲面の空間方向ＴについてＴ_ｍ乃至Ｔ_ｍ＋１、および、空間方向Ｙについてｙ_ｍ乃至ｙ_ｍ＋１（Ａ＝Ｂ＝１）で、以下の式（９２）で示されるような積分演算を各画素について実行し、実世界を近似的に表現する関数から得られる各画素の画素値Ｐ_ｔを演算する。
【１０９７】
【数６７】

【１０９８】
すなわち、この処理により、誤差演算部８２３は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【１０９９】
ステップＳ８２５において、誤差演算部８０３は、上述の式（９２）で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部８２４に出力する。すなわち、誤差演算部８２３は、上述の図１７１，図１７２で示した積分範囲（空間方向ＴについてＴ_ｍ乃至Ｔ_ｍ＋１、および、空間方向Ｙについてｙ_ｍ乃至ｙ_ｍ＋１）に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部８２４に出力する。
【１１００】
ステップＳ８２６において、比較部８２４は、誤差演算部８２３より入力された積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【１１０１】
ステップＳ８２６において、誤差が所定の閾値以下であると判定された場合、ステップＳ８２７において、比較部８２４は、積分により得られた画素値が、入力画像の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、実世界の光信号の光の強度分布と十分に近似されているとみなし、今処理した画素の領域は、処理領域として認識する。より詳細には、比較部８２４は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【１１０２】
一方、ステップＳ８２６において、誤差が所定の閾値以下ではないと判定された場合、ステップＳ８２８において、比較部８２４は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部８２４は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【１１０３】
ステップＳ８２９において、比較部８２４は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップＳ８２２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップＳ８２２乃至Ｓ８２９の処理が繰り返される。
【１１０４】
ステップＳ８２９において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップＳ８３０において、比較部８２４は、図示せぬメモリに記憶されている、入力画像について、後段の処理においてフレーム方向の定常性情報に基づいた処理がなされる処理領域と、フレーム方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【１１０５】
以上の処理によれば、定常性情報に基づいて演算された近似関数ｆ（ｔ）を用いた各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１１０６】
図１６５および図１６９のデータ定常性情報検出部１０１の構成を組み合わせて、時空間方向のうち、いずれか１次元を選択して、選択的に領域情報を出力させるようにしてもよい。
【１１０７】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する各画素の画素値が少なくとも１次元方向の積分効果により取得された画素値であるとして現実世界の光信号に対応する関数を近似することにより、現実世界の光信号に対応する関数を推定し、推定した関数を少なくとも１次元方向の各画素に対応する単位で積分することにより取得される画素値と、各画素の画素値との差分値を検出し、差分値に応じて関数を選択的に出力するようにしたので、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることが可能となり、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１１０８】
次に、図１７３を参照して、定常性の角度をより高精度に、かつ、より高速で求められるようにした定常性検出部１０１について説明する。
【１１０９】
簡易式角度検出部９０１は、実質的に、図９５を参照して説明した定常性検出部１０１と同様のものであり、注目画素に対応するブロックと、周辺画素のブロックとを比較し、注目画素に対応するブロックと周辺画素のブロックとの相関が最も強い注目画素と周辺画素との角度の範囲を検出する、いわゆる、ブロックマッチングにより、例えば、１６方位（例えば、データの定常性の角度をθとする場合、後述する図１７８における０≦θ＜１８．４，１８．４≦θ＜２６．０５，２６．０５≦θ＜３３．７，３３．７≦θ＜４５，４５≦θ＜５６．３，５６．３≦θ＜６３．９５，６３．９５≦θ＜７１．６，７１．６≦θ＜９０，９０≦θ＜１０８．４，１０８．４≦θ＜１１６．０５，１１６．０５≦θ＜１２３．７，１２３．７≦θ＜１３５，１３５≦θ＜１４６．３，１４６．３≦θ＜１５３．９５，１５３．９５≦θ＜１６１．６、および、１６１．６≦θ＜１８０の１６個の範囲）の何れかの範囲であるかを簡易的に定常性の角度を検出して、それぞれの中央値（または、その範囲内の代表値）を判定部９０２に出力する。
【１１１０】
判定部９０２は、簡易式角度検出部９０１より入力された、簡易的に求められている定常性の角度の情報に基づいて、入力された角度が、垂直方向に近い角度であるか、または、水平方向に近い角度であるか、それ以外かを判定し、判定結果に応じて、スイッチ９０３を制御して、端子９０３ａ，ｂのいずれかに接続して、入力画像を回転式角度検出部９０４、または、勾配式角度検出部９０５に供給すると共に、スイッチ９０３を端子９０３ａに接続するとき、簡易式角度検出部９０１より入力された簡易式に求められた角度の情報を回帰式角度検出部９０４に供給する。
【１１１１】
より詳細には、判定部９０２は、簡易式角度検出部９０１より供給された定常性の方向が、水平方向、または、垂直方向に近い角度であると判定した場合（例えば、簡易式角度検出部９０１より入力された定常性の角度θが、０≦θ≦１８．４，７１．６≦θ≦１０８．４、または、１６１．６≦θ≦１８０の場合）、スイッチ９０３を端子９０３ａに接続して入力画像を回帰式角度検出部９０４に供給し、それ以外の場合、すなわち、定常性の方向が４５度、または、１３５度に近い場合、スイッチ９０３を端子９０３ｂに接続して入力画像を勾配式角度検出部９０５に供給する。
【１１１２】
回帰式角度検出部９０４は、実質的には、上述の図１０７を参照して説明した定常性検出部１０１に類似した構成であり、回帰的に（注目画素の画素値と、注目画素に対応する領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて検出された回帰線により求められる）データの定常性の角度検出を実行し、検出した角度をデータ定常性情報として実世界推定部１０２に出力する。ただし、回帰式角度検出部９０４は、角度の検出にあたり、判定部９０２より供給された角度に基づいて、注目画素に対応する範囲（スコープ）を限定して、度数を設定し、回帰的に角度を検出する。
【１１１３】
勾配式角度検出部９０５は、実質的には、図１２４を参照して説明した定常性検出部１０１と同様のものであり、注目画素に対応するブロック（上述のダイナミックレンジブロック）の画素値の最大値と最小値の差分、すなわち、ダイナミックレンジに基づいて（実質的に、ダイナミックレンジブロックの画素値の最大値と最小値の勾配に基づいて）、データの定常性の角度を検出し、データの定常性情報として実世界推定部１０２に出力する。
【１１１４】
次に、図１７４を参照して、簡易式角度検出部９０１の構成について説明するが、実質的に、簡易式角度検出部９０１は、図９５を参照して説明したデータ定常性検出部１０１の構成と同様のものである。従って、図１７４の簡易式角度検出部９０１のデータ選択部９１１、誤差推定部９１２、定常方向導出部９１３、画素選択部９２１−１乃至９２１−Ｌ、推定誤差算出部９２２−１乃至９２２−Ｌ、および、最小誤差角度選択部９２３は、図９５のデータ定常性検出部１０１のデータ選択部４４１、誤差推定部４４２、定常方向導出部４４３、画素選択部４６１−１乃至４６１−Ｌ、推定誤差算出部４６２−１乃至４６２−Ｌ、および、最小誤差角度選択部４４３と同様のものであるので、個々の部位の説明は省略する。
【１１１５】
次に、図１７５を参照して、回帰式角度検出部９０４の構成について説明するが、実質的に、回帰式角度検出部９０４は、図１０７を参照して説明したデータ定常性検出部１０１の構成と類似したものである。従って、図１７５の回帰式角度検出部９０４のフレームメモリ９３１、画素取得部９３２、回帰直線演算部９３４、および、角度算出部９３５は、図１０７のデータ定常性検出部１０１のフレームメモリ５０１、画素取得部５０２、回帰直線演算部５０４、および、角度算出部５０５と同様であるので、その説明は省略する。
【１１１６】
ここで、回帰式角度検出部９０４において、図１０７のデータ定常性検出部１０１と異なるのは、度数検出部９３３である。度数検出部９３３は、図１０７の度数検出部５０３と同様の機能を有するものであるが、さらに、スコープメモリ９３３ａを備えており、判定部９０２より入力された簡易式角度検出部９０１により検出されたデータの定常性の角度に基づいて、スコープメモリ９３３ａに記憶されている注目画素に対する度数を検出する角度の範囲の情報に基づいて、度数を検出して、検出した度数の情報を回帰直線演算部９３４に供給する。
【１１１７】
次に、図１７６を参照して、勾配式角度検出部９０５の構成について説明するが、実質的に、勾配式角度検出部９０５は、図１２４を参照して説明したデータ定常性検出部１０１の構成と同様のものである。従って、図１７６のデータ選択部９４１、データ足し込み部９４２、定常方向導出部９４３、水平・垂直判定部９５１、データ取得部９５２、差分足し込み部９６１、ＭａｘＭｉｎ取得部９６２、差分足し込み部９６３、および、定常方向演算部９７１は、図１２４のデータ定常性検出部１０１のデータ選択部７０１、データ足し込み部７０２、定常方向導出部７０３、水平・垂直判定部７１１、データ取得部７１２、差分足し込み部７２１、ＭａｘＭｉｎ取得部７２２、差分足し込み部７２３、および、定常方向演算部７３１と同様のものであるので、その説明は省略する。
【１１１８】
次に、図１７７のフローチャートを参照して、データの定常性の検出の処理について説明する。
【１１１９】
ステップＳ９０１において、簡易式角度検出部９０１は、簡易式角度検出処理を実行し、検出した角度の情報を判定部９０２に出力する。尚、簡易式角度検出処理は、図１０３のフローチャートを参照して説明したデータの定常性の検出の処理と同様であるので、その説明は省略する。
【１１２０】
ステップＳ９０２において、判定部９０２は、簡易式角度検出部９０１より入力されたデータの定常性の角度の情報に基づいて、データの定常性の角度が、水平方向、または、垂直方向に近い角度であるか否かを判定する。より詳細には、判定部９０２は、例えば、データの定常性の角度が、簡易式角度検出部９０１より入力された定常性の角度θが、０≦θ≦１８．４，７１．６≦θ≦１０８．４、または、１６１．６≦θ≦１８０となる範囲である場合、データの定常性の角度が、水平方向、または、垂直方向に近い角度であると判定する。
【１１２１】
ステップＳ９０２において、データの定常性の角度が水平方向、または、垂直方向の角度であると判定された場合、その処理は、ステップＳ９０３に進む。
【１１２２】
ステップＳ９０３において、判定部９０２は、スイッチ９０３を制御して、端子９０３ａに接続すると共に、簡易式角度検出部９０１より供給されたデータの定常性の角度の情報を回帰式角度検出部９０４に供給する。この処理により、回帰式角度検出部９０４に、入力画像と簡易式角度検出部９０１で検出されたデータの定常性の角度の情報が供給される。
【１１２３】
ステップＳ９０４において、回帰式角度検出部９０４は、回帰式角度検出処理を実行し、検出された角度をデータ定常性情報として実世界推定部１０２に出力する。尚、回帰式角度検出処理については、図１７９を参照して後述する。
【１１２４】
ステップＳ９０５において、簡易式角度検出部９０１のデータ選択部９１１は、全ての画素について処理が終了したか否かを判定し、全ての画素についてその処理が終了していないと判定した場合、その処理は、ステップＳ９０１に戻り、それ以降の処理が繰り返される。
【１１２５】
一方、ステップＳ９０２において、データの定常性の方向が、水平方向、または、垂直方向ではないと判定された場合、その処理は、ステップＳ９０６に進む。
【１１２６】
ステップＳ９０６において、判定部９０２は、スイッチ９０３を制御して、端子９０３ｂに接続する。この処理により、勾配式角度検出部９０５に、入力画像が供給される。
【１１２７】
ステップＳ９０７において、勾配式角度検出部９０５は、勾配式角度検出処理を実行して、角度を検出し、定常性情報として実世界推定部１０２に出力する。尚、勾配式角度検出処理は、実質的に、図１４９のフローチャートを参照して説明したデータの定常性の検出の処理と同様の処理であるので、その説明は、省略する。
【１１２８】
すなわち、ステップＳ９０２の処理により、簡易式角度検出部９０１により検出されたデータの定常性の角度が、図１７８で示されるように図中中心の注目画素を中心とした場合、斜線の無い白色の領域に対応する角度（１８．４＜θ＜７１．６、または、１０８．４＜θ＜１６１．６）であるとき、ステップＳ９０３の処理により、判定部９０２がスイッチ９０３を制御して、端子９０３ａに接続することにより、ステップＳ９０４の処理により、回帰式角度検出部９０４が、相関を利用して回帰直線を求めて、その回帰直線からデータの定常性の角度を検出する。
【１１２９】
また、ステップＳ９０２の処理により、簡易式角度検出部９０１により検出されたデータの定常性の角度が、図１７８で示されるように図中中心の注目画素を中心とした場合、斜線部の領域に対応する角度（０≦θ≦１８．４，７１．６≦θ≦１０８．４、または、１６１．６≦θ≦１８０）であるとき、ステップＳ９０６の処理により、判定部９０２がスイッチ９０３を制御して、端子９０３ｂに接続することにより、ステップＳ９０７の処理により、勾配式角度検出部９０５が、データの定常性の角度を検出する。
【１１３０】
回帰式角度検出部９０４は、注目画素に対応するブロックと周辺画素に対応したブロック間の相関を比較し、最も相関の強いブロックに対応する画素との角度からデータの定常性の角度を求めているため、データの定常性の角度が、水平方向、または、垂直方向に近い場合、最も相関の高いブロックとなる画素は、注目画素から遠く離れた位置となってしまう可能性があるため、正確に相関の強い周辺画素のブロックを検出するには、探索する領域を広くしなければならず、処理が膨大なものとなってしまう恐れがあり、さらには、探索領域を広げることにより、本来定常性の存在しない位置に、偶然にして、注目画素に対応するブロックと相関の強いブロックが検出されてしまう恐れがあり、角度の検出精度が低下してしまう恐れがある。
【１１３１】
これに対して、勾配式角度検出部９０５は、データの定常性の角度が、水平方向、または、垂直方向に近くなるほど、ダイナミックレンジブロック内の画素値の最大値と最小値をとる画素との距離が離れるため、抽出ブロック内に同じ傾き（画素値の変化を示す勾配）を持つ画素が増えることになるので、統計的に処理をすることによりデータの定常性の角度をより高精度に検出することが可能となる。
【１１３２】
一方、勾配式角度検出部９０５は、データの定常性の角度が、４５度、または、１３５度に近い場合、ダイナミックレンジブロック内の最大値と最小値をとる画素間の距離が近くなってしまうため、抽出ブロック内で、同じ傾き（画素値の変化を示す勾配）を持つ画素が減ることになるので、統計的な処理により、データの定常性の角度の精度は低下してしまう。
【１１３３】
これに対して、回帰式角度検出部９０４は、データの定常性の角度が、４５度、または、１３５度付近の場合、注目画素に対応するブロックと、相関の強い画素に対応するブロックの距離が近い位置に存在することになるため、定常性の角度を、より高い精度で検出することが可能である。
【１１３４】
結果として、簡易式角度検出部９０１により検出された角度に基づいて、回帰式角度検出部９０４と、勾配式角度検出部９０５のそれぞれの持つ特性により、処理を切り替えることにより、全ての範囲でデータの定常性の角度を高精度で検出することが可能となる。さらに、高精度でデータの定常性の角度を検出できることから、実世界を正確に推定することができ、最終的に、現実世界の事象に対して、より正確で、より精度の高い（画像）処理結果を得ることが可能となる。
【１１３５】
次に、図１７９のフローチャートを参照して、図１７７のフローチャートにおけるステップＳ９０４の処理である、回帰式角度検出処理について説明する。
【１１３６】
尚、回帰式角度検出部９０４による回帰式角度検出処理は、図１１４のフローチャートを参照して説明したデータの定常性の検出の処理と類似しており、図１７９のフローチャートにおけるステップＳ９２１乃至Ｓ９２２、および、ステップＳ９２４乃至Ｓ９２７の処理は、図１１４のフローチャートにおけるステップＳ５０１乃至Ｓ５０６の処理と同様であるので、その説明は省略する。
【１１３７】
ステップＳ９２３において、度数検出部９３３は、スコープメモリ９３３ａを参照して、判定部９０２より供給された簡易式角度検出部９０１により検出されたデータの定常性の角度の情報に基づいて、スコープ範囲外の画素を処理対象から排除する。
【１１３８】
すなわち、例えば、簡易式角度検出部９０１により検出された角度θの範囲が、４５≦θ＜５６．３である場合、スコープメモリ９３３ａには、その範囲に対応するスコープとして、図１８０で示される斜線部分に対応する画素の範囲を記憶しており、度数検出部９３３は、スコープに対応する範囲以外の画素は処理対象範囲から排除する。
【１１３９】
より詳細な、各角度に応じたスコープの範囲の例としては、例えば、簡易式角度検出部９０１により検出されたデータの定常性の角度が５０度の場合、図１８１で示されるように、スコープ範囲の画像とスコープ範囲外の画素が予め定義される。尚、図１８１においては、注目画素を中心とした３１画素×３１画素の範囲の場合の例であり、０と１で示される各配置が画素位置を示し、図中中央の丸印で囲まれた位置が注目画素の位置である。また、１で示される位置の画素がスコープ範囲内の画素であり、０で示される位置の画素がスコープ範囲外の画素である。尚、以下、図１８２乃至図１８３においても同様である。
【１１４０】
すなわち、図１８１で示されるように、スコープ範囲となる画素が注目画素を中心として約角度５０度に沿って、一定の範囲の幅を持って配置されている。
【１１４１】
また、同様にして、簡易式角度検出部９０１により検出された角度が、６０度であった場合、図１８２で示されるように、スコープ範囲となる画素が注目画素を中心として約角度６０度に沿って、一定の範囲の幅を持って配置されている。
【１１４２】
さらに、簡易式角度検出部９０１により検出された角度が、６７度であった場合、図１８３で示されるように、スコープ範囲となる画素が注目画素を中心として約角度６７度に沿って、一定の範囲の幅を持って配置されている。
【１１４３】
また、簡易式角度検出部９０１により検出された角度が、８１度であった場合、図１８４で示されるように、スコープ範囲となる画素が注目画素を中心として約角度８１度に沿って、一定の範囲の幅を持って配置されている。
【１１４４】
以上のように、スコープ範囲外の画素が処理対象範囲から排除されることにより、ステップＳ９２４の処理である各画素値を度数に変換する処理において、データの定常性から離れた位置に存在する画素の処理を省くことができ、処理の対象とすべきデータの定常性の方向に沿った相関の高い画素のみを処理することになるので、処理速度を向上させることができる。さらに、処理の対象とすべきデータの定常性の方向に沿った相関の高い画素のみを用いて、度数を求めることができるので、より高い精度でデータの定常性の角度を検出することが可能となる。
【１１４５】
尚、スコープ範囲に属する画素は、図１８１乃至図１８４で示した範囲に限るものではなく、注目画素を中心として、簡易式角度検出部９０１により検出された角度に沿った位置に存在する様々な幅を持った範囲の複数の画素からなる範囲であってよい。
【１１４６】
また、図１７３を参照して説明したデータ定常性検出部１０１においては、判定部９０２が、簡易式角度検出部９０１により検出されたデータの定常性の角度の情報に基づいて、スイッチ９０３を制御して、入力画像の情報を回帰式角度検出部９０４、または、勾配式角度検出部９０５のいずれかに入力させるようにしていたが、回帰式角度検出部９０４、または、勾配式角度検出部９０５のいずれにも入力画像を入力させて、角度検出処理をさせた後、簡易式角度検出部９０１により検出されたデータの定常性の角度の情報に基づいて、いずれかの処理で検出された角度の情報を出力させるようにしてもよい。
【１１４７】
図１８５は、回帰式角度検出部９０４、または、勾配式角度検出部９０５のいずれにも入力画像を入力させて、角度検出処理をさせた後、簡易式角度検出部９０１により検出されたデータの定常性の角度の情報に基づいて、いずれかの処理で検出された角度の情報を出力させるようにしたデータ定常性検出部１０１の構成を示している。尚、図１７３のデータ定常性検出部１０１と同様の構成については、同一の符号を付しており、その説明は適宜省略する。
【１１４８】
図１８５のデータ定常性検出部１０１の構成において、図１７３のデータ定常性検出部１０１の構成と異なるのは、スイッチ９０３を削除して、入力画像のデータを回帰式角度検出部９０４、または、勾配式角度検出部９０５のいずれにも入力させ、それぞれの出力側にスイッチ９８２を設けて、それぞれ端子９８２ａ，ｂの接続を切り替えることにより、いずれかの方法で検出された角度の情報を出力するようにしている点である。尚、図１８５のスイッチ９８２は、実質的に、図１７３のスイッチ９０３と同様のものであるので、その説明は省略する。
【１１４９】
次に、図１８６のフローチャートを参照して、図１８５のデータ定常性検出部１０１による、データの定常性の検出の処理について説明する。尚、図１８６のフローチャートにおけるステップＳ９４１，Ｓ９４３乃至Ｓ９４５，Ｓ９４７の処理は、図１７７のフローチャートにおけるステップＳ９０１，Ｓ９０４，Ｓ９０７，Ｓ９０２，Ｓ９０５の処理と同様であるので、その説明は省略する。
【１１５０】
ステップＳ９４２において、判定部９０２は、簡易式角度検出部９０１より入力されたデータの定常性の角度の情報を回帰式角度検出部９０４に出力する。
【１１５１】
ステップＳ９４６において、判定部９０２は、スイッチ９８２を制御して、端子９８２ａに接続する。
【１１５２】
ステップＳ９４８において、判定部９０２は、スイッチ９８２を制御して、端子９８２ｂに接続する。
【１１５３】
尚、図１８６のフローチャートにおいて、ステップＳ９４３，Ｓ９４４の処理順序は入れ替わってもよい。
【１１５４】
以上によれば、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を、簡易式角度検出部９０１がマッチング処理により検出し、検出した角度に対応する所定領域内の画像データに基いて、回帰式角度検出部９０４か、または、勾配式角度検出部９０５が統計処理により角度を検出するようにしたので、より高速で、かつ、より高精度でデータの定常性の角度を検出することが可能となる。
【１１５５】
次に、実世界１の信号の推定について説明する。
【１１５６】
図１８７は、実世界推定部１０２の構成を示すブロック図である。
【１１５７】
図１８７に構成を示す実世界推定部１０２においては、入力画像、および定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号である画像における、細線の幅が検出され、細線のレベル（実世界１の信号の光の強度）が推定される。
【１１５８】
線幅検出部２１０１は、定常性検出部１０１から供給された、細線の画像が射影された画素からなる、細線領域である定常領域を示すデータ定常性情報を基に、細線の幅を検出する。線幅検出部２１０１は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部２１０２に供給する。
【１１５９】
信号レベル推定部２１０２は、入力画像、線幅検出部２１０１から供給された細線の幅を示す細線幅情報、およびデータ定常性情報を基に、実世界１の信号である、細線の画像のレベル、すなわち光の強度のレベルを推定し、細線の幅および細線の画像のレベルを示す実世界推定情報を出力する。
【１１６０】
図１８８および図１８９は、実世界１の信号における、細線の幅を検出する処理を説明する図である。
【１１６１】
図１８８および図１８９において、太線で囲む領域（４つの四角からなる領域）は、１つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示し、丸は、細線領域の重心を示す。図１８８および図１８９において、斜線は、センサ２に入射された細線の画像を示す。斜線は、センサ２に、実世界１の細線の画像が射影された領域を示しているとも言える。
【１１６２】
図１８８および図１８９において、Ｓは、細線領域の重心の位置から算出される傾きを示し、Ｄは、細線領域の重複である。ここで、傾きＳは、細線領域が隣接しているので、画素を単位とした、重心と重心との距離である。また、細線領域の重複Ｄとは、２つの細線領域において、隣接している画素の数である。
【１１６３】
図１８８および図１８９において、Ｗは、細線の幅を示す。
【１１６４】
図１８８において、傾きＳは、２であり、重複Ｄは、２である。
【１１６５】
図１８９において、傾きＳは、３であり、重複Ｄは、１である。
【１１６６】
細線領域が隣接し、細線領域が隣接する方向の重心と重心の距離は、１画素であるので、Ｗ：Ｄ＝１：Ｓが成立し、細線の幅Ｗは、重複Ｄ／傾きＳで求めることができる。
【１１６７】
例えば、図１８８で示されるように、傾きＳは、２であり、重複Ｄは、２であるとき、２／２は、１であるから、細線の幅Ｗは、１である。また、例えば、図１８９で示されるように、傾きＳは、３であり、重複Ｄは、１であるとき、細線の幅Ｗは、１／３である。
【１１６８】
線幅検出部２１０１は、このように、細線領域の重心の位置から算出される傾き、および細線領域の重複から、細線の幅を検出する。
【１１６９】
図１９０は、実世界１の信号における、細線の信号のレベルを推定する処理を説明する図である。
【１１７０】
図１９０において、太線で囲む領域（４つの四角からなる領域）は、１つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示す。図１９０において、Ｅは、細線領域の画素を単位とした、細線領域の長さを示し、Ｄは、細線領域の重複（他の細線領域に隣接している画素の数）である。
【１１７１】
細線の信号のレベルは、処理単位（細線領域）内で一定であると近似し、細線が射影された画素の画素値に射影された、細線以外の画像のレベルは、隣接している画素の画素値に対するレベルに等しいと近似する。
【１１７２】
細線の信号のレベルをＣとしたとき、細線領域に射影された信号（画像）における、図中の、細線の信号が射影された部分の左側の部分のレベルをＡとし、図中の、細線の信号が射影された部分の右側の部分のレベルをＢとする。
【１１７３】
このとき、式（９３）が成立する。
【１１７４】
細線領域の画素値の総和＝（Ｅ−Ｄ）／２＊Ａ＋（Ｅ−Ｄ）／２＊Ｂ＋Ｄ＊Ｃ ・・・（９３）
【１１７５】
細線の幅が一定であり、細線領域の幅は、１画素なので、細線領域の細線（の信号が射影された部分）の面積は、細線領域の重複Ｄに等しい。細線領域の幅は、１画素なので、細線領域の画素を単位とした、細線領域の面積は、細線領域の長さＥに等しい。
【１１７６】
細線領域のうち、細線の左側の面積は、（Ｅ−Ｄ）／２である。細線領域のうち、細線の右側の面積は、（Ｅ−Ｄ）／２である。
【１１７７】
式（９３）の右辺の第１項は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（９４）で表すことができる。
【１１７８】
【数６８】

【１１７９】
式（９４）において、Ａ_ｉは、左側に隣接している画素の画素値を示す。
【１１８０】
式（９４）において、α_ｉは、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、α_ｉは、細線領域の画素の画素値に含まれている、左側に隣接している画素の画素値と同じ画素値の割合を示す。
【１１８１】
ｉは、細線領域の左側に隣接している画素の位置を示す。
【１１８２】
例えば、図１９０において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ_０と同じ画素値の割合は、α_０である。図１９０において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ_１と同じ画素値の割合は、α_１である。図１９０において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ_２と同じ画素値の割合は、α_２である。
【１１８３】
式（９３）の右辺の第２項は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（９５）で表すことができる。
【１１８４】
【数６９】

【１１８５】
式（９５）において、Ｂ_ｊは、右側に隣接している画素の画素値を示す。
【１１８６】
式（９５）において、β_ｊは、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、β_ｊは、細線領域の画素の画素値に含まれている、右側に隣接している画素の画素値と同じ画素値の割合を示す。
【１１８７】
ｊは、細線領域の右側に隣接している画素の位置を示す。
【１１８８】
例えば、図１９０において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ_０と同じ画素値の割合は、β_０である。図１９０において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ_１と同じ画素値の割合は、β_１である。図１９０において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ_２と同じ画素値の割合は、β_２である。
【１１８９】
このように、信号レベル推定部２１０２は、式（９４）および式（９５）を基に、細線領域に含まれる画素値のうちの、細線以外の画像の画素値を算出し、式（９３）を基に、細線領域の画素値から細線以外の画像の画素値を除去することにより、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を求める。そして、信号レベル推定部２１０２は、細線のみの画像の画素値と細線の面積とから、細線の信号のレベルを求める。より具体的には、信号レベル推定部２１０２は、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を、細線領域の細線の面積、すなわち細線領域の重複Ｄで割り算することにより、細線の信号のレベルを算出する。
【１１９０】
信号レベル推定部２１０２は、実世界１の信号における、細線の幅、および細線の信号のレベルを示す実世界推定情報を出力する。
【１１９１】
本発明の手法では、細線の波形を画素ではなく幾何学的に記述しているので、どのような解像度でも使用することができる。
【１１９２】
次に、ステップＳ１０２の処理に対応する、実世界の推定の処理を図１９１のフローチャートを参照して説明する。
【１１９３】
ステップＳ２１０１において、線幅検出部２１０１は、データ定常性情報を基に、細線の幅を検出する。例えば、線幅検出部２１０１は、細線領域の重心の位置から算出される傾き、および細線領域の重複から、重複を傾きで割り算することにより、実世界１の信号における、細線の幅を推定する。
【１１９４】
ステップＳ２１０２において、信号レベル推定部２１０２は、細線の幅、および細線領域に隣接する画素の画素値を基に、細線の信号のレベルを推定し、推定された細線の幅および細線の信号のレベルを示す実世界推定情報を出力して、処理は終了する。例えば、信号レベル推定部２１０２は、細線領域に含まれる細線以外の画像が射影された画素値を算出し、細線領域から細線以外の画像が射影された画素値を除去することにより、細線のみの画像が射影された画素値を求めて、求められた細線のみの画像が射影された画素値と細線の面積とから、細線の信号のレベルを算出することにより、実世界１の信号における、細線のレベルを推定する。
【１１９５】
このように、実世界推定部１０２は、実世界１の信号の細線の幅およびレベルを推定することができる。
【１１９６】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第１の画像データの、データの定常性を検出し、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第１の画像データの定常性から現実世界の光信号の波形を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の光信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【１１９７】
図１９２は、実世界推定部１０２の他の構成を示すブロック図である。
【１１９８】
図１９２に構成を示す実世界推定部１０２においては、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、領域が再度検出され、再度検出された領域を基に、実世界１の信号である画像における、細線の幅が検出され、実世界１の信号の光の強度（レベル）が推定される。例えば、図１９２に構成を示す実世界推定部１０２においては、細線の画像が射影された画素からなる定常性領域が再度検出され、再度検出された領域を基に、実世界１の信号である画像における、細線の幅が検出され、実世界１の信号の光の強度が推定される。
【１１９９】
データ定常性検出部１０１から供給され、図１９２に構成を示す実世界推定部１０２に入力されるデータ定常性情報には、データ３である入力画像のうちの、細線の画像が射影された定常成分以外の非定常成分を示す非定常成分情報、定常領域の中の単調増減領域を示す単調増減領域情報、および定常領域を示す情報などが含まれている。例えば、データ定常性情報に含まれる非定常成分情報は、入力画像における背景などの非定常成分を近似する平面の傾きおよび切片からなる。
【１２００】
実世界推定部１０２に入力されたデータ定常性情報は、境界検出部２１２１に供給される。実世界推定部１０２に入力された入力画像は、境界検出部２１２１および信号レベル推定部２１０２に供給される。
【１２０１】
境界検出部２１２１は、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成し、定常成分のみからなる画像を基に、画素に射影された、実世界１の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から細線領域の境界を示す回帰直線を算出することにより、定常領域である細線領域を再び検出する。
【１２０２】
図１９３は、境界検出部２１２１の構成を示すブロック図である。
【１２０３】
分配比算出部２１３１は、データ定常性情報、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成する。より具体的には、分配比算出部２１３１は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。
【１２０４】
なお、分配比算出部２１３１は、入力画像の画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成するようにしてもよい。
【１２０５】
分配比算出部２１３１は、生成された定常成分のみからなる画像を基に、実世界１の信号である細線の画像が、定常領域の中の隣り合う単調増減領域に属する２つの画素に分配された割合を示す分配比を算出する。分配比算出部２１３１は、算出した分配比を回帰直線算出部２１３２に供給する。
【１２０６】
図１９４乃至図１９６を参照して、分配比算出部２１３１における、分配比の算出の処理を説明する。
【１２０７】
図１９４の左側の２列の数値は、入力画像の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、算出された画像のうち、縦に２列の画素の画素値を示す。図１９４の左側の四角で囲む２つの領域は、隣り合う２つの単調増減領域である、単調増減領域２１４１−１および単調増減領域２１４１−２を示す。すなわち、単調増減領域２１４１−１および単調増減領域２１４１−２に示す数値は、データ定常性検出部１０１において検出された定常性領域である単調増減領域に属する画素の画素値を示す。
【１２０８】
図１９４の右側の１列の数値は、図１９４の左側の２列の画素の画素値のうち、横に並ぶ画素の画素値を加算した値を示す。すなわち、図１９４の右側の１列の数値は、縦に１列の画素からなる単調増減領域であって、２つの隣接するものについて、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値を示す。
【１２０９】
例えば、それぞれ、縦に１列の画素からなり、隣接する単調増減領域２１４１−１および単調増減領域２１４１−２のいずれかに属し、横に隣接する画素の画素値が、２および５８であるとき、加算した値は、６０である。それぞれ、縦に１列の画素からなり、隣接する単調増減領域２１４１−１および単調増減領域２１４１−２のいずれかに属し、横に隣接する画素の画素値が、１および６５であるとき、加算した値は、６６である。
【１２１０】
図１９４の右側の１列の数値、すなわち、縦に１列の画素からなり、２つの隣接する単調増減領域の横方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となることがわかる。
【１２１１】
同様に、横に１列の画素からなり、２つの隣接する単調増減領域の縦方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となる。
【１２１２】
分配比算出部２１３１は、２つの隣接する単調増減領域の隣接する画素について、細線の画像が射影された画素値を加算した値が、ほぼ一定となる性質を利用して、細線の画像が１列の画素の画素値にどのように分配されているかを算出する。
【１２１３】
分配比算出部２１３１は、図１９５に示すように、縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する画素の画素値を、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値で割り算することにより、２つの隣接する単調増減領域に属する各画素について、分配比を算出する。ただし、算出された結果、１００を超える分配比には、１００が設定される。
【１２１４】
例えば、図１９５に示すように、縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ２および５８であるとき、加算した値が６０なので、それぞれの画素に対して、３．５および９５．０である分配比が算出される。縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ１および６５であるとき、加算した値が６５なので、それぞれの画素に対して、１．５および９８．５である分配比が算出される。
【１２１５】
この場合において、３つの単調増減領域が隣接する場合、どちらの列から計算するかは、図１９６で示されるように、横に隣接する画素毎に、細線の画像が射影された画素値を加算した、２つの値のうち、頂点Ｐの画素値により近い値を基に、分配比が算出される。
【１２１６】
例えば、頂点Ｐの画素値が８１であり、注目している単調増減領域に属する画素の画素値が７９であるとき、左側に隣接する画素の画素値が３であり、右側に隣接する画素の画素値が−１である場合、左側に隣接する画素の画素値を加算した値が、８２であり、右側に隣接する画素の画素値を加算した値が、７８なので、頂点Ｐの画素値８１により近い、８２が選択され、左側に隣接する画素を基に、分配比が算出される。同様に、頂点Ｐの画素値が８１であり、注目している単調増減領域に属する画素の画素値が７５であるとき、左側に隣接する画素の画素値が０であり、右側に隣接する画素の画素値が３である場合、左側に隣接する画素の画素値を加算した値が、７５であり、右側に隣接する画素の画素値を加算した値が、７８なので、頂点Ｐの画素値８１により近い、７８が選択され、右側に隣接する画素を基に、分配比が算出される。
【１２１７】
このように、分配比算出部２１３１は、縦に１列の画素からなる単調増減領域について、分配比を算出する。
【１２１８】
分配比算出部２１３１は、同様の処理で、横に１列の画素からなる単調増減領域について、分配比を算出する。
【１２１９】
回帰直線算出部２１３２は、単調増減領域の境界が直線であると仮定して、分配比算出部２１３１において算出された分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【１２２０】
図１９７および図１９８を参照して、回帰直線算出部２１３２における、単調増減領域の境界を示す回帰直線の算出の処理を説明する。
【１２２１】
図１９７において、白丸は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界に位置する画素を示す。回帰直線算出部２１３２は、回帰の処理により、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界について回帰直線を算出する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界に位置する画素との距離の自乗の和が最小となる直線Ａを算出する。
【１２２２】
また、図１９７において、黒丸は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界に位置する画素を示す。回帰直線算出部２１３２は、回帰の処理により、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界について回帰直線を算出する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界に位置する画素との距離の自乗の和が最小となる直線Ｂを算出する。
【１２２３】
回帰直線算出部２１３２は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域を再び検出する。
【１２２４】
図１９８に示すように、回帰直線算出部２１３２は、算出された直線Ａを基に、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ａに最も近い画素から上側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ａに最も近い画素が領域に含まれるように上側の境界を決定する。
【１２２５】
図１９８に示すように、回帰直線算出部２１３２は、算出された直線Ｂを基に、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ｂに最も近い画素から下側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ｂに最も近い画素が領域に含まれるように上側の境界を決定する。
【１２２６】
このように、回帰直線算出部２１３２は、データ定常性検出部１０１により検出された定常領域の境界を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出する。すなわち、回帰直線算出部２１３２は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域である領域を再び検出し、検出した領域を示す領域情報を線幅検出部２１０１に供給する。
【１２２７】
以上のように、境界検出部２１２１は、画素に射影された、実世界１の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。このようにすることで、より正確な単調増減領域を検出することができる。
【１２２８】
図１９２に示す線幅検出部２１０１は、境界検出部２１２１から供給された、再度検出された領域を示す領域情報を基に、図１８７に示す場合と同様の処理で、細線の幅を検出する。線幅検出部２１０１は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部２１０２に供給する。
【１２２９】
図１９２に示す信号レベル推定部２１０２の処理は、図１８７に示す場合と同様の処理なので、その説明は省略する。
【１２３０】
図１９９は、ステップＳ１０２の処理に対応する、図１９２に構成を示す実世界推定部１０２による、実世界の推定の処理を説明するフローチャートである。
【１２３１】
ステップＳ２１２１において、境界検出部２１２１は、データ定常性検出部１０１により検出された定常領域に属する画素の画素値に基づいて、再び領域を検出する、境界検出の処理を実行する。境界検出の処理の詳細は、後述する。
【１２３２】
ステップＳ２１２２およびステップＳ２１２３の処理は、ステップＳ２１０１およびステップＳ２１０２の処理と同様なので、その説明は省略する。
【１２３３】
図２００は、ステップＳ２１２１の処理に対応する、境界検出の処理を説明するフローチャートである。
【１２３４】
ステップＳ２１３１において、分配比算出部２１３１は、単調増減領域を示すデータ定常性情報および入力画像を基に、細線の画像が射影された割合を示す分配比を算出する。例えば、分配比算出部２１３１は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。そして、分配比算出部２１３１は、１列の画素からなる単調増減領域であって、２つの隣接するものに属する画素の画素値を、隣接する画素の画素値の和で割り算することにより、２つの隣接する単調増減領域に属する各画素について、分配比を算出する。
【１２３５】
分配比算出部２１３１は、算出された分配比を回帰直線算出部２１３２に供給する。
【１２３６】
ステップＳ２１３２において、回帰直線算出部２１３２は、細線の画像が射影された割合を示す分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の領域を再び検出する。例えば、回帰直線算出部２１３２は、単調増減領域の境界が直線であると仮定して、単調増減領域の一端の境界を示す回帰直線を算出し、単調増減領域の他の一端の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【１２３７】
回帰直線算出部２１３２は、再び検出された、定常領域の中の領域を示す領域情報を線幅検出部２１０１に供給して、処理は終了する。
【１２３８】
このように、図１９２に構成を示す実世界推定部１０２は、細線の画像が射影された画素からなる領域を再度検出し、再度検出された領域を基に、実世界１の信号である画像における、細線の幅を検出し、実世界１の信号の光の強度（レベル）を推定する。このようにすることで、実世界１の信号に対して、より正確に、細線の幅を検出し、より正確に、光の強度を推定することができる。
【１２３９】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第１の画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて実世界を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【１２４０】
次に、図２０１を参照して、定常性を有する領域における、画素毎の空間方向の近似関数の微分値を実世界推定情報として出力する実世界推定部１０２について説明する。
【１２４１】
参照画素抽出部２２０１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報）を抽出して、近似関数推定部２２０２に出力する。
【１２４２】
近似関数推定部２２０２は、参照画素抽出部２２０１より入力された参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した近似関数を微分処理部２２０３に出力する。
【１２４３】
微分処理部２２０３は、近似関数推定部２２０２より入力された近似関数に基づいて、データ定常性情報の角度（例えば、細線や２値エッジの所定の軸に対する角度：傾き）に応じて、注目画素から生成しようとする画素の位置のシフト量を求め、そのシフト量に応じた近似関数上の位置における微分値（定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の傾きの情報を付加して、これを実世界推定情報として画像生成部１０３に出力する。
【１２４４】
次に、図２０２のフローチャートを参照して、図２０１の実世界推定部１０２による実世界推定の処理について説明する。
【１２４５】
ステップＳ２２０１において、参照画素抽出部２２０１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての角度、および、領域の情報を取得する。
【１２４６】
ステップＳ２２０２において、参照画素抽出部２２０１は、入力画像の未処理画素から注目画素を設定する。
【１２４７】
ステップＳ２２０３において、参照画像抽出部２２０１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２１０に進み、その注目画素については、処理領域外であることを近似関数推定部２２０２を介して、微分処理部２２０３に伝え、これに応じて、微分処理部２２０３が、対応する注目画素についての微分値を０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２１１に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２０４に進む。
【１２４８】
ステップＳ２２０４において、参照画素抽出部２２０１は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部２２０１は、データ定常性の有する角度θが、０度≦θ＜４５度、または、１３５度≦θ＜１８０度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【１２４９】
ステップＳ２２０５において、参照画素抽出部２２０１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部２２０２に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図２０３で示されるように、傾きＧ_ｆが垂直方向に近いと、垂直方向であると判定され、この場合、参照画素抽出部２２０１は、例えば、図２０３で示されるように、図２０３中の中央の画素（０，０）を注目画素とするとき、画素（−１，２），（−１，１），（−１，０），（−１，−１），（−１，−２），（０，２），（０，１），（０，０），（０，−１），（０，−２），（１，２），（１，１），（１，０），（１，−１），（１，−２）のそれぞれの画素値を抽出する。尚、図２０３においては、各画素の水平方向、および、垂直方向の大きさが１であるものとする。
【１２５０】
すなわち、参照画素抽出部２２０１は、注目画素を中心として垂直（上下）方向にそれぞれ２画素×水平（左右）方向にそれぞれ１画素の合計１５画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【１２５１】
逆に、水平方向であると判定された場合、注目画素を中心として垂直（上下）方向にそれぞれ１画素×水平（左右）方向にそれぞれ２画素の合計１５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２０２に出力する。もちろん、参照画素は、上述のように１５画素に限定されるものではなく、それ以外の個数であってもよい。
【１２５２】
ステップＳ２２０６において、近似関数推定部２２０２は、参照画素抽出部２２０１より入力された参照画素の情報に基づいて、最小自乗法により近似関数ｆ（ｘ）を推定し、微分処理部２２０３に出力する。
【１２５３】
すなわち、近似関数ｆ（ｘ）は、以下の式（９６）で示されるような多項式である。
【１２５４】
【数７０】

【１２５５】
このように、式（９６）の多項式の各係数Ｗ_１乃至Ｗ_ｎ＋１が求められれば、実世界を近似する近似関数ｆ（ｘ）が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図２０３で示されるような場合、合計１５画素であるので、多項式の係数は、１５個までしか求められない。そこで、この場合、多項式は、１４次までの多項式とし、係数Ｗ_１乃至Ｗ_１５を求めることにより近似関数を推定するものとする。尚、今の場合、１５次の多項式からなる近似関数ｆ（ｘ）を設定して、連立方程式としてもよい。
【１２５６】
従って、図２０３で示される１５個の参照画素値を用いるとき、近似関数推定部２２０２は、以下の式（９７）を、最小自乗法を用いて解くことにより推定する。
【１２５７】

【１２５８】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【１２５９】
ここで、Ｃｘ（ｔｙ）は、シフト量であり、定常性の傾きがＧ_ｆで示されるとき、Ｃｘ（ｔｙ）＝ｔｙ／Ｇ_ｆで定義される。このシフト量Ｃｘ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｘ）が、傾きＧ_ｆに沿って、連続している（定常性を有している）ことを前提としたとき、空間方向Ｙ＝ｔｙの位置における、空間方向Ｘに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｘ）として定義されている場合、この近似関数ｆ（ｘ）は、空間方向Ｙ＝ｔｙにおいては、傾きＧ_ｆに沿って空間方向ＸについてＣｘ（ｔｙ）だけずれているはずなので、関数は、ｆ（ｘ−Ｃｘ（ｔｙ））（＝ｆ（ｘ−ｔｙ／Ｇ_ｆ））で定義されることになる。
【１２６０】
ステップＳ２２０７において、微分処理部２２０３は、近似関数推定部２２０２より入力された近似関数ｆ（ｘ）に基づいて、生成しようとする画素の位置における、シフト量を求める。
【１２６１】
すなわち、水平方向、および、垂直方向にそれぞれ２倍の密度（合計４倍の密度）となるように画素を生成する場合、微分処理部２２０３は、例えば、まず、垂直方向に２倍の密度となる画素Ｐａ，Ｐｂに２分割するために、図２０４で示されるように、注目画素の中心位置がＰｉｎ（Ｘｉｎ，Ｙｉｎ）での微分値を求めるため、中心位置のＰｉｎ（Ｘｉｎ，Ｙｉｎ）のシフト量を求める。このシフト量は、Ｃｘ（０）となるため、実質的には０となる。尚、図２０４中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａ，Ｐｂは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【１２６２】
ステップＳ２２０８において、微分処理部２２０３は、近似関数ｆ（ｘ）を微分して、近似関数の１次微分関数ｆ（ｘ）’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。すなわち、今の場合、微分処理部２２０３は、微分値ｆ（Ｘｉｎ）’を求め、その位置（今の場合、注目画素（Ｘｉｎ，Ｙｉｎ））と、その画素値、および、定常性の方向の傾きの情報とを付加して出力する。
【１２６３】
ステップＳ２２０９において、微分処理部２２０３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、２倍の密度となるための微分値のみしか求められていない（空間方向Ｙ方向について２倍の密度となるための微分値のみしか求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップＳ２２０７に戻る。
【１２６４】
ステップＳ２２０７において、微分処理部２２０３は、再度、近似関数推定部２２０２より入力された近似関数ｆ（ｘ）に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部２２０３は、今の場合、２分割された画素Ｐａ，Ｐｂのそれぞれを２分割するために必要な微分値をそれぞれ求める。画素Ｐａ，Ｐｂの画素の位置は、図２０４における黒丸で示すそれぞれの位置であるので、微分処理部２２０３は、それぞれの位置に対応するシフト量を求める。画素Ｐａ，Ｐｂのシフト量は、それぞれＣｘ（０．２５），Ｃｘ（−０．２５）となる。
【１２６５】
ステップＳ２２０８において、微分処理部２２０３は、近似関数ｆ（ｘ）を１次微分して、画素Ｐａ，Ｐｂのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。
【１２６６】
すなわち、図２０３で示した参照画素を使用する場合、微分処理部２２０３は、図２０５で示すように、求められた近似関数ｆ（ｘ）について微分関数ｆ（ｘ）’を求め、空間方向Ｘについて、シフト量Ｃｘ（０．２５），Ｃｘ（−０．２５）だけずれた位置となる（Ｘｉｎ−Ｃｘ（０．２５））と（Ｘｉｎ−Ｃｘ（−０．２５））の位置での微分値をそれぞれｆ（Ｘｉｎ−Ｃｘ（０．２５））’，ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【１２６７】
ステップＳ２２０９において、再び、微分処理部２２０３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、４倍の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップＳ２２１１に進む。
【１２６８】
ステップＳ２２１１において、参照画素抽出部２２０１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２０２に戻る。また、ステップＳ２２１１において、全ての画素を処理したと判定した場合、その処理は、終了する。
【１２６９】
上述のように、入力画像について、水平方向、および、垂直方向に４倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、４倍密度の画素を生成するには、合計３個の微分値の情報が必要となる。
【１２７０】
すなわち、図２０４で示されるように、１画素について最終的には、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４の４画素（図２０４において、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、それぞれ略０．５となる）の生成に必要な微分値が必要となるので、４倍密度の画素を生成するには、まず、水平方向、または、垂直方向（今の場合、垂直方向）に２倍密度の画素を生成し（上述の最初のステップＳ２２０７，Ｓ２２０８の処理）、さらに、分割された２画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、水平方向）に分割する（上述の２回目のステップＳ２２０７，Ｓ２２０８の処理）ためである。
【１２７１】
尚、以上の例においては、４倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップＳ２２０７乃至Ｓ２２０９の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【１２７２】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、空間方向の画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【１２７３】
以上の図２０１において説明した実世界推定部１０２においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数ｆ（ｘ）の傾きと同値のものである。
【１２７４】
そこで、次は、図２０６を参照して、近似関数ｆ（ｘ）を求めることなく、画素生成に必要な近似関数ｆ（ｘ）上の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部１０２について説明する。
【１２７５】
参照画素抽出部２２１１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む垂直方向に並ぶ周辺の複数の画素、または、注目画素を含む水平方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部２２１２に出力する。
【１２７６】
傾き推定部２２１２は、参照画素抽出部２２１１より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部１０３に出力する。より詳細には、傾き推定部２２１２は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数ｆ（ｘ）上の注目画素の位置における傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の傾きの情報を実世界推定情報として出力する。
【１２７７】
次に、図２０７のフローチャートを参照して、図２０６の実世界推定部１０２による実世界推定の処理について説明する。
【１２７８】
ステップＳ２２２１において、参照画素抽出部２２１１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての角度、および、領域の情報を取得する。
【１２７９】
ステップＳ２２２２において、参照画素抽出部２２１１は、入力画像の未処理画素から注目画素を設定する。
【１２８０】
ステップＳ２２２３において、参照画像抽出部２２１１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２２８に進み、その注目画素については、処理領域外であることを傾き推定部２２１２に伝え、これに応じて、傾き推定部２２１２が、対応する注目画素についての傾きを０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２２９に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２２４に進む。
【１２８１】
ステップＳ２２２４において、参照画素抽出部２２１１は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部２２１１は、データ定常性の有する角度θが、０度≦θ＜４５度、または、１３５度≦θ＜１８０度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【１２８２】
ステップＳ２２２５において、参照画素抽出部２２１１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部２２１２に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の方向を示す傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、傾きが垂直方向に近いと判定された場合、参照画素抽出部２２１１は、図２０８で示されるように、図２０８中の中央の画素（０，０）を注目画素とするとき、画素（０，２），（０，１），（０，０），（０，−１），（０，−２）のそれぞれの画素値を抽出する。尚、図２０８においては、各画素の大きさが水平方向、および、垂直方向についてそれぞれ１であるものとする。
【１２８３】
すなわち、参照画素抽出部２２１１は、注目画素を中心として垂直（上下）方向にそれぞれ２画素の合計５画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【１２８４】
逆に、水平方向であると判定された場合、注目画素を中心として水平（左右）方向に２画素の合計５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２０２に出力する。もちろん、参照画素は、上述のように５画素に限定されるものではなく、それ以外の個数であってもよい。
【１２８５】
ステップＳ２２２６において、傾き推定部２２１２は、参照画素抽出部２２１１より入力された参照画素の情報と、定常性方向の傾きＧ_ｆに基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Ｙ＝０に対応する近似関数ｆ（ｘ）を基準とした場合、空間方向Ｙ＝−２，−１，１，２に対応する近似関数は、図２０８で示されるように、定常性の傾きＧ_ｆに沿って連続していることになるので、各近似関数は、ｆ（ｘ−Ｃｘ（２）），ｆ（ｘ−Ｃｘ（１）），ｆ（ｘ−Ｃｘ（−１）），ｆ（ｘ−Ｃｘ（−２））のように記述され、空間方向Ｙ＝−２，−１，１，２毎に、各シフト量分だけ空間方向Ｘにずれた関数として表現される。
【１２８６】
そこで、傾き推定部２２１２は、これらのシフト量Ｃｘ（−２）乃至Ｃｘ（２）を求める。例えば、参照画素が、図２０８で示されるように抽出された場合、そのシフト量は、図中の参照画素（０，２）は、Ｃｘ（２）＝２／Ｇ_ｆとなり、参照画素（０，１）は、Ｃｘ（１）＝１／Ｇ_ｆとなり、参照画素（０，０）は、Ｃｘ（０）＝０となり、参照画素（０，−１）は、Ｃｘ（−１）＝−１／Ｇ_ｆとなり、参照画素（０，−２）は、Ｃｘ（−２）＝−２／Ｇ_ｆとなる。
【１２８７】
ステップＳ２２２７において、傾き推定部２２１２は、注目画素の位置における近似関数ｆ（ｘ）上の傾きを演算する（推定する）。例えば、図２０８で示されるように、注目画素について定常性の方向が、垂直方向に近い角度の場合、水平方向に隣接する画素間では画素値が大きく異なるので、垂直方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部２２１２は、垂直方向の画素間の変化をシフト量による空間方向Ｘの変化と捕らえることにより、垂直方向の画素間の差分を水平方向の画素間の差分に置き換えて、注目画素の位置における近似関数ｆ（ｘ）上での傾きを求める。
【１２８８】
すなわち、現実世界を近似的に記述する近似関数ｆ（ｘ）が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図２０９で示されるようなものとなる。ここで、図２０８の各画素の画素値は、上からＰ（０，２），Ｐ（０，１），Ｐ（０，０），Ｐ（０，−１），Ｐ（０，−２）で表される。結果として、注目画素（０，０）近傍の画素値Ｐとシフト量Ｃｘは、（Ｐ，Ｃｘ）＝（Ｐ（０，２），−Ｃｘ（２）），（Ｐ（０，１），−Ｃｘ（１）），（Ｐ（０，−１）），−Ｃｘ（−１）），（Ｐ（０，−２），−Ｃｘ（−２）），（Ｐ（０，０），０）の５組の関係が得られることになる。
【１２８９】
ところで、画素値Ｐ、シフト量Ｃｘ、および、傾きＫｘ（近似関数ｆ（ｘ）上の傾き）は、以下のような式（９８）のような関係が成立することになる。
【１２９０】
Ｐ＝Ｋｘ×Ｃｘ・・・（９８）
【１２９１】
上述の式（９８）は、変数Ｋｘについての１変数の関数であるので、傾き推定部２２１２は、この変数Ｋｘ（傾き）について、１変数の最小自乗法により傾きＫｘを求める。
【１２９２】
すなわち、傾き推定部２２１２は、以下に示すような式（９９）のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部１０３に出力する。
【１２９３】
【数７１】

【１２９４】
ここで、ｉは、上述の参照画素の画素値Ｐとシフト量Ｃの組をそれぞれ識別する番号であり、１乃至ｍである。また、ｍは、注目画素を含む参照画素の個数となる。
【１２９５】
ステップＳ２２２９において、参照画素抽出部２２１１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２２２に戻る。また、ステップＳ２２２９において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【１２９６】
尚、上述の処理により実世界推定情報として出力される傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、２倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【１２９７】
例えば、図２０４で示されるように、水平方向に２倍の密度で、かつ、垂直方向に２倍の密度の空間方向に合計４倍の密度の画素を生成する場合、上述したように、図２０４中のＰｉｎ，Ｐａ，Ｐｂのそれぞれの位置に対応する近似関数ｆ（ｘ）の傾きＫｘを求めるようにすればよい。
【１２９８】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【１２９９】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求めることなく、空間方向の画素の生成必要な位置の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【１３００】
次に、図２１０を参照して、定常性を有する領域における、画素毎のフレーム方向（時間方向）の近似関数上の微分値を実世界推定情報として出力する実世界推定部１０２について説明する。
【１３０１】
参照画素抽出部２２３１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の動き（動きベクトル）、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報）を抽出して、近似関数推定部２２０２に出力する。
【１３０２】
近似関数推定部２２３２は、参照画素抽出部２２３１より入力されたフレーム方向の参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した関数を微分処理部２２３３に出力する。
【１３０３】
微分処理部２２３３は、近似関数推定部２２３２より入力されたフレーム方向の近似関数に基づいて、データ定常性情報の動きに応じて、注目画素から生成しようとする画素の位置のフレーム方向のシフト量を求め、そのシフト量に応じたフレーム方向の近似関数上の位置における微分値（定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の動きの情報を付加して、これを実世界推定情報として画像生成部１０３に出力する。
【１３０４】
次に、図２１１のフローチャートを参照して、図２１０の実世界推定部１０２による実世界推定の処理について説明する。
【１３０５】
ステップＳ２２４１において、参照画素抽出部２２３１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての動き、および、領域の情報を取得する。
【１３０６】
ステップＳ２２４２において、参照画素抽出部２２３１は、入力画像の未処理画素から注目画素を設定する。
【１３０７】
ステップＳ２２４３において、参照画像抽出部２２３１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２５０に進み、その注目画素については、処理領域外であることを近似関数推定部２２３２を介して、微分処理部２２３３に伝え、これに応じて、微分処理部２２３３が、対応する注目画素についての微分値を０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２５１に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２４４に進む。
【１３０８】
ステップＳ２２４４において、参照画素抽出部２２３１は、データ定常性情報に含まれる動きの情報から、データ定常性の有する方向が、空間方向に近い動きか、または、フレーム方向に近い動きであるか否かを判定する。すなわち、図２１２で示されるように、フレーム方向Ｔと空間方向Ｙからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部２２０１は、データ定常性の有する角度θｖが、０度≦θｖ＜４５度、または、１３５度≦θｖ＜１８０度となる場合、注目画素の定常性の動きは、フレーム方向（時間方向）に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、空間方向に近いと判定する。
【１３０９】
ステップＳ２２４５において、参照画素抽出部２２０１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部２２３２に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、角度に応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図２１２で示されるように、動き方向Ｖ_ｆが空間方向に近いと、空間方向であると判定され、この場合、参照画素抽出部２２３１は、例えば、図２１２で示されるように、図２１２中の中央の画素（ｔ，ｙ）＝（０，０）を注目画素とするとき、画素（ｔ，ｙ）＝（−１，２），（−１，１），（−１，０），（−１，−１），（−１，−２），（０，２），（０，１），（０，０），（０，−１），（０，−２），（１，２），（１，１），（１，０），（１，−１），（１，−２）のそれぞれの画素値を抽出する。尚、図２１２においては、各画素のフレーム方向、および、空間方向の大きさが１であるものとする。
【１３１０】
すなわち、参照画素抽出部２２３１は、注目画素を中心として空間（図中の上下）方向にそれぞれ２画素×フレーム（図中の左右）方向にそれぞれ１フレーム分の合計１５画素となるように、フレーム方向に対して空間方向が長い範囲の画素を参照画素として抽出する。
【１３１１】
逆に、フレーム方向であると判定された場合、注目画素を中心として空間（図中の上下）方向にそれぞれ１画素×フレーム（図中の左右）方向にそれぞれ２フレーム分の合計１５画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２３２に出力する。もちろん、参照画素は、上述のように１５画素に限定されるものではなく、それ以外の個数であってもよい。
【１３１２】
ステップＳ２２４６において、近似関数推定部２２３２は、参照画素抽出部２２３１より入力された参照画素の情報に基づいて、最小自乗法により近似関数ｆ（ｔ）を推定し、微分処理部２２３３に出力する。
【１３１３】
すなわち、近似関数ｆ（ｔ）は、以下の式（１００）で示されるような多項式である。
【１３１４】
【数７２】

【１３１５】
このように、式（１００）の多項式の各係数Ｗ_１乃至Ｗ_ｎ＋１が求められれば、実世界を近似するフレーム方向の近似関数ｆ（ｔ）が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図２１２で示されるような場合、合計１５画素であるので、多項式の係数は、１５個までしか求められない。そこで、この場合、多項式は、１４次までの多項式とし、係数Ｗ_１乃至Ｗ_１５を求めることにより近似関数を推定するものとする。尚、今の場合、１５次の多項式からなる近似関数ｆ（ｘ）を設定して、連立方程式としてもよい。
【１３１６】
従って、図２１２で示される１５個の参照画素値を用いるとき、近似関数推定部２２３２は、以下の式（１０１）を、最小自乗法を用いて解くことにより推定する。
【１３１７】

【１３１８】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【１３１９】
ここで、Ｃｔ（ｔｙ）は、シフト量であり、上述のＣｘ（ｔｙ）と同様のものであり、定常性の傾きがＶ_ｆで示されるとき、Ｃｔ（ｔｙ）＝ｔｙ／Ｖ_ｆで定義される。このシフト量Ｃｔ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｔ）が、傾きＶ_ｆに沿って、連続している（定常性を有している）ことを前提としたとき、空間方向Ｙ＝ｔｙの位置における、フレーム方向Ｔに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｔ）として定義されている場合、この近似関数ｆ（ｔ）は、空間方向Ｙ＝ｔｙにおいては、フレーム方向（時間方向）ＴについてＣｔ（ｔｙ）だけずれているはずなので、関数は、ｆ（ｔ−Ｃｔ（ｔｙ））（＝ｆ（ｔ−ｔｙ／Ｖ_ｆ））で定義されることになる。
【１３２０】
ステップＳ２２４７において、微分処理部２２３３は、近似関数推定部２２３２より入力された近似関数ｆ（ｔ）に基づいて、生成しようとする画素の位置における、シフト量を求める。
【１３２１】
すなわち、フレーム方向、および、空間方向にそれぞれ２倍の密度（合計４倍の密度）となるように画素を生成する場合、微分処理部２２３３は、例えば、まず、空間方向に２倍の密度となる画素Ｐａｔ，Ｐｂｔに２分割するために、図２１３で示されるように、注目画素の中心位置がＰｉｎ（Ｔｉｎ，Ｙｉｎ）での微分値を求めるため、中心位置のＰｉｎ（Ｔｉｎ，Ｙｉｎ）のシフト量を求める。このシフト量は、Ｃｔ（０）となるため、実質的には０となる。尚、図２１３中において、画素Ｐｉｎは、（Ｔｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａｔ，Ｐｂｔは、（Ｔｉｎ，Ｙｉｎ＋０．２５）、（Ｔｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。また、注目画素Ｐｉｎのフレーム方向Ｔの長さが１であるとは、１フレーム分のシャッタ時間に対応するものである。
【１３２２】
ステップＳ２２４８において、微分処理部２２３３は、近似関数ｆ（ｔ）を微分して、近似関数の１次微分関数ｆ（ｔ）’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。すなわち、今の場合、微分処理部２２３３は、微分値ｆ（Ｔｉｎ）’を求め、その位置（今の場合、注目画素（Ｔｉｎ，Ｙｉｎ））と、その画素値、および、定常性の方向の動きの情報とを付加して出力する。
【１３２３】
ステップＳ２２４９において、微分処理部２２３３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向に２倍の密度となるための微分値のみしか求められていない（フレーム方向に２倍の密度となるための微分値が求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップＳ２２４７に戻る。
【１３２４】
ステップＳ２２４７において、微分処理部２２０３は、再度、近似関数推定部２２０２より入力された近似関数ｆ（ｔ）に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部２２０３は、今の場合、２分割された画素Ｐａｔ，Ｐｂｔのそれぞれをさらに２分割するために必要な微分値をそれぞれ求める。画素Ｐａｔ，Ｐｂｔの画素の位置は、図２１３における黒丸で示すそれぞれの位置であるので、微分処理部２２３３は、それぞれの位置に対応するシフト量を求める。画素Ｐａｔ，Ｐｂｔのシフト量は、それぞれＣｔ（０．２５），Ｃｔ（−０．２５）となる。
【１３２５】
ステップＳ２２４８において、微分処理部２２３３は、近似関数ｆ（ｔ）を微分して、画素Ｐａｔ，Ｐｂｔのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。
【１３２６】
すなわち、図２１２で示した参照画素を使用する場合、微分処理部２２３３は、図２１４で示すように、求められた近似関数ｆ（ｔ）について微分関数ｆ（ｔ）’を求め、空間方向Ｔについて、シフト量Ｃｔ（０．２５），Ｃｔ（−０．２５）だけずれた位置となる（Ｔｉｎ−Ｃｔ（０．２５））と（Ｔｉｎ−Ｃｔ（−０．２５））の位置での微分値をそれぞれｆ（Ｔｉｎ−Ｃｔ（０．２５））’，ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【１３２７】
ステップＳ２２４９において、再び、微分処理部２２３３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向Ｙとフレーム方向Ｔについてそれぞれ２倍（合計４倍）の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップＳ２２５１に進む。
【１３２８】
ステップＳ２２５１において、参照画素抽出部２２３１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２４２に戻る。また、ステップＳ２２５１において、全ての画素を処理したと判定した場合、その処理は、終了する。
【１３２９】
上述のように、入力画像について、フレーム方向（時間方向）、および、空間方向に４倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、４倍密度の画素を生成するには、合計３個の微分値の情報が必要となる。
【１３３０】
すなわち、図２１３で示されるように、１画素について最終的には、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔの４画素（図２１３において、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、それぞれ略０．５となる）の生成に必要な微分値が必要となるので、４倍密度の画素を生成するには、まず、フレーム方向、または、空間方向に２倍密度の画素を生成し（上述の最初のステップＳ２２４７，Ｓ２２４８の処理）、さらに、分割された２画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、フレーム方向）に分割する（上述の２回目のステップＳ２２４７，Ｓ２２４８の処理）ためである。
【１３３１】
尚、以上の例においては、４倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップＳ２２４７乃至Ｓ２２４９の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【１３３２】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【１３３３】
以上の図２１０において説明した実世界推定部１０２においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数ｆ（ｔ）の傾きと同値のものである。
【１３３４】
そこで、次は、図２１５を参照して、近似関数を求めることなく、画素生成に必要な、近似関数上のフレーム方向の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部１０２について説明する。
【１３３５】
参照画素抽出部２２５１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の動き、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む空間方向に並ぶ周辺の複数の画素、または、注目画素を含むフレーム方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部２２５２に出力する。
【１３３６】
傾き推定部２２５２は、参照画素抽出部２２５１より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部１０３に出力する。より詳細には、傾き推定部２２５２は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数上の注目画素の位置におけるフレーム方向の傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の動きの情報を実世界推定情報として出力する。
【１３３７】
次に、図２１６のフローチャートを参照して、図２１５の実世界推定部１０２による実世界推定の処理について説明する。
【１３３８】
ステップＳ２２６１において、参照画素抽出部２２５１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての動き、および、領域の情報を取得する。
【１３３９】
ステップＳ２２６２において、参照画素抽出部２２５１は、入力画像の未処理画素から注目画素を設定する。
【１３４０】
ステップＳ２２６３において、参照画像抽出部２２５１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２６８に進み、その注目画素については、処理領域外であることを傾き推定部２２５２に伝え、これに応じて、傾き推定部２２５２が、対応する注目画素についての傾きを０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２６９に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２６４に進む。
【１３４１】
ステップＳ２２６４において、参照画素抽出部２２１１は、データ定常性情報に含まれる動きの情報から、データ定常性の動きが、フレーム方向に近い動きか、または、空間方向に近い動きであるか否かを判定する。すなわち、フレーム方向Ｔと空間方向Ｙからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部２２５１は、データ定常性の動きの角度θｖが、０度≦θｖ＜４５度、または、１３５度≦θｖ＜１８０度となる場合、注目画素の定常性の動きは、フレーム方向に近いと判定し、データ定常性の有する角度θｖが、４５度≦θｖ＜１３５度となる場合、注目画素の定常性の動きは、空間方向に近いと判定する。
【１３４２】
ステップＳ２２６５において、参照画素抽出部２２５１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部２２５２に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の動きに応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、動きが空間方向に近いと判定された場合、参照画素抽出部２２５１は、図２１７で示されるように、図２１７中の中央の画素（ｔ，ｙ）＝（０，０）を注目画素とするとき、画素（ｔ，ｙ）＝（０，２），（０，１），（０，０），（０，−１），（０，−２）のそれぞれの画素値を抽出する。尚、図２１７においては、各画素の大きさがフレーム方向、および、空間方向についてそれぞれ１であるものとする。
【１３４３】
すなわち、参照画素抽出部２２５１は、注目画素を中心として空間（図中の上下）方向にそれぞれ２画素の合計５画素となるように、空間方向に長い範囲の画素を参照画素として抽出する。
【１３４４】
逆に、フレーム方向であると判定された場合、注目画素を中心としてフレーム（図中の左右）方向に２画素の合計５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２５２に出力する。もちろん、参照画素は、上述のように５画素に限定されるものではなく、それ以外の個数であってもよい。
【１３４５】
ステップＳ２２６６において、傾き推定部２２５２は、参照画素抽出部２２５１より入力された参照画素の情報と、定常性方向の動きＶ_ｆの方向に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Ｙ＝０に対応する近似関数ｆ（ｔ）を基準とした場合、空間方向Ｙ＝−２，−１，１，２に対応する近似関数は、図２１７で示されるように、定常性の傾きＶ_ｆに沿って連続していることになるので、各近似関数は、ｆ（ｔ−Ｃｔ（２）），ｆ（ｔ−Ｃｔ（１）），ｆ（ｔ−Ｃｔ（−１）），ｆ（ｔ−Ｃｔ（−２））のように記述され、空間方向Ｙ＝−２，−１，１，２毎に、各シフト量分だけフレーム方向Ｔにずれた関数として表現される。
【１３４６】
そこで、傾き推定部２２５２は、これらのシフト量Ｃｔ（−２）乃至Ｃｔ（２）を求める。例えば、参照画素が、図２１７で示されるように抽出された場合、そのシフト量は、図中の参照画素（０，２）は、Ｃｔ（２）＝２／Ｖ_ｆとなり、参照画素（０，１）は、Ｃｔ（１）＝１／Ｖ_ｆとなり、参照画素（０，０）は、Ｃｔ（０）＝０となり、参照画素（０，−１）は、Ｃｔ（−１）＝−１／Ｖ_ｆとなり、参照画素（０，−２）は、Ｃｔ（−２）＝−２／Ｖ_ｆとなる。傾き推定部２２５２は、これらのシフト量Ｃｔ（−２）乃至Ｃｔ（２）を求める。
【１３４７】
ステップＳ２２６７において、傾き推定部２２５２は、注目画素のフレーム方向の傾きを演算する（推定する）。例えば、図２１７で示されるように、注目画素について定常性の方向が、空間方向に近い角度の場合、フレーム方向に隣接する画素間では画素値が大きく異なるので、空間方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部２２５２は、空間方向の画素間の変化をシフト量によるフレーム方向Ｔの変化と捕らえることにより、空間方向の画素間の差分をフレーム方向の画素間の差分に置き換えて、注目画素での傾きを求める。
【１３４８】
すなわち、現実世界を近似的に記述する関数ｆ（ｔ）が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図２１８で示されるようなものとなる。ここで、図２１８の各画素の画素値は、上からＰ（０，２），Ｐ（０，１），Ｐ（０，０），Ｐ（０，−１），Ｐ（０，−２）で表される。結果として、注目画素（０，０）近傍の画素値Ｐとシフト量Ｃｔは、（Ｐ，Ｃｔ）＝（Ｐ（０，２），−Ｃｔ（２）），（Ｐ（０，１），−Ｃｔ（１）），（Ｐ（０，−１）），−Ｃｔ（−１）），（Ｐ（０，−２），−Ｃｔ（−２）），（Ｐ（０，０），０）の５組の関係が得られることになる。
【１３４９】
ところで、画素値Ｐ、シフト量Ｃｔ、および、傾きＫｔ（近似関数ｆ（ｔ）上の傾き）は、以下のような式（１０２）のような関係が成立することになる。
【１３５０】
Ｐ＝Ｋｔ×Ｃｔ・・・（１０２）
【１３５１】
上述の式（１０２）は、変数Ｋｔについての１変数の関数であるので、傾き推定部２２１２は、この変数Ｋｔ（傾き）について、１変数の最小自乗法により傾きＫｔを求める。
【１３５２】
すなわち、傾き推定部２２５２は、以下に示すような式（１０３）のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部１０３に出力する。
【１３５３】
【数７３】

【１３５４】
ここで、ｉは、上述の参照画素の画素値Ｐとシフト量Ｃｔの組をそれぞれ識別する番号であり、１乃至ｍである。また、ｍは、注目画素を含む参照画素の個数となる。
【１３５５】
ステップＳ２２６９において、参照画素抽出部２２５１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２６２に戻る。また、ステップＳ２２６９において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【１３５６】
尚、上述の処理により実世界推定情報として出力されるフレーム方向の傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、２倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【１３５７】
例えば、図２０４で示されるように、水平方向に２倍の密度で、かつ、フレーム方向に２倍の密度の時空間方向に合計４倍の密度の画素を生成する場合、上述したように、図２０４中のＰｉｎ，Ｐａｔ，Ｐｂｔのそれぞれの位置に対応する近似関数ｆ（ｔ）の傾きＫｔを求めるようにすればよい。
【１３５８】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【１３５９】
言うまでもなく、フレーム方向、または、空間方向に対する近似関数上の傾き、または、微分値を求める処理の順序は問わない。さらに、空間方向において、上述の例においては、空間方向Ｙとフレーム方向Ｔとの関係を用いて、説明してきたが、空間方向Ｘとフレーム方向Ｔとの関係を用いたものであってもよい。さらに、時空間方向のいずれか２次元の関係から（いずれから１次元の方向の）傾き、または、微分値を選択的に求めるようにしてもよい。
【１３６０】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データ内の注目画素に対して時空間方向のうち１次元方向の位置に対応する複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定するようにしたので、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現するフレーム方向の近似関数を求めることなく、画素の生成必要な位置のフレーム方向（時間方向）の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【１３６１】
次に、図２１９乃至図２４９を参照して、実世界推定部１０２（図３）の実施の形態の他の例について説明する。
【１３６２】
図２１９は、この例の実施の形態の原理を説明する図である。
【１３６３】
図２１９で示されるように、センサ２に入射される画像である、実世界１の信号（光の強度の分布）は、所定の関数Ｆで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。
【１３６４】
この例の実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数Ｆを所定の関数ｆで近似することによって、光信号関数Ｆを推定する。なお、以下、この例の実施の形態の説明においては、関数ｆを、特に近似関数ｆと称する。
【１３６５】
換言すると、この例の実施の形態においては、実世界推定部１０２が、近似関数ｆで表されるモデル１６１（図７）を用いて、光信号関数Ｆで表される画像（実世界１の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。
【１３６６】
ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。
【１３６７】
図２２０は、センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【１３６８】
図２２０で示されるように、センサ２の平面上には、複数の検出素子２−１が配置されている。
【１３６９】
図２２０の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１３７０】
また、図２２０の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１３７１】
さらに、図２２０の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１３７２】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１３７３】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１０４）で表される。
【１３７４】
【数７４】

【１３７５】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１０４）で示される画素値Ｐを出力することになる。
【１３７６】
図２２１は、センサ２の積分効果の具体的な例を説明する図である。
【１３７７】
図２２１において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２０）を表している。
【１３７８】
実世界１の光信号のうちの１部分（以下、このような部分を、領域と称する）２３０１は、所定の定常性を有する領域の１例を表している。
【１３７９】
なお、実際には、領域２３０１は連続した光信号の１部分（連続した領域）である。これに対して、図２２１においては、領域２３０１は、２０個の小領域（正方形の領域）に区分されているように示されている。これは、領域２３０１の大きさが、Ｘ方向に対して４個分、かつＹ方向に対して５個分のセンサ２の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域２３０１内の２０個の小領域（仮想領域）のそれぞれは１つの画素に相当する。
【１３８０】
また、領域２３０１のうちの図中白い部分は細線に対応する光信号を表している。従って、領域２３０１は、細線が続く方向に定常性を有していることになる。そこで、以下、領域２３０１を、細線含有実世界領域２３０１と称する。
【１３８１】
この場合、細線含有実世界領域２３０１（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０２（以下、細線含有データ領域２３０２と称する）が出力される。
【１３８２】
なお、細線含有データ領域２３０２の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の１つの値を表すデータである。即ち、細線含有実世界領域２３０１は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された細線含有データ領域２３０２に変化してしまう（歪んでしまう）。
【１３８３】
図２２２は、センサ２の積分効果の具体的な他の例（図２２１とは異なる例）を説明する図である。
【１３８４】
図２２２において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２０）を表している。
【１３８５】
実世界１の光信号の１部分（領域）２３０３は、所定の定常性を有する領域の他の例（図２２１の細線含有実世界領域２３０１とは異なる例）を表している。
【１３８６】
なお、領域２３０３は、細線含有実世界領域２３０１と同じ大きさを有する領域である。即ち、細線含有実世界領域２３０１と同様に、領域２３０３も、実際には連続した実世界１の光信号の１部分（連続した領域）であるが、図２２２においては、センサ２の１画素に相当する２０個の小領域（正方形の領域）に区分されているように示されている。
【１３８７】
また、領域２３０３は、所定の第１の光の強度（値）を有する第１の部分と、所定の第２の光の強度（値）を有する第２の部分のエッジを含んでいる。従って、領域２３０３は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域２３０３を、２値エッジ含有実世界領域２３０３と称する。
【１３８８】
この場合、２値エッジ含有実世界領域２３０３（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０４（以下、２値エッジ含有データ領域２３０４と称する）が出力される。
【１３８９】
なお、２値エッジ含有データ領域２３０４の各画素値のそれぞれは、細線含有データ領域２３０２と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、２値エッジ含有実世界領域２３０３は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された２値エッジ含有データ領域２３０４に変化してしまう（歪んでしまう）。
【１３９０】
従来の画像処理装置は、このような細線含有データ領域２３０２や２値エッジ含有データ領域２３０４等、センサ２から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ２から出力された画像データは、積分効果により実世界１の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界１の光信号とは異なるデータを正として画像処理を行っていた。
【１３９１】
その結果、従来の画像処理装置では、センサ２から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。
【１３９２】
そこで、関数近似手法においては、この課題を解決するために、上述したように（図２１９で示されるように）、実世界推定部１０２が、細線含有データ領域２３０２や２値エッジ含有データ領域２３０４のようなセンサ２から出力された画像データ（入力画像）から、光信号関数Ｆ（実世界１の光信号）を近似関数ｆで近似することによって、光信号関数Ｆを推定する。
【１３９３】
これにより、実世界推定部１０２より後段において（いまの場合、図３の画像生成部１０３）、積分効果が考慮された画像データ、即ち、近似関数ｆにより表現可能な画像データを原点として、その処理を実行することが可能になる。
【１３９４】
以下、図面を参照して、このような関数近似手法のうちの３つの具体的な手法（第１乃至第３の関数近似手法）のそれぞれについて個別に説明していく。
【１３９５】
はじめに、図２２３乃至図２３７を参照して、第１の関数近似手法について説明する。
【１３９６】
図２２３は、上述した図２２１で示される細線含有実世界領域２３０１を再度表した図である。
【１３９７】
図２２３において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２０）を表している。
【１３９８】
第１の関数近似手法は、例えば、図２２３で示されるような細線含有実世界領域２３０１に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向（図中矢印２３１１の方向）に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ）と称する）を、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似する手法である。従って、以下、第１の関数近似手法を、特に、１次元多項式近似手法と称する。
【１３９９】
なお、１次元多項式近似手法において、近似の対象となるＸ断面波形Ｆ（ｘ）は、勿論、図２２３の細線含有実世界領域２３０１に対応するものに限定されない。即ち、後述するように、１次元多項式近似手法においては、定常性を有する実世界１の光信号に対応するＸ断面波形Ｆ（ｘ）であれば、いずれのものでも近似することが可能である。
【１４００】
また、光信号関数Ｆ（ｘ，ｙ，ｔ）の射影の方向はＸ方向に限定されず、Ｙ方向またはｔ方向でもよい。即ち、１次元多項式近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した関数Ｆ（ｙ）を、所定の近似関数ｆ（ｙ）で近似することも可能であるし、光信号関数Ｆ（ｘ，ｙ，ｔ）をｔ方向に射影した関数Ｆ（ｔ）を、所定の近似関数ｆ（ｔ）で近似することも可能である。
【１４０１】
より詳細には、１次元多項式近似手法は、例えば、Ｘ断面波形Ｆ（ｘ）を、次の式（１０５）で示されるような、ｎ次の多項式である近似関数ｆ（ｘ）で近似する手法である。
【１４０２】
【数７５】

【１４０３】
即ち、１次元多項式近似手法においては、実世界推定部１０２が、式（１０５）のｘ＾ｉの係数（特徴量）ｗ_ｉを演算することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【１４０４】
この特徴量ｗ_ｉの演算方法は、特に限定されず、例えば、次の第１乃至第３の方法が使用可能である。
【１４０５】
即ち、第１の方法は、従来から利用されている方法である。
【１４０６】
これに対して、第２の方法は、本願出願人が新たに発明した方法であって、第１の方法に対して、さらに、空間方向の定常性を考慮した方法である。
【１４０７】
しかしながら、後述するように、第１の方法と第２の方法においては、センサ２の積分効果が考慮されていない。従って、第１の方法または第２の方法により演算された特徴量ｗ_ｉを上述した式（１０５）に代入して得られる近似関数ｆ（ｘ）は、入力画像の近似関数ではあるが、厳密には、Ｘ断面波形Ｆ（ｘ）の近似関数とは言えない。
【１４０８】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮して特徴量ｗ_ｉを演算する第３の方法を発明した。この第３の方法により演算された特徴量ｗ_ｉを、上述した式（１０５）に代入して得られる近似関数ｆ（ｘ）は、センサ２の積分効果を考慮している点で、Ｘ断面波形Ｆ（ｘ）の近似関数であると言える。
【１４０９】
このように、厳密には、第１の方法と第２の方法は、１次元多項式近似手法とは言えず、第３の方法のみが１次元多項式近似手法であると言える。
【１４１０】
換言すると、図２２４で示されるように、第２の方法は、１次元多項式近似手法とは異なる、本発明の実世界推定部１０２の実施の形態である。即ち、図２２４は、第２の方法に対応する実施の形態の原理を説明する図である。
【１４１１】
図２２４で示されるように、第２の方法に対応する実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、Ｘ断面波形Ｆ（ｘ）を近似するのではなく、センサ２からの入力画像を所定の近似関数ｆ_２（ｘ）で近似する。
【１４１２】
このように、第２の方法は、センサ２の積分効果を考慮せず、入力画像の近似に留まっている点で、第３の方法と同一レベルの手法であるとは言い難い。しかしながら、第２の方法は、空間方向の定常性を考慮している点で、従来の第１の方法よりも優れた手法である。
【１４１３】
以下、第１の方法、第２の方法、および第３の方法のそれぞれの詳細について、その順番で個別に説明していく。
【１４１４】
なお、以下、第１の方法、第２の方法、および第３の方法により生成される近似関数ｆ（ｘ）のそれぞれを、他の方法のものと区別する場合、特に、近似関数ｆ_１（ｘ）、近似関数ｆ_２（ｘ）、および近似関数ｆ_３（ｘ）とそれぞれ称する。
【１４１５】
はじめに、第１の方法の詳細について説明する。
【１４１６】
第１の方法においては、上述した式（１０５）で示される近似関数ｆ_１（ｘ）が、図２２５の細線含有実世界領域２３０１内で成り立つとして、次の予測方程式（１０６）を定義する。
【１４１７】
【数７６】

【１４１８】
式（１０６）において、ｘは、注目画素からのＸ方向に対する相対的な画素位置を表している。ｙは、注目画素からのＹ方向に対する相対的な画素位置を表している。ｅは、誤差を表している。具体的には、例えば、いま、図２２５で示されるように、注目画素が、細線含有データ領域２３０２（細線含有実世界領域２３０１（図２２３）がセンサ２により検出されて、出力されたデータ）のうちの、図中、左からＸ方向に２画素目であって、下からＹ方向に３画素目の画素であるとする。また、注目画素の中心を原点（０，０）とし、センサ２のＸ方向とＹ方向（図２２０）のそれぞれに平行なｘ軸とｙ軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（ｘ，ｙ）が、相対画素位置を表すことになる。
【１４１９】
また、式（１０６）において、Ｐ（ｘ，ｙ）は、相対画素位置（ｘ，ｙ）における画素値を表している。具体的には、いまの場合、細線含有データ領域２３０２内のＰ（ｘ，ｙ）は、図２２６で示されるようになる。
【１４２０】
図２２６は、この画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。
【１４２１】
図２２６において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からのＸ方向の相対位置ｘを表している。また、図中、上から１番目のグラフの点線は入力画素値Ｐ（ｘ，−２）を、上から２番目のグラフの３点鎖線は入力画素値Ｐ（ｘ，−１）を、上から３番目のグラフの実線は入力画素値Ｐ（ｘ，０）を、上から４番目のグラフの１点鎖線は入力画素値Ｐ（ｘ，１）を、上から５番目（下から１番目）のグラフの２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。
【１４２２】
上述した式（１０６）に対して、図２２６で示される２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）（ただし、ｘは、−１乃至２のうちのいずれかの整数値）のそれぞれを代入すると、次の式（１０７）で示される２０個の方程式が生成される。なお、ｅ_ｋ（ｋは、１乃至２０のうちのいずれかの整数値）のそれぞれは、誤差を表している。
【１４２３】
【数７７】

【１４２４】
式（１０７）は、２０個の方程式より構成されているので、近似関数ｆ_１（ｘ）の特徴量ｗ_ｉの個数が２０個より少ない場合、即ち、近似関数ｆ_１（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_ｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１４２５】
例えば、いま、近似関数ｆ_１（ｘ）の次数が５次とされた場合、式（１０７）を利用して最小自乗法により演算された近似関数ｆ_１（ｘ）（演算された特徴量ｗ_ｉにより生成される近似関数ｆ_１（ｘ））は、図２２７で示される曲線のようになる。
【１４２６】
なお、図２２７において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【１４２７】
即ち、図２２５の細線含有データ領域２３０２を構成する２０個の画素値Ｐ（ｘ，ｙ）のそれぞれ（図２２６で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ）を、例えば、ｘ軸に沿ってそのまま足しこむ（Ｙ方向の相対位置ｙを一定とみなして、図２２６で示される５つのグラフを重ねる）と、図２２７で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【１４２８】
ただし、図２２７においては、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。また、同一の画素値の場合、実際には２本以上の線が重なることになるが、図２２７においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【１４２９】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれと、値ｆ_１（ｘ）の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗ_ｉを上述した式（１０４）に代入して得られる近似関数ｆ_１（ｘ））が、図２２７で示される曲線（近似関数ｆ_１（ｘ））となる。
【１４３０】
このように、近似関数ｆ_１（ｘ）は、Ｙ方向の画素値（注目画素からのＸ方向の相対位置ｘが同一の画素値）Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数ｆ_１（ｘ）が生成されている。
【１４３１】
例えば、いまの場合、近似の対象は、細線含有実世界領域２３０１（図２２３）とされている。この細線含有実世界領域２３０１は、図２２８で示されるように、傾きＧ_Ｆで表される空間方向の定常性を有している。なお、図２２８において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２０）を表している。
【１４３２】
従って、データ定常性検出部１０１（図２１９）は、空間方向の定常性の傾きＧ_Ｆに対応するデータ定常性情報として、図２２８で示されるような角度θ（傾きＧ_Ｆに対応する傾きＧ_ｆで表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することができる。
【１４３３】
しかしながら、第１の方法においては、データ定常性検出部１０１より出力されるデータ定常性情報は一切用いられていない。
【１４３４】
換言すると、図２２８で示されるように、細線含有実世界領域２３０１の空間方向の定常性の方向は略角度θ方向である。しかしながら、第１の方法は、細線含有実世界領域２３０１の空間方向の定常性の方向はＹ方向であると仮定して（即ち、角度θが９０度であると仮定して）、近似関数ｆ_１（ｘ）の特徴量ｗ_ｉを演算する方法である。
【１４３５】
このため、近似関数ｆ_１（ｘ）は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第１の方法により生成される近似関数ｆ_１（ｘ）は、実際のＸ断面波形Ｆ（ｘ）とは大きく異なる波形となってしまう。
【１４３６】
そこで、本願出願人は、第１の方法に対して、空間方向の定常性をさらに考慮して（角度θを利用して）特徴量ｗ_ｉを演算する第２の方法を発明した。
【１４３７】
即ち、第２の方法は、細線含有実世界領域２３０１の定常性の方向は略角度θ方向であるとして、近似関数ｆ_２（ｘ） の特徴量ｗ_ｉを演算する方法である。
【１４３８】
具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾きＧ_ｆは、次の式（１０８）で表される。
【１４３９】
【数７８】

【１４４０】
なお、式（１０８）において、ｄｘは、図２２８で示されるようなＸ方向の微小移動量を表しており、ｄｙは、図２２８で示されるようなｄｘに対するＹ方向の微小移動量を表している。
【１４４１】
この場合、シフト量Ｃ_ｘ（ｙ）を、次の式（１０９）のように定義すると、第２の方法においては、第１の方法で利用した式（１０６）に相当する式は、次の式（１１０）のようになる。
【１４４２】
【数７９】

【１４４３】
【数８０】

【１４４４】
即ち、第１の方法で利用した式（１０６）は、画素の中心の位置（ｘ、ｙ）のうちのＸ方向の位置ｘが、同一の位置に位置する画素の画素値Ｐ（ｘ，ｙ）はいずれも同じ値であることを表している。換言すると、式（１０６）は、同じ画素値の画素がＹ方向に続いている（Ｙ方向に定常性がある）ことを表している。
【１４４５】
これに対して、第２の方法で利用する式（１１０）は、画素の中心の位置が（ｘ，ｙ）である画素の画素値Ｐ（ｘ，ｙ）は、注目画素（その中心の位置が原点（０，０）である画素）からＸ方向にｘだけ離れた場所に位置する画素の画素値（≒ｆ_２（ｘ））とは一致せず、その画素からさらにＸ方向にシフト量Ｃ_ｘ（ｙ）だけ離れた場所に位置する画素（注目画素からＸ方向にｘ＋Ｃ_ｘ（ｙ）だけ離れた場所に位置する画素）の画素値（≒ｆ_２（ｘ＋Ｃ_ｘ（ｙ）））と同じ値であることを表している。換言すると、式（１１０）は、同じ画素値の画素が、シフト量Ｃ_ｘ（ｙ）に対応する角度θ方向に続いている（略角度θ方向に定常性がある）ことを表している。
【１４４６】
このように、シフト量Ｃ_ｘ（ｙ）が、空間方向の定常性（いまの場合、図２２８の傾きＧ_Ｆで表される定常性（厳密には、傾きＧ_ｆで表されるデータの定常性））を考慮した補正量であり、シフト量Ｃ_ｘ（ｙ）により式（１０６）を補正したものが式（１１０）となる。
【１４４７】
この場合、図２２５で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）のそれぞれを、上述した式（１１０）に代入すると次の式（１１１）で示される２０個の方程式が生成される。
【１４４８】
【数８１】

【１４４９】
式（１１１）は、上述した式（１０７）と同様に、２０個の方程式より構成されている。従って、第１の方法と同様に第２の方法においても、近似関数ｆ_２（ｘ）の特徴量ｗ_ｉの個数が２０個より少ない場合、即ち、近似関数ｆ_２（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_ｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１４５０】
例えば、第１の方法と同様に近似関数ｆ_２（ｘ）の次数が５次とされた場合、第２の方法においては、次のようにして特徴量ｗ_ｉが演算される。
【１４５１】
即ち、図２２９は、式（１１１）の左辺で示される画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。図２２９で示される５つのグラフのそれぞれは、基本的に図２２６で示されるものと同一である。
【１４５２】
図２２９で示されるように、最大の画素値（細線に対応する画素値）は、傾きＧ_ｆで表されるデータの定常性の方向に続いている。
【１４５３】
そこで、第２の方法においては、図２２９で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむ場合、第１の方法のようにそのまま足しこむ（ｙを一定とみなして、図２２９で示される状態のまま５つのグラフを重ねる）のではなく、図２３０で示される状態に変化させてから足しこむ。
【１４５４】
即ち、図２３０は、図２２９で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、上述した式（１０９）で示されるシフト量Ｃ_ｘ（ｙ）だけシフトさせた状態を表している。換言すると、図２３０は、図２２９で示される５つのグラフを、データの定常性の実際の方向を表す傾きＧ_Ｆを、あたかも傾きＧ_Ｆ’とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。
【１４５５】
図２３０の状態で、入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむと（図２３０で示される状態で５つのグラフを重ねると）、図２３１で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【１４５６】
なお、図２３１において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。また、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。さらに、同一の画素値の場合、実際には２本以上の線が重なることになるが、図２３１においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【１４５７】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，ｙ）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）と、値ｆ_２（ｘ＋Ｃ_ｘ（ｙ））の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗ_ｉを上述した式（１０４）に代入して得られる近似関数ｆ_２（ｘ））は、図２３１の実線で示される曲線ｆ_２（ｘ）となる。
【１４５８】
このように、第２の方法により生成された近似関数ｆ_２（ｘ）は、データ定常性検出部１０１（図２１９）より出力される角度θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値Ｐ（ｘ，ｙ）の平均値をＸ方向に結んだ曲線を表すことになる。
【１４５９】
これに対して、上述したように、第１の方法により生成された近似関数ｆ_１（ｘ）は、Ｙ方向（即ち、空間方向の定常性とは異なる方向）の入力画素値Ｐ（ｘ，ｙ）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。
【１４６０】
従って、図２３１で示されるように、第２の方法により生成された近似関数ｆ_２（ｘ）は、第１の方法により生成された近似関数ｆ_１（ｘ）よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第２の方法により生成される近似関数ｆ_２（ｘ）は、第１の方法により生成される近似関数ｆ_１（ｘ）よりも実際のＸ断面波形Ｆ（ｘ）により近い波形となる。
【１４６１】
しかしながら、上述したように、近似関数ｆ_２（ｘ）は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図２２４で示されるように、近似関数ｆ_２（ｘ）は、Ｘ断面波形Ｆ（ｘ）とは異なる入力画像を近似したに過ぎず、Ｘ断面波形Ｆ（ｘ）を近似したとは言い難い。換言すると、第２の方法は、上述した式（１１０）が成立するとして特徴量ｗ_ｉを演算する方法であり、上述した式（１０４）の関係は考慮していない（センサ２の積分効果を考慮していない）。
【１４６２】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮することで近似関数ｆ_３（ｘ）の特徴量ｗ_ｉを演算する第３の方法を発明した。
【１４６３】
即ち、第３の方法は、空間混合領域の概念を導入した方法である。
【１４６４】
第３の方法の説明の前に、図２３２を参照して、空間混合領域について説明する。
【１４６５】
図２３２において、実世界１の光信号の１部分２３２１（以下、領域２３２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【１４６６】
領域２３２１がセンサ２に検出されると、センサ２からは、領域２３２１が時空間方向（Ｘ方向，Ｙ方向，およびｔ方向）に積分された値（１つの画素値）２３２２が出力される。なお、画素値２３２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【１４６７】
実世界１の領域２３２１は、前景（例えば、上述した細線）に対応する光信号（図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。
【１４６８】
これに対して、画素値２３２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２３２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【１４６９】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このように、前景に対する画像（実世界１の光信号）と、背景に対する画像（実世界１の光信号）が空間的に積分されている画素からなる領域を、ここでは、空間混合領域と称している。
【１４７０】
従って、第３の方法においては、実世界推定部１０２（図２１９）が、実世界１の元の領域２３２１（実世界１の光信号のうちの、センサ２の１画素に対応する部分２３２１）を表すＸ断面波形Ｆ（ｘ）を、例えば、図２３３で示されるような、１次の多項式である近似関数ｆ_３（ｘ）で近似することによって、Ｘ断面波形Ｆ（ｘ）を推定する。
【１４７１】
即ち、図２３３は、空間混合領域である画素値２３２２（図２３２）に対応する近似関数ｆ_３（ｘ）、即ち、実世界１の領域２３３１内の実線（図２３２）に対応するＸ断面波形Ｆ（ｘ）を近似する近似関数ｆ_３（ｘ）の例を表している。図２３３において、図中水平方向の軸は、画素値２３２２に対応する画素の左下端ｘ_ｓから右下端ｘ_ｅまでの辺（図２３２）に平行な軸を表しており、ｘ軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。
【１４７２】
図２３３において、近似関数ｆ_３（ｘ）をｘ_ｓからｘ_ｅの範囲（画素幅）で積分したものが、センサ２から出力される画素値Ｐ（ｘ，ｙ）とほぼ一致する（誤差ｅだけ存在する）として、次の式（１１２）を定義する。
【１４７３】
【数８２】

【１４７４】
いまの場合、図２２８で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）から、近似関数ｆ_３（ｘ）の特徴量ｗ_ｉが算出されるので、式（１１２）の画素値Ｐは、画素値Ｐ（ｘ，ｙ）となる。
【１４７５】
また、第２の方法と同様に、空間方向の定常性も考慮する必要があるので、式（１１２）の積分範囲の開始位置ｘ_ｓと終了位置ｘ_ｅのそれぞれは、シフト量Ｃ_ｘ（ｙ）にも依存することになる。即ち、式（１１２）の積分範囲の開始位置ｘ_ｓと終了位置ｘ_ｅのそれぞれは、次の式（１１３）のように表される。
【１４７６】
【数８３】

【１４７７】
この場合、図２２８で示される細線含有データ領域２３０２の各画素値それぞれ、即ち、図２２９で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値）を、上述した式（１１２）（積分範囲は、上述した式（１１３））に代入すると次の式（１１４）で示される２０個の方程式が生成される。
【１４７８】
【数８４】

【数８５】

【１４７９】
式（１１４）は、上述した式（１１１）と同様に、２０個の方程式より構成されている。従って、第２の方法と同様に第３の方法においても、近似関数ｆ_３（ｘ）の特徴量ｗ_ｉの個数が２０個より少ない場合、即ち、近似関数ｆ_３（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗ_ｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１４８０】
例えば、近似関数ｆ_３（ｘ）の次数が５次とされた場合、式（１１４）を利用して最小自乗法により演算された近似関数ｆ_３（ｘ）（演算された特徴量ｗ_ｉにより生成される近似関数ｆ_３（ｘ））は、図２３４の実線で示される曲線のようになる。
【１４８１】
なお、図２３４において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【１４８２】
図２３４で示されるように、第３の方法により生成された近似関数ｆ_３（ｘ）（図中、実線で示される曲線）は、第２の方法により生成された近似関数ｆ_２（ｘ）（図中、点線で示される曲線）と比較すると、ｘ＝０における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディテイルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数ｆ_３（ｘ）は、Ｘ断面波形Ｆ（ｘ）を近似していると言える。従って、図示はしないが、近似関数ｆ_３（ｘ）は、近似関数ｆ_２（ｘ）よりもＸ断面波形Ｆ（ｘ）に近い波形となる。
【１４８３】
図２３５は、このような１次多項式近似手法を利用する実世界推定部１０２の構成例を表している。
【１４８４】
図２３５において、実世界推定部１０２は、例えば、特徴量ｗ_ｉを上述した第３の方法（最小自乗法）により演算し、演算した特徴量ｗ_ｉを利用して上述した式（１０５）の近似関数ｆ（ｘ）を生成することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【１４８５】
図２３５で示されるように、実世界推定部１０２には、条件設定部２３３１、入力画像記憶部２３３２、入力画素値取得部２３３３、積分成分演算部２３３４、正規方程式生成部２３３５、および近似関数生成部２３３６が設けられている。
【１４８６】
条件設定部２３３１は、注目画素に対応するＸ断面波形Ｆ（ｘ）を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数ｆ（ｘ）の次数ｎを設定する。
【１４８７】
入力画像記憶部２３３２は、センサ２からの入力画像（画素値）を一次的に格納する。
【１４８８】
入力画素値取得部２３３３は、入力画像記憶部２３３２に記憶された入力画像のうちの、条件設定部２２３１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２３３５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【１４８９】
ところで、ここでは、実世界推定部１０２は、上述した式（１１２）と式（１１３）を利用して最小自乗法により近似関数ｆ（ｘ）の特徴量ｗ_ｉを演算するが、上述した式（１１２）は、次の式（１１５）のように表現することができる。
【１４９０】
【数８６】

【１４９１】
式（１１５）において、Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）は、次の式（１１６）で示される。
【１４９２】
【数８７】

【１４９３】
積分成分演算部２３３４は、この積分成分Ｓ_ｉ（ｘ_ｓ、ｘ_ｅ）を演算する。
【１４９４】
具体的には、式（１１６）で示される積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）（ただし、値ｘ_ｓと値ｘ_ｅは、上述した式（１１２）で示される値）は、相対画素位置（ｘ，ｙ）、シフト量Ｃ_ｘ（ｙ）、および、ｉ次項のｉが既知であれば演算可能である。また、これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、シフト量Ｃ_ｘ（ｙ）は角度θにより（上述した式（１０７）と式（１０９）により）、ｉの範囲は次数ｎにより、それぞれ決定される。
【１４９５】
従って、積分成分演算部２３３４は、条件設定部２３３１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２３３５に供給する。
【１４９６】
正規方程式生成部２３３５は、入力画素値取得部２３３３より供給された入力画素値テーブルと、積分成分演算部２３３４より供給された積分成分テーブルを利用して、上述した式（１１２）、即ち、式（１１５）の右辺の特徴量ｗ_ｉを最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２３３６に供給する。なお、正規方程式の具体例については後述する。
【１４９７】
近似関数生成部２３３６は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（１１５）の特徴量ｗ_ｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗ_ｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１４９８】
次に、図２３６のフローチャートを参照して、１次元多項式近似手法を利用する実世界推定部１０２（図２３５）の実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１４９９】
例えば、いま、センサ２から出力された１フレームの入力画像であって、上述した図２２１の細線含有データ領域２３０２を含む入力画像が、既に入力画像記憶部２３３２に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０）の定常性の検出の処理において、細線含有データ領域２３０２に対してその処理を施して、データ定常性情報として角度θを既に出力しているとする。
【１５００】
この場合、図２３６のステップＳ２３０１において、条件設定部２３３１は、条件（タップ範囲と次数）を設定する。
【１５０１】
例えば、いま、図２３７で示されるタップ範囲２３５１が設定されるとともに、次数として５次が設定されたとする。
【１５０２】
即ち、図２３７は、タップ範囲の１例を説明する図である。図２３７において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２０）を表している。また、タップ範囲２３５１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【１５０３】
さらに、図２３７で示されるように、注目画素が、タップ範囲２３５１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図２３７で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【１５０４】
図２３６に戻り、ステップＳ２３０２において、条件設定部２３３１は、注目画素を設定する。
【１５０５】
ステップＳ２３０３において、入力画素値取得部２３３３は、条件設定部２３３１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２３３３は、細線含有データ領域２３０２（図２２５）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【１５０６】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（１１７）で示される関係とされる。ただし、式（１１７）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【１５０７】
【数８８】

【１５０８】
ステップＳ２３０４において、積分成分演算部２３３４は、条件設定部２３３１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１５０９】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２３３４は、上述した式（１１６）の積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）を、次の式（１１８）の左辺で示される積分成分Ｓ_ｉ（ｌ）といったｌの関数として演算する。
【１５１０】
Ｓ_ｉ（ｌ） ＝ Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ） ・・・（１１８）
【１５１１】
具体的には、いまの場合、次の式（１１９）で示される積分成分Ｓ_ｉ（ｌ）が演算される。
【１５１２】
【数８９】

【１５１３】
なお、式（１１９）において、左辺が積分成分Ｓ_ｉ（ｌ）を表し、右辺が積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ_０（ｌ），２０個のＳ_１（ｌ），２０個のＳ_２（ｌ），２０個のＳ_３（ｌ），２０個のＳ_４（ｌ），２０個のＳ_５（ｌ）の総計１２０個のＳ_ｉ（ｌ）が演算されることになる。
【１５１４】
より具体的には、はじめに、積分成分演算部２３３４は、データ定常性検出部１０１より供給された角度θを使用して、シフト量Ｃ_ｘ（−２），Ｃ_ｘ（−１），Ｃ_ｘ（１），Ｃ_ｘ（２）のそれぞれを演算する。次に、積分成分演算部２３３４は、演算したシフト量Ｃ_ｘ（−２），Ｃ_ｘ（−１），Ｃ_ｘ（１），Ｃ_ｘ（２）を使用して式（１１８）の右辺に示される２０個の積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）が演算される。なお、この積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）の演算においては、上述した式（１１６）が使用される。そして、積分成分演算部２３３４は、式（１１９）に従って、演算した１２０個の積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ）のそれぞれを、対応する積分成分Ｓ_ｉ（ｌ）に変換し、変換した１２０個の積分成分Ｓ_ｉ（ｌ）を含む積分成分テーブルを生成する。
【１５１５】
なお、ステップＳ２３０３の処理とステップＳ２３０４の処理の順序は、図２３６の例に限定されず、ステップＳ２３０４の処理が先に実行されてもよいし、ステップＳ２３０３の処理とステップＳ２３０４の処理が同時に実行されてもよい。
【１５１６】
次に、ステップＳ２３０５において、正規方程式生成部２３３５は、ステップＳ２３０３の処理で入力画素値取得部２３３３により生成された入力画素値テーブルと、ステップＳ２３０４の処理で積分成分演算部２３３４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１５１７】
具体的には、いまの場合、最小自乗法により、上述した式（１１５）に対応する次の式（１２０）の特徴量ｗ_ｉを演算する。で、それに対応する正規方程式は、次の式（１２１）のように表される。
【１５１８】
【数９０】

【１５１９】
【数９１】

【１５２０】
なお、式（１２１）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【１５２１】
式（１２１）で示される正規方程式の各行列のそれぞれを、次の式（１２２）乃至（１２４）のように定義すると、正規方程式は、次の式（１２５）のように表される。
【１５２２】
【数９２】

【１５２３】
【数９３】

【１５２４】
【数９４】

【１５２５】
【数９５】

【１５２６】
式（１２３）で示されるように、行列Ｗ_ＭＡＴの各成分は、求めたい特徴量ｗ_ｉである。従って、式（１２５）において、左辺の行列Ｓ_ＭＡＴと右辺の行列Ｐ_ＭＡＴが決定されれば、行列解法によって行列Ｗ_ＭＡＴ（即ち、特徴量ｗ_ｉ）の算出が可能である。
【１５２７】
具体的には、式（１２２）で示されるように、行列Ｓ_ＭＡＴの各成分は、上述した積分成分Ｓ_ｉ（ｌ）が既知であれば演算可能である。積分成分Ｓ_ｉ（ｌ）は、積分成分演算部２３３４より供給された積分成分テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルを利用して行列Ｓ_ＭＡＴの各成分を演算することができる。
【１５２８】
また、式（１２４）で示されるように、行列Ｐ_ＭＡＴの各成分は、積分成分Ｓ_ｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓ_ｉ（ｌ）は、行列Ｓ_ＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２３３３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_ＭＡＴの各成分を演算することができる。
【１５２９】
このようにして、正規方程式生成部２３３５は、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分を演算し、その演算結果（行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２３３６に出力する。
【１５３０】
正規方程式生成部２３３５より正規方程式テーブルが出力されると、ステップＳ２３０６において、近似関数生成部２３３６は、正規方程式テーブルに基づいて、上述した式（１２５）の行列Ｗ_ＭＡＴの各成分である特徴量ｗ_ｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗ_ｉ）を演算する。
【１５３１】
具体的には、上述した式（１２５）の正規方程式は、次の式（１２６）のように変形できる。
【１５３２】
【数９６】

【１５３３】
式（１２６）において、左辺の行列Ｗ_ＭＡＴの各成分が、求めたい特徴量ｗ_ｉである。また、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴのそれぞれの各成分は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２３３６は、正規方程式テーブルを利用して、式（１２６）の右辺の行列演算を行うことで行列Ｗ_ＭＡＴを演算し、その演算結果（特徴量ｗ_ｉ）を画像生成部１０３に出力する。
【１５３４】
ステップＳ２３０７において、近似関数生成部２３３６は、全画素の処理を終了したか否かを判定する。
【１５３５】
ステップＳ２３０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２３０２乃至Ｓ２３０７の処理が繰り返される。
【１５３６】
そして、全画素の処理が終了すると（ステップＳ２３０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１５３７】
なお、以上のようにして演算された係数（特徴量）ｗ_ｉにより生成される近似関数ｆ（ｘ）の波形は、上述した図２３４の近似関数ｆ_３（ｘ）のような波形となる。
【１５３８】
このように、１次元多項式近似手法においては、１次元のＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっていると仮定して、１次元の多項式である近似関数ｆ（ｘ）の特徴量が演算される。従って、１次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数ｆ（ｘ）の特徴量の算出が可能となる。
【１５３９】
換言すると、１次元多項式近似手法においては、例えば、図２１９（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２２０のセンサ２の検出素子２−１）により実世界１の光信号（例えば、図２２１の実世界１の光信号の１部分２３０１）が射影され、実世界１の光信号の定常性（例えば、図２２８の傾きＧ_Ｆで表される定常性）の一部が欠落した、検出素子２−１により射影された画素値（例えば、図２２６の各グラフに示される入力画素値Ｐ（ｘ，ｙ））を有する複数の画素からなる画像データ（例えば、図２２１の画像データ（入力画像の領域）２３０２）におけるデータの定常性（例えば、図２２８の傾きＧ_ｆで表されるデータの定常性）を検出する。
【１５４０】
例えば、図２１９（図３）の実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち１次元方向（例えば、図２２３の矢印２３１１、即ち、Ｘ方向）の位置に対応する画素の画素値（例えば、上述した式（１１２）の左辺である入力画素値Ｐ）が、１次元方向の積分効果により取得された画素値（例えば、式（１１２）の右辺に示されるように、近似関数ｆ_３（ｘ）がＸ方向に積分された値）であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、Ｘ断面波形Ｆ（ｘ））を所定の近似関数ｆ（具体的には、例えば、図２３４の近似関数ｆ_３（ｘ））で近似することで、光信号関数Ｆを推定する。
【１５４１】
詳細には、例えば、実世界推定部１０２は、定常性検出手部１０１により検出されたデータの定常性に対応する線（例えば、図２３０の傾きＧ_ｆに対応する線（点線））からの１次元方向（例えば、Ｘ方向）に沿った距離（例えば、図２３０のシフト量Ｃｘ（ｙ））に対応する画素の画素値が、１次元方向の積分効果により取得された画素値（例えば、上述した式（１１２）に示されるような積分範囲で、式（１１２）の右辺に示されるように、近似関数ｆ_３（ｘ）がＸ方向に積分された値）であるとして、光信号関数Ｆを近似関数ｆで近似することにより、光信号関数Ｆを推定する。
【１５４２】
従って、１次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数ｆ（ｘ）の特徴量の算出が可能となる。
【１５４３】
次に、図２３８乃至図２４４を参照して、第２の関数近似手法について説明する。
【１５４４】
即ち、第２の関数近似手法とは、例えば、図２３８で示されるような、傾きＧ_Ｆで表される空間方向の定常性を有する実世界１の光信号を、Ｘ−Ｙ平面上（空間方向の１方向であるＸ方向と、Ｘ方向に垂直なＹ方向に水平な平面上）の波形Ｆ（ｘ，ｙ）とみなし、２次元の多項式である近似関数ｆ（ｘ，ｙ）で波形Ｆ（ｘ，ｙ）を近似することによって、その波形Ｆ（ｘ，ｙ）を推定する手法である。従って、以下、第２の関数近似手法を、２次元多項式近似手法と称する。
【１５４５】
なお、図２３８において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。Ｇ_Ｆは、空間方向の定常性の傾きを表している。
【１５４６】
また、２次元多項式近似手法の説明においても、センサ２は、図２３９で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【１５４７】
図２３９の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１５４８】
また、図２３９の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１５４９】
さらに、図２３９の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１５５０】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１５５１】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１２７）で表される。
【１５５２】
【数９７】

【１５５３】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１２７）で示される画素値Ｐを出力することになる。
【１５５４】
ところで、上述したように、２次元多項式近似手法は、実世界１の光信号を、例えば、図２３８で示されるような波形Ｆ（ｘ，ｙ）として扱い、その２次元の波形Ｆ（ｘ，ｙ）を、２次元の多項式である近似関数ｆ（ｘ，ｙ）に近似する手法である。
【１５５５】
そこで、はじめに、このような近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現する手法について説明する。
【１５５６】
上述したように、実世界１の光信号は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）で表される。この光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形を、ここでは、Ｘ断面波形Ｆ（ｘ）と称している。
【１５５７】
このＸ断面波形Ｆ（ｘ）に注目すると、実世界１の信号が、空間方向の所定の方向に定常性を有している場合、Ｘ断面波形Ｆ（ｘ）と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図２３８の例では、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が、傾きＧ_Ｆの方向に連なっている。換言すると、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が傾きＧ_Ｆの方向に連なって、波形Ｆ（ｘ，ｙ）が形成されているとも言える。
【１５５８】
従って、波形Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）の波形は、Ｘ断面波形Ｆ（ｘ）を近似する近似関数ｆ（ｘ）と同一形状の波形が連なって形成されると考えることで、近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現することが可能になる。
【１５５９】
さらに詳細に、近似関数ｆ（ｘ，ｙ）の表現方法について説明する。
【１５６０】
例えば、いま、上述した図２３８で示されるような、実世界１の光信号、即ち、傾きＧ_Ｆで表される空間方向の定常性を有する光信号が、センサ２（図２３９）により検出されて入力画像（画素値）として出力されたとする。
【１５６１】
さらに、図２４０で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域２４０１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧ_Ｆに対応する傾きＧ_ｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１５６２】
なお、入力画像の領域２４０１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１５６３】
また、図２４０中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧ_ｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’と記述されている。
【１５６４】
さらに、図２４０中、右側のグラフは、Ｘ断面波形Ｆ（ｘ’）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１５６５】
この場合、図２４０で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（１２８）のように表される。
【１５６６】
【数９８】

【１５６７】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘ_ｌが、次の式（１２９）のように表される。ただし、式（１２９）において、ｓはｃｏｔθを表している。
【１５６８】
ｘ_ｌ ＝ ｓ×ｙ ・・・（１２９）
【１５６９】
即ち、図２４０で示されるように、傾きＧ_ｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘ_ｌ，ｙ）で表される。
【１５７０】
式（１２９）より、断面方向距離ｘ’は、次の式（１３０）のように表される。
【１５７１】
ｘ’ ＝ ｘ−ｘ_ｌ ＝ ｘ−ｓ×ｙ ・・・（１３０）
【１５７２】
従って、入力画像の領域２４０１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（１２８）と式（１３０）より、次の式（１３１）のように示される。
【１５７３】
【数９９】

【１５７４】
なお、式（１３１）において、ｗ_ｉは、近似関数ｆ（ｘ，ｙ）の係数を表している。なお、近似関数ｆ（ｘ，ｙ）を含む近似関数ｆの係数ｗ_ｉを、近似関数ｆの特徴量と位置づけることもできる。従って、以下、近似関数ｆの係数ｗ_ｉを、近似関数ｆの特徴量ｗ_ｉとも称する。
【１５７５】
このようにして、角度θが既知であれば、２次元波形の近似関数ｆ（ｘ，ｙ）を、式（１３１）の多項式として表現することができる。
【１５７６】
従って、実世界推定部１０２は、式（１３１）の特徴量ｗｉを演算することができれば、図２３８で示されるような波形Ｆ（ｘ，ｙ）を推定することができる。
【１５７７】
そこで、以下、式（１３１）の特徴量ｗｉを演算する手法について説明する。
【１５７８】
即ち、式（１３１）で表される近似関数ｆ（ｘ，ｙ）を、画素（センサ２の検出素子２−１（図２３９））に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（１３２）である。なお、２次元多項式近似手法においては、時間方向ｔは一定値とみなされるので、式（１３２）は、空間方向（Ｘ方向とＹ方法）の位置ｘ，ｙを変数とする方程式とされている。
【１５７９】
【数１００】

【１５８０】
式（１３２）において、Ｐ（ｘ，ｙ）は、センサ２からの入力画像のうちの、その中心位置が位置（ｘ，ｙ）（注目画素からの相対位置（ｘ，ｙ））に存在する画素の画素値を表している。また、ｅは、誤差を表している。
【１５８１】
このように、２次元多項式近似手法においては、入力画素値Ｐ（ｘ，ｙ）と、２次元の多項式である近似関数ｆ（ｘ，ｙ）の関係を、式（１３２）で表現することが可能であるので、実世界推定部１０２は、式（１３２）を利用して、特徴量ｗｉを、例えば、最小自乗法等により演算することで（演算した特徴量ｗｉを式（１３０）に代入して近似関数ｆ（ｘ，ｙ）を生成することで）、２次元の関数Ｆ（ｘ，ｙ）（傾きＧ_Ｆ（図２３８）で表される空間方向の定常性を有する実世界１の光信号を、空間方向に着目して表した波形Ｆ（ｘ，ｙ））を推定することが可能となる。
【１５８２】
図２４１は、このような２次元多項式近似手法を利用する実世界推定部１０２の構成例を表している。
【１５８３】
図２４１で示されるように、実世界推定部１０２には、条件設定部２４２１、入力画像記憶部２４２２、入力画素値取得部２４２３、積分成分演算部２４２４、正規方程式生成部２４２５、および近似関数生成部２４２６が設けられている。
【１５８４】
条件設定部２４２１は、注目画素に対応する関数Ｆ（ｘ，ｙ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【１５８５】
入力画像記憶部２４２２は、センサ２からの入力画像（画素値）を一次格納する。
【１５８６】
入力画素値取得部２４２３は、入力画像記憶部２４２２に記憶された入力画像のうちの、条件設定部２４２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２４２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【１５８７】
ところで、上述したように、２次元多項式近似手法を利用する実世界推定部１０２は、上述した式（１３２）を最小自乗法で解くことにより、上述した式（１３１）で示される近似関数ｆ（ｘ，ｙ）の特徴量ｗ_ｉを演算する。
【１５８８】
式（１３２）は、次の式（１３３）乃至式（１３５）を用いることで得られる次の式（１３６）を使用することで、次の式（１３７）のように表現することができる。
【１５８９】
【数１０１】

【１５９０】
【数１０２】

【１５９１】
【数１０３】

【１５９２】
【数１０４】

【１５９３】
【数１０５】

【１５９４】
式（１３７）において、Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、次の式（１３８）で示される通りである。
【１５９５】
【数１０６】

【１５９６】
積分成分演算部２４２４は、この積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算する。
【１５９７】
具体的には、式（１３８）で示される積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、相対画素位置（ｘ，ｙ）、上述した式（１３１）における変数ｓ、および、ｉ次項のｉが既知であれば、演算可能である。これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、変数ｓはｃｏｔθであるので角度θにより、ｉの範囲は次数ｎにより、それぞれ決定される。
【１５９８】
従って、積分成分演算部２４２４は、条件設定部２４２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２４２５に供給する。
【１５９９】
正規方程式生成部２４２５は、入力画素値取得部２４２３より供給された入力画素値テーブルと、積分成分演算部２４２４より供給された積分成分テーブルを利用して、上述した式（１３２）、即ち、式（１３７）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２４２６に出力する。なお、正規方程式の具体例については後述する。
【１６００】
近似関数生成部２４２６は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（１３２）の特徴量ｗ_ｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗ_ｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１６０１】
次に、図２４２のフローチャートを参照して、２次元多項式近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１６０２】
例えば、いま、傾きＧ_Ｆで表される空間方向の定常性を有する実世界１の光信号が、センサ２（図２３９）により検出されて、１フレームに対応する入力画像として、入力画像記憶部２４２２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０）の定常性の検出の処理において、入力画像のうちの、上述した図２４０で示される領域２４０１に対して処理を施して、データ定常性情報として角度θを既に出力しているとする。
【１６０３】
この場合、ステップＳ２４０１において、条件設定部２４２１は、条件（タップ範囲と次数）を設定する。
【１６０４】
例えば、いま、図２４３で示されるタップ範囲２４４１が設定されるとともに、次数として５次が設定されたとする。
【１６０５】
即ち、図２４３は、タップ範囲の１例を説明する図である。図２４３において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２３９）を表している。また、タップ範囲２４４１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【１６０６】
さらに、図２４３に示されるように、注目画素が、タップ範囲２４４１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図２４３で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【１６０７】
図２４２に戻り、ステップＳ２４０２において、条件設定部２４２１は、注目画素を設定する。
【１６０８】
ステップＳ２４０３において、入力画素値取得部２４２３は、条件設定部２４２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２４２３は、入力画像の領域２４０１（図２４０）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【１６０９】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（１３９）で示される関係とされる。ただし、式（１３９）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【１６１０】
【数１０７】

【１６１１】
ステップＳ２４０４において、積分成分演算部２４２４は、条件設定部２４２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１６１２】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２４２４は、上述した式（１３８）の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を、次の式（１４０）の左辺で示される積分成分Ｓ_ｉ（ｌ）といったｌの関数として演算する。
【１６１３】
Ｓ_ｉ（ｌ） ＝ Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） ・・・（１４０）
【１６１４】
具体的には、いまの場合、次の式（１４１）で示される積分成分Ｓ_ｉ（ｌ）が演算される。
【１６１５】
【数１０８】

【１６１６】
なお、式（１４１）において、左辺が積分成分Ｓ_ｉ（ｌ）を表し、右辺が積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ_０（ｌ），２０個のＳ_１（ｌ），２０個のＳ_２（ｌ），２０個のＳ_３（ｌ），２０個のＳ_４（ｌ），２０個のＳ_５（ｌ）の総計１２０個のＳ_ｉ（ｌ）が演算されることになる。
【１６１７】
より具体的には、はじめに、積分成分演算部２４２４は、データ定常性検出部１０１より供給された角度θに対するｃｏｔθを演算し、それを変数ｓとする。次に、積分成分演算部２４２４は、演算した変数ｓを使用して式（１４０）の右辺で示される２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） が演算されることになる。なお、この積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） の演算においては、上述した式（１３８）が使用される。そして、積分成分演算部２４２４は、式（１４１）に従って、演算した１２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）のそれぞれを、対応するＳ_ｉ（ｌ）のそれぞれに変換し、変換した１２０個のＳ_ｉ（ｌ）を含む積分成分テーブルを生成する。
【１６１８】
なお、ステップＳ２４０３の処理とステップＳ２４０４の処理の順序は、図２４２の例に限定されず、ステップＳ２４０４の処理が先に実行されてもよいし、ステップＳ２４０３の処理とステップＳ２４０４の処理が同時に実行されてもよい。
【１６１９】
次に、ステップＳ２４０５において、正規方程式生成部２４２５は、ステップＳ２４０３の処理で入力画素値取得部２４２３により生成された入力画素値テーブルと、ステップＳ２４０４の処理で積分成分演算部２４２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１６２０】
具体的には、いまの場合、上述した式（１３７）を利用して最小自乗法により特徴量ｗ_ｉが演算される（ただし、式（１３６）において、積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、式（１４０）により変換されるＳｉ（ｌ）が使用される）ので、それに対応する正規方程式は、次の式（１４２）のように表される。
【１６２１】
【数１０９】

【１６２２】
なお、式（１４２）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【１６２３】
式（１４２）で示される正規方程式の各行列のそれぞれを、次の式（１４３）乃至（１４５）のように定義すると、正規方程式は、次の式（１４６）のように表現される。
【１６２４】
【数１１０】

【１６２５】
【数１１１】

【１６２６】
【数１１２】

【１６２７】
【数１１３】

【１６２８】
式（１４４）で示されるように、行列Ｗ_ＭＡＴの各成分は、求めたい特徴量ｗ_ｉである。従って、式（１４６）において、左辺の行列Ｓ_ＭＡＴと右辺の行列Ｐ_ＭＡＴが決定されれば、行列解法によって行列Ｗ_ＭＡＴの演算が可能になる。
【１６２９】
具体的には、式（１４３）で示されるように、行列Ｓ_ＭＡＴの各成分は、上述した積分成分Ｓ_ｉ（ｌ）で演算可能である。即ち、積分成分Ｓ_ｉ（ｌ）は、積分成分演算部２４２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルを利用して行列Ｓ_ＭＡＴの各成分を演算することができる。
【１６３０】
また、式（１４５）で示されるように、行列Ｐ_ＭＡＴの各成分は、積分成分Ｓ_ｉ（ｌ）と入力画素値Ｐ（ｌ）で演算可能である。即ち、積分成分Ｓ_ｉ（ｌ）は、行列Ｓ_ＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２４２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_ＭＡＴの各成分を演算することができる。
【１６３１】
このようにして、正規方程式生成部２４２５は、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分を演算し、その演算結果（行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２４２６に出力する。
【１６３２】
正規方程式生成部２４２５より正規方程式テーブルが出力されると、ステップＳ２４０６において、近似関数生成部２４２６は、正規方程式テーブルに基づいて、上述した式（１４６）の行列Ｗ_ＭＡＴの各成分である特徴量ｗ_ｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗ_ｉ）を演算する。
【１６３３】
具体的には、上述した式（１４６）の正規方程式は、次の式（１４７）のように変形できる。
【１６３４】
【数１１４】

【１６３５】
式（１４７）において、左辺の行列Ｗ_ＭＡＴの各成分が、求めたい特徴量ｗ_ｉである。また、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴのそれぞれの各成分は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２４２６は、正規方程式テーブルを利用して、式（１４７）の右辺の行列演算を行うことで行列Ｗ_ＭＡＴを演算し、その演算結果（特徴量ｗ_ｉ）を画像生成部１０３に出力する。
【１６３６】
ステップＳ２４０７において、近似関数生成部２４２６は、全画素の処理を終了したか否かを判定する。
【１６３７】
ステップＳ２４０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２４０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２４０２乃至Ｓ２４０７の処理が繰り返される。
【１６３８】
そして、全画素の処理が終了すると（ステップＳ２４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１６３９】
以上、２次元多項式近似手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）の係数（特徴量）ｗ_ｉを演算する例を用いたが、２次元多項式近似手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【１６４０】
即ち、上述した例は、実世界１の光信号が、例えば、傾きＧ_Ｆ（図２３８）で表される空間方向の定常性を有する場合の例であったので、上述した式（１３２）で示されるような、空間方向（Ｘ方向とＹ方向）の２次元積分が含まれる式が利用された。しかしながら、２次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【１６４１】
換言すると、２次元多項式近似手法においては、推定したい光信号関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の多項式により近似することが可能である。
【１６４２】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図２４４で示されるようなＸ−ｔ平面においては、傾きＶ_Ｆのように表される。換言すると、傾きＶ_Ｆは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１は、上述した角度θ（Ｘ−Ｙ平面における、傾きＧ_Ｆで表される空間方向の定常性に対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶ_Ｆに対応するデータ定常性情報として、図２４４で示されるような動きθ（厳密には、図示はしないが、傾きＶ_Ｆに対応する傾きＶ_ｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１６４３】
従って、２次元多項式近似手法を利用する実世界推定部１０２は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗ_ｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１３２）ではなく、次の式（１４８）である。
【１６４４】
【数１１５】

【１６４５】
なお、式（１４８）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【１６４６】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ、ｔ）と全く同様に取り扱うことが可能である。
【１６４７】
このように、２次元多項式近似手法においては、例えば、図２１９（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２３９のセンサ２の検出素子２−１）により実世界１（図２１９）の光信号が射影され、実世界１の光信号の定常性（例えば、図２３８の傾きＧ_Ｆで表される定常性）の一部が欠落した、検出素子２−１により射影された画素値を有する複数の画素からなる画像データ（例えば、図２１９の入力画像）におけるデータの定常性（例えば、図２４０の傾きＧ_ｆで表されるデータの定常性）を検出する。
【１６４８】
そして、例えば、図２１９（図３）の実世界推定部１０２（構成は、図２４１）が、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも２次元方向（例えば、図２３８と図２３９の空間方向Ｘと、空間方向Ｙ）の位置に対応する画素の画素値（例えば、上述した式（１３１）の左辺である入力画素値Ｐ（ｘ、ｙ））が、少なくとも２次元方向の積分効果により取得された画素値（例えば、式（１３２）の右辺に示されるように、上述した式（１３１）で示される近似関数ｆ（ｘ，ｙ）がＸ方向とＹ方向に積分された値）であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、図２３８の関数Ｆ（ｘ，ｙ））を、多項式である近似関数ｆ（例えば、式（１３１）で示される近似関数ｆ（ｘ，ｙ））で近似することで、光信号関数Ｆを推定する。
【１６４９】
詳細には、例えば、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応する線（例えば、図２４０の傾きＧ_ｆに対応する線（矢印））からの少なくとも２次元方向に沿った距離（例えば、図２４０の断面方向距離ｘ‘）に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第１の関数を、多項式である第２の関数で近似することで、第１の関数を推定する。
【１６５０】
このように、２次元多項式近似手法は、１次元ではなく２次元の積分効果を考慮しているので、１次元多項式近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【１６５１】
次に、図２４５乃至図２４９を参照して、第３の関数近似手法について説明する。
【１６５２】
即ち、第３の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界１の光信号が、光信号関数Ｆ（ｘ，ｙ，ｔ）で表されることに注目して、近似関数ｆ（ｘ，ｙ，ｔ）で光信号関数Ｆ（ｘ，ｙ，ｔ）を近似することによって、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定する手法である。従って、以下、第３の関数近似手法を、３次元関数近似手法と称する。
【１６５３】
また、３次元関数近似手法の説明においても、センサ２は、図２４５で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【１６５４】
図２４５の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１６５５】
また、図２４５の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１６５６】
さらに、図２４５の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１６５７】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１６５８】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１４９）で表される。
【１６５９】
【数１１６】

【１６６０】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１４９）で示される画素値Ｐを出力することになる。
【１６６１】
ところで、上述したように、３次元関数近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）は、３次元の近似関数ｆ（ｘ，ｙ，ｔ）に近似される。
【１６６２】
具体的には、例えば、近似関数ｆ（ｘ，ｙ，ｔ）を、Ｎ個の変数（特徴量）を有する関数とし、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式を定義する。これにより、Ｎより大きいＭ個の入力画素値Ｐ（ｘ，ｙ，ｔ）が取得されていれば、定義された関係式からＮ個の変数（特徴量）の算出が可能である。即ち、実世界推定部１０２は、Ｍ個の入力画素値Ｐ（ｘ，ｙ，ｔ）を取得してＮ個の変数（特徴量）を演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定することが可能である。
【１６６３】
この場合、実世界推定部１０２は、センサ２からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部１０１より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、Ｍ個の入力画像Ｐ（ｘ，ｙ，ｔ）を抽出（取得）する。結果的に、予測関数ｆ（ｘ，ｙ，ｔ）は、データの定常性に拘束されることになる。
【１６６４】
例えば、図２４６で示されるように、入力画像に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）が、傾きＧ_Ｆで表される空間方向の定常性を有している場合、データ定常性検出部１０１は、入力画像に対するデータ定常性情報として、角度θ（傾きＧ_Ｆに対応する傾きＧ_ｆ（図示せず）で表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することになる。
【１６６５】
この場合、光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向に射影した１次元の波形（ここでは、このような波形を、Ｘ断面波形と称している）は、Ｙ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【１６６６】
即ち、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【１６６７】
換言すると、注目画素の中心からＹ方向に位置ｙだけずれたＸ断面波形は、注目画素の中心を通るＸ断面波形がＸ方向に所定の量（角度θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。
【１６６８】
このシフト量は、次のようにして算出が可能である。
【１６６９】
即ち、傾きＶ_ｆ（例えば、図２４６の傾きＶ_Ｆに対応する、データの定常性の方向を表す傾きＶ_ｆ）と角度θは、次の式（１５０）のように表される。
【１６７０】
【数１１７】

【１６７１】
なお、式（１５０）において、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向の微小移動量を表している。
【１６７２】
従って、Ｘ方向に対するシフト量をＣ_ｘ（ｙ）と記述すると、次の式（１５１）のように表される。
【１６７３】
【数１１８】

【１６７４】
このようにして、シフト量Ｃ_ｘ（ｙ）を定義すると、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、次の式（１５２）のように表される。
【１６７５】
【数１１９】

【１６７６】
式（１５２）において、ｅは、誤差を表している。ｔ_ｓは、ｔ方向の積分開始位置を表しており、ｔ_ｅは、ｔ方向の積分終了位置を表している。同様に、ｙ_ｓは、Ｙ方向の積分開始位置を表しており、ｙ_ｅは、Ｙ方向の積分終了位置を表している。また、ｘ_ｓは、Ｘ方向の積分開始位置を表しており、ｘ_ｅは、Ｘ方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（１５３）で示される通りになる。
【１６７７】
【数１２０】

【１６７８】
式（１５３）で示されるように、注目画素から空間方向に（ｘ，ｙ）だけ離れて位置する画素に対するＸ方向の積分範囲を、シフト量Ｃ_ｘ（ｙ）だけ移動させることで、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【１６７９】
このように、３次元関数近似手法においては、画素値Ｐ（ｘ，ｙ、ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（１５２）（積分範囲は、式（１５３））で表すことができるので、式（１５２）と式（１５３）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（例えば、図２４６で示されるような傾きＶ_Ｆ表される空間方向の定常性を有する光信号）の推定が可能となる。
【１６８０】
なお、光信号関数Ｆ（ｘ，ｙ，ｔ）で表される光信号が、例えば、図２４６で示されるような傾きＶ_Ｆで表される空間方向の定常性を有している場合、次のようにして光信号関数Ｆ（ｘ，ｙ，ｔ）を近似してもよい。
【１６８１】
即ち、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した１次元の波形（以下、このような波形を、Ｙ断面波形と称する）は、Ｘ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【１６８２】
換言すると、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【１６８３】
従って、注目画素の中心からＸ方向にｘだけずれたＹ断面波形は、注目画素の中心を通るＹ断面波形がＹ方向に所定のシフト量（角度θに応じて変化するシフト量）だけ移動した波形となる。
【１６８４】
このシフト量は、次のようにして算出が可能である。
【１６８５】
即ち、傾きＧ_Ｆが、上述した式（１５０）のように表されるので、Ｙ方向に対するシフト量をＣ_ｙ（ｘ）と記述すると、次の式（１５４）のように表される。
【１６８６】
【数１２１】

【１６８７】
このようにして、シフト量Ｃ_ｙ（ｘ）を定義すると、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、シフト量Ｃ_ｘ（ｙ）を定義したときと同様に、上述した式（１５２）で表される。
【１６８８】
ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（１５５）で示される通りになる。
【１６８９】
【数１２２】

【１６９０】
式（１５５）（および上述した式（１５２））で示されるように、注目画素から（ｘ，ｙ）だけ離れて位置する画素に対するＹ方向の積分範囲を、シフト量Ｃ_ｙ（ｘ）だけ移動させることで、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【１６９１】
このように、３次元関数近似手法においては、上述した式（１５２）の右辺の積分範囲を式（１５３）のみならず式（１５５）とすることもできるので、積分範囲として式（１５５）が採用された式（１５２）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（傾きＧ_Ｆで表される空間方向の定常性を有する実世界１の光信号）の推定が可能となる。
【１６９２】
このように、積分範囲を表す式（１５３）と式（１５５）は、定常性の方向にあわせて周辺画素をＸ方向にシフトさせるか（式（１５３）の場合）、或いはＹ方向にシフトさせるか（式（１５５）の場合）の違いがあるだけであり、本質的には同じことを表している。
【１６９３】
しかしながら、定常性の方向（傾きＧ_Ｆ）に応じて、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えるか、Ｙ断面波形の集まりと捉えるかが異なる。即ち、定常性の方向がＹ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向がＸ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ断面波形の集まりと捉えた方が好適である。
【１６９４】
従って、実世界推定部１０２は、積分範囲として式（１５３）と式（１５５）の両方を用意しておき、定常性の方向に応じて、適宜式（１５２）の右辺の積分範囲として、式（１５３）と式（１５５）のうちのいずれか一方を選択するとよい。
【１６９５】
以上、光信号関数Ｆ（ｘ，ｙ，ｔ）が空間方向（Ｘ方向とＹ方向）の定常性（例えば、図２４６の傾きＧ_Ｆで表される空間方向の定常性）を有する場合についての３次元関数手法について説明したが、３次元関数手法は、図２４７で示されるように、光信号関数Ｆ（ｘ，ｙ，ｔ）が時空間方向（Ｘ方向、Ｙ方向、およびｔ方向）の定常性（傾きＶ_Ｆで表される定常性）を有する場合についても適用可能である。
【１６９６】
即ち、図２４７において、フレーム番号＃Ｎ−１のフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ−１）とされ、フレーム番号＃Ｎのフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ）とされ、かつ、フレーム番号＃Ｎ＋１のフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ＋１）とされている。
【１６９７】
なお、図２４７において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、右斜め上方向は、空間方向の他方向であるＹ方向とされており、かつ、垂直方向は、時間方向であるｔ方向とされている。
【１６９８】
また、フレーム＃Ｎ−１は、フレーム＃Ｎに対して時間的に前のフレームであり、フレーム＃Ｎ＋１は、フレーム＃Ｎに対して時間的に後のフレームである。即ち、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１は、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１の順で表示される。
【１６９９】
図２４７の例では、傾きＶ_Ｆで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図２４７の例では、光信号関数Ｆ（ｘ，ｙ，ｔ）は、傾きＶ_Ｆで表される時空間方向の定常性を有していると言える。
【１７００】
この場合、時空間方向の定常性を表す関数Ｃ（ｘ，ｙ，ｔ）を定義し、かつ、定義された関数Ｃ（ｘ，ｙ，ｔ）を利用して、上述した式（１５２）の積分範囲を定義すれば、上述した式（１５３）や式（１５５）と同様に、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量の算出が可能になる。
【１７０１】
関数Ｃ（ｘ，ｙ，ｔ）は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数Ｃ（ｘ，ｙ，ｔ）として、上述した空間方向の定常性を表す関数であるシフト量Ｃ_ｘ（ｙ）（式（１５１））やシフト量Ｃ_ｙ（ｘ）（式（１５３））に相当する、Ｃ_ｘ（ｔ）とＣ_ｙ（ｔ）を次のように定義するとする。
【１７０２】
即ち、上述した空間方向のデータの定常性を表す傾きＧ_ｆに対応する、時空間方向のデータの定常性の傾きをＶ_ｆとすると、この傾きＶ_ｆをＸ方向の傾き（以下、Ｖ_ｆｘと記述する）とＹ方向の傾き（以下、Ｖ_ｆｙと記述する）に分割すると、傾きＶ_ｆｘは次の式（１５６）で、傾きＶ_ｆｙは次の式（１５７）で、それぞれ表される。
【１７０３】
【数１２３】

【１７０４】
【数１２４】

【１７０５】
この場合、関数Ｃ_ｘ（ｔ）は、式（１５６）で示される傾きＶ_ｆｘを利用して、次の式（１５８）のように表される。
【１７０６】
【数１２５】

【１７０７】
同様に、関数Ｃ_ｙ（ｔ）は、式（１５７）で示される傾きＶ_ｆｙを利用して、次の式（１５９）のように表される。
【１７０８】
【数１２６】

【１７０９】
このようにして、時空間方向の定常性２５１１を表す関数Ｃ_ｘ（ｔ）と関数Ｃ_ｙ（ｔ）を定義すると、式（１５２）の積分範囲は、次の式（１６０）のように表される。
【１７１０】
【数１２７】

【１７１１】
このように、３次元関数近似手法においては、画素値Ｐ（ｘ，ｙ、ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（１５２）で表すことができるので、その式（１５２）の右辺の積分範囲として式（１６０）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ＋１個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（時空間方向の所定の方向に定常性を有する実世界１の光信号）を推定することが可能となる。
【１７１２】
図２４８は、このような３次元関数近似手法を利用する実世界推定部１０２の構成例を表している。
【１７１３】
なお、３次元関数近似手法を利用する実世界推定部１０２が演算する近似関数ｆ（ｘ，ｙ，ｔ）（実際には、その特徴量（係数）を演算する）は、特に限定されないが、以下の説明においては、ｎ（ｎ＝Ｎ−１）次の多項式とされる。
【１７１４】
図２４８で示されるように、実世界推定部１０２には、条件設定部２５２１、入力画像記憶部２５２２、入力画素値取得部２５２３、積分成分演算部２５２４、正規方程式生成部２５２５、および近似関数生成部２５２６が設けられている。
【１７１５】
条件設定部２５２１は、注目画素に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【１７１６】
入力画像記憶部２５２２は、センサ２からの入力画像（画素値）を一次格納する。
【１７１７】
入力画素値取得部２５２３は、入力画像記憶部２５２２に記憶された入力画像のうちの、条件設定部２５２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２５２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。
【１７１８】
ところで、上述したように、３次元関数近似手法を利用する実世界推定部１０２は、上述した式（１５２）（ただし積分範囲は、式（１５３）、式（１５６）、または式（１６０））を利用して最小自乗法により近似関数ｆ（ｘ，ｙ）のＮ個の特徴量（いまの場合、各次の係数）を演算する。
【１７１９】
式（１５２）の右辺は、その積分を演算することで、次の式（１６１）のように表現することができる。
【１７２０】
【数１２８】

【１７２１】
式（１６１）において、ｗ_ｉは、ｉ次項の係数（特徴量）を表しており、また、Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）は、ｉ次項の積分成分を表している。ただし、ｘ_ｓはＸ方向の積分範囲の開始位置を、ｘ_ｅはＸ方向の積分範囲の終了位置を、ｙ_ｓはＹ方向の積分範囲の開始位置を、ｙ_ｅはＹ方向の積分範囲の終了位置を、ｔ_ｓはｔ方向の積分範囲の開始位置を、ｔ_ｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【１７２２】
積分成分演算部２５２４は、この積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を演算する。
【１７２３】
即ち、積分成分演算部２５２４は、条件設定部２５２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（１５３）若しくは式（１５６）が利用される場合には角度であり、上述した式（１６０）が利用される場合には動きである）に基づいて積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２５２５に供給する。
【１７２４】
正規方程式生成部２５２５は、入力画素値取得部２５２３より供給された入力画素値テーブルと、積分成分演算部２５２４より供給された積分成分テーブルを利用して、上述した式（１６１）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２５２６に出力する。正規方程式の例については、後述する。
【１７２５】
近似関数生成部２５２６は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、特徴量ｗ_ｉ（いまの場合、３次元多項式である画素値関数ｆ（ｘ，ｙ）の係数ｗ_ｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１７２６】
次に、図２４９のフローチャートを参照して、３次元関数近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１７２７】
はじめに、ステップＳ２５０１において、条件設定部２５２１は、条件（タップ範囲と次数）を設定する。
【１７２８】
例えば、いま、Ｌ個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号ｌ（ｌは、０乃至Ｌ−１のうちのいずれかの整数値）が付されるとする。
【１７２９】
次に、ステップＳ２５０２において、条件設定部２５２１は、注目画素を設定する。
【１７３０】
ステップＳ２５０３において、入力画素値取得部２５２３は、条件設定部２５２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）からなるテーブルが生成されることになる。ここで、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）のそれぞれを、その画素の番号ｌの関数としてＰ（ｌ）と記述することにする。即ち、入力画素値テーブルは、Ｌ個のＰ（ｌ）が含まれるテーブルとなる。
【１７３１】
ステップＳ２５０４において、積分成分演算部２５２４は、条件設定部２５２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１７３２】
ただし、いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ，ｔ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２５２４は、上述した式（１６１）の積分成分Ｓ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を、積分成分Ｓ_ｉ（ｌ）といったｌの関数として演算することになる。即ち、積分成分テーブルは、Ｌ×ｉ個のＳ_ｉ（ｌ）が含まれるテーブルとなる。
【１７３３】
なお、ステップＳ２５０３の処理とステップＳ２５０４の処理の順序は、図２４９の例に限定されず、ステップＳ２５０４の処理が先に実行されてもよいし、ステップＳ２５０３の処理とステップＳ２５０４の処理が同時に実行されてもよい。
【１７３４】
次に、ステップＳ２５０５において、正規方程式生成部２５２５は、ステップＳ２５０３の処理で入力画素値取得部２５２３により生成された入力画素値テーブルと、ステップＳ２５０４の処理で積分成分演算部２５２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１７３５】
具体的には、いまの場合、最小自乗法により、上述した式（１６１）に対応する次の式（１６２）の特徴量ｗ_ｉを演算する。で、それに対応する正規方程式は、次の式（１６３）のように表される。
【１７３６】
【数１２９】

【１７３７】
【数１３０】

【１７３８】
式（１６３）で示される正規方程式の各行列のそれぞれを、次の式（１６４）乃至（１６６）のように定義すると、正規方程式は、次の式（１６７）のように表される。
【１７３９】
【数１３１】

【１７４０】
【数１３２】

【１７４１】
【数１３３】

【１７４２】
【数１３４】

【１７４３】
式（１６５）で示されるように、行列Ｗ_ＭＡＴの各成分は、求めたい特徴量ｗ_ｉである。従って、式（１６７）において、左辺の行列Ｓ_ＭＡＴと右辺の行列Ｐ_ＭＡＴが決定されれば、行列解法によって行列Ｗ_ＭＡＴ（即ち、特徴量ｗ_ｉ）の算出が可能である。
【１７４４】
具体的には、式（１６４）で示されるように、行列Ｓ_ＭＡＴの各成分は、上述した積分成分Ｓ_ｉ（ｌ）が既知であれば演算可能である。積分成分Ｓ_ｉ（ｌ）は、積分成分演算部２５２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルを利用して行列Ｓ_ＭＡＴの各成分を演算することができる。
【１７４５】
また、式（１６６）で示されるように、行列Ｐ_ＭＡＴの各成分は、積分成分Ｓ_ｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓ_ｉ（ｌ）は、行列Ｓ_ＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２５２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_ＭＡＴの各成分を演算することができる。
【１７４６】
このようにして、正規方程式生成部２５２５は、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分を演算し、その演算結果（行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２５２６に出力する。
【１７４７】
正規方程式生成部２５２６より正規方程式テーブルが出力されると、ステップＳ２５０６において、近似関数生成部２５２６は、正規方程式テーブルに基づいて、上述した式（１６７）の行列Ｗ_ＭＡＴの各成分である特徴量ｗ_ｉ（即ち、近似関数ｆ（ｘ，ｙ，ｔ）の係数ｗ_ｉ）を演算する。
【１７４８】
具体的には、上述した式（１６７）の正規方程式は、次の式（１６８）のように変形できる。
【１７４９】
【数１３５】

【１７５０】
式（１６８）において、左辺の行列Ｗ_ＭＡＴの各成分が、求めたい特徴量ｗ_ｉである。また、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴのそれぞれの各成分は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２５２６は、正規方程式テーブルを利用して、式（１６８）の右辺の行列演算を行うことで行列Ｗ_ＭＡＴを演算し、その演算結果（特徴量ｗ_ｉ）を画像生成部１０３に出力する。
【１７５１】
ステップＳ２５０７において、近似関数生成部２５２６は、全画素の処理を終了したか否かを判定する。
【１７５２】
ステップＳ２５０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２５０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２５０２乃至Ｓ２５０７の処理が繰り返される。
【１７５３】
そして、全画素の処理が終了すると（ステップＳ５４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１７５４】
以上、説明したように、３次元関数近似手法は、１次元や２次元ではなく、時空間方向の３次元の積分効果を考慮しているので、１次元多項式近似手法や２次元多項式近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【１７５５】
換言すると、３次元関数近似手法においては、例えば、図２１９（図３）の実世界推定部１０２（構成は、例えば、図２４８）は、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２４５のセンサ２の検出素子２−１）により実世界１の光信号が射影され、実世界１の光信号の定常性（例えば、図２４６の傾きＧ_Ｆ、または、図２４７の傾きＶ_Ｆで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも１次元方向（例えば、図２４７の空間方向Ｘ、空間方向Ｙ、および、時間方向ｔの３次元方向）の位置に対応する前記画素の前記画素値（例えば、式（１５３）の左辺の入力画素値Ｐ（ｘ，ｙ，ｚ））が、少なくとも１次元方向の積分効果により取得された画素値（例えば、上述した式（１５３）の右辺に示されるように、近似関数ｆ（ｘ，ｙ，ｔ）がＸ方向、Ｙ方向、およびｔ方向の３次元に積分された値）であるとして、実世界の光信号を表す光信号関数Ｆ（具体的には、例えば、図２４６や図２４７の光信号関数Ｆ（ｘ，ｙ，ｔ））を所定の近似関数ｆ（具体的には、例えば、式（１５２）の右辺の近似関数ｆ（ｘ，ｙ，ｔ））で近似することで、光信号関数Ｆを推定する。
【１７５６】
さらに、例えば、図２１９（図３）のデータ定常性検出部１０１が、入力画像のデータの定常性を検出した場合、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数ｆで近似することで、光信号関数Ｆを推定する。
【１７５７】
詳細には、例えば、実世界推定部１０２は、定常性検出部１０１により検出されたデータの定常性に対応する線からの少なくとも１次元方向に沿った距離（例えば、上述した式（１５１）のシフト量Ｃｘ（ｙ））に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値（例えば、上述した式（１５３）で示されるような積分範囲で、式（１５２）の右辺に示されるように、近似関数ｆ（ｘ，ｙ，ｔ）がＸ方向、Ｙ方向、およびｔ方向の３次元に積分された値）であるとして、光信号関数Ｆを近似関数で近似することで、光信号関数を推定する。
【１７５８】
従って、３次元関数近似手法は、より正確に実世界１の光信号を推定することが可能になる。
【１７５９】
次に、図２５０乃至図２５９を参照して、実世界推定部１０２が、定常性を有する実世界１の信号をモデル１６１で近似する場合における、データ１６２を抽出する抽出手法の他の例について説明する。
【１７６０】
以下の例では、各画素のそれぞれの重要度に応じた重みが付けられて、各画素のそれぞれの画素値が抽出され、抽出された値がデータ１６２（図７）として利用されて、実世界１の信号がモデル１６１（図７）で近似される。
【１７６１】
具体的には、例えば、センサ２（図１）からの入力画像として、図２５０で示されるような入力画像２７０１が、実世界推定部１０２（図３）に入力されたとする。
【１７６２】
なお、図２５０において、図中水平方向が、空間方向の１方向であるＸ方向とされ、図中垂直方向が、空間方向の他方向であるＹ方向とされている。
【１７６３】
また、入力画像２７０１は、画素幅（縦幅および横幅）Ｌ_Ｃをそれぞれ有する、７×１６画素（図中、正方形）の画素値（図中、斜線で表現されているが、実際は、１つの値を有するデータである）で構成されている。
【１７６４】
注目画素は、画素値２７０１−１を有する画素（以下、画素値２７０１−１を有する画素を、注目画素２７０１−１と称する）とされており、注目画素２７０１−１におけるデータの定常性の方向は傾きＧ_ｆで表されている。
【１７６５】
図２５１は、注目画素２７０１−１の中心における実世界１の光信号のレベルと、断面方向距離ｘ’における実世界１の光信号のレベルの差（以下、レベル差と称する）を表している。即ち、図中水平方向の軸が断面方向距離ｘ’を表しており、図中垂直方向の軸がレベル差を表している。なお、図中水平方向の軸の数値は、画素幅Ｌ_ｃを１の長さとして付されている。
【１７６６】
ここで、図２５２と図２５３を参照して、断面方向距離ｘ’について説明する。
【１７６７】
図２５２は、図２５０の入力画像２７０１のうちの、注目画素２７０１−１を中心とする５×５画素のブロックを表している。図２５２においても、図２５０と同様に、図中水平方向が、空間方向の１方向であるＸ方向とされ、図中垂直方向が、空間方向の他方向であるＹ方向とされている。
【１７６８】
このとき、例えば、注目画素２７０１−１の中心を空間方向の原点（０，０）とし、その原点を通り、かつ、データの定常性の方向（図２５２の例では、傾きＧ_ｆで表されるデータ定常性の方向）と平行な直線を引いたとすると、その直線に対するＸ方向の相対的な距離を、断面方向距離ｘ’と称している。図２５２の例では、注目画素２７０１−１よりもＹ方向に２画素分離れた画素２７０１−２の中心点における断面方向距離ｘ’が示されている。
【１７６９】
図２５３は、図２５０の入力画像２７０１のうちの、図２５２に示されるブロック内の各画素の断面方向距離を表した図である。即ち、図２５３において、入力画像２７０１の各画素（図中５×５＝２５個の正方形）内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、画素２７０１−２の断面方向距離ｘ’は、−２βである。
【１７７０】
ただし、上述したように、各画素幅Ｌ_ｃは、Ｘ方向もＹ方向も１とされている。Ｘ方向の正方向は、図中右方向とされている。また、βは、注目画素２７０１−１のＹ方向に対して１つ隣（図中１つ下）の画素２７０１−３の断面方向距離を表している。このβは、図２５３で示されるような角度θ（傾きＧ_ｆで表されるデータ定常性の方向と、Ｘ方向のなす角度θ）が、データ定常性検出部１０１よりデータ定常性情報として出力されている場合、次の式（１６９）を利用して簡単に演算することが可能である。
【１７７１】
β ＝ １／ｔａｎθ ・・・（１６９）
【１７７２】
図２５１に戻り、実際のレベル差を描画することは困難であるので、図２５１の例では、図２５０の入力画像２７０１に対応する、入力画像２７０１よりも高解像度の画像（図示せず）を事前に生成し、高解像度の画像の画素のうちの、入力画像２７０１の注目画素２７０１−１の略中心に位置する画素（高解像度の画像の画素）の画素値と、空間方向Ｘに水平な直線であって、入力画像２７０１の注目画素２７０１−１の中心を通る直線上に位置する各画素（高解像度の画像の画素）のそれぞれの画素値との差が、レベル差としてプロットされている。
【１７７３】
図２５１において、プロットされたレベル差で示されるように、断面方向距離ｘ’が略−０．５から略１．５の範囲に、傾きＧ_ｆで表されるデータの定常性を有する領域（以下、重み付けの説明において、このような領域を、定常領域と称する）が存在する。
【１７７４】
従って、断面方向距離ｘ’が小さい画素（入力画像２７０１の画素）ほど、定常領域を含む確率が高くなる。即ち、断面方向距離ｘ’が小さい画素（入力画像２７０１の画素）の画素値は、実世界推定部１０２が、定常性を有する実世界１の信号をモデル１６１で近似する場合に利用するデータ１６２として重要度が高いといえる。
【１７７５】
これに対して、断面方向距離ｘ’が大きい画素（入力画像２７０１の画素）ほど、定常領域を含む確率が低くなる。即ち、断面方向距離ｘ’が大きい画素（入力画像２７０１の画素）は、実世界推定部１０２が、定常性を有する実世界１の信号をモデル１６１で近似する場合に利用するデータ１６２として重要度が低いといえる。
【１７７６】
以上の重要度の関係については、入力画像２７０１に限らず、センサ２（図１）からの入力画像の全てに当てはまる。
【１７７７】
そこで、実世界推定部１０２は、定常性を有する実世界１の信号をモデル１６１で近似する場合、各画素（センサ２からの入力画像の画素）のそれぞれの画素値に対して、断面方向距離ｘ’に応じて重み付けをして抽出し、抽出した値（重み付けされた画素値）をデータ１６２として利用することができる。即ち、データ１６２として、入力画像の画素値が抽出される場合、図２５１で示されるように、断面方向距離ｘ’が大きくなるほど重みが小さくされて、画素値が抽出されることになる。
【１７７８】
さらに、図２５４で示されるように、実世界推定部１０２は、定常性を有する実世界１の信号をモデル１６１で近似する場合、各画素（センサ２からの入力画像の画素であって、図２５４の例では、入力画像２７０１の画素）のそれぞれの画素値に対して、空間相関に応じて（即ち、注目画素２７０１−１からの、傾きＧ_ｆで表される定常性の方向の距離に応じて）重み付けをして抽出し、抽出した値（重み付けされた画素値）をデータ１６２として利用することができる。即ち、データ１６２として、入力画像の画素値が抽出される場合、図２５４で示されるように、空間相関が小さくなるほど（傾きＧ_ｆで表される定常性の方向の距離が大きくなるほど）重みが小さくされて、画素値が抽出されることになる。なお、図２５４は、図２５０と同一の入力画像２７０１を表している。
【１７７９】
上述した２つの重み付け（図２５１で示される重み付けと、図２５４で示される重み付け）は、いずれか一方のみが使用されてもよいし、両方が同時に使用されてもよい。なお、両方が同時に使用される場合、最終的に利用される重みの算出方法は、特に限定されない。例えば、最終的な重みとして、両方の各重みの積が利用されてもよいし、図２５１で示される重み付けにより決定された重みに対して、傾きＧ_ｆで表されるデータの定常性の方向の距離に応じて補正された重み（例えば、データの定常性の方向の距離が１増えるたびに、所定の値ずつ減少されていく重み）が利用されてもよい。
【１７８０】
実世界推定部１０２は、このようにして決定された重みを用いて、各画素のそれぞれの画素値を抽出し、重み付けされた画素値をデータ１６２として利用することで、実世界１の信号により近いモデル１６１を生成することが可能になる。
【１７８１】
具体的には、例えば、実世界推定部１０２は、上述したように、Ｓ_ＭＡＴＷ_ＭＡＴ＝Ｐ_ＭＡＴで表される正規方程式を利用して（即ち、最小自乗法により）、モデル１６１である近似関数の特徴量（即ち、行列Ｗ_ＭＡＴの各成分）を演算することで、実世界１の信号を推定することもできる。
【１７８２】
この場合、入力画像のうちの、画素の番号がｌ（ｌは、１乃至Ｍのうちのいずれかの整数値）の画素のそれぞれに対する重みをｖ_ｌと記述すると、実世界推定部１０２は、行列Ｓ_ＭＡＴとして次の式（１７０）で示される行列を使用し、かつ、行列Ｐ_ＭＡＴとして次の式（１７１）で示される行列を使用することができる。
【１７８３】
【数１３６】

【１７８４】
【数１３７】

【１７８５】
このように、上述した関数近似手法（図２１９）等、最小自乗法を利用する実世界推定部１０２は、重みを含む行列（即ち、上述した式（１７０）と上述した式（１７１））を使用することで、行列Ｓ_ＭＡＴとして上述した式（１３）で示される行列を使用し、かつ、行列Ｐ_ＭＡＴとして上述した式（１５）で示される行列を使用する場合に比較して、実世界１の信号により近い近似関数の特徴量を演算することが可能になる。
【１７８６】
即ち、最小自乗法を利用する実世界推定部１０２は、上述した重み付けの処理をさらに実行することで（正規方程式で使用する行列として、式（１７０）や式（１７１）で示されるような、重みｖ_ｌが含まれる行列を使用するだけで）、その構成を変えることなく、実世界１の信号により近い近似関数の特徴量を演算することが可能になる。
【１７８７】
具体的には、例えば、図２５５は、実世界推定部１０２が、正規方程式の行列として、重みｖ_ｌを含まない行列（例えば、上述した式（１３）と式（１５））を利用して近似関数を生成し（近似関数の特徴量を演算し）、画像生成部１０３（図３）が、その近似関数を再積分することで生成した画像の例を表している。
【１７８８】
これに対して、図２５６は、実世界推定部１０２が、正規方程式の行列として、重みｖ_ｌを含む行列（例えば、上述した式（１７０）と式（１７１））を利用して近似関数を生成し（近似関数の特徴量を演算し）、画像生成部１０３が、その近似関数を再積分することで生成した画像（図２５５に対応する画像）の例を表している。
【１７８９】
図２５５の画像と図２５６の画像を比較するに、例えば、図２５５の画像の領域２７１１と、図２５６の画像の領域２７１２のいずれも、フォークの先端の一部分（同一部分）を表している。
【１７９０】
図２５５の画像の領域２７１１においては、非連続の複数の線が重なるようにして表示されているが、図２５６の画像の領域２７１２においては、ほぼ１に連続した線が表示されている。
【１７９１】
フォークの先端は実際には連続して形成されている（連続した１つの線として人間の目に映る）ことを考えると、図２５６の画像の領域２７１２の方が、図２５５の画像の領域２７１１に比較して、実世界１の信号、即ち、フォークの先端の画像をより忠実に再現しているといえる。
【１７９２】
また、図２５７は、実世界推定部１０２が、正規方程式の行列として、重みｖ_ｌを含まない行列（例えば、上述した式（１３）と式（１５））を利用して近似関数を生成し（近似関数の特徴量を演算し）、画像生成部１０３が、その近似関数を再積分することで生成した画像の他の例（図２５５の画像とは異なる例）を表している。
【１７９３】
これに対して、図２５８は、実世界推定部１０２が、正規方程式の行列として、重みｖ_ｌを含む行列（例えば、上述した式（１７０）と式（１７１））を利用して近似関数を生成し（近似関数の特徴量を演算し）、画像生成部１０３が、その近似関数を再積分することで生成した画像の他の例（図２５７に対応する画像であって、図２５６の画像とは異なる例）を表している。
【１７９４】
図２５７の画像と図２５８の画像を比較するに、例えば、図２５７の画像の領域２７１３と、図２５８の画像の領域２７１４のいずれも、梁の一部分（同一部分）を表している。
【１７９５】
図２５７の画像の領域２７１３においては、非連続の複数の線が重なるように表示されているが、図２５８の画像の領域２７１４においては、ほぼ１つに連続した線が表示されている。
【１７９６】
梁は実際には連続して形成されている（連続した１つの線として人間の目に映る）ことを考えると、図２５８の画像の領域２７１４の方が、図２５７の画像の領域２７１３に比較して、実世界１の信号、即ち、梁の画像をより忠実に再現しているといえる。
【１７９７】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出したデータの定常性に対応して、画像データ内の注目画素からの時空間方向のうちの少なくとも１次元方向の距離に応じて、画像データ内の各画素のそれぞれに対して重みが付けられるとともに、画像データ内の、少なくとも１次元方向の位置に対応する画素の重みが付けられた画素値を、少なくとも１次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第１の関数が多項式である第２の関数で近似することで、第１の関数を推定するようにしたので、画像をより忠実に表現することが可能となる。
【１７９８】
次に、図２５９乃至図２８０を参照して、画像生成部１０３（図３）の実施の形態の１例について説明する。
【１７９９】
図２５９は、この例の実施の形態の原理を説明する図である。
【１８００】
図２５９で示されるように、この例の実施の形態においては、実世界推定部１０２が、関数近似手法を利用することが前提とされている。即ち、センサ２に入射される画像である、実世界１の信号（光の強度の分布）が、所定の関数Ｆで表されるとして、実世界推定部１０２が、センサ２から出力された入力画像（画素値Ｐ）と、データ定常性検出部１０１から出力されたデータ定常性情報を使用して、関数Ｆを所定の関数ｆで近似することによって、関数Ｆを推定することが前提とされている。
【１８０１】
なお、以下、この例の実施の形態の説明においても、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。また、関数ｆを、特に近似関数ｆと称する。
【１８０２】
そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部１０３が、データ定常性検出部１０１から出力されたデータ定常性情報と、実世界推定部１０２から出力された実世界推定情報（図２５９の例では、近似関数ｆの特徴量）を使用して、近似関数ｆを所定の時空間範囲で積分し、その積分値を出力画素値Ｍ（出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値をＰと記述し、出力画素値をＭと記述する。
【１８０３】
換言すると、光信号関数Ｆが１度積分されて入力画素値Ｐとなり、その入力画素値Ｐから光信号関数Ｆが推測され（近似関数ｆで近似され）、推測された光信号関数Ｆ（即ち、近似関数ｆ）が再度積分されて、出力画素値Ｍが生成される。従って、以下、画像生成部１０３が実行する近似関数ｆの積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。
【１８０４】
なお、後述するように、再積分手法において、出力画素値Ｍが生成される場合の近似関数ｆの積分範囲は、入力画素値Ｐが生成される場合の光信号関数Ｆの積分範囲（即ち、空間方向においては、センサ２の検出素子の縦幅と横幅であり、時間方向においては、センサ２の露光時間である）に限定されず、任意の積分範囲が可能である。
【１８０５】
例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。
【１８０６】
同様に、例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。
【１８０７】
以下、図面を参照して、このような再積分手法のうちの３つの具体的な手法についてそれぞれ個別に説明していく。
【１８０８】
即ち、３つの具体的な手法とは、関数近似手法の３つの具体的な手法（実世界推定部１０２の実施の形態の上述した３つの具体的な例）のそれぞれに対応する再積分手法である。
【１８０９】
具体的には、１つ目の手法は、上述した１次元多項式近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、１つ目の手法では１次元の再積分を行うことになるので、以下、このような再積分手法を、１次元再積分手法と称する。
【１８１０】
２つ目の手法は、上述した２次元多項式近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、２つ目の手法では２次元の再積分を行うことになるので、以下、このような再積分手法を、２次元再積分手法と称する。
【１８１１】
３つ目の手法は、上述した３次元関数近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、３つ目の手法では３次元の再積分を行うことになるので、以下、このような再積分手法を、３次元再積分手法と称する。
【１８１２】
以下、１次元再積分手法、２次元再積分手法、および３次元再積分手法のそれぞれの詳細について、その順番で説明していく。
【１８１３】
はじめに、１次元再積分手法について説明する。
【１８１４】
１次元再積分手法においては、１次元多項式近似手法により近似関数ｆ（ｘ）が既に生成されていることが前提とされる。
【１８１５】
即ち、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）を、空間方向であるＸ方向、Ｙ方向、およびＺ方向、並びに時間方向であるｔ方向のうちの所定の１方向（例えば、Ｘ方向）に射影した１次元の波形（再積分手法の説明においても、このような波形のうちのＸ方向に射影した波形を、Ｘ断面波形Ｆ（ｘ）と称することにする）が、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似されていることが前提とされる。
【１８１６】
この場合、１次元再積分手法においては、出力画素値Ｍは、次の式（１７２）のように演算される。
【１８１７】
【数１３８】

【１８１８】
なお、式（１７２）において、ｘ_ｓは、積分開始位置を表しており、ｘ_ｅは、積分終了位置を表している。また、Ｇ_ｅは、所定のゲインを表している。
【１８１９】
具体的には、例えば、いま、実世界推測部１０２が、図２６０で示されるような画素３１０１（センサ２の所定の１つの検出素子に対応する画素３１０１）を注目画素として、図２６０で示されるような近似関数ｆ（ｘ）（Ｘ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を既に生成しているとする。
【１８２０】
なお、図２６０の例では、画素３１０１の画素値（入力画素値）がＰとされ、かつ、画素３１０１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３１０１の１辺に平行な方向（図中水平方向）がＸ方向とされ、Ｘ方向に垂直な方向（図中垂直方向）がＹ方向とされている。
【１８２１】
また、図２６０の下側に、画素３１０１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素３１０１が示されている。
【１８２２】
さらに、図２６０の上方に、ｙ＝０（ｙは、図中下側で示される注目画素座標系のＹ方向の座標値）における近似関数ｆ（ｘ）をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系のＸ方向のｘ軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。
【１８２３】
この場合、近似関数ｆ（ｘ）と画素３１０１の画素値Ｐの間には、次の式（１７３）の関係が成立する。
【１８２４】
【数１３９】

【１８２５】
また、図２６０で示されるように、画素３１０１は、傾きＧ_ｆで表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部１０１（図２５９）が、傾きＧ_ｆで表されるデータの定常性に対応するデータ定常性情報として、図２６０で示されるような角度θを既に出力しているとする。
【１８２６】
この場合、例えば、１次元再積分方法においては、図２６１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２６０の画素３１０１が位置する範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが可能である。
【１８２７】
なお、図２６１の下側に、図２６０のものと同一の注目画素座標系と、その注目画素座標系における画素３１１１乃至画素３１１４が示されている。また、図２６１の上側に、図２６０のものと同一のグラフ（ｙ＝０における近似関数ｆ（ｘ）をグラフ化したもの）が示されている。
【１８２８】
具体的には、図２６１で示されるように、１次元再積分方法においては、次の式（１７４）により画素３１１１の画素値Ｍ（１）の算出が、次の式（１７５）により画素３１１２の画素値Ｍ（２）の算出が、次の式（１７６）により画素３１１３の画素値Ｍ（３）の算出が、次の式（１７７）により画素３１１４の画素値Ｍ（４）の算出が、それぞれ可能である。
【１８２９】
【数１４０】

【１８３０】
【数１４１】

【１８３１】
【数１４２】

【１８３２】
【数１４３】

【１８３３】
なお、式（１７４）のｘ_ｓ１、式（１７５）のｘ_ｓ２、式（１７６）のｘ_ｓ３、および式（１７７）のｘ_ｓ４のそれぞれは、対応する式の積分開始位置を表している。また、式（１７４）のｘ_ｅ１、式（１７５）のｘ_ｅ２、式（１７６）のｘ_ｅ３、および式（１７７）のｘ_ｅ４のそれぞれは、対応する式の積分終了位置を表している。
【１８３４】
式（１７４）乃至式（１７７）のそれぞれの右辺の積分範囲は、画素３１１１乃至画素３１１４のそれぞれの画素幅（Ｘ方向の長さ）となる。即ち、ｘ_ｅ１−ｘ_ｓ１，ｘ_ｅ２−ｘ_ｓ２，ｘ_ｅ３−ｘ_ｓ３，ｘ_ｅ４−ｘ_ｓ４のそれぞれは、０．５となる。
【１８３５】
ただし、いまの場合、ｙ＝０における近似関数ｆ（ｘ）と同一形状の１次元の波形が、Ｙ方向ではなく、傾きＧ_ｆで表されるデータの定常性の方向（即ち、角度θ方向）に連なっていると考えられる（実際には、ｙ＝０におけるＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっている）。即ち、図２６１の注目画素座標系における原点（０，０）（図２６０の画素３１０１の中心）における画素値ｆ（０）を画素値ｆ１とした場合、画素値ｆ１が続く方向は、Ｙ方向ではなく、傾きＧ_ｆで表されるデータの定常性の方向（角度θ方向）である。
【１８３６】
換言すると、Ｙ方向の所定の位置ｙ（ただし、ｙは０以外の数値）における近似関数ｆ（ｘ）の波形を考えた場合、画素値ｆ１となる位置は、位置（０，ｙ）ではなく、位置（０，ｙ）からＸ方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、Ｙ方向の位置ｙに依存する量であるので、このシフト量をＣ_ｘ（ｙ）と記述することにする）だけ移動した位置（Ｃ_ｘ（ｙ），ｙ）である。
【１８３７】
従って、上述した式（１７４）乃至式（１７７）のそれぞれの右辺の積分範囲として、求めたい画素値Ｍ（ｌ）（ただし、ｌは、１乃至４のうちのいずれかの整数値）の中心が存在するＹ方向の位置ｙを考慮した範囲、即ち、シフト量Ｃ_ｘ（ｙ）を考慮した積分範囲の設定が必要である。
【１８３８】
具体的には、例えば、画素３１１１と画素３１１２の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝０．２５である。
【１８３９】
従って、ｙ＝０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃ_ｘ（０．２５）だけ移動させた波形に相当する。
【１８４０】
換言すると、上述した式（１７４）において、画素３１１１に対する画素値Ｍ（１）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘ_ｓ１から終了位置ｘ_ｅ１まで）で積分したものであるとすると、その積分範囲は、開始位置ｘ_ｓ１＝−０．５から終了位置ｘ_ｅ１＝０までの範囲（画素３１１１がＸ方向に占める範囲そのもの）ではなく、図２６１で示される範囲、即ち、開始位置ｘ_ｓ１＝−０．５＋Ｃ_ｘ（０．２５）から終了位置ｘ_ｅ１＝０＋Ｃ_ｘ（０．２５）（シフト量Ｃ_ｘ（０．２５）だけ画素３１１１を仮に移動させた場合における、画素３１１１がＸ方向に占める範囲）となる。
【１８４１】
同様に、上述した式（１７５）において、画素３１１２に対する画素値Ｍ（２）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘ_ｓ２から終了位置ｘ_ｅ２まで）で積分したものであるとすると、その積分範囲は、開始位置ｘ_ｓ２＝０から終了位置ｘ_ｅ２＝０．５までの範囲（画素３１１２のＸ方向に占める範囲そのもの）ではなく、図２６１で示される範囲、即ち、開始位置ｘ_ｓ２＝０＋Ｃ_ｘ（０．２５）から終了位置ｘ_ｅ１＝０．５＋Ｃ_ｘ（０．２５）（シフト量Ｃ_ｘ（０．２５）だけ画素３１１２を仮に移動させた場合における、画素３１１２のＸ方向に占める範囲）となる。
【１８４２】
また、例えば、画素３１１３と画素３１１４の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝−０．２５である。
【１８４３】
従って、ｙ＝−０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃ_ｘ（−０．２５）だけ移動させた波形に相当する。
【１８４４】
換言すると、上述した式（１７６）において、画素３１１３に対する画素値Ｍ（３）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘ_ｓ３から終了位置ｘ_ｅ３まで）で積分したものであるとすると、その積分範囲は、開始位置ｘ_ｓ３＝−０．５から終了位置ｘ_ｅ３＝０までの範囲（画素３１１３のＸ方向に占める範囲そのもの）ではなく、図２６１で示される範囲、即ち、開始位置ｘ_ｓ３＝−０．５＋Ｃ_ｘ（−０．２５）から終了位置ｘ_ｅ３＝０＋Ｃ_ｘ（−０．２５）（シフト量Ｃ_ｘ（−０．２５）だけ画素３１１３を仮に移動させた場合における、画素３１１３のＸ方向に占める範囲）となる。
【１８４５】
同様に、上述した式（１７７）において、画素３１１４に対する画素値Ｍ（４）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘ_ｓ４から終了位置ｘ_ｅ４まで）で積分したものであるとすると、その積分範囲は、開始位置ｘ_ｓ４＝０から終了位置ｘ_ｅ４＝０．５までの範囲（画素３１１４のＸ方向の占める範囲そのもの）ではなく、図２６１で示される範囲、即ち、開始位置ｘ_ｓ４＝０＋Ｃ_ｘ（−０．２５）から終了位置ｘ_ｅ１＝０．５＋Ｃ_ｘ（−０．２５）（シフト量Ｃ_ｘ（−０．２５）だけ画素３１１４を仮に移動させた場合における、画素３１１４のＸ方向に占める範囲）となる。
【１８４６】
従って、画像生成部１０２（図２５９）は、上述した式（１７４）乃至式（１７７）のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれとして出力することになる。
【１８４７】
このように、画像生成部１０２は、１次元再積分手法を利用することで、センサ２（図２５９）からの出力画素３１０１（図２６０）における画素として、出力画素３１０１よりも空間解像度の高い４つの画素、即ち、画素３１１１乃至画素３１１４（図２６１）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０２は、画素３１１１乃至画素３１１４のみならず、積分範囲を適宜変えることで、出力画素３１０１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１８４８】
図２６２は、このような１次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１８４９】
図２６２で示されるように、この例の画像生成部１０３には、条件設定部３１２１、特徴量記憶部３１２２、積分成分演算部３１２３、および出力画素値演算部３１２４が設けられている。
【１８５０】
条件設定部３１２１は、実世界推定部１０２より供給された実世界推定情報（図２６２の例では、近似関数ｆ（ｘ）の特徴量）に基づいて近似関数ｆ（ｘ）の次数ｎを設定する。
【１８５１】
条件設定部３１２１はまた、近似関数ｆ（ｘ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３１２１が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数ｆ（ｘ）は空間方向（Ｘ方向）に積分されるので、センサ２（図２５９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３１２１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１８５２】
特徴量記憶部３１２２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ）の特徴量を一次的に記憶する。そして、特徴量記憶部３１２２は、近似関数ｆ（ｘ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３１２４に供給する。
【１８５３】
ところで、上述したように、画像生成部１０３は、上述した式（１７２）を利用して出力画素値Ｍを演算するが、上述した式（１７２）の右辺に含まれる近似関数ｆ（ｘ）は、具体的には、次の式（１７８）のように表される。
【１８５４】
【数１４４】

【１８５５】
なお、式（１７８）において、ｗ_ｉは、実世界推定部１０２より供給される近似関数ｆ（ｘ）の特徴量を表している。
【１８５６】
従って、上述した式（１７２）の右辺の近似関数ｆ（ｘ）に、式（１７８）の近似関数ｆ（ｘ）を代入して、式（１７２）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１７９）のように表される。
【１８５７】
【数１４５】

【１８５８】
式（１７９）において、Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）は、次の式（１８０）で示される通りである。
【１８５９】
【数１４６】

【１８６０】
積分成分演算部３１２３は、この積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）を演算する。
【１８６１】
具体的には、式（１８０）で示されるように、積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）は、積分範囲の開始位置ｘ_ｓ、および終了位置ｘ_ｅ、ゲインＧ_ｅ、並びにｉ次項のｉが既知であれば演算可能である。
【１８６２】
これらのうちの、ゲインＧ_ｅは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１８６３】
ｉの範囲は、条件設定部３１２１により設定された次数ｎにより決定される。
【１８６４】
また、積分範囲の開始位置ｘ_ｓ、および終了位置ｘ_ｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅、並びにデータの定常性の方向を表すシフト量Ｃ_ｘ（ｙ）により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【１８６５】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１８６６】
また、シフト量Ｃ_ｘ（ｙ）と、データ定常性検出部１０１より供給された角度θは、次の式（１８１）と式（１８２）のような関係が成り立つので、シフト量Ｃ_ｘ（ｙ）は角度θにより決定される。
【１８６７】
【数１４７】

【１８６８】
【数１４８】

【１８６９】
なお、式（１８１）において、Ｇ_ｆは、データの定常性の方向を表す傾きを表しており、θは、データ定常性検出部１０１（図２５９）より出力されるデータ定常性情報の１つである角度（空間方向の１方向であるＸ方向と、傾きＧ_ｆで表されるデータの定常性の方向とのなす角度）を表している。また、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向（Ｘ方向と垂直な空間方向）の微小移動量を表している。
【１８７０】
従って、積分成分演算部３１２３は、条件設定部３１２１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３１２４に供給する。
【１８７１】
出力画素値演算部３１２４は、特徴量記憶部３１２２より供給された特徴量テーブルと、積分成分演算部３１２３より供給された積分成分テーブルを利用して、上述した式（１７９）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１８７２】
次に、図２６３のフローチャートを参照して、１次元再積分手法を利用する画像生成部１０３（図２６２）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【１８７３】
例えば、いま、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２が、上述した図２６０で示されるような画素３１０１を注目画素として、図２６０で示されるような近似関数ｆ（ｘ）を既に生成しているとする。
【１８７４】
また、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１が、データ定常性情報として、図２６０で示されるような角度θを既に出力しているとする。
【１８７５】
この場合、図２６３のステップＳ３１０１において、条件設定部３１２１は、条件（次数と積分範囲）を設定する。
【１８７６】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１８７７】
即ち、この場合、図２６１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２６０の画素３１０１の範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが設定されたことになる。
【１８７８】
ステップＳ３１０２において、特徴量記憶部３１２２は、実世界推定部１０２より供給された近似関数ｆ（ｘ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ_０乃至ｗ_５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ_０，ｗ_１，ｗ_２，ｗ_３，ｗ_４，ｗ_５）が生成される。
【１８７９】
ステップＳ３１０３において、積分成分演算部３１２３は、条件設定部３１２１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１８８０】
具体的には、例えば、これから生成する画素３１１１乃至画素３１１４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３１２３は、上述した式（１８０）の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）を、次の式（１８３）の左辺で示される積分成分Ｋ_ｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１８８１】
Ｋ_ｉ（ｌ） ＝ Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ） ・・・（１８３）
【１８８２】
具体的には、いまの場合、次の式（１８４）で示される積分成分Ｋ_ｉ（ｌ）が演算される。
【１８８３】
【数１４９】

【１８８４】
なお、式（１８４）において、左辺が積分成分Ｋ_ｉ（ｌ）を表し、右辺が積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫ_ｉ（１），６個のＫ_ｉ（２），６個のＫ_ｉ（３），６個のＫ_ｉ（４）の総計２４個のＫ_ｉ（ｌ）が演算されることになる。
【１８８５】
より具体的には、はじめに、積分成分演算部３１２３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１８１）と式（１８２）よりシフト量Ｃ_ｘ（−０．２５）、およびＣ_ｘ（０．２５）のそれぞれを演算する。
【１８８６】
次に、積分成分演算部３１２３は、演算したシフト量Ｃ_ｘ（−０．２５）、およびＣ_ｘ（０．２５）を使用して、式（１８４）の４つの式の各右辺の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）の演算においては、上述した式（１８０）が使用される。
【１８８７】
そして、積分成分演算部３１２３は、式（１８４）に従って、演算した２４個の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ）のそれぞれを、対応する積分成分Ｋ_ｉ（ｌ）に変換し、変換した２４個の積分成分Ｋ_ｉ（ｌ）（即ち、６個のＫ_ｉ（１）、６個のＫ_ｉ（２）、６個のＫ_ｉ（３）、および６個のＫ_ｉ（４））を含む積分成分テーブルを生成する。
【１８８８】
なお、ステップＳ３１０２の処理とステップＳ３１０３の処理の順序は、図２６３の例に限定されず、ステップＳ３１０３の処理が先に実行されてもよいし、ステップＳ３１０２の処理とステップＳ３１０３の処理が同時に実行されてもよい。
【１８８９】
次に、ステップＳ３１０４において、出力画素値演算部３１２４は、ステップＳ３１０２の処理で特徴量記憶部３１２２により生成された特徴量テーブルと、ステップＳ３１０３の処理で積分成分演算部３１２３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１８９０】
具体的には、いまの場合、出力画素値演算部３１２４は、上述した式（１７９）に対応する、次の式（１８５）乃至式（１８８）の右辺を演算することで、画素３１１１（モード番号１の画素）の画素値Ｍ（１）、画素３１１２（モード番号２の画素）の画素値Ｍ（２）、画素３１１３（モード番号３の画素）の画素値Ｍ（３）、および画素３１１４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１８９１】
【数１５０】

【１８９２】
【数１５１】

【１８９３】
【数１５２】

【１８９４】
【数１５３】

【１８９５】
ステップＳ３１０５において、出力画素値演算部３１２４は、全画素の処理を終了したか否かを判定する。
【１８９６】
ステップＳ３１０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３１０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３１０２乃至Ｓ３１０４の処理が繰り返される。
【１８９７】
そして、全画素の処理が終了すると（ステップＳ３１０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３１２４は、ステップＳ３１０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１８９８】
次に、図２６４乃至図２７１を参照して、所定の入力画像に対して、１次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。
【１８９９】
図２６４は、入力画像の元の画像を示す図であり、図２６５は、図２６４の元の画像に対応する画像データを示している。図２６５において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向であるＸ方向を示し、図中右上方向の軸は、画像の空間方向の他の方向であるＹ方向を示す。なお、後述する図２６７、図２６９、および図２７１の軸のそれぞれは、図２６５の軸と対応している。
【１９００】
図２６６は、入力画像の例を示す図である。図２６６で示される入力画像は、図２６４で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。即ち、入力画像は、図２６４で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図２６７は、図２６６の入力画像に対応する画像データを示している。
【１９０１】
図２６４で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図２６６で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【１９０２】
図２６８は、図２６６で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図２６８で示される画像を、従来の画像と称する）を示す図である。また、図２６９は、従来の画像に対応する画像データを示している。
【１９０３】
なお、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【１９０４】
図２７０は、図２６６で示される入力画像に、本発明が適用される１次元再積分手法を適用して得られた画像（以下、図２７０で示される画像を、本発明の画像と称する）を示す図である。また、図２７１は、本発明の画像に対応する画像データを示している。
【１９０５】
図２６８の従来の画像と、図２７０の本発明の画像を比較するに、従来の画像においては、細線の画像が、図２６４の元の画像とは異なるものになっているのに対して、本発明の画像においては、細線の画像が、図２６４の元の画像とほぼ同じものになっていることがわかる。
【１９０６】
この違いは、従来のクラス分類適応処理は、あくまでも図２６６の入力画像を基準（原点）として処理を行う手法であるのに対して、本発明の１次元再積分手法は、細線の定常性を考慮して、図２６４の元の画像を推定し（元の画像に対応する近似関数ｆ（ｘ）を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。
【１９０７】
このように、１次元再積分手法においては、１次元多項式近似手法により生成された１次元の多項式である近似関数ｆ（ｘ）（実世界のＸ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を基準（原点）として、近似関数ｆ（ｘ）を任意の範囲に積分することで出力画像（画素値）が生成される。
【１９０８】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１９０９】
換言すると、１次元再積分手法においては、図２５９のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性を検出し、実世界推定部１０２が、検出されたデータの定常性に対応して、入力画像の時空間方向のうち１次元方向の位置に対応する画素の画素値が、その１次元方向の積分効果により取得された画素値であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、Ｘ断面波形Ｆ（ｘ））を、所定の近似関数ｆ（ｘ）で近似することで、光信号関数Ｆを推定していることが前提とされている。
【１９１０】
詳細には、例えば、検出されたデータの定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値が、その１次元方向の積分効果により取得された画素値であるとして、Ｘ断面波形Ｆ（ｘ）が近似関数ｆ（ｘ）で近似されていることが前提とされている。
【１９１１】
そして、１次元再積分手法においては、このような前提に基づいて、例えば、図２５９（図３）の画像生成部１０３が、実世界推定部１０２により推定されたＸ断面波形Ｆ（ｘ）、即ち、近似関数ｆ（ｘ）を、１次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値Ｍを生成し、それを出力画像として出力する。
【１９１２】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１９１３】
また、１次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。
【１９１４】
さらに、１次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。
【１９１５】
次に、図２７２乃至図２７８を参照して、２次元再積分手法について説明する。
【１９１６】
２次元再積分手法においては、２次元多項式近似手法により近似関数ｆ（ｘ，ｙ）が既に生成されていることが前提とされる。
【１９１７】
即ち、例えば、図２７２で示されるような、傾きＧ_Ｆで表される空間方向の定常性を有する実世界１（図２５９）の光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）を、空間方向（Ｘ方向とＹ方向）に射影した波形、即ち、Ｘ−Ｙ平面上の波形Ｆ（ｘ，ｙ）が、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ，ｙ）に近似されていることが前提とされる。
【１９１８】
図２７２において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。Ｇ_Ｆは、空間方向の定常性の傾きを表している。
【１９１９】
なお、図２７２の例では、定常性の方向は、空間方向（Ｘ方向とＹ方向）とされているため、近似の対象とされる光信号の射影関数は、関数Ｆ（ｘ，ｙ）とされているが、後述するように、定常性の方向に応じて、関数Ｆ（ｘ，ｔ）や関数Ｆ（ｙ，ｔ）が近似の対象とされてもよい。
【１９２０】
図２７２の例の場合、２次元再積分手法においては、出力画素値Ｍは、次の式（１８９）のように演算される。
【１９２１】
【数１５４】

【１９２２】
なお、式（１８９）において、ｙ_ｓは、Ｙ方向の積分開始位置を表しており、ｙ_ｅは、Ｙ方向の積分終了位置を表している。同様に、ｘ_ｓは、Ｘ方向の積分開始位置を表しており、ｘ_ｅは、Ｘ方向の積分終了位置を表している。また、Ｇ_ｅは、所定のゲインを表している。
【１９２３】
式（１８９）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２５９）からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。
【１９２４】
図２７３は、２次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１９２５】
図２７３で示されるように、この例の画像生成部１０３には、条件設定部３２０１、特徴量記憶部３２０２、積分成分演算部３２０３、および出力画素値演算部３２０４が設けられている。
【１９２６】
条件設定部３２０１は、実世界推定部１０２より供給された実世界推定情報（図２７３の例では、近似関数ｆ（ｘ，ｙ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【１９２７】
条件設定部３２０１はまた、近似関数ｆ（ｘ，ｙ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３２０１が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数ｆ（ｘ，ｙ）は空間方向（Ｘ方向とＹ方向）に積分されるので、センサ２からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３２０１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１９２８】
特徴量記憶部３２０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ）の特徴量を一次的に記憶する。そして、特徴量記憶部３２０２は、近似関数ｆ（ｘ，ｙ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１９２９】
ここで、近似関数ｆ（ｘ，ｙ）の詳細について説明する。
【１９３０】
例えば、いま、上述した図２７２で示されるような傾きＧ_Ｆで表される空間方向の定常性を有する実世界１（図２５９）の光信号（波形Ｆ（ｘ，ｙ）で表される光信号）が、センサ２（図２５９）により検出されて入力画像（画素値）として出力されたとする。
【１９３１】
さらに、例えば、図２７４で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域３２２１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧ_Ｆに対応する傾きＧ_ｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１９３２】
なお、実世界推定部１０２から見ると、データ定常性検出部１０１は、注目画素における角度θを単に出力すればよいので、データ定常性検出部１０１の処理範囲は、上述した入力画像の領域３２２１に限定されない。
【１９３３】
また、入力画像の領域３２２１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１９３４】
さらに、図２７４中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧ_ｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’とされている。
【１９３５】
さらに、図２７４中、右側のグラフは、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする画像関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ’）と称する）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１９３６】
この場合、図２７４で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（１９０）のように表される。
【１９３７】
【数１５５】

【１９３８】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘ_ｌが、次の式（１９１）のように表される。ただし、式（１９１）において、ｓはｃｏｔθを表している。
【１９３９】
ｘ_ｌ ＝ ｓ×ｙ ・・・（１９１）
【１９４０】
即ち、図２７４で示されるように、傾きＧ_ｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘ_ｌ，ｙ）で表される。
【１９４１】
式（１９１）より、断面方向距離ｘ’は、次の式（１９２）のように表される。
【１９４２】
ｘ’ ＝ ｘ−ｘ_ｌ ＝ ｘ−ｓ×ｙ ・・・（１９２）
【１９４３】
従って、入力画像の領域３２２１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（１９０）と式（１９２）より、次の式（１９３）のように示される。
【１９４４】
【数１５６】

【１９４５】
なお、式（１９３）において、ｗ_ｉは、近似関数ｆ（ｘ，ｙ）の特徴量を表している。
【１９４６】
図２７３に戻り、式（１９３）に含まれる特徴量ｗ_ｉが、実世界推定部１０２より供給され、特徴量記憶部３２０２に記憶される。特徴量記憶部３２０２は、式（１９３）で表される特徴量ｗ_ｉの全てを記憶すると、特徴量ｗ_ｉを全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１９４７】
また、上述した式（１８９）の右辺の近似関数ｆ（ｘ，ｙ）に、式（１９３）の近似関数ｆ（ｘ，ｙ）を代入して、式（１８９）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１９４）のように表される。
【１９４８】
【数１５７】

【１９４９】
式（１９４）において、Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、次の式（１９５）で示される通りである。
【１９５０】
【数１５８】

【１９５１】
積分成分演算部３２０３は、この積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）を演算する。
【１９５２】
具体的には、式（１９４）と式（１９５）で示されるように、積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、積分範囲のＸ方向の開始位置ｘ_ｓ、およびＸ方向の終了位置ｘ_ｅ、積分範囲のＹ方向の開始位置ｙ_ｓ、およびＹ方向の終了位置ｙ_ｅ、変数ｓ、ゲインＧ_ｅ、並びにｉ次項のｉが既知であれば演算可能である。
【１９５３】
これらのうちの、ゲインＧ_ｅは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１９５４】
ｉの範囲は、条件設定部３２０１により設定された次数ｎにより決定される。
【１９５５】
変数ｓは、上述したように、ｃｏｔθであるので、データ定常性検出部１０１より出力される角度θにより決定される。
【１９５６】
また、積分範囲のＸ方向の開始位置ｘ_ｓ、およびＸ方向の終了位置ｘ_ｅ、並びに、積分範囲のＹ方向の開始位置ｙ_ｓ、およびＹ方向の終了位置ｙ_ｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【１９５７】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１９５８】
従って、積分成分演算部３２０３は、条件設定部３２０１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３２０４に供給する。
【１９５９】
出力画素値演算部３２０４は、特徴量記憶部３２０２より供給された特徴量テーブルと、積分成分演算部３２０３より供給された積分成分テーブルを利用して、上述した式（１９４）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１９６０】
次に、図２７５のフローチャートを参照して、２次元再積分手法を利用する画像生成部１０３（図２７４）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【１９６１】
例えば、いま、図２７２で示される関数Ｆ（ｘ，ｙ）で表される光信号がセンサ２に入射されて入力画像となり、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２が、その入力画像のうちの、図２７６で示されるような１つの画素３２３１を注目画素として、関数Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）を既に生成しているとする。
【１９６２】
なお、図２７６において、画素３２３１の画素値（入力画素値）がＰとされ、かつ、画素３２３１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３２３１の１辺に平行な方向がＸ方向とされ、Ｘ方向に垂直な方向がＹ方向とされている。さらに、画素３２３１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）が設定されている。
【１９６３】
また、図２７６において、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１が、画素３２３１を注目画素として、傾きＧ_ｆで表されるデータの定常性に対応するデータ定常性情報として、角度θを既に出力しているとする。
【１９６４】
図２７５に戻り、この場合、ステップＳ３２０１において、条件設定部３２０１は、条件（次数と積分範囲）を設定する。
【１９６５】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１９６６】
即ち、この場合、図２７７で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２７６の画素３２３１の範囲）に、４個の画素３２４１乃至画素３２４４を新たに創造することが設定されたことになる。なお、図２７７においても、図２７６のものと同一の注目画素座標系が示されている。
【１９６７】
また、図２７７において、Ｍ（１）は、これから生成される画素３２４１の画素値を、Ｍ（２）は、これから生成される画素３２４２の画素値を、Ｍ（３）は、これから生成される画素３２４３の画素値を、Ｍ（４）は、これから生成される画素３２４１の画素値を、それぞれ表している。
【１９６８】
図２７５に戻り、ステップＳ３２０２において、特徴量記憶部３２０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ_０乃至ｗ_５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ_０，ｗ_１，ｗ_２，ｗ_３，ｗ_４，ｗ_５）が生成される。
【１９６９】
ステップＳ３２０３において、積分成分演算部３２０３は、条件設定部３２０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１９７０】
具体的には、例えば、これから生成される画素３２４１乃至画素３２４４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３２０３は、上述した式（１９４）の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）を、次の式（１９６）の左辺で示される積分成分Ｋ_ｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１９７１】
Ｋ_ｉ（ｌ） ＝ Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ） ・・・（１９６）
【１９７２】
具体的には、いまの場合、次の式（１９７）で示される積分成分Ｋ_ｉ（ｌ）が演算される。
【１９７３】
【数１５９】

【１９７４】
なお、式（１９７）において、左辺が積分成分Ｋ_ｉ（ｌ）を表し、右辺が積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫ_ｉ（１），６個のＫ_ｉ（２），６個のＫ_ｉ（３），６個のＫ_ｉ（４）の総計２４個のＫ_ｉ（ｌ）が演算されることになる。
【１９７５】
より具体的には、はじめに、積分成分演算部３２０３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１９１）の変数ｓ（ｓ＝ｃｏｔθ）を演算する。
【１９７６】
次に、積分成分演算部３２０３は、演算した変数ｓを使用して、式（１９７）の４つの式の各右辺の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）の演算においては、上述した式（１９４）が使用される。
【１９７７】
そして、積分成分演算部３２０３は、式（１９７）に従って、演算した２４個の積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）のそれぞれを、対応する積分成分Ｋ_ｉ（ｌ）に変換し、変換した２４個の積分成分Ｋ_ｉ（ｌ）（即ち、６個のＫ_ｉ（１）、６個のＫ_ｉ（２）、６個のＫ_ｉ（３）、および６個のＫ_ｉ（４））を含む積分成分テーブルを生成する。
【１９７８】
なお、ステップＳ３２０２の処理とステップＳ３２０３の処理の順序は、図２７５の例に限定されず、ステップＳ３２０３の処理が先に実行されてもよいし、ステップＳ３２０２の処理とステップＳ３２０３の処理が同時に実行されてもよい。
【１９７９】
次に、ステップＳ３２０４において、出力画素値演算部３２０４は、ステップＳ３２０２の処理で特徴量記憶部３２０２により生成された特徴量テーブルと、ステップＳ３２０３の処理で積分成分演算部３２０３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１９８０】
具体的には、いまの場合、出力画素値演算部３２０４は、上述した式（１９４）に対応する、次の式（１９８）乃至式（２０１）の右辺のそれぞれを演算することで、図２７７で示される、画素３２４１（モード番号１の画素）の画素値Ｍ（１）、画素３２４２（モード番号２の画素）の画素値Ｍ（２）、画素３２４３（モード番号３の画素）の画素値Ｍ（３）、および画素３２４４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１９８１】
【数１６０】

【１９８２】
【数１６１】

【１９８３】
【数１６２】

【１９８４】
【数１６３】

【１９８５】
ただし、いまの場合、式（１９８）乃至式（２０１）のｎは全て５となる。
【１９８６】
ステップＳ３２０５において、出力画素値演算部３２０４は、全画素の処理を終了したか否かを判定する。
【１９８７】
ステップＳ３２０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３２０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３２０２乃至Ｓ３２０４の処理が繰り返される。
【１９８８】
そして、全画素の処理が終了すると（ステップＳ３２０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３２０４は、ステップＳ３２０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１９８９】
このように、２次元再積分手法を利用することで、センサ２（図２５９）からの入力画像の画素３２３１（図２７６）における画素として、入力画素３２３１よりも空間解像度の高い４つの画素、即ち、画素３２４１乃至画素３２４４（図２７７）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０３は、画素３２４１乃至画素３２４４のみならず、積分範囲を適宜変えることで、入力画素３２３１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１９９０】
以上、２次元再積分手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）を２次元積分する例を用いたが、２次元再積分手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【１９９１】
即ち、上述した例は、実世界１（図２５９）の光信号が、例えば、図２７２で示されるような傾きＧ_Ｆで表される空間方向の定常性を有する場合の例であったので、上述した式（１８９）で示されるような、空間方向（Ｘ方向とＹ方向）の２次元積分が含まれる式が利用された。しかしながら、２次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【１９９２】
換言すると、２次元再積分手法の前提となる２次元多項式近似手法においては、光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の多項式により近似することが可能である。
【１９９３】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図２７８で示されるようなＸ−ｔ平面においては、傾きＶ_Ｆのように表される。換言すると、傾きＶ_Ｆは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１（図２５９）は、上述した角度θ（Ｘ−Ｙ平面における、空間方向の定常性を表す傾きＧ_Ｆに対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶ_Ｆに対応するデータ定常性情報として、図２７８で示されるような動きθ（厳密には、図示はしないが、傾きＶ_Ｆに対応する傾きＶ_ｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１９９４】
また、２次元多項式近似手法を利用する実世界推定部１０２（図２５９）は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１９３）ではなく、次の式（２０２）である。
【１９９５】
【数１６４】

【１９９６】
なお、式（２０２）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【１９９７】
従って、２次元再積分手法を利用する画像生成部１０３（図２５９）は、次の式（２０３）の右辺に、上述した式（２０２）のｆ（ｘ，ｔ）を代入して、演算することで、画素値Ｍを算出することが可能になる。
【１９９８】
【数１６５】

【１９９９】
なお、式（２０３）において、ｔ_ｓは、ｔ方向の積分開始位置を表しており、ｔ_ｅは、ｔ方向の積分終了位置を表している。同様に、ｘ_ｓは、Ｘ方向の積分開始位置を表しており、ｘ_ｅは、Ｘ方向の積分終了位置を表している。Ｇ_ｅは、所定のゲインを表している。
【２０００】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ、ｔ）と全く同様に取り扱うことが可能である。
【２００１】
ところで、式（１９９）において、ｔ方向を一定とみなし、即ち、ｔ方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、２次元の多項式のうちの所定の１次元を一定として再積分する点で、２次元再積分手法の１つとみなしてもよいし、実際には、Ｘ方向の１次元の再積分をすることになるという点で、１次元再積分手法の１つとみなしてもよい。
【２００２】
また、式（２０３）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２５９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【２００３】
即ち、２次元再積分手法においては、時間方向ｔの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向Ｘ（または、空間方向Ｙ）の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向ｔと空間方向Ｘの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【２００４】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、２次元再積分手法と後述する３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【２００５】
また、２次元再積分手法は、１次元ではなく２次元の積分効果を考慮しているので、より実世界１（図２５９）の光信号に近い画像を生成することも可能になる。
【２００６】
換言すると、２次元再積分手法においては、例えば、図２５９（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性（例えば、図２７２の傾きＧ_Ｆで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性（例えば、図２７４の傾きＧ_ｆで表されるデータの定常性）を検出する。
【２００７】
そして、例えば、図２５９（図３）の実世界推定部１０２が、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも２次元方向（例えば、図２７２の空間方向Ｘと、空間方向Ｙ）の位置に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、図２７２の関数Ｆ（ｘ，ｙ））を、多項式である近似関数ｆ（ｘ，ｙ）で近似することで、光信号関数Ｆを推定することが前提とされている。
【２００８】
詳細には、例えば、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応する線（例えば、図２７４の傾きＧ_ｆに対応する線（矢印））からの少なくとも２次元方向に沿った距離（例えば、図２７４の断面方向距離ｘ‘）に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第１の関数を、多項式である第２の関数で近似することで、第１の関数を推定することが前提とされている。
【２００９】
２次元再積分手法においては、このような前提に基づいて、例えば、図２５９（図３）の画像生成部１０３（構成は、図２７３）が、実世界推定部１０２により推定された関数Ｆ（ｘ，ｙ）、即ち、近似関数ｆ（ｘ，ｙ）を、少なくとも２次元方向の所望の単位で積分する（例えば、上述した式（１８６）の右辺を演算する）ことにより所望の大きさの画素（例えば、図２５９の出力画像（画素値Ｍ）。具体的には、例えば、図２７７の画素３２４１乃至画素３２４４）に対応する画素値を生成する。
【２０１０】
従って、２次元再積分手法においては、時間解像度と空間解像度のうちのいずれか一方の創造のみならず、両方の解像度の創造が可能になる。また、２次元再積分手法においては、１次元再積分手法に比較して、より実世界１（図２５９）の光信号に近い画像を生成することも可能になる。
【２０１１】
次に、図２７９と図２８０を参照して、３次元再積分手法について説明する。
【２０１２】
３次元再積分手法においては、３次元関数近似手法により近似関数ｆ（ｘ，ｙ，ｔ）が既に生成されていることが前提とされる。
【２０１３】
この場合、３次元再積分手法においては、出力画素値Ｍは、次の式（２０４）のように演算される。
【２０１４】
【数１６６】

【２０１５】
なお、式（２０４）において、ｔ_ｓは、ｔ方向の積分開始位置を表しており、ｔ_ｅは、ｔ方向の積分終了位置を表している。同様に、ｙ_ｓは、Ｙ方向の積分開始位置を表しており、ｙ_ｅは、Ｙ方向の積分終了位置を表している。また、ｘ_ｓは、Ｘ方向の積分開始位置を表しており、ｘ_ｅは、Ｘ方向の積分終了位置を表している。さらに、Ｇ_ｅは、所定のゲインを表している。
【２０１６】
式（２０４）において、積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２５９）からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。
【２０１７】
図２７９は、３次元再積分手法を利用する画像生成部１０３の構成例を表している。
【２０１８】
図２７９で示されるように、この例の画像生成部１０３には、条件設定部３３０１、特徴量記憶部３３０２、積分成分演算部３３０３、および出力画素値演算部３３０４が設けられている。
【２０１９】
条件設定部３３０１は、実世界推定部１０２より供給された実世界推定情報（図２７９の例では、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【２０２０】
条件設定部３３０１はまた、近似関数ｆ（ｘ，ｙ，ｔ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３３０１が設定する積分範囲は、画素の幅（縦幅と横幅）やシャッタ時間そのものである必要は無い。例えば、センサ２（図２５９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ２（図２５９）のシャッタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部３３０１は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。
【２０２１】
特徴量記憶部３３０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を一次的に記憶する。そして、特徴量記憶部３３０２は、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３３０４に供給する。
【２０２２】
ところで、上述した式（２０４）の右辺の近似関数ｆ（ｘ，ｙ）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（２０５）のように表される。
【２０２３】
【数１６７】

【２０２４】
式（２０５）において、Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）は、ｉ次項の積分成分を表している。ただし、ｘ_ｓはＸ方向の積分範囲の開始位置を、ｘ_ｅはＸ方向の積分範囲の終了位置を、ｙ_ｓはＹ方向の積分範囲の開始位置を、ｙ_ｅはＹ方向の積分範囲の終了位置を、ｔ_ｓはｔ方向の積分範囲の開始位置を、ｔ_ｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【２０２５】
積分成分演算部３３０３は、この積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を演算する。
【２０２６】
具体的には、積分成分演算部３３０３は、条件設定部３３０１により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θまたは動きθに基づいて積分成分Ｋ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３３０４に供給する。
【２０２７】
出力画素値演算部３３０４は、特徴量記憶部３３０２より供給された特徴量テーブルと、積分成分演算部３３０３より供給された積分成分テーブルを利用して、上述した式（２０５）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【２０２８】
次に、図２８０のフローチャートを参照して、３次元再積分手法を利用する画像生成部１０３（図２７９）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【２０２９】
例えば、いま、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２（図２５９）が、入力画像のうちの、所定の画素を注目画素として、実世界１（図２５９）の光信号を近似する近似関数ｆ（ｘ，ｙ，ｔ）を既に生成しているとする。
【２０３０】
また、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１（図２５９）が、実世界推定部１０２と同じ画素を注目画素として、データ定常性情報として、角度θまたは動きθを既に出力しているとする。
【２０３１】
この場合、図２８０のステップＳ３３０１において、条件設定部３３０１は、条件（次数と積分範囲）を設定する。
【２０３２】
ステップＳ３３０２において、特徴量記憶部３３０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ，ｔ）の特徴量ｗ_ｉを取得し、特徴量テーブルを生成する。
【２０３３】
ステップＳ３３０３において、積分成分演算部３３０３は、条件設定部３３０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θまたは動きθ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【２０３４】
なお、ステップＳ３３０２の処理とステップＳ３３０３の処理の順序は、図２８０の例に限定されず、ステップＳ３３０３の処理が先に実行されてもよいし、ステップＳ３３０２の処理とステップＳ３３０３の処理が同時に実行されてもよい。
【２０３５】
次に、ステップＳ３３０４において、出力画素値演算部３３０４は、ステップＳ３３０２の処理で特徴量記憶部３３０２により生成された特徴量テーブルと、ステップＳ３３０３の処理で積分成分演算部３３０３により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。
【２０３６】
ステップＳ３３０５において、出力画素値演算部３３０４は、全画素の処理を終了したか否かを判定する。
【２０３７】
ステップＳ３３０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３３０２乃至Ｓ３３０４の処理が繰り返される。
【２０３８】
そして、全画素の処理が終了すると（ステップＳ３３０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３３０４は、ステップＳ３３０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【２０３９】
このように、上述した式（２０４）において、その積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２５９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【２０４０】
即ち、３次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【２０４１】
具体的には、３次元再積分手法においては、２次元や１次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも２次元に縮退することなく処理することが可能になる。さらに、２次元に縮退していないので各次元の加工が可能になる。例えば、２次元再積分手法において、空間方向（Ｘ方向とＹ方向）に縮退している場合には時間方向であるｔ方向の加工ができなくなってしまう。これに対して、３次元再積分手法においては、時空間方向のいずれの加工も可能になる。
【２０４２】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、上述した２次元再積分手法と３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【２０４３】
また、３次元再積分手法は、１次元や２次元ではなく３次元の積分効果を考慮しているので、より実世界１（図２５９）の光信号に近い画像を生成することも可能になる。
【２０４４】
換言すると、３次元再積分似手法においては、例えば、図２５９（図３）の実世界推定部１０２は、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、実世界の光信号を表す光信号関数Ｆを所定の近似関数ｆで近似することで、光信号関数Ｆを推定することが前提とされる。
【２０４５】
さらに、例えば、図２５９（図３）のデータ定常性検出部１０１が、入力画像のデータの定常性を検出した場合、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数ｆで近似することで、光信号関数Ｆを推定することが前提とされる。
【２０４６】
詳細には、例えば、実世界推定部１０２は、定常性検出部１０１により検出されたデータの定常性に対応する線からの少なくとも１次元方向に沿った距離に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数で近似することで、光信号関数を推定することが前提とされる。
【２０４７】
３次元再積分手法においては、例えば、図２５９（図３）の画像生成部１０３（構成は、図２７９）が、実世界推定部１０２により推定された光信号関数Ｆ、即ち、近似関数ｆを、少なくとも１次元方向の所望の単位で積分する（例えば、上述した式（２０１）の右辺を演算する）ことにより所望の大きさの画素に対応する画素値を生成する。
【２０４８】
従って、３次元再積分手法は、従来の画像生成手法や、上述した１次元または２次元再積分手法に比較して、より実世界１（図２５９）の光信号に近い画像を生成することも可能になる。
【２０４９】
次に、図２８１を参照して、実世界推定部１０２より入力される実世界推定情報が、実世界を近似的に表現する近似関数ｆ（ｘ）上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部１０３について説明する。
【２０５０】
尚、ここでいう微分値は、現実世界を近似的に表現する近似関数ｆ（ｘ）を求めた後、その近似関数ｆ（ｘ）から得られる１次微分式ｆ（ｘ）’（近似関数がフレーム方向の場合、近似関数ｆ（ｔ）から得られる１次微分式ｆ（ｔ）’）を用いて、所定の位置で得られる値のことである。また、ここでいう傾きは、上述の近似関数ｆ（ｘ）（または、ｆ（ｔ））を求めることなく、所定の位置における周辺画素の画素値から直接得られる近似関数ｆ（ｘ）上の所定の位置の傾きのことを示している。しかしながら、微分値は、近似関数ｆ（ｘ）の所定の位置での傾きなので、いずれも、現実世界を近似的に記述する近似関数ｆ（ｘ）上の所定の位置における傾きである。そこで、実世界推定部１０２より入力される実世界推定情報としての微分値と傾きについては、図２８１、および、図２８５の画像生成部１０３の説明においては、統一して近似関数ｆ（ｘ）（または、ｆ（ｔ））上の傾きと称する。
【２０５１】
傾き取得部３４０１は、実世界推定部１０２より入力される実世界を近似的に表現する近似関数ｆ（ｘ）についての、各画素の傾きの情報と、対応する画素の画素値、および、定常性の方向の傾きを取得して、外挿補間部３４０２に出力する。
【２０５２】
外挿補間部３４０２は、傾き取得部３４０１より入力された各画素の近似関数ｆ（ｘ）上の傾きと、対応する画素の画素値、および、定常性の方向の傾きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【２０５３】
次に、図２８２のフローチャートを参照して、図２８１の画像生成部１０３による画像の生成の処理について説明する。
【２０５４】
ステップＳ３４０１において、傾き取得部３４０１は、実世界推定部１０２より入力されてくる、各画素の近似関数ｆ（ｘ）上の傾き（微分値）、位置、画素値、および、定常性の方向の傾きの情報を実世界推定情報として取得する。
【２０５５】
このとき、例えば、入力画像に対して空間方向Ｘ、および、空間方向Ｙについてそれぞれ２倍（合計４倍）の密度の画素からなる画像を生成する場合、実世界推定部１０２からは、図２８３で示されるような画素Ｐｉｎに対して、傾きｆ（Ｘｉｎ）’（画素Ｐｉｎの中央位置における傾き），ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐａの中央位置の傾き），ｆ（Ｘｉｎ−Ｃｘ（０．２５））’ （画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐｂの中央位置の傾き）、画素Ｐｉｎの位置、画素値、および、定常性の方向の傾きＧ_ｆの情報が入力される。
【２０５６】
ステップＳ３４０２において、傾き取得部３４０１は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部３４０２に出力する。
【２０５７】
ステップＳ３４０３において、外挿補間部３４０２は、入力された画素の位置情報と定常性の方向の傾きＧ_ｆからシフト量を求める。
【２０５８】
ここで、シフト量Ｃｘ（ｔｙ）は、定常性の傾きがＧ_ｆで示されるとき、Ｃｘ（ｔｙ）＝ｔｙ／Ｇ_ｆで定義される。このシフト量Ｃｘ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｘ）が、空間方向Ｙ＝ｔｙの位置における、空間方向Ｘに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｘ）として定義されている場合、この近似関数ｆ（ｘ）は、空間方向Ｙ＝ｔｙにおいては、空間方向ＸについてＣｘ（ｔｙ）だけずれた関数となるので、近似関数は、ｆ（ｘ−Ｃｘ（ｔｙ））（＝ｆ（ｘ−ｔｙ／Ｇ_ｆ））で定義されることになる。
【２０５９】
例えば、図２８３で示されるような画素Ｐｉｎの場合、図中の１画素（図中の１画素の大きさは、水平方向、および、垂直方向ともに１であるものとする）を垂直方向に２分割するとき（垂直方向に倍密度の画素を生成するとき）、外挿補間部３４０２は、求めようとする画素Ｐａ，Ｐｂのシフト量を求める。すなわち、今の場合、画素Ｐａ，Ｐｂは、画素Ｐｉｎからみて、空間方向Ｙについて、それぞれ−０．２５，０．２５だけシフトしているので、画素Ｐａ，Ｐｂのシフト量は、それぞれＣｘ（−０．２５），Ｃｘ（０．２５）となる。尚、図２８３中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａ，Ｐｂは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【２０６０】
ステップＳ３４０４において、外挿補間部３４０２は、ステップＳ３４０３の処理で求められたシフト量Ｃｘ、実世界推定情報として取得された画素Ｐｉｎの近似関数ｆ（ｘ）上の注目画素上での傾きｆ（Ｘｉｎ）’、および、画素Ｐｉｎの画素値に基づいて、以下の式（２０６），式（２０７）により外挿補間を用いて画素Ｐａ，Ｐｂの画素値を求める。
【２０６１】
Ｐａ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｘ（−０．２５）・・・（２０６）
【２０６２】
Ｐｂ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｘ（０．２５）・・・（２０７）
【２０６３】
以上の式（２０６），式（２０７）において、Ｐａ，Ｐｂ，Ｐｉｎは、画素Ｐａ，Ｐｂ，Ｐｉｎの画素値を示す。
【２０６４】
すなわち、図２８４で示されるように、注目画素Ｐｉｎにおける傾きｆ（Ｘｉｎ）’に、Ｘ方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【２０６５】
ステップＳ３４０５において、外挿補間部３４０２は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、垂直方向に２倍の密度の画素であれば、以上の処理により、外挿補間部３４０２は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、４倍の密度（水平方向に２倍×垂直方向に２倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、４倍の密度の画像が所望とされていた画像である場合、外挿補間部３４０２は、所定の解像度の画素が得られていないと判定し、その処理は、ステップＳ３４０３に戻る。
【２０６６】
ステップＳ３４０３において、外挿補間部３４０２は、２回目の処理で、求めようとする画素Ｐ０１，Ｐ０２，Ｐ０３，およびＰ０４（注目画素Ｐｉｎに対して４倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素Ｐ０１，Ｐ０２は、画素Ｐａから得られるものなので、画素Ｐａからのシフト量がそれぞれ求められることになる。ここで、画素Ｐ０１，Ｐ０２は、画素Ｐａからみて空間方向Ｘについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる（空間方向Ｘについてシフトしているため）。同様にして、画素Ｐ０３，Ｐ０４は、画素Ｐｂからみて空間方向Ｘについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる。尚、図２８３において、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、それぞれ略０．５となる。
【２０６７】
ステップＳ３４０４において、外挿補間部３４０２は、ステップＳ３４０３の処理で求められたシフト量Ｃｘ、実世界推定情報として取得された画素Ｐａ，Ｐｂの近似関数ｆ（ｘ）上の所定の位置での傾きｆ（Ｘｉｎ−Ｃｘ（−０．２５））’，ｆ（Ｘｉｎ−Ｃｘ（０．２５））’、および、上述の処理で求められた画素Ｐａ，Ｐｂの画素値に基づいて、外挿補間により以下の式（２０８）乃至式（２１１）により画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４の画素値を求め、図示せぬメモリに記憶させる。
【２０６８】
Ｐ０１＝Ｐａ＋ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’×（−０．２５）・・・（２０８）
【２０６９】
Ｐ０２＝Ｐａ＋ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’×（０．２５）・・・（２０９）
【２０７０】
Ｐ０３＝Ｐｂ＋ｆ（Ｘｉｎ−Ｃｘ（０．２５））’×（−０．２５）・・・（２１０）
【２０７１】
Ｐ０４＝Ｐｂ＋ｆ（Ｘｉｎ−Ｃｘ（０．２５））’×（０．２５）・・・（２１１）
【２０７２】
上述の式（２０８）乃至式（２１１）において、Ｐ０１乃至Ｐ０４は、画素Ｐ０１乃至Ｐ０４のそれぞれの画素値を示す。
【２０７３】
ステップＳ３４０５において、外挿補間部３４０２は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた４倍の密度の画素が得られたことになるので、外挿補間部３４０２は、所定の解像度の画素が得られたと判定し、その処理は、ステップＳ３４０６に進む。
【２０７４】
ステップＳ３４０６において、傾き取得部３４０１は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップＳ３４０２に戻り、それ以降の処理が繰り返される。
【２０７５】
ステップＳ３４０６において、傾き取得部３４０１は、全ての画素について処理がなされたと判定した場合、ステップＳ３４０７において、外挿補間部３４０２は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【２０７６】
すなわち、図２８４で示されるように、近似関数ｆ（ｘ）上の傾きｆ（ｘ）’を用いて、その傾きを求めた注目画素から空間方向Ｘに離れた距離に応じて、新たな画素の画素値が外挿補間により求められる。
【２０７７】
尚、以上の例においては、４倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上の空間方向の密度の画素を演算する事も可能である。
【２０７８】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【２０７９】
以上によれば、実世界推定情報として供給される入力画像の各画素の実世界を空間方向に近似する近似関数ｆ（ｘ）の傾き（または、微分値）ｆ（ｘ）’の情報に基づいて、入力画像よりも高解像度の画像の画素を生成することが可能となる。
【２０８０】
次に、図２８５を参照して、実世界推定部１０２より入力される実世界推定情報が、実世界を近似的に表現するフレーム方向（時間方向）の関数ｆ（ｔ）上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部１０３について説明する。
【２０８１】
傾き取得部３４１１は、実世界推定部１０２より入力される実世界を近似的に表現する近似関数ｆ（ｔ）上の、各画素の位置における傾きの情報と、対応する画素の画素値、および、定常性の動きを取得して、外挿補間部３４１２に出力する。
【２０８２】
外挿補間部３４１２は、傾き取得部３４１１より入力された各画素の近似関数ｆ（ｔ）上の傾きと、対応する画素の画素値、および、定常性の動きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【２０８３】
次に、図２８６のフローチャートを参照して、図２８５の画像生成部１０３による画像の生成の処理について説明する。
【２０８４】
ステップＳ３４２１において、傾き取得部３４１１は、実世界推定部１０２より入力されてくる、各画素の近似関数ｆ（ｔ）上の傾き（微分値）、位置、画素値、および、定常性の動きの情報を実世界推定情報として取得する。
【２０８５】
このとき、例えば、入力画像に対して空間方向、および、フレーム方向にそれぞれ２倍（合計４倍）の密度の画素からなる画像を生成する場合、実世界推定部１０２からは、図２８７で示されるような画素Ｐｉｎに対して、傾きｆ（Ｔｉｎ）’（画素Ｐｉｎの中央位置における傾き），ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐａｔの中央位置の傾き），ｆ（Ｔｉｎ−Ｃｔ（０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐｂｔの中央位置の傾き）、画素Ｐｉｎの位置、画素値、および、定常性の動き（動きベクトル）の情報が入力される。
【２０８６】
ステップＳ３４２２において、傾き取得部３４１１は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部３４１２に出力する。
【２０８７】
ステップＳ３４２３において、外挿補間部３４１２は、入力された画素の位置情報と定常性の方向の傾きからシフト量を求める。
【２０８８】
ここで、シフト量Ｃｔ（ｔｙ）は、定常性の動き（フレーム方向と空間方向からなる面に対する傾き）がＶ_ｆで示されるとき、Ｃｔ（ｔｙ）＝ｔｙ／Ｖ_ｆで定義される。このシフト量Ｃｔ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｔ）が、空間方向Ｙ＝ｔｙの位置における、フレーム方向Ｔに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｔ）として定義されている場合、この近似関数ｆ（ｔ）は、空間方向Ｙ＝ｔｙにおいては、空間方向ＴについてＣｔ（ｔｙ）だけずれた関数となるので、近似関数は、ｆ（ｔ−Ｃｔ（ｔｙ））（＝ｆ（ｔ−ｔｙ／Ｖ_ｆ））で定義されることになる。
【２０８９】
例えば、図２８７で示されるような画素Ｐｉｎの場合、図中の１画素（図中の１画素の大きさは、フレーム方向、および、空間方向ともに１であるものとする）を空間方向に２分割するとき（空間方向に倍密度の画素を生成するとき）、外挿補間部３４１２は、求めようとする画素Ｐａｔ，Ｐｂｔのシフト量を求める。すなわち、今の場合、画素Ｐａｔ，Ｐｂｔは、画素Ｐｉｎからみて、空間方向Ｙについて、それぞれ−０．２５，０．２５だけシフトしているので、画素Ｐａｔ，Ｐｂｔのシフト量は、それぞれＣｔ（−０．２５），Ｃｔ（０．２５）となる。尚、図２８７中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａｔ，Ｐｂｔは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【２０９０】
ステップＳ３４２４において、外挿補間部３４１２は、ステップＳ３４２３の処理で求められたシフト量、実世界推定情報として取得された画素Ｐｉｎの近似関数ｆ（ｔ）上の注目画素上での傾きｆ（Ｔｉｎ）’、および、画素Ｐｉｎの画素値に基づいて、外挿補間により以下の式（２１２），式（２１３）により画素Ｐａｔ，Ｐｂｔの画素値を求める。
【２０９１】
Ｐａｔ＝Ｐｉｎ−ｆ（Ｔｉｎ）’×Ｃｔ（−０．２５）・・・（２１２）
【２０９２】
Ｐｂｔ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｔ（０．２５）・・・（２１３）
【２０９３】
以上の式（２１２），式（２１３）において、Ｐａｔ，Ｐｂｔ，Ｐｉｎは、画素Ｐａｔ，Ｐｂｔ，Ｐｉｎの画素値を示す。
【２０９４】
すなわち、図２８８で示されるように、注目画素Ｐｉｎにおける傾きｆ（Ｘｉｎ）’に、Ｘ方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【２０９５】
ステップＳ３４２５において、外挿補間部３４１２は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、空間方向に２倍の密度の画素であれば、以上の処理により、外挿補間部３４０２は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、４倍の密度（フレーム方向に２倍×空間方向に２倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、４倍の密度の画像が所望とされていた画像である場合、外挿補間部３４１２は、所定の解像度の画素が得られていないと判定し、その処理は、ステップＳ３４２３に戻る。
【２０９６】
ステップＳ３４２３において、外挿補間部３４１２は、２回目の処理で、求めようとする画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，およびＰ０４ｔ（注目画素Ｐｉｎに対して４倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素Ｐ０１ｔ，Ｐ０２ｔは、画素Ｐａｔから得られるものなので、画素Ｐａｔからのシフト量がそれぞれ求められることになる。ここで、画素Ｐ０１ｔ，０２ｔは、画素Ｐａｔからみてフレーム方向Ｔについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる（空間方向Ｘについてシフトしているため）。同様にして、画素Ｐ０３ｔ，Ｐ０４ｔは、画素Ｐｂｔからみてフレーム方向Ｔについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる。尚、図２８７において、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、それぞれ略０．５となる。
【２０９７】
ステップＳ３４２４において、外挿補間部３４１２は、ステップＳ３４２３の処理で求められたシフト量Ｃｔ、実世界推定情報として取得された画素Ｐａｔ，Ｐｂｔの近似関数ｆ（ｔ）上の所定の位置での傾きｆ（Ｔｉｎ−Ｃｔ（−０．２５））’，ｆ（Ｔｉｎ−Ｃｔ（０．２５））’、および、上述の処理で求められた画素Ｐａｔ，Ｐｂｔの画素値に基づいて、外挿補間により以下の式（２１４）乃至式（２１７）により画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔの画素値を求め、図示せぬメモリに記憶させる。
【２０９８】
Ｐ０１ｔ＝Ｐａｔ＋ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’×（−０．２５）・・・（２１４）
【２０９９】
Ｐ０２ｔ＝Ｐａｔ＋ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’×（０．２５）・・・（２１５）
【２１００】
Ｐ０３ｔ＝Ｐｂｔ＋ｆ（Ｔｉｎ−Ｃｔ（０．２５））’×（−０．２５）・・・（２１６）
【２１０１】
Ｐ０４ｔ＝Ｐｂｔ＋ｆ（Ｔｉｎ−Ｃｔ（０．２５））’×（０．２５）・・・（２１７）
【２１０２】
上述の式（２０８）乃至式（２１１）において、Ｐ０１ｔ乃至Ｐ０４ｔは、画素Ｐ０１ｔ乃至Ｐ０４ｔのそれぞれの画素値を示す。
【２１０３】
ステップＳ３４２５において、外挿補間部３４１２は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた４倍密度の画素が得られたことになるので、外挿補間部３４１２は、所定の解像度の画素が得られたと判定し、その処理は、ステップＳ３４２６に進む。
【２１０４】
ステップＳ３４２６において、傾き取得部３４１１は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップＳ３４２２に戻り、それ以降の処理が繰り返される。
【２１０５】
ステップＳ３４２６において、傾き取得部３４１１は、全ての画素について処理がなされたと判定された場合、ステップＳ３４２７において、外挿補間部３４１２は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【２１０６】
すなわち、図２８８で示されるように、近似関数ｆ（ｔ）上の傾きｆ（ｔ）’を用いて、その傾きを求めた注目画素からフレーム方向Ｔに離れたフレーム数に応じて、新たな画素の画素値が外挿補間により求められる。
【２１０７】
尚、以上の例においては、４倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上のフレーム方向の密度の画素を演算する事も可能である。
【２１０８】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【２１０９】
以上の処理により、実世界推定情報として供給される入力画像の各画素の実世界をフレーム方向に近似する近似関数ｆ（ｔ）の傾き（または、微分値）ｆ（ｔ）’の情報に基づいて、入力画像よりも高解像度の画像の画素をフレーム方向にも生成することが可能となる。
【２１１０】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち１次元方向にシフトした位置の複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定し、注目画素の中心位置から１次元方向にシフトした位置を中心とする傾きを有する直線の前記注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成するようにしたので、入力画像よりも時空間方向に高解像度の画素を生成することが可能となる。
【２１１１】
次に、図２８９乃至図３１４を参照して、画像生成部１０３（図３）の実施の形態のさらに他の例について説明する。
【２１１２】
図２８９は、この例の実施の形態が適用される画像生成部１０３の構成例を表している。
【２１１３】
図２８９で示される画像生成部１０３には、従来のクラス分類適応処理を実行するクラス分類適応処理部３５０１、クラス分類適応処理に対する補正の処理（処理の詳細については後述する）を実行するクラス分類適応処理補正部３５０２、および、クラス分類適応処理部３５０１より出力された画像と、クラス分類適応処理補正部３５０２より出力された画像を加算し、加算した画像を出力画像として外部に出力する加算部３５０３が設けられている。
【２１１４】
なお、以下、クラス分類適応処理部３５０１より出力される画像を、予測画像と称し、クラス分類適応処理補正部３５０２より出力される画像を、補正画像、または、差分予測画像と称する。ただし、予測画像と差分予測画像の名称の由来についてはそれぞれ後述する。
【２１１５】
また、この例の実施の形態においては、クラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【２１１６】
なお、以下、標準解像度の画像を、適宜、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称する。
【２１１７】
これに対して、以下、高解像度の画像を、適宜、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称する。
【２１１８】
具体的には、この例の実施の形態においては、クラス分類適応処理とは、次のような処理である。
【２１１９】
即ち、はじめに、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるために、注目画素を含めた、その付近に配置されるＳＤ画素（以下、このようなＳＤ画素を、クラスタップと称する）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する（クラスタップ群のクラスコードを特定する）
【２１２０】
そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の１つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のＳＤ画素（以下、このような入力画像のＳＤ画素を、予測タップと称する。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるものである。
【２１２１】
従って、この例の実施の形態においては、入力画像（ＳＤ画像）は、クラス分類適応処理部３５０１において、従来のクラス分類適応処理が施されて予測画像（ＨＤ画像）となり、さらに、加算部３５０３において、その予測画像が、クラス分類適応処理補正部３５０２からの補正画像で補正されて（補正画像が加算されて）出力画像（ＨＤ画像）となる。
【２１２２】
即ち、この例の実施の形態は、定常性の観点からは、定常性を用いて処理を行う画像処理装置（図３）のうちの画像生成部１０３の１つの実施の形態であると言える。これに対して、クラス分類適応処理の観点からは、センサ２とクラス分類適応処理部３５０１から構成される従来の画像処理装置に対して、クラス分類適応処理の補正を行うために、データ定常性検出部１０１、実世界推定部１０２、クラス分類適応処理補正部３５０２、および加算部３５０３をさらに付加した画像処理装置の実施の形態であるとも言える。
【２１２３】
従って、以下、この例の実施の形態を、上述した再積分手法に対して、クラス分類適応処理補正手法と称する。
【２１２４】
クラス分類適応処理補正手法を利用する画像生成部１０３についてさらに詳しく説明する。
【２１２５】
図２８９において、画像である、実世界１の信号（光の強度の分布）がセンサ２に入射されると、センサ２からは入力画像が出力される。この入力画像は、データ定常性検出部１０１に入力されるとともに、画像生成部１０３のクラス分類適応処理部３５０１に入力される。
【２１２６】
クラス分類適応処理部３５０１は、入力画像に対して、従来のクラス分類適応処理を施して予測画像を生成し、加算部３５０３に出力する。
【２１２７】
このように、クラス分類適応処理部３５０１は、センサ２からの入力画像（画像データ）を基準とするとともに、入力画像そのものを処理の対象としている。即ち、センサ２からの入力画像は、上述した積分効果により実世界１の信号とは異なるもの（歪んだもの）となっているにも関わらず、クラス分類適応処理部３５０１は、その実世界１の信号とは異なる入力画像を正として処理を行っている。
【２１２８】
その結果、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理によりたとえＨＤ画像とされても、元のディテールが完全に復元されないことがあるという課題が発生してしまう。
【２１２９】
そこで、この課題を解決するために、クラス分類適応処理補正手法においては、画像生成部１０３のクラス分類適応処理補正部３５０２が、センサ２からの入力画像ではなく、センサ２に入射される前の元の画像（所定の定常性を有する実世界１の信号）を推定する情報（実世界推定情報）を基準とするとともに、その実世界推定情報を処理の対象として、クラス分類適応処理部３５０１より出力された予測画像を補正するための補正画像を生成する。
【２１３０】
この実世界推定情報は、データ定常性検出部１０１と実世界推定部１０２により生成される。
【２１３１】
即ち、データ定常性検出部１０１は、センサ２からの入力画像に含まれるデータの定常性（センサ２に入射された実世界１の信号が有する定常性に対応するデータの定常性）を検出し、その検出結果をデータ定常性情報として実世界推定部１０２に出力する。
【２１３２】
なお、データ定常性情報は、図２８９の例では角度とされているが、角度に限定されず、上述した様々な情報が使用可能である。
【２１３３】
実世界推定部１０２は、入力された角度（データ定常性情報）に基づいて、実世界推定情報を生成し、画像生成部１０３のクラス分類適応処理補正部３５０２に出力する。
【２１３４】
なお、実世界推定情報は、図２８９の例では特徴量画像（その詳細は後述する）とされているが、特徴量画像に限定されず、上述した様々な情報が使用可能である。
【２１３５】
クラス分類適応処理補正部３５０２は、入力された特徴量画像（実世界推定情報）に基づいて補正画像を生成し、加算部３５０３に出力する。
【２１３６】
加算部３５０３は、クラス分類適応処理部３５０１より出力された予測画像と、クラス分類適応処理補正部３５０２より出力された補正画像を加算し、加算した画像（ＨＤ画像）を出力画像として外部に出力する。
【２１３７】
このようにして出力された出力画像は、予測画像よりもより実世界１の信号（画像）に近い画像となる。即ち、クラス分類適応処理補正手法は、上述した課題を解決することが可能な手法である。
【２１３８】
さらに、図２８９のように信号処理装置（画像処理装置）４を構成することで、１フレームの全体的に処理をアプライすることが可能になる。即ち、後述する併用手法を利用する信号処理装置（例えば、後述する図３１５）等では、画素の領域特定をした上で出力画像を生成する必要があるが、図２８９の信号処理装置４は、この領域特定が不要になるという効果を奏することが可能になる。
【２１３９】
次に、画像生成部１０３のうちのクラス分類適応処理部３５０１の詳細について説明する。
【２１４０】
図２９０は、クラス分類適応処理部３５０１の構成例を表している。
【２１４１】
図２９０において、センサ２より入力された入力画像（ＳＤ画像）は、領域抽出部３５１１と領域抽出部３５１５にそれぞれ供給される。領域抽出部３５１１は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（ＳＤ画素）を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部３５１２に出力する。パターン検出部３５１２は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【２１４２】
クラスコード決定部３５１３は、パターン検出部３５１２で検出されたパターンに基づいてクラスコードを決定し、係数メモリ３５１４、および、領域抽出部３５１５に出力する。係数メモリ３５１４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部３５１３より入力されたクラスコードに対応する係数を読み出し、予測演算部３５１６に出力する。
【２１４３】
なお、係数メモリ３５１４の係数の学習処理については、図２９２のクラス分類適応処理用学習部のブロック図を参照して後述する。
【２１４４】
また、係数メモリ３５１４に記憶される係数は、後述するように、予測画像（ＨＤ画像）を生成するときに使用される係数である。従って、以下、係数メモリ３５１４に記憶される係数を、他の係数と区別するために、予測係数と称する。
【２１４５】
領域抽出部３５１５は、クラスコード決定部３５１３より入力されたクラスコードに基づいて、センサ２より入力された入力画像（ＳＤ画像）から、予測画像（ＨＤ画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、予測演算部３５１６に出力する。
【２１４６】
予測演算部３５１６は、領域抽出部３５１５より入力された予測タップと、係数メモリ３５１４より入力された予測係数とを用いて積和演算を実行し、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を生成し、加算部３５０３に出力する。
【２１４７】
より詳細には、係数メモリ３５１４は、クラスコード決定部３５１３より供給されるクラスコードに対応する予測係数を、予測演算部３５１６に出力する。予測演算部３５１６は、領域抽出部３５１５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ３５１４より供給された予測係数とを用いて、次の式（２１８）で示される積和演算を実行することにより、予測画像（ＨＤ画像）のＨＤ画素を求める（予測推定する）。
【２１４８】
【数１６８】

【２１４９】
式（２１８）において、ｑ’は、予測画像（ＨＤ画像）のＨＤ画素を表している。ｃ_ｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｄ _ｉのそれぞれは、予測係数のそれぞれを表している。
【２１５０】
このように、クラス分類適応処理部３５０１は、ＳＤ画像（入力画像）から、それに対するＨＤ画像を予測推定するので、ここでは、クラス分類適応処理部３５０１から出力されるＨＤ画像を、予測画像と称している。
【２１５１】
図２９１は、このようなクラス分類適応処理部３５０１の係数メモリ３５１４に記憶される予測係数（式（２１５）におけるｄ _ｉ）を決定するための学習装置（予測係数の算出装置）を表している。
【２１５２】
なお、クラス分類適応処理補正手法においては、係数メモリ３５１４の他に、クラス分類適応処理補正部３５０２の係数メモリ（後述する図２９９で示される補正係数メモリ３５５４）が設けられている。従って、図２９１で示されるように、クラス分類適応処理手法における学習装置３５０４には、クラス分類適応処理部３５０１の係数メモリ３５１４に記憶される予測係数（式（２１５）におけるｄ _ｉ）を決定するための学習部３５２１（以下、クラス分類適応処理用学習部３５２１と称する）の他に、クラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶される係数を決定するための学習部３５６１（以下、クラス分類適応処理補正用学習部３５６１と称する）が設けられている。
【２１５３】
従って、以下、クラス分類適応処理用学習部３５２１における教師画像を第１の教師画像と称するのに対して、クラス分類適応処理補正用学習部３５６１における教師画像を第２の教師画像と称する。同様に、以下、クラス分類適応処理用学習部３５２１における生徒画像を第１の生徒画像と称するのに対して、クラス分類適応処理補正用学習部３５６１における生徒画像を第２の生徒画像と称する。
【２１５４】
なお、クラス分類適応処理補正用学習部３５６１については後述する。
【２１５５】
図２９２は、クラス分類適応処理用学習部３５２１の詳細な構成例を表している。
【２１５６】
図２９２において、所定の画像が、第１の教師画像（ＨＤ画像）としてダウンコンバート部３５３１と正規方程式生成部３５３６のそれぞれに入力されるとともに、クラス分類適応処理補正用学習部３５６１（図２９１）に入力される。
【２１５７】
ダウンコンバート部３５３１は、入力された第１の教師画像（ＨＤ画像）から、第１の教師画像よりも解像度の低い第１の生徒画像（ＳＤ画像）を生成し（第１の教師画像をダウンコンバートしたものを第１の生徒画像とし）、領域抽出部３５３２、領域抽出部３５３５、およびクラス分類適応処理補正用学習部３５６１（図２９１）のそれぞれに出力する。
【２１５８】
このように、クラス分類適応処理用学習部３５２１には、ダウンコンバート部３５３１が設けられているので、第１の教師画像（ＨＤ画像）は、上述したセンサ２（図２８９）からの入力画像よりも高解像度の画像である必要は無い。なぜならば、第１の教師画像がダウンコンバートされた（解像度が下げられた）第１の生徒画像をＳＤ画像とすれば、第１の生徒画像に対する第１の教師画像がＨＤ画像になるからである。従って、第１の教師画像は、例えば、センサ２からの入力画像そのものとされてもよい。
【２１５９】
領域抽出部３５３２は、供給された第１の生徒画像（ＳＤ画像）から、クラス分類を行うために必要なクラスタップ（ＳＤ画素）を抽出し、パターン検出部３５３３に出力する。パターン検出部３５３３は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部３５３４に出力する。クラスコード決定部３５３４は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部３５３５、および、正規方程式生成部３５３６のそれぞれに出力する。
【２１６０】
領域抽出部３５３５は、クラスコード決定部３５３４より入力されたクラスコードに基づいて、ダウンコンバート部３５３１より入力された第１の生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部３５３６と予測演算部３５５８のそれぞれに出力する。
【２１６１】
なお、以上の領域抽出部３５３２、パターン検出部３５３３、クラスコード決定部３５３４、および領域抽出部３５３５のそれぞれは、図２９０のクラス分類適応処理部３５０１の領域抽出部３５１１、パターン検出部３５１２、クラスコード決定部３５１３、および、領域抽出部３５１５のそれぞれと、基本的に同様の構成と機能を有するものである。
【２１６２】
正規方程式生成部３５３６は、クラスコード決定部３５３４より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部３５３５より入力される第１の生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、第１の教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、係数決定部３５３７に供給する。係数決定部３５３７は、正規方程式生成部３５３７より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ３５１４にクラスコードと関連付けて記憶させるとともに、予測演算部３５３８に供給する。
【２１６３】
正規方程式生成部３５３６と、係数決定部３５３７についてさらに詳しく説明する。
【２１６４】
上述した式（２１８）において、学習前は予測係数ｄ_ｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｑ_ｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２１８）から、次の式（２１９）が設定される。
【２１６５】
【数１６９】

【２１６６】
即ち、式（２１９）は、右辺の演算をすることで、所定のＨＤ画素ｑ_ｋを予測推定することができることを表している。なお、式（２１９）において、ｅ_ｋは誤差を表している。即ち、右辺の演算結果である予測画像（ＨＤ画像）のＨＤ画素ｑ_ｋ’が、実際のＨＤ画素ｑ_ｋと厳密には一致せず、所定の誤差ｅ_ｋを含む。
【２１６７】
そこで、式（２１９）において、例えば、誤差ｅ_ｋの自乗和を最小にするような予測係数ｄ_ｉが、学習により求まればよい。
【２１６８】
具体的には、例えば、ｍ＞ｎとなるように、ＨＤ画素ｑ_ｋを学習により集めることができれば、最小自乗法によって予測係数ｄ_ｉが一意に決定される。
【２１６９】
即ち、式（２１９）の右辺の予測係数ｄ_ｉを最小自乗法で求める場合の正規方程式は、次の式（２２０）で表される。
【２１７０】
【数１７０】

【２１７１】
従って、式（２２０）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄ_ｉが一意に決定されることになる。
【２１７２】
具体的には、式（２２０）で示される正規方程式の各行列のそれぞれを、次の式（２２１）乃至（２２３）のように定義すると、正規方程式は、次の式（２２４）のように表される。
【２１７３】
【数１７１】

【２１７４】
【数１７２】

【２１７５】
【数１７３】

【２１７６】
【数１７４】

【２１７７】
式（２２２）で示されるように、行列Ｄ_ＭＡＴの各成分は、求めたい予測係数ｄ_ｉである。従って、式（２２４）において、左辺の行列Ｃ_ＭＡＴと右辺の行列Ｑ_ＭＡＴが決定されれば、行列解法によって行列Ｄ_ＭＡＴ（即ち、予測係数ｄ_ｉ）の算出が可能である。
【２１７８】
より具体的には、式（２２１）で示されるように、行列Ｃ_ＭＡＴの各成分は、予測タップｃ_ｉｋが既知であれば演算可能である。予測タップｃ_ｉｋは、領域抽出部３５３５により抽出されるので、正規方程式生成部３５３６は、領域抽出部３５３５より供給されてくる予測タップｃ_ｉｋのそれぞれを利用して行列Ｃ_ＭＡＴの各成分を演算することができる。
【２１７９】
また、式（２２３）で示されるように、行列Ｑ_ＭＡＴの各成分は、予測タップｃ_ｉｋとＨＤ画素ｑ_ｋが既知であれば演算可能である。予測タップｃ_ｉｋは、行列Ｃ_ＭＡＴの各成分に含まれるものと同一のものであり、また、ＨＤ画素ｑ_ｋは、予測タップｃ_ｉｋに含まれる注目画素（第１の生徒画像のＳＤ画素）に対する第１の教師画像のＨＤ画素である。従って、正規方程式生成部３５３６は、領域抽出部３５３５より供給された予測タップｃ_ｉｋと、第１の教師画像を利用して行列Ｑ_ＭＡＴの各成分を演算することができる。
【２１８０】
このようにして、正規方程式生成部３５３６は、クラスコード毎に、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部３５３７に供給する。
【２１８１】
係数決定部３５３７は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２２４）の行列Ｄ_ＭＡＴの各成分である予測係数ｄ_ｉを演算する。
【２１８２】
具体的には、上述した式（２２４）の正規方程式は、次の式（２２５）のように変形できる。
【２１８３】
【数１７５】

【２１８４】
式（２２５）において、左辺の行列Ｄ_ＭＡＴの各成分が、求めたい予測係数ｄ_ｉである。また、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分は、正規方程式生成部３５３６より供給されるものである。従って、係数決定部３５３７は、正規方程式生成部３５３６より所定のクラスコードに対応する行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分が供給されてきたとき、式（２２５）の右辺の行列演算を行うことで行列Ｄ_ＭＡＴを演算し、その演算結果（予測係数ｄ_ｉ）をクラスコードに対応付けて係数メモリ３５１４に記憶させるとともに、予測演算部３５３８に供給する。
【２１８５】
予測演算部３５３８は、領域抽出部３５３５より入力された予測タップと、係数決定部３５３７により決定された予測係数とを用いて積和演算を実行し、第１の生徒画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（第１の教師画像を予測する画像）のＨＤ画素を生成し、それを学習用予測画像としてクラス分類適応処理補正用学習部３５６１（図２９１）に出力する。
【２１８６】
より詳細には、予測演算部３５３８は、領域抽出部３５３５より供給される第１の生徒画像の所定の画素位置の画素値から抽出された予測タップを、ｃ_ｉ（ｉは、１乃至ｎの整数値）とし、係数決定部３５３７より供給された予測係数を、ｄ _ｉとして、上述した式（２１８）で示される積和演算を実行することにより、学習用予測画像（ＨＤ画像）のＨＤ画素ｑ’を求める（第１の教師画像を予測推定する）。
【２１８７】
ここで、図２９３乃至図２９８を参照して、上述した従来のクラス分類適応処理（クラス分類適応処理部３５０１）が有する課題、即ち、図２８９において、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理部３５０１によりたとえＨＤ画像（実世界１の信号を予測する予測画像）とされても、元のディテールが完全に復元されないことがあるという課題について説明する。
【２１８８】
図２９３は、クラス分類適応処理部３５０１の処理結果の例を表している。
【２１８９】
図２９３において、ＨＤ画像３５４１は、図中上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれる画像である。また、ＳＤ画像３５４２は、ＨＤ画像３５４１の２×２の画素（ＨＤ画素）からなるブロックに属する画素（ＨＤ画素）の画素値の平均値を、１つの画素（ＳＤ画素）の画素値として生成された画像である。即ち、ＳＤ画像３５４２は、ＨＤ画像３５４１がダウンコンバートされた（解像度が落とされた）画像である。
【２１９０】
換言すると、ＨＤ画像３５４１は、センサ２（図２８９）に入射される前の画像（実世界１（図２８９）の信号）を模した画像であるとする。この場合、ＳＤ画像３５４２は、ＨＤ画像３５４１に、センサ２の積分特性を模した、空間方向の積分を適用することにより得られた画像に相当することなる。即ち、ＳＤ画像３５４２は、センサ２からの入力画像を模した画像となる。
【２１９１】
また、ＳＤ画像３５４２をクラス分類適応処理部３５０１（図２８９）に入力させ、クラス分類適応処理部３５０１より出力された予測画像が、予測画像３５４３である。即ち、予測画像３５４３は、従来のクラス分類適応処理により生成されたＨＤ画像（元のＨＤ画像３５４１と同一解像度の画像）である。ただし、クラス分類適応処理部３５０１が予測演算に使用した予測係数（係数メモリ３５１４（図２９０）に記憶された予測係数）は、ＨＤ画像３５４１を第１の教師画像とし、かつＳＤ画像３５４２を第１の生徒画像として、クラス分類適応処理用学習部３５６１（図２９２）に学習演算させたものである。
【２１９２】
ＨＤ画像３５４１、ＳＤ画像３５４２、および予測画像３５４３のそれぞれを比較するに、予測画像３５４３は、ＳＤ画像３５４２よりも、ＨＤ画像３５４１により近い画像となっていることがわかる。
【２１９３】
この比較結果は、クラス分類適応処理部３５０１が、ＨＤ画像３５４１のディテールがつぶれてしまったＳＤ画像３５４２に対して、従来のクラス分類適応処理を施すことで、元のディテールが復元された予測画像３５４３を生成することができるということを意味している。
【２１９４】
しかしながら、予測画像３５４３とＨＤ画像３５４１を比較するに、予測画像３５４３は、ＨＤ画像３５４１を完全に復元した画像であるとは言い難い。
【２１９５】
そこで、本願出願人は、予測画像３５４３がＨＤ画像３５４１を完全に復元できていない理由を調査するために、所定の加算器３５４６により、ＨＤ画像３５４１と、予測画像３５４３の反転入力との加算画像、即ち、ＨＤ画像３５４１と予測画像３５４３の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像）３５４４を生成した。
【２１９６】
同様に、本願出願人は、所定の加算器３５４７により、ＨＤ画像３５４１と、ＳＤ画像３５４２の反転入力との加算画像、即ち、ＨＤ画像３５４１とＳＤ画像３５４２の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像）３５４５を生成した。
【２１９７】
そして、本願出願人は、このようにして生成された差分画像３５４４と差分画像３５４５を比較することによって、次のような調査結果を得た。
【２１９８】
即ち、ＨＤ画像３５４１とＳＤ画像３５４２の差分の大きい領域（差分画像３５４５の白に近い領域）と、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域（差分画像３５４４の白に近い領域）はほぼ対応している。
【２１９９】
換言すると、予測画像３５４３がＨＤ画像３５４１を完全に復元できていない領域は、予測画像３５４３のうちの、ＨＤ画像３５４１とＳＤ画像３５４２の差分の大きい領域（差分画像３５４５の白に近い領域）にほぼ一致する。
【２２００】
そこで、本願出願人は、この調査結果の要因を解明するために、さらに次のような調査を行った。
【２２０１】
即ち、本願出願人は、まず、ＨＤ画像３５４１と予測画像３５４３の差分の小さい領域（差分画像３５４４の黒に近い領域）において、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、およびＨＤ画像３５４１に対応する実際の波形（実世界１の信号）を調査した。その調査結果が、図２９４と図２９５に示されている。
【２２０２】
図２９４は、調査した領域のうちの１例を示している。なお、図２９４において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、また、垂直方向は、空間方向の他方向であるＹ方向とされている。
【２２０３】
即ち、本願出願人は、ＨＤ画像３５４１と予測画像３５４３の差分の小さい領域の１例として、図２９４で示される、差分画像３５４４の領域３５４４−１について調査した。
【２２０４】
図２９５は、図２９４で示される領域３５４４−１に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個分のＨＤ画素に対応する、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、および、実際の波形（実世界１の信号）のそれぞれをプロットしたものを表している。
【２２０５】
図２９５において、縦軸は画素値を、横軸は空間方向Ｘに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像３５４４の６個のＨＤ画素のうちの図中左から３番目のＨＤ画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、差分画像３５４４のＨＤ画素の画素幅を０．５として付されている。即ち、差分画像３５４４はＨＤ画像であるので、ＨＤ画像３５４１の画素幅Ｌ_ｔ（以下、ＨＤ画素幅Ｌ_ｔと称する）も０．５になる。従って、いまの場合、ＳＤ画像３５４２の画素幅（以下、ＳＤ画素幅Ｌ_ｓと称する）は、ＨＤ画素幅Ｌ_ｔの２倍になるので、ＳＤ画素幅Ｌ_ｓは１になる。
【２２０６】
また、図２９５において、実線は、ＨＤ画像３５４１の画素値を、点線は、ＳＤ画像３５４２の画素値を、一点鎖線は、実世界１の信号のＸ断面波形を、それぞれ表している。ただし、実世界１の信号の波形を実際に描写することは困難であるので、図２９５で示される一点鎖線は、上述した１次元多項式近似手法（図２８９の実世界推定部１０２の１実施形態）によりＸ断面波形が近似された近似関数ｆ（ｘ）が示されている。
【２２０７】
次に、本願出願人は、上述した差分の小さい領域の調査と同様に、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域（差分画像３５４４の白に近い領域）においても、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、およびＨＤ画像３５４１に対応する実際の波形（実世界１の信号）を調査した。その調査結果が、図２９６と図２９７に示されている。
【２２０８】
図２９６は、調査した領域のうちの１例を示している。なお、図２９６において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、また、垂直方向は、空間方向の他方向であるＹ方向とされている。
【２２０９】
即ち、本願出願人は、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域の１例として、図２９６で示される、差分画像３５４４の領域３５４４−２について調査した。
【２２１０】
図２９７は、図２９６で示される領域３５４４−２に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個分のＨＤ画素に対応する、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、および実際の波形（実世界１の信号）のそれぞれをプロットしたものを表している。
【２２１１】
図２９７において、縦軸は画素値を、横軸は空間方向Ｘに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像３５４４の６個のＨＤ画素のうちの図中左から３番目のＨＤ画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、ＳＤ画素幅Ｌ_ｓを１として付されている。
【２２１２】
図２９７において、実線は、ＨＤ画像３５４１の画素値を、点線は、ＳＤ画像３５４２の画素値を、一点鎖線は、実世界１の信号のＸ断面波形を、それぞれ表している。ただし、図２９７で示される一点鎖線は、図２９５で示される一点鎖線と同様に、Ｘ断面波形が近似された近似関数ｆ（ｘ）が示されている。
【２２１３】
図２９５と図２９７を比較するに、両者の近似関数ｆ（ｘ）の波形の形状より、いずれの領域も細線の領域を含んでいることがわかる。
【２２１４】
しかしながら、図２９５においては、細線の領域は、ほぼｘ＝０からｘ＝１の範囲に存在するのに対して、図２９７においては、細線の領域は、ほぼｘ＝−０．５からｘ＝０．５の範囲に存在する。即ち、図２９５においては、ｘ＝０からｘ＝１の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素内に細線の領域がほぼ含まれることになる。これに対して、図２９７においては、ｘ＝０からｘ＝１の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素内に、細線の領域が一部だけ含まれる（細線と背景の境目が含まれる）ことになる。
【２２１５】
従って、図２９５で示される状態の場合、ｘ＝０からｘ＝１．０の範囲に存在するＨＤ画像３５４１の２つのＨＤ画素の画素値（図中、実線）の差は小さくなる。その結果、当然ながら、これら２つのＨＤ画素の画素値の平均値である、ＳＤ画像３５４２の１つのＳＤ画素の画素値（図中、点線）と、ＨＤ画像３５４１の２つのＨＤ画素の画素値のそれぞれとの差分は小さいものになる。
【２２１６】
このような状態で（図２９５で示される状態で）、ｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素が注目画素とされて、従来のクラス分類適応処理によりｘ＝０からｘ＝１．０の範囲に２つのＨＤ画素（予測画像３５４３の画素）が生成された場合について考える。この場合、図２９４で示されるように、生成された予測画像３５４３のＨＤ画素は、ＨＤ画像３５４１のＨＤ画素をほぼ正確に予測したものになる。即ち、図２９４で示されるように、領域３５４４−１においては、予測画像３５４３のＨＤ画素と、ＨＤ画像３５４１のＨＤ画素の差分も小さくなるので、黒に近い画像が表示される。
【２２１７】
これに対して、図２９７で示される状態の場合、ｘ＝０からｘ＝１．０の範囲に存在するＨＤ画像３５４１の２つのＨＤ画素の画素値（図中、実線）の差は大きくなる。その結果、当然ながら、これら２つのＨＤ画素の画素値の平均値である、ＳＤ画像３５４２の１つのＳＤ画素の画素値（図中、点線）と、ＨＤ画像３５４１の２つのＨＤ画素の画素値のそれぞれとの差分は、図２９５の対応する差分に対して大きなものになる。
【２２１８】
このような状態で（図２９７で示される状態で）、ｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素が注目画素とされて、従来のクラス分類適応処理によりｘ＝０からｘ＝１．０の範囲にＨＤ画素（予測画像３５４３の画素）が生成された場合について考える。この場合、図２９６で示されるように、生成された予測画像３５４３のＨＤ画素は、ＨＤ画像３５４１のＨＤ画素を正確に予測したものとはならない。即ち、図２９６で示されるように、領域３５４４−２においては、予測画像３５４３のＨＤ画素と、ＨＤ画像３５４１のＨＤ画素の差分も大きなものになってしまうので、白に近い画像が表示される。
【２２１９】
ところで、図２９５と図２９７の実世界１の信号の近似関数ｆ（ｘ）（図中、一点鎖線）のそれぞれを比較するに、図２９５においては、ｘ＝０からｘ＝１の範囲での近似関数ｆ（ｘ）の変化量は小さいのに対して、図２９７においては、ｘ＝０からｘ＝１の範囲での近似関数ｆ（ｘ）の変化量は大きいことがわかる。
【２２２０】
従って、図２９５で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素は、ＳＤ画素内での近似関数ｆ（ｘ）の変化量が小さい（即ち、実世界１の信号の変化量が小さい）ＳＤ画素と言える。
【２２２１】
このような観点から、上述した調査結果を言いなおすと、例えば、図２９５で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画素のような、ＳＤ画素内での近似関数ｆ（ｘ）の変化が少ない（即ち、実世界１の信号の変化が少ない）ＳＤ画素から、従来のクラス分類適応処理によりＨＤ画素が生成されると、生成されたＨＤ画素は、実世界１の信号（いまの場合、細線の画像）をほぼ正確に予測したものとなる。
【２２２２】
これに対して、図２９７で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素は、ＳＤ画素内での近似関数ｆ（ｘ）の変化量が大きい（即ち、実世界１の信号の変化量が大きい）ＳＤ画素と言える。
【２２２３】
このような観点から、上述した調査結果を言いなおすと、例えば、図２９７で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画素のような、ＳＤ画素内での近似関数ｆ（ｘ）の変化が大きい（即ち、実世界１の信号の変化が大きい）ＳＤ画素から、従来のクラス分類適応処理によりＨＤ画素が生成されると、生成されたＨＤ画素は、実世界１の信号（いまの場合、細線の画像）を正確に予測したものとはならない。
【２２２４】
以上の調査結果をまとめると、図２９８で示されるような状態の場合、従来の画素間の信号処理（例えば、クラス分類適応処理）では、画素内のディテールを復元することは困難であるということである。
【２２２５】
即ち、図２９８は、本願出願人が上述したような調査を行った結果として、得られた知見を説明する図である。
【２２２６】
図２９８において、図中水平方向は、センサ２（図２８９）の検出素子が並んでいる方向（空間方向）のうちの１方向であるＸ方向を表しており、図中垂直方向は、光のレベルまたは画素値を表している。点線は、画像である、実世界１（図２８９）の信号のＸ断面波形Ｆ（ｘ）を表しており、実線は、Ｘ断面波形Ｆ（ｘ）で表される実世界１の信号（画像）がセンサ２に入射された場合、センサ２から出力される画素値Ｐを表している。また、センサ２の１つの検出素子の幅（Ｘ方向の長さ）は、Ｌ_ｃと記述されており、△Ｐは、センサ２の１つの検出素子の幅Ｌ_ｃ、即ち、センサ２の画素幅Ｌ_ｃ内におけるＸ断面波形Ｆ（ｘ）の変化量を表している。
【２２２７】
ところで、上述したＳＤ画像３５４２（図２９３）は、センサ２からの入力画像（図２８９）を模したものであるので、ＳＤ画像３５４２のＳＤ画素幅Ｌ_ｓ（図２９５と図２９７）は、センサ２の画素幅（検出素子の幅）Ｌ_ｃとして考えることができる。
【２２２８】
また、上述した調査においては、細線に対応する実世界１の信号（近似関数ｆ（ｘ））に対する調査であったが、細線に限らず、実世界１の信号のレベルの変化は存在する。
【２２２９】
従って、上述した調査結果を、図２９８で示される状態に当てはめると、次の通りになる。
【２２３０】
即ち、図２９８で示されるような、画素内において実世界１の信号の変化量（Ｘ断面波形Ｆ（ｘ）の変化量）△Ｐが大きいＳＤ画素（センサ２からの出力画素）が注目画素とされて、従来のクラス分類適応処理によりＨＤ画素（例えば、図２８９のクラス分類適応処理部３５０１から出力される予測画像の画素）が生成された場合、生成されたＨＤ画素は、実世界１の信号（図２９８の例では、Ｘ断面波形Ｆ（ｘ））を正確に予測したものとはならない。
【２２３１】
具体的には、クラス分類適応処理をはじめとする従来の手法においては、センサ２の画素の画素間の画像処理が行われている。
【２２３２】
即ち、図２９８で示されるように、実世界１では、１画素内の領域でＸ断面波形Ｆ（ｘ）の変化量△Ｐが大きい状態であっても、センサ２からは、Ｘ断面波形Ｆ（ｘ）が積分された（厳密には、実世界１の信号が、時空間方向に積分された）１つの画素値Ｐ（１画素内で均一の値Ｐ）のみが出力される。
【２２３３】
従来の手法においては、その画素値Ｐが基準とされるとともに、画素値Ｐが処理の対象とされて画像処理が行われている。換言すると、従来の手法においては、画素内における実世界１の信号（Ｘ断面波形Ｆ（ｘ））の変化、即ち、画素内のディテールを無視して、画像処理が行われている。
【２２３４】
このように、画素を最小の単位として処理する限り、例えどのような画像処理（クラス分類適応処理でも）を施したとしても、画素内における実世界１の信号の変化を正確に再現することは困難である。特に、実世界１の信号の変化量△Ｐが大きい場合、その困難さはより顕著なものとなる。
【２２３５】
換言すると、上述したクラス分類適応処理が有する課題、即ち、図２８９において、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理によりたとえＨＤ画像とされても、元のディテールが完全に復元されないことがあるという課題が発生する原因は、画素内における実世界１の信号の変化量△Ｐを考慮せずに、画素（１つの画素値しか有しない画素）を最小の単位としてクラス分類適応処理が行われているからである。
【２２３６】
この課題は、クラス分類適応処理に限らず従来の画像処理手法の全てが有する課題であり、課題が発生する原因も全く同じである。
【２２３７】
以上、従来の画像処理手法が有する課題と、その発生要因について説明した。
【２２３８】
ところで、上述したように、本発明のデータ定常性検出部１０１と実世界推定部１０２（図３）は、実世界１の信号が有する定常性を利用して、センサ２からの入力画像（即ち、画素内における、実世界１の信号の変化が無視された画像）から、実世界１の信号を推定することができる。即ち、実世界推定部１０２は、実世界１の信号を推定することが可能な実世界推定情報を出力することができる。
【２２３９】
従って、この実世界推定情報から、画素内における、実世界１の信号の変化量の推定も可能である。
【２２４０】
そこで、本願出願人は、従来のクラス分類適応処理により生成された予測画像（画素内における、実世界１の信号の変化を考慮せずに、実世界１を予測した画像）を、実世界推定情報に基づいて生成される所定の補正画像（画素内における、実世界１の信号の変化に起因する予測画像の誤差を推定した画像）で補正することで、上述した課題の解決が可能になるという思想に基づいて、例えば、図２８９で示されるような、クラス分類適応処理補正手法を発明した。
【２２４１】
即ち、図２８９において、データ定常性検出部１０１と実世界推定部１０２が、実世界推定情報を生成し、クラス分類適応処理補正部３５０２が、生成された実世界推定情報に基づいて所定の補正画像を生成する。そして、加算部３５０３が、クラス分類適応処理部３５０１より出力された予測画像を、クラス分類適応処理補正部３５０２より出力された補正画像で補正する（具体的には、予測画像に補正画像を加算した画像を出力画像として出力する）。
【２２４２】
クラス分類適応処理補正手法を利用する画像生成部１０３のうちの、クラス分類適応処理部３５０１の詳細については既に説明した。また、加算部３５０３は、予測画像と補正画像を加算することができるものであれば、その形態は特に限定されず、例えば、従来より存在する、様々な加算器やプログラム等を適用することが可能である。
【２２４３】
そこで、以下、残りのクラス分類適応処理補正部３５０２の詳細について説明する。
【２２４４】
はじめに、クラス分類適応処理補正部３５０２の原理について説明する。
【２２４５】
上述したように、図２９３において、ＨＤ画像３５４１を、センサ２（図２８９）に入射される前の元の画像（実世界１の信号）とみなし、かつ、ＳＤ画像３５４２を、センサ２からの入力画像とみなすと、予測画像３５４３が、クラス分類適応処理部３５０１より出力される予測画像（元の画像（ＨＤ画像３５４１）を予測した予測画像）となる。
【２２４６】
また、ＨＤ画像３５４１から、その予測画像３５４３を減算した画像が、差分画像３５４４である。
【２２４７】
従って、クラス分類適応処理補正部３５０２が、差分画像３５４４を生成し、その差分画像３５４４を補正画像として出力することができれば、加算部３５０３が、クラス分類適応処理部３５０１より出力された予測画像３５４３と、クラス分類適応処理補正部３５０２より出力された差分画像３５４４（補正画像）を加算することで、ＨＤ画像３５４１を復元することができる。
【２２４８】
即ち、クラス分類適応処理補正部３５０２が、画像である、実世界１の信号（センサ２に入射される前の元の画像）と、クラス分類適応処理部３５０１から出力される予測画像との差分画像（ただし、クラス分類適応処理部３５０１から出力される予測画像と同一解像度の画像）を適切に予測し、予測した差分画像（以下、差分予測画像と称する。これが、上述した差分予測画像の名称の由来である）を補正画像として出力することができれば、実世界１の信号（元の画像）をほぼ復元することができる。
【２２４９】
ところで、上述したように、実世界１の信号（センサ２に入射される前の元の画像）と、クラス分類適応処理部３５０１から出力される予測画像との差分（誤差）の度合いと、入力画像の１画素内における、実世界１の信号の変化量の度合いは対応している。また、実世界推定部１０２は、実世界１の信号自身を推定することができるので、当然ながら、入力画像の１画素内における、実世界１の信号の変化量の度合いを表す所定の特徴量を画素毎に算出することも可能である。
【２２５０】
従って、クラス分類適応処理補正部３５０２は、入力画像の各画素のそれぞれに対する特徴量を取得することで、差分予測画像を生成する（差分画像を予測する）ことができる。
【２２５１】
そこで、例えば、クラス分類適応処理補正部３５０２は、実世界推定部１０２より、特徴量を画素値とする画像（以下、このような画像を、特徴量画像と称する）を実世界推定情報として実世界推定部１０２より入力する。
【２２５２】
このとき、特徴量画像の解像度は、センサ２からの入力画像と同一の解像度である。また、補正画像（差分予測画像）は、クラス分類適応処理部３５０１より出力される予測画像と同一の解像度である。
【２２５３】
従って、クラス分類適応処理補正部３５０２が、特徴量画像をＳＤ画像とし、補正画像（差分予測画像）をＨＤ画像とし、従来のクラス分類適応処理を利用して、特徴量画像から差分画像を予測演算すれば、その予測演算の結果が、適切な差分予測画像となる。
【２２５４】
以上、クラス分類適応処理補正部３５０２の原理について説明した。
【２２５５】
図２９９は、このような原理で動作するクラス分類適応処理補正部３５０２の構成例を表している。
【２２５６】
図２９９において、実世界推定部１０２より入力された特徴量画像（ＳＤ画像）は、領域抽出部３５５１と領域抽出部３５５５にそれぞれ供給される。領域抽出部３５５１は、供給された特徴量画像から、クラス分類を行うために必要なクラスタップ（注目画素を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部３５５２に出力する。パターン検出部３５５２は、入力されたクラスタップに基づいて特徴量画像のパターンを検出する。
【２２５７】
クラスコード決定部３５５３は、パターン検出部３５５２で検出されたパターンに基づいてクラスコードを決定し、補正係数メモリ３５５４、および、領域抽出部３５５５に出力する。補正係数メモリ３５５４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部３５５３より入力されたクラスコードに対応する係数を読み出し、補正演算部３５５６に出力する。
【２２５８】
なお、補正係数メモリ３５５４の係数の学習処理については、図３００のクラス分類適応処理補正用学習部のブロック図を参照して後述する。
【２２５９】
また、補正係数メモリ３５５４に記憶される係数は、後述するように、差分画像を予測する（ＨＤ画像である差分予測画像を生成する）ときに使用される予測係数である。しかしながら、ここでは、クラス分類適応処理部３５０１の係数メモリ３５１４（図２９０）に記憶されている係数を、予測係数と称している。従って、以下、補正係数メモリ３５５４に記憶される予測係数を、係数メモリ３５１４に記憶される予測係数と区別するために、補正係数と称する。
【２２６０】
領域抽出部３５５５は、クラスコード決定部３５５３より入力されたクラスコードに基づいて、実世界推定部１０２より入力された特徴量画像（ＳＤ画像）から、差分画像（ＨＤ画像）を予測する（ＨＤ画像である差分予測画像を生成する）のに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、補正演算部３５５６に出力する。補正演算部３５５６は、領域抽出部３５５５より入力された予測タップと、補正係数メモリ３５５４より入力された補正係数とを用いて積和演算を実行し、特徴量画像（ＳＤ画像）の注目画素（ＳＤ画素）における、差分予測画像（ＨＤ画像）のＨＤ画素を生成する。
【２２６１】
より詳細には、補正係数メモリ３５５４は、クラスコード決定部３５５３より供給されるクラスコードに対応する補正係数を、補正演算部３５５６に出力する。補正演算部３５５６は、領域抽出部３５５５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップ（ＳＤ画素）と、補正係数メモリ３５５４より供給された補正係数とを用いて、次の式（２２６）で示される積和演算を実行することにより、差分予測画像（ＨＤ画像）のＨＤ画素を求める（差分画像を予測推定する）。
【２２６２】
【数１７６】

【２２６３】
式（２２６）において、ｕ’は、差分予測画像（ＨＤ画像）のＨＤ画素を表している。ａ_ｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｇ _ｉのそれぞれは、補正係数のそれぞれを表している。
【２２６４】
従って、図２８９において、クラス分類適応処理部３５０１からは、上述した式（２１８）で示される予測画像のＨＤ画素ｑ’が出力されるのに対して、クラス分類適応処理補正部３５０２からは、式（２２６）で示される差分予測画像のＨＤ画素ｕ’が出力される。そして、加算部３５０３が、予測画像のＨＤ画素ｑ’と、差分予測画像のＨＤ画素ｕ’とを加算した画素（以下、ｏ’と記述する）を、出力画像のＨＤ画素として外部に出力する。
【２２６５】
即ち、画像生成部１０３より最終的に出力される出力画像のＨＤ画素ｏ’は、次の式（２２７）で示されるようになる。
【２２６６】
【数１７７】

【２２６７】
図３００は、このようなクラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶される補正係数（上述した式（２２２）におけるｇ _ｉ）を決定するための学習部、即ち、上述した図２９１の学習装置３５０４のクラス分類適応処理補正用学習部３５６１の詳細な構成例を表している。
【２２６８】
図２９１において、上述したように、クラス分類適応処理用学習部３５２１は、その学習処理を終了すると、クラス分類適応処理補正用学習部３５６１に対して、学習に利用した第１の教師画像（ＨＤ画像）と第１の生徒画像（ＳＤ画像）のそれぞれを出力するともに、学習により求められた予測係数を用いて第１の生徒画像から第１の教師画像を予測した画像である、学習用予測画像を出力してくる。
【２２６９】
図３００に戻り、これらのうちの第１の生徒画像は、データ定常性検出部３５７２に入力される。
【２２７０】
一方、これらのうちの第１の教師画像と学習用予測画像は、加算部３５７１に入力される。ただし、学習用予測画像は、反転入力される。
【２２７１】
加算部３５７１は、入力された第１の教師画像と、反転入力された学習用予測画像を加算し、即ち、第１の教師画像と学習用予測画像の差分画像を生成し、それをクラス分類適応処理補正用学習部３５６１における教師画像（この教師画像を、上述したように、第１の教師画像と区別するために、第２の教師画像と称する）として正規方程式生成部３５７８に出力する。
【２２７２】
データ定常性検出部３５７２は、入力された第１の生徒画像に含まれるデータの定常性を検出し、その検出結果をデータ定常性情報として実世界推定部３５７３に出力する。
【２２７３】
実世界推定部３５７３は、入力されたデータ定常性情報に基づいて、特徴量画像を生成し、それをクラス分類適応処理補正用学習部３５６１における生徒画像（この生徒画像を、上述したように、第１の生徒画像と区別するために、第２の生徒画像と称する）として領域抽出部３５７４と領域抽出部３５７７のそれぞれに出力する。
【２２７４】
領域抽出部３５７４は、供給された第２の生徒画像（ＳＤ画像）から、クラス分類を行うために必要なＳＤ画素（クラスタップ）を抽出し、パターン検出部３５７５に出力する。パターン検出部３５７５は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部３５７６に出力する。クラスコード決定部３５７６は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部３５７７、および、正規方程式生成部３５７８のそれぞれに出力する。
【２２７５】
領域抽出部３５７７は、クラスコード決定部３５７６より入力されたクラスコードに基づいて、実世界推定部３５７３より入力された第２の生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部３５７８に出力する。
【２２７６】
なお、以上の領域抽出部３５７４、パターン検出部３５７５、クラスコード決定部３５７６、および領域抽出部３５７７のそれぞれは、図２９９のクラス分類適応処理補正部３５０２の領域抽出部３５５１、パターン検出部３５５２、クラスコード決定部３５５３、および、領域抽出部３５５５のそれぞれと、基本的に同様の構成と機能を有するものである。また、以上のデータ定常性検出部３５７２、および実世界推定部３５７３のそれぞれは、図２８９のデータ定常性検出部１０１、および実世界推定部１０２のそれぞれと、基本的に同様の構成と機能を有するものである。
【２２７７】
正規方程式生成部３５７８は、クラスコード決定部３５７６より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部３５７７より入力される第２の生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、第２の教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、補正係数決定部３５７９に供給する。補正係数決定部３５７９は、正規方程式生成部３５７８より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より補正係数のそれぞれを演算し、補正係数メモリ３５５４にクラスコードと関連付けて記憶させる。
【２２７８】
正規方程式生成部３５７８と、補正係数決定部３５７９についてさらに詳しく説明する。
【２２７９】
上述した式（２２６）において、学習前は補正係数ｇ_ｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｕ_ｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２２６）から、次の式（２２８）が設定される。
【２２８０】
【数１７８】

【２２８１】
即ち、式（２２８）は、右辺の演算をすることで、所定のＨＤ画素を予測推定することができることを表している。なお、式（２２８）において、ｅ_ｋは誤差を表している。即ち、右辺の演算結果である差分予測画像（ＨＤ画像）のＨＤ画素ｕ_ｋ’が、実際の差分画像のＨＤ画素ｕ_ｋと厳密には一致せず、所定の誤差ｅ_ｋを含む。
【２２８２】
そこで、式（２２８）において、例えば、誤差ｅ_ｋの自乗和を最小にするような補正係数ａ_ｉが、学習により求まればよい。
【２２８３】
例えば、ｍ＞ｎとなるように、差分画像のＨＤ画素ｕ_ｋを学習により集めることができれば、最小自乗法によって補正係数ａ_ｉが一意に決定される。
【２２８４】
即ち、式（２２８）の右辺の補正係数ａ_ｉを最小自乗法で求める場合の正規方程式は、次の式（２２９）で示される通りになる。
【２２８５】
【数１７９】

【２２８６】
式（２２９）で示される正規方程式の各行列のそれぞれを、次の式（２３０）乃至（２３２）のように定義すると、正規方程式は、次の式（２３３）のように表される。
【２２８７】
【数１８０】

【２２８８】
【数１８１】

【２２８９】
【数１８２】

【２２９０】
【数１８３】

【２２９１】
式（２３１）で示されるように、行列Ｇ_ＭＡＴの各成分は、求めたい補正係数ｇ_ｉである。従って、式（２３３）において、左辺の行列Ａ_ＭＡＴと右辺の行列Ｕ_ＭＡＴが決定されれば、行列解法によって行列Ｇ_ＭＡＴ（即ち、補正係数ｇ_ｉ）の算出が可能である。
【２２９２】
具体的には、式（２３０）で示されるように、行列Ａ_ＭＡＴの各成分は、予測タップａ_ｉｋが既知であれば演算可能である。予測タップａ_ｉｋは、領域抽出部３５７７により抽出されるので、正規方程式生成部３５７８は、領域抽出部３５７７より供給されてくる予測タップａ_ｉｋのそれぞれを利用して行列Ａ_ＭＡＴの各成分を演算することができる。
【２２９３】
また、式（２３２）で示されるように、行列Ｕ_ＭＡＴの各成分は、予測タップａ_ｉｋと差分画像のＨＤ画素ｕ_ｋが既知であれば演算可能である。予測タップａ_ｉｋは、行列Ａ_ＭＡＴの各成分に含まれるものと同一のものであり、また、差分画像のＨＤ画素ｕ_ｋは、加算部３５７１より出力される第２の教師画像のＨＤ画素である。従って、正規方程式生成部３５７８は、領域抽出部３５７７より供給された予測タップａ_ｉｋと、第２の教師画像（第１の教師画像と、学習用予測画像の差分画像）を利用して行列Ｕ_ＭＡＴの各成分を演算することができる。
【２２９４】
このようにして、正規方程式生成部３５７８は、クラスコード毎に、行列Ａ_ＭＡＴと行列Ｕ_ＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて補正係数決定部３５７９に供給する。
【２２９５】
補正係数決定部３５７９は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２３３）の行列Ｇ_ＭＡＴの各成分である補正係数ｇ_ｉを演算する。
【２２９６】
具体的には、上述した式（２３３）の正規方程式は、次の式（２３４）のように変形できる。
【２２９７】
【数１８４】

【２２９８】
式（２３４）において、左辺の行列Ｇ_ＭＡＴの各成分が、求めたい補正係数ｇ_ｉである。また、行列Ａ_ＭＡＴと行列Ｕ_ＭＡＴのそれぞれの各成分は、正規方程式生成部３５７８より供給されるものである。従って、補正係数決定部３５７９は、正規方程式生成部３５７８より所定のクラスコードに対応する行列Ａ_ＭＡＴと行列Ｕ_ＭＡＴのそれぞれの各成分が供給されてきたとき、式（２３４）の右辺の行列演算を行うことで行列Ｇ_ＭＡＴを演算し、その演算結果（補正係数ｇ_ｉ）をクラスコードに対応付けて補正係数メモリ３５５４に記憶させる。
【２２９９】
以上、クラス分類適応処理補正部３５０２と、それに付随する学習部である、クラス分類適応処理補正用学習部３５６１の詳細について説明した。
【２３００】
ところで、上述した特徴量画像は、クラス分類適応処理補正部３５０２がそれに基づいて補正画像（差分予測画像）を生成することが可能なものであれば、その形態は特に限定されない。換言すると、特徴量画像の各画素の画素値、即ち、特徴量は、上述したように、画素（センサ２（図２８９）の画素）内における実世界１（図２８９）の信号の変化量の度合いを表すことができるものであれば、特に、限定されない。
【２３０１】
例えば、特徴量として、画素内傾斜を適用することが可能である。
【２３０２】
画素内傾斜とは、ここで新しく定義した言葉である。そこで、以下、画素内傾斜について説明する。
【２３０３】
上述したように、図２８９において、画像である、実世界１の信号は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｔ）で表される。
【２３０４】
また、例えば、画像である、実世界１の信号が、空間方向の所定の方向に定常性を有する場合、関数Ｆ（ｘ，ｙ，ｔ）を、空間方向であるＸ方向、Ｙ方向、およびＺ方向のうちの所定の１方向（例えば、Ｘ方向）に射影した１次元の波形（ここでも、このような波形のうちのＸ方向に射影した波形を、Ｘ断面波形Ｆ（ｘ）と称することにする）と同一形状の波形が、定常性の方向に連なっていると考えることができる。
【２３０５】
従って、実世界推定部１０２は、例えば、データ定常性検出部１０１より出力される、実世界１の信号が有する定常性に対応するデータ定常性情報（例えば、角度）に基づいて、Ｘ断面波形Ｆ（ｘ）を、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似することができる。
【２３０６】
図３０１は、このような近似関数ｆ（ｘ）の一例として、次の式（２３５）で示されるｆ_４（ｘ）（５次の多項式であるｆ_４（ｘ））と、次の式（２３６）で示されるｆ_５（ｘ）（１次の多項式であるｆ_５（ｘ））をプロットしたものを表している。
【２３０７】
【数１８５】

【２３０８】
【数１８６】

【２３０９】
なお、式（２３５）のｗ_０乃至ｗ_５、並びに、式（２３６）のｗ_０’およびｗ_１’のそれぞれは、実世界推定部１０２が演算した各次の係数を表している。
【２３１０】
また、図３０１において、図中水平方向のｘ軸は、注目画素の左端を原点（ｘ＝０）とした場合における、注目画素からの空間方向Ｘの相対位置を表している。ただし、ｘ軸においては、センサ２の検出素子の幅Ｌ_ｃが１とされている。また、図中垂直方向の軸は、画素値を表している。
【２３１１】
図３０１で示されるように、１次の近似関数ｆ_５（ｘ）（式（２３２）で示される近似関数ｆ_５（ｘ））は、注目画素におけるＸ断面波形Ｆ（ｘ）を直線近似したものである。この近似直線の傾きを、ここでは、画素内傾斜と称している。即ち、画素内傾斜とは、式（２３６）におけるｘの係数ｗ_１’である。
【２３１２】
画素内傾斜が急な場合、それは、注目画素における、Ｘ断面波形Ｆ（ｘ）の変化量が大きいことを表している。これに対して、画素内傾斜が緩やかな場合、それは、注目画素における、Ｘ断面波形Ｆ（ｘ）の変化量が小さいことを表している。
【２３１３】
このように、画素内傾斜は、画素（センサ２の画素）内における実世界１の信号の変化量の度合いを適切に表すことができる。従って、特徴量として、画素内傾斜を適用することができる。
【２３１４】
例えば、図３０２には、画素内傾斜を特徴量として実際に生成された特徴量画像が示されている。
【２３１５】
即ち、図３０２において、図中左側の画像は、上述した図２９３で示されるＳＤ画像３５４２と同一の画像を表している。また、図中右側の画像は、左側のＳＤ画像３５４２を構成する各画素のそれぞれに対して画素内傾斜を求め、画素内傾斜に対応する値を画素値としてプロットした特徴量画像３５９１を表している。ただし、特徴量画像３５９１は、画素内傾斜がない場合（近似直線が、Ｘ方向に平行な場合）、黒となり、これに対して、画素内傾斜が直角の場合（近似直線が、Ｙ方向に平行な場合）、白となるように生成されている。
【２３１６】
ＳＤ画像３５４２の領域３５４２−１は、上述した図２９４の差分画像３５４４の領域３５４４−１（上述した図２９５を参照して、画素内における実世界１の信号の変化量が小さい領域の１例として説明した領域）に対応する領域である。このＳＤ画像３５４２の領域３５４２−１に対応する特徴量画像３５９１の領域が、領域３５９１−１である。
【２３１７】
また、ＳＤ画像３５４２の領域３５４２−２は、上述した図２９６の差分画像３５４４の領域３５４４−２（上述した図２９７を参照して、画素内における実世界１の信号の変化量が大きい領域の１例として説明した領域）に対応する領域である。このＳＤ画像３５４２の領域３５４２−２に対応する特徴量画像３５９１の領域が、領域３５９１−２である。
【２３１８】
ＳＤ画像３５４２の領域３５４２−１と特徴量画像３５９１の領域３５９１−１とを比較するに、実世界１の信号の変化量が小さい領域は、特徴量画像３５９１においては、黒に近い領域（画素内傾斜が緩い領域）となっていることがわかる。
【２３１９】
これに対して、ＳＤ画像３５４２の領域３５４２−２と特徴量画像３５９１の領域３５９１−２とを比較するに、実世界１の信号の変化量が大きい領域は、特徴量画像３５９１においては、白に近い領域（画素内傾斜が急な領域）となっていることがわかる。
【２３２０】
このように、画素内傾斜に対応する値を画素として生成された特徴量画像は、各画素内のそれぞれにおける実世界１の信号の変化量の度合いを適切に表すことができる。
【２３２１】
次に、画素内傾斜の具体的な算出方法について説明する。
【２３２２】
即ち、注目画素における画素内傾斜を、ｇｒａｄと記述すると、画素内傾斜ｇｒａｄは、次の式（２３７）で表される。
【２３２３】
【数１８７】

【２３２４】
式（２３７）において、Ｐ_ｎは、注目画素の画素値を表している。Ｐ_ｃは、中心画素の画素値を表している。
【２３２５】
具体的には、例えば、図３０３で示されるように、センサ２からの入力画像のうちの、５×５の画素（図中５×５＝２５個の正方形）からなる領域であって、所定のデータの定常性を有する領域３６０１（以下、定常領域３６０１と称する）が存在した場合、この定常領域３６０１の中心の画素３６０２が中心画素とされる。従って、Ｐ_ｃは、中心画素３６０２の画素値となる。そして、例えば、画素３６０３が注目画素とされた場合、Ｐ_ｎは、注目画素３６０３の画素値となる。
【２３２６】
また、式（２３７）において、ｘ_ｎ’は、注目画素の中心点における断面方向距離を表している。なお、ここでは、中心画素（図３０３の例では、画素３６０２）の中心を空間方向の原点（０，０）とし、その原点を通るデータの定常性の方向と平行な直線（図３０３の例では、直線３６０４）を引いたとすると、その直線に対するＸ方向の相対的な距離を、断面方向距離と称している。
【２３２７】
図３０４は、図３０３の定常領域３６０１内の各画素の断面方向距離を表した図である。即ち、図３０４において、定常領域３６０１の各画素（図中５×５＝２５個の正方形）内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、注目画素３６０３の断面距離ｘ_ｎ’は、−２βである。
【２３２８】
ただし、各画素幅は、Ｘ方向もＹ方向も１とされている。Ｘ方向の正方向は、図中右方向とされている。また、βは、中心画素３６０２のＹ方向に対して１つ隣（図中１つ下）の画素３６０５の断面方向距離を表している。このβは、図３０４で示されるような角度θ（直線３６０４の方向と、Ｘ方向のなす角度θ）が、データ定常性検出部１０１よりデータ定常性情報として出力されている場合、次の式（２３８）を利用して簡単に演算することが可能である。
【２３２９】
【数１８８】

【２３３０】
このように、画素内傾斜は、中心画素（図３０４の例では画素３６０２）と注目画素（図３０４の例では画素３６０３）の２つの入力画素値と、角度θを利用する簡単な演算で算出可能である。従って、実世界推定部１０２は、画素内傾斜に対応する値を画素値とする画像を、特徴量画像として生成すれば、その処理量を大幅に低減することが可能になる。
【２３３１】
なお、さらに精度のよい画素内傾斜を求めたい場合、実世界推定部１０２は、注目画素の周辺画素を用いて最小自乗法により演算すればよい。具体的には、実世界推定部１０２は、注目画素を含むｍ個（ｍは２以上の整数）の画素に対して番号ｉ（ｉは、１乃至ｍ）を付与し、番号ｉの画素のそれぞれの入力画素値Ｐ_ｉと断面方向距離ｘ_ｉ’を、次の式（２３９）の右辺に代入して注目画素における画素内傾斜ｇｒａｄを演算すればよい。即ち、式（２３９）は、上述した１変数を最小自乗法で求める式と同様の式である。
【２３３２】
【数１８９】

【２３３３】
次に、図３０５を参照して、クラス分類適応処理補正手法を利用する画像生成部１０３（図２８９）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【２３３４】
図２８９において、画像である、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。この入力画像は、データ定常性検出部１０１に入力されるとともに、画像生成部１０３のクラス分類適応処理部３５０１に入力される。
【２３３５】
そこで、図３０５のステップＳ３５０１において、クラス分類適応処理部３５０１は、入力された入力画像（ＳＤ画像）に対してクラス分類適応処理を施して、予測画像（ＨＤ画像）を生成し、加算部３５０３に出力する。
【２３３６】
なお、以下、このようなクラス分類適応処理部３５０１が実行するステップＳ３５０１の処理を、「入力画像クラス分類適応処理」と称する。この例の「入力画像クラス分類適応処理」の詳細については、図３０６のフローチャートを参照して後述する。
【２３３７】
ステップＳ３５０１の処理とほぼ同時に、データ定常性検出部１０１は、入力画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部１０２に出力する（図４０のステップＳ１０１の処理）。
【２３３８】
実世界推定部１０２は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、ＳＤ画像である特徴量画像）を生成し、画像生成部１０３のクラス分類適応処理補正部３５０２に供給する（図４０のステップＳ１０２の処理）。
【２３３９】
そこで、ステップＳ３５０２において、クラス分類適応処理補正部３５０２は、供給された特徴量画像（ＳＤ画像）に対してクラス分類適応処理を施して、差分予測画像（ＨＤ画像）を生成し（実際の画像（実世界１の信号）と、クラス分類適応処理部３５０１から出力された予測画像との差分画像（ただし、ＨＤ画像）を予測演算し）、それを補正画像として加算部３５０３に出力する。
【２３４０】
なお、以下、このようなクラス分類適応処理補正部３５０２が実行するステップＳ３５０２の処理を、「クラス分類適応処理の補正処理」と称する。この例の「クラス分類適応処理の補正処理」の詳細については、図３０７のフローチャートを参照して後述する。
【２３４１】
そして、ステップＳ３５０３において、加算部３５０３が、ステップＳ３５０１の処理でクラス分類適応処理部３５０１により生成された予測画像（ＨＤ画像）の注目画素（ＨＤ画素）と、その注目画素に対応する、ステップＳ３５０２の処理でクラス分類適応処理補正部３５０２により生成された補正画像（ＨＤ画像）の画素（ＨＤ画素）を加算し、出力画像（ＨＤ画像）の画素（ＨＤ画素）を生成する。
【２３４２】
ステップＳ３５０４において、加算部３５０３は、全画素の処理を終了したか否かを判定する。
【２３４３】
ステップＳ３５０４において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３５０１に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３５０１乃至Ｓ３５０３の処理が繰り返される。
【２３４４】
そして、全画素の処理が終了すると（ステップＳ３５０４において、全画素の処理が終了されたと判定すると）、加算部３５０４は、ステップＳ３５０５において、出力画像（ＨＤ画像）を外部に出力する。その後、画像の生成の処理は終了となる。
【２３４５】
次に、図面を参照して、この例における「入力画像クラス分類適応処理（ステップＳ３５０１の処理）」、および、「クラス分類適応処理の補正処理（ステップＳ３５０２の処理）」のそれぞれの詳細について、その順番で個別に説明する。
【２３４６】
はじめに、図３０６のフローチャートを参照して、クラス分類適応処理部３５０１（図２９０）が実行する「入力画像クラス分類適応処理」の詳細について説明する。
【２３４７】
入力画像（ＳＤ画像）がクラス分類適応処理部３５０１に入力されると、ステップＳ３５２１において、領域抽出部３５１１と領域抽出部３５１５のそれぞれは、入力画像を入力する。
【２３４８】
ステップＳ３５２２において、領域抽出部３５１１は、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部３５１２に供給する。
【２３４９】
ステップＳ３５２３において、パターン検出部３５１２は、供給されたクラスタップのパターンを検出し、クラスコード決定部３５１３に供給する。
【２３５０】
ステップＳ３５２４において、クラスコード決定部３５１３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ３５１４と領域抽出部３５１５のそれぞれに供給する。
【２３５１】
ステップＳ３５２５において、係数メモリ３５１４は、予め学習処理により決定された複数の予測係数（群）の中から、供給されたクラスコードに基づいてこれから使用する予測係数（群）を読み出し、予測演算部３５１６に供給する。
【２３５２】
なお、学習処理については、図３１１のフローチャートを参照して後述する。
【２３５３】
ステップＳ３５２６において、領域抽出部３５１５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、予測演算部３５１６に供給する。
【２３５４】
ステップＳ３５２７において、予測演算部３５１６は、領域抽出部３５１５より供給された予測タップを、係数メモリ３５１４より供給された予測係数を用いて演算し、予測画像（ＨＤ画像）を生成して加算部３５０３に出力する。
【２３５５】
具体的には、予測演算部３５１６は、領域抽出部３５１５より供給された予測タップのそれぞれをｃ_ｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数メモリ３５１４より供給された予測係数のそれぞれをｄ_ｉとして、上述した式（２１８）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｑ’を算出し、それを予測画像（ＨＤ画像）を構成する１つの画素として加算部３５０３に出力する。これにより、入力画像クラス分類適応処理が終了となる。
【２３５６】
次に、図３０７のフローチャートを参照して、クラス分類適応処理補正部３５０２（図２９９）が実行する「クラス分類適応処理の補正処理」の詳細について説明する。
【２３５７】
実世界推定部１０２より実世界推定情報として特徴量画像（ＳＤ画像）がクラス分類適応処理補正部３５０２に入力されると、ステップＳ３５４１において、領域抽出部３５５１と領域抽出部３５５５のそれぞれは、特徴量画像を入力する。
【２３５８】
ステップＳ３５４２において、領域抽出部３５５１は、特徴量画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部３５５２に供給する。
【２３５９】
具体的には、この例においては、例えば、図３０８で示されるようなクラスタップ（群）３６２１が抽出されるとする。即ち、図３０８は、クラスタップ配置の１例を表している。
【２３６０】
図３０８において、図中水平方向は、空間方向の１方向であるＸ方向とされており、図中垂直方向は、空間方向の他方向であるＹ方向とされている。また、注目画素は、画素３６２１−２とされている。
【２３６１】
この場合、図３０８の例では、注目画素３６２１−２、Ｙ方向に対して注目画素３６２１−２の隣の画素３６２１−０および画素３６２１−４、並びに、Ｘ方向に対して注目画素３６２１−２の隣の画素３６２１−１および画素３６２１−３の総計５個の画素からなる画素群３６２１が、クラスタップとして抽出されることになる。
【２３６２】
勿論、クラスタップ配置は、注目画素３６２１−２を含む配置であれば、図３０８の例に限定されず、様々な配置が可能である。
【２３６３】
図３０７に戻り、ステップＳ３５４３において、パターン検出部３５５２は、供給されたクラスタップのパターンを検出し、クラスコード決定部３５５３に供給する。
【２３６４】
具体的には、この例においては、例えば、パターン検出部３５５２は、図３０８で示される５個のクラスタップ３６２１−０乃至３６２１−４のそれぞれの画素値、即ち、特徴量の値（例えば、画素内傾斜）のそれぞれが、予め設定された複数のクラスのうちのいずれのクラスに属するのかを検出し、それらの検出結果を１つにまとめたものをパターンとして出力する。
【２３６５】
例えば、いま、図３０９で示されるようなパターンが検出されたとする。即ち、図３０９は、クラスタップのパターンの１例を表している。
【２３６６】
図３０９において、図中水平方向の軸は、クラスタップを表しており、図中垂直方向の軸は、画素内傾斜を表している。また、画素内傾斜により、クラス３６３１、クラス３６３２、およびクラス３６３３の３つのクラスが予め設定されているとする。
【２３６７】
この場合、図３０９で示されるパターンは、クラスタップ３６２１−０はクラス３６３１に、クラスタップ３６２１−１はクラス３６３１に、クラスタップ３６２１−２はクラス３６３３に、クラスタップ３６２１−３はクラス３６３１に、クラスタップ３６２１−４はクラス３６３２に、それぞれ属するパターンを表している。
【２３６８】
このように、５個のクラスタップ３６２１−０乃至３６２１−４のそれぞれは、３つのクラス３６３１乃至３６３３のうちのいずれかに属することになる。従って、この例においては、図３０９で示されるパターンを含めて総計２７３（＝３＾５）個のパターンが存在することになる。
【２３６９】
図３０７に戻り、ステップＳ３５４４において、クラスコード決定部３５５３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、補正係数メモリ３５５４と領域抽出部３５５５のそれぞれに供給する。いまの場合、２７３個のパターンが存在するので、予め設定されているクラスコードの数も２７３個（または、それ以上）となる。
【２３７０】
ステップＳ３５４５において、補正係数メモリ３５５４は、予め学習処理により決定された複数の補正係数（群）の中から、供給されたクラスコードに基づいてこれから使用する補正係数（群）を読み出し、補正演算部３５５６に供給する。補正係数メモリ３５５４に記憶されている補正係数（群）のそれぞれは、予め設定されたクラスコードのうちのいずれかに対応付けられているので、いまの場合、補正係数（群）の数は、予め設定されているクラスコードの数と同数（２７３個以上）となる。
【２３７１】
なお、学習処理については、図３１１のフローチャートを参照して後述する。
【２３７２】
ステップＳ３５４６において、領域抽出部３５５５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、補正演算部３５５６に供給する。
【２３７３】
具体的には、この例においては、例えば、図３１０で示されるような予測タップ（群）３６４１が抽出されるとする。即ち、図３１０は、予測タップ配置の１例を表している。
【２３７４】
図３１０において、図中水平方向は、空間方向の１方向であるＸ方向とされており、図中垂直方向は、空間方向の他方向であるＹ方向とされている。また、注目画素は、画素３６４１−１とされている。即ち、画素３６４１−１は、クラスタップ３６２１−２（図３０８）に対応する画素である。
【２３７５】
この場合、図３１０の例では、注目画素３６４１−１を中心とする５×５の画素群（総計２５個の画素からなる画素群）３６４１が、予測タップ（群）として抽出されることになる。
【２３７６】
勿論、予測タップ配置は、注目画素３６４１−１を含む配置であれば、図３１０の例に限定されず、様々な配置が可能である。
【２３７７】
図３０７に戻り、ステップＳ３５４７において、補正演算部３５５６は、領域抽出部３５５５より供給された予測タップを、補正係数メモリ３５５４より供給された補正係数を用いて演算し、差分予測画像（ＨＤ画像）を生成し、補正画像として加算部３５０３に出力する。
【２３７８】
より詳細には、補正演算部３５５６は、領域抽出部３５５５より供給された予測タップのそれぞれをａ_ｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、補正係数メモリ３５５４より供給された補正係数のそれぞれをｇ_ｉとして、上述した式（２２６）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｕ’を算出し、それを補正画像（ＨＤ画像）を構成する１つの画素として加算部３５０３に出力する。これにより、クラス分類適応処理の補正処理は終了となる。
【２３７９】
次に、図３１１のフローチャートを参照して、学習装置（図２９１）の学習処理、即ち、クラス分類適応処理部３５０１（図２９０）が使用する予測係数と、クラス分類適応処理補正部３５０２（図２９９）が使用する補正係数のそれぞれを学習により生成する学習処理について説明する。
【２３８０】
ステップＳ３５６１において、クラス分類適応処理用学習部３５２１は、クラス分類適応処理部３５０１が使用する予測係数を生成する。
【２３８１】
即ち、クラス分類適応処理用学習部３５２１は、所定の画像を第１の教師画像（ＨＤ画像）として入力し、その第１の教師画像の解像度を下げて第１の生徒画像（ＳＤ画像）を生成する。
【２３８２】
そして、クラス分類適応処理用学習部３５２１は、クラス分類適応処理により第１の生徒画像（ＳＤ画像）から第１の教師画像（ＨＤ画像）を適切に予測することが可能な予測係数を生成し、クラス分類適応処理部３５０１の係数メモリ３５１４（図２９０）に記憶させる。
【２３８３】
なお、以下、このようなクラス分類適応処理用学習部３５２１が実行するステップＳ３５６１の処理を、「クラス分類適応処理用学習処理」と称する。この例の「クラス分類適応処理用学習処理」の詳細については、図３１２のフローチャートを参照して後述する。
【２３８４】
クラス分類適応処理部３５０１が使用する予測係数が生成されると、ステップＳ３５６２において、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理補正部３５０２が使用する補正係数を生成する。
【２３８５】
即ち、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理用学習部３５２１より、第１の教師画像、第１の生徒画像、および学習用予測画像（クラス分類適応処理用学習部３５２１により生成された予測係数を用いて、第１の教師画像を予測した画像）のそれぞれを入力する。
【２３８６】
次に、クラス分類適応処理補正用学習部３５６１は、第２の教師画像として、第１の教師画像と学習用予測画像の差分画像を生成するとともに、第２の生徒画像として、第１の生徒画像から特徴量画像を生成する。
【２３８７】
そして、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理により第２の生徒画像（ＳＤ画像）から第２の教師画像（ＨＤ画像）を適切に予測することが可能な予測係数を生成し、それを補正係数としてクラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶させる。これにより、学習処理は終了となる。
【２３８８】
なお、以下、このようなクラス分類適応処理補正用学習部３５６１が実行するステップＳ３５６２の処理を、「クラス分類適応処理補正用学習処理」と称する。この例の「クラス分類適応処理補正用学習処理」の詳細については、図３１３のフローチャートを参照して後述する。
【２３８９】
次に、図面を参照して、この例における「クラス分類適応処理用学習処理（ステップＳ３５６１の処理）」、および、「クラス分類適応処理補正用学習処理（ステップＳ３５６２の処理）」のそれぞれの詳細について、その順番で個別に説明する。
【２３９０】
はじめに、図３１２のフローチャートを参照して、クラス分類適応処理用学習部３５２１（図２９２）が実行する「クラス分類適応処理用学習処理」の詳細について説明する。
【２３９１】
ステップＳ３５８１において、ダウンコンバート部３５３１と正規方程式生成部３５３６のそれぞれは、供給された所定の画像を、第１の教師画像（ＨＤ画像）として入力する。なお、第１の教師画像は、上述したように、クラス分類適応処理補正用学習部３５６１にも入力される。
【２３９２】
ステップＳ３５８２において、ダウンコンバート部３５３１は、入力された第１の教師画像をダウンコンバートして（解像度を落として）第１の生徒画像（ＳＤ画像）を生成し、領域抽出部３５３２と領域抽出部３５３５のそれぞれに供給するとともに、クラス分類適応処理補正用学習部３５６１にも出力する。
【２３９３】
ステップＳ３５８３において、領域抽出部３５３２は、供給された第１の生徒画像からクラスタップを抽出してパターン検出部３５３３に出力する。なお、ステップＳ３５８３の処理は、ブロックに入力される情報と、ブロックから出力される情報は厳密には違う情報であるが（以下、このような違いを、単に、入出力の違いと称する）、上述したステップＳ３５２２（図３０６）の処理と基本的に同様の処理である。
【２３９４】
ステップＳ３５８４において、パターン検出部３５３３は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部３５３４に供給する。なお、ステップＳ３５８４の処理は、入出力の違いはあるが、上述したステップＳ３５２３（図３０６）の処理と基本的に同様の処理である。
【２３９５】
ステップＳ３５８５において、クラスコード決定部３５３４は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部３５３５と正規方程式生成部３５３６のそれぞれに供給する。なお、ステップＳ３５８５の処理は、入出力の違いはあるが、上述したステップＳ３５２４（図３０６）の処理と基本的に同様の処理である。
【２３９６】
ステップＳ３５８６において、領域抽出部３５３５は、供給されたクラスコードに対応して、第１の生徒画像の中から予測タップを抽出し、正規方程式生成部３５３６と予測演算部３５３８のそれぞれに供給する。なお、ステップＳ３５８６の処理は、入出力の違いはあるが、上述したステップＳ３５２６（図３０６）の処理と基本的に同様の処理である。
【２３９７】
ステップＳ３５８７において、正規方程式生成部３５３６は、領域抽出部３５３５より供給された予測タップ（ＳＤ画素）、および、第１の教師画像（ＨＤ画像）を構成するＨＤ画素のうちの所定のＨＤ画素から、上述した式（２２０）（即ち、式（２２１））で示される正規方程式を生成し、クラスコード決定部３５３４より供給されたクラスコードとともに係数決定部３５３７に供給する。
【２３９８】
ステップＳ３５８８において、係数決定部３５３７は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（２２５）の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ３５１４に記憶させるとともに、予測演算部３５３８に供給する。
【２３９９】
ステップＳ３５８９において、予測演算部３５３８は、領域抽出部３５３５より供給された予測タップを、係数決定部３５３７より供給された予測係数を用いて演算し、学習用予測画像（ＨＤ画素）を生成する。
【２４００】
具体的には、予測演算部３５３８は、領域抽出部３５３５より供給された予測タップのそれぞれをｃ_ｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数決定部３５３７より供給された予測係数のそれぞれをｄ_ｉとして、上述した式（２１８）の右辺を演算することにより、第１の教師画像の所定のＨＤ画素ｑを予測したＨＤ画素ｑ’を算出し、たＨＤ画素ｑ’を学習用予測画像の１つの画素とする。
【２４０１】
ステップＳ３５９０において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ３５８３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ３５８３乃至Ｓ３５９０の処理が繰り返される。
【２４０２】
そして、ステップＳ３５９０において、全ての画素について処理が施されたと判定された場合、ステップＳ３５９１において、予測演算部３５３８は、学習予測画像（ステップＳ３５８９の処理毎に生成された各ＨＤ画素ｑ’から構成されるＨＤ画像）を、クラス分類適応処理補正用学習部３５６１に出力する。これにより、クラス分類適応処理用学習処理は終了となる。
【２４０３】
このように、この例においては、全ての画素の処理が終了された後、第１の教師画像を予測したＨＤ画像である学習用予測画像がクラス分類適応処理補正用学習部３５６１に出力される。即ち、全てのＨＤ画素（予測画素）が一括して出力される。
【２４０４】
しかしながら、全ての画素が一括して出力されることは必須ではなく、ステップＳ３５８９の処理でＨＤ画素（予測画素）が生成される毎に、クラス分類適応処理補正用学習部３５６１に出力されてもよい。この場合、ステップＳ３５９１の処理は省略される。
【２４０５】
次に、図３１３のフローチャートを参照して、クラス分類適応処理補正用学習部３５６１（図３００）が実行する「クラス分類適応処理補正用学習処理」の詳細について説明する。
【２４０６】
クラス分類適応処理用学習部３５２１より第１の教師画像（ＨＤ画像）と学習用予測画像（ＨＤ画像）が入力されると、ステップＳ３６０１において、加算部３５７１は、第１の教師画像から学習用予測画像を減算し、差分画像（ＨＤ画像）を生成し、それを第２の教師画像として正規方程式生成部３５７８に供給する。
【２４０７】
また、クラス分類適応処理用学習部３５２１より第１の生徒画像（ＳＤ画像）が入力されると、ステップＳ３６０２において、データ定常性検出部３５７２と実世界推定部３５７３は、入力された第１の生徒画像（ＳＤ画像）から特徴量画像を生成し、それを第２の生徒画像として領域抽出部３５７４と領域抽出部３５７７のそれぞれに供給する。
【２４０８】
即ち、データ定常性検出部３５７２は、第１の生徒画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部３５７３に出力する。なお、ステップＳ３６０２のデータ定常性検出部３５７２の処理は、入出力の違いはあるが、上述した図４０のステップＳ１０１の処理と基本的に同様の処理である。
【２４０９】
実世界推定部３５７３は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、ＳＤ画像である特徴量画像）を生成し、それを第２の生徒画像として領域抽出部３５７４と領域抽出部３５７７のそれぞれに供給する。なお、ステップＳ３６０２の実世界推定部３５７３の処理は、入出力の違いはあるが、上述した図４０のステップＳ１０２の処理と基本的に同様の処理である。
【２４１０】
また、ステップＳ３６０１とＳ３６０２の処理の順番は、図３１３の例に限定されない。即ち、ステップＳ３６０２の処理が先に実行されてもよいし、ステップＳ３６０１とＳ３６０２の処理が同時に実行されてもよい。
【２４１１】
ステップＳ３６０３において、領域抽出部３５７４は、供給された第２の生徒画像（特徴量画像）からクラスタップを抽出してパターン検出部３５７５に出力する。なお、ステップＳ３６０３の処理は、入出力の違いはあるが、上述したステップＳ３５４２（図３０７）の処理と基本的に同様の処理である。即ち、いまの場合、図３０８で示される配置の画素群３６２１がクラスタップとして抽出される。
【２４１２】
ステップＳ３６０４において、パターン検出部３５７５は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部３５７６に供給する。なお、ステップＳ３６０４の処理は、入出力の違いはあるが、上述したステップＳ３５４３（図３０７）の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも２７３個のパターンが検出されることになる。
【２４１３】
ステップＳ３６０５において、クラスコード決定部３５７６は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部３５７７と正規方程式生成部３５７８のそれぞれに供給する。なお、ステップＳ３６０５の処理は、入出力の違いはあるが、上述したステップＳ３５４４（図３０７）の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも２７３個のクラスコードが決定されることになる。
【２４１４】
ステップＳ３６０６において、領域抽出部３５７７は、供給されたクラスコードに対応して、第２の生徒画像（特徴量画像）の中から予測タップを抽出し、正規方程式生成部３５７８に供給する。なお、ステップＳ３６０６の処理は、入出力の違いはあるが、上述したステップＳ３５４６（図３０７）の処理と基本的に同様の処理である。即ち、いまの場合、図３１０で示される配置の画素群３６４１が予測タップとして抽出される。
【２４１５】
ステップＳ３６０７において、正規方程式生成部３５７８は、領域抽出部３５７７より供給された予測タップ（ＳＤ画素）、および、第２の教師画像（ＨＤ画像である、第１の教師画像と学習用予測画像の差分画像）を構成するＨＤ画素のうちの所定のＨＤ画素から、上述した式（２２９）（即ち、式（２３０））で示される正規方程式を生成し、クラスコード決定部３５７６より供給されたクラスコードとともに補正係数決定部３５７９に供給する。
【２４１６】
ステップＳ３６０８において、補正係数決定部３５７９は、供給された正規方程式を解いて補正係数を決定し、即ち、上述した式（２３４）の右辺を演算することで補正係数を算出し、供給されたクラスコードに対応付けて補正係数メモリ３５５４に記憶させる。
【２４１７】
ステップＳ３６０９において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ３６０３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ３６０３乃至Ｓ３６０９の処理が繰り返される。
【２４１８】
そして、ステップＳ３６０９において、全ての画素について処理が施されたと判定された場合、クラス分類適応処理補正用学習処理は終了となる。
【２４１９】
以上、説明したように、クラス分類適応補正処理手法においては、クラス分類適応処理部３５０１より出力された予測画像に対して、クラス分類適応処理補正部３５０２より出力された補正画像（差分予測画像）が加算されて出力される。
【２４２０】
例えば、上述した図２９３で示されるＨＤ画像３５４１の解像度を落とした画像であるＳＤ画像３５４２が入力画像とされた場合、クラス分類適応処理部３５０１からは、図３１４で示される予測画像３５４３が出力される。そして、この予測画像３５４３に、クラス分類適応処理補正部３５０２より出力された補正画像（図示せず）が加算されると（補正画像により補正されると）、図２９４で示される出力画像３６５１となる。
【２４２１】
出力画像３６５１、予測画像３５４３、および、元の画像であるＨＤ画像３５４１（図２９３）のそれぞれを比較するに、出力画像３６５１は、予測画像３５４３よりもＨＤ画像３５４１により近い画像になっていることがわかる。
【２４２２】
このように、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の信号）により近い画像の出力が可能になる。
【２４２３】
換言すると、クラス分類適応処理補正手法においては、例えば、図２８９のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ（例えば、図２８９のセンサ２）の複数の検出素子により図２８９の実世界１の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像（図２８９）におけるデータの定常性を検出する。
【２４２４】
例えば、図２８９の実世界推定部１０２は、検出されたデータの定常性に対応して、実世界１の光信号を表す光信号関数Ｆ（ｘ）（図２９８）が有する実世界特徴（例えば、図２８９の特徴量画像を構成する画素に対応する特徴量）を検出することで、実世界１の光信号を推定する。
【２４２５】
詳細には、例えば、実世界推定部１０２は、出されたデータの定常性に対応する線（例えば、図３０３の線３６０４）からの少なくとも１次元方向に沿った距離（例えば、図３０３の断面方向距離Ｘｎ’）に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆ（ｘ）を、例えば、図３０１の近似関数ｆ_５（ｘ）で近似し、所定画素（例えば、図３０３の画素３６０３）内における近似関数ｆ５（ｘ）の傾斜である画素内傾斜（例えば、上述した式（２３４）のｇｒａｄであり、式（２３６）のｘの係数ｗ１‘）を、実世界特徴として検出することで、実世界１の光信号を推定する。
【２４２６】
そして、例えば、図２８９の画像生成部１０３が、実世界推定手段により検出された実世界特徴に基いて、入力画像よりも高質な出力画像（図２８９）を予測し生成する。
【２４２７】
詳細には、例えば、画像生成部１０３において、例えば、図２８９のクラス分類適応処理部３５０１が、出力画像における注目画素の周辺に位置する、実世界１の光信号の定常性が欠落した入力画像内の複数の画素の画素値から注目画素の画素値（例えば、図２８９の予測画像の画素であり、上述した式（２２４）のｑ’）を予測する。
【２４２８】
一方、例えば、図２８９のクラス分類適応処理補正部３５０２は、例えば、図２８９の実世界推定部１０２より供給された特徴量画像（実世界推定情報）から、クラス分類適応処理部３５０１により予測された予測画像の注目画素の画素値を補正する補正項（例えば、図２８９の補正画像（差分予測画像）の画素であり、式（２２７）のｕ‘）を予測する。
【２４２９】
そして、例えば、図２８９の加算部３５０３は、クラス分類適応処理部３５０１により予測された予測画像の注目画素の画素値を、クラス分類適応処理部３５０１により予測された補正項で補正する（例えば、式（２２４）のように演算する）。
【２４３０】
また、クラス分類適応処理補正手法においては、例えば、図２９０の係数メモリ３５１４に記憶される予測係数を学習により決定する図２９１のクラス分類適応処理学習部３５２１と、例えば、図２９９の補正係数メモリ３５５４に記憶される補正係数を学習により決定する図２９１のクラス分類適応処理補正用学習部３５６１を有する図２９１の学習装置３５０４が設けられている。
【２４３１】
詳細には、例えば、図２９２のクラス分類適応処理学習部３５２１には、学習用画像データをダウンコンバートするダウンコンバート部３５３１、並びに、学習用画像データを第１の教師画像とし、ダウンコンバート部３５３１によりダウンコンバートされた学習用画像データを第１の生徒画像とし、第１の教師画像と第１の生徒画像の関係を学習することにより、予測係数を生成する係数決定部３５３７、および、領域抽出部３５３２乃至正規方程式生成部３５３６が設けられている。
【２４３２】
クラス分類適応処理学習部３５２１にはさらに、例えば、係数決定部３５３７により生成（決定）された予測係数を使用して、第１の生徒画像から第１の教師画像を予測する画像データとして、学習用予測画像を生成する予測演算部３５３８が設けられている。
【２４３３】
また、例えば、図３００のクラス分類適応処理補正用学習部３５６１には、第１の生徒画像におけるデータの定常性を検出し、検出したデータの定常性に基づいて、第１の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする特徴量画像（具体的には、例えば、図３０２の特徴量画像３５９１）を、第２の生徒画像（例えば、図３００の第２の生徒画像）として生成するデータ定常性検出部３５７２および実世界推定部３５７３、第１の教師画像と、学習用予測画像の差分からなる画像データ（差分画像）を、第２教師画像として生成する加算部３５７１、並びに、第２の教師画像と、第２の生徒画像の関係を学習することにより、補正係数を生成する補正係数決定部３５７９、および領域抽出部３５７４乃至正規方程式生成部３５７８が設けられている。
【２４３４】
従って、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の信号）により近い画像の出力が可能になる。
【２４３５】
なお、クラス分類適応処理は、上述したように、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、上述した式（２１８）や式（２２６）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、クラス分類適応処理では、その補間フィルタの係数に相当する予測係数ｄ_ｉまたは補足係数ｇ_ｉが、教師データと生徒データ（第１の教師画像と第１の生徒画像、または、第２の教師画像と第２の生徒画像）を用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。
【２４３６】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、Ｓ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ） の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【２４３７】
即ち、例えば、Ｓ／Ｎの向上やぼけの改善を、クラス分類適応処理によって行うには、Ｓ／Ｎの高い画像データを教師データとするとともに、その教師データのＳ／Ｎを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。
【２４３８】
以上、本発明の実施の形態として、図３の構成の信号処理装置について説明したが、本発明の実施の形態は、図３の例に限定されず、様々な形態を取ることが可能である。即ち、図１の信号処理装置４の実施の形態は、図３の例に限定されず、様々な形態を取ることが可能である。
【２４３９】
例えば、図３の構成の信号処理装置は、画像である、実世界１の信号が有する定常性に基づいて信号処理を行う。このため、図３の構成の信号処理装置は、実世界１の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界１の信号に近い画像データを出力することが可能になる。
【２４４０】
しかしながら、図３の構成の信号処理装置は、定常性に基づいて信号処理を実行する以上、実世界１の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界１の信号に対して誤差を含む画像データを出力することになる。
【２４４１】
そこで、図３の構成の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）を付加することができる。この場合、実世界１の信号のうちの定常性が存在する部分については、図３の構成の信号処理装置が信号処理を実行し、実世界１の信号のうちの明確な定常性が存在しない部分については、付加した他の装置（または、プログラム等）が信号処理を実行することになる。なお、以下、このような実施形態を併用手法と称する。
【２４４２】
以下、図３１５乃至図３２８を参照して、具体的な５つの併用手法（以下、それぞれの併用手法を、第１乃至第５の併用手法と称する）について説明する。
【２４４３】
なお、各併用手法が適用される信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、後述する図３１５乃至図３１７、図３２１、図３２３、図３２５、および図３２７のそれぞれのブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【２４４４】
図３１５は、第１の併用手法が適用される信号処理装置の構成例を表している。
【２４４５】
図３１５の信号処理装置においては、データ３（図１）の一例である画像データが入力され、入力された画像データ（入力画像）に基づいて、後述する画像処理が施されて画像が生成され、生成された画像（出力画像）が出力される。即ち、図３１５は、画像処理装置である信号処理装置４（図１）の構成を示す図である。
【２４４６】
信号処理装置４に入力された入力画像（データ３の一例である画像データ）は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０４のそれぞれに供給される。
【２４４７】
データ定常性検出部４１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部４１０２および画像生成部４１０３に供給する。
【２４４８】
このように、データ定常性検出部４１０１は、図３のデータ定常性検出部１０１と基本的に同様の構成と機能を有するものである。従って、データ定常性検出部４１０１は、上述した様々な実施の形態を取ることが可能である。
【２４４９】
ただし、データ定常性検出部４１０１はさらに、注目画素の領域を特定するための情報（以下、領域特定情報と称する）を生成し、領域検出部４１１１に供給する。
【２４５０】
この領域特定情報は、特に限定されず、データ定常性情報が生成された後に新たに生成された情報でもよいし、データ定常性情報が生成される場合に付帯して生成される情報でもよい。
【２４５１】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。即ち、例えば、データ定常性検出部４１０１が、データ定常性情報として角度を算出し、かつ、その角度を最小自乗法により演算する場合、最小自乗法の演算で推定誤差が付帯的に算出される。この推定誤差が、領域特定情報として使用可能である。
【２４５２】
実世界推定部４１０２は、入力画像、およびデータ定常性検出部４１０１から供給されたデータ定常性情報に基づいて、実世界１（図１）の信号を推定する。即ち、実世界推定部４１０２は、入力画像が取得されたときセンサ２（図１）に入射された、実世界１の信号である画像を推定する。実世界推定部４１０２は、実世界１の信号の推定の結果を示す実世界推定情報を画像生成部４１０３に供給する。
【２４５３】
このように、実世界推定部４１０２は、図３の実世界推定部１０２と基本的に同様の構成と機能を有するものである。従って、実世界推定部４１０２は、上述した様々な実施の形態を取ることが可能である。
【２４５４】
画像生成部４１０３は、実世界推定部４１０２から供給された、推定された実世界１の信号を示す実世界推定情報に基づいて、実世界１の信号により近似した信号を生成して、生成した信号をセレクタ４１１２に供給する。または、画像生成部４１０３は、データ定常性検出部４１０１から供給されたデータ定常性情報、および実世界推定部４１０２から供給された、推定された実世界１の信号を示す実世界推定情報に基づいて、実世界１の信号により近似した信号を生成して、生成した信号をセレクタ４１１２に供給する。
【２４５５】
即ち、画像生成部４１０３は、実世界推定情報に基づいて、実世界１の画像により近似した画像を生成し、セレクタ４１１２に供給する。または、画像生成部４１０３は、データ定常性情報、および実世界推定情報に基づいて、実世界１の画像により近似した画像を生成し、セレクタ４１１２に供給する。
【２４５６】
このように、画像生成部４１０３は、図３の画像生成部１０３と基本的に同様の構成と機能を有するものである。従って、画像生成部４１０３は、上述した様々な実施の形態を取ることが可能である。
【２４５７】
画像生成部４１０４は、入力画像に対して所定の画像処理を施して、画像を生成し、セレクタ４１１２に供給する。
【２４５８】
なお、画像生成部４１０４が実行する画像処理は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３が実行する画像処理とは異なる画像処理であれば、特に限定されない。
【２４５９】
例えば、画像生成部４１０４は、従来のクラス分類適応処理を行うことができる。このクラス分類適応処理を実行する画像生成部４１０４の構成例が、図３１６に示されている。なお、図３１６の説明、即ち、クラス分類適応処理を実行する画像生成部４１０４の詳細の説明については後述する。また、クラス分類適応処理についても、図３１６の説明をするときに併せて説明する。
【２４６０】
定常領域検出部４１０５には、領域検出部４１１１、およびセレクタ４１１２が設けられている。
【２４６１】
領域検出部４１１１は、データ定常性検出部４１０１より供給された領域特定情報に基づいて、セレクタ４１１２に供給された画像（注目画素）が、定常領域であるか、或いは非定常領域であるかを検出し、その検出結果をセレクタ４１１２に供給する。
【２４６２】
なお、領域検出部４１１１が実行する領域検出の処理は、特に限定されず、例えば、上述した推定誤差が領域特定情報として供給される場合、領域検出部４１１１は、供給された推定誤差が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給された推定誤差が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【２４６３】
セレクタ４１１２は、領域検出部４１１１より供給された検出結果に基づいて、画像生成部４１０３より供給された画像、または、画像生成部４１０４より供給された画像のうちのいずれか一方を選択し、選択した画像を出力画像として外部に出力する。
【２４６４】
即ち、領域検出部４１１１により注目画素が定常領域であると検出された場合、セレクタ４１１２は、画像生成部４１０３より供給された画像（入力画像の注目画素における、画像生成部４１０３により生成された画素）を出力画像として選択する。
【２４６５】
これに対して、領域検出部４１１１により注目画素が非定常領域であると検出された場合、セレクタ４１１２は、画像生成部４１０４より供給された画像（入力画像の注目画素における、画像生成部４１０４により生成された画素）を出力画像として選択する。
【２４６６】
なお、外部の出力先に応じて、セレクタ４１１２は、画素単位で、出力画像を出力する（選択した画素毎に出力する）こともできるし、全ての画素の処理が終了するまで処理済みの画素を格納しておき、全ての画素の処理が終了したとき、全ての画素を一括して（出力画像全体を１単位として）出力することもできる。
【２４６７】
次に、図３１６を参照して、画像処理の１例であるクラス分類適応処理を実行する画像生成部４１０４の詳細について説明する。
【２４６８】
図３１６において、画像生成部４１０４が実行するクラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【２４６９】
なお、以下の説明においても、標準解像度の画像を、適宜、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像と称するとともに、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称することにする。
【２４７０】
また、以下の説明においても、高解像度の画像を、適宜、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像と称するとともに、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称することにする。
【２４７１】
具体的には、画像生成部４１０４が実行するクラス分類適応処理とは、次のようなものである。
【２４７２】
即ち、はじめに、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるために、注目画素を含めた、その付近に配置されるＳＤ画素（以下の説明においても、このようなＳＤ画素を、クラスタップと称することにする）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する（クラスタップ群のクラスコードを特定する）。
【２４７３】
そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の１つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のＳＤ画素（以下の説明においても、このような入力画像のＳＤ画素を、予測タップと称することにする。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるものである。
【２４７４】
より詳細には、図１において、画像である、実世界１の信号（光の強度の分布）がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２４７５】
図３１６において、この入力画像（ＳＤ画像）は、画像生成部４１０４のうちの領域抽出部４１２１と領域抽出部４１２５にそれぞれ供給される。領域抽出部４１２５は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（ＳＤ画素）を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部４１２２に出力する。パターン検出部４１２２は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【２４７６】
クラスコード決定部４１２３は、パターン検出部４１２２で検出されたパターンに基づいてクラスコードを決定し、係数メモリ４１２４、および、領域抽出部４１２５に出力する。係数メモリ４１２４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部４１２３より入力されたクラスコードに対応する係数を読み出し、予測演算部４１２６に出力する。
【２４７７】
なお、係数メモリ４１２４の係数の学習処理については、図３１７の学習装置のブロック図を参照して後述する。
【２４７８】
また、係数メモリ４１２４に記憶される係数は、後述するように、予測画像（ＨＤ画像）を生成するときに使用される係数である。従って、以下、係数メモリ４１２４に記憶される係数を予測係数と称する。
【２４７９】
領域抽出部４１２５は、クラスコード決定部４１２３より入力されたクラスコードに基づいて、センサ２より入力された入力画像（ＳＤ画像）から、予測画像（ＨＤ画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、予測演算部４１２６に出力する。
【２４８０】
予測演算部４１２６は、領域抽出部４１２５より入力された予測タップと、係数メモリ４１２４より入力された予測係数とを用いて積和演算を実行し、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を生成し、セレクタ４１１２に出力する。
【２４８１】
より詳細には、係数メモリ４１２４は、クラスコード決定部４１２３より供給されるクラスコードに対応する予測係数を、予測演算部４１２６に出力する。予測演算部４１２６は、領域抽出部４１２５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ４１２４より供給された予測係数とを用いて、次の式（２４０）で示される積和演算を実行することにより、予測画像（ＨＤ画像）のＨＤ画素を求める（予測推定する）。
【２４８２】
【数１９０】

【２４８３】
式（２４０）において、ｑ’は、予測画像（ＨＤ画像）のＨＤ画素を表している。ｃ_ｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｄ _ｉのそれぞれは、予測係数のそれぞれを表している。
【２４８４】
このように、画像生成部４１０４は、ＳＤ画像（入力画像）から、それに対するＨＤ画像を予測推定するので、ここでは、画像生成部４１０４から出力されるＨＤ画像を、予測画像と称している。
【２４８５】
図３１７は、このような画像生成部４１０４の係数メモリ４１２４に記憶される予測係数（式（２３７）におけるｄ _ｉ）を決定するための学習装置（予測係数の算出装置）を表している。
【２４８６】
図３１７において、所定の画像が、教師画像（ＨＤ画像）としてダウンコンバート部４１４１と正規方程式生成部４１４６のそれぞれに入力される。
【２４８７】
ダウンコンバート部４１４６は、入力された教師画像（ＨＤ画像）から、教師画像よりも解像度の低い生徒画像（ＳＤ画像）を生成し（教師画像をダウンコンバートしたものを生徒画像とし）、領域抽出部４１４２と領域抽出部４１４５のそれぞれに出力する。
【２４８８】
このように、学習装置４１３１には、ダウンコンバート部４１４１が設けられているので、教師画像（ＨＤ画像）は、センサ２（図１）からの入力画像よりも高解像度の画像である必要は無い。なぜならば、教師画像がダウンコンバートされた（解像度が下げられた）生徒画像をＳＤ画像とすれば、生徒画像に対する教師画像がＨＤ画像になるからである。従って、教師画像は、例えば、センサ２からの入力画像そのものとされてもよい。
【２４８９】
領域抽出部４１４２は、ダウンコンバート部４１４１より供給された生徒画像（ＳＤ画像）から、クラス分類を行うために必要なクラスタップ（ＳＤ画素）を抽出し、パターン検出部４１４３に出力する。パターン検出部４１４３は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部４１４４に出力する。クラスコード決定部４１４４は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部４１４５、および、正規方程式生成部４１４６のそれぞれに出力する。
【２４９０】
領域抽出部４１４５は、クラスコード決定部４１４４より入力されたクラスコードに基づいて、ダウンコンバート部４１４１より入力された生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部４１４６に出力する。
【２４９１】
なお、以上の領域抽出部４１４２、パターン検出部４１４３、クラスコード決定部４１４４、および領域抽出部４１４５のそれぞれは、図３１６の画像生成部４１０４の領域抽出部４１２１、パターン検出部４１２２、クラスコード決定部４１２３、および、領域抽出部４１２５のそれぞれと、基本的に同様の構成と機能を有するものである。
【２４９２】
正規方程式生成部４１４６は、クラスコード決定部４１４４より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部４１４５より入力される生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、係数決定部４１４７に供給する。
【２４９３】
係数決定部４１４７は、正規方程式生成部４１４６より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ４１２４にクラスコードと関連付けて記憶させる。
【２４９４】
正規方程式生成部４１４６と、係数決定部４１４７についてさらに詳しく説明する。
【２４９５】
上述した式（２４０）において、学習前は予測係数ｄ_ｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｑ_ｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２４０）から、次の式（２４１）が設定される。
【２４９６】
【数１９１】

【２４９７】
即ち、式（２４１）は、右辺の演算をすることで、所定のＨＤ画素ｑ_ｋを予測推定することができることを表している。なお、式（２４１）において、ｅ_ｋは、誤差を表している。即ち、右辺の演算結果である予測画像（ＨＤ画像）のＨＤ画素ｑ_ｋ’が、実際のＨＤ画素ｑ_ｋと厳密には一致せず、所定の誤差ｅ_ｋを含む。
【２４９８】
そこで、式（２４１）において、誤差ｅ_ｋの自乗和を最小にする予測係数ｄ_ｉが学習により求まれば、その予測係数ｄ_ｉは、実際のＨＤ画素ｑ_ｋを予測するのに最適な係数であると言える。
【２４９９】
従って、例えば、学習により集められたｍ個（ただし、ｍは、ｎより大きい整数）のＨＤ画素ｑ_ｋを用いて、最小自乗法により最適な予測係数ｄ_ｉを一意に決定することができる。
【２５００】
即ち、式（２４１）の右辺の予測係数ｄ_ｉを最小自乗法で求める場合の正規方程式は、次の式（２４２）で表される。
【２５０１】
【数１９２】

【２５０２】
従って、式（２４２）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄ_ｉが一意に決定されることになる。
【２５０３】
具体的には、式（２４２）で示される正規方程式の各行列のそれぞれを、次の式（２４３）乃至（２４５）のように定義すると、正規方程式は、次の式（２４６）のように表される。
【２５０４】
【数１９３】

【２５０５】
【数１９４】

【２５０６】
【数１９５】

【２５０７】
【数１９６】

【２５０８】
式（２４４）で示されるように、行列Ｄ_ＭＡＴの各成分は、求めたい予測係数ｄ_ｉである。従って、式（２４６）において、左辺の行列Ｃ_ＭＡＴと右辺の行列Ｑ_ＭＡＴが決定されれば、行列解法によって行列Ｄ_ＭＡＴ（即ち、予測係数ｄ_ｉ）の算出が可能である。
【２５０９】
より具体的には、式（２４３）で示されるように、行列Ｃ_ＭＡＴの各成分は、予測タップｃ_ｉｋが既知であれば演算可能である。予測タップｃ_ｉｋは、領域抽出部４１４５により抽出されるので、正規方程式生成部４１４６は、領域抽出部４１４５より供給されてくる予測タップｃ_ｉｋのそれぞれを利用して行列Ｃ_ＭＡＴの各成分を演算することができる。
【２５１０】
また、式（２４５）で示されるように、行列Ｑ_ＭＡＴの各成分は、予測タップｃ_ｉｋとＨＤ画素ｑ_ｋが既知であれば演算可能である。予測タップｃ_ｉｋは、行列Ｃ_ＭＡＴの各成分に含まれるものと同一のものであり、また、ＨＤ画素ｑ_ｋは、予測タップｃ_ｉｋに含まれる注目画素（生徒画像のＳＤ画素）に対する教師画像のＨＤ画素である。従って、正規方程式生成部４１４６は、領域抽出部４１４５より供給された予測タップｃ_ｉｋと、教師画像を利用して行列Ｑ_ＭＡＴの各成分を演算することができる。
【２５１１】
このようにして、正規方程式生成部４１４６は、クラスコード毎に、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部４１４７に供給する。
【２５１２】
係数決定部４１４７は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２４６）の行列Ｄ_ＭＡＴの各成分である予測係数ｄ_ｉを演算する。
【２５１３】
具体的には、上述した式（２４６）の正規方程式は、次の式（２４７）のように変形できる。
【２５１４】
【数１９７】

【２５１５】
式（２４７）において、左辺の行列Ｄ_ＭＡＴの各成分が、求めたい予測係数ｄ_ｉである。また、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分は、正規方程式生成部４１４６より供給されるものである。従って、係数決定部４１４７は、正規方程式生成部４１４６より所定のクラスコードに対応する行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分が供給されてきたとき、式（２４７）の右辺の行列演算を行うことで行列Ｄ_ＭＡＴを演算し、その演算結果（予測係数ｄ_ｉ）をクラスコードに対応付けて係数メモリ４１２４に記憶させる。
【２５１６】
なお、クラス分類適応処理は、上述したように、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、上述した式（２４０）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタの係数に相当する予測係数ｄ_ｉが、教師データと生徒データを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。
【２５１７】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、Ｓ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ） の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【２５１８】
即ち、例えば、Ｓ／Ｎの向上やぼけの改善を、クラス分類適応処理によって行うには、Ｓ／Ｎの高い画像データを教師データとするとともに、その教師データのＳ／Ｎを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。
【２５１９】
以上、クラス分類適応処理を実行する画像生成部４１０４と、その学習装置４１３１のそれぞれの構成について説明した。
【２５２０】
なお、上述したように、画像生成部４１０４は、クラス分類適応処理以外の画像処理を実行する構成とすることも可能であるが、説明の簡略上、以下の説明においては、画像生成部４１０４の構成は、上述した図３１６の構成とされる。即ち、以下、画像生成部４１０４は、クラス分類適応処理を実行することで、入力画像より空間解像度の高い画像を生成し、セレクタ４１１２に供給するとする。
【２５２１】
次に、図３１８を参照して、第１の併用手法が適用される信号処理装置（図３１５）の信号の処理について説明する。
【２５２２】
なお、ここでは、データ定常性検出部４１０１は、角度（画像である、実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２５２３】
データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。
【２５２４】
図１において、画像である、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２５２５】
図３１５において、この入力画像は、データ定常性検出部４１０１、および実世界推定部４１０２に入力されるとともに、画像生成部４１０４に入力される。
【２５２６】
そこで、図３１８のステップＳ４１０１において、画像生成部４１０４は、入力画像（ＳＤ画像）の所定のＳＤ画素を注目画素として、上述したクラス分類適応処理を実行し、予測画像（ＨＤ画像）のＨＤ画素（注目画素におけるＨＤ画素）を生成し、セレクタ４１１２に供給する。
【２５２７】
なお、以下、画像生成部４１０４より出力される画素と、画像生成部４１０３より出力される画素のそれぞれを区別する場合、画像生成部４１０４より出力される画素を第１の画素と称し、画像生成部４１０３より出力される画素を第２の画素と称する。
【２５２８】
また、以下、このような画像生成部４１０４が実行する処理（いまの場合、ステップＳ４１０１の処理）を、「クラス分類適応処理の実行処理」と称する。この例の「クラス分類適応処理の実行処理」の詳細については、図３１９のフローチャートを参照して後述する。
【２５２９】
一方、ステップＳ４１０２において、データ定常性検出部４１０１は、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部４１１１に供給される。
【２５３０】
ステップＳ４１０３において、実世界推定部４１０２は、データ定常性検出部４１０１により検出された角度と、入力画像に基づいて、実世界１の信号を推定する。
【２５３１】
なお、上述したように、実世界推定部４１０２が実行する推定の処理は、特に限定されず、上述した様々な手法を利用することができる。ここでは、例えば、実世界推定部４１０２は、実世界１の信号を表す関数Ｆ（以下の説明においても、関数Ｆを光信号関数Ｆと称することにする）を、所定の関数ｆ（以下の説明においても、関数ｆを近似関数ｆと称することにする）で近似することで、実世界１の信号（光信号関数Ｆ）を推定するとする。
【２５３２】
また、ここでは、例えば、実世界推定部４１０２は、近似関数ｆの特徴量（係数）を、実世界推定情報として画像生成部４１０３に供給するとする。
【２５３３】
ステップＳ４１０４において、画像生成部４１０３は、実世界推定部４１０２により推定された実世界１の信号に基づいて、画像生成部４１０４のクラス分類適応処理により生成された第１の画素（ＨＤ画素）に対応する第２の画素（ＨＤ画素）を生成し、セレクタ４１１２に供給する。
【２５３４】
いまの場合、実世界推定部４１０２より近似関数ｆの特徴量（係数）が供給されてくるので、画像生成部４１０３は、例えば、供給された近似関数ｆの特徴量に基づいて、近似関数ｆを所定の積分範囲で積分することで、第２の画素（ＨＤ画素）を生成する。
【２５３５】
ただし、積分範囲は、画像生成部４１０４より出力される第１の画素（ＨＤ画素）と同一の大きさ（同一の解像度）の第２の画素が生成可能な範囲とされる。即ち、空間方向においては、積分範囲は、これから生成される第２の画素の画素幅となる。
【２５３６】
なお、ステップＳ４１０１の「クラス分類適応処理の実行処理」と、ステップＳ４１０２乃至Ｓ４１０４の一連の処理の順番は、図３１８の例に限定されず、ステップＳ４１０２乃至Ｓ４１０４の一連の処理が先に実行されても構わないし、ステップＳ４１０１の「クラス分類適応処理の実行処理」と、ステップＳ４１０２乃至Ｓ４１０４の一連の処理が同時に実行されても構わない。
【２５３７】
ステップＳ４１０５において、領域検出部４１１１は、ステップＳ４１０２の処理でデータ定常性検出部４１０１により演算された推定誤差（領域特定情報）に基づいて、ステップＳ４１０４の処理で画像生成部４１０３により生成された第２の画素（ＨＤ画素）の領域を検出する。
【２５３８】
即ち、第２の画素は、データ定常性検出部４１０１が注目画素として使用した入力画像のＳＤ画素におけるＨＤ画素である。従って、注目画素（入力画像のＳＤ画素）と第２の画素（ＨＤ画素）の領域の種類（定常領域、または非定常領域）は同一である。
【２５３９】
また、データ定常性検出部４１０１が出力する領域特定情報は、注目画素における角度が最小自乗法により算出された場合の推定誤差である。
【２５４０】
そこで、領域検出部４１１１は、データ定常性検出部４１０１より供給された注目画素（入力画像のＳＤ画素）に対する推定誤差と、予め設定された閾値を比較し、その比較の結果が、推定誤差が閾値よりも小さい場合、第２の画素は定常領域であると検出し、一方、推定誤差が閾値以上である場合、第２の画素は非定常領域であると検出する。そして、検出結果は、セレクタ４１１２に供給される。
【２５４１】
この領域検出部４１１１の検出結果がセレクタ４１１２に供給されると、ステップＳ４１０６において、セレクタ４１１２は、検出された領域が、定常領域であるか否かを判定する。
【２５４２】
ステップＳ４１０６において、検出された領域が、定常領域であると判定した場合、セレクタ４１１２は、ステップＳ４１０７において、画像生成部４１０３より供給された第２の画素を、出力画像として外部に出力する。
【２５４３】
これに対して、ステップＳ４１０６において、検出された領域が、定常領域ではない（非定常領域である）と判定した場合、セレクタ４１１２は、ステップＳ４１０８において、画像生成部４１０４より供給された第１の画素を、出力画像として外部に出力する。
【２５４４】
その後、ステップＳ４１０９において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４１０１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１０１乃至Ｓ４１０９の処理が繰り返される。
【２５４５】
そして、ステップＳ４１０９において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２５４６】
このように、図３１８のフローチャートの例においては、第１の画素（ＨＤ画素）と第２の画素（ＨＤ画素）が生成される毎に、出力画像として第１の画素または第２の画素が画素単位で出力される。
【２５４７】
しかしながら、上述したように、画素単位で出力されることは必須ではなく、全ての画素の処理が終了された後、出力画像として、全ての画素が一括して出力されてもよい。この場合、ステップＳ４１０７とステップＳ４１０８のそれぞれの処理においては、画素（第１の画素または第２の画素）は出力されずに、セレクタ４１１２に一次格納され、ステップＳ４１０９の処理の後、全ての画素を出力する処理が追加される。
【２５４８】
次に、図３１９のフローチャートを参照して、図３１６の構成の画像生成部４１０４が実行する「クラス分類適応処理の実行処理」（例えば、上述した図３１８のステップＳ４１０１の処理）の詳細について説明する。
【２５４９】
センサ２からの入力画像（ＳＤ画像）が画像生成部４１０４に入力されると、ステップＳ４１２１において、領域抽出部４１２１と領域抽出部４１２５のそれぞれは、入力画像を入力する。
【２５５０】
ステップＳ４１２２において、領域抽出部４１２１は、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部４１２２に供給する。
【２５５１】
ステップＳ４１２３において、パターン検出部４１２２は、供給されたクラスタップのパターンを検出し、クラスコード決定部４１２３に供給する。
【２５５２】
ステップＳ４１２４において、クラスコード決定部４１２３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ４１２４と領域抽出部４１２５のそれぞれに供給する。
【２５５３】
ステップＳ４１２５において、係数メモリ４１２４は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数（群）の中から、これから使用する予測係数（群）を読み出し、予測演算部４１２６に供給する。
【２５５４】
なお、学習処理については、図３２０のフローチャートを参照して後述する。
【２５５５】
ステップＳ４１２６において、領域抽出部４１２５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、予測演算部４１２６に供給する。
【２５５６】
ステップＳ４１２７において、予測演算部４１２６は、領域抽出部４１２５より供給された予測タップを、係数メモリ４１２４より供給された予測係数を用いて演算し、予測画像（第１の画素）を生成して外部（図３１５の例では、セレクタ４１１２）に出力する。
【２５５７】
具体的には、予測演算部４１２６は、領域抽出部４１２５より供給された予測タップのそれぞれをｃ_ｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数メモリ４１２４より供給された予測係数のそれぞれをｄ_ｉとして、上述した式（２４０）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｑ’を算出し、それを予測画像（ＨＤ画像）の所定の１つの画素（第１の画素）として外部に出力する。その後、処理は終了となる。
【２５５８】
次に、図３２０のフローチャートを参照して、画像生成部４１０４に対する学習装置４１３１（図３１７）が実行する学習処理（画像生成部４１０４が使用する予測係数を学習により生成する処理）について説明する。
【２５５９】
ステップＳ４１４１において、ダウンコンバート部４１４１と正規方程式生成部４１４６のそれぞれは、供給された所定の画像を、教師画像（ＨＤ画像）として入力する。
【２５６０】
ステップＳ４１４２において、ダウンコンバート部４１４１は、入力された教師画像をダウンコンバートして（解像度を落として）生徒画像（ＳＤ画像）を生成し、領域抽出部４１４２と領域抽出部４１４５のそれぞれに供給する。
【２５６１】
ステップＳ４１４３において、領域抽出部４１４２は、供給された生徒画像からクラスタップを抽出してパターン検出部４１４３に出力する。なお、ステップＳ４１４３の処理は、上述したステップＳ４１２２（図３１９）の処理と基本的に同様の処理である。
【２５６２】
ステップＳ４１４４において、パターン検出部４１４３は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部４１４４に供給する。なお、ステップＳ４１４４の処理は、上述したステップＳ４１２３（図３１９）の処理と基本的に同様の処理である。
【２５６３】
ステップＳ４１４５において、クラスコード決定部４１４４は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部４１４５と正規方程式生成部４１４６のそれぞれに供給する。なお、ステップＳ４１４５の処理は、上述したステップＳ４１２４（図３１９）の処理と基本的に同様の処理である。
【２５６４】
ステップＳ４１４６において、領域抽出部４１４５は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部４１４６に供給する。なお、ステップＳ４１４６の処理は、上述したステップＳ４１２６（図３１９）の処理と基本的に同様の処理である。
【２５６５】
ステップＳ４１４７において、正規方程式生成部４１４６は、領域抽出部４１４５より供給された予測タップ（ＳＤ画素）、および、教師画像（ＨＤ画像）の所定のＨＤ画素から、上述した式（２４２）（即ち、式（２４３））で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部４１４４より供給されたクラスコードを関連付けて係数決定部４１４７に供給する。
【２５６６】
ステップＳ４１４８において、係数決定部４１４７は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（２４７）の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ４１２４に記憶させる。
【２５６７】
その後、ステップＳ４１４９において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ４１４３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１４３乃至Ｓ４１４９の処理が繰り返される。
【２５６８】
そして、ステップＳ４１４９において、全ての画素について処理が施されたと判定された場合、処理は終了となる。
【２５６９】
次に、図３２１と図３２２を参照して、第２の併用手法について説明する。
【２５７０】
図３２１は、第２の併用手法が適用される信号処理装置の構成例を表している。
【２５７１】
図３２１において、第１の併用手法が適用される信号処理装置（図３１５）と対応する部分には、対応する符号が付してある。
【２５７２】
図３１５の構成例（第１の併用手法）においては、領域特定情報は、データ定常性検出部４１０１より出力され、領域検出部４１１１に入力されていたが、図３２１の構成例（第２の併用手法）においては、領域特定情報は、実世界推定部４１０２より出力され、領域検出部４１１１に入力される。
【２５７３】
この領域特定情報は、特に限定されず、実世界推定部４１０２が実世界１（図１）の信号を推定した後に新たに生成された情報でもよいし、実世界１の信号が推定される場合に付帯して生成される情報でもよい。
【２５７４】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。
【２５７５】
ここで、推定誤差について説明する。
【２５７６】
上述したように、データ定常性検出部４１０１より出力される推定誤差（図３１５の領域特定情報）は、例えば、データ定常性検出部４１０１より出力されるデータ定常性情報が角度であり、かつ、その角度が最小自乗法により演算される場合、その最小自乗法の演算で付帯的に算出される推定誤差である。
【２５７７】
これに対して、実世界推定部４１０２より出力される推定誤差（図３２１の領域特定情報）は、例えば、マッピング誤差である。
【２５７８】
即ち、実世界推定部４１０２により実世界１の信号が推定されているので、推定された実世界１の信号から任意の大きさの画素を生成する（画素値を演算する）ことが可能である。ここでは、このように、新たな画素を生成することを、マッピングと称している。
【２５７９】
従って、実世界推定部４１０２は、実世界１の信号を推定した後、その推定した実世界１の信号から、入力画像の注目画素（実世界１が推定される場合に注目画素として使用された画素）が配置されていた位置における新たな画素を生成する（マッピングする）。即ち、実世界推定部４１０２は、推定した実世界１の信号から、入力画像の注目画素の画素値を予測演算する。
【２５８０】
そして、実世界推定部４１０２は、マッピングした新たな画素の画素値（予測した入力画像の注目画素の画素値）と、実際の入力画像の注目画素の画素値との差分を演算する。この差分を、ここでは、マッピング誤差と称している。
【２５８１】
このようにして実世界推定部４１０２は、マッピング誤差（推定誤差）を演算することで、演算したマッピング誤差（推定誤差）を、領域特定情報として領域検出部４１１１に供給することができる。
【２５８２】
なお、領域検出部４１１１が実行する領域検出の処理は、上述したように、特に限定されないが、例えば、実世界推定部４１０２が、上述したマッピング誤差（推定誤差）を領域特定情報として領域検出部４１１１に供給する場合、領域検出部４１１１は、供給されたマッピング誤差（推定誤差）が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給されたマッピング誤差（推定誤差）が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【２５８３】
その他の構成は、図３１５のそれと基本的に同様である。即ち、第２の併用手法が適用される信号処理装置（図３２１）においても、第１の併用手法が適用される信号処理装置（図３１５）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、画像生成部４１０４、並びに定常領域検出部４１０５（領域検出部４１１１およびセレクタ４１１２）が設けられている。
【２５８４】
図３２２は、図３２１の構成の信号処理装置の信号の処理（第２の併用手法の信号の処理）を説明するフローチャートである。
【２５８５】
第２の併用手法の信号の処理は、第１の併用手法の信号の処理（図３１８のフローチャートで示される処理）と類似している。そこで、ここでは、第１の併用手法において説明した処理については、その説明を適宜省略し、以下、図３２２のフローチャートを参照して、第１の併用手法とは異なる第２の併用手法の信号の処理を中心に説明する。
【２５８６】
なお、ここでは、データ定常性検出部４１０１は、第１の併用手法と同様に、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２５８７】
ただし、上述したように、第１の併用手法においては、データ定常性検出部４１０１が領域特定情報（例えば、推定誤差）を領域検出部４１１１に供給していたのに対して、第２の併用手法においては、実世界推定部４１０２が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部４１１１に供給する。
【２５８８】
従って、第２の併用手法においては、データ定常性検出部４１０１の処理として、ステップＳ４１６２の処理が実行される。この処理は、第１の併用手法における、図３１８のステップＳ４１０２の処理に相当する。即ち、ステップＳ４１６２において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部４１０２と画像生成部４１０３のそれぞれに供給する。
【２５８９】
また、第２の併用手法においては、実世界推定部４１０２の処理として、ステップＳ４１６３の処理が実行される。この処理は、第１の併用手法における、図３１８のステップＳ４１０３の処理に相当する。即ち、ステップＳ４１６３において、実世界推定部４１０２は、ステップＳ４１６２の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１（図１）の信号を推定するとともに、推定された実世界１の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部４１１１に供給する。
【２５９０】
その他の処理は、第１の併用手法の対応する処理（図３１８のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。
【２５９１】
次に、図３２３と図３２４を参照して、第３の併用手法について説明する。
【２５９２】
図３２３は、第３の併用手法が適用される信号処理装置の構成例を表している。
【２５９３】
図３２３において、第１の併用手法が適用される信号処理装置（図３１５）と対応する部分には、対応する符号が付してある。
【２５９４】
図３１５の構成例（第１の併用手法）においては、定常領域検出部４１０５は、画像生成部４１０３と画像生成部４１０４の後段に配設されていたが、図３２３の構成例（第３の併用手法）においては、それに対応する定常領域検出部４１６１が、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に配設されている。
【２５９５】
このような配設位置の違いにより、第１の併用手法における定常領域検出部４１０５と、第３の併用手法における定常領域検出部４１６１は若干差異がある。そこで、この差異を中心に、定常領域検出部４１６１について説明する。
【２５９６】
定常領域検出部４１６１には、領域検出部４１７１と実行指令生成部４１７２が設けられている。このうちの領域検出部４１７１は、定常領域検出部４１０５の領域検出部４１１１（図３１５）と基本的に同様の構成と機能を有している。一方、実行指令生成部４１７２の機能は、定常領域検出部４１０５のセレクタ４１１２（図３１５）のそれと若干差異がある。
【２５９７】
即ち、上述したように、第１の併用手法におけるセレクタ４１１２は、領域検出部４１１１の検出結果に基づいて、画像生成部４１０３からの画像と、画像生成部４１０４からの画像のうちのいずれか一方を選択し、選択した画像を出力画像として出力する。このように、セレクタ４１１２は、領域検出部４１１１の検出結果の他に、画像生成部４１０３からの画像と、画像生成部４１０４からの画像を入力し、出力画像を出力する。
【２５９８】
一方、第３の併用手法における実行指令生成部４１７２は、領域検出部４１７１の検出結果に基づいて、入力画像の注目画素（データ定常性検出部４１０１が注目画素とした画素）における新たな画素の生成の処理を実行するのは、画像生成部４１０３であるのか画像生成部４１０４であるのかを選択する。
【２５９９】
即ち、領域検出部４１７１が、入力画像の注目画素は定常領域であるという検出結果を実行指令生成部４１７２に供給した場合、実行指令生成部４１７２は、画像生成部４１０３を選択し、実世界推定部４１０２に対して、その処理の実行を開始させる指令（このような指令を、以下、実行指令と称する）を供給する。すると、実世界推定部４１０２が、その処理を開始し、実世界推定情報を生成し、画像生成部４１０３に供給する。画像生成部４１０３は、供給された実世界推定情報（必要に応じて、それに加えてデータ定常性検出部４１０１より供給されたデータ定常性情報）に基づいて新たな画像を生成し、それを出力画像として外部に出力する。
【２６００】
これに対して、領域検出部４１７１が、入力画像の注目画素は非定常領域であるという検出結果を実行指令生成部４１７２に供給した場合、実行指令生成部４１７２は、画像生成部４１０４を選択し、画像生成部４１０４に対して実行指令を供給する。すると、画像生成部４１０４が、その処理を開始し、入力画像に対して所定の画像処理（いまの場合、クラス分類適応処理）を施して、新たな画像を生成し、それを出力画像として外部に出力する。
【２６０１】
このように、第３の併用手法における実行指令生成部４１７２は、領域検出部４１７１の検出結果を入力し、実行指令を出力する。即ち、実行指令生成部４１７２は、画像を入出力しない。
【２６０２】
なお、定常領域検出部４１６１以外の構成は、図３１５のそれと基本的に同様である。即ち、第２の併用手法が適用される信号処理装置（図３２３の信号処理装置）においても、第１の併用手法が適用される信号処理装置（図３１５）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、および、画像生成部４１０４が設けられている。
【２６０３】
ただし、第３の併用手法においては、実世界推定部４１０２と画像生成部４１０４のそれぞれは、実行指令生成部４１７２からの実行指令が入力されない限り、その処理を実行しない。
【２６０４】
ところで、図３２３の例では、画像の出力単位は画素単位とされている。そこで、図示はしないが、出力単位を１フレームの画像全体とするために（全ての画素を一括して出力するために）、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２６０５】
この画像合成部は、画像生成部４１０３から出力された画素値と、画像生成部４１０４より出力された画素値を加算し（合成し）、加算した値を対応する画素の画素値とする。この場合、画像生成部４１０３と画像生成部４１０４のうちの、実行指令が供給されていない方は、その処理を実行せず、所定の一定値（例えば、０）を画像合成部に常時供給する。
【２６０６】
画像合成部は、このような処理を全ての画素について繰り返し実行し、全ての画素の処理を終了すると、全ての画素を一括して（１フレームの画像データとして）外部に出力する。
【２６０７】
次に、図３２４のフローチャートを参照して、第３の併用手法が適用される信号処理装置（図３２３）の信号の処理について説明する。
【２６０８】
なお、ここでは、第１の併用手法のときと同様に、データ定常性検出部４１０１は、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２６０９】
データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。
【２６１０】
図１において、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２６１１】
図３２３において、この入力画像は、画像生成部４１０４に入力されるとともに、データ定常性検出部４１０１、および実世界推定部４１０２にも入力される。
【２６１２】
そこで、図３２４のステップＳ４１８１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部４１７１に供給される。
【２６１３】
なお、ステップＳ４１８１の処理は、上述したステップＳ４１０２（図３１８）の処理と基本的に同様の処理である。
【２６１４】
また、上述したように、いまの時点においては（実行指令生成部４１７２から実行指令が供給されない限り）、実世界推定部４１０２も画像生成部４１０４もその処理を実行しない。
【２６１５】
ステップＳ４１８２において、領域検出部４１７１は、データ定常性検出部４１０１により演算された推定誤差（供給された領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４１７２に供給する。なお、ステップＳ４１８２の処理は、上述したステップＳ４１０５（図３１８）の処理と基本的に同様の処理である。
【２６１６】
領域検出部４１７１の検出結果が実行指令生成部４１７２に供給されると、ステップＳ４１８３において、実行指令生成部４１７２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４１８３の処理は、上述したステップＳ４１０６（図３１８）の処理と基本的に同様の処理である。
【２６１７】
ステップＳ４１８３において、検出された領域が定常領域ではないと判定した場合、実行指令生成部４１７２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４１８４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４１８５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２６１８】
なお、ステップＳ４１８４の処理は、上述したステップＳ４１０１（図３１８）の処理と基本的に同様の処理である。即ち、図３１９のフローチャートは、ステップＳ４１８４の処理の詳細を説明するフローチャートでもある。
【２６１９】
これに対して、ステップＳ４１８３において、検出された領域が定常領域であると判定した場合、実行指令生成部４１７２は、実行指令を実世界推定部４１０２に供給する。すると、ステップＳ４１８６において、実世界推定部４１０２は、データ定常性検出部４１０１により検出された角度と、入力画像に基づいて、実世界１の信号を推定する。なお、ステップＳ４１８６の処理は、上述したステップＳ４１０３（図３１８）の処理と基本的に同様の処理である。
【２６２０】
そして、画像生成部４１０３は、ステップＳ４１８７において、実世界推定部４１０２により推定された実世界１の信号に基づいて、検出された領域（即ち、入力画像の注目画素（ＳＤ画素））における第２の画素（ＨＤ画素）を生成し、ステップＳ４１８８において、その第２の画素を出力画像として出力する。なお、ステップＳ４１８７の処理は、上述したステップＳ４１０４（図３１８）の処理と基本的に同様の処理である。
【２６２１】
第１の画素または第２の画素が出力画像として出力されると（ステップＳ４１８５、またはステップＳ４１８８の処理の後）、ステップＳ４１８９において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４１８１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１８１乃至Ｓ４１８９の処理が繰り返される。
【２６２２】
そして、ステップＳ４１８９において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２６２３】
このように、図３２４のフローチャートの例においては、第１の画素（ＨＤ画素）と第２の画素（ＨＤ画素）が生成される毎に、出力画像として第１の画素または第２の画素が画素単位で出力される。
【２６２４】
しかしながら、上述したように、図３２３の構成の信号処理装置の最終段（画像生成部４１０３と画像生成部４１０４の後段）に画像合成部（図示せず）をさらに設ければ、全ての画素の処理が終了された後、出力画像として、全ての画素を一括して出力することが可能になる。この場合、ステップＳ４１８５とステップＳ４１８８のそれぞれに処理においては、画素（第１の画素または第２の画素）は外部ではなく画像合成部に出力される。そして、ステップＳ４１８９の処理の前に、画像合成部が、画像生成部４１０３から供給される画素の画素値と、画像生成部４１０４から供給される画素の画素値を合成して、出力画像の画素を生成する処理と、ステップＳ４１８９の処理の後に、画像合成部が、全ての画素を出力する処理が追加される。
【２６２５】
次に、図３２５と図３２６を参照して、第４の併用手法について説明する。
【２６２６】
図３２５は、第４の併用手法が適用される信号処理装置の構成例を表している。
【２６２７】
図３２５において、第３の併用手法が適用される信号処理装置（図３２３）と対応する部分には、対応する符号が付してある。
【２６２８】
図３２３の構成例（第３の併用手法）においては、領域特定情報は、データ定常性検出部４１０１より出力され領域検出部４１７１に入力されていたが、図３２５の構成例（第４の併用手法）においては、領域特定情報は、実世界推定部４１０２より出力され領域検出部４１７１に入力される。
【２６２９】
その他の構成は、図３２３のそれと基本的に同様である。即ち、第４の併用手法が適用される信号処理装置（図３２５）においても、第３の併用手法が適用される信号処理装置（図３２３）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、画像生成部４１０４、並びに定常領域検出部４１６１（領域検出部４１７１および実行指令生成部４１７２）が設けられている。
【２６３０】
なお、第３の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２６３１】
図３２６は、図３２５の構成の信号処理装置の信号の処理（第４の併用手法の信号の処理）を説明するフローチャートである。
【２６３２】
第４の併用手法の信号の処理は、第３の併用手法の信号の処理（図３２４のフローチャートで示される処理）と類似している。そこで、ここでは、第３の併用手法において説明した処理については、その説明を適宜省略し、以下、図３２６のフローチャートを参照して、第３の併用手法とは異なる第４の併用手法の信号の処理を中心に説明する。
【２６３３】
なお、ここでは、データ定常性検出部４１０１は、第３の併用手法と同様に、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２６３４】
ただし、上述したように、第３の併用手法においては、データ定常性検出部４１０１が領域特定情報（例えば、推定誤差）を領域検出部４１７１に供給していたのに対して、第４の併用手法においては、実世界推定部４１０２が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部４１７１に供給する。
【２６３５】
従って、第４の併用手法においては、データ定常性検出部４１０１の処理として、ステップＳ４２０１の処理が実行される。この処理は、第３の併用手法における、図３２４のステップＳ４１８１の処理に相当する。即ち、ステップＳ４２０１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部４１０２と画像生成部４１０３のそれぞれに供給する。
【２６３６】
また、第４の併用手法においては、実世界推定部４１０２の処理として、ステップＳ４２０２の処理が実行される。この処理は、第３の併用手法における、図３１８のステップＳ４１８２の処理に相当する。即ち、実世界推定部４１０２は、ステップＳ４２０２の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１（図１）の信号を推定するとともに、推定された実世界１の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部４１７１に供給する。
【２６３７】
その他の処理は、第３の併用手法の対応する処理（図３２４のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。
【２６３８】
次に、図３２７と図３２８を参照して、第５の併用手法について説明する。
【２６３９】
図３２７は、第５の併用手法が適用される信号処理装置の構成例を表している。
【２６４０】
図３２７において、第３と第４の併用手法が適用される信号処理装置（図３２３と図３２５）と対応する部分には、対応する符号が付してある。
【２６４１】
図３２３の構成例（第３の併用手法）においては、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に、１つの定常領域検出部４１６１が配設されている。
【２６４２】
また、図３２５の構成例（第４の併用手法）においては、実世界推定部４１０２の後段であって、画像生成部４１０３と画像生成部４１０４の前段に、１つの定常領域検出部４１６１が配設されている。
【２６４３】
これらに対して、図３２７の構成例（第５の併用手法）においては、第３の併用方法と同様に、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に、定常領域検出部４１８１が配設されている。さらに、第４の併用方法と同様に、実世界推定部４１０２の後段であって、画像生成部４１０３と画像生成部４１０４の前段に、定常領域検出部４１８２が配設されている。
【２６４４】
定常領域検出部４１８１と定常領域検出部４１８２のそれぞれは、定常領域検出部４１６１（図３２３または図３２５）と基本的に同様の構成と機能を有している。即ち、領域検出部４１９１と領域検出部４２０１はいずれも、領域検出部４１７１と基本的に同様の構成と機能を有している。また、実行指令生成部４１９２と実行指令生成部４２０２はいずれも、実行指令生成部４１７２と基本的に同様の構成と機能を有している。
【２６４５】
換言すると、第５の併用手法は、第３の併用手法と第４の併用手法を組み合わせたものである。
【２６４６】
即ち、第３の併用手法や第４の併用手法においては、１つの領域特定情報（第３の併用手法においては、データ定常性検出部４１０１からの領域特定情報であり、第４の併用手法においては、実世界推定部４１０２からの領域特定情報である）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。従って、第３の併用手法や第４の併用手法では、本来、非定常領域であるにも関わらず、定常領域であると検出される恐れもある。
【２６４７】
そこで、第５の併用手法においては、はじめにデータ定常性検出部４１０１からの領域特定情報（第５の併用手法の説明においては、第１の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出された後、さらに、実世界推定部４１０２からの領域特定情報（第５の併用手法の説明においては、第２の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。
【２６４８】
このように、第５の併用手法においては、領域の検出の処理が２回行われるので、第３の併用手法や第４の併用手法に比較して、定常領域の検出精度が上がることになる。さらに、第１の併用手法や第２の併用手法においても、第３の併用手法や第４の併用手法と同様に、１つの定常領域検出部４１０５（図３１５または図３２１）しか設けられていない。従って、第１の併用手法や第２の併用手法と比較しても、定常領域の検出精度が上がることになる。その結果、第１乃至第４の併用手法のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２６４９】
ただし、第１乃至第４の併用手法でも、従来の画像処理を行う画像生成部４１０４と、本発明が適用されるデータの定常性を利用して画像を生成する装置またはプログラム等（即ち、データ定常性検出部４１０１、実世界推定部４１０２、および、画像生成部４１０３）を併用していることに変わりはない。
【２６５０】
従って、第１乃至第４の併用手法でも、従来の信号処理装置や、図３の構成の本発明の信号処理のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２６５１】
一方、処理速度の観点からは、第１乃至第４の併用手法においては、領域の検出の処理が１回だけで済むので、領域の検出の処理を２回行う第５の併用手法よりも優れていることになる。
【２６５２】
従って、ユーザ（または製造者）等は、必要とされる出力画像の品質と、必要とされる処理時間（出力画像が出力されるまでの時間）に合致した併用手法を選択的に利用することができる。
【２６５３】
なお、図３２７におけるその他の構成は、図３２３、または、図３２５のそれと基本的に同様である。即ち、第５の併用手法が適用される信号処理装置（図３２７）においても、第３または第４の併用手法が適用される信号処理装置（図３２３、または図３２５）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、および画像生成部４１０４が設けられている。
【２６５４】
ただし、第５の併用手法においては、実世界推定部４１０２は、実行指令生成部４１９２からの実行指令が入力されない限り、画像生成部４１０３は、実行指令生成部４２０２からの実行指令が入力されない限り、画像生成部４１０４は、実行指令生成部４１９２、または実行指令生成部４２０２からの実行指令が入力されない限り、その処理を実行しない。
【２６５５】
また、第５の併用手法においても、第３や第４の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２６５６】
次に、図３２８のフローチャートを参照して、第５の併用手法が適用される信号処理装置（図３２７）の信号の処理について説明する。
【２６５７】
なお、ここでは、第３や第４の併用手法のときと同様に、データ定常性検出部４１０１は、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２６５８】
また、ここでは、第３の併用手法のときと同様に、データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、第１の領域特定情報として出力するとする。
【２６５９】
さらに、ここでは、第４の併用手法のときと同様に、実世界推定部４１０２は、マッピング誤差（推定誤差）を、第２の領域特定情報として出力するとする。
【２６６０】
図１において、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２６６１】
図３２７において、この入力画像は、データ定常性検出部４１０１、実世界推定部４１０２、および、画像生成部４１０４のそれぞれに入力される。
【２６６２】
そこで、図３２８のステップＳ４２２１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、第１の領域特定情報として領域検出部４１９１に供給される。
【２６６３】
なお、ステップＳ４２２１の処理は、上述したステップＳ４１８１（図３２４）の処理と基本的に同様の処理である。
【２６６４】
また、上述したように、いまの時点においては（実行指令生成部４１９２から実行指令が供給されない限り）、実世界推定部４１０２も画像生成部４１０４もその処理を実行しない。
【２６６５】
ステップＳ４２２２において、領域検出部４１９１は、データ定常性検出部４１０１により演算された推定誤差（供給された第１の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４１９２に供給する。なお、ステップＳ４２２２の処理は、上述したステップＳ４１８２（図３２４）の処理と基本的に同様の処理である。
【２６６６】
領域検出部４１８１の検出結果が実行指令生成部４１９２に供給されると、ステップＳ４２２３において、実行指令生成部４１９２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４２２３の処理は、上述したステップＳ４１８３（図３２４）の処理と基本的に同様の処理である。
【２６６７】
ステップＳ４２２３において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部４１９２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４２２４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４２２５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２６６８】
なお、ステップＳ４２２４の処理は、上述したステップＳ４１８４（図３２４）の処理と基本的に同様の処理である。即ち、図３１９のフローチャートは、ステップＳ４１８６の処理の詳細を説明するフローチャートでもある。また、ステップＳ４２２５の処理は、上述したステップＳ４１８５（図３２４）の処理と基本的に同様の処理である。
【２６６９】
これに対して、ステップＳ４２２３において、検出された領域が定常領域であると判定した場合、実行指令生成部４１９２は、実行指令を実世界推定部４１０２に供給する。すると、ステップＳ４２２６において、実世界推定部４１０２は、ステップＳ４２２１の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１の信号を推定するとともに、その推定誤差（マッピング誤差）を演算する。推定された実世界１の信号は、実世界推定情報として画像生成部４１０３に供給される。また、演算された推定誤差は、第２の領域特定情報として領域検出部４２０１に供給される。
【２６７０】
なお、ステップＳ４２２６の処理は、上述したステップＳ４２０２（図３２６）の処理と基本的に同様の処理である。
【２６７１】
また、上述したように、いまの時点においては（実行指令生成部４１９２、または実行指令生成部４２０２から実行指令が供給されない限り）、画像生成部４１０３も画像生成部４１０４もその処理を実行しない。
【２６７２】
ステップＳ４２２７において、領域検出部４２０１は、実世界推定部４１０２により演算された推定誤差（供給された第２の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４２０２に供給する。なお、ステップＳ４２２７の処理は、上述したステップＳ４２０３（図３２６）の処理と基本的に同様の処理である。
【２６７３】
領域検出部４２０１の検出結果が実行指令生成部４２０２に供給されると、ステップＳ４２２８において、実行指令生成部４２０２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４２２８の処理は、上述したステップＳ４２０４（図３２６）の処理と基本的に同様の処理である。
【２６７４】
ステップＳ４２２８において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部４２０２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４２２４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４２２５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２６７５】
なお、いまの場合のステップＳ４２２４の処理は、上述したステップＳ４２０５（図３２６）の処理と基本的に同様の処理である。また、いまの場合のステップＳ４２２５の処理は、上述したステップＳ４２０６（図３２６）の処理と基本的に同様の処理である。
【２６７６】
これに対して、ステップＳ４２２８において、検出された領域が定常領域であると判定した場合、実行指令生成部４２０２は、実行指令を画像生成部４１０３に供給する。すると、ステップＳ４２２９において、画像生成部４１０３は、実世界推定部４１０２により推定された実世界１の信号（および、必要に応じてデータ定常性検出部４１０１からのデータ定常性情報）に基づいて、領域検出部４２０１により検出された領域（即ち、入力画像の注目画素（ＳＤ画素））における、第２の画素（ＨＤ画素）を生成する。そして、ステップＳ４２３０において、画像生成部４１０３は、生成された第２の画素を、出力画像として外部に出力する。
【２６７７】
なお、ステップＳ４２２９とＳ４２３０のそれぞれの処理は、上述したステップＳ４２０７とＳ４２０８（図３２６）のそれぞれの処理と基本的に同様の処理である。
【２６７８】
第１の画素または第２の画素が出力画像として出力されると（ステップＳ４２２５、またはステップＳ４２３０の処理の後）、ステップＳ４２３１において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４２２１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４２２１乃至Ｓ４２３１の処理が繰り返される。
【２６７９】
そして、ステップＳ４２３１において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２６８０】
以上、図３１５乃至図３２８を参照して、本発明の信号処理装置４（図１）の実施の形態の１例として、併用手法について説明した。
【２６８１】
上述したように、併用手法においては、図３の構成の本発明の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）が付加されている。
【２６８２】
換言すると、併用手法においては、従来の信号処理装置（または、プログラム等）に対して、図３の構成の本発明の信号処理装置（または、プログラム等）が付加されている。
【２６８３】
即ち、併用手法においては、例えば、図３１５や図３２１の定常領域検出部４１０５が、実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した画像データ（例えば、図３１５や図３２１の入力画像）内において、画像データのデータの定常性を有する領域（例えば、図３１８のステップＳ４１０６や図３２２のステップＳ４１６６に記載の定常領域）を検出する。
【２６８４】
また、図３１５や図３２１の実世界推定部４１０２が、実世界１の光信号の定常性の一部が欠落した画像データのデータの定常性に基づいて、欠落した実世界１の光信号の定常性を推定することにより光信号を推定する。
【２６８５】
さらに、例えば、図３１５や図３２１のデータ定常性検出部４１０１が、実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した画像データ内において、画像データのデータの定常性の基準軸に対する角度（例えば、図３１８のステップＳ４１０２や図３２２のステップＳ４１６２に記載の角度）を検出する。この場合、例えば、図３１５や図３２１の定常領域検出部４１０５は、角度に基いて画像データのデータの定常性を有する領域を検出し、実世界推定部４１０２は、その領域に対して、欠落した実世界１の光信号の定常性を推定することにより光信号を推定する。
【２６８６】
ただし、図３１５においては、定常領域検出部４１０５は、角度に沿って定常であるモデルと入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図３１８のステップＳ４１０２の処理で演算される推定誤差）に基づいて入力画像のデータの定常性を有する領域を検出する。
【２６８７】
これに対して、図３２１においては、定常領域検出部４１０５は、実世界推定部４１０２の後段に配され、実世界推定部４１０２により演算される、入力画像に対応する実世界１の光信号を表す実世界モデルと、入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図３１８のステップＳ４１６３の処理で演算される実世界の信号の推定誤差（マッピング誤差））に基いて、実世界推定部４１０２により推定された実世界モデル、即ち、画像生成部４１０３から出力される画像を選択的に出力する（例えば、図３２１のセレクタ４１１２が、図３２２のステップＳ４１６６乃至Ｓ４１６８の処理を実行する）。
【２６８８】
以上、図３１５と図３２１の例で説明したが、以上のことは、図３２３、図３２５、および図３２７においても同様である。
【２６８９】
従って、併用手法においては、実世界１の信号のうちの定常性が存在する部分（画像データのデータの定常性を有する領域）については、図３の構成の信号処理装置に相当する装置（またはプログラム等）が信号処理を実行し、実世界１の信号のうちの明確な定常性が存在しない部分については、従来の信号処理装置（または、プログラム等）が信号処理を実行することが可能になる。その結果、従来の信号処理装置や、図３の構成の本発明の信号処理のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２６９０】
次に、図３２９，図３３０を参照して、データ定常性検出部１０１より直接画像を生成する例について説明する。
【２６９１】
図３２９のデータ定常性検出部１０１は、図１６５のデータ定常性検出部１０１に画像生成部４５０１を付加したものである。画像生成部４５０１は、実世界推定部８０２より出力される実世界の近似関数ｆ（ｘ）の係数を実世界推定情報として取得し、この係数に基づいて、各画素を再積分することにより画像を生成して出力する。
【２６９２】
次に、図３３０のフローチャートを参照して、図３２９のデータの定常性の検出の処理について説明する。尚、図３３０のフローチャートのステップＳ４５０１乃至Ｓ４５０４、および、ステップＳ４５０６乃至Ｓ４５１１の処理に付いては、図１６６のフローチャートのステップＳ８０１乃至Ｓ８１０の処理と同様であるのでその説明は省略する。
【２６９３】
ステップＳ４５０４において、画像生成部４５０１は、実世界推定部８０２より入力された係数に基づいて各画素を再積分して、画像を生成し出力する。
【２６９４】
以上の処理により、データ定常性検出部１０１は、領域情報のみならず、その領域判定に用いた（実世界推定情報に基づいて生成された画素からなる）画像を出力することができる。
【２６９５】
このように、図３２９のデータ定常性検出部１０１においては、画像生成部４５０１が設けられている。即ち、図３２９のデータ定常性検出部１０１は、入力画像のデータの定常性に基づいて出力画像を生成することができる。従って、図３２９で示される構成を有する装置を、データ定常性検出部１０１の実施の形態と捉えるのではなく、図１の信号処理装置（画像処理装置）４の他の実施の形態と捉えることもできる。
【２６９６】
さらに、上述した併用手法が適用される信号処理装置において、実世界１の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部として、図３２９で示される構成を有する装置（即ち、図３２９のデータ定常性検出部１０１と同様の機能と構成を有する信号処理装置）を適用することも可能である。
【２６９７】
具体的には、例えば、第１の併用手法が適用される図３１５の信号処理装置においては、実世界１の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３とされている。図示はしないが、これらのデータ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３の代わりに、図３２９の構成の信号処理装置（画像処理装置）を適用することも可能である。この場合、図３２９の比較部８０４が、その出力を領域特定情報をとして領域検出部４１１１に供給し、また、画像生成部４５０１が、出力画像（第２の画素）をセレクタ４１１２に供給することになる。
【２６９８】
以上においては、画像の処理にあたり、積分効果を利用したセンサ２により取得された画像データを処理することにより、実世界を推定し、実世界に即した画像処理を行っていく例について説明してきた。
【２６９９】
しかしながら、センサ２に入射する光信号は、実際には、センサ２の直前に設けられたレンズなどからなる光学系を介して入射される。従って、センサ２により取得された画像から実世界を推定して画像を処理するには、光学系による影響を考慮する必要がある。
【２７００】
図３３１は、センサ２の前段に設けられる光学系（光学ブロック５１１０）の構成例を示す図である。
【２７０１】
実世界の光信号は、光学ブロック５１１０のレンズ５１０１を経て、ＩＲカットフィルタ５１０２に入射される。ＩＲカットフィルタは、ＣＣＤ５１０４（センサ２に対応する）で受光可能な光の周波数成分のうち、赤外領域の光の成分を除去する。この処理により、人の目では認識できない余分な光が除去される。さらに、光信号は、ＩＲカットフィルタ５１０２を透過した後、ＯＬＰＦ（Ｏｐｔｉｃａｌ Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）５１０３に入射する。
【２７０２】
ＯＬＰＦ５１０３は、ＣＣＤ５１０４の画素面積以下の範囲で変化する高周波の光信号を平滑化して、ＣＣＤ５１０４の１画素分の面積内に入射される光の量のばらつきを小さくする。
【２７０３】
従って、光学ブロック５１１０による影響を考慮するには、ＩＲカットフィルタ５１０２、および、ＯＬＰＦ５１０３のそれぞれについてなされる処理による影響を考慮する必要がある。ところで、このＩＲカットフィルタ５１０２、および、ＯＬＰＦ５１０３は、図３３２で示されるように、一体型のフィルタ５１１２となっており、その着脱は、一体的になされる形式となる場合がある。また、ＩＲカットフィルタ５１０２の影響は、例えば、図３３２で示されるように、短波長の光のみを透過させるフィルタ５１１１を設けることによりその影響を抑制することができる。
【２７０４】
そこで、ここでは、ＯＬＰＦ５１０３による影響を考慮した画像処理について説明する。
【２７０５】
ＯＬＰＦ５１０３は、図３３３で示されるように２個の水晶５１２１ａ，ｂと、その２個の水晶５１２１ａ，ｂに挟まれるように位相板５１２２が設けられている。
【２７０６】
水晶板５１２１ａ，ｂは、図３３４で示されるように、それぞれの厚さがｔであり、また、光の進入方向に対して所定の角度で結晶軸が設定されている。この角度で水晶板５１２１ａに対して、ｚ方向に光が入射されると、その入射光と同じ方向に常光線を、また、入射光に対して所定の角度に異常光線をそれぞれ分離して、所定の間隔ｄ（ｘ方向に）で後段の結晶５１２１ｂに出射する。このとき、水晶板５１２１ａは、入射光のうち、相互に９０度異なる２つの波形の光を抽出して常光線（例えば、ｙ方向の波形）Ｌ１と異常光線Ｌ２（例えば、ｘ方向の波形）として出射する。
【２７０７】
位相板５１２２（図３３４においては、図示せず）は、常光線、および、異常光線のそれぞれの波形を入射された波形を透過させると共に、その波形と垂直方向の波形の光を発生して結晶板５１２１ｂに出射する。すなわち、今の場合、位相板５１２２は、入射された常光線がｙ方向の波形であるので、入射された常光線の波形を透過させると共に、ｘ方向の波形を発生し、異常光線については、入射される際にｘ方向の波形であるので、入射された異常光線そのものを透過させると共に、その波形と９０度ことなるｙ方向の波形を発生して、結晶板５１２１ｂに出射する。
【２７０８】
結晶板５１２１ｂは、入射された常光線Ｌ１と異常光線Ｌ２のそれぞれを入射位置で、それぞれ常光線と異常光線（Ｌ１とＬ３、および、Ｌ２とＬ４）に分離して、相互の距離がｄとなるように出射する。その結果、図３３５で示されるように、例えば、紙面裏側から入射される光Ｌ１は、水晶５１２１ａにより光Ｌ１，Ｌ２にそれぞれ分離され、さらに、水晶５１２１ｂによりＬ１とＬ３、および、Ｌ２とＬ４にそれぞれ分離される。尚、このとき光のエネルギーは、一回の分離で１／２に分離されているので、ＯＬＰＦ５１０３は、入射された光を２５％ずつ水平方向、および、垂直方向に距離ｄ（ＯＬＰＦ移動量ｄとも称する）だけ離れた位置に分散して出射している。結果として、ＣＣＤ５１０４の各画素には、異なる４画素分の光が２５％ずつ重畳された光が受光されて画素値に変換され、画像データが生成されていることになる。
【２７０９】
このＯＬＰＦ移動量ｄは、以下の式（２４８）により求められる。
【２７１０】
ｄ＝ｔ×（ｎ_ｅ ^２−ｎ_ｏ ^２）／（２×ｎ_ｅ×ｎ_ｏ）・・・（２４８）
【２７１１】
尚、ＯＬＰＦ５１０３は、上述のように、入射光を４画素に分散するのみではなく、さらに、多くの水晶を用いて、それ以外の画素数に分散させるようにしてもよい。
【２７１２】
このように光学ブロック５１１０により、センサ２に入射される光は実世界ものとは異なるものに変化している。そこで、上述した光学ブロック５１１０の特性を考慮した（ここでは、特に、ＯＬＰＦ５１０３の特性を考慮した）画像データの処理について説明する。
【２７１３】
図３３６は、上述の光学ブロック５１１０の特性を考慮して画像データを処理できるようにした信号処理装置の構成を示すブロック図である。尚、図３を参照して説明した構成と同様の部位については、同一の符号を付してあり、その説明は、適宜省略するものとする。
【２７１４】
ＯＬＰＦ除去部５１３１は、入力画像中に含まれている上述の光学ブロック５１１０のうち、特にＯＬＰＦ５１０３の特性を考慮して、入力画像を光学ブロック５１１０に入射する前の画像に変換して（推定して）、データ定常性検出部１０２、および、実世界推定部１０２に出力する。
【２７１５】
次に、図３３７を参照して、図３３６のＯＬＰＦ除去部５１３１の構成について説明する。
【２７１６】
クラスタップ抽出部５１４１は、入力された画像データの各画素について、対応する位置の複数の画素（例えば、図３３８で示されるような注目画素を含む水平方向、垂直方向、または、上下左右の斜方向に隣接した合計９画素。尚、図３３８においては、２重丸が注目画素であり、それ以外の画素は丸で示されている）の画素値をクラスタップとして抽出し、特徴量演算部５１４２に出力する。
【２７１７】
特徴量演算部５１４２は、クラスタップ抽出部５１４１より入力されたクラスタップの画素値に基づいて特徴量を演算して、クラス分類部５１４３に出力する。例えば、その特徴量は、クラスタップの各画素の画素値の総和であるとか、または、隣接する画素間の差分の和などである。
【２７１８】
クラス分類部５１４３は、特徴量演算部５１４２より入力された特徴量に基づいて、各画素のクラス（クラスコード）を決定し、決定したクラスの情報を予測タップ抽出部５１４５に抽出すると共に、係数メモリ５１４４を制御して、その決定したクラスに対応する予測係数を画素値演算部５１４６に供給させる。このクラスは、例えば、特徴量が隣接する画素間の差分の和であるとした場合、その和となる値の範囲に応じて設定されるものである。例えば、その和が０乃至１０の場合は、クラス１、和の値が１１乃至２０の場合は、クラス２といったようにクラスコードは設定される。
【２７１９】
係数メモリ５１４４に記憶されている、特徴量に基づいたクラスコード毎の予測係数は、図３４１を参照して、後述する学習装置５１５０により予め学習処理により演算されて記憶されている。
【２７２０】
予測タップ抽出部５１４５は、クラス分類部５１４３より入力されたクラスの情報に基づいて、入力画像の注目画素に対応する予測タップとなる複数の画素（クラスタップと同じこともある）の画素値を抽出して画素値演算部５１４６に出力する。予測タップは、クラス毎に設定されるものであり、例えば、クラス１の場合は、注目画素のみであり、クラス２の場合は、注目画素を中心とした３画素×３画素であり、クラス３の場合は、注目画素を中心とした５画素×５画素などといったものである。
【２７２１】
画素値演算部５１４６は、予測タップ抽出部５１４５より入力された予測タップとなる各画素の画素値と、係数メモリ５１４４より供給された予測係数の値に基づいて画素値を演算して、演算された画素値に基づいて出力画像を生成し、出力する。画素値演算部５１４６は、例えば、次の式（２４９）で示される積和演算を実行することにより、予測画像の画素を求める（予測推定する）。
【２７２２】
【数１９８】

【２７２３】
式（２４９）において、ｑ’は、予測画像（生徒画像から予測される画像）の画素を表している。ｃ_ｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップのそれぞれを表している。また、ｄ_ｉのそれぞれは、予測係数のそれぞれを表している。
【２７２４】
このように、ＯＬＰＦ除去部５１３１は、入力画像から、それに対するＯＬＰＦによる影響を除去した画像を予測推定する。
【２７２５】
次に、図３３９のフローチャートを参照して、図３３６を参照して説明した信号処理装置による信号の処理について説明する。尚、図３３９のフローチャートにおけるステップＳ５１０２乃至Ｓ５１０４の処理は、図４０を参照して説明した処理と同様であるので、その説明は省略する。
【２７２６】
ステップＳ５１０１において、ＯＬＰＦ除去部５１３１は、ＯＬＰＦの除去の処理を実行する。
【２７２７】
ここで、図３４０のフローチャートを参照して、ＯＬＰＦの除去の処理を説明する。
【２７２８】
ステップＳ５０１１において、クラスタップ抽出部５１４１は、入力画像の各画素についてクラスタップを抽出して、抽出したクラスタップの各画素の画素値を特徴量演算部５１４２に出力する。
【２７２９】
ステップＳ５０１２において、特徴量演算部５１４２は、クラスタップ抽出部５１４１より入力されたクラスタップの各画素の画素値に基づいて所定の特徴量を演算してクラス分類部５１４３に出力する。
【２７３０】
ステップＳ５０１３において、クラス分類部５１４３は、特徴量演算部５１４２より入力された特徴量に基づいてクラスを分類し、分類したクラスコードを予測タップ抽出部５１４５に出力する。
【２７３１】
ステップＳ５０１４において、予測タップ抽出部５１４５は、クラス分類部５１４３より入力されたクラスコードの情報に基づいて、入力画像より予測タップとなる複数の画素の画素値を抽出して、画素値演算部５１４６に出力する。
【２７３２】
ステップＳ５０１５において、クラス分類部５１４３は、係数メモリ５１４４を制御して、分類したクラス（クラスコード）に応じて、対応する予測係数を画素値演算部５１４６に読み出させる。
【２７３３】
ステップＳ５０１６において、画素値演算部５１４６は、予測タップ抽出部５１４５より入力された予測タップとなる各画素の画素値と、係数メモリ５１４４より供給された予測係数に基づいて、画素値を演算する。
【２７３４】
ステップＳ５０１７において、画素値演算部５１４６は、全画素について画素値を演算したか否かを判定し、全ての画素について画素値を演算していないと判定された場合、その処理は、ステップＳ５０１１に戻る。すなわち、全画素について、画素値が演算されたと判定されるまで、ステップＳ５０１１乃至Ｓ５０１７の処理が繰り返されることになる。
【２７３５】
ステップＳ５０１７において、全画素について画素値が演算されたと判定された場合、画素値演算部５１４６は、演算された画像を出力する。
【２７３６】
以上によれば、光学ブロック５１１０により生じたＯＬＰＦ５１０３により生じる画像への影響を除去することが可能となる。
【２７３７】
次に、図３４１を参照して、図３３７の係数メモリ５１４４に予め記憶される予測係数を学習する学習装置５１５０について説明する。
【２７３８】
学習装置５１５０は、入力画像として高解像度画像を使用して、標準解像度画像からなる生徒画像と教師画像を生成して学習処理を実行する。なお、以下、標準解像度の画像を、適宜、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称する。また、これに対して、以下、高解像度の画像を、適宜、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称する。
【２７３９】
さらに、学習部５１５２のクラスタップ抽出部５１６２、特徴量演算部５１６３、および、予測タップ抽出部５１６５は、図３３７のＯＬＰＦ除去部５１３１のクラスタップ抽出部５１４１、特徴量演算部５１４２、および、予測タップ抽出部５１４５と同様のものであるので、その説明は省略する。
【２７４０】
生徒画像生成部５１５１は、入力画像であるＨＤ画像をＯＬＰＦ５１０３を考慮してＳＤ画像に変換し、ＯＬＰＦ５１０３により光学的に影響を受けた生徒画像を生成して、学習部５１５２の画像メモリ５１６１に出力する。
【２７４１】
学習部５１５２の画像メモリ５１６１は、入力されたＳＤ画像からなる生徒画像を一時的に記憶した後、順次クラスタップ抽出部５１６２、および、予測タップ抽出部５１６５に出力する。
【２７４２】
クラス分類部５１６４は、特徴量抽出部５１６３より入力された各画素毎のクラスの分類結果（上述のクラスコード）を予測タップ抽出部５１６５、および、学習メモリ５１６７に出力する。
【２７４３】
足し込み演算部５１６６は、予測タップ抽出部５１６５より入力される予測タップの各画素の画素値と、教師画像生成部５１５３より入力される画像の画素の画素値から後述する正規方程式を生成する際に必要とされる各項のサメーションの項を足し込みにより生成し、学習メモリ５１６７に出力する。
【２７４４】
学習メモリ５１６７は、クラス分類部５１６４より供給されるクラスコードと、足し込み演算部５１６６より入力される足し込み結果を対応付けて記憶し、適宜正規方程式演算部５１６８に供給する。
【２７４５】
正規方程式演算部５１６８は、学習メモリ５１６７に記憶されているクラスコードと、足し込み結果に基づいて正規方程式を生成すると共に、その正規方程式を演算して、各予測係数を求めて、係数メモリ５１５４にクラスコードに対応付けて記憶させる。尚、この係数メモリ５１５４に記憶された予測係数が、図３３７のＯＬＰＦ除去部５１３１の係数メモリに記憶されることになる。
【２７４６】
正規方程式演算部５１６８についてさらに詳しく説明する。
【２７４７】
上述した式（２４９）において、学習前は予測係数ｄ_ｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像の画素を入力することによって行う。所定のクラスコードに対応する教師画像の画素がｍ個存在し、ｍ個の教師画像の画素のそれぞれを、ｑ_ｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２４９）から、次の式（２５０）が設定される。
【数１９９】

【２７４８】
即ち、式（２５０）は、右辺の演算をすることで、所定の教師画像の画素ｑ_ｋを予測推定することができることを表している。なお、式（２５０）において、ｅ_ｋは誤差を表している。即ち、右辺の演算結果である予測画像（生徒画像から予測演算することにより得られる画像）の画素ｑ_ｋ’が、実際の教師画像の画素ｑ_ｋと厳密には一致せず、所定の誤差ｅ_ｋを含む。
【２７４９】
そこで、式（２５０）において、例えば、誤差ｅｋの自乗和を最小にするような予測係数ｄ_ｉが、学習により求まればよい。
【２７５０】
具体的には、例えば、ｍ＞ｎとなるように、教師画像の画素ｑ_ｋを学習により集めることができれば、最小自乗法によって予測係数ｄ_ｉが一意に決定される。
【２７５１】
即ち、式（２５０）の右辺の予測係数ｄ_ｉを最小自乗法で求める場合の正規方程式は、次の式（２５１）で表される。
【２７５２】
【数２００】

【２７５３】
従って、式（２５１）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄ_ｉが一意に決定されることになる。
【２７５４】
具体的には、式（２５１）で示される正規方程式の各行列のそれぞれを、次の式（２５２）乃至（２５４）のように定義すると、正規方程式は、次の式（２５５）のように表される。
【２７５５】
【数２０１】

【２７５６】
【数２０２】

【２７５７】
【数２０３】

【２７５８】
【数２０４】

【２７５９】
式（２５３）で示されるように、行列Ｄ_ＭＡＴの各成分は、求めたい予測係数ｄ_ｉである。従って、式（２５５）において、左辺の行列Ｃ_ＭＡＴと右辺の行列Ｑ_ＭＡＴが決定されれば、行列解法によって行列Ｄ_ＭＡＴ（即ち、予測係数ｄ_ｉ）の算出が可能である。
【２７６０】
より具体的には、式（２５２）で示されるように、行列Ｃ_ＭＡＴの各成分は、予測タップｃ_ｉｋが既知であれば演算可能である。予測タップｃ_ｉｋは、予測タップ抽出部５１６５により抽出されるので、足し込み演算部５１６６は、予測タップ抽出部５１６５より供給された予測タップｃ_ｉｋのそれぞれを利用して行列Ｃ_ＭＡＴの各成分を足し込み演算することができる。
【２７６１】
また、式（２５４）で示されるように、行列Ｑ_ＭＡＴの各成分は、予測タップｃ_ｉｋと教師画像の画素ｑ_ｋが既知であれば演算可能である。予測タップｃ_ｉｋは、行列Ｃ_ＭＡＴの各成分に含まれるものと同一のものであり、また、教師画像の画素ｑ_ｋは、予測タップｃ_ｉｋに含まれる注目画素（生徒画像のＳＤ画素）に対する教師画像のＳＤ画素である。従って、足し込み演算部５１６６は、予測タップ抽出部５１６５より供給された予測タップｃ_ｉｋと、教師画像を利用して行列Ｑ_ＭＡＴの各成分を足し込み演算することができる。
【２７６２】
このようにして、足し込み演算部５１６６は、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて、学習メモリ５１６７に記憶させる。
【２７６３】
正規方程式演算部５１６８は、学習メモリ５１６７に記憶されているクラスコードに対応して正規方程式を生成し、上述した式（２５５）の行列ＤＭＡＴの各成分である予測係数ｄ_ｉを演算する。
【２７６４】
具体的には、上述した式（２５５）の正規方程式は、次の式（２５６）のように変形できる。
【２７６５】
【数２０５】

【２７６６】
式（２５６）において、左辺の行列Ｄ_ＭＡＴの各成分が、求めたい予測係数ｄ_ｉである。また、行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分は、学習メモリ５１６７より供給されるものである。従って、正規方程式演算部５１６８は、学習メモリに記憶された所定のクラスコードに対応する行列Ｃ_ＭＡＴと行列Ｑ_ＭＡＴのそれぞれの各成分が供給されてきたとき、式（２５５）の右辺の行列演算を行うことで行列Ｄ_ＭＡＴを演算し、その演算結果（予測係数ｄ_ｉ）をクラスコードに対応付けて係数メモリ５１５４に記憶させる。
【２７６７】
次に、上述の図３３７のＯＬＰＦ除去部５１３１と学習部５１３１との関係から、学習に用いられる生徒画像と教師画像について説明する。
【２７６８】
図３４２で示されるように、学習部５１５２は、ＯＬＰＦ５１０３によりフィルタ処理された画像（以下、ＯＬＰＦ有り画像と称する）と、ＯＬＰＦ５１０３によりフィルタ処理されていない画像（以下、ＯＬＰＦ無し画像と称する）を用いて学習により予測係数を求める。
【２７６９】
そして、学習部５１５２により予め学習で求められた予測係数を用いて、ＯＬＰＦ除去部５１３１は、ＯＬＰＦ有り画像をＯＬＰＦ５１０３によるフィルタ処理の影響を除去した画像（以下、ＯＬＰＦ除去画像と称する）に変換する（上述の図３３９のフローチャートを参照して説明した処理）。
【２７７０】
すなわち、図３４３で示されているように、学習部５１５２でなされる学習処理は、ＯＬＰＦ無し画像である教師画像と、ＯＬＰＦ有り画像である生徒画像からなる学習対を用いて実行される。
【２７７１】
このため、ＯＬＰＦを設けた状態で入射される光をセンサ２で受光した場合の画像と、ＯＬＰＦを設けない状態でセンサ２で受光した画像とを生成して学習対とすることになるが、実際には、それぞれの画像を画素単位で正確に位置合わせして使用することが極めて困難である。
【２７７２】
そこで、学習装置５１１０は、入力画像に高解像度画像を用いて、ＯＬＰＦ有り画像とＯＬＰＦ無し画像をシミュレーションにより生成している。
【２７７３】
ここでは、学習装置５１１０における教師画像生成部５１５３による教師画像の生成手法と、生徒画像生成部５１５１による生徒画像の生成手法について説明する。
【２７７４】
図３４４は、学習装置５１１０の教師画像生成部５１５３と、生徒画像生成部５１５１のそれぞれの詳細な構成を示すブロック図である。
【２７７５】
教師画像生成部５１５３の１／１６平均処理部５１５３ａは、入力画像である高解像度画像の全範囲において、４画素×４画素の合計１６画素の画素値の平均画素値を求め、その１６画素の全ての画素値を求められた平均画素値に置き換えて教師画像を生成して出力する。このように処理することにより、ＨＤ画像の画素数は、見かけ上１／１６の画素数（水平方向、および、垂直方向に各々１／４の画素数となる）となる。
【２７７６】
すなわち、この１／１６平均処理部５１５３ａは、入力画像であるＨＤ画像の各画素をセンサ２に入射される光に見立て、ＨＤ画像の４画素×４画素の範囲をＳＤ画像の１画素と見立てることにより、一種の空間的な積分効果を生じさせ、ＯＬＰＦ５１０３による影響のない、センサ２で生成される画像（ＯＬＰＦ無し画像）を仮想的に生成する。
【２７７７】
生徒画像生成部５１５１のＯＬＰＦシミュレーション処理部５１５１ａは、入力されたＨＤ画像の各画素について、図３３４、および、図３３５を参照して説明したように、各画素の画素値を２５％ずつ分散させて、重畳することにより、ＨＤ画像の各画素を光と見てたときにＯＬＰＦ５１０３により生じる作用をシミュレーションする。
【２７７８】
１／１６平均処理部５１３５ｂは、教師画像生成部５１５３の１／１６平均処理部５１５３ａと同様のものであり、４画素×４画素の合計１６画素の平均画素値を１６画素の全ての画素値と置き換え、ＳＤ画像の生徒画像を生成する。
【２７７９】
より詳細には、ＯＬＰＦシミュレーション処理部５１５１ａは、例えば、図３４５で示されるように、入射位置の画素Ｐ１の画素値を１／４にした値を画素Ｐ１乃至Ｐ４のそれぞれに分散し、この処理を全ての画素において実施し、それぞれに分散した値を重畳することにより画素値を求める。この処理により、例えば、図３４５における画素Ｐ４は、画素Ｐ１乃至Ｐ４の平均画素値となる。
【２７８０】
ここで、図３４５において、各マス目は、ＨＤ画像の１画素に対応する。また、点線で囲まれる４画素×４画素がＳＤ画像の１画素に対応する。
【２７８１】
すなわち、図３４５においては、画素Ｐ１，Ｐ２との距離、画素Ｐ１，Ｐ３との距離、および、画素Ｐ２，Ｐ４の距離は、図３３５で示されるＯＬＰＦ５１０３による移動量ｄに相当する。
【２７８２】
画素Ｐ１，Ｐ２との距離、画素Ｐ１，Ｐ３との距離、および、画素Ｐ２，Ｐ４の距離が、２画素となるのは、図３４６で示されるように、実際のＯＬＰＦ５１０３によるＯＬＰＦ移動量ｄが３．３５μｍであるのに対して、実際のＣＣＤ５１０４の画素のピッチ（画素間の水平方向、および、垂直方向の幅）が６．４５μｍであり、その相対比が１．９３であるからである。すなわち、図中の点線で囲まれているようにＯＬＰＦ移動量を２画素に設定し、画素ピッチを４画素とすることにより、相対比が２．０となるので、実測値の１．９３に近い状態で、センサ２に入射される前のＯＬＰＦ５１０３により生じる現象をシミュレーションすることができる。
【２７８３】
同様にして、図３４６で示されているように、ＯＬＰＦ移動量を４画素にして、画素ピッチを８画素にしてもよく、この比率を維持しつつＯＬＰＦ移動量と画素ピッチを設定すれば、その他のＯＬＰＦ移動量と画素ピッチでもよい。さらに、ＯＬＰＦ移動量を６画素として、画素ピッチを１１画素にすることにしても、相対比は１．８３とすることができるため、この比率による処理シミュレーションを行ってもよい。
【２７８４】
教師画像生成部５１５３が、図３４７で示されるような画像を生成する場合、生徒画像生成部５１５１は、図３４８で示されるような画像を生成する。両者ともＨＤ画像の４画素×４画素が実質的にＳＤ画像の１画素として表示されているので、モザイク状の画像となっているが、図３４７で示される教師画像は、図中の白で示されるエッジ部分が、図３４８で示される生徒画像に比べてはっきりとしており、生徒画像にＯＬＰＦ５１０３の影響が生じたような画像が生成されている。
【２７８５】
次に、図３４９のフローチャートを参照して、学習の処理について説明する。
【２７８６】
ステップＳ５０３１において、生徒画像生成部５１５１のＯＬＰＦシミュレーション処理部５１５１ａは、入力されたＨＤ画像の各画素の画素値を図３４５を参照して説明したように、２５％ずつ４画素に分散し、各画素位置に分散された画素値を重畳することにより画素値を生成して、ＯＬＰＦ５１０３による作用をシミュレーションして、処理結果を１／１６平均処理部５１５１ｂに出力する。
【２７８７】
ステップＳ５０３２において、１／１６平均処理部５１５１ｂは、ＯＬＰＦシミュレーション処理部５１５１ａより入力されたＯＬＰＦシミュレーション処理された画像を４画素×４画素の合計１６画素単位で平均画素値を求め、さらに、その１６画素の画素値をその平均画素値に順次置き換えて、見かけ上のＳＤ画像となった生徒画像を生成し学習部５１５２の画像メモリ５１６１に出力する。
【２７８８】
ステップＳ５０３３において、クラスタップ抽出部５１６２は、画像メモリ５１６１に記憶された画像データより注目画素のクラスタップとなる画素の画素値を抽出し、抽出した画素の画素値を特徴量演算部５１６３に出力する。
【２７８９】
ステップＳ５０３４において、特徴量抽出部５１６３は、クラスタップ抽出部５１６２より入力されたクラスタップの画素の画素値の情報を用いて、注目画素に対応する特徴量を演算し、クラス分類部５１６４に出力する。
【２７９０】
ステップＳ５０３５において、クラス分類部５１６４は、入力された特徴量に基づいて、注目画素となる画素に対応するクラスを分類してクラスコードを決定し、予測タップ抽出部５１６５に出力すると共に、学習メモリに記憶させる。
【２７９１】
ステップＳ５０３６において、予測タップ抽出部５１６５は、クラス分類部５１６４より入力されたクラスコードに基づいて、画像メモリ５１６１に記憶された画像データの注目画素に対応する予測タップの画素の画素値の情報を抽出して、足し込み演算部５１６６に出力する。
【２７９２】
ステップＳ５０３７において、教師画像生成部５１５３の１／１６平均処理部５１５３ａは、入力画像であるＨＤ画像を４画素×４画素の合計１６画素単位で平均画素値を求め、求められた平均画素値を、その１６画素の画素値に置き換えることにより、ＯＬＰＦ５１０３による影響を受けていないＯＬＰＦ無し画像（見かけ上ＳＤ画像）を生成して足し込み演算部５１６６に出力する。
【２７９３】
ステップＳ５０３８において、足し込み演算部５１６６は、予測タップ抽出部５１６５より入力された予測タップの画素の画素値と、教師画像生成部５１５３より入力された教師画像の各画素の画素値に基づいて、正規方程式の各項のサメーションとなる値を足し込み、学習メモリ５１６７に出力して、クラスコードに対応付けて記憶させる。
【２７９４】
ステップＳ５０３９において、正規方程式演算部５１６８は、入力画像について、全画素について足し込み処理が終了したか否かを判定し、全画素について足し込み処理が終了していないと判定した場合、その処理は、ステップＳ５０３２に戻り、それ以降の処理が繰り返される。すなわち、全画素について足し込み処理が終了するまでステップＳ５０３２乃至Ｓ５０３９の処理が繰り返されることになる。
【２７９５】
ステップＳ５０３９において、全画素について足し込みが終了したと判定された場合、ステップＳ５０４０において、正規方程式演算部５１６８は、学習メモリ５１６７に記憶されている足し込み結果に基づいて、クラスコードに対応付けて正規方程式を演算し、予測係数を求め係数メモリ５１５４に出力する。
【２７９６】
ステップＳ５０４１において、正規方程式演算部５１６８は、全クラスの予測係数の演算が終了したか否かを判定し、全クラスについて予測係数の演算が終了していないと判定した場合、その処理は、ステップＳ５０４０に戻る。すなわち、全クラスについて予測係数の演算が終了するまで、ステップＳ５０４０の処理が繰り返される。
【２７９７】
ステップＳ５０４１において、全クラスについて予測係数の演算が終了したと判定された場合、その処理は終了する。
【２７９８】
以上の学習の処理により、係数メモリ５１５４に記憶されている予測係数を係数メモリ５１４４にコピーするなどして、使用することでＯＬＰＦ除去部５１３１は、ＯＬＰＦ５１０３によりフィルタ処理された入力画像から、ＯＬＰＦの処理効果を除去した実世界の画像に近い画像を生成することが可能となる。
【２７９９】
例えば、このようにして求められた予測係数を用いることにより、ＯＬＰＦ除去部５１３１は、図３４８で示されるような、ＯＬＰＦ５１０３によるフィルタ処理がなされた画像（ＯＬＰＦ５１０３による処理をシミュレーションして得られた画像）が入力された場合、図３４０のフローチャートを参照して説明したＯＬＰＦの除去の処理により図３５０で示されるような画像を生成する。
【２８００】
このように処理された図３５０で示される画像は、図３４７で示されるようなＯＬＰＦ５１０３によるフィルタ処理がない状態の入力画像と比較してもほぼ同様の画像となっているのがわかる。
【２８０１】
また、図３５１で示されるように、図３４７，図３４８、および、図３５０の画像のｙ方向の所定の同位置で、ｘ方向に画素値の変化を比較しても、ＯＬＰＦによる効果を除去した画像は、ＯＬＰＦによるフィルタ処理がなされた画像よりも、ＯＬＰＦによる効果を与えなかった画像に近い値となっていることがわかる。
【２８０２】
尚、図３５１においては、実線が、図３４７の画像（ＯＬＰＦ無し画像）に対応する画素値の変化であり、点線が、図３４８の画像（ＯＬＰＦ有り画像）であり、さらに、一点鎖線が、図３５０の画像（ＯＬＰＦ除去画像）である。
【２８０３】
以上によれば、それぞれ空間積分効果を有する複数の画素に現実世界の光信号が光学ローパスフィルタを介して射影された画像データが取得され、光学ローパスフィルタにより空間方向のうち少なくとも１次元方向に光信号が分散して積分されていることが考慮されて光学ローパスフィルタに入射される光信号を推定するようにしたので、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることが可能となる。
【２８０４】
以上の例においては、データ定常性検出部１０１の前段で、ＯＬＰＦ５１０３によるフィルタ処理の影響を除去する例について説明してきたが、実世界推定部１０２によりＯＬＰＦ５１０３の影響を考慮して実世界を推定するようにしてもよい。従って、この場合、信号処理装置の構成は、図３を参照して説明した構成となる。
【２８０５】
図３５２は、ＯＬＰＦ５１０３の影響を考慮して実世界を推定するようにした実世界推定部１０２の構成を示すブロック図である。
【２８０６】
図３５２で示されるように、実世界推定部１０２には、条件設定部５２０１、入力画像記憶部５２０２、入力画素値取得部５２０３、積分成分演算部５２０４、正規方程式生成部５２０５、および近似関数生成部５２０６が設けられている。
【２８０７】
条件設定部５２０１は、注目画素に対応する関数Ｆ（ｘ，ｙ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の次数ｎを設定する。
【２８０８】
入力画像記憶部５２０２は、センサ２からの入力画像（画素値）を一次格納する。
【２８０９】
入力画素値取得部５２０３は、入力画像記憶部５２０２に記憶された入力画像のうちの、条件設定部５２０１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部５２０５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【２８１０】
ところで、図３４４，図３４５を参照して説明したように、ＯＬＰＦ５１０３は、入射してきた光をＯＬＰＦ移動量ｄで４点に分散している。従って、画像上の各画素は、図３５３で示されるように、自らの位置を含めた４点の画素値の２５％ずつが重畳されて画素値が生成される。尚、図３５３においては、点線で囲まれている範囲が異なる４画素のポイントを示しており、各々の２５％が重畳されていることが示されている。
【２８１１】
以上のことから、ＯＬＰＦ５１０３によって図３５４で示されるように４点に分散されており、この分散された、センサ２の直前の光の分布を示す近似関数ｇ（ｘ，ｙ）は、実世界を近似する近似関数ｆ（ｘ，ｙ）を用いて、以下の式（２５７）で示されるような関係式となる。尚、図３５４においては、各上に凸の曲線が近似関数ｆ（ｘ，ｙ）を示しており、これらが４個に分散された後、重畳された近似関数がｇ（ｘ，ｙ）である。
【２８１２】

【２８１３】
また、実世界の近似関数ｆ（ｘ，ｙ）は、以下の式（２５８）で示される。
【数２０６】

【２８１４】
ここで、ｗ_ｉは、近似関数の係数を示し、ｓ（＝ｃｏｔθ：θは定常性の角度）は、定常性の傾きを示す。
【２８１５】
従って、センサ２直前の光の分布を示す近似関数ｇ（ｘ，ｙ）は、以下の式（２５９）で示される。
【２８１６】
【数２０７】

実世界推定部１０２は、上述したように、近似関数ｆ（ｘ，ｙ）の特徴量ｗ_ｉを演算する。
【２８１７】
式（２５９）は、次の式（２６０）のように表現することができる。
【２８１８】
【数２０８】

【２８１９】
式（２６０）において、Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、次の式（２６１）で示される通りである。
【２８２０】
【数２０９】

【２８２１】
積分成分演算部５２０４は、この積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算する。
【２８２２】
具体的には、式（２６１）で示される積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、相対画素位置（ｘ，ｙ）、傾きｓ、および、ｉ次項のｉが既知であれば、演算可能である。これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、変数ｓはｃｏｔθであるので角度θにより、ｉの範囲は次数ｎにより、それぞれ決定される。
【２８２３】
従って、積分成分演算部５２０４は、条件設定部５２０１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部５２０５に供給する。
【２８２４】
正規方程式生成部５２０５は、入力画素値取得部５２０３より供給された入力画素値テーブルと、積分成分演算部５２０４より供給された積分成分テーブルを利用して、上述した式（２６０）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部５２０６に出力する。なお、正規方程式の具体例については後述する。
【２８２５】
近似関数生成部５２０６は、正規方程式生成部５２０５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（２５９）の特徴量ｗ_ｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗ_ｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【２８２６】
次に、図３５５のフローチャートを参照して、ＯＬＰＦ５１０３の影響を考慮した実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【２８２７】
例えば、いま、傾きＧ_Ｆで表される空間方向の定常性を有する実世界１の光信号が、センサ２により検出されて、１フレームに対応する入力画像として、入力画像記憶部５２０２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０）の定常性の検出の処理において、入力画像のうちの、データ定常性情報として角度θを既に出力しているとする。
【２８２８】
この場合、ステップＳ５２０１において、条件設定部５２０１は、条件（タップ範囲と次数）を設定する。
【２８２９】
例えば、いま、図３５６で示されるタップ範囲５２４１が設定されるとともに、次数として５次が設定されたとする。
【２８３０】
即ち、図３５６は、タップ範囲の１例を説明する図である。図３５６において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向を表している。また、タップ範囲５２４１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【２８３１】
さらに、図３５６に示されるように、注目画素が、タップ範囲５２４１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図３５６で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【２８３２】
図３５５に戻り、ステップＳ５２０２において、条件設定部５２０１は、注目画素を設定する。
【２８３３】
ステップＳ５２０３において、入力画素値取得部５２０３は、条件設定部５２０１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部５２０３は、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【２８３４】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（２６２）で示される関係とされる。ただし、式（２６２）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【２８３５】
【数２１０】

【２８３６】
ステップＳ５２０４において、積分成分演算部５２０４は、条件設定部５２０１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【２８３７】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部５２０４は、上述した式（２６１）の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を、次の式（２６３）の左辺で示される積分成分Ｓ_ｉ（ｌ）といったｌの関数として演算する。
【２８３８】
Ｓｉ（ｌ） ＝ Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） ・・・（２６３）
【２８３９】
具体的には、いまの場合、次の式（２６４）で示される積分成分Ｓ_ｉ（ｌ）が演算される。
【２８４０】
【数２１１】

【２８４１】
なお、式（２６４）において、左辺が積分成分Ｓ_ｉ（ｌ）を表し、右辺が積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ_０（ｌ），２０個のＳ_１（ｌ），２０個のＳ_２（ｌ），２０個のＳ_３（ｌ），２０個のＳ_４（ｌ），２０個のＳ_５（ｌ）の総計１２０個のＳ_ｉ（ｌ）が演算されることになる。
【２８４２】
より具体的には、はじめに、積分成分演算部５２０４は、データ定常性検出部１０１より供給された角度θに対するｃｏｔθを演算し、それを変数ｓとする。次に、積分成分演算部５２０４は、演算した変数ｓを使用して式（２６４）の右辺で示される２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）が演算されることになる。なお、この積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）の演算においては、上述した式（２６１）が使用される。そして、積分成分演算部５２０４は、式（２６４）に従って、演算した１２０個の積分成分Ｓ_ｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）のそれぞれを、対応するＳ_ｉ（ｌ）のそれぞれに変換し、変換した１２０個のＳ_ｉ（ｌ）を含む積分成分テーブルを生成する。
【２８４３】
なお、ステップＳ５２０３の処理とステップＳ５２０４の処理の順序は、図３５５の例に限定されず、ステップＳ５２０４の処理が先に実行されてもよいし、ステップＳ５２０３の処理とステップＳ５２０４の処理が同時に実行されてもよい。
【２８４４】
次に、ステップＳ５２０５において、正規方程式生成部５２０５は、ステップＳ５２０３の処理で入力画素値取得部５２０３により生成された入力画素値テーブルと、ステップＳ５２０４の処理で積分成分演算部５２０４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【２８４５】
具体的には、いまの場合、上述した式（２６０）を利用して最小自乗法により特徴量ｗｉが演算される（ただし、式（２５８）において、積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、式（２６２）により変換されるＳｉ（ｌ）が使用される）ので、それに対応する正規方程式は、次の式（２６５）のように表される。
【２８４６】
【数２１２】

【２８４７】
なお、式（２６５）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【２８４８】
式（２６５）で示される正規方程式の各行列のそれぞれを、次の式（２６６）乃至（２６８）のように定義すると、正規方程式は、次の式（２６９）のように表現される。
【２８４９】
【数２１３】

【２８５０】
【数２１４】

【２８５１】
【数２１５】

【２８５２】
【数２１６】

【２８５３】
式（２６７）で示されるように、行列Ｗ_ＭＡＴの各成分は、求めたい特徴量ｗ_ｉである。従って、式（２６９）において、左辺の行列Ｓ_ＭＡＴと右辺の行列Ｐ_ＭＡＴが決定されれば、行列解法によって行列Ｗ_ＭＡＴの演算が可能になる。
【２８５４】
具体的には、式（２６６）で示されるように、行列Ｓ_ＭＡＴの各成分は、上述した積分成分Ｓ_ｉ（ｌ）で演算可能である。即ち、積分成分Ｓ_ｉ（ｌ）は、積分成分演算部５２０４より供給された積分成分テーブルに含まれているので、正規方程式生成部５２０５は、積分成分テーブルを利用して行列Ｓ_ＭＡＴの各成分を演算することができる。
【２８５５】
また、式（２６８）で示されるように、行列Ｐ_ＭＡＴの各成分は、積分成分Ｓ_ｉ（ｌ）と入力画素値Ｐ（ｌ）で演算可能である。即ち、積分成分Ｓ_ｉ（ｌ）は、行列Ｓ_ＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部５２０３より供給された入力画素値テーブルに含まれているので、正規方程式生成部５２０５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_ＭＡＴの各成分を演算することができる。
【２８５６】
このようにして、正規方程式生成部５２０５は、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分を演算し、その演算結果（行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部５２０６に出力する。
【２８５７】
正規方程式生成部５２０５より正規方程式テーブルが出力されると、ステップＳ５２０６において、近似関数生成部５２０６は、正規方程式テーブルに基づいて、上述した式（２６７）の行列Ｗ_ＭＡＴの各成分である特徴量ｗ_ｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗ_ｉ）を演算する。
【２８５８】
具体的には、上述した式（２６９）の正規方程式は、次の式（２７０）のように変形できる。
【２８５９】
【数２１７】

【２８６０】
式（２７０）において、左辺の行列Ｗ_ＭＡＴの各成分が、求めたい特徴量ｗ_ｉである。また、行列Ｓ_ＭＡＴと行列Ｐ_ＭＡＴのそれぞれの各成分は、正規方程式生成部５２０５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部５２０６は、正規方程式テーブルを利用して、式（２７０）の右辺の行列演算を行うことで行列Ｗ_ＭＡＴを演算し、その演算結果（特徴量ｗ_ｉ）を画像生成部１０３に出力する。
【２８６１】
ステップＳ５２０７において、近似関数生成部５２０６は、全画素の処理を終了したか否かを判定する。
【２８６２】
ステップＳ５２０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ５２０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ５２０２乃至Ｓ５２０７の処理が繰り返される。
【２８６３】
そして、全画素の処理が終了すると（ステップＳ５２０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【２８６４】
図３５７Ａは、高精細の入力画像（自転車のスポークの画像）を示しており、図３５７Ｂは、図３５７Ａの画像がＯＬＰＦ５１０３により処理された画像であり、図３５７Ｃは、上述した図３５５のフローチャートを参照して説明した処理により図３５７Ｂの画像から推定された実世界の近似関数を用いて画素を生成した画像であり、図３５７Ｄは、図３５７Ｂの画像を従来のクラス分類適応処理により生成した画像である。
【２８６５】
図３５７Ｃの画像は、図３５７Ｄの画像に比べて、エッジが強く表示されスポークの輪郭がはっきりと表示されていることがわかる。
【２８６６】
また、図３５８は、図３５７Ａ乃至Ｄの画像の所定の垂直方向の位置における水平方向の画素値の変化を示した図である。図３５８においては、１点鎖線は、５２−６Ａの画像に、実線は、図３５７Ｂの画像に、点線は、図３５７Ｃの画像に、２点鎖線は、図３５７Ｄの画像にそれぞれ対応している。図３５８で示されるように、スポークの像を表示している空間方向Ｘ＝１０付近において、図３５２の実世界推定部１０２によりＯＬＰＦ５１０３の影響を考慮した処理の画像である点線の方が、２点鎖線で示される従来のクラス分類適応処理により生成された画像よりも、入力画像に近い値が得られているのがわかる。
【２８６７】
特に、画素値の値が小さい部分は、スポークのエッジ部分の照り返し部分であるが、この部分については、ＯＬＰＦを考慮した処理により表現力が向上している。
【２８６８】
図３５２の実世界推定部１０２によれば、ＯＬＰＦ５１０３による影響を考慮した実世界の近似関数ｆ（ｘ）を求めることが可能となり、さらに、ＯＬＰＦ５１０３による影響を考慮した実世界の近似関数ｆ（ｘ）からＯＬＰＦ５１０３による影響を考慮した画素を生成することが可能となる。
【２８６９】
以上、２次元多項式近似手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）の係数（特徴量）ｗ_ｉを演算する例を用いたが、もちろん、空間方向（Ｘ方向、または、Ｙ方向）のいずれかのみに適用し、１次元多項式近似手法としてもよい。
【２８７０】
以上によれば、それぞれ空間積分効果を有する複数の画素に現実世界の光信号が光学ローパスフィルタを介して射影され、現実世界の光信号の定常性の一部が欠落した画像データの空間方向のうち少なくとも１次元方向の位置に対応する注目画素の画素値が、光学ローパスフィルタに対応した複数の実世界関数の少なくとも１次元方向の積分により取得された画素値であるとして複数の実世界関数を推定することにより、現実世界の光信号に対応する関数を推定するようにしたので、より忠実に実世界を推定することが可能となる。
【２８７１】
以上においては、図３３６の信号処理装置においては、センサ２から入力される画像よりＯＬＰＦ５１０３の影響を除去するようにして信号処理を実行し、図３５２の実世界推定部１０２では、ＯＬＰＦ５１０３の影響を考慮して実世界の近似関数を推定する処理により、結果的に信号処理においてＯＬＰＦ５１０３の影響を考慮した処理を行ってきたが、例えば、ＯＬＰＦ無しのＨＤ画像を教師画像とし、ＯＬＰＦ有りのＳＤ画像を生徒画像として学習により予測係数を設定し、クラス分類適応処理により画像を生成するようにしてもよい。
【２８７２】
図３５９は、ＯＬＰＦ無しのＨＤ画像を教師画像とし、ＯＬＰＦ有りのＳＤ画像を生徒画像として学習により予測係数を設定し、クラス分類適応処理により画像を生成するようにした信号処理装置５２２１の構成を示すブロック図である。
【２８７３】
尚、図３５９における信号処理装置５２２１は、実質的に、図３３７のＯＬＰＦ除去部５１３１と同様の構成であり、信号処理装置５２２１のクラスタップ抽出部５２４１、特徴量演算部５２４２、クラス分類部５２４３、係数メモリ５２４４、予測タップ抽出部５２４５、および、画素値演算部５２４６は、ＯＬＰＦ除去部５１３１の信号処理装置５１４１のクラスタップ抽出部５１４１、特徴量演算部５１４２、クラス分類部５１４３、係数メモリ５１４４、予測タップ抽出部５１４５、および、画素値演算部５１４６は、同様のものであるのでその説明は省略する。ただし、係数メモリ５２４４に記憶されている予測係数は、係数メモリ５１４４とは異なる学習により得られたものであり、異なるものである。係数メモリ５２４４に記憶される予測係数の学習については、図３６１の学習装置を参照して後述する。
【２８７４】
次に、図３６０のフローチャートを参照して、図３５９の信号処理装置５２２１による信号の処理について説明するが、実質的に、図３４０のフローチャートにおける処理と同様であるので、その説明は省略する。
【２８７５】
以上によれば、それぞれ空間積分効果を有する複数の画素に現実世界の光信号が光学ローパスフィルタを介して射影されることにより取得される第１の画像データを取得し、第２の画像データ内の注目画素に対応する複数の画素を第１の画像データから抽出し、第１の画像データから光学ローパスフィルタに入射される光信号が直接射影されることにより取得される第２の画像データを予測するように予め学習し、抽出した複数の画素と予測に基いて第２の画像データ内の注目画素の画素値を予測するようにしたので、実世界に忠実な画像を生成することが可能となる。
【２８７６】
次に、図３６１を参照して、図３５９の信号処理装置の係数メモリ５２４４に記憶される予測係数を学習する（上述における図３５９の信号処理装置は、予測係数を用いて画素値を予測する予測手段であるので、予測係数を学習することは、すなわち、この予測手段を学習することになる）学習装置について説明する。尚、図３６１の学習部５２５２は、図３４１の学習部５１５２と実質的に同様のものであり、学習部５２５２の画像メモリ５２６１、クラスタップ抽出部５２６２、特徴量抽出部５２６３、クラス分類部５２６４、予測タップ抽出部５２６５、足し込み演算部５２６６、学習メモリ５２６７、正規方程式演算部５２６８、および、係数メモリ５２５４は、学習部５１５２の画像メモリ５１６１、クラスタップ抽出部５１６２、特徴量抽出部５１６３、クラス分類部５１６４、予測タップ抽出部５１６５、足し込み演算部５１６６、学習メモリ５１６７、正規方程式演算部５１６８、および、係数メモリ５１５４と同様のものであるので、その説明は省略する。
【２８７７】
また、図３６２で示されるように、教師画像生成部５２５３の１／１６平均処理部５２５３ａ、および、生徒画像生成部５２５１のＯＬＰＦシミュレーション処理部５２５１ａは、図３４４の教師画像生成部５１５３の１／１６平均処理部５１５３ａ、および、生徒画像生成部５１５１のＯＬＰＦシミュレーション処理部５１５１ａと同様であるので、その説明も省略する。
【２８７８】
生徒画像生成部５２５１の１／６４平均処理部５２５１ｂは、ＯＬＰＦシミュレーションによりＯＬＰＦ５１０３による処理がなされたＨＤ画像の各画素をセンサ２に入射される光に見立て、ＨＤ画像の８画素×８画素の範囲をＳＤ画像の１画素と見立てることにより、一種の空間的な積分効果を生じさせ、ＯＬＰＦ５１０３による影響のない、センサ２で生成される画像（ＯＬＰＦ無しＳＤ画像）を仮想的に生成する。
【２８７９】
次に、図３６３のフローチャートを参照して、図３６１の学習装置による学習の処理について説明する。
【２８８０】
尚、ステップＳ５２３１の処理、および、Ｓ５２３３乃至Ｓ５２４１の処理は、図３４９のフローチャートを参照して説明したステップＳ５０３１の処理、および、ステップＳ５０３３乃至Ｓ５０４１の処理と同様であるので、その説明は省略する。
【２８８１】
ステップＳ５２３２において、１／６４平均処理部５２５１ｂは、ＯＬＰＦシミュレーション処理部５２５１ａより入力されたＯＬＰＦシミュレーション処理された画像を８画素×８画素の合計６４画素単位で平均画素値を求め、さらに、その６４画素の画素値をその平均画素値に順次置き換えて、見かけ上のＳＤ画像となった生徒画像を生成し学習部５２５２の画像メモリ５２６１に出力する。
【２８８２】
以上の処理により、係数メモリ５２５４には、ＯＬＰＦ無しのＨＤ画像を教師画像とし、ＯＬＰＦ有りのＳＤ画像を生徒画像としたときの予測係数が記憶されることになる。さらに、この係数メモリ５２５４に記憶された予測係数を、信号処理装置５２２１の係数メモリ５２４４にコピーするなどすることにより、図３６０の信号の処理を実行することが可能となり、さらには、ＯＬＰＦ有りのＳＤ画像をＯＬＰＦ無しのＨＤ画像に変換することが可能となる。
【２８８３】
以上の処理をまとめると、実世界の画像にＯＬＰＦの処理が施され、さらに、撮像素子（センサ２）撮像されたＳＤ画像（図中の実世界＋ＬＰＦ＋撮像素子）は、図３３７のＯＬＰＦ除去部５１３１により図３６４の矢印Ａで示されるように、ＯＬＰＦによる処理が除去されたＳＤ画像（図中の実世界＋撮像素子）に変換され、さらに、定常性検出部１０１、および、実世界推定部１０２により、図３６４の矢印Ａ’で示されるように、ＯＬＰＦによる処理前の実世界が推定される。
【２８８４】
また、図３５２で示される実世界推定部１０２は、ＳＤ画像（図中の実世界＋ＬＰＦ＋撮像素子）から、図３６４の矢印Ｂで示されるようにＯＬＰＦによる処理前の実世界を推定する。
【２８８５】
さらに、図３５９で示される信号処理装置５２２１は、図３６４の矢印Ｃで示されるように、ＳＤ画像（図中の実世界＋ＬＰＦ＋撮像素子）から実世界をＯＬＰＦの影響を受けない状態で撮像素子により撮像した画像を生成する。
【２８８６】
また、従来のクラス分類適応処理は、図３６４の矢印Ｄで示されるように、ＳＤ画像（図中の実世界＋ＬＰＦ＋撮像素子）から実世界をＯＬＰＦを介した状態で撮像素子により撮像したＨＤ画像を生成する。
【２８８７】
さらに、図３の信号処理装置は、図３６４の矢印Ｅで示されるように、ＳＤ画像（図中の実世界＋ＬＰＦ＋撮像素子）からＯＬＰＦにより影響を受けた実世界を推定する。
【２８８８】
以上によれば、第２の画像データに対応する光信号が光学ローパスフィルタを通過したときの光信号に対応する画像データを演算し、第１の画像データとして出力し、第２の画像データ内の注目画素に対応する複数の画素を第１の画像データから抽出し、抽出した複数の画素の画素値から、注目画素の画素値を予測するように学習するようにしたので、実世界に忠実な画像を生成することが可能となる。
【２８８９】
また、以上においては、実世界を近似する近似関数ｆ（ｘ）を連続関数として扱ってきたが、例えば、領域毎に不連続に近似関数ｆ（ｘ）を設定するようにしてもよい。
【２８９０】
すなわち、以上においては、図３６５で示されるように実世界の光の強度の分布を示す１次元の断面となる曲線（図中の点線で示された曲線）の関数（近似関数）を多項式により近似し、定常性の方向にこの曲線が連続して存在することを利用して実世界を推定していた。
【２８９１】
しかしながら、この断面となる曲線は、必ずしも多項式のような連続関数である必要はなく、例えば、図３６６で示されるように領域毎に異なる不連続な関数であってもよい。すなわち、図３６６の場合、領域ａ_１≦ｘ＜ａ_２のとき、近似関数はｆ（ｘ）＝ｗ_１であり、領域ａ_２≦ｘ＜ａ_３のとき、近似関数はｆ（ｘ）＝ｗ_２であり、領域ａ_３≦ｘ＜ａ_４のとき、近似関数はｆ（ｘ）＝ｗ_３であり、領域ａ_４≦ｘ＜ａ_５のとき、近似関数はｆ（ｘ）＝ｗ_４であり、さらに、領域ａ_５≦ｘ＜ａ_６のとき、近似関数はｆ（ｘ）＝ｗ_５であり、それぞれ領域毎に異なる近似関数ｆ（ｘ）が設定されている。また、ｗ_ｉは、実質的に、各領域における光の強度のレベルと考えることができる。
【２８９２】
このように図３６６で示されるような不連続関数は、以下の式（２７１）の一般式で定義される。
【２８９３】
ｆ（ｘ）＝ｗ_ｉ（ａ_ｉ≦ｘ＜ａ_ｉ＋１）・・・（２７１）
【２８９４】
ここで、ｉは、領域が設定された数を示している。
【２８９５】
このように図３６６で示されたような断面の分布（断面の曲線に対応するもの）は、各領域毎に定数として設定されている。尚、図３６６で示される、画素値の断面の分布は、図３６５の点線で示される曲線の分布と比較して、その形状が大きく異なるものとなっているが、実際には、各関数ｆ（ｘ）が設定される範囲（ここでは、ａ_ｉ≦ｘ＜ａ_ｉ＋１）の幅を微小なものとすることにより、不連続関数の断面の分布と、連続関数の断面の曲線は、幾何学的に近似できるレベルとすることが可能である。
【２８９６】
従って、式（２７１）で定義される、実世界の不連続関数からなる近似関数ｆ（ｘ）を用いることにより、以下の式（２７２）により画素値Ｐが求められることになる。
【数２１８】

【２８９７】
ここで、ｘ_ｅ，ｘ_ｓは、Ｘ方向の積分範囲を示す値を示し、ｘ_Ｓが積分開始位置を、ｘ_ｅが積分終了位置をそれぞれ示している。
【２８９８】
しかしながら、実際には、上述の式（２７１）で示されるような実世界を近似する関数を直接求めることは困難である。
【２８９９】
図３６６で示されるような画素値の断面の分布は、定常性の方向に対して連続して存在するものと仮定されるので、空間における光の強度の分布は、図３６７で示されるようなものとなる。ここで、図３６７の左部は、連続関数からなる近似関数ｆ（ｘ）が定常性の方向に連続的に存在した場合の画素値の分布に対応したものであり、図３６７の右部は、左部に対応する同じ分布を、図３６６の不連続関数からなる近似関数ｆ（ｘ）を用いて、定常性の方向に対して連続して存在した場合の画素値の分布に対応したものである。
【２９００】
すなわち、定常性の方向に沿って、図３６６で示された断面の形状が連続した状態となるため、不連続関数を用いた近似関数ｆ（ｘ）を用いた場合、各レベルｗ_ｉは、定常性の方向に沿って帯状に分布することになる。
【２９０１】
図３６７の右部で示されるような不連続関数により定義された近似関数ｆ（ｘ）を用いて、各領域のレベルを決定するには、各画素の総面積のうち、各レベル（各関数）が設定された範囲に占める、領域毎の面積の割合に応じた重みと、そのレベルとの積和を求め、対応する画素の画素値を用いて正規方程式を生成し、最小自乗法を用いて、各領域の画素値を求める必要がある。
【２９０２】
すなわち、図３６８で示されるように、図３６８の左部に示されるように不連続関数が分布する場合、図３６８の太線で囲まれたマス目で示される注目画素（尚、図３６８は、紙面をＸＹ平面としたときの画素の配列を示す上面図であり、各マス目が画素に相当する）の画素値を求める場合、注目画素中の斜線部で示された部分より上部に存在する三角形状（底辺が上部の三角形）の範囲がｆ（ｘ）＝ｗ_２で設定された範囲であり、斜線部がｆ（ｘ）＝ｗ_３で設定された範囲であり、斜線部の下部に存在する三角形状（底辺が下部の三角形）の範囲がｆ（ｘ）＝ｗ_４で設定された範囲となっている。注目画素の面積が１である場合、ｆ（ｘ）＝ｗ_２で設定された範囲の占める割合が０．２、ｆ（ｘ）＝ｗ_３で設定された範囲の占める割合が０．５、および、ｆ（ｘ）＝ｗ_４で設定された範囲の占める割合が０．３であるものとしたとき、注目画素の画素値Ｐは、各範囲の画素値と割合の積和で表されるので、以下の式（２７３）で示される演算により求められる。
【２９０３】
Ｐ＝０．２×ｗ_２＋０．５×ｗ_３＋０．３×ｗ_４・・・（２７３）
【２９０４】
従って、各画素について、式（２７３）で示される関係を用いて画素値との関係式を生成することで、例えば、レベルｗ_１乃至ｗ_５を求めるには、全てのレベルを含む最低５画素分の画素値との関係を示す式（２７３）が得られれば、例えば、最小自乗法（関係式の数と未知数が同数である場合は連立方程式）により画素値のレベルを示すｗ_１乃至ｗ_５を得ることが可能となる。
【２９０５】
このように定常性を用いた２次元の関係を利用することにより、不連続関数からなる近似関数ｆ（ｘ）を求めることが可能となる。
【２９０６】
定常性検出部１０１により定常性の角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘ_ｌが、次の式（２７４）のように表される。ただし、式（２７４）において、ｓは定常性の傾きを示しており、定常性の傾きが角度θで表されるとき、ｃｏｔθ（＝ｓ）で表されるものである。
【２９０７】
ｘ_ｌ＝ｓ×ｙ・・・（２７４）
【２９０８】
即ち、データの定常性に対応する直線上の点は、座標値（ｘ_ｌ，ｙ）で表される。
【２９０９】
式（２７４）より、断面方向距離ｘ’（定常性の存在する直線に沿ってＸ方向にずれた距離）は、次の式（２７５）のように表される。
【２９１０】

従って、入力画像の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（２７１）と式（２７５）より、次の式（２７６）のように示される。
【２９１１】
ｆ（ｘ，ｙ）＝ｗ_ｉ（ａ_ｉ≦（ｘ−ｓ×ｙ）＜ａ_ｉ＋１）・・・（２７６）
【２９１２】
なお、式（２７６）において、ｗ_ｉは、各領域における光の強度のレベルを示す特徴量であるといえる。尚、以下において、ｗ_ｉは、特徴量とも称する。
【２９１３】
従って、実世界推定部１０２は、式（２７６）の各領域毎の特徴量ｗ_ｉを演算することができれば、不連続関数からなる近似関数ｆ（ｘ，ｙ）を推定することにより、波形Ｆ（ｘ，ｙ）を推定することができる。
【２９１４】
そこで、以下、式（２７６）の特徴量ｗ_ｉを演算する手法について説明する。
【２９１５】
即ち、式（２７６）で表される近似関数ｆ（ｘ，ｙ）を、画素（センサ２の検出素子）に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（２７７）である。なお、不連続関数を用いた２次元の近似手法においては、フレーム方向Ｔは一定値とみなされるので、式（２７７）は、空間方向（Ｘ方向とＹ方法）の位置ｘ，ｙを変数とする方程式とされている。
【２９１６】
【数２１９】

【２９１７】
式（２７７）において、Ｐ（ｘ，ｙ）は、センサ２からの入力画像のうちの、その中心位置が位置（ｘ，ｙ）（注目画素からの相対位置（ｘ，ｙ））に存在する画素の画素値を表している。
【２９１８】
このように、２次元近似手法においては、入力画素値Ｐ（ｘ，ｙ）と、２次元の近似関数ｆ（ｘ，ｙ）の関係を、式（２７７）で表現することが可能であるので、実世界推定部１０２は、式（２７７）を利用して、特徴量ｗ_ｉを、例えば、最小自乗法等により演算することで、２次元の関数Ｆ（ｘ，ｙ）（空間方向の定常性を有する実世界１の光信号を、空間方向に着目して表した波形Ｆ（ｘ，ｙ））を推定することが可能となる。
【２９１９】
ここで、図３６９を参照して、以上のような、不連続関数により近似関数ｆ（ｘ）を設定し、実世界を推定する実世界推定部１０２の構成について説明する。
【２９２０】
図３６９で示されるように、実世界推定部１０２には、条件設定部５３０１、入力画像記憶部５３０２、入力画素値取得部５３０３、積分成分演算部５３０４、正規方程式生成部５３０５、および近似関数生成部５３０６が設けられている。
【２９２１】
条件設定部５３０１は、注目画素に対応する関数Ｆ（ｘ，ｙ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ）の範囲の（例えば、ａ_ｉ≦ｘ＜ａ_ｉ＋１の幅、ｉの数）を設定する。
【２９２２】
入力画像記憶部５３０２は、センサ２からの入力画像（画素値）を一時格納する。
【２９２３】
入力画素値取得部５３０３は、入力画像記憶部５３０２に記憶された入力画像のうちの、条件設定部５３０１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部５３０５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【２９２４】
ところで、上述したように、２次元近似手法を利用する実世界推定部１０２は、上述した式（２７７）を最小自乗法で解くことにより、上述した式（２７６）で示される近似関数ｆ（ｘ，ｙ）の特徴量ｗ_ｉを演算する。
【２９２５】
式（２７７）は、次の式（２７８）のように表現することができる。
【２９２６】
【数２２０】

【２９２７】
式（２７８）において、Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、積分範囲となる領域のうち、特徴量ｗ_ｉとなる領域（光のレベルｗ_ｉとなる領域）の積分結果、すなわち、面積を表している。尚、以下、Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、積分成分と称する。
【２９２８】
積分成分演算部５３０４は、この積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）（＝（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）：１画素分の領域を取る場合）を演算する。
【２９２９】
具体的には、式（２７８）で示される積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）は、図３６８を参照して上述したように、求めようとする画素中の、所定の特徴量ｗ_ｉの面積を求めるものである。従って、積分成分演算部５３０４は、積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）を、各特長量毎の幅ｄとデータの定常性の角度θの情報に基づいて、幾何学的に各特徴量ｗ_ｉ毎に占める面積を求めるようにしてもよいし、シンプソンの公式に従って多重分割して積分して求めるようにしてもよく、面積を求める方法はそれらに限るものではなく、例えば、モンテカルロ法によって面積を求めるようにしてもよい。
【２９３０】
図３６８で説明したように、ａ_ｉ≦（ｘ−ｓ×ｙ）＜ａ_ｉ＋１の幅と、定常性の傾きを示す変数ｓ、および、相対画素位置（ｘ，ｙ）が既知であれば、特徴量ｗ_ｉの演算は可能である。これらのうち、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、変数ｓはｃｏｔθであるので角度θにより、ａ_ｉ≦（ｘ−ｓ×ｙ）＜ａ_ｉ＋１の幅は、予め設定されるため、それぞれの値は既知となる。
【２９３１】
従って、積分成分演算部５３０４は、条件設定部５３０１により設定されたタップ範囲および幅、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｔｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部５３０５に供給する。
【２９３２】
正規方程式生成部５３０５は、入力画素値取得部５３０３より供給された入力画素値テーブルと、積分成分演算部５３０４より供給された積分成分テーブルを利用して、上述した式（２７７）、即ち、式（２７８）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部５３０６に出力する。なお、正規方程式の具体例については後述する。
【２９３３】
近似関数生成部５３０６は、正規方程式生成部５３０５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（２７８）の特徴量ｗ_ｉのそれぞれを演算し、画像生成部１０３に出力する。
【２９３４】
次に、図３７０のフローチャートを参照して、不連続関数を用いた２次元の近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【２９３５】
例えば、いま、傾きＧ_Ｆで表される空間方向の定常性を有する実世界１の光信号が、センサ２により検出されて、１フレームに対応する入力画像として、入力画像記憶部５３０２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０６）の定常性の検出の処理において、入力画像のうちのデータ定常性情報として角度θを既に出力しているものとする。
【２９３６】
この場合、ステップＳ５３０１において、条件設定部５３０１は、条件（タップ範囲、ａ_ｉ≦ｘ＜ａ_ｉ＋１の幅（同じ特徴量の幅）、および、ｉの数）を設定する。
【２９３７】
例えば、いま、図３７１で示されるタップ範囲が設定されるとともに、幅としてｄが設定されたとする。
【２９３８】
即ち、図３７１は、タップ範囲の１例を説明する図である。図３７１において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向を表している。また、タップ範囲は、図３７１の右部の総計１５個の画素（図中右部の太線で囲まれた１５個のマス目）からなる画素群を表している。
【２９３９】
さらに、図３７１に示されるように、注目画素が、タップ範囲のうちの、図中、斜線部の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図３７１で示されるような番号ｌ（ｌは、０乃至１４のうちのいずれかの整数値）が付されるとする。
【２９４０】
図３７０に戻り、ステップＳ５３０２において、条件設定部５３０１は、注目画素を設定する。
【２９４１】
ステップＳ５３０３において、入力画素値取得部５３０３は、条件設定部５３０１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部５３０３は、入力画像の領域（図３７１中の番号０乃至１４が付された画素）の画素の画素値を取得し、入力画素値テーブルとして、１５個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【２９４２】
ステップＳ５３０４において、積分成分演算部５３０４は、条件設定部５３０１により設定された条件（タップ範囲、幅、ｉの数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【２９４３】
いまの場合、積分成分演算部５３０４は、上述した式（２７８）の積分成分Ｔｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）（＝Ｔｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）：１画素の大きさを１×１で表現する場合）を、次の式（２７９）の左辺で示される積分成分Ｔｉ（ｌ）といったｌの関数として演算する。
【２９４４】
Ｔｉ（ｌ） ＝ Ｔｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５） ・・・（２７９）
【２９４５】
即ち、いまの場合、例えば、ｉが０乃至５であるとすれば、１５個のＴ_０（ｌ），１５個のＴ_１（ｌ），１５個のＴ_２（ｌ），１５個のＴ_３（ｌ），１５個のＴ_４（ｌ），１５個のＴ_５（ｌ）の総計９０個のＴ_ｉ（ｌ）が演算され、それらを含む積分成分テーブルが生成される。
【２９４６】
なお、ステップＳ５３０３の処理とステップＳ５３０４の処理の順序は、図３７０の例に限定されず、ステップＳ５３０４の処理が先に実行されてもよいし、ステップＳ５３０３の処理とステップＳ５３０４の処理が同時に実行されてもよい。
【２９４７】
次に、ステップ５３０５において、正規方程式生成部５３０５は、ステップＳ５３０３の処理で入力画素値取得部５３０３により生成された入力画素値テーブルと、ステップＳ５３０４の処理で積分成分演算部５３０４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【２９４８】
具体的には、いまの場合、上述した式（２７８）を利用して最小自乗法により特徴量ｗ_ｉが演算されるので、それに対応する正規方程式は、次の式（２８０）のように表される。
【２９４９】
【数２２１】

【２９５０】
なお、式（２８０）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、近似関数ｆ（ｘ）を定義する特徴量ｗ_ｉのｉの数を表している。ｖ_ｌは、重みを表している。具体的には、いまの場合、Ｌ＝１５となる。
【２９５１】
式（２８０）で示される正規方程式の各行列のそれぞれを、次の式（２８１）乃至（２８３）のように定義すると、正規方程式は、次の式（２８４）のように表現される。
【２９５２】
【数２２２】

【２９５３】
【数２２３】

【２９５４】
【数２２４】

【２９５５】
【数２２５】

【２９５６】
式（２８２）で示されるように、行列Ｗ_ＭＡＴの各成分は、求めたい特徴量ｗ_ｉである。従って、式（２８４）において、左辺の行列Ｔ_ＭＡＴと右辺の行列Ｐ_ＭＡＴが決定されれば、行列解法によって行列Ｗ_ＭＡＴの演算が可能になる。
【２９５７】
具体的には、式（２８１）で示されるように、行列Ｔ_ＭＡＴの各成分は、上述した積分成分Ｔ_ｉ（ｌ）で演算可能である。即ち、積分成分Ｔ_ｉ（ｌ）は、積分成分演算部５３０４より供給された積分成分テーブルに含まれているので、正規方程式生成部５３０５は、積分成分テーブルを利用して行列Ｔ_ＭＡＴの各成分を演算することができる。
【２９５８】
また、式（２８３）で示されるように、行列Ｐ_ＭＡＴの各成分は、積分成分Ｔ_ｉ（ｌ）と入力画素値Ｐ（ｌ）で演算可能である。即ち、積分成分Ｔ_ｉ（ｌ）は、行列Ｔ_ＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部５３０３より供給された入力画素値テーブルに含まれているので、正規方程式生成部５３０５は、積分成分テーブルと入力画素値テーブルを利用して行列Ｐ_ＭＡＴの各成分を演算することができる。
【２９５９】
このようにして、正規方程式生成部５３０５は、行列Ｔ_ＭＡＴと行列Ｐ_ＭＡＴの各成分を演算し、その演算結果（行列Ｔ_ＭＡＴと行列Ｐ_ＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部５３０６に出力する。
【２９６０】
正規方程式生成部５３０５より正規方程式テーブルが出力されると、ステップＳ５３０６において、近似関数生成部５３０６は、正規方程式テーブルに基づいて、上述した式（２８４）の行列Ｗ_ＭＡＴの各成分である特徴量ｗ_ｉ（即ち、不連続関数からなる２次元の近似関数ｆ（ｘ，ｙ）の領域毎に定義される関数であるレベルｗ_ｉ）を演算する。
【２９６１】
具体的には、上述した式（２８４）の正規方程式は、次の式（２８５）のように変形できる。
【２９６２】
【数２２６】

【２９６３】
式（２８５）において、左辺の行列Ｗ_ＭＡＴの各成分が、求めたい特徴量ｗ_ｉである。また、行列Ｔ_ＭＡＴと行列Ｐ_ＭＡＴのそれぞれの各成分は、正規方程式生成部５３０５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部５３０６は、正規方程式テーブルを利用して、式（２８５）の右辺の行列演算を行うことで行列Ｗ_ＭＡＴを演算し、その演算結果（特徴量ｗ_ｉ）を画像生成部１０３に出力する。
【２９６４】
ステップＳ５３０７において、近似関数生成部５３０６は、全画素の処理を終了したか否かを判定する。
【２９６５】
ステップＳ５３０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ５３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ５３０２乃至Ｓ５３０７の処理が繰り返される。
【２９６６】
そして、全画素の処理が終了すると（ステップＳ５３０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【２９６７】
以上、不連続関数を用いた２次元の近似手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）の特徴量ｗ_ｉを演算する例を用いたが、不連続関数を用いた２次元の近似手法は、時空間方向（Ｘ方向とＴ方向、または、Ｙ方向とＴ方向）に対しても適用可能である。
【２９６８】
即ち、上述した例は、実世界１の光信号が、例えば、空間方向の定常性を有する場合の例であったので、上述した式（２７７）で示されるような、空間方向（Ｘ方向とＹ方向）の２次元積分が含まれる式が利用された。しかしながら、２次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とＴ方向、または、Ｙ方向とＴ方向）に対して適用することも可能である。
【２９６９】
換言すると、不連続関数を用いた２次元近似手法においては、推定したい光信号関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とＴ方向、または、Ｙ方向とＴ方向）の定常性を有している場合であっても、２次元の不連続関数により近似することが可能である。
【２９７０】
具体的には、例えば、図３７２で示されるような、物体（図中のおもちゃの飛行機）Ｄ１（図中の下段のフレームの画像）が、Ｘ方向に水平に等速で動いて、物体Ｄ２（図中の中段のフレームの画像）まで移動する場合、Ｘ−Ｔ平面において、その物体の動きは図３７２の上部で示されるように、軌跡Ｌ１のように表される。尚、図３７２の上段は、図中のＯＰＱＲを各頂点とした面の画素値の変化を示したものである。
【２９７１】
換言すると、軌跡Ｌ１は、Ｘ−Ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１は、上述した角度θ（Ｘ−Ｙ平面における、所定の傾き（角度）で表される空間方向の定常性に対応するデータ定常性情報）と同様に、Ｘ−Ｔ平面における時空間方向の定常性を表す傾き（定常性の角度）に対応するデータ定常性情報として、図３７２で示されるような軌跡のなす角度（厳密には、図示はしないが、物体がＤ１からＤ２に移動するときの軌跡（上述した動き）としてのデータの定常性の方向と、空間方向のＸ方向とのなす角度）を出力することが可能である。
【２９７２】
従って、２次元の不連続関数を用いた近似手法を利用する実世界推定部１０２は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の特徴量ｗ_ｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（２７７）ではなく、次の式（２８６）である。
【２９７３】
【数２２７】

【２９７４】
Ｘ−Ｔ平面上の処理である場合、図３７１の右部で示されている各画素と不連続関数との関係は、図３７３で示されるようになる。すなわち、図３７３においては、空間方向Ｘの断面形状（不連続関数による断面形状）がフレーム方向Ｔに対して所定の定常性の方向に沿って連続することになる。結果として、レベルが、レベルｗ_１乃至ｗ_５の５種類である場合、図３７１の左部で示したような同一のレベルとなる帯が定常性の方向に沿って分布することになる。
【２９７５】
従って、この場合、画素値は、図３７３の右部にあるようにＸ−Ｔ平面上に存在する画素を用いることで、求めることができる。尚、図３７３の右部において、各マス目は画素を示すが、Ｘ方向は、画素の幅であるが、フレーム方向については、各マス目の単位が１フレーム分に相当する。
【２９７６】
また、空間方向Ｘの代わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ，ｔ）と全く同様に取り扱うことが可能である。
【２９７７】
以上においては、不連続関数からなる２次元の近似関数を設定し、実世界を推定する手法について説明したが、さらに、不連続関数からなる３次元の近似関数による実世界の推定も可能である。
【２９７８】
例えば、図３７４で示されるように領域毎に異なる２次元の不連続な関数を考える。すなわち、図３７４の場合、領域ａ_１≦ｘ＜ａ_２で、かつ、ｂ_１≦ｙ＜ｂ_２とき、近似関数はｆ（ｘ，ｙ）＝ｗ_１であり、領域ａ_２≦ｘ＜ａ_３で、かつ、ｂ_３≦ｙ＜ｂ_４とき、近似関数はｆ（ｘ，ｙ）＝ｗ_２であり、領域ａ_３≦ｘ＜ａ_４で、かつ、ｂ_５≦ｙ＜ｂ_６とき、近似関数はｆ（ｘ，ｙ）＝ｗ_３であり、領域ａ_４≦ｘ＜ａ_５で、かつ、ｂ_７≦ｙ＜ｂ_８とき、近似関数はｆ（ｘ，ｙ）＝ｗ_４であり、さらに、領域ａ_３≦ｘ＜ａ_４で、かつ、ｂ_９≦ｙ＜ｂ_１０とき、近似関数はｆ（ｘ，ｙ）＝ｗ_５であるように、それぞれ領域毎に異なる近似関数ｆ（ｘ，ｙ）が設定されている。また、ｗ_ｉは、実質的に、各領域における光の強度のレベルと考えることができる。
【２９７９】
このように図３７４で示されるような不連続関数は、以下の式（２８７）の一般式で定義される。
【２９８０】
ｆ（ｘ，ｙ）＝ｗ_ｉ（ａ_ｊ≦ｘ＜ａ_ｊ＋１ ＆ ｂ_２ｋ−１≦ｙ＜ｂ_２ｋ）・・・（２８７）
【２９８１】
尚、ここで、ｊ，ｋは、任意の整数であるが、ｉは、ｊとｋの組み合わせにより表現可能な領域を識別する通し番号である。
【２９８２】
このように図３７４で示されたような断面の分布（断面の曲線に対応するもの）は、各領域毎に定数として設定されている。
【２９８３】
従って、式（２８７）で定義される、実世界の、不連続関数からなる近似関数ｆ（ｘ，ｙ）を用いることにより、以下の式（２８８）により画素値Ｐ（ｘ，ｙ）が求められることになる。
【数２２８】

【２９８４】
ここで、ｘ_ｅ，ｘ_ｓは、Ｘ方向の積分範囲を示す値を示し、ｘ_ＳがＸ方向の積分開始位置を、ｘ_ｅがＸ方向の積分終了位置をそれぞれ示している。同様に、ｙ_ｅ，ｙ_ｓは、Ｙ方向の積分範囲を示す値を示し、ｙ_ＳがＹ方向の積分開始位置を、ｙ_ｅがＹ方向の積分終了位置をそれぞれ示している。
【２９８５】
しかしながら、実際には、上述の式（２８７）で示されるような実世界を近似する関数を直接求めることは困難である。
【２９８６】
図３７４で示されるような画素値の断面の分布は、フレーム方向の定常性の方向に対して連続して存在するものと仮定されるので、空間における光の強度の分布は、図３７５で示されるようなものとなる。ここで、図３７５の左部は、不連続関数からなる近似関数ｆ（ｘ，ｙ）がフレーム方向とＸ方向の定常性の方向に連続的に存在した場合の画素値の分布のＸ−Ｔ平面により表現したものであり、図中右部には、図３７４で、Ｘ−Ｙ平面上の光の強度のレベルの断面が、フレーム方向に連続した分布が示されている。
【２９８７】
すなわち、定常性の方向に沿って、図３７４で示された断面の形状が連続した状態となるため、図３７５の右部に示されるように、各レベルｗ_ｉの領域は、定常性の方向に沿った棒状の分布となる。
【２９８８】
図３７５の右部で示されるような不連続関数により定義された近似関数ｆ（ｘ，ｙ）を用いて、各３次元の領域の画素値を決定するには、上述した２次元において、面積を用いていた方法と同様にして、体積による割合を用いて計算する。すなわち、各画素の総体積（Ｘ方向、Ｙ方向、および、Ｔ方向からなる３次元の体積）のうち、各レベルが設定された範囲の占める体積の割合に応じた重みと、そのレベルとの積和を求めて、対応する画素の画素値を用いることにより、例えば、最小自乗法を用いて、各領域の画素値を求める。
【２９８９】
すなわち、図３７６で示されるように、境界Ｒを境として、一方の領域のレベルがｆ（ｘ，ｙ）＝ｗ_１であり、他方の領域のレベルがｆ（ｘ，ｙ）＝ｗ_２であるものとする。また、ＸＹＴ空間上で図中のＡＢＣＤＥＦＧＨからなる立方体が、注目画素を示しているものとする。さらに、注目画素における境界Ｒとの断面は、ＩＪＫＬからなる長方形であるものとする。
【２９９０】
また、画素Ｐの体積のうち、ＩＢＪ−ＫＦＬからなる三角柱となる部分の占める割合をＭ１、および、それ以外の部分（ＡＤＣＪＩ−ＥＧＨＬＫからなる５角柱）の体積の占める割合をＭ２で表すものとする。尚、ここでいう体積とは、ＸＹｔ空間上の専有領域の大きさを示すものである。
【２９９１】
このとき、注目画素の画素値Ｐは、各範囲の画素値と割合の積和で表されるので、以下の式（２８９）で示される演算により求められる。
【２９９２】
Ｐ＝Ｍ１×ｗ_１＋Ｍ２×ｗ_２・・・（２８９）
【２９９３】
従って、各画素について、式（２８９）で示される関係を用いて画素値との関係を示す式を生成することで、例えば、画素値を示す係数としてｗ_１乃至ｗ_２を求めるには、それぞれの係数を含む最低２画素分以上の画素値と、その画素の式（２８９）の関係を示すが得られれば、例えば、最小自乗法（未知数と関係式が同数の場合は、連立方程式）により画素値のレベルを示すｗ_１乃至ｗ_２を得ることが可能となる。
【２９９４】
このように定常性を用いた３次元の関係を利用することにより、不連続関数からなる近似関数ｆ（ｘ，ｙ）を求めることが可能となる。
【２９９５】
例えば、定常性検出部１０１により出力されてくる、Ｘ−Ｙ平面状の定常性の角度θに相当する、動きθに基づいて、Ｘ−Ｔ平面上、および、Ｙ−Ｔ平面状の速度ｖ_ｘ，ｖ_ｙ（実質的に、Ｘ−Ｔ平面、および、Ｙ−Ｔ平面の傾き）を求めることができることから、Ｘ方向およびＹ方向の任意の位置（ｘ，ｙ）における、定常性の直線のＸ方向の位置ｘ_ｌおよびＸ方向の位置ｙ_ｌが、次の式（２９０）のように表される。
【２９９６】
ｘ_ｌ＝ｖ_ｘ×ｔ，ｙ_ｌ＝ｖ_ｙ×ｔ・・・（２９０）
【２９９７】
即ち、データの定常性に対応する直線上の点は、座標値（ｘ_ｌ，ｙ_ｌ）で表される。
【２９９８】
式（２９０）より、断面方向距離ｘ’，ｙ’（定常性の存在する直線に沿ってＸ方向、および、Ｙ方向にずれた距離）は、次の式（２９１）のように表される。
【２９９９】

従って、入力画像の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（２８７）と式（２９１）より、次の式（２９２）のように示される。
【３０００】

【３００１】
従って、実世界推定部１０２は、式（２９２）の各領域毎の特徴量ｗ_ｉを演算することができれば、不連続関数からなる近似関数ｆ（ｘ，ｙ，ｔ）を推定することにより、波形Ｆ（ｘ，ｙ，ｔ）を推定することができる。
【３００２】
そこで、以下、式（２９２）の特徴量ｗ_ｉを演算する手法について説明する。
【３００３】
即ち、式（２９２）で表される近似関数ｆ（ｘ，ｙ，ｔ）を、画素（センサ２の検出素子）に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（２９３）である。
【３００４】
【数２２９】

【３００５】
式（２９３）において、Ｐ（ｘ，ｙ，ｔ）は、センサ２からの入力画像のうちの、その中心位置が位置（ｘ，ｙ，ｔ）（注目画素からの相対位置（ｘ，ｙ，ｔ））に存在する画素の画素値を表している。
【３００６】
このように、３次元の近似手法においては、入力画素値Ｐ（ｘ，ｙ，ｔ）と、不連続関数からなる３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を、式（２９３）で表現することが可能であるので、実世界推定部１０２は、式（２９３）を利用して、特徴量ｗ_ｉを、例えば、最小自乗法等により演算することで、３次元の関数Ｆ（ｘ，ｙ，ｔ）（空間方向の定常性を有する実世界１の光信号を、時空間方向に着目して表した波形Ｆ（ｘ，ｙ，ｔ））を推定することが可能となる。
【３００７】
次に、図３７７を参照して、以上のような、不連続関数からなる３次元の近似関数ｆ（ｘ，ｙ，ｔ）を設定し、実世界を推定する実世界推定部１０２の構成について説明する。
【３００８】
図３７７で示されるように、実世界推定部１０２には、条件設定部５３２１、入力画像記憶部５３２２、入力画素値取得部５３２３、積分成分演算部５３０４、正規方程式生成部５３２５、および近似関数生成部５３２６が設けられている。
【３００９】
条件設定部５３２１は、注目画素に対応する関数Ｆ（ｘ，ｙ，ｔ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ，ｔ）の範囲の（例えば、ａ_ｊ≦（ｘ−ｖ_ｘ×ｔ）＜ａ_ｊ＋１、および、ｂ_２ｋ−１≦（ｙ−ｖ_ｙ×ｔ）＜ｂ_２ｋの幅、ｉの数）を設定する。
【３０１０】
入力画像記憶部５３２２は、センサ２からの入力画像（画素値）を一時格納する。
【３０１１】
入力画素値取得部５３２３は、入力画像記憶部５３２２に記憶された入力画像のうちの、条件設定部５３２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部５３２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【３０１２】
ところで、上述したように、３次元近似手法を利用する実世界推定部１０２は、上述した式（２９３）を最小自乗法で解くことにより、上述した式（２９２）で示される近似関数ｆ（ｘ，ｙ，ｔ）の特徴量ｗ_ｉを演算する。
【３０１３】
式（２９３）は、次の式（２９４）のように表現することができる。
【３０１４】
【数２３０】

【３０１５】
式（２９４）において、Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）は、積分範囲となる領域のうち、特徴量ｗ_ｉとなる領域（光のレベルｗ_ｉとなる領域）の積分結果、すなわち、体積を表している。尚、以下、Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）は、積分成分と称する。尚、この式（２９４）は、２次元の演算における積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ）に対応するものである。
【３０１６】
積分成分演算部５３２４は、この積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）（＝（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５，ｔ−０．５，ｔ＋０．５）：１画素分の領域を取る場合）を演算する。
【３０１７】
具体的には、式（２９４）で示される積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）は、図３７６を参照して上述したように、求めようとする画素中の、所定の特徴量ｗ_ｉの体積を求めるものである。従って、積分成分演算部５３２４は、積分成分Ｔ_ｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）を、各特長量毎の幅ｄ，ｅ、並びに、定常性の方向の情報（すなわち、例えば、速度ｖ_ｘ，ｖ_ｙ、または、定常性の所定の軸に対する角度θ）に基づいて、幾何学的に各特徴量ｗ_ｉ毎に占める体積を求めるようにしてもよいし、シンプソンの公式に従って多重分割して積分して求めるようにしてもよく、体積を求める方法はそれらに限るものではなく、例えば、モンテカルロ法によって体積を求めるようにしてもよい。
【３０１８】
図３７６で説明したように、ａ_ｊ≦（ｘ−ｖ_ｘ×ｔ）＜ａ_ｊ＋１、および、ｂ_２ｋ−１≦（ｙ−ｖ_ｙ×ｔ）＜ｂ_２ｋのそれぞれの幅と、定常性の方向の情報（すなわち、例えば、速度ｖ_ｘ，ｖ_ｙ、または、定常性の所定の軸に対する角度θ）、および、相対画素位置（ｘ，ｙ，ｔ）が既知であれば、特徴量ｗ_ｉの演算は可能である。これらのうち、相対画素位置（ｘ，ｙ，ｔ）は注目画素とタップ範囲により、定常性の情報は、定常性検出部１０１により検出された情報より、また、ａ_ｊ≦（ｘ−ｖ_ｘ×ｔ）＜ａ_ｊ＋１、および、ｂ_２ｋ−１≦（ｙ−ｖ_ｙ×ｔ）＜ｂ_２ｋの幅は、予め設定されるため、それぞれの値は既知となる。
【３０１９】
従って、積分成分演算部５３２４は、条件設定部５３２１により設定されたタップ範囲および幅、並びにデータ定常性検出部１０１より出力されたデータ定常性情報に基づいて積分成分Ｔｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５，ｔ−０．５，ｔ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部５３２５に供給する。
【３０２０】
正規方程式生成部５３２５は、入力画素値取得部５３２３より供給された入力画素値テーブルと、積分成分演算部５３２４より供給された積分成分テーブルを利用して、上述した式（２９３）、即ち、式（２９４）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部５３２６に出力する。
【３０２１】
近似関数生成部５３２６は、正規方程式生成部５３２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（２９４）の特徴量ｗ_ｉのそれぞれを演算し、画像生成部１０３に出力する。
【３０２２】
次に、図３７８のフローチャートを参照して、不連続関数を用いた３次元の近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【３０２３】
例えば、いま、Ｘ−ｔ平面、および、Ｙ−ｔ平面に対してそれぞれ速度ｖ_ｘ，ｖ_ｙで表される時空間方向の定常性を有する実世界１の光信号が、センサ２により検出されて、１フレームに対応する入力画像として、入力画像記憶部５３２２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０６）の定常性の検出の処理において、入力画像のうちのデータ定常性情報として速度ｖ_ｘ，ｖ_ｙが得られているものとする。
【３０２４】
この場合、ステップＳ５３２１において、条件設定部５３２１は、条件（タップ範囲、ａ_ｊ≦（ｘ−ｖ_ｘ×ｔ）＜ａ_ｊ＋１、および、ｂ_２ｋ−１≦（ｙ−ｖ_ｙ×ｔ）＜ｂ_２ｋの幅（同じ特徴量（同じ近似関数となる領域の幅ｄ，ｅ））、および、ｉの数）を設定する。
【３０２５】
例えば、いま、図３７９で示されるタップ範囲が設定されるとともに、幅として水平方向の幅×垂直方向の幅＝ｄ×ｅが設定されたとする。
【３０２６】
設定されたタップの範囲は、例えば、図３７９で示されているものとする。図３７９において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向を表している。また、ｔは、フレームの番号を示しており、また、タップ範囲は、図３７９の右部各フレーム９個で３フレーム分となる画素Ｐ０乃至Ｐ２６の合計２７個の画素からなる画素群を表している。
【３０２７】
さらに、図３７９に示されるように、注目画素が、フレーム番号ｔ＝ｎの図中、中央部の画素Ｐ１３に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ，ｔ）（注目画素の中心（０，０，０）を原点とする注目画素座標系の座標値）に応じて、図３７９で示されるような番号ｌ（ｌは、Ｐ０乃至Ｐ２６のうちのいずれかを示す整数値）が付されるとする。
【３０２８】
図３７８に戻り、ステップＳ５３２２において、条件設定部５３２１は、注目画素を設定する。
【３０２９】
ステップＳ５３２３において、入力画素値取得部５３２３は、条件設定部５３２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部５３２３は、入力画像の領域（図３７９中の番号Ｐ０乃至Ｐ２６が付された画素）の画素の画素値を取得し、入力画素値テーブルとして、２７個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【３０３０】
ステップＳ５３２４において、積分成分演算部５３２４は、条件設定部５３２１により設定された条件（タップ範囲、幅、ｉの数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報に基づいて積分成分を演算し、積分成分テーブルを生成する。
【３０３１】
いまの場合、積分成分演算部５３２４は、上述した式（２９４）の積分成分Ｔｉ（ｘ_ｓ，ｘ_ｅ，ｙ_ｓ，ｙ_ｅ，ｔ_ｓ，ｔ_ｅ）（＝Ｔｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５，ｔ−０．５，ｔ＋０．５）：１画素の大きさをＸ方向×Ｙ方向×フレーム方向ｔ＝１×１×１で表現する場合）を、次の式（２９５）の左辺で示される積分成分Ｔｉ（ｌ）といったｌの関数として演算する。
【３０３２】

【３０３３】
即ち、いまの場合、例えば、ｉが０乃至５であるとすれば、２７個のＴ_０（ｌ），２７個のＴ_１（ｌ），２７個のＴ_２（ｌ），２７個のＴ_３（ｌ），２７個のＴ_４（ｌ），２７個のＴ_５（ｌ）の総計１６２個のＴ_ｉ（ｌ）が演算され、それらを含む積分成分テーブルが生成される。
【３０３４】
なお、ステップＳ５３２３の処理とステップＳ５３２４の処理の順序は、図３７８の例に限定されず、ステップＳ５３２４の処理が先に実行されてもよいし、ステップＳ５３２３の処理とステップＳ５３２４の処理が同時に実行されてもよい。
【３０３５】
次に、ステップ５３２５において、正規方程式生成部５３２５は、ステップＳ５３２３の処理で入力画素値取得部５３２３により生成された入力画素値テーブルと、ステップＳ５３０４の処理で積分成分演算部５３２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【３０３６】
具体的には、いまの場合、上述した式（２９５）を利用して最小自乗法により特徴量ｗ_ｉが演算されるので、それに対応する正規方程式は、次の式（２９６）のように表される。
【３０３７】
【数２３１】

【３０３８】
なお、式（２９６）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、近似関数ｆ（ｘ）を定義する特徴量ｗ_ｉのｉの数を表している。ｖ_ｌは、重みを表している。具体的には、いまの場合、Ｌ＝２７となる。
【３０３９】
この正規方程式は、上述した式（２８０）と同様の形式であり、上述した２次元における手法と同様であるので、以降の正規方程式の解法についての説明は省略する。
【３０４０】
ステップＳ５３２７において、近似関数生成部５３２６は、全画素の処理を終了したか否かを判定する。
【３０４１】
ステップＳ５３２７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ５３２２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ５３２２乃至Ｓ５３２７の処理が繰り返される。
【３０４２】
そして、全画素の処理が終了すると（ステップＳ５３２７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【３０４３】
結果として、例えば、図３８０で示されるように、定常性の方向（Ｘ方向の速度がｖ_ｘ，Ｙ方向の速度がｖ_ｙ）に沿った太線で描かれた棒状の領域毎に各特徴量であるレベル（不連続関数）ｗ_１乃至ｗ_５が設定され、実世界の近似関数が推定される。今の場合、各棒状の領域はＸ−Ｙ平面に対する断面の大きさはｄ×ｅである。
【３０４４】
また、細線で描かれた棒状の領域は、Ｙ方向の速度がｖ_ｙ＝０である場合を示している。すなわち、単純に水平方向に移動する場合は、各レベルｗ_ｉが設定される棒状の領域は、Ｘ−ｔ平面に対して平行な関係を保つ。これは、Ｘ方向の速度がｖ_ｘ＝０である場合も同様のことが言える。すなわち、この場合は、各棒状の領域が、Ｙ−ｔ平面に対して平行な関係が保たれることになる。
【３０４５】
さらに、時間方向に変化が無く、Ｘ−Ｙ平面上に定常性がある場合、各関数毎の棒状の領域は、Ｘ−Ｙ平面に対して平行な位置を保つことになる。すなわち、時間方向に変化が無く、Ｘ−Ｙ平面に定常性が存在する場合、細線、または、２値エッジが存在する。
【３０４６】
また、以上においては、不連続に関数が設定される各領域が２次元空間に配置される（棒状の領域が、面を構成するように配置される）場合について説明してきたが、例えば、図３８１で示されるように、各領域は、ＸＹＴの３次元の空間内に立体的に配置されるようにしてもよい。
【３０４７】
また、以上の例においては、不連続関数として各領域毎に定数の特徴量ｗ_ｉが設定される場合について説明してきたが、定数ではない連続関数であっても同様のことが可能である。すなわち、例えば、図３８２で示されるように、Ｘ方向についての関数であるとき、画像中のＸ０≦Ｘ＜Ｘ１の領域では、特徴量ｗ_１は、ｗ_１＝ｆ_０（ｘ）に設定し、画像中のＸ１≦Ｘ＜Ｘ２の領域では、特徴量ｗ_２は、ｗ_２＝ｆ_１（ｘ）に設定するようにしてもよい。連続する関数であっても、領域毎に異なる関数として設定するようにしてもよい。この場合、設定される関数は、例えば、多項式近似を用いてもよいし、それ以外の関数であってもよい。
【３０４８】
さらに、不連続関数として各領域毎に定数の特徴量ｗ_ｉが設定される場合、それぞれの領域で全く連続することの無い関数を設定するようにしてもよい。すなわち、例えば、図３８３で示されるように、Ｘ方向についての関数であるとき、画像中のＸ０≦Ｘ＜Ｘ１の領域では、特徴量ｗ_１は、ｗ_１＝ｆ_０（ｘ）に設定し、画像中のＸ１≦Ｘ＜Ｘ２の領域では、特徴量ｗ_２は、ｗ_２＝ｆ_１（ｘ）に設定するようにして、それぞれの関数（例えば、ｆ_０（ｘ）とｆ_１（ｘ））が、それぞれ不連続であっても同様の処理をすることができる。この場合も、設定される関数は、例えば、多項式近似を用いてもよいし、それ以外の関数であってもよい。
【３０４９】
このように、図３７７の実世界推定部１０２は、各画素値を不連続関数により設定する場合、定常性の方向（角度、または、動き（動きから求められる速度の方向））に沿った棒状の領域毎に、不連続に関数を設定することで、実世界の近似関数を設定することが可能となる。
【３０５０】
次に、図３８４を参照して、上述の図３６９の実世界推定部１０２により推定された実世界推定情報に基づいて、画像を生成する画像生成部１０３について説明する。
【３０５１】
図３８４の画像生成部１０３は、実世界推定情報取得部５３４１、重み計算部５３４２、および、画素生成部５３４３から構成されている。
【３０５２】
実世界推定情報取得部５３４１は、図３６９の実世界推定部１０２より出力される実世界推定情報としての特徴量、すなわち、定常性の方向に沿って分割された領域毎に設定される画素値を設定する関数（不連続関数からなる近似関数ｆ（ｘ））を取得し、重み計算部５３４２に出力する。
【３０５３】
重み計算部５３４２は、実世界推定情報取得部５３４１より入力される実世界推定情報である、定常性の方向に沿って分割された領域の情報に基づいて、生成しようとする画素に含まれる各領域の面積の割合を重みとして計算し、実世界推定情報取得部５３４１より入力された各領域毎に設定された関数の情報と共に画素生成部５３４３に出力する。
【３０５４】
画素生成部５３４３は、重み計算部より入力された生成しようとする画素に含まれる領域毎の面積の割合に基づいて計算された重みの情報と、各領域毎に設定されたレベルの関数（不連続関数からなる近似関数ｆ（ｘ））に基づいて、レベルを求め、生成しようとする画素毎に、求められたレベルと重みの積和を求めて、その画素の画素値として出力する。
【３０５５】
次に、図３８５のフローチャートを参照して、図３８４の画像生成部１０３による画像生成の処理について説明する。
【３０５６】
ステップＳ５３４１において、実世界推定情報取得部５３４１は、図３６９の実世界推定部１０２より入力されてくる実世界推定情報（不連続関数からなる近似関数ｆ（ｘ））を取得し、重み計算部５３４２に出力する。
【３０５７】
ステップＳ５３４２において、重み計算部５３４２は、生成しようとする画素を設定し、ステップＳ５３４３において、入力された実世界推定情報に基づいて、生成しようとする画素について、その生成しようとする画素に含まれる、設定された領域毎の、生成しようとする画素に対する面積の割合を求め、これを、各領域の重みとして計算し、実世界推定情報取得部５３４１より入力された、各領域毎のレベルを設定する関数と共に画素生成部５３４３に出力する。
【３０５８】
例えば、図３８６で示されるように、特徴量が設定された場合について説明する。ここで、入力された画像の画素が細線のマス目で示されており、生成しようとする画素が太線のマス目で示されているものとする。すなわち、今の場合、４倍密度の画素が生成される。また、ｗ_１乃至ｗ_５で示される画素の配列に対して右上がりに帯状に設定された５個の領域が定常性の方向に沿って設定された領域であり、各領域のレベルは、ｗ_１乃至ｗ_５であるものとする。
【３０５９】
図３８６で示される斜線状で塗られている画素を生成しようとする注目画素であるものとする場合、注目画素は、領域ｗ_３，ｗ_４に跨っているので、注目画素内の、各領域の占める面積がそれぞれｍ_１，ｍ_２であったとき、生成される重みは、生成しようとする画素の面積がｍであれば、それぞれ領域ｗ_３の重みは、ｍ_１／ｍとなり、領域ｗ_４の重みは、ｍ_２／ｍとなる。このように、重み計算部５３４２は、求められた領域毎の重みの情報と、各領域のレベルを設定する関数の情報を画素生成部５３４３に出力する。
【３０６０】
ステップＳ５３４４において、画素生成部５３４３は、重み計算部５３４２より入力された、注目画素に跨る領域毎の重みと、各領域毎のレベルに基づいて、画素値を決定し、画素を生成する。
【３０６１】
すなわち、図３８６を参照して説明した注目画素の場合、画素生成部５３４３には、それぞれ重みの情報として、領域ｗ_３はｍ_１／ｍであり、領域ｗ_４はｍ_２／ｍであるとの情報を取得することになる。さらに、同時に取得する各領域毎のレベルとの積和を求めて画素値を決定し、画素を生成する。
【３０６２】
すなわち、例えば、領域ｗ_３，ｗ_４のレベルを決定する近似関数が、それぞれの領域でｗ_３，ｗ_４（いずれも、定数）であった場合、重みとの積和を求めることで、以下の式（２９７）で示されるように画素値が決定される。
【３０６３】
Ｐ＝ｗ_３×ｍ_１／ｍ＋ｗ_４×ｍ_２／ｍ・・・（２９７）
【３０６４】
ステップＳ５３４５において、実世界推定情報取得部５３４１は、生成しようとする画像の全ての画素について処理が終了したか否かを判定し、全ての画素について処理が終了していないと判定した場合、その処理は、ステップＳ５３４２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について処理が完了したと判定されるまで、ステップＳ５３４２乃至Ｓ５３４５の処理が繰り返される。
【３０６５】
ステップＳ５３４５において、全ての画素について処理が終了したと判定された場合、その処理は終了する。
【３０６６】
すなわち、例えば、水平方向に物体が時間的に右方向に移動する場合、実世界におけるＸ−Ｔ空間の実際の画素値の変化は、図３８７Ａで示されるように、定常性の方向に沿って、同一の画素値レベルとなる領域が続くことが分かっている。このため、図３８７Ｂで示されるようなモデルを用いて、それ以上の密度の画素生成を行うと、画素の形状が、実際の右上がりの直線的な動きを表現することができないため、例えば、拡大画像を生成しようとすると、画素値が変化する境界付近では幾何学的に階段状に配置された画素値の変化により正確な画素値を拡大画像の画素生成に反映することができなかった。
【３０６７】
これに対して、図３６９の実世界推定部１０２の実世界の近似関数の推定におけるモデルは、図３８７Ｃで示されるように、実際の動きに忠実なモデルを定常性の方向に沿って生成することになるので、画素以下の変化も正確に表現することができ、例えば、拡大画像に使用する、高密度画素をより正確に生成することが可能となる。
【３０６８】
以上の処理により、画素以下の領域における光の強度の分布を考慮して画素を生成することができ、より高密度の画素を正確に生成することが可能となるため、例えば、拡大画像を鮮明に生成することが可能となる。
【３０６９】
次に、図３８８を参照して、上述の図３７７の実世界推定部１０２により推定された実世界推定情報に基づいて、画像を生成する画像生成部１０３について説明する。
【３０７０】
図３８８の画像生成部１０３は、実世界推定情報取得部５３５１、重み計算部５３５２、および、画素生成部５３５３から構成されている。
【３０７１】
実世界推定情報取得部５３５１は、図３７７の実世界推定部１０２より出力される実世界推定情報としての特徴量、すなわち、定常性の方向に沿って分割された領域毎に設定される画素値を設定する関数（不連続関数からなる近似関数ｆ（ｘ））を取得し、重み計算部５３５２に出力する。
【３０７２】
重み計算部５３５２は、実世界推定情報取得部５３５１より入力される実世界推定情報である、定常性の方向に沿って分割された領域の情報に基づいて、生成しようとする画素に含まれる各領域の体積（ここで言う体積は、Ｘ方向、Ｙ方向、およびフレーム方向ｔの３次元空間上の体積）の割合を重みとして計算し、実世界推定情報取得部５３５１より入力された各領域毎に設定された関数の情報と共に画素生成部５３５３に出力する。
【３０７３】
画素生成部５３５３は、重み計算部より入力された生成しようとする画素に含まれる領域毎の体積の割合に基づいて計算された重みの情報と、各領域毎に設定されたレベルの関数（不連続関数からなる近似関数ｆ（ｘ））に基づいて、レベルを求め、生成しようとする画素毎に、求められたレベルと重みの積和を求めて、その画素の画素値として出力する。
【３０７４】
次に、図３８９のフローチャートを参照して、図３８８の画像生成部１０３による画像生成の処理について説明する。
【３０７５】
ステップＳ５３５１において、実世界推定情報取得部５３５１は、図３７７の実世界推定部１０２より入力されてくる実世界推定情報（不連続関数からなる近似関数ｆ（ｘ））を取得し、重み計算部５３５２に出力する。
【３０７６】
ステップＳ５３５２において、重み計算部５３４２は、生成しようとする画素を設定し、ステップＳ５３５３において、入力された実世界推定情報に基づいて、生成しようとする画素について、その生成しようとする画素に含まれる、設定された領域毎の、生成しようとする画素に対する体積の割合を求め、これを、各領域の重みとして計算し、実世界推定情報取得部５３５１より入力された、各領域毎のレベルを設定する関数と共に画素生成部５３５３に出力する。
【３０７７】
例えば、図３９０で示されるように、Ｘ方向、Ｙ方向、および、フレーム方向Ｔの３次元空間内において、生成しようとする画素として注目画素が設定されるものとする。尚、図３９０においては、太線で示される立方体が注目画素ある。また、細線で描かれている立方体は、注目画素に隣接する画素を示している。
【３０７８】
例えば、図３９１で示されるように、特徴量が設定された場合について説明する。尚、図３９１で示されるｗ_１乃至ｗ_３で示される棒状に設定された３個の領域が定常性の方向に沿って設定された領域であり、各領域のレベルは、ｗ_１乃至ｗ_３であるものとする。
【３０７９】
図３９１で示されるように、注目画素は、領域ｗ_１乃至ｗ_３に跨っているので、注目画素内の、各領域の占める体積がそれぞれＭ_１乃至Ｍ_３であったとき、生成される重みは、生成しようとする画素の体積がＭであれば、それぞれ領域ｗ_１の重みは、Ｍ_１／Ｍとなり、領域ｗ_２の重みは、Ｍ_２／Ｍとなり、領域ｗ_３の重みは、Ｍ_３／Ｍとなる。このように求められた領域毎の重みの情報と、各領域のレベルを設定する関数の情報を画素生成部５３５３に出力する。
【３０８０】
ステップＳ５３５４において、画素生成部５３５３は、重み計算部５３４２より入力された、注目画素に跨る領域毎の重みと、各領域毎のレベルに基づいて、画素値を決定し、画素を生成する。
【３０８１】
すなわち、図３９１を参照して説明した注目画素の場合、画素生成部５３５３には、それぞれ重みの情報として、領域ｗ_１はＭ_１／Ｍであり、領域ｗ_２はＭ_２／Ｍであり、領域ｗ_３はＭ_３／Ｍであるとの情報を取得することになる。さらに、同時に取得する各領域毎のレベルとの積和を求めて画素値を決定し、画素を生成する。
【３０８２】
すなわち、例えば、領域ｗ_１乃至ｗ_３のレベルを決定する近似関数が、それぞれの領域でｗ_１乃至ｗ_３（いずれも、定数）であった場合、重みとの積和を求めることで、以下の式（２９８）で示されるように画素値を決定する。
Ｐ＝ｗ_１×Ｍ_１／Ｍ＋ｗ_２×Ｍ_２／Ｍ＋ｗ_３×Ｍ_３／Ｍ・・・（２９８）
【３０８３】
ステップＳ５３５５において、実世界推定情報取得部５３５１は、生成しようとする画像の全ての画素について処理が終了したか否かを判定し、全ての画素について処理が終了していないと判定した場合、その処理は、ステップＳ５３５２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について処理が完了したと判定されるまで、ステップＳ５３５２乃至Ｓ５３５５の処理が繰り返される。
【３０８４】
ステップＳ５３５５において、全ての画素について処理が終了したと判定された場合、その処理は終了する。
【３０８５】
図３９２Ａ乃至Ｄは、原画像に対して１６倍密度（水平方向、および、垂直方向にそれぞれ４倍の密度）の画素を生成した場合の処理結果を示している。ここで、図３９２Ａは、原画像であり、図３９２Ｂは、従来のクラス分類適応処理による処理結果であり、図３９２Ｃは、上述した多項式からなる実世界の近似関数による処理結果であり、さらに、図３９２Ｄは、不連続関数からなる実世界の近似関数による処理結果をそれぞれ示している。
【３０８６】
不連続関数からなる実世界の近似関数による処理結果は、画像のにじみが少なく、原画像に近い鮮明な画像が生成されることがわかる。
【３０８７】
また、図３９３は、高密度の原画像における、水平方向、および、垂直方向に４画素×４画素ずつ平均画素値を求め、さらに、その１６画素の画素値を求められた平均画素値として、空間解像度を１６分の１にまで低下させた後、上述した多項式からなる実世界の近似関数による処理結果と、不連続関数からなる実世界の近似関数による処理結果を比較したものである。尚、図３９３において、実線は、原画像であり、点線は、多項式からなる実世界の近似関数による処理結果であり、一点鎖線が、不連続関数からなる実世界の近似関数による処理結果である。また、図中横軸は、Ｘ方向の座標位置であり、縦軸は画素値を示している。
【３０８８】
不連続関数からなる実世界の近似関数による処理結果は、多項式からなる実世界の近似関数による処理結果と比べて、Ｘ＝６５１乃至６５５において、原画像と原画像に対してより一致しており、１６倍密度の画素生成においても正確に画素値を再現していることがわかる。
【３０８９】
以上の処理により、画素以下の領域における光の強度の分布を考慮して画素を生成することができ、より高密度の画素を正確に生成することが可能となるため、例えば、拡大画像を鮮明に生成することが可能となる。
【３０９０】
さらに、上述のように、不連続関数からなる実世界の近似関数を設定する方法により、画像に動きボケが生じても除去することができる。
【３０９１】
ここで、図３９４乃至図４０９を参照して、入力画像と動きボケについて説明する。
【３０９２】
図３９４は、センサ２による撮像を説明する図である。センサ２は、例えば、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）エリアセンサを備えたＣＣＤビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【３０９３】
センサ２は、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサ２は、撮像した画像を１フレーム単位で出力する。例えば、センサ２は、１秒間に３０フレームから成る画像を出力する。センサ２の露光時間は、１／３０秒とすることができる。露光時間は、センサ２が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【３０９４】
図３９５は、画素の配置を説明する図である。図３９５中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ２上に配置されている。センサ２が画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【３０９５】
図３９６に示すように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【３０９６】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサ２から出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【３０９７】
図３９７は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図３９７Ａは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図３９７Ａに示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【３０９８】
図３９７Ｂは、図３９７Ａに示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図３９７Ｂの横方向は、図３９７Ａの空間方向Ｘに対応している。
【３０９９】
背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。
【３１００】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【３１０１】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【３１０２】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【３１０３】
図３９８は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図３９７に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【３１０４】
図３９９は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【３１０５】
図３９９に示すＦ０１乃至Ｆ０４の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図３９９に示すＢ０１乃至Ｂ０４の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【３１０６】
図３９９における縦方向は、時間に対応し、図中の上から下に向かって時間が経過する。図３９９中の矩形の上辺の位置は、センサ２が入力された光の電荷への変換を開始する時刻に対応し、図３９９中の矩形の下辺の位置は、センサ２が入力された光の電荷への変換を終了する時刻に対応する。すなわち、図３９９中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
【３１０７】
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
【３１０８】
図３９９における横方向は、図３９７で説明した空間方向Ｘに対応する。より具体的には、図３９９に示す例において、図３９９中の”Ｆ０１”と記載された矩形の左辺から”Ｂ０４”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【３１０９】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される光は変化しない。
【３１１０】
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量ｖなどに対応して設定される。例えば、図４００に示すように、４である動き量ｖに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
【３１１１】
図４００中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【３１１２】
以下、動き量ｖに対応して分割されたシャッタ時間をシャッタ時間／ｖとも称する。
【３１１３】
前景に対応するオブジェクトが静止しているとき、センサ２に入力される光は変化しないので、前景の成分Ｆ０１／ｖは、画素値Ｆ０１を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分Ｆ０２／ｖは、画素値Ｆ０２を仮想分割数で除した値に等しく、前景の成分Ｆ０３／ｖは、画素値Ｆ０３を仮想分割数で除した値に等しく、前景の成分Ｆ０４／ｖは、画素値Ｆ０４を仮想分割数で除した値に等しい。
【３１１４】
背景に対応するオブジェクトが静止しているとき、センサ２に入力される光は変化しないので、背景の成分Ｂ０１／ｖは、画素値Ｂ０１を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分Ｂ０２／ｖは、画素値Ｂ０２を仮想分割数で除した値に等しく、Ｂ０３／ｖは、画素値Ｂ０３を仮想分割数で除した値に等しく、Ｂ０４／ｖは、画素値Ｂ０４を仮想分割数で除した値に等しい。
【３１１５】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖとは、同じ値となる。Ｆ０２／ｖ乃至Ｆ０４／ｖも、Ｆ０１／ｖと同様の関係を有する。
【３１１６】
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖとは、同じ値となる。Ｂ０２／ｖ乃至Ｂ０４／ｖも、同様の関係を有する。
【３１１７】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【３１１８】
図４０１は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図４０１において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図４０１において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【３１１９】
図４０１において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図４０１において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図４０１において、最も右側の画素は、背景領域に属する。
【３１２０】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【３１２１】
例えば、図４０１中に太線枠を付した画素値Ｍは、式（２９９）で表される。
【３１２２】
Ｍ＝Ｂ０２／ｖ＋Ｂ０２／ｖ＋Ｆ０７／ｖ＋Ｆ０６／ｖ・・・（２９９）
【３１２３】
例えば、左から５番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、１／４である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、１／２である。左から７番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、３／４である。
【３１２４】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図４０１中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０７／ｖは、図４０１中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０７／ｖは、図４０１中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図４０１中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【３１２５】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図４０１中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０６／ｖは、図４０１中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０６／ｖは、図４０１中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図４０１中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【３１２６】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図４０１中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０５／ｖは、図４０１中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０５／ｖは、図４０１中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図４０１中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【３１２７】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図４０１中の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０４／ｖは、図４０１中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０４／ｖは、図４０１中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図４０１中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【３１２８】
このような動いているオブジェクトに対応する前景の領域の状態が、動きボケである。また、動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【３１２９】
図４０２は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図４０２において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図４０２において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【３１３０】
図４０２において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図４０２において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図４０２において、最も右側の画素は、前景領域に属する。
【３１３１】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【３１３２】
例えば、図４０２中に太線枠を付した画素値Ｍ’は、式（３００）で表される。
【３１３３】
Ｍ’＝Ｆ０２／ｖ＋Ｆ０１／ｖ＋Ｂ２６／ｖ＋Ｂ２６／ｖ・・・（３００）
【３１３４】
例えば、左から５番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、３／４である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、１／２である。左から７番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、１／４である。
【３１３５】
式（２９９）および式（３００）をより一般化すると、画素値Ｍは、式（３０１）で表される。
【３１３６】
【数２３２】

ここで、αは、混合比である。Ｂは、背景の画素値であり、Ｆｉ／ｖは、前景の成分である。
【３１３７】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図４０２中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０１／ｖは、図４０２中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、Ｆ０１／ｖは、図４０２中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図４０２中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【３１３８】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図４０２中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０２／ｖは、図４０２中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０２／ｖは、図４０２中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【３１３９】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図４０２中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０３／ｖは、図４０２中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【３１４０】
図４００乃至図４０２の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量ｖに対応する。動き量ｖは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量ｖは、４とされる。動き量ｖに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量ｖは、６とされ、仮想分割数は、６とされる。
【３１４１】
図４０３および図４０４に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。
【３１４２】
図４０３は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図４０３に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【３１４３】
フレーム＃ｎ＋１は、フレーム＃ｎの次のフレームであり、フレーム＃ｎ＋２は、フレーム＃ｎ＋１の次のフレームである。
【３１４４】
フレーム＃ｎ乃至フレーム＃ｎ＋２のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量ｖを４として、抽出された画素の画素値を時間方向に展開したモデルを図４０４に示す。
【３１４５】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間／ｖの期間に対応する、４つの異なる前景の成分から構成される。例えば、図４０４に示す前景領域の画素のうち最も左側に位置する画素は、Ｆ０１／ｖ，Ｆ０２／ｖ，Ｆ０３／ｖ、およびＦ０４／ｖから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【３１４６】
背景に対応するオブジェクトが静止しているので、シャッタ時間に対応する期間において、センサ２に入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【３１４７】
カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【３１４８】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【３１４９】
図４０５は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム＃ｎは、フレーム＃ｎ−１の次のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎの次のフレームである。他のフレームも同様に称する。
【３１５０】
図４０５に示すＢ０１乃至Ｂ１２の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム＃ｎ−１乃至フレームｎ＋１において、対応する画素の画素値は、変化しない。例えば、フレーム＃ｎ−１におけるＢ０５の画素値を有する画素の位置に対応する、フレーム＃ｎにおける画素、およびフレーム＃ｎ＋１における画素は、それぞれ、Ｂ０５の画素値を有する。
【３１５１】
図４０６は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図４０６に示すモデルは、カバードバックグラウンド領域を含む。
【３１５２】
図４０６において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量ｖは、４であり、仮想分割数は、４である。
【３１５３】
例えば、図４０６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図４０６中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図４０６中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０６中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【３１５４】
図４０６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなり、図４０６中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図４０６中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【３１５５】
図４０６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図４０６中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図４０６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【３１５６】
背景に対応するオブジェクトが静止しているので、図４０６中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０１／ｖとなる。図４０６中のフレーム＃ｎ−１の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ０２／ｖとなる。図４０６中のフレーム＃ｎ−１の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間／ｖの背景の成分は、Ｂ０３／ｖとなる。
【３１５７】
図４０６中のフレーム＃ｎ−１において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【３１５８】
図４０６中のフレーム＃ｎ−１の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、Ｂ０４乃至Ｂ１１となる。
【３１５９】
図４０６中のフレーム＃ｎの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム＃ｎの前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ０５／ｖ乃至Ｆ１２／ｖのいずれかである。
【３１６０】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図４０６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図４０６中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図４０６中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０６中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【３１６１】
図４０６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなり、図４０６中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図４０６中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【３１６２】
図４０６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図４０６中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図４０６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【３１６３】
背景に対応するオブジェクトが静止しているので、図４０６中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０５／ｖとなる。図４０６中のフレーム＃ｎの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ０６／ｖとなる。図４０６中のフレーム＃ｎの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間／ｖの背景の成分は、Ｂ０７／ｖとなる。
【３１６４】
図４０６中のフレーム＃ｎにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【３１６５】
図４０６中のフレーム＃ｎの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ０８乃至Ｂ１１となる。
【３１６６】
図４０６中のフレーム＃ｎ＋１の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム＃ｎ＋１の前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ０１／ｖ乃至Ｆ１２／ｖのいずれかである。
【３１６７】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図４０６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図４０６中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図４０６中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０６中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【３１６８】
図４０６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの期間の前景の成分は、Ｆ１１／ｖとなり、図４０６中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図４０６中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【３１６９】
図４０６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図４０６中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図４０６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【３１７０】
背景に対応するオブジェクトが静止しているので、図４０６中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０９／ｖとなる。図４０６中のフレーム＃ｎ＋１の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ１０／ｖとなる。図４０６中のフレーム＃ｎ＋１の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間／ｖの背景の成分は、Ｂ１１／ｖとなる。
【３１７１】
図４０６中のフレーム＃ｎ＋１において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【３１７２】
図４０７は、図４０６に示す画素値から前景の成分を抽出した画像のモデル図である。
【３１７３】
図４０８は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図４０８において、アンカバードバックグラウンド領域が含まれている。
【３１７４】
図４０８において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量ｖは、４である。
【３１７５】
例えば、図４０８中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図４０８中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図４０８中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０８中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【３１７６】
図４０８中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図４０８中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図４０８中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【３１７７】
背景に対応するオブジェクトが静止しているので、図４０８中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間／ｖの背景の成分は、Ｂ２５／ｖとなる。図４０８中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間／ｖの背景の成分は、Ｂ２６／ｖとなる。図４０８中のフレーム＃ｎ−１の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ２７／ｖとなる。
【３１７８】
図４０８中のフレーム＃ｎ−１において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【３１７９】
図４０８中のフレーム＃ｎ−１の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、Ｆ１３／ｖ乃至Ｆ２４／ｖのいずれかである。
【３１８０】
図４０８中のフレーム＃ｎの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ２５乃至Ｂ２８となる。
【３１８１】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図４０８中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図４０８中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図４０８中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０８中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【３１８２】
図４０８中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図４０８中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図４０８中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【３１８３】
背景に対応するオブジェクトが静止しているので、図４０８中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間／ｖの背景の成分は、Ｂ２９／ｖとなる。図４０８中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間／ｖの背景の成分は、Ｂ３０／ｖとなる。図４０８中のフレーム＃ｎの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ３１／ｖとなる。
【３１８４】
図４０８中のフレーム＃ｎにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【３１８５】
図４０８中のフレーム＃ｎの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム＃ｎの前景領域における、シャッタ時間／ｖの期間に対応する値は、Ｆ１３／ｖ乃至Ｆ２０／ｖのいずれかである。
【３１８６】
図４０８中のフレーム＃ｎ＋１の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ２５乃至Ｂ３２となる。
【３１８７】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図４０８中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図４０８中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図４０８中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図４０８中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【３１８８】
図４０８中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図４０８中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図４０８中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【３１８９】
背景に対応するオブジェクトが静止しているので、図４０８中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間／ｖの背景の成分は、Ｂ３３／ｖとなる。図４０８中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間／ｖの背景の成分は、Ｂ３４／ｖとなる。図４０８中のフレーム＃ｎ＋１の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ３５／ｖとなる。
【３１９０】
図４０８中のフレーム＃ｎ＋１において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【３１９１】
図４０８中のフレーム＃ｎ＋１の左から１２番目の画素は、前景領域に属する。フレーム＃ｎ＋１の前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ１３／ｖ乃至Ｆ１６／ｖのいずれかである。
【３１９２】
図４０９は、図４０８に示す画素値から前景の成分を抽出した画像のモデル図である。
【３１９３】
入力画像と動きボケについて説明してきたが、以上においては、仮想分割数により画素内の成分の変化を説明してきたが、仮想分割数を無限にすることにより、各成分は、例えば、図３７３の右部にあるレベルｗ_１乃至ｗ_５で示される帯状の領域と同様な構成となる。
【３１９４】
すなわち、Ｘ−Ｔ平面上（Ｘ−Ｙ平面でも同じ）の定常性の方向に沿った領域毎に不連続関数としてレベルを設定することは、シャッタ時間内の成分の変化を分割数によらず、直線的な領域として設定したものであると言える。
【３１９５】
このため、定常性の方向に沿った領域毎に不連続関数からなる近似関数を用いて、実世界を推定することにより、上述の動きボケの生じるメカニズムを推定することができる。
【３１９６】
従って、この特性を利用することで、１回のシャッタ時間内の画素（フレーム方向に１画素以下の画素）を生成することにより、実質的に動きボケを除去することが可能となる。
【３１９７】
図４１０は、クラス分類適応処理により動きボケを除去した場合の処理結果と、定常性の方向に沿った領域毎に不連続関数を設定することにより得られる実世界の近似関数を用いて動きボケを除去した場合の処理結果を比較したものである。尚、図４１０においては、点線が、入力画像（動きボケの存在する画像）の画素値の変化を示したものであり、実線は、クラス分類適応処理により動きボケを除去した場合の処理結果を示したものであり、一点鎖線が、定常性の方向に沿った領域毎に不連続関数を設定することにより得られる実世界の近似関数を用いて動きボケを除去した場合の処理結果を示している。さらに、横軸は、入力画像のＸ方向の座標を示し、縦軸は、画素値を示している。
【３１９８】
領域毎の不連続関数からなる実世界の近似関数を用いて動きボケを除去した場合の処理結果は、クラス分類適応処理により動きボケを除去した場合の処理結果に比べて、Ｘ＝３７９，３７６付近を中心として、エッジ部分の画素値の変化が激しくなっており、動きボケが除去されて、画像のコントラストがはっきりした画像となっていることがわかる。
【３１９９】
また、図４１１で示されるように、おもちゃの飛行機状の物体が水平方向に移動する際に動きボケが生じたときの画像を、定常性の方向に沿った領域毎に不連続関数を設定して実世界の近似関数を用いて動きボケを除去した場合の処理結果（図３６９の実世界推定部１０２と図３８４の画像生成部１０３を用いて生成された動きボケが除去された画像）と、その他の方式で動きボケを除去した処理結果との比較が、図４１２Ａ乃至Ｄに示されている。
【３２００】
すなわち、図４１２Ａは、図４１１中の黒枠部分の動きボケが生じた画像そのもの（ボケ除去の処理前の画像）であり、図４１２Ｂは、図４１２Ａの動きボケが生じた画像を、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去した画像であり、図４１２Ｃは、入力画像の被写体が静止した状態で撮像された画像であり、図４１２Ｄは、その他の方式で動きボケを除去した処理結果の画像である。
【３２０１】
領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去した画像（図４１２Ｂの画像）は、その他の方式で動きボケを除去した処理結果の画像（図４１２Ｄの画像）と比べて、図中の「Ｃ」と「Ａ」の隣接している部位が、より鮮明な画像となっており、また、文字の存在する領域が、よりはっきりと表示されているのがわかる。これにより、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去する処理により、細部が鮮明に表示されることがわかる。
【３２０２】
さらに、図４１３で示されるように、おもちゃの飛行機状の物体が斜方向（斜右上がり方向）に移動する際に動きボケが生じたときの画像を、定常性の方向に沿った領域毎に不連続関数を設定して実世界の近似関数を用いて動きボケを除去した場合の処理結果（図３７７の実世界推定部１０２と図３８８の画像生成部１０３を用いて生成された動きボケが除去された画像）と、その他の方式で動きボケを除去した処理結果との比較が、図４１４Ａ乃至Ｄに示されている。
【３２０３】
すなわち、図４１４Ａは、図４１３中の黒枠部分の動きボケが生じたボケ除去の処理前の画像であり、図４１４Ｂは、図４１４Ａの動きボケが生じた画像を、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去した画像であり、図４１４Ｃは、入力画像の被写体が静止した状態で撮像された画像であり、図４１４Ｄは、その他の方式で動きボケを除去した処理結果の画像である。尚、画像は、図４１３の図中に太線で長方状の印のついた位置付近のものである。
【３２０４】
領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去した画像は、図４１２を参照して説明したように、その他の方式で動きボケを除去した処理結果の画像と比べて、図中の「Ｃ」と「Ａ」の隣接している部位が、より鮮明な画像となっており、また、文字の存在する領域が、よりはっきりと表示されているのがわかる。これにより、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去する処理により、細部が鮮明に表示されることがわかる。
【３２０５】
さらに、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去する場合、図４１５Ａで示される右上がりの方向に動きボケが生じた斜方向に上段の原画像が入力されると、図４１５Ｂで示されるような画像が出力される。すなわち、原画像の中央部の縦じまに動きボケが生じた画像の場合、領域毎に設定される不連続関数からなる実世界の近似関数を用いて動きボケを除去することにより、縦じま部分が、鮮明な画像となる。
【３２０６】
すなわち、図４１２Ａ乃至Ｄ、および、図４１５Ａ，Ｂで示されるように、図３７７の実世界推定部、および、図３８８の画像生成部１０３は、図３９１で示されるような３次元の棒状の領域毎に、それぞれに不連続な関数として実世界を推定する近似関数を設定することから、水平方向、および、垂直方向のみならず、それらの動きの組み合わせとなる斜方向の動きにより生じる動きボケをも除去することも可能である。
【３２０７】
以上によれば、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの定常性を検出し、画像データ定常性検出手段により検出された画像データの定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する各画素の画素値が少なくとも１次元方向の積分により取得された画素値であるとして画像データを不連続な関数で近似することにより、現実世界の光信号に対応する関数を推定するようにしたので、拡大画像に用いる高密度画素の生成や、新たなフレームの画素を生成することが可能となり、いずれにおいても、より鮮明な画像を生成することが可能となる。
【３２０８】
なお、センサ２は、固体撮像素子である、例えば、ＢＢＤ（Ｂｕｃｋｅｔ Ｂｒｉｇａｄｅ Ｄｅｖｉｃｅ）、ＣＩＤ（Ｃｈａｒｇｅ Ｉｎｊｅｃｔｉｏｎ Ｄｅｖｉｃｅ）、またはＣＰＤ（Ｃｈａｒｇｅ Ｐｒｉｍｉｎｇ Ｄｅｖｉｃｅ）などのセンサでもよい。
【３２０９】
本発明の信号処理を行うプログラムを記録した記録媒体は、図２で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フレキシブルディスクを含む）、光ディスク５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｕｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２２や、記憶部２８に含まれるハードディスクなどで構成される。
【３２１０】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【３２１１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【３２１２】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
【３２１３】
また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】本発明の原理を示す図である。
【図２】信号処理装置４の構成の例を示すブロック図である。
【図３】信号処理装置４を示すブロック図である。
【図４】従来の信号処理装置１２１の処理の原理を説明する図である。
【図５】信号処理装置４の処理の原理を説明する図である。
【図６】本発明の原理をより具体的に説明する図である。
【図７】本発明の原理をより具体的に説明する図である。
【図８】イメージセンサ上の画素の配置の例を説明する図である。
【図９】ＣＣＤである検出素子の動作を説明する図である。
【図１０】画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１１】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１２】実世界１の線状の物の画像の例を示す図である。
【図１３】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１４】画像データの模式図である。
【図１５】背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像の例を示す図である。
【図１６】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１７】画像データの模式図である。
【図１８】本発明の原理を説明する図である。
【図１９】本発明の原理を説明する図である。
【図２０】高解像度データ１８１の生成の例を説明する図である。
【図２１】モデル１６１による近似を説明する図である。
【図２２】Ｍ個のデータ１６２によるモデル１６１の推定を説明する図である。
【図２３】実世界１の信号とデータ３との関係を説明する図である。
【図２４】式を立てるときに注目するデータ３の例を示す図である。
【図２５】式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【図２６】式（１８）、式（１９）、および式（２２）で表される定常性を説明する図である。
【図２７】データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。
【図２８】データ３である画素値が取得された領域を説明する図である。
【図２９】画素の時空間方向の位置の近似を説明する図である。
【図３０】データ３における、時間方向および２次元の空間方向の実世界１の信号の積分を説明する図である。
【図３１】空間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３２】時間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３３】動きボケを除去した高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３４】時間空間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３５】入力画像の元の画像を示す図である。
【図３６】入力画像の例を示す図である。
【図３７】従来のクラス分類適応処理を適用して得られた画像を示す図である。
【図３８】細線の領域を検出した結果を示す図である。
【図３９】信号処理装置４から出力された出力画像の例を示す図である。
【図４０】信号処理装置４による、信号の処理を説明するフローチャートである。
【図４１】データ定常性検出部１０１の構成を示すブロック図である。
【図４２】背景の前に細線がある実世界１の画像を示す図である。
【図４３】平面による背景の近似を説明する図である。
【図４４】細線の画像が射影された画像データの断面形状を示す図である。
【図４５】細線の画像が射影された画像データの断面形状を示す図である。
【図４６】細線の画像が射影された画像データの断面形状を示す図である。
【図４７】頂点の検出および単調増減領域の検出の処理を説明する図である。
【図４８】頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。
【図４９】図４８の点線ＡＡ’で示す方向に並ぶ画素の画素値を表す図である。
【図５０】単調増減領域の連続性の検出の処理を説明する図である。
【図５１】平面での近似により定常成分を抽出した画像の例を示す図である。
【図５２】単調減少している領域を検出した結果を示す図である。
【図５３】連続性が検出された領域を示す図である。
【図５４】連続性が検出された領域の画素値を示す図である。
【図５５】細線の画像が射影された領域の検出の他の処理の例を示す図である。
【図５６】定常性検出の処理を説明するフローチャートである。
【図５７】時間方向のデータの定常性を検出の処理を説明する図である。
【図５８】非定常成分抽出部２０１の構成を示すブロック図である。
【図５９】棄却される回数を説明する図である。
【図６０】入力画像の例を示す図である。
【図６１】棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図６２】棄却をして平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図６３】棄却された回数を画素値とした画像を示す図である。
【図６４】平面の空間方向Ｘの傾きを画素値とした画像を示す図である。
【図６５】平面の空間方向Ｙの傾きを画素値とした画像を示す図である。
【図６６】平面で示される近似値からなる画像を示す図である。
【図６７】平面で示される近似値と画素値との差分からなる画像を示す図である。
【図６８】非定常成分の抽出の処理を説明するフローチャートである。
【図６９】定常成分の抽出の処理を説明するフローチャートである。
【図７０】定常成分の抽出の他の処理を説明するフローチャートである。
【図７１】定常成分の抽出のさらに他の処理を説明するフローチャートである。
【図７２】データ定常性検出部１０１の他の構成を示すブロック図である。
【図７３】データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図７４】アクティビティを検出するためのブロックを説明する図である。
【図７５】アクティビティに対するデータの定常性の角度を説明する図である。
【図７６】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図７７】画素の組を説明する図である。
【図７８】画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図７９】データの定常性の検出の処理を説明するフローチャートである。
【図８０】時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図８１】データ定常性検出部１０１のより詳細な他の構成を示すブロック図である。
【図８２】設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。
【図８３】設定された直線の角度の範囲を説明する図である。
【図８４】設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。
【図８５】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８６】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８７】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８８】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８９】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９０】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９１】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９２】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９３】データの定常性の検出の処理を説明するフローチャートである。
【図９４】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図９５】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図９６】ブロックの例を説明する図である。
【図９７】注目ブロックと参照ブロックとの、画素値の差分の絶対値の算出の処理を説明する図である。
【図９８】注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を説明する図である。
【図９９】シフト量γと角度θとの関係を示す図である。
【図１００】シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。
【図１０１】注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す図である。
【図１０２】検出するデータの定常性の角度の範囲を１／２にする処理を説明する図である。
【図１０３】データの定常性の検出の処理を説明するフローチャートである。
【図１０４】間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるブロックを示す図である。
【図１０５】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図１０６】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図１０７】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図１０８】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１０９】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１１０】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１１１】入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図１１２】回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度を説明する図である。
【図１１３】領域の例を示す図である。
【図１１４】図１０７で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明するフローチャートである。
【図１１５】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図１１６】入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図１１７】標準偏差とデータの定常性を有する領域との関係を説明する図である。
【図１１８】領域の例を示す図である。
【図１１９】図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明するフローチャートである。
【図１２０】図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の他の処理を説明するフローチャートである。
【図１２１】本発明を適用した細線、または、２値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１２２】データ定常性情報の検出方法を説明する図である。
【図１２３】データ定常性情報の検出方法を説明する図である。
【図１２４】図１２１のデータ定常性検出部のより詳細な構成を示す図である。
【図１２５】水平・垂直判定処理を説明する図である。
【図１２６】水平・垂直判定処理を説明する図である。
【図１２７】現実世界の細線とセンサにより撮像される細線の関係を説明する図である。
【図１２８】現実世界の画像の細線と背景の関係を説明する図である。
【図１２９】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図１３０】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図１３１】現実世界の画像の細線と背景の関係を説明する図である。
【図１３２】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図１３３】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図１３４】細線の角度を求めるためのモデルを示す図である。
【図１３５】細線の角度を求めるためのモデルを示す図である。
【図１３６】注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。
【図１３７】細線の角度の求め方を説明する図である。
【図１３８】細線の角度の求め方を説明する図である。
【図１３９】抽出ブロックとダイナミックレンジブロックを説明する図である。
【図１４０】最小自乗法の解法を説明する図である。
【図１４１】最小自乗法の解法を説明する図である。
【図１４２】２値エッジを説明する図である。
【図１４３】センサにより撮像された画像の２値エッジを説明する図である。
【図１４４】センサにより撮像された画像の２値エッジの例を説明する図である。
【図１４５】センサにより撮像された画像の２値エッジを説明する図である。
【図１４６】２値エッジの角度を求めるためのモデルを示す図である。
【図１４７】２値エッジの角度を求める方法を説明する図である。
【図１４８】２値エッジの角度を求める方法を説明する図である。
【図１４９】細線、または、２値エッジの角度をデータ定常性と検出する処理を説明するフローチャートである。
【図１５０】データ抽出処理を説明するフローチャートである。
【図１５１】正規方程式への足し込み処理を説明するフローチャートである。
【図１５２】本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図１５３】本発明を適用して求めた２値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図１５４】本発明を適用した混合比をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１５５】混合比の求め方を説明する図である。
【図１５６】混合比をデータ定常性と検出する処理を説明するフローチャートである。
【図１５７】正規方程式への足し込み処理を説明するフローチャートである。
【図１５８】細線の混合比の分布例を示す図である。
【図１５９】２値エッジの混合比の分布例を示す図である。
【図１６０】混合比の直線近似を説明する図である。
【図１６１】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１６２】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１６３】物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。
【図１６４】物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。
【図１６５】本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１６６】図１６５のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図１６７】図１６５のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１６８】図１６５のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１６９】本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部のその他の構成を示すブロック図である。
【図１７０】図１６９のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図１７１】図１６９のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１７２】図１６９のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１７３】データ定常性検出部の他の実施の形態の構成を示すブロック図である。
【図１７４】図１７３のデータ定常性検出部の簡易式角度検出部の構成の例を示すブロック図である。
【図１７５】図１７３のデータ定常性検出部の回帰式角度検出部の構成の例を示すブロック図である。
【図１７６】図１７３のデータ定常性検出部の勾配式角度検出部の構成の例を示すブロック図である。
【図１７７】図１７３のデータ定常性検出部によるデータの定常性の検出の処理を説明するフローチャートである。
【図１７８】簡易式角度検出部により検出された角度に対応する角度の検出方法を説明する図である。
【図１７９】図１７７のフローチャートのステップＳ９０４の処理である回帰式角度検出処理を説明するフローチャートである。
【図１８０】度数の変換処理を行うスコープ範囲となる画素を説明する図である。
【図１８１】度数の変換処理を行うスコープ範囲となる画素を説明する図である。
【図１８２】度数の変換処理を行うスコープ範囲となる画素を説明する図である。
【図１８３】度数の変換処理を行うスコープ範囲となる画素を説明する図である。
【図１８４】度数の変換処理を行うスコープ範囲となる画素を説明する図である。
【図１８５】データ定常性検出部の他の実施の形態の構成を示すブロック図である。
【図１８６】図１８５のデータ定常性検出部によるデータの定常性の検出の処理を説明するフローチャートである。
【図１８７】実世界推定部１０２の構成を示すブロック図である。
【図１８８】実世界１の信号における、細線の幅を検出する処理を説明する図である。
【図１８９】実世界１の信号における、細線の幅を検出する処理を説明する図である。
【図１９０】実世界１の信号における、細線の信号のレベルを推定する処理を説明する図である。
【図１９１】実世界の推定の処理を説明するフローチャートである。
【図１９２】実世界推定部１０２の他の構成を示すブロック図である。
【図１９３】境界検出部２１２１の構成を示すブロック図である。
【図１９４】分配比の算出の処理を説明する図である。
【図１９５】分配比の算出の処理を説明する図である。
【図１９６】分配比の算出の処理を説明する図である。
【図１９７】単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図１９８】単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図１９９】実世界の推定の処理を説明するフローチャートである。
【図２００】境界検出の処理を説明するフローチャートである。
【図２０１】空間方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図２０２】図２０１の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図２０３】参照画素を説明する図である。
【図２０４】空間方向の微分値を求める位置を説明する図である。
【図２０５】空間方向の微分値とシフト量の関係を説明する図である。
【図２０６】空間方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図２０７】図２０６の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図２０８】空間方向の傾きを求める処理を説明する図である。
【図２０９】空間方向の傾きを求める処理を説明する図である。
【図２１０】フレーム方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図２１１】図２１０の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図２１２】参照画素を説明する図である。
【図２１３】フレーム方向の微分値を求める位置を説明する図である。
【図２１４】フレーム方向の微分値とシフト量の関係を説明する図である。
【図２１５】フレーム方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図２１６】図２１５の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図２１７】フレーム方向の傾きを求める処理を説明する図である。
【図２１８】フレーム方向の傾きを求める処理を説明する図である。
【図２１９】図３の実世界推定部の実施の形態の１例である、関数近似手法の原理を説明する図である。
【図２２０】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２２１】図２２０のセンサの積分効果の具体的な例を説明する図である。
【図２２２】図２２０のセンサの積分効果の具体的な他の例を説明する図である。
【図２２３】図２２１で示される細線含有実世界領域を表した図である。
【図２２４】図３の実世界推定部の実施の形態の１例の原理を、図２１９の例と対比させて説明する図である。
【図２２５】図２２１で示される細線含有データ領域を表した図である。
【図２２６】図２２５の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図２２７】図２２６の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図２２８】図２２１で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。
【図２２９】図２２５の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図２３０】図２２９で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。
【図２３１】空間方向の定常性を考慮して、図２２６の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図２３２】空間混合領域を説明する図である。
【図２３３】空間混合領域における、実世界の信号を近似した近似関数を説明する図である。
【図２３４】センサの積分特性と空間方向の定常性の両方を考慮して、図２２６の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。
【図２３５】図２１９で示される原理を有する関数近似手法のうちの、１次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２３６】図２３５の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２３７】タップ範囲を説明する図である。
【図２３８】空間方向の定常性を有する実世界の信号を説明する図である。
【図２３９】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２４０】断面方向距離を説明する図である。
【図２４１】図２１９で示される原理を有する関数近似手法のうちの、２次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２４２】図２４１の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２４３】タップ範囲を説明する図である。
【図２４４】時空間方向の定常性の方向を説明する図である。
【図２４５】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２４６】空間方向の定常性を有する実世界の信号を説明する図である。
【図２４７】時空間方向の定常性を有する実世界の信号を説明する図である。
【図２４８】図２１９で示される原理を有する関数近似手法のうちの、３次元関数近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２４９】図２４８の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２５０】図３の実世界推定部に入力される入力画像の例を示す図である。
【図２５１】図２５０の注目画素の中心における実世界の光信号のレベルと、断面方向距離ｘ’における実世界の光信号のレベルの差を示す図である。
【図２５２】断面方向距離ｘ’について説明する図である。
【図２５３】断面方向距離ｘ’について説明する図である。
【図２５４】ブロック内の各画素の断面方向距離を表した図である。
【図２５５】正規方程式において重みを考慮せずに処理した結果を示す図である。
【図２５６】正規方程式において重みを考慮して処理した結果を示す図である。
【図２５７】正規方程式において重みを考慮せずに処理した結果を示す図である。
【図２５８】正規方程式において重みを考慮して処理した結果を示す図である。
【図２５９】図３の画像生成部の実施の形態の１例である、再積分手法の原理を説明する図である。
【図２６０】入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。
【図２６１】図２６０で示される近似関数から、図２６０で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図２６２】図２５９で示される原理を有する再積分手法のうちの、１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２６３】図２６２の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２６４】入力画像の元の画像の例を表す図である。
【図２６５】図２６４の画像に対応する画像データの例を表す図である。
【図２６６】入力画像の例を表す図である。
【図２６７】図２６６の画像に対応する画像データの例を表す図である。
【図２６８】入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。
【図２６９】図２６８の画像に対応する画像データの例を表す図である。
【図２７０】入力画像に対して本発明の１次元再積分手法の処理を施して得られる画像の例を表す図である。
【図２７１】図２７０の画像に対応する画像データの例を表す図である。
【図２７２】空間方向の定常性を有する実世界の信号を説明する図である。
【図２７３】図２５９で示される原理を有する再積分手法のうちの、２次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２７４】断面方向距離を説明する図である。
【図２７５】図２７３の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２７６】入力画素の１例を説明する図である。
【図２７７】２次元再積分手法により、図２７６で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図２７８】時空間方向の定常性の方向を説明する図である。
【図２７９】図２５９で示される原理を有する再積分手法のうちの、３次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２８０】図２７９の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２８１】本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図２８２】図２８１の画像生成部による画像の生成の処理を説明するフローチャートである。
【図２８３】入力画素から４倍密度の画素を生成する処理を説明する図である。
【図２８４】画素値を示す近似関数とシフト量との関係を示す図である。
【図２８５】本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図２８６】図２８５の画像生成部による画像の生成の処理を説明するフローチャートである。
【図２８７】入力画素から４倍密度の画素を生成する処理を説明する図である。
【図２８８】画素値を示す近似関数とシフト量との関係を示す図である。
【図２８９】図３の画像生成部の実施の形態の１例である、クラス分類適応処理補正手法の１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２９０】図２８９の画像生成部のクラス分類適応処理部の構成例を説明するブロック図である。
【図２９１】図２８９のクラス分類適応処理部と、クラス分類適応処理補正部が使用する係数を学習により決定する学習装置の構成例を示すブロック図である。
【図２９２】図２９１のクラス分類適応処理用学習部の詳細な構成例を説明するブロック図である。
【図２９３】図２９０のクラス分類適応処理部の処理結果の例を示す図である。
【図２９４】図２９３の予測画像とＨＤ画像の差分画像を示す図である。
【図２９５】図２９４で示される領域に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個のＨＤ画素に対応する、図２９３のＨＤ画像の具体的な画素値、ＳＤ画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。
【図２９６】図２９３の予測画像とＨＤ画像の差分画像を示す図である。
【図２９７】図２９６で示される領域に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個のＨＤ画素に対応する、図２９３のＨＤ画像の具体的な画素値、ＳＤ画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。
【図２９８】図２９５乃至図２９７に示される内容に基づいて得られた知見を説明する図である。
【図２９９】図２８９の画像生成部のクラス分類適応処理補正部の構成例を説明するブロック図である。
【図３００】図２９１のクラス分類適応処理補正用学習部の詳細な構成例を説明するブロック図である。
【図３０１】画素内傾斜を説明する図である。
【図３０２】図２９３のＳＤ画像と、そのＳＤ画像の各画素の画素内傾斜を画素値とする特徴量画像を示す図である。
【図３０３】画素内傾斜の算出方法を説明する図である。
【図３０４】画素内傾斜の算出方法を説明する図である。
【図３０５】図２８９の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図３０６】図３０５の画像の生成処理の入力画像クラス分類適応処理の詳細を説明するフローチャートである。
【図３０７】図３０５の画像の生成処理のクラス分類適応処理の補正処理の詳細を説明するフローチャートである。
【図３０８】クラスタップの配置例を説明する図である。
【図３０９】クラス分類の１例を説明する図である。
【図３１０】予測タップ配置例を説明する図である。
【図３１１】図２９１の学習装置の学習処理を説明するフローチャートである。
【図３１２】図３１１の学習処理のクラス分類適応処理用学習処理の詳細を説明するフローチャートである。
【図３１３】図３１１の学習処理のクラス分類適応処理補正用学習処理の詳細を説明するフローチャートである。
【図３１４】図２９３の予測画像と、その予測画像に補正画像を加算した画像（図２８９の画像生成部により生成される画像）を表した図である。
【図３１５】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第１の構成例を説明するブロック図である。
【図３１６】図３１５の信号処理装置の、クラス分類適応処理を実行する画像生成部の構成例を説明するブロック図である。
【図３１７】図３１６の画像生成部に対する学習装置の構成例を説明するブロック図である。
【図３１８】図３１５の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３１９】図３１８の信号の処理のクラス分類適応処理の実行処理の詳細を説明するフローチャートである。
【図３２０】図３１７の学習装置の学習処理を説明するフローチャートである。
【図３２１】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第２の構成例を説明するブロック図である。
【図３２２】図３１９の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３２３】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第３の構成例を説明するブロック図である。
【図３２４】図３２１の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３２５】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第４の構成例を説明するブロック図である。
【図３２６】図３２３の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３２７】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第５の構成例を説明するブロック図である。
【図３２８】図３２５の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３２９】データ定常性検出部の他の実施の形態の構成を示すブロック図である。
【図３３０】図３２９のデータ定常性検出部によるデータの定常性の検出処理を説明するフローチャートである。
【図３３１】光学ブロックの構成を説明する図である。
【図３３２】光学ブロックの構成を説明する図である。
【図３３３】ＯＬＰＦの構成を説明する図である。
【図３３４】ＯＬＰＦの機能を説明する図である。
【図３３５】ＯＬＰＦの機能を説明する図である。
【図３３６】本発明のその他の信号処理装置の構成を示すブロック図である。
【図３３７】図３３６のＯＬＰＦ除去部の構成を示すブロック図である。
【図３３８】クラスタップの例を説明する図である。
【図３３９】図３３６の信号処理装置による信号の処理を説明するフローチャートである。
【図３４０】図３３９のフローチャートのステップＳ５１０１の処理である、ＯＬＰＦ除去の処理を説明するフローチャートである。
【図３４１】図３３７のＯＬＰＦ除去部の係数を学習する学習装置である。
【図３４２】学習方法を説明する図である。
【図３４３】教師画像と生徒画像を説明する図である。
【図３４４】図３４２の学習装置の教師画像生成部と生徒画像生成部の構成を示すブロック図である。
【図３４５】生徒画像と教師画像の生成方法を説明する図である。
【図３４６】ＯＬＰＦのシミュレーション方法を説明する図である。
【図３４７】教師画像の例を示す図である。
【図３４８】生徒画像の例を示す図である。
【図３４９】学習の処理を説明するフローチャートである。
【図３５０】ＯＬＰＦの除去処理を行った画像を示す図である。
【図３５１】ＯＬＰＦの除去処理を行った画像と、除去していない画像との比較を説明する図である。
【図３５２】実世界推定部のその他の構成例を示すブロック図である。
【図３５３】ＯＬＰＦによる影響を説明する図である。
【図３５４】ＯＬＰＦによる影響を説明する図である。
【図３５５】図３５２の実世界推定部による実世界の推定処理を説明するフローチャートである。
【図３５６】抽出されるタップの例を示す図である。
【図３５７】図３５２の実世界推定部により推定された実世界の近似関数より生成された画像と、それ以外の手法で生成された画像を比較する図である。
【図３５８】図３５２の実世界推定部により推定された実世界の近似関数より生成された画像と、それ以外の手法で生成された画像を比較する図である。
【図３５９】信号処理装置のその他の構成を示すブロック図である。
【図３６０】図３５９の信号処理装置による信号の処理を説明すうフローチャートである。
【図３６１】図３５９の信号処理装置の係数を学習する学習装置の構成を示すブロック図である。
【図３６２】図３６１の教師画像生成部と生徒画像生成部の構成を示すブロック図である。
【図３６３】図３６１の学習装置による学習の処理を説明するフローチャートである。
【図３６４】各種の画像処理の関係を説明する図である。
【図３６５】連続関数からなる近似関数による実世界の推定を説明する図である。
【図３６６】不連続関数からなる近似関数を説明する図である。
【図３６７】連続関数と不連続関数からなる近似関数を説明する図である。
【図３６８】不連続関数からなる近似関数を用いた画素値の求め方を説明する図である。
【図３６９】実世界推定部のその他の構成を示すブロック図である。
【図３７０】図３６９の実世界推定部による実世界の推定処理を説明するフローチャートである。
【図３７１】抽出されるタップの例を示す図である。
【図３７２】Ｘ−ｔ平面上の不連続関数からなる近似関数を説明する図である。
【図３７３】抽出されるタップのその他の例を示す図である。
【図３７４】２次元の不連続関数からなる近似関数を説明する図である。
【図３７５】２次元の不連続関数からなる近似関数を説明する図である。
【図３７６】注目画素の領域毎の体積の割合を説明する図である。
【図３７７】実世界推定部のその他の構成を示すブロック図である。
【図３７８】図３７７の実世界推定部による実世界の推定処理を説明するフローチャートである。
【図３７９】抽出されるタップのその他の例を示す図である。
【図３８０】２次元の不連続関数からなる近似関数を説明する図である。
【図３８１】２次元の不連続関数からなる近似関数のその他の例を説明する図である。
【図３８２】領域毎の多項式の連続関数からなる近似関数を説明する図である。
【図３８３】領域毎の多項式の不連続関数からなる近似関数を説明する図である。
【図３８４】画像生成部のその他の構成を説明するブロック図である。
【図３８５】図３８４の画像生成部による画像生成の処理を説明するフローチャートである。
【図３８６】４倍密度の画素の生成手法を説明する図である。
【図３８７】従来の手法と、不連続関数からなる近似関数を用いた場合との関係を説明する図である。
【図３８８】画像生成部のその他の構成を説明するブロック図である。
【図３８９】図３８８の画像生成部による画像生成の処理を説明するフローチャートである。
【図３９０】注目画素を説明する図である。
【図３９１】注目画素の画素値を演算する方法を説明する図である。
【図３９２】空間方向の不連続関数からなる近似関数を用いた処理結果と、その他の処理結果を説明する図である。
【図３９３】不連続関数からなる近似関数を用いた処理結果と、その他の処理結果を説明する図である。
【図３９４】センサによる撮像を説明する図である。
【図３９５】画素の配置を説明する図である。
【図３９６】検出素子の動作を説明する図である。
【図３９７】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図３９８】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図３９９】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図４００】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０１】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０２】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０３】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図４０４】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図４０５】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０６】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０７】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０８】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル
【図４１０】時空間方向の不連続関数からなる近似関数を用いた処理結果と、その他の処理結果を説明する図である。
【図４１１】水平方向の動きボケを含む画像を説明する図である。
【図４１２】図４１１の画像を時空間方向の不連続関数からなる近似関数を用いた処理結果と、その他の処理結果を説明する図である。
【図４１３】斜方向の動きボケを含む画像を説明する図である。
【図４１４】図４１３の画像を時空間方向の不連続関数からなる近似関数を用いた処理結果と、その他の処理結果を説明する図である。
【図４１５】斜方向に動きボケを含む画像を時空間方向の不連続関数からなる近似関数を用いた処理結果を示す図である。
【符号の説明】
４ 信号処理装置， ２１ ＣＰＵ， ２２ ＲＯＭ， ２３ ＲＡＭ， ２８ 記憶部， ５１ 磁気ディスク， ５２ 光ディスク， ５３ 光磁気ディスク， ５４ 半導体メモリ， １０１ データ定常性検出部， １０２ 実世界推定部， １０３ 画像生成部， ２０１ 非定常成分抽出部， ２０２ 頂点検出部， ２０３ 単調増減検出部， ２０４ 連続性検出部， ２２１ ブロック抽出部， ２２２ 平面近似部， ２２３ 繰り返し判定部， ４０１ アクティビティ検出部， ４０２ データ選択部， ４０３ 誤差推定部， ４０４ 定常方向導出部， ４１１−１乃至４１１−Ｌ 画素選択部， ４１２−１乃至４１２−Ｌ 推定誤差算出部， ４１３ 最小誤差角度選択部， ４２１−１乃至４２１−Ｌ 画素選択部， ４２２−１乃至４２２−Ｌ 推定誤差算出部， ４４１ データ選択部， ４４２ 誤差推定部， ４４３ 定常方向導出部， ４６１−１乃至４６１−Ｌ 画素選択部， ４６２−１乃至４６２−Ｌ 推定誤差算出部， ４６３ 最小誤差角度選択部， ４８１−１乃至４８１−３データ定常性検出部， ４８２ 決定部， ４９１ コンポーネント処理部，４９２ データ定常性検出部， ５０２ 画素取得部， ５０３ 度数検出部， ５０４ 回帰直線演算部， ５０５ 角度算出部， ６０２ 画素取得部，６０３ 度数検出部， ６０４ 回帰直線演算部， ６０５ 領域算出部， ７０１ データ選択部， ７０２ データ足し込み部， ７０３ 定常方向導出部， ７１１ 水平・垂直判定部， ７１２ データ取得部， ７２１ 差分足し込み部， ７２２ ＭａｘＭｉｎ取得部， ７２３ 差分足し込み部， ７３１ 定常方向演算部， ７５１ データ足し込み部， ７５２ ＭａｘＭｉｎ取得部， ７５３ 足し込み部， ７５４ 差分演算部， ７５５ 足し込み部， ７６１ 混合比導出部， ７６２ 混合比算出部， ８０１ 角度検出部， ８０２ 実世界推定部， ８０３ 誤差演算部， ８０４ 比較部， ８２１ 動き検出部，８２２ 実世界推定部， ８２３ 誤差演算部， ８２４ 比較部， ９０１簡易式角度検出部， ９０２ 判定部， ９０３ スイッチ， ９０４ 回帰式角度検出部， ９０５ 勾配式角度検出部， ９１１ データ選択部， ９１２ 誤差推定部， ９１３ 定常方向導出部， ９２１−１乃至９２１−Ｌ 画素選択部， ９２２−１乃至９２２−Ｌ 推定誤差算出部， ９２３ 最小誤差角度選択部， ２１０１ 線幅検出部， ２１０２ 信号レベル推定部， ２１２１ 境界検出部， ２１３１ 分配比算出部， ２１３２ 回帰直線算出部，２２０１ 実世界推定部， ２２０２ 近似関数推定部， ２２０３ 微分処理部， ２２１１ 参照画素抽出部， ２２１２ 傾き推定部， ２２３１ 実世界推定部， ２２３２ 近似関数推定部， ２２３３ 微分処理部， ２２５１ 参照画素抽出部， ２２５２ 傾き推定部， ２３３１ 条件設定部， ２３３２ 入力画像記憶部， ２３３３ 入力画素値取得部， ２３３４ 積分成分演算部， ２３３５ 正規方程式生成部， ２３３６ 近似関数生成部， ２３４１ 入力画素値テーブル， ２３４２ 積分成分テーブル， ２３４３ 正規方程式テーブル， ２４２１ 条件設定部， ２４２２ 入力画像記憶部， ２４２３入力画素値取得部， ２４２４ 積分成分演算部， ２４２５ 正規方程式生成部， ２４２６ 近似関数生成部， ２４３１ 入力画素値テーブル， ２４３２積分成分テーブル， ２４３３ 正規方程式テーブル， ２５２１ 条件設定部， ２５２２ 入力画像記憶部， ２５２３ 入力画素値取得部， ２５２４ 積分成分演算部， ２５２５ 正規方程式生成部， ２５２６ 近似関数生成部，２５３１ 入力画素値テーブル， ２５３２ 積分成分テーブル， ２５３３ 正規方程式テーブル， ３１２１ 条件設定部， ３１２２ 特徴量記憶部， ３１２３ 積分成分演算部， ３１２４ 出力画素値演算部， ３１３１ 特徴量テーブル， ３１３２ 積分成分テーブル， ３２０１ 条件設定部， ３２０２ 特徴量記憶部， ３２０３ 積分成分演算部， ３２０４ 出力画素値演算部， ３２１１ 特徴量テーブル， ３２１２ 積分成分テーブル， ３３０１ 条件設定部， ３３０２ 特徴量記憶部， ３３０３ 積分成分演算部， ３３０４ 出力画素値演算部， ３３１１ 特徴量テーブル， ３３１２ 積分成分テーブル， ３２０１ 傾き取得部， ３２０２ 外挿補間部， ３２１１ 傾き取得部， ３２１２ 外挿補間部， ３５０１ クラス分類適応処理部， ３５０２ クラス分類適応処理補正部， ３５０３ 加算部， ３５０４ 学習装置， ３５２１ クラス分類適応処理用学習部， ３５６１ クラス分類適応処理補正用学習部， ４１０１ データ定常性検出部４１０１ 実世界推定部， ４１０３画像生成部， ４１０４ 画像生成部， ４１０５ 定常領域検出部， ４１１１ 領域検出部， ４１１２ セレクタ， ４１６１ 定常領域検出部， ４１７１ 領域検出部， ４１７２ 実行指令生成部， ４１８１，４１８２ 定常領域検出部， ４１９１ 領域検出部， ４１９２ 実行指令生成部， ４２０１ 領域検出部， ４２０２ 実行指令生成部， ４５０１ 画像生成部， ５１０１ レンズ， ５１０２ ＩＲカットフィルタ， ５１０３ ＯＬＰＦ， ５１０４ ＣＣＤ， ５１１０ 光学ブロック， ５１２１ａ，ｂ 水晶， ５１２２位相板， ５１３１ ＯＬＰＦ除去部， ５１４１ クラスタップ検出部， ５１４２ 特徴量抽出部， ５１４３ クラス分類部， ５１４４ 係数メモリ， ５１４５ 予測タップ抽出部， ５１４６ 画素値演算部， ５１５１ 生徒画像生成部， ５１５１ａ １／１６平均処理部， ５１５２ 学習部， ５１５３ 教師画像生成部， ５１５３ａ ＯＬＰＦシミュレーション部， ５１５３ｂ １／１６平均処理部， ５１５４ 係数メモリ， ５１６１ 画像メモリ， ５１６２ クラスタップ抽出部， ５１６３ 特徴量抽出部， ５１６４ クラス分類部，５１６５ 予測タップ抽出部， ５１６６ 足し込み演算部， ５１６７ 学習メモリ， ５１６８ 正規方程式演算部， ５２０１ 条件設定部， ５２０２ 入力画像記憶部， ５２０３ 入力画素値取得部， ５２０４ 積分成分演算部， ５２０５ 正規方程式生成部， ５２０６ 近似関数生成部， ５２４１ クラスタップ抽出部， ５２４２ 特徴量演算部， ５２４３ クラス分類部，５２４４ 係数メモリ， ５２４５ 予測タップ抽出部， ５２４６ 画素値演算部， ５２５１ 生徒画像生成部， ５２５１ａ ＯＬＰＦシミュレーション処理部， ５２５１ｂ １／６４平均処理部， ５２５２ 学習部， ５２５３ 教師画像生成部， ５２５３ １／１６平均処理部， ５２５４ 係数メモリ， ５２６１ 画像メモリ， ５２６２ クラスタップ抽出部， ５２６３ 特徴量演算部， ５２６４ クラス分類部， ５２６５ 予測タップ抽出部， ５２６６ 足し込み演算部， ５２６７ 学習メモリ， ５２６８ 正規方程式演算部， ５３０１ 条件設定部， ５３０２ 入力画像記憶部， ５３０３ 入力画素値取得部， ５３０４ 積分成分演算部， ５３０５ 正規方程式生成部， ５３０６ 近似関数生成部， ５３２１ 条件設定部， ５３２２ 入力画像記憶部， ５３２３ 入力画素値取得部， ５３２４ 積分成分演算部， ５３２５ 正規方程式生成部， ５３２６ 近似関数生成部， ５３４１ 実世界推定情報取得部， ５３４２ 重み計算部， ５３４３ 画素生成部， ５３５１ 実世界推定情報取得部， ５３５２ 重み計算部， ５３５３ 画素生成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image processing apparatus and method, a recording medium, and a program in consideration of a real world from which data is acquired.
[0002]
[Prior art]
2. Description of the Related Art A technology for detecting an event in the real world (real world) with a sensor and processing sampling data output from the sensor is widely used. For example, an image processing technique of imaging the real world with an image sensor and processing sampling data as image data is widely used.
[0003]
Further, the first signal having a second dimension having a smaller dimension than the first dimension, obtained by detecting a first signal which is a real-world signal having a first dimension by a sensor. Acquiring a second signal including a distortion with respect to the second signal, and performing a signal processing based on the second signal to generate a third signal whose distortion is reduced as compared with the second signal. (For example, see Patent Document 1).
[0004]
[Patent Document 1]
JP 2001-250119 A
[0005]
[Problems to be solved by the invention]
However, image processing that takes into account the real world from which the data was acquired has not been considered.
[0006]
The present invention has been made in view of such a situation, and it is possible to obtain a more accurate and more accurate processing result with respect to a real world event in consideration of the real world from which data is acquired. The purpose is to be.
[0007]
[Means for Solving the Problems]
The first image processing apparatus according to the present invention includes: an acquisition unit configured to acquire image data in which a real-world optical signal is projected through a low-pass filter onto a plurality of pixels each having a spatial integration effect; Estimating means for estimating an optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimension among the directions.
[0008]
A first image processing method according to the present invention includes: an acquiring step of acquiring image data in which a real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect via an optical low-pass filter; Estimating an optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimensional direction among the directions.
[0009]
The program of the first recording medium of the present invention comprises: an acquiring step of acquiring image data in which a real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect via an optical low-pass filter; Estimating the optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimension in the spatial direction. It is characterized by having.
[0010]
A first program according to the present invention includes: an acquiring step of acquiring image data in which a real-world optical signal is projected through a low-pass filter onto a plurality of pixels each having a spatial integration effect; And estimating the optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one-dimensional direction.
[0011]
In the second image processing apparatus of the present invention, a real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect via an optical low-pass filter, and a part of the continuity of the real-world optical signal is lost. It is assumed that the pixel value of the target pixel corresponding to at least the one-dimensional position in the spatial direction of the image data is a pixel value obtained by integrating at least one-dimensional direction of a plurality of real-world functions corresponding to the optical low-pass filter. A real world estimating means for estimating a function corresponding to an optical signal in the real world by estimating a plurality of real world functions is provided.
[0012]
Image data continuity detecting means for detecting continuity of the image data may be further provided. The pixel value of the pixel of interest corresponding to at least the one-dimensional direction in the spatial direction is a plurality of pixel values obtained by integrating at least one-dimensional direction of a plurality of real-world functions corresponding to the optical low-pass filter. By estimating the real world function, it is possible to estimate the function corresponding to the optical signal in the real world.
[0013]
Pixel value generating means for generating a pixel value corresponding to a pixel of a desired size by integrating the real world function estimated by the real world estimating means in a desired unit in at least one dimension is further provided. be able to.
[0014]
A second image processing method according to the present invention includes: an acquiring step of acquiring image data in which a real-world optical signal is projected through a low-pass filter onto a plurality of pixels each having a spatial integration effect; Estimating an optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimensional direction among the directions.
[0015]
The program of the second recording medium of the present invention comprises: an acquisition step of acquiring image data in which a real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect via an optical low-pass filter; Estimating the optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimension in the spatial direction. It is characterized by having.
[0016]
According to a second program of the present invention, there are provided an acquiring step of acquiring image data in which a real-world optical signal is projected through a low-pass filter onto a plurality of pixels each having a spatial integration effect, and a spatial direction by an optical low-pass filter. And estimating the optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one-dimensional direction.
[0017]
According to the first image processing apparatus, method, and program of the present invention, image data in which a real-world optical signal is projected through a low-pass filter onto a plurality of pixels each having a spatial integration effect is obtained, The optical signal to be incident on the optical low-pass filter is estimated in consideration of the fact that the optical signal is dispersed and integrated in at least one dimension in the spatial direction by the filter.
[0018]
According to the second image processing apparatus, method, and program of the present invention, a real-world optical signal is projected via a low-pass filter onto a plurality of pixels each having a spatial integration effect, and the continuity of the real-world optical signal is improved. The pixel value of the target pixel corresponding to at least the one-dimensional position in the spatial direction of the image data in which a part of the image data is missing is obtained by integrating at least one-dimensional direction of a plurality of real world functions corresponding to the optical low-pass filter. By estimating a plurality of real-world functions as pixel values, functions corresponding to real-world optical signals are estimated.
[0019]
The first image processing device and the second image processing device of the present invention may be independent devices, or may be blocks that perform image processing.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 illustrates the principle of the present invention. As shown in the figure, an event (phenomenon) in the real world 1 having dimensions of space, time, and mass is acquired by the sensor 2 and converted into data. The events in the real world 1 refer to light (image), sound, pressure, temperature, mass, density, brightness / darkness, smell, and the like. Events in the real world 1 are distributed in the spatiotemporal direction. For example, the image of the real world 1 is the distribution of the light intensity of the real world 1 in the spatiotemporal direction.
[0021]
Focusing on the sensor 2, the events of the real world 1 that can be acquired by the sensor 2 among the events of the real world 1 having dimensions of space, time, and mass are converted into data 3 by the sensor 2. It can also be said that the sensor 2 acquires information indicating an event in the real world 1.
[0022]
That is, the sensor 2 converts information indicating an event in the real world 1 into data 3. It can be said that a signal that is information indicating an event (phenomenon) of the real world 1 having dimensions of space, time, and mass is acquired by the sensor 2 and converted into data.
[0023]
Hereinafter, the distribution of events such as images, sounds, pressures, temperatures, masses, concentrations, brightness / darkness, or odors in the real world 1 is also referred to as a signal that is information indicating events in the real world 1. Further, a signal that is information indicating an event in the real world 1 is also simply referred to as a signal in the real world 1. In this specification, a signal includes a phenomenon and an event, and includes a signal that the transmitting side does not intend.
[0024]
Data 3 (detection signal) output from the sensor 2 is information obtained by projecting information indicating an event of the real world 1 onto a lower-dimensional space-time as compared to the real world 1. For example, data 3 that is image data of a moving image is information obtained by projecting a three-dimensional spatial and temporal image of the real world 1 into a two-dimensional spatial and temporal spatio-temporal image. It is. Further, for example, when the data 3 is digital data, the data 3 is rounded according to a sampling unit. When the data 3 is analog data, the information in the data 3 is compressed or a part of the information is deleted by a limiter or the like according to the dynamic range.
[0025]
In this manner, by projecting a signal that is information indicating an event of the real world 1 having a predetermined dimension onto the data 3 (detection signal), a part of the information indicating the event of the real world 1 is lost. That is, in the data 3 output by the sensor 2, a part of the information indicating the event of the real world 1 is missing.
[0026]
However, although a part of the information indicating the event of the real world 1 is missing due to the projection, the data 3 includes significant information for estimating a signal that is information indicating the event (phenomenon) of the real world 1. I have.
[0027]
In the present invention, information having continuity included in the data 3 is used as significant information for estimating a signal which is information of the real world 1. Stationarity is a newly defined concept.
[0028]
Here, focusing on the real world 1, the event of the real world 1 includes a certain feature in a direction of a predetermined dimension. For example, in an object (a tangible object) in the real world 1, a shape, a pattern, a color, or the like is continuous or a pattern such as a shape, a pattern, or a color is repeated in a space direction or a time direction.
[0029]
Therefore, information indicating an event in the real world 1 includes a certain feature in a direction of a predetermined dimension.
[0030]
To give a more specific example, a linear object such as a thread, a string, or a rope has a certain characteristic in the longitudinal direction, that is, the spatial direction, that the cross-sectional shape is the same at any position in the longitudinal direction. Having. The feature in the spatial direction that the cross-sectional shape is the same at an arbitrary position in the length direction arises from the feature that the linear object is long.
[0031]
Therefore, the image of the linear object has a certain feature in the longitudinal direction, that is, the spatial direction, that the cross-sectional shape is the same at an arbitrary position in the longitudinal direction.
[0032]
In addition, it can be said that a single-color object, which is a tangible object extending in the spatial direction, has a certain characteristic in the spatial direction that it has the same color regardless of the region.
[0033]
Similarly, an image of a monochrome object, which is a tangible object extending in the spatial direction, has a certain feature in the spatial direction that it has the same color regardless of the region.
[0034]
As described above, since the event of the real world 1 (real world) has a certain characteristic in the direction of the predetermined dimension, the signal of the real world 1 has a certain characteristic in the direction of the predetermined dimension.
[0035]
In the present specification, such a feature that is fixed in the direction of the predetermined dimension is called continuity. The continuity of the signal of the real world 1 (real world) refers to a characteristic of a signal indicating an event of the real world 1 (real world), which is constant in a direction of a predetermined dimension.
[0036]
In the real world 1 (real world), there are countless such stationarities.
[0037]
Next, paying attention to the data 3, since the data 3, which is a signal projected from the sensor 2 as information indicating an event in the real world 1 having a predetermined dimension, is projected, the continuity of the signal in the real world is Contains the corresponding stationarity. It can be said that the data 3 includes the continuity in which the continuity of the signal in the real world is projected.
[0038]
However, as described above, the data 3 output by the sensor 2 lacks a part of the information of the real world 1, and therefore, the data 3 outputs the stationary state included in the signal of the real world 1 (real world). Some are missing.
[0039]
In other words, the data 3 includes, as the data continuity, a part of the continuity of the signal of the real world 1 (real world). The data continuity is a feature of the data 3 that is constant in a direction of a predetermined dimension.
[0040]
In the present invention, the data continuity of the data 3 is used as significant information for estimating a signal that is information indicating an event in the real world 1.
[0041]
For example, in the present invention, information indicating a missing event of the real world 1 is generated by performing signal processing on the data 3 using the continuity of the data.
[0042]
In the present invention, of the dimension of a signal, which is information indicating an event in the real world 1, of the length (space), time, and mass, stationarity in the space direction or the time direction is used.
[0043]
Returning to FIG. 1, the sensor 2 is configured by, for example, a digital still camera or a video camera, captures an image of the real world 1, and outputs image data that is obtained data 3 to the signal processing device 4. The sensor 2 can be, for example, a thermographic device or a pressure sensor using photoelasticity.
[0044]
The signal processing device 4 is composed of, for example, a personal computer.
[0045]
The signal processing device 4 is configured, for example, as shown in FIG. A CPU (Central Processing Unit) 21 executes various processes according to a program stored in a ROM (Read Only Memory) 22 or a storage unit 28. In a RAM (Random Access Memory) 23, a program executed by the CPU 21, data and the like are stored as appropriate. These CPU 21, ROM 22, and RAM 23 are mutually connected by a bus 24.
[0046]
An input / output interface 25 is also connected to the CPU 21 via a bus 24. The input / output interface 25 is connected to an input unit 26 including a keyboard, a mouse, a microphone, and the like, and an output unit 27 including a display, a speaker, and the like. The CPU 21 executes various processes in response to a command input from the input unit 26. Then, the CPU 21 outputs an image, a sound, and the like obtained as a result of the processing to the output unit 27.
[0047]
The storage unit 28 connected to the input / output interface 25 is composed of, for example, a hard disk, and stores programs executed by the CPU 21 and various data. The communication unit 29 communicates with an external device via the Internet or another network. In the case of this example, the communication unit 29 functions as an acquisition unit that captures the data 3 output by the sensor 2.
[0048]
Alternatively, a program may be obtained via the communication unit 29 and stored in the storage unit 28.
[0049]
The drive 30 connected to the input / output interface 25 drives a magnetic disk 51, an optical disk 52, a magneto-optical disk 53, a semiconductor memory 54, or the like when mounted, and drives programs and data recorded thereon. Get etc. The acquired programs and data are transferred to and stored in the storage unit 28 as necessary.
[0050]
FIG. 3 is a block diagram illustrating the signal processing device 4.
[0051]
Note that it does not matter whether each function of the signal processing device 4 is realized by hardware or software. That is, each block diagram in this specification may be considered as a hardware block diagram or a functional block diagram using software.
[0052]
In the signal processing device 4 having the configuration shown in FIG. 3, image data which is an example of the data 3 is input, and data continuity is detected from the input image data (input image). Next, the signal of the real world 1 acquired by the sensor 2 is estimated from the continuity of the detected data. Then, an image is generated based on the estimated signal of the real world 1 and the generated image (output image) is output. That is, FIG. 3 is a diagram illustrating a configuration of the signal processing device 4 that is an image processing device.
[0053]
The input image (image data as an example of the data 3) input to the signal processing device 4 is supplied to the data continuity detecting unit 101 and the real world estimating unit 102.
[0054]
The data continuity detection unit 101 detects data continuity from the input image and supplies data continuity information indicating the detected continuity to the real world estimation unit 102 and the image generation unit 103. The data continuity information includes, for example, the position of a pixel region having data continuity in the input image, the direction of the pixel region having data continuity (angle or inclination in the time direction and the spatial direction), or the data It includes the length of a region of a pixel having stationarity and the like. Details of the configuration of the data continuity detecting unit 101 will be described later.
[0055]
The real world estimating unit 102 estimates a signal of the real world 1 based on the input image and the data continuity information supplied from the data continuity detecting unit 101. That is, the real-world estimating unit 102 estimates an image, which is a real-world signal, incident on the sensor 2 when the input image is acquired. The real world estimating unit 102 supplies real world estimation information indicating the result of estimation of the signal of the real world 1 to the image generating unit 103. Details of the configuration of the real world estimation unit 102 will be described later.
[0056]
The image generation unit 103 generates and generates a signal that is closer to the signal of the real world 1 based on the real world estimation information indicating the estimated signal of the real world 1 supplied from the real world estimation unit 102. Output a signal. Alternatively, the image generation unit 103 uses the data continuity information supplied from the data continuity detection unit 101 and the real world estimation information indicating the signal of the estimated real world 1 supplied from the real world estimation unit 102. Then, a signal that is closer to the signal of the real world 1 is generated, and the generated signal is output.
[0057]
That is, the image generation unit 103 generates an image closer to the image of the real world 1 based on the real world estimation information, and outputs the generated image as an output image. Alternatively, the image generation unit 103 generates an image closer to the image of the real world 1 based on the data continuity information and the real world estimation information, and outputs the generated image as an output image.
[0058]
For example, based on the real world estimation information, the image generation unit 103 integrates the estimated image of the real world 1 in a desired space direction or time direction range to compare the image with the input image in the space direction or in the space direction. A high-resolution image is generated in the time direction, and the generated image is output as an output image. For example, the image generation unit 103 generates an image by extrapolation and outputs the generated image as an output image.
[0059]
Details of the configuration of the image generation unit 103 will be described later.
[0060]
Next, the principle of the present invention will be described with reference to FIGS.
[0061]
FIG. 4 is a diagram illustrating the principle of processing in the conventional signal processing device 121. The conventional signal processing device 121 performs a process such as a higher resolution with the data 3 as a processing reference and the data 3 as a processing target. In the conventional signal processing device 121, the real world 1 is not taken into consideration, and the data 3 is the final reference, and it is not possible to obtain more information than the information included in the data 3 as an output.
[0062]
Further, in the conventional signal processing device 121, since the distortion due to the sensor 2 (difference between the signal which is information of the real world 1 and the data 3) existing in the data 3 is not considered at all, the conventional signal processing device 121 A signal containing distortion is output. Further, depending on the content of the processing of the signal processing device 121, the distortion caused by the sensor 2 existing in the data 3 is further amplified, and data including the amplified distortion is output.
[0063]
As described above, in the conventional signal processing, the (real signal) of the real world 1 from which the data 3 is obtained is not considered. In other words, in the conventional signal processing, since the real world 1 is captured within the frame of the information included in the data 3, the limit of the signal processing is determined by the information and the distortion included in the data 3. Is done.
[0064]
On the other hand, in the signal processing of the present invention, the processing is executed in consideration of (the signal of) the real world 1 itself.
[0065]
FIG. 5 is a diagram illustrating the principle of processing in the signal processing device 4 according to the present invention.
[0066]
It is the same as the related art in that the sensor 2 acquires a signal as information indicating an event in the real world 1 and the sensor 2 outputs data 3 obtained by projecting the signal as the information in the real world 1.
[0067]
However, in the present invention, a signal which is information indicating an event of the real world 1 and acquired by the sensor 2 is explicitly considered. That is, the signal processing is performed in consideration of the fact that the data 3 includes distortion caused by the sensor 2 (difference between a signal which is information of the real world 1 and the data 3).
[0068]
By doing so, in the signal processing of the present invention, the result of the processing is not limited by the information and distortion included in the data 3, and for example, the event of the real world 1 , A more accurate and more accurate processing result can be obtained. That is, according to the present invention, a more accurate and more accurate processing result can be obtained for a signal that is input to the sensor 2 and that indicates information about an event in the real world 1.
[0069]
6 and 7 are diagrams for more specifically explaining the principle of the present invention.
[0070]
As shown in FIG. 6, for example, a signal of the real world 1, which is an image, is converted by a lens or an optical system 141 such as an optical LPF (Low Pass Filter) into a CCD (Charge Coupled Device) which is an example of the sensor 2. )). Since the CCD, which is an example of the sensor 2, has an integration characteristic, the data 3 output from the CCD has a difference from the image of the real world 1. Details of the integration characteristic of the sensor 2 will be described later.
[0071]
In the signal processing of the present invention, the relationship between the image of the real world 1 acquired by the CCD and the data 3 captured and output by the CCD is clearly considered. That is, the relationship between the data 3 and the signal that is the information of the real world acquired by the sensor 2 is clearly considered.
[0072]
More specifically, as shown in FIG. 7, the signal processing device 4 approximates (describes) the real world 1 using the model 161. The model 161 is represented by, for example, N variables. More precisely, the model 161 approximates (describes) the real world 1 signal.
[0073]
In order to predict the model 161, the signal processing device 4 extracts M data 162 from the data 3. When extracting the M pieces of data 162 from the data 3, the signal processing device 4 uses the continuity of the data included in the data 3. In other words, the signal processing device 4 extracts data 162 for predicting the model 161 based on the stationarity of the data included in the data 3. As a result, the model 161 is constrained by the stationarity of the data.
[0074]
That is, when the model 161 is acquired by the sensor 2, the information (indicating an event (indicating an event (in the real world 1) in the real world 1) that causes continuity of data in the data 3 and has continuity (a constant feature in a predetermined dimensional direction). Signal)).
[0075]
Here, if the number M of the data 162 is equal to or more than the number N of model variables, the model 161 represented by the N variables can be predicted from the M data 162.
[0076]
As described above, by predicting the model 161 that approximates (describes) (the signal of) the real world 1, the signal processing device 4 can consider a signal that is information of the real world 1.
[0077]
Next, the integration effect of the sensor 2 will be described.
[0078]
An image sensor, such as a CCD or a CMOS (Complementary Metal-Oxide Semiconductor) sensor, which is an image sensor 2 that projects an image, projects a signal, which is information of the real world, into two-dimensional data when imaging the real world. Each pixel of the image sensor has a predetermined area as a so-called light receiving surface (light receiving region). Light incident on a light receiving surface having a predetermined area is integrated in the spatial direction and the time direction for each pixel, and is converted into one pixel value for each pixel.
[0079]
The spatial and temporal integration of an image will be described with reference to FIGS.
[0080]
The image sensor captures an image of an object in the real world, and outputs image data obtained as a result of the capture in units of one frame. That is, the image sensor acquires a signal of the real world 1, which is light reflected by the object of the real world 1, and outputs data 3.
[0081]
For example, the image sensor outputs image data composed of 30 frames per second. In this case, the exposure time of the image sensor can be set to 1/30 second. The exposure time is a period from when the image sensor starts to convert incident light into electric charges until the image sensor finishes converting the incident light into electric charges. Hereinafter, the exposure time is also referred to as a shutter time.
[0082]
FIG. 8 is a diagram illustrating an example of the arrangement of pixels on the image sensor. In FIG. 8, A to I indicate individual pixels. The pixels are arranged on a plane corresponding to the image displayed by the image data. One detection element corresponding to one pixel is arranged on the image sensor. When the image sensor captures an image of the real world 1, one detection element outputs one pixel value corresponding to one pixel constituting the image data. For example, the position (X coordinate) of the detection element in the spatial direction X corresponds to the horizontal position on the image displayed by the image data, and the position (Y coordinate) of the detection element in the spatial direction Y is determined by the image data. This corresponds to the vertical position on the displayed image.
[0083]
The distribution of the light intensity of the real world 1 has a spread in the three-dimensional spatial direction and the temporal direction, but the image sensor acquires the light of the real world 1 in the two-dimensional spatial direction and the temporal direction, Data 3 expressing the distribution of light intensity in the spatial direction and the time direction is generated.
[0084]
As shown in FIG. 9, for example, a detection element such as a CCD converts light input to a light receiving surface (light receiving area) (detection area) into electric charges for a period corresponding to a shutter time, and converts the converted electric charges. To accumulate. Light is information (signal) in the real world 1 whose intensity is determined by a position in a three-dimensional space and time. The distribution of light intensity in the real world 1 can be represented by a function F (x, y, z, t) with variables x, y, and z in a three-dimensional space and time t.
[0085]
The amount of charge stored in the detection element, which is a CCD, is substantially proportional to the intensity of light incident on the entire light receiving surface having a two-dimensional spatial spread and the time during which the light is incident. During a period corresponding to the shutter time, the detection element adds the charge converted from the light incident on the entire light receiving surface to the already accumulated charge. That is, the detection element integrates light incident on the entire light receiving surface having a two-dimensional spatial spread for a period corresponding to the shutter time, and accumulates an amount of charge corresponding to the integrated light. It can be said that the detection element has an integration effect on space (light receiving surface) and time (shutter time).
[0086]
The electric charge accumulated in the detection element is converted into a voltage value by a circuit (not shown), and the voltage value is further converted into a pixel value such as digital data and output as data 3. Therefore, the individual pixel values output from the image sensor represent a part of the information (signal) of the real world 1 having a temporal and spatial spread in the time direction of the shutter time and the spatial direction of the light receiving surface of the detection element. It has a value projected onto a one-dimensional space, which is the result of integration.
[0087]
That is, the pixel value of one pixel is represented by integration of F (x, y, t). F (x, y, t) is a function representing the distribution of light intensity on the light receiving surface of the detection element. For example, the pixel value P is represented by Expression (1).
[0088]
(Equation 1)

[0089]
In equation (1), x₁Is the spatial coordinate (X coordinate) of the left boundary of the light receiving surface of the detection element. x₂Is the spatial coordinate (X coordinate) of the right boundary of the light receiving surface of the detection element. In equation (1), y₁Is the spatial coordinate (Y coordinate) of the upper boundary of the light receiving surface of the detection element. y₂Is the spatial coordinate (Y coordinate) of the lower boundary of the light receiving surface of the detection element. Also, t₁Is the time at which the conversion of the incident light into charge has started. t₂Is the time at which the conversion of the incident light into charges has been completed.
[0090]
Actually, the gain of the pixel value of the image data output from the image sensor is corrected for, for example, the entire frame.
[0091]
Each pixel value of the image data is an integral value of the light incident on the light receiving surface of each detection element of the image sensor. Of the light incident on the image sensor, the real world 1 smaller than the light receiving surface of the detection element is used. The light waveform is hidden by the pixel value as an integrated value.
[0092]
Hereinafter, in the present specification, a waveform of a signal expressed on the basis of a predetermined dimension is also simply referred to as a waveform.
[0093]
As described above, since the image of the real world 1 is integrated in the spatial direction and the temporal direction in units of pixels, a part of the continuity of the image of the real world 1 is lost in the image data, Only another part of the stationarity of one image will be included in the image data. Alternatively, the image data may include stationarity that has changed from the stationarity of the image in the real world 1.
[0094]
The integration effect in the spatial direction of the image captured by the image sensor having the integration effect will be further described.
[0095]
FIG. 10 is a diagram illustrating a relationship between light incident on the detection elements corresponding to the pixels D to F and pixel values. F (x) in FIG. 10 is an example of a function that represents the distribution of light intensity in the real world 1 with the coordinate x in the spatial direction X in space (on the detection element) as a variable. In other words, F (x) is an example of a function representing the distribution of light intensity in the real world 1 when it is constant in the spatial direction Y and the time direction. In FIG. 10, L indicates the length in the spatial direction X of the light receiving surfaces of the detection elements corresponding to the pixels D to F.
[0096]
The pixel value of one pixel is represented by integration of F (x). For example, the pixel value P of the pixel E is represented by Expression (2).
[0097]
(Equation 2)

[0098]
In equation (2), x₁Is the spatial coordinate in the spatial direction X of the left boundary of the light receiving surface of the detection element corresponding to the pixel E. x₂Is the spatial coordinate in the spatial direction X of the right boundary of the light receiving surface of the detection element corresponding to the pixel E.
[0099]
Similarly, the integration effect in the time direction of the image captured by the image sensor having the integration effect will be further described.
[0100]
FIG. 11 is a diagram illustrating the relationship between the passage of time, light incident on a detection element corresponding to one pixel, and a pixel value. F (t) in FIG. 11 is a function representing the distribution of light intensity in the real world 1 with time t as a variable. In other words, F (t) is an example of a function representing the distribution of light intensity of the real world 1 when it is constant in the spatial direction Y and the spatial direction X. t_sIndicates a shutter time.
[0101]
The frame # n-1 is a frame temporally before the frame #n, and the frame # n + 1 is a frame temporally after the frame #n. That is, frame # n-1, frame #n, and frame # n + 1 are displayed in the order of frame # n-1, frame #n, and frame # n + 1.
[0102]
Note that, in the example shown in FIG._sAnd the frame interval are the same.
[0103]
The pixel value of one pixel is represented by integration of F (t). For example, the pixel value P of the pixel in frame #n is represented by Expression (3).
[0104]
(Equation 3)

[0105]
In equation (3), t₁Is the time at which the conversion of the incident light into charge has started. t₂Is the time at which the conversion of the incident light into charges has been completed.
[0106]
Hereinafter, the integration effect in the spatial direction by the sensor 2 is simply referred to as the spatial integration effect, and the integration effect in the time direction by the sensor 2 is simply referred to as the time integration effect. Further, the spatial integration effect or the time integration effect is simply referred to as an integration effect.
[0107]
Next, an example of the continuity of the data included in the data 3 acquired by the image sensor having the integration effect will be described.
[0108]
FIG. 12 is a diagram illustrating an image of a linear object (for example, a thin line) in the real world 1, that is, an example of light intensity distribution. 12, the upper position in the figure indicates the intensity (level) of light, the upper right position in the figure indicates a position in the spatial direction X which is one direction in the spatial direction of the image. The position on the right side indicates a position in the spatial direction Y which is another direction in the spatial direction of the image.
[0109]
The image of the linear object in the real world 1 includes a predetermined stationarity. That is, the image shown in FIG. 12 has stationarity in which the cross-sectional shape (change in level with respect to change in position in the direction orthogonal to the length direction) is the same at an arbitrary position in the length direction.
[0110]
FIG. 13 is a diagram illustrating an example of pixel values of image data obtained by actual imaging corresponding to the image illustrated in FIG.
[0111]
FIG. 14 is a schematic diagram of the image data shown in FIG.
[0112]
The schematic diagram shown in FIG. 14 shows a linear object having a diameter shorter than the length L of the light receiving surface of each pixel, which extends in a direction deviated from the arrangement of pixels (vertical or horizontal arrangement of pixels) of the image sensor. FIG. 3 is a schematic diagram of image data obtained by capturing an image with an image sensor. The image incident on the image sensor when the image data shown in FIG. 14 is acquired is the image of the linear object in the real world 1 in FIG.
[0113]
In FIG. 14, the upper position in the drawing indicates a pixel value, the upper right position in the drawing indicates a position in the spatial direction X that is one direction in the spatial direction of the image, and the right position in the drawing is , The position in the spatial direction Y which is another direction in the spatial direction of the image. The direction indicating the pixel value in FIG. 14 corresponds to the level direction in FIG. 12, and the spatial direction X and the spatial direction Y in FIG. 14 are the same as the directions in FIG.
[0114]
When an image of a linear object having a diameter shorter than the length L of the light receiving surface of each pixel is captured by the image sensor, the linear object is schematically illustrated in image data obtained as a result of the imaging, for example, It is represented by a plurality of circular arc shapes (kamaboko type) having a predetermined length, which are arranged obliquely. Each arc shape is almost the same shape. One arc shape is formed vertically on one row of pixels or horizontally on one row of pixels. For example, one arc shape in FIG. 14 is formed on one column of pixels vertically.
[0115]
As described above, for example, in image data captured and acquired by an image sensor, a cross section in the spatial direction Y at an arbitrary position in the length direction, which has an image of a linear object in the real world 1 The stationarity of the same shape has been lost. In addition, the continuity of the image of the linear object in the real world 1 has an arc shape of the same shape formed on one row of pixels vertically or one row of pixels horizontally. Can be said to have changed to a stationarity of being lined up at regular intervals.
[0116]
FIG. 15 is a diagram showing an example of the real world 1 image of a single color object having a linear edge, which is a color different from the background, that is, an example of light intensity distribution. In FIG. 15, the upper position in the drawing indicates the intensity (level) of light, the upper right position in the drawing indicates a position in the spatial direction X which is one direction in the spatial direction of the image, and The position on the right side indicates a position in the spatial direction Y which is another direction in the spatial direction of the image.
[0117]
An image of the real world 1 of an object having a straight edge in a color different from that of the background includes a predetermined continuity. That is, the image shown in FIG. 15 has stationarity in which the cross-sectional shape (change in level with respect to change in position in the direction perpendicular to the edge) is the same at an arbitrary position in the length direction of the edge.
[0118]
FIG. 16 is a diagram illustrating an example of pixel values of image data obtained by actual imaging corresponding to the image illustrated in FIG. As shown in FIG. 16, the image data is composed of pixel values in units of pixels, and thus has a stepped shape.
[0119]
FIG. 17 is a schematic diagram of the image data shown in FIG.
[0120]
The schematic diagram illustrated in FIG. 17 is a color different from the background, in which the edge extends in a direction displaced from the arrangement of the pixels (vertical or horizontal arrangement of the pixels) of the image sensor. FIG. 2 is a schematic diagram of image data obtained by imaging an image of the real world 1 of an object having the object with an image sensor. The image incident on the image sensor when the image data shown in FIG. 17 is acquired is a real world of an object having a color different from the background and having a single-colored linear edge shown in FIG. 1 is an image.
[0121]
In FIG. 17, the upper position in the figure indicates the pixel value, the upper right position in the figure indicates the position in the spatial direction X which is one direction in the spatial direction of the image, and the right position in the figure is , The position in the spatial direction Y which is another direction in the spatial direction of the image. The direction indicating the pixel value in FIG. 17 corresponds to the level direction in FIG. 15, and the spatial direction X and the spatial direction Y in FIG. 17 are the same as the directions in FIG.
[0122]
When an image of the real world 1 which is a color different from the background and has a single color and has a linear edge is captured by an image sensor, the linear edge is schematically represented in image data obtained as a result of the imaging. For example, it is represented by a plurality of pawls of a predetermined length, which are arranged obliquely. Each pawl shape is substantially the same shape. One claw shape is formed vertically on one column of pixels or horizontally on one column of pixels. For example, in FIG. 17, one claw shape is vertically formed on one column of pixels.
[0123]
Thus, for example, in the image data captured and acquired by the image sensor, the image of the real world 1 of an object having a color different from the background and having a single-color, linear edge was present. The continuity that the cross-sectional shape is the same at an arbitrary position in the length direction of the edge is lost. In addition, the continuity of the image of the real world 1 which is a color different from the background and has a single color and has a linear edge has one column of pixels vertically or one column horizontally. It can be said that the same shape of the claw shape formed on the pixel is changed to the continuity in which it is arranged at a constant interval.
[0124]
The data continuity detecting unit 101 detects such continuity of data included in the data 3 which is an input image, for example. For example, the data continuity detecting unit 101 detects data continuity by detecting an area having a certain feature in a direction of a predetermined dimension. For example, the data continuity detecting unit 101 detects a region shown in FIG. 14 in which the same arc shapes are arranged at regular intervals. In addition, for example, the data continuity detecting unit 101 detects a region illustrated in FIG. 17 in which the same claw shapes are arranged at regular intervals.
[0125]
In addition, the data continuity detecting unit 101 detects data continuity by detecting an angle (inclination) in the spatial direction that indicates a similar shape arrangement.
[0126]
Further, for example, the data continuity detecting unit 101 detects data continuity by detecting angles (movements) in the spatial direction and the temporal direction, which indicate how the same shape is arranged in the spatial direction and the temporal direction.
[0127]
Further, for example, the data continuity detecting unit 101 detects data continuity by detecting a length of an area having a certain characteristic in a direction of a predetermined dimension.
[0128]
Hereinafter, the portion of the data 3 in which the image of the real world 1 of a single color having a linear edge and different from the background is projected by the sensor 2 is also referred to as a binary edge.
[0129]
Next, the principle of the present invention will be described more specifically.
[0130]
As shown in FIG. 18, in the conventional signal processing, for example, desired high-resolution data 181 is generated from data 3.
[0131]
On the other hand, in the signal processing according to the present invention, the real world 1 is estimated from the data 3, and the high-resolution data 181 is generated based on the estimation result. That is, as shown in FIG. 19, the real world 1 is estimated from the data 3, and the high-resolution data 181 is generated from the estimated real world 1 in consideration of the data 3.
[0132]
In order to generate the high-resolution data 181 from the real world 1, it is necessary to consider the relationship between the real world 1 and the data 3. For example, what happens when the real world 1 is projected onto the data 3 by the sensor 2, which is a CCD, is considered.
[0133]
The sensor 2 which is a CCD has an integration characteristic as described above. That is, one unit (for example, a pixel value) of the data 3 can be calculated by integrating a signal of the real world 1 with a detection area (for example, a light receiving surface) of a detection element (for example, a CCD) of the sensor 2. it can.
[0134]
When this is applied to the high-resolution data 181, high-resolution data 181 is obtained by applying the process of projecting the signal of the real world 1 to the data 3 by the virtual high-resolution sensor to the estimated real world 1. be able to.
[0135]
In other words, as shown in FIG. 20, if the signal of the real world 1 can be estimated from the data 3, the signal of the real world 1 is output for each detection region of the detection element of the virtual high-resolution sensor (in the space-time direction). 1), one value included in the high-resolution data 181 can be obtained.
[0136]
For example, when the change of the signal of the real world 1 is smaller than the size of the detection area of the detection element of the sensor 2, the data 3 cannot represent the small change of the signal of the real world 1. Therefore, by comparing the signal of the real world 1 estimated from the data 3 with respect to the change of the signal of the real world 1 and integrating each smaller area (in the spatio-temporal direction), the signal of the real world 1 is small. High-resolution data 181 indicating a change can be obtained.
[0137]
That is, for each detection element of the virtual high-resolution sensor, the high-resolution data 181 can be obtained by integrating the estimated real world 1 signal in the detection area.
[0138]
In the present invention, for example, the image generation unit 103 integrates the estimated real world 1 signal in a space-time region of each detection element of a virtual high-resolution sensor, and thereby converts the high-resolution data 181. Generate.
[0139]
Next, in order to estimate the real world 1 from the data 3, in the present invention, the relationship between the data 3 and the real world 1, the stationarity, and the spatial mixing in the data 3 are used.
[0140]
Here, the term “mixing” means that signals of two objects in the real world 1 are mixed into one value in the data 3.
[0141]
Spatial mixing refers to mixing of signals for two objects in the spatial direction due to the spatial integration effect of the sensor 2.
[0142]
The real world 1 itself consists of an infinite number of events. Therefore, in order to express the real world 1 itself by, for example, a mathematical expression, an infinite number of variables are required. From data 3, it is not possible to predict all events in real world 1.
[0143]
Similarly, it is not possible to predict all the signals of the real world 1 from the data 3.
[0144]
Therefore, as shown in FIG. 21, in the present invention, attention is paid to a part of the signal of the real world 1 which has stationarity and can be represented by a function f (x, y, z, t). A part of the signal of the real world 1 having a stationarity, which can be represented by a function f (x, y, z, t), is approximated by a model 161 represented by N variables. Then, as shown in FIG. 22, a model 161 is predicted from M pieces of data 162 in data 3.
[0145]
To enable the model 161 to be predicted from the M data 162, first, the model 161 is represented by N variables based on stationarity, and secondly, based on the integral characteristics of the sensor 2. , It is necessary to formulate an expression using N variables, which indicates the relationship between the model 161 represented by N variables and the M data 162. Since the model 161 is represented by N variables based on the stationarity, N variables indicating the relationship between the model 161 represented by N variables and the M data 162 were used. It can be said that the expression describes the relationship between the signal part of the real world 1 having the stationarity and the data part 3 having the stationarity of the data.
[0146]
In other words, the part of the signal of the real world 1 having the stationarity, which is approximated by the model 161 expressed by N variables, causes the data 3 to have the stationarity of the data.
[0147]
The data continuity detecting unit 101 detects features of a portion of the data 3 where the continuity of the data has occurred and a portion of the portion where the continuity of the data has occurred, based on the signal portion of the real world 1 having the continuity.
[0148]
For example, as shown in FIG. 23, in the image of the real world 1 of a single color having a straight edge, which is a color different from the background, the edge at the position of interest indicated by A in FIG. , Have a slope. The arrow in B in FIG. 23 indicates the inclination of the edge. The inclination of the predetermined edge can be represented by an angle with respect to a reference axis or a direction with respect to a reference position. For example, the inclination of the predetermined edge can be represented by an angle between the coordinate axis in the spatial direction X and the edge. For example, the inclination of the predetermined edge can be represented by a direction indicated by the length in the spatial direction X and the length in the spatial direction Y.
[0149]
When an image of the real world 1 of an object having a color and a linear edge having a color different from the background is acquired by the sensor 2 and the data 3 is output, the data 3 In the image, the claw shape corresponding to the edge is arranged at a position indicated by A 'in FIG. 23 with respect to the position (A) of interest of the edge, and B' in FIG. 23 corresponding to the inclination of the edge of the image of the real world 1. The claw shapes corresponding to the edges are arranged in the direction of inclination indicated by.
[0150]
The model 161 represented by N variables approximates one real-world signal portion that causes data continuity in such data 3.
[0151]
When formulating an expression using N variables indicating the relationship between the model 161 represented by N variables and the M data 162, the value of the portion where data continuity occurs in data 3 is calculated. Use.
[0152]
In this case, in the data 3 shown in FIG. 24, data continuity occurs, and the detection element of the sensor 2 outputs a value obtained by integrating the signal of the real world 1 by focusing on values belonging to the mixed region. An expression is set up as equal to the value. For example, a plurality of formulas can be established for a plurality of values in the data 3 where data continuity occurs.
[0153]
In FIG. 24, A indicates the position of interest of the edge, and A ′ indicates (the position of) the pixel with respect to the position of interest (A) of the edge in the image of the real world 1.
[0154]
Here, the mixed region refers to a data region in which signals of two objects in the real world 1 in the data 3 are mixed to have one value. For example, in data 3 for an image of the real world 1 of an object having a color and a straight edge having a color different from the background, the image for the object having the linear edge and the image for the background are integrated. The pixel value that belongs is in the mixed area.
[0155]
FIG. 25 is a diagram illustrating signals for two objects in the real world 1 and values belonging to a mixed area when an equation is formed.
[0156]
The left side in FIG. 25 shows a signal of the real world 1 for two objects in the real world 1 having a predetermined spread in the spatial direction X and the spatial direction Y acquired in the detection area of one detection element of the sensor 2. Show. The right side in FIG. 25 shows the pixel value P of one pixel of the data 3 in which the signal of the real world 1 shown on the left side of FIG. That is, one of data 3 obtained by projecting a signal of the real world 1 for two objects in the real world 1 having a predetermined spread in the spatial direction X and the spatial direction Y acquired by one detection element of the sensor 2. 4 shows a pixel value P of one pixel.
[0157]
L in FIG. 25 indicates the signal level of the real world 1 in the white part of FIG. R in FIG. 25 indicates the level of the signal of the real world 1 at the portion indicated by the oblique lines in FIG. 25 with respect to another object in the real world 1.
[0158]
Here, the mixture ratio α indicates a ratio of (area of) a signal to two objects that is incident on a detection region having a predetermined spread in the spatial direction X and the spatial direction Y of one detection element of the sensor 2. . For example, the mixing ratio α has a predetermined spread in the spatial direction X and the spatial direction Y with respect to the area of the detection region of one detection element of the sensor 2 and is incident on the detection region of one detection element of the sensor 2. The ratio of the area of the level L signal is shown.
[0159]
In this case, the relationship between the level L, the level R, and the pixel value P can be expressed by Expression (4).
[0160]
α × L + (1−α) × R = P (4)
[0161]
Note that the level R may be the pixel value of the pixel of the data 3 located on the right side of the pixel of interest, and the level L may be located on the left side of the pixel of interest. In some cases, the pixel value of data 3 can be used.
[0162]
The mixing ratio α and the mixing region can be considered in the time direction as in the spatial direction. For example, when the object in the real world 1 to be imaged is moving with respect to the sensor 2, the ratio of the signal for the two objects incident on the detection area of one detection element of the sensor 2 in the time direction Changes. The signals for two objects, which change in the time direction and are incident on the detection area of one detection element of the sensor 2, are projected onto one value of the data 3 by the detection element of the sensor 2.
[0163]
Mixing of signals for two objects in the time direction due to the time integration effect of the sensor 2 is referred to as time mixing.
[0164]
The data continuity detecting unit 101 detects, for example, a pixel area in the data 3 on which signals of the real world 1 for two objects in the real world 1 are projected. The data continuity detecting unit 101 detects, for example, a tilt in the data 3 corresponding to a tilt of an edge of an image of the real world 1.
[0165]
Then, the real world estimating unit 102 generates a model represented by N variables based on, for example, an area of pixels having a predetermined mixture ratio α detected by the data continuity detecting unit 101 and an inclination of the area. A signal using the N variables, which indicates the relationship between the data 161 and the M data 162, is set, and the set equation is solved to estimate the signal of the real world 1.
[0166]
Further, a specific estimation of the real world 1 will be described.
[0167]
Of the real-world signals represented by the function F (x, y, z, t), the real-world signal represented by the function F (x, y, t) in the cross section in the spatial direction Z (the position of the sensor 2) Consider that a signal is approximated by an approximate function f (x, y, t) determined by a position x in the spatial direction X, a position y in the spatial direction Y, and a time t.
[0168]
Here, the detection area of the sensor 2 has a spread in the spatial direction X and the spatial direction Y. In other words, the approximation function f (x, y, t) is a function that approximates the signal of the real world 1 acquired by the sensor 2 and having a spatial and temporal spread.
[0169]
It is assumed that the value P (x, y, t) of the data 3 is obtained by the projection of the signal of the real world 1 by the sensor 2. The value P (x, y, t) of the data 3 is, for example, a pixel value output by the sensor 2 which is an image sensor.
[0170]
Here, when the projection by the sensor 2 can be formulated, a value obtained by projecting the approximate function f (x, y, t) can be represented as a projection function S (x, y, t).
[0171]
There are the following problems in obtaining the projection function S (x, y, t).
[0172]
First, in general, the function F (x, y, z, t) representing the real world 1 signal can be a function of infinite order.
[0173]
Second, even if real-world signals can be described as functions, it is generally not possible to define a projection function S (x, y, t) via the projection of the sensor 2. That is, since the operation of the projection by the sensor 2, in other words, the relationship between the input signal and the output signal of the sensor 2 is not known, the projection function S (x, y, t) cannot be determined.
[0174]
For the first problem, a function f that is a function (for example, a function of a finite order) that can describe a function f (x, y, t) that approximates the signal of the real world 1_i(X, y, t) and variable w_iConsider expressing the product sum of
[0175]
For the second problem, by formulating the projection by the sensor 2, the function f_iFrom the description of (x, y, t), the function S_i(X, y, t) can be described.
[0176]
That is, a function f (x, y, t) approximating the signal of the real world 1 is converted to a function f_i(X, y, t) and variable w_iExpression (5) is obtained by expressing the sum of the products.
[0177]
(Equation 4)

[0178]
For example, as shown in Expression (6), by formulating the projection of the sensor 2, from Expression (5), the relationship between the data 3 and the real world signal is formulated as Expression (7). Can be.
[0179]
(Equation 5)

[0180]
(Equation 6)

In Expression (7), j is an index of data.
[0181]
N variables w in equation (7)_iIf there are M data groups (j = 1 to M) having the same (i = 1 to N), Expression (8) is satisfied, so that the real world model 161 can be obtained from the data 3.
[0182]
N ≦ M (8)
N is the number of variables expressing the model 161 approximating the real world 1. M is the number of data 162 included in data 3.
[0183]
By expressing a function f (x, y, t) approximating the signal of the real world 1 by Expression (5), w_iAs part of the variable can be independent. At this time, i indicates the number of variables as it is. Also, f_iCan be independent from each other, and f_iAs a result, a desired function can be used.
[0184]
Therefore, the function f_iVariable w_iN can be defined, and the variable w_iVariable w in the relationship between the number N of data and the number M of data_iCan be requested.
[0185]
That is, by using the following three, the real world 1 can be estimated from the data 3.
[0186]
First, N variables are determined, that is, equation (5) is determined. This is made possible by describing the real world 1 using stationarity. For example, a signal of the real world 1 can be described by a model 161 in which a cross section is represented by a polynomial and the same cross-sectional shape continues in a certain direction.
[0187]
Second, for example, the projection by the sensor 2 is formulated, and the equation (7) is described. For example, the result of integrating the signals of the real world 2 is formulated as data 3.
[0188]
Third, M data 162 are collected to satisfy equation (8). For example, data 162 is collected from an area having data continuity detected by the data continuity detecting unit 101. For example, data 162 of an area where a certain cross section continues, which is an example of stationarity, is collected.
[0189]
As described above, the relationship between the data 3 and the real world 1 is described by the equation (5), and by gathering M pieces of data 162, the real world 1 can be estimated by satisfying the equation (8). it can.
[0190]
More specifically, when N = M, since the number N of variables is equal to the number M of equations, the simultaneous equations are established to obtain the variable w._iCan be requested.
[0191]
When N <M, various solutions can be applied. For example, by the least square method, the variable w_iCan be requested.
[0192]
Here, the solution by the least squares method will be described in detail.
[0193]
First, Expression (9) for predicting data 3 from the real world 1 is shown according to Expression (7).
[0194]
(Equation 7)

[0195]
In equation (9), P ′_j(X_j, Y_j,t_j) Is a predicted value.
[0196]
The sum of squares E of the difference between the predicted value P ′ and the actually measured value P is represented by Expression (10).
[0197]
(Equation 8)

[0198]
The variable w is set so that the sum of squared differences E is minimized._iIs required. Therefore, each variable w_kIs set to 0. That is, equation (11) holds.
[0199]
(Equation 9)

[0200]
Equation (12) is derived from equation (11).
[0201]
(Equation 10)

[0202]
When Equation (12) holds for K = 1 to N, a solution by the least squares method is obtained. The normal equation at this time is represented by Expression (13).
[0203]
(Equation 11)

However, in equation (13), S_i(X_j, Y_j, T_j) Is S_i(J).
[0204]
(Equation 12)

[0205]
(Equation 13)

[0206]
[Equation 14]

[0207]
From Expressions (14) to (16), Expression (13) is expressed as S_MATW_MAT= P_MATIt can be expressed as.
[0208]
In equation (13), S_iRepresents the projection of the real world 1. In equation (13), P_jRepresents data 3. In equation (13), w_iIs a variable that describes the characteristics of the signal in the real world 1 and seeks to obtain.
[0209]
Therefore, data 3 is input to equation (13), and W_MAT, The real world 1 can be estimated. That is, by calculating Expression (17), the real world 1 can be estimated.
[0210]

[0211]
Note that S_MATIf is not regular, S_MATUsing the transpose of_MATCan be requested.
[0212]
The real-world estimating unit 102 inputs, for example, the data 3 into the equation (13), and performs W_MAT, The real world 1 is estimated.
[0213]
Here, an even more specific example will be described. For example, a cross-sectional shape of a signal in the real world 1, that is, a change in level with respect to a change in position is described by a polynomial. It is assumed that the cross section of the signal of the real world 1 is constant and the cross section of the signal of the real world 1 moves at a constant speed. Then, the projection of the signal of the real world 1 by the sensor 2 onto the data 3 is formulated by three-dimensional integration of the signal of the real world 1 in the spatiotemporal direction.
[0214]
Equations (18) and (19) are obtained on the assumption that the cross-sectional shape of the signal in the real world 1 moves at a constant speed.
[0215]
[Equation 15]

[0216]
(Equation 16)

Where v_xAnd v_yIs constant.
[0217]
The cross-sectional shape of the signal in the real world 1 is expressed by Expression (20) by using Expressions (18) and (19).
[0218]
f (x ', y') = f (x + v_xt, y + v_yt) (20)
[0219]
If the projection of the signal of the real world 1 by the sensor 2 onto the data 3 is formulated by three-dimensional integration of the signal of the real world 1 in the spatiotemporal direction, Expression (21) is obtained.
[0220]
[Equation 17]

[0221]
In the equation (21), S (x, y, t) represents the position x in the spatial direction X._sFrom position x_eUp to the position y in the spatial direction Y_sFrom position y_eUp to time t in the time direction t_sTo time t_e, Ie, the integrated value of the region represented by the rectangular parallelepiped in space and time.
[0222]
By solving Expression (13) using a desired function f (x ′, y ′) that can determine Expression (21), the signal of the real world 1 can be estimated.
[0223]
In the following, as an example of the function f (x ', y'), the function shown in Expression (22) is used.
[0224]

[0225]
That is, it is assumed that the signal of the real world 1 includes the stationarity represented by Expression (18), Expression (19), and Expression (22). This indicates that the cross section of a certain shape is moving in the space-time direction, as shown in FIG.
[0226]
By substituting equation (22) into equation (21), equation (23) is obtained.
[0227]
(Equation 18)

However,
Volume = (x_e-X_s) (Y_e-Y_s)(T_e-T_s)
S₀(X, y, t) = Volume / 2 × (x_e+ X_s+ V_x(T_e+ T_s))
S₁(X, y, t) = Volume / 2 × (y_e+ Y_s+ V_y(T_e+ T_s))
S₂(X, y, t) = 1
It is.
[0228]
FIG. 27 is a diagram illustrating an example of M pieces of data 162 extracted from data 3. For example, 27 pixel values are extracted as data 162, and the extracted pixel value is P_j(X, y, t). In this case, j is 0 to 26.
[0229]
In the example shown in FIG. 27, the pixel value of the pixel corresponding to the position of interest at time t, which is n, is P_Thirteen(X, y, t), and the direction in which pixel values of pixels having data continuity are arranged (for example, the direction in which the same claw shape detected by the data continuity detection unit 101 is arranged) is P₄(X, y, t), P_Thirteen(X, y, t), and P₂₂In the direction connecting (x, y, t), the pixel value P at time t which is n₉(X, y, t) through P₁₇(X, y, t), the pixel value P at time t which is n-1 and is temporally earlier than n₀(X, y, t) through P₈(X, y, t), and the pixel value P at time t that is n + 1, which is temporally later than n₁₈(X, y, t) through P₂₆(X, y, t) is extracted.
[0230]
Here, the area where the pixel value as the data 3 output from the image sensor as the sensor 2 is obtained has a spread in a time direction and a two-dimensional spatial direction as shown in FIG. Therefore, for example, as shown in FIG. 29, the center of gravity of a rectangular parallelepiped (region in which a pixel value is obtained) corresponding to a pixel can be used as the position of the pixel in the spatiotemporal direction. The circle in FIG. 29 indicates the center of gravity.
[0231]
27 pixel values P₀(X, y, t) through P₂₆By generating Expression (13) from (x, y, t) and Expression (23) and obtaining W, the real world 1 can be estimated.
[0232]
As described above, the real world estimating unit 102 calculates, for example, 27 pixel values P₀(X, y, t) through P₂₆Expression (13) is generated from (x, y, t) and Expression (23), and W is obtained to estimate the signal of the real world 1.
[0233]
Note that the function f_iAs (x, y, t), a Gaussian function, a sigmoid function, or the like can be used.
[0234]
An example of a process of generating higher-resolution high-resolution data 181 corresponding to data 3 from the estimated signal of the real world 1 will be described with reference to FIGS.
[0235]
As shown in FIG. 30, the data 3 has a value obtained by integrating the signal of the real world 1 in the time direction and the two-dimensional spatial direction. For example, a pixel value as data 3 output from the image sensor as the sensor 2 is obtained by integrating a signal of the real world 1 which is light incident on the detection element with a shutter time as a detection time in a time direction. And has a value integrated in the light receiving area of the detection element in the spatial direction.
[0236]
On the other hand, as shown in FIG. 31, the high-resolution data 181 having a higher resolution in the spatial direction is obtained by converting the estimated signal of the real world 1 in the time direction with the detection time of the sensor 2 that has output the data 3. It is generated by integrating at the same time and by integrating in a narrower area in the spatial direction as compared with the light receiving area of the detection element of the sensor 2 that has output the data 3.
[0237]
When the high-resolution data 181 having a higher resolution in the spatial direction is generated, the region where the estimated signal of the real world 1 is integrated is completely independent of the light receiving region of the detection element of the sensor 2 that outputs the data 3. Can be set. For example, the high-resolution data 181 is given a resolution that is an integer multiple in the spatial direction with respect to the data 3 as well as a rational multiple of the data 3 in the spatial direction, such as 5/3. be able to.
[0238]
Further, as shown in FIG. 32, the high-resolution data 181 having a higher resolution in the time direction is obtained by converting the signal of the estimated real world 1 into the light receiving area of the detection element of the sensor 2 which has output the data 3 in the spatial direction. It is generated by integrating in the same area and integrating in a shorter time than the detection time of the sensor 2 that outputs the data 3 in the time direction.
[0239]
When the high-resolution data 181 having a higher resolution in the time direction is generated, the estimated time for integrating the signal of the real world 1 is completely independent of the shutter time of the detection element of the sensor 2 that outputs the data 3. Can be set. For example, the high-resolution data 181 may have a resolution that is an integral multiple of the data 3 in the time direction with respect to the data 3, and may have a rational multiple of the resolution of the data 3 in the time direction, such as 7/4. be able to.
[0240]
As shown in FIG. 33, the high-resolution data 181 from which the motion blur has been removed is generated by integrating the estimated signal of the real world 1 only in the spatial direction without integrating it in the time direction.
[0241]
Further, as shown in FIG. 34, the high-resolution data 181 having a higher resolution in the temporal direction and the spatial direction converts the estimated signal of the real world 1 into the spatial direction by the detection element of the sensor 2 that outputs the data 3. It is generated by integrating in a narrower area than in the light receiving area and integrating in a shorter time in the time direction as compared with the detection time of the sensor 2 that has output the data 3.
[0242]
In this case, the region and time in which the estimated signal of the real world 1 is integrated can be set completely independently of the light receiving region of the detection element of the sensor 2 that has output the data 3 and the shutter time.
[0243]
As described above, the image generation unit 103 generates higher-resolution data in the time direction or the space direction, for example, by integrating the estimated signal of the real world 1 in a desired space-time region.
[0244]
As described above, by estimating the signal of the real world 1, it is possible to generate more accurate data with higher resolution in the time direction or the spatial direction for the signal of the real world 1.
[0245]
35 to 39, an example of an input image and an example of a processing result of the signal processing device 4 according to the present invention will be described.
[0246]
FIG. 35 is a diagram showing the original image of the input image. FIG. 36 is a diagram illustrating an example of an input image. The input image shown in FIG. 36 is an image in which the average value of the pixel values of the pixels belonging to the block of 2 × 2 pixels of the image shown in FIG. 35 is generated as the pixel value of one pixel. That is, the input image is an image obtained by applying spatial integration that imitates the integration characteristics of the sensor to the image shown in FIG.
[0247]
The original image shown in FIG. 35 includes an image of a thin line inclined approximately 5 degrees clockwise from the vertical direction. Similarly, the input image shown in FIG. 36 includes a thin line image inclined approximately 5 degrees clockwise from the vertical direction.
[0248]
FIG. 37 is a diagram showing an image obtained by applying the conventional classification adaptive processing to the input image shown in FIG. Here, the class classification adaptation process includes a class classification process and an adaptation process. The class classification process classifies the data into classes based on their properties, and performs an adaptation process for each class. In the adaptive processing, for example, an image of low image quality or standard image quality is converted into a high image quality image by mapping (mapping) using a predetermined tap coefficient.
[0249]
In the image shown in FIG. 37, it can be seen that the thin line image is different from the original image in FIG.
[0250]
FIG. 38 is a diagram illustrating a result of detecting a thin line region from the input image illustrated in the example of FIG. 36 by the data continuity detection unit 101. In FIG. 38, a white region indicates a thin line region, that is, a region where the arc shapes shown in FIG. 14 are arranged.
[0251]
FIG. 39 is a diagram illustrating an example of an output image output from the signal processing device 4 according to the present invention, using the image illustrated in FIG. 36 as an input image. As shown in FIG. 39, according to the signal processing device 4 of the present invention, an image closer to the thin line image of the original image shown in FIG. 35 can be obtained.
[0252]
FIG. 40 is a flowchart illustrating signal processing by the signal processing device 4 according to the present invention.
[0253]
In step S101, the data continuity detecting unit 101 executes a process of detecting continuity. The data continuity detecting unit 101 detects the continuity of the data included in the input image that is the data 3, and outputs data continuity information indicating the continuity of the detected data to the real world estimating unit 102 and the image generating unit. 103.
[0254]
The data continuity detecting unit 101 detects data continuity corresponding to continuity of a signal in the real world. In the process of step S101, the continuity of the data detected by the data continuity detecting unit 101 is a part of the continuity of the image of the real world 1 included in the data 3 or the signal of the real world 1 Is the stationarity that has changed from the stationarity of
[0255]
For example, the data continuity detecting unit 101 detects data continuity by detecting an area having a certain feature in a direction of a predetermined dimension. Further, for example, the data continuity detecting unit 101 detects the continuity of data by detecting an angle (inclination) in the spatial direction that indicates a similar arrangement of shapes.
[0256]
The details of the processing for detecting the stationarity in step S101 will be described later.
[0257]
Note that the data continuity information can be used as a feature amount indicating the feature of the data 3.
[0258]
In step S102, the real world estimating unit 102 executes a process of estimating the real world. That is, the real world estimating unit 102 estimates the signal of the real world 1 based on the input image and the data continuity information supplied from the data continuity detecting unit 101. For example, in the process of step S102, the real world estimating unit 102 estimates a signal of the real world 1 by predicting a model 161 that approximates (describes) the real world 1. The real world estimation unit 102 supplies real world estimation information indicating the estimated signal of the real world 1 to the image generation unit 103.
[0259]
For example, the real world estimating unit 102 estimates the signal of the real world 1 by estimating the width of a linear object. Further, for example, the real world estimating unit 102 estimates the signal of the real world 1 by predicting the level indicating the color of the linear object.
[0260]
Details of the process of estimating the real world in step S102 will be described later.
[0261]
Note that the real world estimation information can be used as a feature amount indicating the feature of the data 3.
[0262]
In step S103, the image generation unit 103 executes a process of generating an image, and the process ends. That is, the image generation unit 103 generates an image based on the real world estimation information, and outputs the generated image. Alternatively, the image generation unit 103 generates an image based on the data continuity information and the real world estimation information, and outputs the generated image.
[0263]
For example, in the process of step S103, the image generation unit 103 integrates the estimated real-world light in the spatial direction based on the real-world estimation information, thereby achieving higher resolution in the spatial direction compared to the input image. Is generated, and the generated image is output. For example, the image generation unit 103 integrates the estimated real-world light in the spatio-temporal direction based on the real-world estimation information, so that an image with a higher resolution in the temporal direction and the spatial direction is compared with the input image. Is generated, and the generated image is output. Details of the image generation processing in step S103 will be described later.
[0264]
As described above, the signal processing device 4 according to the present invention detects the data continuity from the data 3 and estimates the real world 1 based on the detected data continuity. Then, the signal processing device 4 generates a signal closer to the real world 1 based on the estimated real world 1.
[0265]
As described above, when processing is performed by estimating a signal in the real world, an accurate and high-accuracy processing result can be obtained.
[0266]
A first signal, which is a real-world signal having the first dimension, is projected, and a second dimension of the second dimension is smaller than the first dimension in which a part of the continuity of the real-world signal is missing. By detecting the stationarity of data corresponding to the stationarity of the missing real-world signal of the signal and estimating the stationarity of the missing real-world signal based on the stationarity of the detected data, Is estimated, a more accurate and more accurate processing result can be obtained for a real-world event.
[0267]
Next, details of the configuration of the data continuity detecting unit 101 will be described.
[0268]
FIG. 41 is a block diagram illustrating a configuration of the data continuity detecting unit 101.
[0269]
The data continuity detecting unit 101 having the configuration shown in FIG. 41 detects the continuity of the data included in the data 3 due to the continuity that the cross-sectional shape of the object has the same when capturing an image of the object as a thin line. Is detected. In other words, the data continuity detecting unit 101 having the configuration shown in FIG. 41 is configured to detect light at a given position in the length direction of an image of the real world 1 as a thin line with respect to a change in position in a direction orthogonal to the length direction. The continuity of the data included in the data 3 resulting from the continuity that the level change is the same is detected.
[0270]
More specifically, the data continuity detecting unit 101 having the configuration shown in FIG. 41 is adjacent to the thin line image in the data 3 obtained by imaging the thin line image with the sensor 2 having the spatial integration effect. An area in which a plurality of arc shapes (kamaboko shapes) having a predetermined length are arranged is detected.
[0271]
The data continuity detecting unit 101 detects a portion of image data (hereinafter, also referred to as a stationary component) other than an image data portion (hereinafter, also referred to as a stationary component) in which a thin line image having data continuity is projected from the input image as the data 3. (Referred to as a non-stationary component), and from the extracted non-stationary component and the input image, a pixel on which the image of the real world 1 thin line is projected is detected. An area consisting of projected pixels is detected.
[0272]
The non-stationary component extraction unit 201 extracts a non-stationary component from the input image and supplies, together with the input image, non-stationary component information indicating the extracted non-stationary component to the vertex detection unit 202 and the monotone increase / decrease detection unit 203.
[0273]
For example, as shown in FIG. 42, when an image of the real world 1 having a thin line in front of a background having a substantially constant light level is projected on the data 3, as shown in FIG. The unit 201 extracts the non-stationary component as the background by approximating the background in the input image as the data 3 with a plane. In FIG. 43, a solid line indicates a pixel value of data 3, and a dotted line indicates an approximate value indicated by a plane approximating the background. In FIG. 43, A indicates the pixel value of the pixel on which the thin line image is projected, and PL indicates a plane approximating the background.
[0274]
As described above, the pixel values of a plurality of pixels in the image data portion having data continuity are discontinuous with respect to the non-stationary component.
[0275]
The non-stationary component extraction unit 201 projects an image that is an optical signal of the real world 1 and obtains a pixel value of a plurality of pixels of the image data of data 3 in which a part of the stationarity of the image of the real world 1 is missing. Detect discontinuities.
[0276]
The details of the process of extracting the unsteady component in the unsteady component extraction unit 201 will be described later.
[0277]
The vertex detection unit 202 and the monotone increase / decrease detection unit 203 remove the unsteady component from the input image based on the unsteady component information supplied from the unsteady component extraction unit 201. For example, the vertex detection unit 202 and the monotone increase / decrease detection unit 203 remove the non-stationary component from the input image by setting the pixel value of the pixel on which only the background image is projected among the pixels of the input image to 0. I do. In addition, for example, the vertex detection unit 202 and the monotone increase / decrease detection unit 203 remove non-stationary components from the input image by subtracting a value approximated by the plane PL from the pixel value of each pixel of the input image.
[0278]
Since the background can be removed from the input image, the vertex detection unit 202 to the continuity detection unit 204 can process only the portion of the image data on which the thin line is projected, and The processing in the sex detection unit 204 becomes easier.
[0279]
Note that the non-stationary component extraction unit 201 may supply image data obtained by removing the non-stationary component from the input image to the vertex detection unit 202 and the monotone increase / decrease detection unit 203.
[0280]
In the example of the processing described below, image data obtained by removing non-stationary components from an input image, that is, image data consisting only of pixels including a stationary component, is targeted.
[0281]
Here, image data on which a fine line image is projected, which is to be detected by the vertex detection unit 202 to the continuity detection unit 204, will be described.
[0282]
The image sensor on which the thin line image shown in FIG. 42 is projected in the spatial direction Y (the change in pixel value with respect to the change in the position in the spatial direction) has no optical LPF. From the spatial integration effect of, it can be considered that a trapezoid shown in FIG. 44 or a triangle shown in FIG. 45 is obtained. However, a normal image sensor includes an optical LPF, and the image sensor acquires an image that has passed through the optical LPF and projects the acquired image on the data 3. Therefore, in reality, the spatial direction Y of the thin line image data is actually used. Has a shape similar to a Gaussian distribution as shown in FIG.
[0283]
The vertex detection unit 202 to the continuity detection unit 204 are pixels on which a thin line image is projected, and have the same cross-sectional shape (change in pixel value with respect to change in position in the spatial direction) at regular intervals in the vertical direction of the screen. By detecting the region consisting of the lines, and further detecting the connection of the regions corresponding to the length direction of the thin line in the real world 1, the image of the thin line, which is the region having data continuity, is projected. An area composed of the pixels is detected. That is, the vertex detection unit 202 to the continuity detection unit 204 detect an area where an arc shape (kamaboko shape) is formed on one column of pixels in the input image vertically, and the detected area is in the horizontal direction. It is determined whether or not they are adjacent to each other, and the connection of the regions where the arc shape is formed corresponding to the length direction of the thin line image which is the signal of the real world 1 is detected.
[0284]
Further, the vertex detection unit 202 to the continuity detection unit 204 detect a region where pixels of the thin line image are projected and have the same cross-sectional shape arranged at regular intervals in the horizontal direction of the screen. By detecting the connection of the detected areas corresponding to the length direction of the thin line in the real world 1, an area having data continuity, that is, an area composed of pixels onto which a thin line image is projected is detected. . That is, the vertex detection unit 202 to the continuity detection unit 204 detect a region where an arc shape is formed on a row of pixels in the input image, and the detected region is vertically adjacent. It is determined whether they are arranged or not, and the connection of the regions where the arc shape is formed corresponding to the length direction of the thin line image which is the signal of the real world 1 is detected.
[0285]
First, a description will be given of a process of detecting a region where pixels of which a thin line image is projected and in which the same arc shape is arranged at regular intervals in the vertical direction of the screen.
[0286]
The vertex detection unit 202 detects a pixel having a larger pixel value than the surrounding pixels, that is, a vertex, and supplies vertex information indicating the position of the vertex to the monotone increase / decrease detection unit 203. When targeting pixels arranged in one line in the vertical direction of the screen, the vertex detection unit 202 compares the pixel value of the pixel located on the upper side of the screen and the pixel value of the pixel located on the lower side of the screen with: A pixel having a larger pixel value is detected as a vertex. The vertex detection unit 202 detects one or a plurality of vertices from one image, for example, one frame image.
[0287]
One screen includes a frame or a field. The same applies to the following description.
[0288]
For example, the vertex detection unit 202 selects a pixel of interest from pixels that have not yet been set as the pixel of interest from the image of one frame, and compares the pixel value of the pixel of interest with the pixel value of the pixel above the pixel of interest. The pixel value of the target pixel is compared with the pixel value of the lower pixel of the target pixel, and a pixel value having a pixel value larger than the pixel value of the upper pixel and a pixel value larger than the pixel value of the lower pixel is calculated. The detected pixel of interest is detected, and the detected pixel of interest is set as the vertex. The vertex detection unit 202 supplies vertex information indicating the detected vertex to the monotonous increase / decrease detection unit 203.
[0289]
The vertex detection unit 202 may not detect a vertex in some cases. For example, when the pixel values of the pixels of one image are all the same, or when the pixel value decreases in one or two directions, no vertex is detected. In this case, the thin line image is not projected on the image data.
[0290]
The monotone increase / decrease detection unit 203 is a pixel that is arranged in a line in the vertical direction with respect to the vertex detected by the vertex detection unit 202 based on the vertex information indicating the position of the vertex supplied from the vertex detection unit 202. , And detects area candidates consisting of pixels onto which the fine line image is projected, and supplies area information indicating the detected area to the continuity detection unit 204 together with vertex information.
[0291]
More specifically, the monotonous increase / decrease detection unit 203 sets a region including a pixel having a monotonically decreasing pixel value as a candidate for a region including a pixel onto which a thin line image is projected with reference to the pixel value at the vertex. To detect. Monotonically decreasing means that the pixel value of a pixel whose distance from the vertex is longer is smaller than the pixel value of a pixel whose distance from the vertex is short.
[0292]
In addition, the monotonous increase / decrease detection unit 203 detects a region including pixels having a monotonically increasing pixel value as a candidate for a region including a pixel onto which a thin line image is projected with reference to the pixel value at the vertex. Monotonic increase means that the pixel value of a pixel whose distance from the vertex is longer is larger than the pixel value of a pixel whose distance from the vertex is short.
[0293]
Hereinafter, the process for the region including the pixel having the monotonically increasing pixel value is the same as the process for the region including the pixel having the monotonically decreasing pixel value, and the description thereof will be omitted. In the process of detecting a region in which a thin line image is projected and in which the same arc shape is arranged at a constant interval in the horizontal direction of the screen, a region including a pixel having a monotonically increasing pixel value Is also the same as the processing for an area composed of pixels having monotonically decreasing pixel values, and a description thereof will be omitted.
[0294]
For example, the monotonous increase / decrease detection unit 203 calculates the difference between the pixel value of each pixel and the pixel value of the upper pixel and the difference between the pixel value of the lower pixel and the pixel value of the lower pixel for each pixel in one column vertically with respect to the vertex. Ask for. Then, the monotone increase / decrease detection unit 203 detects an area where the pixel value monotonously decreases by detecting a pixel whose sign of the difference changes.
[0295]
Further, the monotonous increase / decrease detection unit 203 sets, from the region where the pixel value is monotonically decreasing, a region including pixels having the same sign as the sign of the pixel value of the vertex on the basis of the sign of the pixel value of the vertex, The thin line image is detected as a candidate for an area composed of projected pixels.
[0296]
For example, the monotonous increase / decrease detection unit 203 compares the sign of the pixel value of each pixel with the sign of the pixel value of the upper pixel and the sign of the pixel value of the lower pixel, and determines the pixel whose sign of the pixel value changes. As a result of the detection, an area composed of pixels having the pixel value of the same sign as the vertex is detected from the area where the pixel value monotonously decreases.
[0297]
As described above, the monotonous increase / decrease detection unit 203 detects an area including pixels arranged in the up-down direction, in which the pixel value monotonously decreases with respect to the vertex, and having the pixel value of the same sign as the vertex.
[0298]
FIG. 47 is a diagram illustrating a process of detecting a vertex and detecting a monotonously increasing / decreasing region, which detects a region of a pixel on which a thin line image is projected, from a pixel value with respect to a position in the spatial direction Y.
[0299]
47 to 49, P indicates a vertex. In the description of the data continuity detecting unit 101 whose configuration is shown in FIG. 41, P indicates a peak.
[0300]
The vertex detection unit 202 compares the pixel value of each pixel with the pixel value of a pixel adjacent thereto in the spatial direction Y, and determines a pixel having a pixel value larger than the pixel value of two pixels adjacent in the spatial direction Y. , The vertex P is detected.
[0301]
The region including the vertex P and the pixels on both sides in the spatial direction Y of the vertex P is a monotonically decreasing region in which the pixel values of the pixels on both sides in the spatial direction Y monotonously decrease with respect to the pixel value of the vertex P. In FIG. 47, the arrow indicated by A and the arrow indicated by B indicate monotonically decreasing regions existing on both sides of the vertex P.
[0302]
The monotone increase / decrease detection unit 203 obtains a difference between the pixel value of each pixel and the pixel value of a pixel adjacent to the pixel in the spatial direction Y, and detects a pixel whose sign of the difference changes. The monotonous increase / decrease detection unit 203 sets the boundary between the detected pixel of which the sign of the difference changes and the pixel on the near side (vertex P side) with the boundary of the thin line area composed of the pixels on which the thin line image is projected. I do.
[0303]
In FIG. 47, the boundary of the thin line region that is the boundary between the pixel whose sign of the difference changes and the pixel on the near side (vertex P side) is indicated by C.
[0304]
Further, the monotone increase / decrease detection unit 203 compares the sign of the pixel value of each pixel with the sign of the pixel value of a pixel adjacent to the pixel in the spatial direction Y in the monotonically decreasing region, and the sign of the pixel value changes. Detect pixels. The monotonous increase / decrease detection unit 203 sets the boundary between the detected pixel whose sign of the difference changes and the pixel on the near side (vertex P side) as the boundary of the thin line region.
[0305]
In FIG. 47, the boundary of the thin line region that is the boundary between the pixel whose sign of the difference changes and the pixel on the near side (vertex P side) is indicated by D.
[0306]
As shown in FIG. 47, a thin line region F composed of pixels onto which a thin line image is projected is a region sandwiched between a thin line region boundary C and a thin line region boundary D.
[0307]
The monotone increase / decrease detection unit 203 obtains a thin line region F longer than a predetermined threshold, that is, a thin line region F including a larger number of pixels than the predetermined threshold, from the thin line region F composed of such a monotone increase / decrease region. For example, when the threshold value is 3, the monotonous increase / decrease detection unit 203 detects a thin line region F including four or more pixels.
[0308]
Further, from the thin line region F thus detected, the monotonous increase / decrease detection unit 203 calculates the pixel value of the vertex P, the pixel value of the pixel on the right side of the vertex P, and the pixel value of the pixel on the left side of the vertex P. , The pixel value of the vertex P exceeds the threshold value, the pixel value of the pixel on the right side of the vertex P is equal to or smaller than the threshold value, and the pixel value of the pixel on the left side of the vertex P is equal to or smaller than the threshold value. The thin line area F is detected, and the detected thin line area F is set as a candidate for an area composed of pixels including components of a thin line image.
[0309]
In other words, the pixel value of the vertex P is equal to or less than the threshold value, the pixel value of the pixel on the right side of the vertex P exceeds the threshold value, or the pixel value of the pixel on the left side of the vertex P exceeds the threshold value. F is determined not to include the component of the thin line image, and is removed from the candidate of the region including the pixel including the component of the thin line image.
[0310]
That is, as shown in FIG. 48, the monotonous increase / decrease detection unit 203 compares the pixel value of the vertex P with the threshold value, and sets the pixel adjacent to the vertex P in the spatial direction X (the direction indicated by the dotted line AA ′). Is compared with the threshold value, and a thin line region F to which the vertex P belongs, in which the pixel value of the vertex P exceeds the threshold value and the pixel value of a pixel adjacent in the spatial direction X is equal to or smaller than the threshold value, is detected.
[0311]
FIG. 49 is a diagram illustrating pixel values of pixels arranged in the spatial direction X indicated by a dotted line AA ′ in FIG. The pixel value of the vertex P is equal to the threshold Th_S, The pixel value of a pixel adjacent to the vertex P in the spatial direction X is the threshold value Th_SThe following thin line region F to which the vertex P belongs includes a thin line component.
[0312]
Note that the monotonous increase / decrease detection unit 203 compares the difference between the pixel value of the vertex P and the pixel value of the background with a threshold with respect to the pixel value of the background, and determines the pixel adjacent to the vertex P in the spatial direction X. Is compared with a threshold value, and the difference between the pixel value of the vertex P and the pixel value of the background exceeds the threshold value, and the pixel value of the pixel adjacent in the spatial direction X and the pixel of the background are compared. The thin line region F to which the vertex P belongs, whose difference from the value is equal to or smaller than the threshold value, may be detected.
[0313]
The monotone increase / decrease detection unit 203 is an area composed of pixels in which the pixel value monotonously decreases and the sign of the pixel value is the same as the vertex P with respect to the vertex P, and the vertex P exceeds the threshold, and the Monotonic increase / decrease area information indicating that the pixel value of the right pixel is equal to or less than the threshold value and the pixel value of the left pixel of the vertex P is equal to or less than the threshold value is supplied to the continuity detection unit 204.
[0314]
In the case of detecting a region which is arranged in a line in the vertical direction of the screen and which is formed by projecting a thin line image, the pixels belonging to the region indicated by the monotonous increase / decrease region information are arranged in the vertical direction, Image includes pixels projected. That is, the area indicated by the monotone increase / decrease area information is pixels arranged in a line in the vertical direction of the screen and includes an area formed by projecting a thin line image.
[0315]
As described above, the vertex detection unit 202 and the monotone increase / decrease detection unit 203 use the property that the change in the pixel value in the spatial direction Y is similar to a Gaussian distribution in the pixel on which the image of the thin line is projected, and A steady area consisting of pixels onto which the image has been projected is detected.
[0316]
The continuity detection unit 204 is a region including pixels that are horizontally adjacent to each other, that is, a region including pixels that are horizontally adjacent to each other, that is, a region including the pixels that are vertically arranged and indicated by the monotone increase / decrease region information supplied from the monotone increase / decrease detection unit 203 A region having the change in pixel value and overlapping in the vertical direction is detected as a continuous region, and vertex information and data continuity information indicating the detected continuous region are output. The data continuity information includes monotonically increasing / decreasing area information, information indicating connection of areas, and the like.
[0317]
In the pixels on which the fine lines are projected, the arc shapes are arranged at regular intervals so as to be adjacent to each other. Therefore, the detected continuous region includes the pixels on which the fine lines are projected.
[0318]
Since the detected continuous area includes pixels on which fine lines are projected and pixels arranged at regular intervals so that arc shapes are adjacent to each other, the detected continuous area is regarded as a steady area, and the continuity detection unit is used. 204 outputs data continuity information indicating the detected continuous area.
[0319]
That is, the continuity detecting unit 204 determines that the arc shapes in the data 3 obtained by imaging the thin line, which are generated from the continuity of the image of the thin line in the real world 1 and are continuous in the length direction, are adjacent to each other. Utilizing the stationarity arranged at regular intervals, the area candidates detected by the vertex detection unit 202 and the monotone increase / decrease detection unit 203 are further narrowed down.
[0320]
FIG. 50 is a diagram illustrating a process of detecting the continuity of the monotone increase / decrease region.
[0321]
As shown in FIG. 50, the continuity detecting unit 204 determines whether a thin line region F composed of pixels arranged in one column in the vertical direction of the screen includes pixels adjacent in the horizontal direction, and between the two monotone increasing / decreasing regions. It is assumed that there is no continuity between the two thin line regions F when no horizontally adjacent pixels are included. For example, a thin line region F composed of pixels arranged in one row in the vertical direction of the screen_-1Is a thin line region F composed of pixels arranged in a line in the vertical direction of the screen.₀When the pixel including the pixel adjacent to the pixel in the horizontal direction is included, the thin line region F₀It is said that it is continuous. Fine line area F composed of pixels arranged in a line in the vertical direction of the screen₀Is a thin line region F composed of pixels arranged in a line in the vertical direction of the screen.₁When the pixel including the pixel adjacent to the pixel in the horizontal direction is included, the thin line region F₁It is said that it is continuous.
[0322]
In this manner, the vertex detection unit 202 to the continuity detection unit 204 detect pixels that are arranged in a line in the vertical direction of the screen and that are formed by projecting a thin line image.
[0323]
As described above, the vertex detection unit 202 to the continuity detection unit 204 detect pixels that are arranged in a line in the vertical direction of the screen, and detect an area formed by projecting a thin line image. Pixels arranged in a line in the left-right direction, and an area formed by projecting a thin line image is detected.
[0324]
Note that the order of processing does not limit the present invention, and it goes without saying that the processing may be executed in parallel.
[0325]
That is, the vertex detecting unit 202 compares the pixel value of the pixel located on the left side of the screen and the pixel value of the pixel located on the right side of the screen with respect to the pixels arranged in one row in the horizontal direction of the screen, and A pixel having a large pixel value is detected as a vertex, and vertex information indicating the position of the detected vertex is supplied to the monotonous increase / decrease detection unit 203. The vertex detection unit 202 detects one or more vertices from one image, for example, one frame image.
[0326]
For example, the vertex detection unit 202 selects a pixel of interest from pixels that have not yet been set as the pixel of interest from the image of one frame, and compares the pixel value of the pixel of interest with the pixel value of the pixel to the left of the pixel of interest. Comparing the pixel value of the pixel of interest with the pixel value of the pixel on the right side of the pixel of interest, having a pixel value greater than the pixel value of the pixel on the left and a pixel value greater than the pixel value of the pixel on the right A pixel is detected, and the detected target pixel is set as the vertex. The vertex detection unit 202 supplies vertex information indicating the detected vertex to the monotonous increase / decrease detection unit 203.
[0327]
The vertex detection unit 202 may not detect a vertex in some cases.
[0328]
The monotonous increase / decrease detection unit 203 detects and detects a candidate for an area that is pixels arranged in a line in the left-right direction with respect to the vertex detected by the vertex detection unit 202 and is composed of pixels onto which a thin line image is projected. Along with the information, monotonic increase / decrease area information indicating the detected area is supplied to the continuity detection unit 204.
[0329]
More specifically, the monotonous increase / decrease detection unit 203 sets a region including a pixel having a monotonically decreasing pixel value as a candidate for a region including a pixel onto which a thin line image is projected with reference to the pixel value at the vertex. To detect.
[0330]
For example, the monotonous increase / decrease detection unit 203 calculates the difference between the pixel value of each pixel and the pixel value of the pixel on the left side, and the difference between the pixel value of the pixel on the right side and the pixel value of each pixel in a row lateral to the vertex. Ask. Then, the monotone increase / decrease detection unit 203 detects an area where the pixel value monotonously decreases by detecting a pixel whose sign of the difference changes.
[0331]
Further, the monotonous increase / decrease detection unit 203 sets, from the region where the pixel value is monotonically decreasing, a region including pixels having the same sign as the sign of the pixel value of the vertex on the basis of the sign of the pixel value of the vertex, The thin line image is detected as a candidate for an area composed of projected pixels.
[0332]
For example, the monotonous increase / decrease detection unit 203 compares the sign of the pixel value of each pixel with the sign of the pixel value of the left pixel or the sign of the pixel value of the right pixel, and detects a pixel whose sign of the pixel value changes. By doing so, an area consisting of pixels having the pixel value of the same sign as the vertex is detected from the area where the pixel value monotonously decreases.
[0333]
As described above, the monotonous increase / decrease detecting unit 203 detects an area composed of pixels arranged in the left-right direction, the pixel value of which is monotonously reduced with respect to the vertex, and having the pixel value of the same sign as the vertex.
[0334]
The monotone increase / decrease detection unit 203 obtains a thin line region longer than a predetermined threshold, that is, a thin line region including a larger number of pixels than the threshold, from the thin line region including such a monotone increase / decrease region.
[0335]
Further, from among the fine line regions detected in this way, the monotonous increase / decrease detection unit 203 sets the pixel value of the vertex, the pixel value of the pixel above the vertex, and the pixel value of the pixel below the vertex as threshold values, respectively. Compared with, the pixel value of the vertex exceeds the threshold, the pixel value of the pixel above the vertex is less than or equal to the threshold, and the thin line region to which the vertex whose pixel value of the pixel below the vertex is equal to or less than the threshold is detected, The detected thin line area is set as a candidate for an area including pixels including components of the thin line image.
[0336]
In other words, the thin line region to which the vertex whose pixel value is less than or equal to the threshold value, the pixel value of the pixel above the vertex exceeds the threshold value, or the pixel value of the pixel below the vertex which exceeds the threshold value belongs to the thin line region. Is determined not to include the component of the image of the thin line, and is removed from the candidate of the region including the pixel including the component of the image of the thin line.
[0337]
Note that the monotonous increase / decrease detection unit 203 compares the difference between the pixel value of the vertex and the pixel value of the background with a threshold based on the pixel value of the background, and determines the pixel value of the pixel vertically adjacent to the vertex. The difference between the pixel value of the vertex and the background pixel value exceeds the threshold value, and the difference between the pixel value of the vertically adjacent pixel and the background pixel value is compared with the threshold value. The detected thin line region that is equal to or less than the threshold value may be set as a candidate for the region including pixels including components of the image of the thin line.
[0338]
The monotonous increase / decrease detection unit 203 is an area composed of pixels whose pixel values monotonously decrease and the sign of the pixel value is the same as the vertex, with the vertex exceeding the threshold value, and Monotonic increase / decrease area information indicating that the pixel value is equal to or less than the threshold value and the pixel value of the pixel on the left side of the vertex is equal to or less than the threshold value is supplied to the continuity detection unit 204.
[0339]
When detecting an area that is a pixel arranged in a line in the horizontal direction of the screen and formed by projecting a thin line image, pixels belonging to the area indicated by the monotonous increase / decrease area information are arranged in the horizontal direction, Image includes pixels projected. In other words, the region indicated by the monotone increase / decrease region information is a line of pixels arranged in the horizontal direction of the screen, and includes a region formed by projecting a thin line image.
[0340]
The continuity detection unit 204 is a region including pixels that are vertically adjacent to each other, that is, a region including pixels that are vertically aligned, as indicated by the monotone increase / decrease region information supplied from the monotone increase / decrease detection unit 203. An area having the change in pixel value and overlapping in the horizontal direction is detected as a continuous area, and vertex information and data continuity information indicating the detected continuous area are output. The data continuity information includes information indicating the connection between the areas.
[0341]
In the pixels on which the fine lines are projected, the arc shapes are arranged at regular intervals so as to be adjacent to each other. Therefore, the detected continuous region includes the pixels on which the fine lines are projected.
[0342]
Since the detected continuous area includes pixels on which fine lines are projected and pixels arranged at regular intervals so that arc shapes are adjacent to each other, the detected continuous area is regarded as a steady area, and the continuity detection unit is used. 204 outputs data continuity information indicating the detected continuous area.
[0343]
That is, the continuity detecting unit 204 determines that the arc shapes in the data 3 obtained by imaging the thin line, which are generated from the continuity of the image of the thin line in the real world 1 and are continuous in the length direction, are adjacent to each other. Utilizing the stationarity arranged at regular intervals, the area candidates detected by the vertex detection unit 202 and the monotone increase / decrease detection unit 203 are further narrowed down.
[0344]
FIG. 51 is a diagram illustrating an example of an image in which a steady component is extracted by approximation on a plane. FIG. 52 is a diagram illustrating a result of detecting a vertex from the image illustrated in FIG. 51 and detecting a monotonically decreasing region. In FIG. 52, the part shown in white is the detected area.
[0345]
FIG. 53 is a diagram illustrating a region where continuity is detected by detecting continuity of adjacent regions from the image illustrated in FIG. 52. In FIG. 53, a portion shown in white is a region where continuity is detected. It can be seen from the continuity detection that the region is further specified.
[0346]
FIG. 54 is a diagram showing the pixel values of the region shown in FIG. 53, that is, the pixel values of the region where continuity is detected.
[0347]
As described above, the data continuity detecting unit 101 can detect the continuity included in the data 3 that is the input image. That is, the data continuity detecting unit 101 can detect the continuity of the data included in the data 3 which is generated by projecting the image of the real world 1 which is a thin line onto the data 3. The data continuity detecting unit 101 detects, from the data 3, an area composed of pixels on which an image of the real world 1 as a thin line is projected.
[0348]
FIG. 55 is a diagram illustrating an example of another process of detecting an area having continuity, on which a thin line image is projected, in the continuity detecting unit 101.
[0349]
As shown in FIG. 55, the continuity detecting unit 101 calculates, for each pixel, the absolute value of the difference between the pixel value and the adjacent pixel. The calculated absolute value of the difference is arranged so as to correspond to the pixel. For example, as shown in FIG. 55, when pixels having pixel values of P0, P1, and P2 are arranged, the continuity detecting unit 101 calculates the difference d0 = P0-P1 and the difference d1 = P1-P2. . Further, the continuity detecting unit 101 calculates the absolute values of the difference d0 and the difference d1.
[0350]
When the non-stationary components included in the pixel values P0, P1, and P2 are the same, only the value corresponding to the thin line component is set as the difference d0 and the difference d1.
[0351]
Therefore, the continuity detecting unit 101 determines, when the values of the adjacent differences are the same among the absolute values of the differences arranged corresponding to the pixels, the pixels (two of the absolute values) corresponding to the absolute values of the two differences. It is determined that a thin line component is included in the pixel between the absolute values of the difference.
[0352]
The continuity detecting unit 101 can also detect a thin line by such a simple method.
[0353]
FIG. 56 is a flowchart for explaining the processing of the continuity detection.
[0354]
In step S201, the non-stationary component extraction unit 201 extracts a non-stationary component, which is a portion other than the portion where the fine line is projected, from the input image. The non-stationary component extracting unit 201 supplies the non-stationary component information indicating the extracted non-stationary component to the vertex detecting unit 202 and the monotone increase / decrease detecting unit 203 together with the input image. Details of the process of extracting the unsteady component will be described later.
[0355]
In step S202, the vertex detection unit 202 removes the non-stationary component from the input image based on the non-stationary component information supplied from the non-stationary component extraction unit 201, and leaves only pixels including the stationary component in the input image. Further, in step S202, the vertex detection unit 202 detects a vertex.
[0356]
That is, when executing the processing based on the vertical direction of the screen, the vertex detection unit 202 compares the pixel value of each pixel with the pixel values of the upper and lower pixels for the pixel including the stationary component. The vertex is detected by detecting a pixel having a pixel value larger than the pixel value of the upper pixel and the pixel value of the lower pixel. Also, in step S202, when executing the processing based on the horizontal direction of the screen, the vertex detection unit 202 determines the pixel value of each pixel and the pixel values of the right and left pixels for the pixel including the stationary component. In comparison, a vertex is detected by detecting a pixel having a pixel value larger than the pixel value of the right pixel and the pixel value of the left pixel.
[0357]
The vertex detection unit 202 supplies vertex information indicating the detected vertex to the monotonous increase / decrease detection unit 203.
[0358]
In step S203, the monotonous increase / decrease detection unit 203 removes the non-stationary component from the input image based on the non-stationary component information supplied from the non-stationary component extraction unit 201, and leaves only pixels including the steady component in the input image. . Further, in step S203, the monotonous increase / decrease detection unit 203 detects a monotonous increase / decrease with respect to the vertex based on the vertex information indicating the position of the vertex supplied from the vertex detection unit 202, thereby obtaining a pixel having data continuity. Is detected.
[0359]
When executing the process based on the vertical direction of the screen, the monotonous increase / decrease detection unit 203 determines one column in the vertical direction based on the pixel value of the vertex and the pixel value of the pixel in the vertical column. , A region consisting of pixels having data continuity is detected by detecting monotonous increase / decrease of pixels projected with one fine line image. That is, in step S203, when performing the processing based on the vertical direction of the screen, the monotonous increase / decrease detection unit 203 determines, for the vertices and the pixels that are vertically arranged in one row, the pixel value of each pixel and Alternatively, a difference between the pixel value of the lower pixel and the pixel value of the lower pixel is obtained, and a pixel whose sign of the difference changes is detected. In addition, the monotone increase / decrease detection unit 203 compares the sign of the pixel value of each pixel with the sign of the pixel value of the pixel above or below the vertex and the pixels arranged in one line vertically with respect to the vertex. Then, a pixel whose sign of the pixel value changes is detected. Further, the monotonous increase / decrease detection unit 203 compares the pixel value of the vertex and the pixel values of the right and left pixels of the vertex with a threshold, and the pixel value of the vertex exceeds the threshold, and the pixel values of the right and left pixels are An area composed of pixels that are equal to or smaller than the threshold is detected.
[0360]
The monotonous increase / decrease detection unit 203 supplies the monotone increase / decrease region information indicating the monotone increase / decrease region to the continuity detection unit 204, using the region thus detected as a monotone increase / decrease region.
[0361]
In addition, when executing the processing based on the horizontal direction of the screen, the monotonous increase / decrease detection unit 203 arranges the pixels horizontally based on the pixel values of the vertices and the pixel values of the pixels arranged in one row horizontally with respect to the vertices. By detecting a monotonous increase / decrease of pixels in one column and projected with one thin line image, an area composed of pixels having data continuity is detected. That is, in step S203, when executing the processing based on the horizontal direction of the screen, the monotonous increase / decrease detection unit 203 determines, for the vertices and the pixels arranged in one row horizontally with respect to the vertices, the pixel value of each pixel and the left Alternatively, a difference between the pixel value of the right pixel and the pixel value of the right pixel is obtained, and a pixel whose sign of the difference changes is detected. Further, the monotone increase / decrease detecting unit 203 compares the sign of the pixel value of each pixel with the sign of the pixel value of the pixel on the left or right side of the pixel with respect to the vertex and the pixels arranged in one row horizontally with respect to the vertex. , The pixel whose sign of the pixel value changes is detected. Further, the monotonous increase / decrease detection unit 203 compares the pixel value of the vertex and the pixel values of the pixels above and below the vertex with a threshold value, and the pixel value of the vertex exceeds the threshold value, and the pixel values of the pixel above and below the vertex. An area composed of pixels whose values are equal to or smaller than a threshold is detected.
[0362]
The monotonous increase / decrease detection unit 203 supplies the monotone increase / decrease region information indicating the monotone increase / decrease region to the continuity detection unit 204, using the region thus detected as a monotone increase / decrease region.
[0363]
In step S204, the monotonous increase / decrease detection unit 203 determines whether the processing for all pixels has been completed. For example, the non-stationary component extraction unit 201 detects vertices for all pixels of one screen (for example, a frame or a field) of the input image, and determines whether a monotonous increase / decrease region has been detected.
[0364]
If it is determined in step S204 that the processing of all the pixels has not been completed, that is, it is determined that there is still a pixel that has not been subjected to the processing of the detection of the vertex and the detection of the monotonous increase / decrease area, the process returns to step S202, and the processing returns to step S202. A pixel to be processed is selected from the pixels not subjected to the detection and the detection of the monotonous increase / decrease area, and the processing of the vertex detection and the detection of the monotonous increase / decrease area is repeated.
[0365]
If it is determined in step S204 that the processing of all the pixels has been completed, that is, it is determined that the vertices and the monotone increasing / decreasing area have been detected for all the pixels, the process proceeds to step S205, and the continuity detecting unit 204 executes the monotonic increasing / decreasing area information. , The continuity of the detected area is detected. For example, when the continuity detecting unit 204 includes pixels that are horizontally adjacent to each other in a monotonically increasing / decreasing area that is indicated by the monotonically increasing / decreasing area information and is composed of pixels arranged in one column in the vertical direction of the screen, It is assumed that there is continuity between the regions, and when no horizontally adjacent pixels are included, there is no continuity between the two monotone increasing / decreasing regions. For example, when the continuity detecting unit 204 includes pixels that are vertically adjacent to each other in a monotone increasing / decreasing area that is indicated by monotonous increasing / decreasing area information and is arranged in one row in the horizontal direction of the screen, It is assumed that there is continuity between the regions, and when there is no vertically adjacent pixel, there is no continuity between the two monotone increasing / decreasing regions.
[0366]
The continuity detecting unit 204 sets the detected continuous area as a steady area having data continuity, and outputs data continuity information indicating the position of the vertex and the steady area. The data continuity information includes information indicating the connection between the areas. The data continuity information output from the continuity detection unit 204 indicates a thin line region that is a steady region and includes pixels onto which a thin line image of the real world 1 is projected.
[0367]
In step S206, the continuity direction detection unit 205 determines whether the processing for all pixels has been completed. That is, the continuity direction detection unit 205 determines whether or not the continuity of the area has been detected for all pixels of a predetermined frame of the input image.
[0368]
If it is determined in step S206 that the processing of all the pixels has not been completed, that is, it is determined that there is still a pixel that has not been subjected to the processing for detecting the continuity of the region, the process returns to step S205 and the continuity of the region is determined. The pixel to be processed is selected from the pixels not to be subjected to the detection processing, and the processing for detecting the continuity of the area is repeated.
[0369]
If it is determined in step S206 that the processing of all pixels has been completed, that is, it is determined that the continuity of the area has been detected for all the pixels, the processing ends.
[0370]
Thus, the continuity contained in the data 3 as the input image is detected. That is, the continuity of the data included in the data 3 which is generated by projecting the image of the real world 1 as a thin line onto the data 3 is detected, and the image of the real world 1 as the thin line is projected from the data 3. An area having data continuity, which is composed of the pixels, is detected.
[0371]
The data continuity detecting unit 101 having the configuration shown in FIG. 41 can detect the continuity of the data in the time direction based on the region having the continuity of the data detected from the data 3 frame.
[0372]
For example, as illustrated in FIG. 57, the continuity detecting unit 204 determines the region having the continuity of the detected data in the frame #n, the region having the continuity of the detected data in the frame # n−1, Also, in frame # n + 1, the continuity of the data in the time direction is detected by connecting the ends of the regions based on the detected continuity region of the data.
[0373]
The frame # n-1 is a frame temporally before the frame #n, and the frame # n + 1 is a frame temporally after the frame #n. That is, frame # n-1, frame #n, and frame # n + 1 are displayed in the order of frame # n-1, frame #n, and frame # n + 1.
[0374]
More specifically, in FIG. 57, G is an area having continuity of detected data in frame #n, an area having continuity of detected data in frame # n-1, and frame # n-1. At n + 1, a motion vector obtained by connecting one end of each of the regions having the stationarity of the detected data is shown, and G ′ represents the other end of each of the regions having the stationarity of the detected data. This shows a motion vector obtained by linking. The motion vector G and the motion vector G 'are an example of the continuity of data in the time direction.
[0375]
Further, the data continuity detecting unit 101 having the configuration shown in FIG. 41 can output information indicating the length of the data continuity region as data continuity information.
[0376]
FIG. 58 is a block diagram showing a configuration of a non-stationary component extraction unit 201 that approximates a non-stationary component, which is a part of image data having no data continuity, with a plane and extracts the non-stationary component.
[0377]
The non-stationary component extraction unit 201 having the configuration illustrated in FIG. 58 extracts a block including a predetermined number of pixels from an input image, and performs block extraction so that an error between the block and a value indicated by a plane is smaller than a predetermined threshold. Is approximated by a plane to extract a non-stationary component.
[0378]
The input image is supplied to the block extracting unit 221 and output as it is.
[0379]
The block extracting unit 221 extracts a block including a predetermined number of pixels from the input image. For example, the block extracting unit 221 extracts a block including 7 × 7 pixels and supplies the block to the plane approximating unit 222. For example, the block extracting unit 221 moves the pixel serving as the center of the extracted block in the raster scan order, and sequentially extracts the block from the input image.
[0380]
The plane approximation unit 222 approximates the pixel values of the pixels included in the block with a predetermined plane. For example, the plane approximation unit 222 approximates the pixel values of the pixels included in the block on the plane represented by Expression (24).
[0381]
z = ax + by + c (24)
[0382]
In Expression (24), x indicates the position of the pixel on the screen in one direction (spatial direction X), and y indicates the position of the pixel on the screen in one other direction (spatial direction Y). z indicates an approximate value indicated by a plane. a shows the inclination of the plane in the spatial direction X, and b shows the inclination of the plane in the spatial direction Y. In Expression (24), c indicates a plane offset (intercept).
[0383]
For example, the plane approximating unit 222 approximates the pixel values of the pixels included in the block on the plane represented by Expression (24) by calculating the slope a, the slope b, and the offset c by the regression processing. The plane approximating unit 222 approximates the pixel values of the pixels included in the block on the plane represented by the equation (24) by calculating the slope a, the slope b, and the offset c by the regression processing involving rejection. .
[0384]
For example, the plane approximation unit 222 obtains a plane represented by Expression (24) that minimizes the error with respect to the pixel value of the pixel of the block by the least squares method, and thereby, Approximate pixel values.
[0385]
Although the plane approximating unit 222 has been described as approximating the block by the plane represented by the equation (24), the function is not limited to the plane represented by the equation (24) but has a higher degree of freedom, for example, The block may be approximated by a plane represented by an n-order polynomial.
[0386]
The repetition determination unit 223 calculates an error between an approximate value indicated by a plane approximating the pixel value of the block and the pixel value of the corresponding pixel of the block. Equation (25) is an equation indicating an error ei that is a difference between an approximate value indicated by a plane approximating the pixel value of the block and the pixel value zi of the corresponding pixel of the block.
[0387]
[Equation 19]

[0388]
In Expression (25), z hat (a character in which z is indicated by ＾ is referred to as z hat. Hereinafter, similarly described in this specification) is an approximation indicated by a plane approximating the pixel value of a block. A represents the inclination in the spatial direction X of the plane approximating the pixel value of the block, and b represents the inclination in the spatial direction Y of the plane approximating the pixel value of the block. In Equation (25), c hat indicates an offset (intercept) of a plane approximating the pixel value of the block.
[0389]
The repetition determination unit 223 rejects the pixel having the largest error ei between the approximate value and the pixel value of the corresponding pixel of the block, which is represented by Expression (25). In this way, the pixel on which the fine line is projected, that is, the pixel having the stationarity, is rejected. The repetition determination unit 223 supplies rejection information indicating the rejected pixel to the plane approximation unit 222.
[0390]
Further, the repetition determination unit 223 calculates a standard error, and when the standard error is equal to or larger than a predetermined threshold value for approximation end determination, and when half or more of the pixels of the block are not rejected, The determination unit 223 causes the plane approximation unit 222 to repeat the plane approximation process on the pixels included in the block, excluding the rejected pixels.
[0391]
Since the pixels having the stationarity are rejected, the plane approximates the non-stationary component by approximating the pixels excluding the rejected pixels with a plane.
[0392]
The repetition determination unit 223 ends the plane approximation when the standard error is less than the threshold value for determining the end of approximation, or when half or more of the pixels of the block are rejected.
[0393]
For a block of 5 × 5 pixels, the standard error e_sIs calculated by, for example, Expression (26).
[0394]
(Equation 20)

Here, n is the number of pixels.
[0395]
The repetition determination unit 223 may calculate the sum of the squares of the errors of all the pixels included in the block, and execute the following processing.
[0396]
Here, when a block shifted by one pixel in the raster scan direction is approximated by a plane, as shown in FIG. 59, a pixel having continuity, that is, a pixel including a thin line component, indicated by a black circle in the figure, is a plurality of times. Will be rejected.
[0397]
When the approximation by the plane is finished, the repetition determination unit 223 outputs information indicating the plane on which the pixel value of the block is approximated (the inclination and intercept of the plane in Expression (24)) as the non-stationary component information.
[0398]
Note that the repetition determination unit 223 compares the number of rejections for each pixel with a predetermined threshold, and determines that a pixel whose number of rejections is equal to or greater than the threshold is a pixel including a steady component, and includes a steady component. Information indicating a pixel may be output as steady component information. In this case, the vertex detection unit 202 to the continuity direction detection unit 205 execute the respective processes on the pixels including the stationary component indicated by the stationary component information.
[0399]
With reference to FIG. 60 to FIG. 67, an example of the result of the unsteady component extraction processing will be described.
[0400]
FIG. 60 is a diagram illustrating an example of an input image in which an average value of pixel values of 2 × 2 pixels of an original image is generated as a pixel value from an image including a thin line.
[0401]
FIG. 61 is a diagram showing an image in which a standard error obtained as a result of approximating the image shown in FIG. 60 by a plane without rejection is used as a pixel value. In the example shown in FIG. 61, a block composed of 5 × 5 pixels for one pixel of interest is approximated by a plane. In FIG. 61, a white pixel is a pixel having a larger pixel value, that is, a pixel having a larger standard error, and a black pixel is a pixel having a smaller pixel value, that is, a pixel having a smaller standard error.
[0402]
From FIG. 61, it can be confirmed that when a standard error obtained as a result of approximation on a plane without rejection is used as a pixel value, a large and large value is obtained around an unsteady part.
[0403]
In the examples shown in FIGS. 62 to 67, a block composed of 7 × 7 pixels for one pixel of interest is approximated by a plane. When a block composed of 7 × 7 pixels is approximated by a plane, one pixel is repeatedly included in 49 blocks. Therefore, pixels including a stationary component are rejected at most 49 times. .
[0404]
FIG. 62 is an image in which, when the image shown in FIG. 60 is rejected and approximated by a plane, the standard error obtained is a pixel value.
[0405]
In FIG. 62, a white pixel is a pixel having a larger pixel value, that is, a pixel having a larger standard error, and a black pixel is a pixel having a smaller pixel value, that is, a pixel having a smaller standard error. It can be seen that the standard error is smaller as a whole when rejected than when not rejected.
[0406]
FIG. 63 is a diagram showing an image in which, when the image shown in FIG. 60 is rejected and approximated by a plane, the number of rejections is set as a pixel value. In FIG. 63, a white pixel is a pixel having a larger pixel value, that is, a pixel having a larger number of rejections, and a black pixel is a pixel having a smaller pixel value, that is, a pixel having a smaller number of rejections.
[0407]
From FIG. 63, it can be seen that the pixels on which the fine line image is projected are rejected more. It is also possible to generate an image that masks a non-stationary part of the input image using an image in which the number of rejections is a pixel value.
[0408]
FIG. 64 is a diagram illustrating an image in which the inclination in the spatial direction X of the plane approximating the pixel value of the block is set as the pixel value. FIG. 65 is a diagram illustrating an image in which the inclination in the spatial direction Y of the plane approximating the pixel value of the block is set as the pixel value.
[0409]
FIG. 66 is a diagram illustrating an image including approximate values indicated by a plane approximating the pixel values of the block. It can be seen from the image shown in FIG. 66 that the thin line has disappeared.
[0410]
FIG. 67 shows an image shown in FIG. 60 in which an average value of a block of 2 × 2 pixels of the original image is generated as a pixel value of a pixel, and an image shown in FIG. FIG. 6 is a diagram showing an image composed of a difference from the above. Since the non-stationary component is removed from the pixel values of the image in FIG. 67, the pixel values include only the values on which the fine line images are projected. As can be seen from FIG. 67, it can be confirmed that in the image composed of the difference between the original pixel value and the approximate value indicated by the approximate plane, the steady component of the original image has been successfully extracted.
[0411]
The number of rejections, the inclination in the spatial direction X of the plane approximating the pixel value of the pixel of the block, the inclination in the spatial direction Y of the plane approximating the pixel value of the pixel of the block, and the plane approximating the pixel value of the pixel of the block The indicated approximate value and error ei can also be used as a feature amount of the input image.
[0412]
FIG. 68 is a flowchart corresponding to step S201 and illustrating a process of extracting a non-stationary component by the non-stationary component extracting unit 201 having the configuration shown in FIG.
[0413]
In step S221, the block extraction unit 221 extracts a block including a predetermined number of pixels from the input pixels, and supplies the extracted block to the plane approximation unit 222. For example, the block extracting unit 221 selects one pixel among the pixels that have not been selected from the input pixels, and extracts a block including 7 × 7 pixels centered on the selected pixel. For example, the block extracting unit 221 can select pixels in a raster scan order.
[0414]
In step S222, the plane approximating unit 222 approximates the extracted block with a plane. The plane approximation unit 222 approximates the pixel values of the pixels of the extracted block by a plane, for example, by regression processing. For example, the plane approximation unit 222 approximates the pixel values of the pixels of the extracted block, excluding the rejected pixels, by a plane using a regression process. In step S223, the repetition determination unit 223 performs a repetition determination. For example, the standard error is calculated from the pixel values of the pixels of the block and the approximate value of the approximate plane, and the number of rejected pixels is counted, thereby repeatedly executing the determination.
[0415]
In step S224, the repetition determination unit 223 determines whether or not the standard error is equal to or greater than a threshold. When it is determined that the standard error is equal to or greater than the threshold, the process proceeds to step S225.
[0416]
In step S224, the repetition determination unit 223 determines whether or not more than half of the pixels of the block have been rejected and whether or not the standard error is equal to or greater than a threshold. If it is determined that half or more of the pixels have not been rejected and the standard error is equal to or greater than the threshold, the process may proceed to step S225.
[0417]
In step S225, the repetition determination unit 223 calculates, for each pixel of the block, an error between the pixel value of the pixel and the approximate value of the approximate plane, rejects the pixel with the largest error, and notifies the plane approximation unit 222. . The procedure returns to step S222, and the process of approximation by a plane and the process of repetition determination are repeated for the pixels of the block excluding the rejected pixels.
[0418]
In step S225, when a block shifted by one pixel in the raster scan direction is extracted by the process of step S221, as shown in FIG. 59, pixels including a thin line component (shown by black circles in the figure) are removed a plurality of times. Will be rejected.
[0419]
If it is determined in step S224 that the standard error is not equal to or larger than the threshold, the block is approximated by a plane, and the process proceeds to step S226.
[0420]
In step S224, the repetition determination unit 223 determines whether or not more than half of the pixels of the block have been rejected and whether or not the standard error is equal to or greater than a threshold. If more than half of the pixels have been rejected or if it is determined that the standard error is not greater than or equal to the threshold, the process may proceed to step S225.
[0421]
In step S226, the repetition determination unit 223 outputs the slope and intercept of the plane approximating the pixel values of the pixels of the block as non-stationary component information.
[0422]
In step S227, the block extraction unit 221 determines whether or not processing has been completed for all pixels of one screen of the input image. If it is determined that there is a pixel that is not yet a processing target, step S221 is performed. Then, the block is extracted from the pixels that have not been processed yet, and the above-described processing is repeated.
[0423]
If it is determined in step S227 that the processing has been completed for all pixels of one screen of the input image, the processing ends.
[0424]
As described above, the non-stationary component extracting unit 201 having the configuration illustrated in FIG. 58 can extract the non-stationary component from the input image. Since the non-stationary component extraction unit 201 extracts the non-stationary component of the input image, the vertex detection unit 202 and the monotone increase / decrease detection unit 203 determine the difference between the input image and the non-stationary component extracted by the non-stationary component extraction unit 201. , The processing can be executed for the difference including the steady component.
[0425]
The standard error when rejected, the standard error when not rejected, the number of rejected pixels, the inclination of the plane in the spatial direction X (a hat in equation (24)), which are calculated in the approximation process using the plane, The inclination of the plane in the spatial direction Y (b hat in equation (24)), the level when replaced by the plane (c hat in equation (24)), and the difference between the pixel value of the input image and the approximate value indicated by the plane Can be used as a feature value.
[0426]
FIG. 69 is a flowchart illustrating a process of extracting a stationary component by the non-stationary component extraction unit 201 illustrated in FIG. 58 instead of the process of extracting the unsteady component corresponding to step S201. The processing in steps S241 to S245 is the same as the processing in steps S221 to S225, and a description thereof will be omitted.
[0427]
In step S246, the repetition determination unit 223 outputs the difference between the approximate value indicated by the plane and the pixel value of the input image as a steady component of the input image. That is, the repetition determination unit 223 outputs a difference between the approximate value based on the plane and the pixel value that is the true value.
[0428]
Note that the repetition determination unit 223 may output, as a steady component of the input image, a pixel value of a pixel whose difference between the approximate value indicated by the plane and the pixel value of the input image is equal to or greater than a predetermined threshold. .
[0429]
The process in step S247 is the same as the process in step S227, and a description thereof will not be repeated.
[0430]
Since the plane approximates the non-stationary component, the non-stationary component extraction unit 201 subtracts the approximate value indicated by the plane that approximates the pixel value from the pixel value of each pixel of the input image, thereby obtaining Unsteady components can be removed. In this case, the vertex detection unit 202 to the continuity detection unit 204 can process only the steady component of the input image, that is, the value obtained by projecting the thin line image, and the vertex detection unit 202 to the continuity detection unit The processing at 204 becomes easier.
[0431]
FIG. 70 is a flowchart for explaining another process of extracting a steady component by the unsteady component extracting unit 201 shown in FIG. 58 instead of the process of extracting the unsteady component corresponding to step S201. The processing of steps S261 to S265 is the same as the processing of steps S221 to S225, and a description thereof will be omitted.
[0432]
In step S266, the repetition determination unit 223 stores the number of rejections for each pixel, returns to step S262, and repeats the processing.
[0433]
If it is determined in step S264 that the standard error is not equal to or larger than the threshold, the block is approximated by a plane, and the process proceeds to step S267, and the repetition determination unit 223 ends the process for all pixels of one screen of the input image. If it is determined that there is a pixel that has not been processed yet, the process returns to step S261 to extract a block for the pixel that has not been processed yet and repeat the above-described processing. .
[0434]
If it is determined in step S267 that the process has been completed for all pixels of one screen of the input image, the process proceeds to step S268, and the repetition determination unit 223 selects one pixel from the pixels that have not been selected, For the selected pixel, it is determined whether the number of rejections is equal to or greater than a threshold. For example, in step S268, the repetition determination unit 223 determines whether the number of rejections for the selected pixel is equal to or greater than a threshold value stored in advance.
[0435]
If it is determined in step S268 that the number of rejections for the selected pixel is equal to or greater than the threshold value, the selected pixel includes a stationary component, and the process proceeds to step S269, where the repetition determination unit 223 The pixel value of the pixel (the pixel value in the input image) is output as a steady component of the input image, and the process proceeds to step S270.
[0436]
If it is determined in step S268 that the number of rejections for the selected pixel is not greater than or equal to the threshold, the selected pixel does not include a stationary component, and thus the process of step S269 is skipped, and the procedure proceeds to step S270. Proceed to. In other words, no pixel value is output for a pixel for which it is determined that the number of rejections is not greater than or equal to the threshold.
[0437]
Note that the repetition determination unit 223 may output a pixel value in which 0 is set for a pixel for which it is determined that the number of rejections is not greater than or equal to the threshold value.
[0438]
In step S270, the repetition determination unit 223 determines whether the process of determining whether the number of rejections is equal to or greater than the threshold has been completed for all pixels of one screen of the input image, and performs processing for all pixels. If not, the process returns to step S268 to select one pixel from the pixels not yet processed, and returns to step S268. repeat.
[0439]
If it is determined in step S270 that the processing has been completed for all the pixels of one screen of the input image, the processing ends.
[0440]
As described above, the non-stationary component extraction unit 201 can output the pixel value of the pixel including the stationary component among the pixels of the input image as the stationary component information. That is, the non-stationary component extraction unit 201 can output the pixel value of the pixel including the component of the thin line image among the pixels of the input image.
[0441]
FIG. 71 is a flowchart for explaining still another process of extracting a steady component by the unsteady component extracting unit 201 shown in FIG. 58 instead of the process of extracting the unsteady component corresponding to step S201. The processing in steps S281 to S288 is the same as the processing in steps S261 to S268, and a description thereof will be omitted.
[0442]
In step S289, the repetition determination unit 223 outputs a difference between the approximate value indicated by the plane and the pixel value of the selected pixel as a stationary component of the input image. That is, the repetition determination unit 223 outputs an image obtained by removing the non-stationary component from the input image as the stationarity information.
[0443]
The process in step S290 is the same as the process in step S270, and a description thereof will not be repeated.
[0444]
As described above, the non-stationary component extraction unit 201 can output an image obtained by removing the non-stationary component from the input image as the stationarity information.
[0445]
As described above, the real-world optical signal is projected, and a part of the continuity of the real-world optical signal is lost. The optical signal is estimated by detecting the stationarity of the data from the discontinuity that has been detected, and estimating the stationarity of the optical signal in the real world based on the stationarity of the detected data. When the image data is converted into the second image data, it is possible to obtain a more accurate and more accurate processing result with respect to a real world event.
[0446]
FIG. 72 is a block diagram showing another configuration of the data continuity detecting unit 101.
[0447]
The data continuity detecting unit 101 having the configuration shown in FIG. 72 detects a change in a pixel value with respect to the spatial direction of the input image, that is, an activity in the spatial direction of the input image, for the pixel of interest, which is the pixel of interest. In accordance with the performed activity, a plurality of pixel sets each including a predetermined number of pixels in one column in the vertical direction or one column in the horizontal direction are extracted and extracted at each angle with respect to the target pixel and the reference axis. The correlation of the set of pixels is detected, and the continuity angle of the data with respect to the reference axis in the input image is detected based on the correlation.
[0448]
The data continuity angle refers to an angle formed between the reference axis and a direction of a predetermined dimension, which data 3 has, in which certain characteristics repeatedly appear. The constant feature repeatedly appears when, for example, a value changes with respect to a change in position in the data 3, that is, when the cross-sectional shapes are the same.
[0449]
The reference axis may be, for example, an axis indicating the spatial direction X (horizontal direction of the screen) or an axis indicating the spatial direction Y (vertical direction of the screen).
[0450]
The input image is supplied to the activity detection unit 401 and the data selection unit 402.
[0451]
The activity detection unit 401 detects a change in the pixel value of the input image in the spatial direction, that is, the activity in the spatial direction, and supplies activity information indicating the detection result to the data selection unit 402 and the steady direction derivation unit 404.
[0452]
For example, the activity detection unit 401 detects a change in the pixel value in the horizontal direction of the screen and a change in the pixel value in the vertical direction of the screen, and detects the detected change in the pixel value in the horizontal direction and the detected change in the pixel value in the vertical direction. Is compared with the change in the pixel value in the vertical direction, the change in the pixel value in the horizontal direction is larger, or the change in the pixel value in the vertical direction is larger than the change in the pixel value in the horizontal direction. Detect if bigger.
[0453]
The activity detecting unit 401 indicates that the change in the pixel value in the horizontal direction is larger than the change in the pixel value in the vertical direction, which is the result of the detection, or indicates that the change in the pixel value in the horizontal direction is larger. The activity information indicating that the change in the pixel value in the vertical direction is large is supplied to the data selection unit 402 and the steady direction derivation unit 404.
[0454]
When the change in the pixel value in the horizontal direction is larger than the change in the pixel value in the vertical direction, for example, as shown in FIG. 73, one row of pixels in the vertical direction has an arc shape (kamaboko shape) or a claw shape. Is formed, and the arc shape or the claw shape is repeatedly formed in a direction closer to the vertical. That is, when the change in the pixel value in the horizontal direction is large compared to the change in the pixel value in the vertical direction, assuming that the reference axis is the axis indicating the spatial direction X, the steady state of the data in the input image with respect to the reference axis is assumed. The sex angle is any value between 45 degrees and 90 degrees.
[0455]
If the change in the pixel value in the vertical direction is larger than the change in the pixel value in the horizontal direction, for example, an arc shape or a nail shape is formed in one row of pixels in the horizontal direction, and the arc shape or the nail shape is in the horizontal direction. Are repeatedly formed in a direction closer to That is, when the change in the pixel value in the vertical direction is larger than the change in the pixel value in the horizontal direction, if the reference axis is the axis indicating the spatial direction X, the steady state of the data with respect to the reference axis in the input image is assumed. The sex angle is any value between 0 and 45 degrees.
[0456]
For example, the activity detection unit 401 extracts, from the input image, a block including nine 3 × 3 pixels centered on the pixel of interest illustrated in FIG. The activity detection unit 401 calculates the sum of the differences between the pixel values of vertically adjacent pixels and the sum of the differences of the pixel values of horizontally adjacent pixels. Sum h of the difference between pixel values of horizontally adjacent pixels_diffIs obtained by Expression (27).
[0457]
h_diff= Σ (P_{i + 1, j}-P_{i, j}) ・ ・ ・ (27)
[0458]
Similarly, the sum v of the pixel value differences of vertically adjacent pixels_diffIs obtained by Expression (28).
[0459]
v_diff= Σ (P_{i, j + 1}-P_{i, j}) (28)
[0460]
In Expressions (27) and (28), P indicates a pixel value, i indicates a horizontal position of the pixel, and j indicates a vertical position of the pixel.
[0461]
The activity detection unit 401 calculates the sum h of the calculated difference between the pixel values of the horizontally adjacent pixels._diffAnd the sum v of the difference between the pixel values of the vertically adjacent pixels_diffMay be compared to determine the range of the continuity angle of the data with respect to the reference axis in the input image. That is, in this case, the activity detection unit 401 determines whether the shape indicated by the change in the pixel value with respect to the position in the spatial direction is repeatedly formed in the horizontal direction or the vertical direction.
[0462]
For example, the change in the pixel value in the horizontal direction with respect to the arc formed on one row of pixels horizontally is larger than the change in the pixel value in the vertical direction, and the change in the arc value formed on one row of pixels horizontally is large. The change in the pixel value in the vertical direction is larger than the change in the pixel value in the horizontal direction, and the direction of the data continuity, that is, the predetermined characteristic of the input image which is the data 3 Can be said to be smaller than the change in the direction orthogonal to the data continuity. In other words, the difference in the direction orthogonal to the direction of data continuity (hereinafter also referred to as the non-stationary direction) is larger than the difference in the direction of data continuity.
[0463]
For example, as shown in FIG. 75, the activity detecting unit 401 determines the sum h of the calculated pixel value differences of the horizontally adjacent pixels._diffAnd the sum v of the difference between the pixel values of the vertically adjacent pixels_diffAnd the sum h of the difference between the pixel values of the horizontally adjacent pixels_diffIs large, it is determined that the continuity angle of the data with respect to the reference axis is any value between 45 degrees and 135 degrees, and the sum v of the pixel values of the vertically adjacent pixels is determined._diffIs large, it is determined that the continuity angle of the data with respect to the reference axis is any value from 0 to 45 degrees or any value from 135 to 180 degrees.
[0464]
For example, the activity detecting unit 401 supplies the activity information indicating the result of the determination to the data selecting unit 402 and the steady direction deriving unit 404.
[0465]
Note that the activity detection unit 401 can detect an activity by extracting a block of an arbitrary size such as a block of 5 × 5 25 pixels or a block of 7 × 7 49 pixels. .
[0466]
The data selection unit 402 sequentially selects a pixel of interest from the pixels of the input image, and, based on the activity information supplied from the activity detection unit 401, one column in the vertical direction for each angle with respect to the pixel of interest and the reference axis. Alternatively, a plurality of pixel sets each including a predetermined number of pixels in one row in the horizontal direction are extracted.
[0467]
For example, when the activity information indicates that the change in the pixel value in the horizontal direction is larger than the change in the pixel value in the vertical direction, the data continuity angle is any one of 45 degrees to 135 degrees. Value, the data selection unit 402 sets a set of pixels consisting of a predetermined number of pixels in one column in the vertical direction for each predetermined angle in a range of 45 degrees to 135 degrees with respect to the target pixel and the reference axis. Extract multiple items.
[0468]
When the activity information indicates that the change in the pixel value in the vertical direction is larger than the change in the pixel value in the horizontal direction, the data continuity angle is 0 to 45 degrees or 135 to 180 degrees. The data selection unit 402 selects one row in the horizontal direction for each predetermined angle in the range of 0 to 45 degrees or 135 to 180 degrees with respect to the target pixel and the reference axis. A plurality of sets of pixels consisting of a number of pixels are extracted.
[0469]
Further, for example, when the activity information indicates that the angle of the data continuity is any value of 45 degrees to 135 degrees, the data selection unit 402 sets the 45 degrees based on the target pixel and the reference axis. For each predetermined angle in the range of degrees to 135 degrees, a plurality of pixel sets each including a predetermined number of pixels in one column in the vertical direction are extracted.
[0470]
When the activity information indicates that the continuity angle of the data is any value of 0 to 45 degrees or 135 to 180 degrees, the data selection unit 402 sets the reference pixel and the reference axis as the reference. For each predetermined angle in the range of 0 ° to 45 ° or 135 ° to 180 °, a plurality of pixel sets consisting of a predetermined number of pixels in one row in the horizontal direction are extracted.
[0471]
The data selection unit 402 supplies a plurality of sets of the extracted pixels to the error estimation unit 403.
[0472]
The error estimating unit 403 detects a correlation between a set of pixels for each of a plurality of sets of extracted pixels.
[0473]
For example, the error estimating unit 403 calculates the correlation between the pixel values of the pixels at the corresponding positions in the set of pixels for a plurality of sets of pixels each including a predetermined number of pixels in one column in the vertical direction corresponding to one angle. To detect. The error estimating unit 403 detects the correlation between the pixel values of the pixels at the corresponding positions in the set, for a plurality of sets of pixels consisting of a predetermined number of pixels in one row in the horizontal direction corresponding to one angle.
[0474]
The error estimating unit 403 supplies correlation information indicating the detected correlation to the stationary direction deriving unit 404. The error estimating unit 403 calculates, as a value indicating the correlation, the absolute value of the difference between the pixel value of the pixel of the set including the target pixel and the pixel value of the pixel at the corresponding position in the other set, supplied from the data selecting unit 402 , And supplies the sum of the absolute values of the differences to the stationary direction deriving unit 404 as correlation information.
[0475]
Based on the correlation information supplied from the error estimating unit 403, the stationary direction deriving unit 404 determines the continuity of data based on the reference axis in the input image corresponding to the continuity of the missing optical signal of the real world 1. And outputs data continuity information indicating the angle. For example, based on the correlation information supplied from the error estimating unit 403, the stationary direction deriving unit 404 detects an angle with respect to a set of pixels having the strongest correlation as an angle of data continuity, and Data continuity information indicating an angle with respect to a strong pixel set is output.
[0476]
In the following description, it is assumed that the angle of data continuity in the range of 0 to 90 degrees (the so-called first quadrant) is appropriately detected.
[0477]
FIG. 76 is a block diagram showing a more detailed configuration of data continuity detecting section 101 shown in FIG.
[0478]
The data selection unit 402 includes pixel selection units 411-1 to 411-L. Error estimation section 403 includes estimation error calculation sections 412-1 to 412-L. The stationary direction deriving unit 404 includes a minimum error angle selecting unit 413.
[0479]
First, the processing of the pixel selection units 411-1 to 411-L when the data continuity angle indicated by the activity information is any value of 45 degrees to 135 degrees will be described.
[0480]
The pixel selection units 411-1 to 411-L set straight lines having different predetermined angles that pass through the pixel of interest, with the axis indicating the spatial direction X as a reference axis. The pixel selection units 411-1 to 411-L are pixels belonging to one vertical pixel column to which the target pixel belongs, and a predetermined number of pixels above the target pixel and a pixel below the target pixel. A predetermined number of pixels on the side and the pixel of interest are selected as a set of pixels.
[0481]
For example, as illustrated in FIG. 77, the pixel selection units 411-1 to 411-L may include nine pixels centered on the pixel of interest from pixels belonging to one vertical pixel column to which the pixel of interest belongs. Is selected as a set of pixels.
[0482]
In FIG. 77, one square (one square) in a grid shape indicates one pixel. In FIG. 77, a circle shown at the center indicates a target pixel.
[0483]
The pixel selection units 411-1 to 411-L are pixels belonging to one vertical pixel column to which the pixel of interest belongs and one vertical pixel column to the left, and are respectively set. The pixel closest to the straight line is selected. In FIG. 77, the lower left circle of the target pixel indicates an example of the selected pixel. The pixel selection units 411-1 to 411-L are pixels belonging to one vertical pixel column to the left and one vertical pixel column to which the target pixel belongs. A predetermined number of pixels above the selected pixel, a predetermined number of pixels below the selected pixel, and the selected pixel are selected as a set of pixels.
[0484]
For example, as shown in FIG. 77, the pixel selection units 411-1 to 411-L are arranged in one vertical column of pixels to which the pixel of interest belongs and one vertical column of pixels on the left side. Nine pixels are selected as a set of pixels from the belonging pixels, centering on the pixel closest to the straight line.
[0485]
The pixel selection units 411-1 to 411-L are pixels belonging to the second vertically one pixel column to the left of the vertically one pixel column to which the pixel of interest belongs, respectively. The pixel at the position closest to the straight line set in is selected. In FIG. 77, the leftmost circle shows an example of the selected pixel. The pixel selection units 411-1 to 411-L are pixels belonging to the second vertically one pixel column to the left of the vertically one pixel column to which the pixel of interest belongs. , A predetermined number of pixels above the selected pixel, a predetermined number of pixels below the selected pixel, and the selected pixel are selected as a set of pixels.
[0486]
For example, as illustrated in FIG. 77, the pixel selection units 411-1 to 411-L include a second vertically one pixel on the left side of a vertically one pixel column to which the pixel of interest belongs. , Nine pixels are selected as a set of pixels centering on the pixel closest to the straight line.
[0487]
The pixel selection units 411-1 to 411-L are pixels belonging to one vertical pixel column to which the pixel of interest belongs, and one vertical pixel column to the right. The pixel closest to the straight line is selected. In FIG. 77, a circle on the upper right side of the pixel of interest indicates an example of the selected pixel. The pixel selection units 411-1 to 411-L are pixels belonging to one vertical column of pixels to which the target pixel belongs and one vertical column of pixels to the right. A predetermined number of pixels above the selected pixel, a predetermined number of pixels below the selected pixel, and the selected pixel are selected as a set of pixels.
[0488]
For example, as shown in FIG. 77, the pixel selection units 411-1 to 411-L are configured to display one vertical pixel column to which the pixel of interest belongs and one vertical pixel column to the right. Nine pixels are selected as a set of pixels from the belonging pixels, centering on the pixel closest to the straight line.
[0489]
The pixel selection units 411-1 to 411-L are pixels belonging to a second vertically one pixel column to the right of a vertically one pixel column to which the pixel of interest belongs, respectively. The pixel closest to the straight line set in is selected. In FIG. 77, the rightmost circle shows an example of the pixel thus selected. The pixel selection units 411-1 to 411-L are pixels belonging to the second vertically one pixel column on the right side of the vertically one pixel column to which the pixel of interest belongs. , A predetermined number of pixels above the selected pixel, a predetermined number of pixels below the selected pixel, and the selected pixel as a set of pixels.
[0490]
For example, as illustrated in FIG. 77, the pixel selection units 411-1 to 411-L are configured to include a second vertical pixel on the right side of a vertical one pixel column to which the pixel of interest belongs. , Nine pixels are selected as a set of pixels centering on the pixel closest to the straight line.
[0490]
Thus, each of the pixel selection units 411-1 to 411-L selects five sets of pixels.
[0492]
The pixel selection units 411-1 to 411-L select a set of pixels at different angles (straight lines set to). For example, the pixel selection unit 411-1 selects a set of pixels for 45 degrees, the pixel selection unit 411-2 selects a set of pixels for 47.5 degrees, and the pixel selection unit 411-3. Selects a set of pixels for 50 degrees. The pixel selection units 411-1 to 411-L select a set of pixels at an angle of 2.5 degrees from 52.5 degrees to 135 degrees.
[0493]
Note that the number of pixel sets can be an arbitrary number, such as three or seven, and does not limit the present invention. Further, the number of pixels selected as one set can be an arbitrary number such as five or thirteen, and does not limit the present invention.
[0494]
Note that the pixel selection units 411-1 to 411-L can select a set of pixels from a predetermined range of pixels in the vertical direction. For example, the pixel selection units 411-1 to 411-L select a set of pixels from 121 pixels in the vertical direction (60 pixels upward and 60 pixels downward with respect to the pixel of interest). I do. In this case, the data continuity detecting unit 101 can detect an angle of data continuity up to 88.09 degrees with respect to the axis indicating the spatial direction X.
[0495]
The pixel selection unit 411-1 supplies the selected pixel pair to the estimation error calculation unit 412-1, and the pixel selection unit 411-2 supplies the selected pixel pair to the estimation error calculation unit 412-2. Similarly, each of the pixel selection units 411-3 to 411-L supplies the selected pixel set to each of the estimation error calculation units 412-3 to 412-L.
[0496]
The estimation error calculation unit 412-1 to the estimation error calculation unit 412-L calculates a pixel value of a pixel at a corresponding position in a plurality of sets supplied from any of the pixel selection units 411-1 to 411-L. Detect the correlation of For example, the estimation error calculation units 412-1 to 412-L include the target pixel supplied from any of the pixel selection units 411-1 to 411-L as a value indicating the correlation. The sum of the absolute value of the difference between the pixel value of the pixel of the set and the pixel value of the pixel at the corresponding position in another set is calculated.
[0497]
More specifically, the estimation error calculator 412-1 to the estimation error calculator 412-L include a set including a target pixel supplied from any of the pixel selection units 411-1 to 411-L. Based on the pixel value of the pixel and the pixel value of a set of pixels belonging to one vertical column on the left side of the pixel of interest, calculate the difference between the pixel values of the uppermost pixel, As in the case of calculating the pixel value difference of the second pixel, the absolute value of the pixel value difference is calculated in order from the upper pixel, and further, the sum of the calculated absolute values of the differences is calculated. The estimation error calculation unit 412-1 to the estimation error calculation unit 412-L include a pixel value of a set of pixels including the pixel of interest supplied from any of the pixel selection units 411-1 to 411-L, Calculating the absolute value of the difference between the pixel values in order from the pixel above, based on the pixel values of a set of pixels belonging to the second vertical column of pixels to the left of the pixel of interest; The sum of the absolute values of the obtained differences is calculated.
[0498]
Then, the estimation error calculation units 412-1 to 412-L calculate the pixel values of the set of pixels including the target pixel supplied from any of the pixel selection units 411-1 to 411-L. And the pixel value of the pixel of the uppermost pixel is calculated based on the pixel value of a set of pixels belonging to one vertical column of pixels to the right of the target pixel, and the second pixel from the top is calculated. , The absolute value of the pixel value difference is calculated in order from the upper pixel, and the sum of the calculated absolute values of the differences is calculated. The estimation error calculation unit 412-1 to the estimation error calculation unit 412-L include a pixel value of a set of pixels including the pixel of interest supplied from any of the pixel selection units 411-1 to 411-L, The absolute value of the difference between the pixel values is calculated in order from the upper pixel based on the pixel value of a set of pixels belonging to the second vertical column of pixels to the right of the target pixel, and calculated. The sum of the absolute values of the obtained differences is calculated.
[0499]
The estimation error calculation units 412-1 to 412-L add up all the sums of the absolute values of the pixel value differences calculated in this way, and calculate the sum of the absolute values of the pixel value differences. .
[0500]
The estimation error calculation units 412-1 to 412-L supply information indicating the detected correlation to the minimum error angle selection unit 413. For example, the estimation error calculation units 412-1 to 412-L supply the sum of the absolute values of the calculated pixel value differences to the minimum error angle selection unit 413.
[0501]
Note that the estimation error calculation units 412-1 to 412-L are not limited to the sum of the absolute values of the pixel value differences, but may be the sum of the squares of the pixel value differences or a phase relationship based on the pixel values. Another value such as a number can be calculated as the correlation value.
[0502]
The minimum error angle selection unit 413 generates a missing image of the optical signal of the real world 1 based on the correlation detected by the estimation error calculation units 412-1 to 412-L for different angles. An angle of continuity of data corresponding to the continuity in the input image with respect to the reference axis is detected. That is, the minimum error angle selection unit 413 selects and selects the strongest correlation based on the correlations detected by the estimation error calculation units 412-1 to 412-L for different angles from each other. By setting the angle at which the correlation is detected as the continuity angle of the data with respect to the reference axis, the continuity angle of the data with respect to the reference axis in the input image is detected.
[0503]
For example, the minimum error angle selection unit 413 selects the minimum total sum of the absolute values of the pixel value differences supplied from the estimation error calculation units 412-1 to 412-L. The minimum error angle selection unit 413 determines, for the selected set of pixels for which the sum has been calculated, the pixels belonging to the second column of pixels vertically to the left, and With respect to the position of the closest pixel and the position of the pixel closest to the straight line that belongs to the second vertical column of pixels to the right with respect to the pixel of interest.
[0504]
As shown in FIG. 77, the minimum error angle selection unit 413 calculates the vertical distance S between the position of the reference pixel and the position of the target pixel. As shown in FIG. 78, the minimum error angle selection unit 413 determines, from Expression (29), the spatial direction as the reference axis in the input image as the image data corresponding to the continuity of the missing optical signal of the real world 1. An angle θ of continuity of the data with respect to the axis indicating X is detected.
[0505]
θ = tan^-1(S / 2) (29)
[0506]
Next, the pixel selection units 411-1 to 411-L when the data continuity angle indicated by the activity information is any one of 0 to 45 degrees and 135 to 180 degrees. The processing will be described.
[0507]
The pixel selection units 411-1 to 411-L set a straight line having a predetermined angle passing through the pixel of interest, using the axis indicating the spatial direction X as a reference axis, and forming one horizontal row of pixels to which the pixel of interest belongs. , A predetermined number of pixels above the target pixel, a predetermined number of pixels below the target pixel, and the target pixel are selected as a set of pixels.
[0508]
The pixel selection units 411-1 to 411-L are pixels belonging to one horizontal row of pixels to which the target pixel belongs and one horizontal row of pixels to the upper side. The pixel closest to the straight line is selected. The pixel selection units 411-1 to 411-L are pixels belonging to one horizontal row of pixels to which the pixel of interest belongs and one vertical row of pixels. A predetermined number of pixels on the left side of the selected pixel, a predetermined number of pixels on the right side of the selected pixel, and the selected pixel are selected as a set of pixels.
[0509]
The pixel selection units 411-1 to 411-L are pixels belonging to the second horizontal row of pixels to which the target pixel belongs and the second horizontal row of pixels to which the pixel of interest belongs. The pixel closest to the straight line set in is selected. The pixel selection units 411-1 to 411-L are pixels that belong to the second horizontal pixel column of the first horizontal pixel column to which the target pixel belongs. , A predetermined number of pixels to the left of the selected pixel, a predetermined number of pixels to the right of the selected pixel, and the selected pixel are selected as a set of pixels.
[0510]
The pixel selection units 411-1 to 411-L are pixels belonging to one horizontal row of pixels to which the target pixel belongs and one horizontal row of pixels to the lower side. The pixel closest to the straight line is selected. The pixel selection units 411-1 to 411-L are pixels belonging to one horizontal row of pixels to which the target pixel belongs and one horizontal row of pixels to the lower side. A predetermined number of pixels on the left side of the selected pixel, a predetermined number of pixels on the right side of the selected pixel, and the selected pixel are selected as a set of pixels.
[0511]
The pixel selection units 411-1 to 411-L are pixels belonging to the second horizontal row of pixels to which the pixel of interest belongs, and the second horizontal row of pixels to the lower side. The pixel closest to the set straight line is selected. The pixel selection units 411-1 to 411-L are pixels belonging to a second row of pixels of the first row of pixels to which the pixel of interest belongs, and a second row of pixels below. Then, a predetermined number of pixels on the left side of the selected pixel, a predetermined number of pixels on the right side of the selected pixel, and the selected pixel are selected as a set of pixels.
[0512]
Thus, each of the pixel selection units 411-1 to 411-L selects five sets of pixels.
[0513]
The pixel selection units 411-1 to 411-L select a set of pixels at different angles. For example, the pixel selection unit 411-1 selects a pixel set for 0 degrees, the pixel selection unit 411-2 selects a pixel set for 2.5 degrees, and the pixel selection unit 411-3. Selects a set of pixels for 5 degrees. The pixel selection units 411-1 to 411-L select a set of pixels at angles of 2.5 degrees from 7.5 degrees to 45 degrees and from 135 degrees to 180 degrees.
[0514]
The pixel selection unit 411-1 supplies the selected pixel pair to the estimation error calculation unit 412-1, and the pixel selection unit 411-2 supplies the selected pixel pair to the estimation error calculation unit 412-2. Similarly, each of the pixel selection units 411-3 to 411-L supplies the selected pixel set to each of the estimation error calculation units 412-3 to 412-L.
[0515]
The estimation error calculation unit 412-1 to the estimation error calculation unit 412-L calculates a pixel value of a pixel at a corresponding position in a plurality of sets supplied from any of the pixel selection units 411-1 to 411-L. Detect the correlation of The estimation error calculation units 412-1 to 412-L supply information indicating the detected correlation to the minimum error angle selection unit 413.
[0516]
The minimum error angle selection unit 413, based on the correlation detected by the estimation error calculation units 412-1 to 412-L, corresponds to the stationarity of the image that is the optical signal of the real world 1 that has been lost. An angle of data continuity in the input image with respect to the reference axis is detected.
[0517]
Next, processing for detecting data continuity by the data continuity detecting unit 101 shown in FIG. 72 and corresponding to the processing in step S101 will be described with reference to the flowchart in FIG.
[0518]
In step S401, the activity detection unit 401 and the data selection unit 402 select a pixel of interest, which is a pixel of interest, from the input image. The activity detection unit 401 and the data selection unit 402 select the same target pixel. For example, the activity detection unit 401 and the data selection unit 402 select a pixel of interest from the input image in raster scan order.
[0519]
In step S402, the activity detection unit 401 detects an activity for the pixel of interest. For example, the activity detection unit 401 determines an activity based on a difference between pixel values of pixels arranged in a vertical direction and a difference between pixel values of pixels arranged in a horizontal direction in a block including a predetermined number of pixels centered on a target pixel. To detect.
[0520]
The activity detection unit 401 detects the activity in the spatial direction with respect to the pixel of interest, and supplies activity information indicating the detection result to the data selection unit 402 and the steady direction derivation unit 404.
[0521]
In step S403, the data selection unit 402 selects a predetermined number of pixels centered on the pixel of interest as a pixel set from a column of pixels including the pixel of interest. For example, the data selection unit 402 is a pixel belonging to one vertical or horizontal pixel column to which the target pixel belongs, and a predetermined number of pixels above or to the left of the target pixel, and below or to the right of the target pixel. Are selected as a set of pixels.
[0522]
In step S404, the data selection unit 402 replaces a predetermined number of pixels with a predetermined number of pixels from a predetermined number of pixel columns for each predetermined range of angles based on the activity detected in the process of step S402. Is selected as a set. For example, the data selection unit 402 sets a straight line that has an angle in a predetermined range and passes through the pixel of interest with the axis indicating the spatial direction X as a reference axis, and sets a straight line in the horizontal or vertical direction with respect to the pixel of interest. A pixel that is a row or two columns apart and that is closest to the straight line is selected, a predetermined number of pixels above or to the left of the selected pixel, and a predetermined number of pixels below or to the right of the selected pixel. The pixels, as well as the selected pixels closest to the line, are selected as a set of pixels. The data selection unit 402 selects a set of pixels for each angle.
[0523]
The data selection unit 402 supplies the selected pixel set to the error estimation unit 403.
[0524]
In step S405, the error estimating unit 403 calculates a correlation between a set of pixels centered on the target pixel and a set of pixels selected for each angle. For example, the error estimating unit 403 calculates, for each angle, the sum of the absolute value of the difference between the pixel value of the pixel of the group including the target pixel and the pixel value of the pixel at the corresponding position in the other group.
[0525]
The continuity angle of the data may be detected based on the mutual correlation of the set of pixels selected for each angle.
[0526]
The error estimating unit 403 supplies information indicating the calculated correlation to the stationary direction deriving unit 404.
[0527]
In step S406, the stationary direction deriving unit 404, based on the correlation calculated in the process of step S405, corresponds to the continuity of the optical signal of the real world 1 that is missing from the position of the pixel set having the strongest correlation. An angle of continuity of data with respect to a reference axis in an input image which is image data is detected. For example, the stationary direction deriving unit 404 selects the smallest sum among the sums of the absolute values of the pixel value differences, and calculates the data continuity angle θ from the position of the set of pixels for which the selected sum was calculated. Is detected.
[0528]
The stationary direction deriving unit 404 outputs data continuity information indicating an angle of continuity of the detected data.
[0529]
In step S407, the data selection unit 402 determines whether or not processing of all pixels has been completed. If it is determined that processing of all pixels has not been completed, the process returns to step S401, and the data selection unit 402 still determines that the pixel of interest has been processed. The target pixel is selected from the unselected pixels, and the above-described processing is repeated.
[0530]
If it is determined in step S407 that the processing for all pixels has been completed, the processing ends.
[0531]
As described above, the data continuity detection unit 101 can detect the continuity angle of the data with respect to the reference axis in the image data corresponding to the continuity of the missing optical signal of the real world 1.
[0532]
Note that the data detection unit 101 having the configuration illustrated in FIG. 72 detects the activity in the spatial direction of the input image with respect to the pixel of interest, which is the pixel of interest, of the frame of interest, which is the frame of interest. Depending on the activity, the pixel of interest and the angle with respect to the reference axis in the spatial direction, and for each motion vector, one column or one column in the vertical direction from the frame of interest and the frame temporally before or after the frame of interest. A plurality of pixel sets each consisting of a predetermined number of pixels in a row are extracted in the horizontal direction, a correlation between the extracted pixel sets is detected, and data in a time direction and a spatial direction in an input image are detected based on the correlation. May be detected.
[0533]
For example, as illustrated in FIG. 80, the data selection unit 402 may determine a frame #n that is a frame of interest for each pixel of interest and an angle with respect to a reference axis in the spatial direction and a motion vector in accordance with the detected activity. , Frame # n−1, and frame # n + 1, a plurality of pixel sets each including a predetermined number of pixels in one column in the vertical direction or one column in the horizontal direction are extracted.
[0534]
The frame # n-1 is a frame temporally before the frame #n, and the frame # n + 1 is a frame temporally after the frame #n. That is, frame # n-1, frame #n, and frame # n + 1 are displayed in the order of frame # n-1, frame #n, and frame # n + 1.
[0535]
The error estimating unit 403 detects the correlation of the set of pixels for each of one angle and one motion vector for a plurality of sets of extracted pixels. The stationary direction deriving unit 404 detects the continuity angle of the data in the time direction and the spatial direction in the input image corresponding to the continuity of the missing optical signal of the real world 1 based on the correlation of the set of pixels. , And outputs data continuity information indicating the angle.
[0536]
FIG. 81 is a block diagram showing another more detailed configuration of data continuity detecting section 101 shown in FIG. Parts similar to those shown in FIG. 76 are denoted by the same reference numerals, and description thereof will be omitted.
[0537]
The data selection unit 402 includes pixel selection units 421-1 to 421-L. Error estimation section 403 includes estimation error calculation sections 422-1 to 422-L.
[0538]
In the data continuity detecting unit 101 shown in FIG. 81, a set of pixels, which is composed of a number of pixels with respect to an angle range, is extracted, and a correlation between the extracted pixel sets is extracted. Is detected, and the continuity angle of the data with respect to the reference axis in the input image is detected based on the detected correlation.
[0539]
First, the processing of the pixel selection units 421-1 to 421-L when the data continuity angle indicated by the activity information is any value of 45 degrees to 135 degrees will be described.
[0540]
As shown on the left side of FIG. 82, in the data continuity detection unit 101 shown in FIG. 76, a set of pixels including a fixed number of pixels is extracted regardless of the angle of the set straight line. In the data continuity detecting unit 101 shown in FIG. 81, as shown on the right side of FIG. 82, a set of pixels including a number of pixels corresponding to the range of the angle of the set straight line is extracted. In the data continuity detecting unit 101 shown in FIG. 81, a set of pixels is extracted by the number corresponding to the set range of the angle of the straight line.
[0541]
The pixel selection units 421-1 to 421-L set straight lines having predetermined angles different from each other and passing through the pixel of interest, with the axis indicating the spatial direction X as a reference axis in the range of 45 to 135 degrees. I do.
[0542]
The pixel selection units 421-1 to 421-L are pixels belonging to one vertical column of pixels to which the pixel of interest belongs, and have a number corresponding to the range of the angle of the straight line set for each of the pixels. The pixel above the pixel of interest, the pixel below the pixel of interest, and the pixel of interest are selected as a set of pixels.
[0543]
The pixel selection units 421-1 to 421-L are located at a predetermined distance in the horizontal direction with respect to the pixel, with respect to the one vertical column of the pixel to which the pixel of interest belongs. A pixel belonging to one pixel column, the pixel closest to the set straight line is selected, and the selected pixel is vertically shifted from one row of pixels to the selected straight line. The number of pixels above the selected pixel, the number of pixels below the selected pixel, and the number of selected pixels corresponding to the angle range are selected as a set of pixels.
[0544]
That is, the pixel selection units 421-1 to 421-L select a number of pixels according to the set range of the angle of the straight line as a set of pixels. The pixel selection units 421-1 to 421-L select a number of pixel sets according to the set angle range of the straight line.
[0545]
For example, when an image of a thin line located at an angle of approximately 45 degrees with respect to the spatial direction X and having the same width as the width of the detection region of the detection element is captured by the sensor 2, the image of the thin line is shifted in the spatial direction Y. Data 3 is projected so that an arc shape is formed in three pixels arranged in one line. On the other hand, when the image of the thin line, which is located substantially perpendicular to the spatial direction X and has the same width as the width of the detection region of the detection element, is captured by the sensor 2, the image of the thin line is The data 3 is projected so that an arc shape is formed in a large number of pixels arranged in one line.
[0546]
Assuming that the same number of pixels are included in the set of pixels, if the thin line is located at an angle of approximately 45 degrees with respect to the spatial direction X, the number of pixels on which the image of the thin line is projected is reduced in the set of pixels. , The resolution is reduced. Conversely, when the thin line is located almost perpendicular to the spatial direction X, processing is performed on some of the pixels on which the image of the thin line is projected in the set of pixels, May decrease.
[0547]
Therefore, the pixel selection units 421-1 to 421-L determine that the straight line to be set is closer to the spatial direction X by an angle of 45 degrees so that the pixels on which the thin line images are projected are substantially equal. If the number of pixels included in each set of pixels is reduced and the number of sets of pixels is increased, and the straight line to be set is closer to being perpendicular to the spatial direction X, the number of pixels included in each set of pixels is reduced. Pixels and pixel sets are selected such that the number is increased and the number of pixel sets is reduced.
[0548]
For example, as illustrated in FIG. 83 and FIG. 84, the pixel selection units 421-1 to 421-L determine that the angle of the set straight line is in a range of 45 degrees or more and less than 63.4 degrees (see FIG. In FIG. 84, when the pixel is in the range indicated by A), five pixels centered on the pixel of interest are selected as a set of pixels from one vertical column of pixels, and On the other hand, five pixels are selected as a set of pixels from pixels belonging to one vertical pixel column on the left and right sides within a distance of five pixels in the horizontal direction.
[0549]
That is, the pixel selection units 421-1 to 421-L each include five pixels from the input image when the angle of the set straight line is in the range of 45 degrees or more and less than 63.4 degrees. A set of 11 pixels is selected. In this case, the pixel selected as the pixel closest to the set straight line is located at a position vertically away from the target pixel by 5 to 9 pixels.
[0550]
In FIG. 84, the number of columns indicates the number of columns of pixels to which a pixel is selected as a pixel set on the left or right side of the target pixel. In FIG. 84, the number of pixels in one column indicates the number of pixels that are selected as a set of pixels from a column of one pixel vertically or a column on the left or right side of the pixel of interest with respect to the pixel of interest. . In FIG. 84, the pixel selection range indicates the vertical position of the selected pixel as the pixel closest to the set straight line with respect to the target pixel.
[0551]
As shown in FIG. 85, for example, when the angle of the set straight line is 45 degrees, the pixel selection unit 421-1 shifts the pixel of interest from the column of one pixel vertically to the pixel of interest. Are selected as a set of pixels, and a pixel belonging to one vertical column of pixels on the left and right sides within a distance of 5 pixels in the horizontal direction with respect to the pixel of interest, In each case, five pixels are selected as a set of pixels. That is, the pixel selection unit 421-1 selects a set of 11 pixels, each including 5 pixels, from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located five pixels away from the target pixel in the vertical direction. .
[0552]
Note that in FIGS. 85 to 92, a square represented by a dotted line (one square separated by a dotted line) represents one pixel, and a square represented by a solid line represents a set of pixels. In FIGS. 85 to 92, the coordinates of the pixel of interest in the spatial direction X are set to 0, and the coordinates of the pixel of interest in the spatial direction Y are set to 0.
[0553]
In FIGS. 85 to 92, the hatched squares indicate the target pixel or the pixel closest to the set straight line. In FIG. 85 to FIG. 92, squares represented by thick lines indicate a set of pixels selected with the target pixel as the center.
[0554]
As shown in FIG. 86, for example, when the angle of the set straight line is 60.9 degrees, the pixel selection unit 421-2 shifts the pixel of interest from one vertical column of pixels to the target pixel. Five pixels centered on the target pixel are selected as a set of pixels, and pixels belonging to one vertical column of pixels on the left and right sides within a distance of 5 pixels or less from the target pixel in the horizontal direction. , Each of the five pixels is selected as a set of pixels. That is, the pixel selection unit 421-2 selects a set of 11 pixels each including 5 pixels from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located nine pixels away from the target pixel in the vertical direction. .
[0555]
For example, as shown in FIGS. 83 and 84, the pixel selection units 421-1 to 421-L determine that the angle of the set straight line is in a range of 63.4 degrees or more and less than 71.6 degrees (see FIG. 83 and in FIG. 84), seven pixels centered on the pixel of interest are selected as a set of pixels from a single vertical column of pixels with respect to the pixel of interest. Seven pixels are selected as a set of pixels from pixels belonging to one vertical pixel column on the left and right sides within a distance of four pixels in the horizontal direction.
[0556]
That is, when the angle of the set straight line is in the range of not less than 63.4 degrees and less than 71.6 degrees, the pixel selection units 421-1 to 421-L each determine seven pixels from the input image. , A set of nine pixels is selected. In this case, the vertical position of the pixel closest to the set straight line is 8 to 11 pixels with respect to the target pixel.
[0557]
As shown in FIG. 87, for example, when the angle of the set straight line is 63.4 degrees, the pixel selection unit 421-3 shifts the pixel of interest from one pixel column vertically to the pixel of interest. Seven pixels centered on the target pixel are selected as a set of pixels, and pixels belonging to one vertical pixel row on the left and right sides within a distance of four pixels or less from the target pixel in the horizontal direction. , Each of the seven pixels is selected as a set of pixels. That is, the pixel selection unit 421-3 selects a set of nine pixels, each including seven pixels, from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located eight pixels away from the target pixel in the vertical direction. .
[0558]
Further, as shown in FIG. 88, for example, when the angle of the set straight line is 70.0 degrees, the pixel selection unit 421-4 determines that the pixel of interest From the above, seven pixels centering on the target pixel are selected as a set of pixels, and one vertical pixel column on the left and right sides within a distance of 4 pixels or less with respect to the target pixel. Each of the seven pixels is selected as a set of pixels from the belonging pixels. That is, the pixel selection unit 421-4 selects a set of nine pixels, each including seven pixels, from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the pixel of interest is 11 pixels away from the pixel of interest in the vertical direction. .
[0559]
For example, as shown in FIG. 83 and FIG. 84, the pixel selection units 421-1 to 421-L determine that the angle of the set straight line is in a range from 71.6 degrees to less than 76.0 degrees (see FIG. 83 and in FIG. 84), nine pixels centered on the target pixel are selected as a set of pixels from one vertical column of pixels with respect to the target pixel. Nine pixels are selected as a set of pixels from pixels belonging to one vertical pixel column on the left and right sides within a distance of three pixels in the horizontal direction with respect to the pixels.
[0560]
That is, when the angle of the set straight line is in the range of not less than 71.6 degrees and less than 76.0 degrees, the pixel selection units 421-1 to 421-L determine whether the input image has nine pixels from the input image. , A set of seven pixels is selected. In this case, the vertical position of the pixel closest to the set straight line is 9 to 11 pixels with respect to the target pixel.
[0561]
As illustrated in FIG. 89, for example, when the angle of the set straight line is 71.6 degrees, the pixel selection unit 421-5 shifts the pixel of interest from the column of one vertical pixel to the pixel of interest. Nine pixels centering on the target pixel are selected as a set of pixels, and pixels belonging to one vertical pixel column on the left and right sides within a distance of three pixels in the horizontal direction with respect to the target pixel , Each of which selects nine pixels as a set of pixels. That is, the pixel selection unit 421-5 selects a set of seven pixels, each including nine pixels, from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located nine pixels away from the target pixel in the vertical direction. .
[0562]
Further, as shown in FIG. 90, for example, when the angle of the set straight line is 74.7 degrees, the pixel selection unit 421-6 determines that the pixel of interest is one column of pixels vertically. From the above, nine pixels centering on the target pixel are selected as a set of pixels, and one pixel column on the left and right sides within a horizontal distance of three pixels or less from the target pixel. Nine pixels are selected as a set of pixels from the belonging pixels. That is, the pixel selection unit 421-6 selects a set of seven pixels, each including nine pixels, from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the pixel of interest is 11 pixels away from the pixel of interest in the vertical direction. .
[0563]
For example, as shown in FIG. 83 and FIG. 84, the pixel selection units 421-1 to 421-L determine that the angle of the set straight line is in the range of 76.0 degrees or more and 87.7 degrees or less (see FIG. 83 and the range indicated by D in FIG. 84), 11 pixels centered on the target pixel are selected as a set of pixels from one vertical column of pixels with respect to the target pixel. Eleven pixels are selected as a set of pixels from pixels belonging to one vertical pixel column on the left and right sides within a distance of less than two pixels in the horizontal direction. That is, when the angle of the set straight line is in the range of not less than 76.0 degrees and not more than 87.7 degrees, the pixel selection units 421-1 to 421-L determine whether or not each of the pixels is 11 pixels from the input image. , A set of five pixels is selected. In this case, the vertical position of the pixel closest to the set straight line is 8 to 50 pixels with respect to the target pixel.
[0564]
As illustrated in FIG. 91, for example, when the angle of the set straight line is 76.0 degrees, the pixel selection unit 421-7 shifts the pixel of interest from one pixel column vertically to the target pixel. The 11 pixels centered on the pixel of interest are selected as a set of pixels, and the pixels belonging to one vertical column on the left and right sides that are within 2 pixels horizontally from the pixel of interest. , Each of which selects 11 pixels as a set of pixels. That is, the pixel selection unit 421-7 selects a set of five pixels each including 11 pixels from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located eight pixels away from the target pixel in the vertical direction. .
[0565]
Also, as shown in FIG. 92, for example, when the angle of the set straight line is 87.7 degrees, the pixel selection unit 421-8 determines that the pixel of interest From the above, 11 pixels centered on the target pixel are selected as a set of pixels, and one vertical column of pixels on the left and right sides within a horizontal distance of 2 pixels or less from the target pixel. Eleven pixels are selected as a set of pixels from the belonging pixels. That is, the pixel selection unit 421-8 selects a set of five pixels each including eleven pixels from the input image. In this case, among the pixels selected as the pixels closest to the set straight line, the pixel farthest from the target pixel is located 50 pixels away from the target pixel in the vertical direction. .
[0566]
As described above, each of the pixel selection units 421-1 to 421-L selects a predetermined number of pixel sets corresponding to the angle range, each including a predetermined number of pixels corresponding to the angle range. I do.
[0567]
The pixel selection unit 421-1 supplies the selected pixel pair to the estimation error calculation unit 422-1, and the pixel selection unit 421-2 supplies the selected pixel pair to the estimation error calculation unit 422-2. Similarly, each of the pixel selection units 421-3 to 421-L supplies the selected set of pixels to each of the estimation error calculation units 422-3 to 422-L.
[0568]
The estimation error calculation units 422-1 to 422-L calculate the pixel values of the pixels at the corresponding positions in the plurality of sets supplied from any of the pixel selection units 421-1 to 421-L. Detect the correlation of For example, the estimation error calculation unit 422-1 to the estimation error calculation unit 422-L are configured to output the pixels of the pixel set including the pixel of interest supplied from any of the pixel selection units 421-1 to 421-L. Calculate the sum of the absolute value of the difference between the pixel value and the pixel value of the pixel at the corresponding position in the other pixel set, and calculate the number of pixels included in the pixel set other than the pixel set including the target pixel. Divide the sum. The calculated sum is divided by the number of pixels included in a group other than the group including the pixel of interest because the number of pixels selected according to the angle of the set straight line differs, so that the value indicating the correlation is calculated. In order to normalize.
[0569]
The estimation error calculation units 422-1 to 422-L supply the information indicating the detected correlation to the minimum error angle selection unit 413. For example, the estimation error calculation units 422-1 to 422-L supply the sum of the absolute values of the normalized pixel value differences to the minimum error angle selection unit 413.
[0570]
Next, the pixel selection units 421-1 to 421-L when the data continuity angle indicated by the activity information is any one of 0 to 45 degrees and 135 to 180 degrees. The processing will be described.
[0571]
The pixel selection units 421-1 to 421-L are different from each other in a predetermined range different from each other and passing through the pixel of interest using an axis indicating the spatial direction X in a range of 0 to 45 degrees or 135 to 180 degrees. Set a straight line at an angle of.
[0572]
The pixel selection units 421-1 to 421-L are pixels belonging to one horizontal row of pixels to which the pixel of interest belongs, and the number of pixels of interest corresponding to the range of the angle of the set straight line And the pixel on the right side of the target pixel and the target pixel are selected as a set of pixels.
[0573]
The pixel selection unit 421-1 to the pixel selection unit 421-L are located at a predetermined distance in the vertical direction based on the pixel with respect to one horizontal row of pixels to which the pixel of interest belongs. A pixel belonging to one horizontal row of pixels and located closest to the set straight line is selected, and the angle of the set straight line is determined from one horizontal row of pixels with respect to the selected pixel. The pixels on the left side of the selected pixel, the pixels on the right side of the selected pixel, and the selected pixels are selected as a set of pixels according to the range.
[0574]
That is, the pixel selection units 421-1 to 421-L select a number of pixels according to the set range of the angle of the straight line as a set of pixels. The pixel selection units 421-1 to 421-L select a number of pixel sets according to the set angle range of the straight line.
[0575]
The pixel selection unit 421-1 supplies the selected pixel pair to the estimation error calculation unit 422-1, and the pixel selection unit 421-2 supplies the selected pixel pair to the estimation error calculation unit 422-2. Similarly, each of the pixel selection units 421-3 to 421-L supplies the selected set of pixels to each of the estimation error calculation units 422-3 to 422-L.
[0576]
The estimation error calculation units 422-1 to 422-L calculate the pixel values of the pixels at the corresponding positions in the plurality of sets supplied from any of the pixel selection units 421-1 to 421-L. Detect the correlation of
[0577]
The estimation error calculation units 422-1 to 422-L supply the information indicating the detected correlation to the minimum error angle selection unit 413.
[0578]
Next, processing for detecting data continuity by the data continuity detecting unit 101 shown in FIG. 81 and corresponding to the processing in step S101 will be described with reference to the flowchart in FIG.
[0579]
The processing in steps S421 and S422 is the same as the processing in steps S401 and S402, and a description thereof will be omitted.
[0580]
In step S423, the data selection unit 402 determines, for each of a predetermined range of angles with respect to the activity detected in the process of step S422, from the row of pixels including the target pixel to the range of angles centered on the target pixel. A predetermined number of pixels are selected as a set of pixels. For example, the data selection unit 402 determines the number of pixels of interest that are pixels belonging to one vertical or horizontal pixel row to which the pixel of interest belongs and that are determined by the angle range with respect to the angle of the straight line to be set. The upper or left pixel, the lower or right pixel of interest, and the interest pixel are selected as a set of pixels.
[0581]
In step S424, the data selection unit 402 determines, for each of a predetermined range of angles based on the activity detected in the process of step S422, a column of a predetermined number of pixels for the angle range, Are selected as a set of pixels. For example, the data selection unit 402 sets a straight line that has an angle in a predetermined range and passes through the pixel of interest with the axis indicating the spatial direction X as a reference axis, and horizontally or vertically with respect to the pixel of interest. A pixel which is a predetermined distance away from the range of the angle of the straight line to be set and which is closest to the straight line is selected, and the number of pixels above or to the left of the selected pixel with respect to the range of the straight line angle to be set is A pixel and a number of pixels below or to the right of the selected pixel for the range of the angle of the straight line to be set, and a pixel closest to the selected line are selected as a pixel set. The data selection unit 402 selects a set of pixels for each angle.
[0582]
The data selection unit 402 supplies the selected pixel set to the error estimation unit 403.
[0583]
In step S425, the error estimating unit 403 calculates a correlation between a set of pixels centered on the target pixel and a set of pixels selected for each angle. For example, the error estimating unit 403 calculates the sum of the absolute value of the difference between the pixel value of the pixel of the group including the target pixel and the pixel value of the pixel at the corresponding position in the other group, and calculates the sum of the pixels belonging to the other group. The correlation is calculated by dividing the sum of the absolute values of the pixel value differences by a number.
[0584]
The continuity angle of the data may be detected based on the mutual correlation of the set of pixels selected for each angle.
[0585]
The error estimating unit 403 supplies information indicating the calculated correlation to the stationary direction deriving unit 404.
[0586]
The processing of steps S426 and S427 is the same as the processing of steps S406 and S407, and a description thereof will be omitted.
[0587]
As described above, the data continuity detecting unit 101 can more accurately and more accurately determine the continuity angle of the data with respect to the reference axis in the image data corresponding to the continuity of the missing optical signal of the real world 1. Detection can be performed with high accuracy. The data continuity detection unit 101 having the configuration shown in FIG. 81 can evaluate the correlation of more pixels to which a thin line image is projected, particularly when the data continuity angle is around 45 degrees. Therefore, the continuity angle of the data can be detected with higher accuracy.
[0588]
Note that the data continuity detecting unit 101 having the configuration shown in FIG. 81 also detects an activity in the spatial direction of the input image with respect to a target pixel which is a target pixel of a target frame which is a target frame. Depending on the detected activity, the angle of interest relative to the reference axis in the pixel of interest and the spatial direction, and for each motion vector, the vertical direction from each of the frame of interest and the frame temporally before or after the frame of interest A set of pixels consisting of a predetermined number of pixels in one row or one row in the horizontal direction and defined in a spatial angle range is extracted and extracted in a number determined in a spatial angle range. The correlation of the set of pixels may be detected, and the continuity angle of the data in the temporal direction and the spatial direction in the input image may be detected based on the correlation.
[0589]
FIG. 94 is a block diagram showing still another configuration of the data continuity detecting unit 101.
[0590]
In the data continuity detecting unit 101 shown in FIG. 94, for a target pixel which is a target pixel, a block including a predetermined number of pixels and centered on the target pixel and a peripheral part of the target pixel are respectively included. A plurality of blocks each including a predetermined number of pixels are extracted, a correlation between a block around the pixel of interest and peripheral blocks is detected, and based on the correlation, data of an input image based on a reference axis is determined. An angle of stationarity is detected.
[0591]
The data selection unit 441 sequentially selects a pixel of interest from the pixels of the input image, and a block including a predetermined number of pixels around the pixel of interest and a block including a predetermined number of pixels around the pixel of interest. , And supplies the extracted block to the error estimating unit 442.
[0592]
For example, the data selection unit 441 may select a block of 5 × 5 pixels centered on the pixel of interest, and a range of 5 × 5 pixels from the periphery of the pixel of interest for each predetermined angle range based on the pixel of interest and the reference axis. The following two blocks are extracted.
[0593]
The error estimating unit 442 detects the correlation between the block around the pixel of interest and the blocks around the pixel of interest, supplied from the data selecting unit 441, and derives correlation information indicating the detected correlation from the stationary direction deriving unit. 443.
[0594]
For example, for each angle range, the error estimating unit 442 calculates, for each block of 5 × 5 pixels centered on the pixel of interest, and two blocks of 5 × 5 pixels corresponding to one angle range, The correlation between pixel values is detected.
[0595]
Based on the correlation information supplied from the error estimating unit 442, the continuity direction deriving unit 443 corresponds to the continuity of the optical signal of the real world 1 that is missing from the position of the block having the strongest correlation around the pixel of interest. In this case, the continuity angle of the data with respect to the reference axis in the input image is detected, and data continuity information indicating the angle is output. For example, based on the correlation information supplied from the error estimating unit 442, the stationary direction deriving unit 443 includes 5 × 5 pixels having the strongest correlation with a block including 5 × 5 pixels centered on the target pixel. An angle range for the two blocks is detected as an angle of data continuity, and data continuity information indicating the detected angle is output.
[0596]
FIG. 95 is a block diagram showing a more detailed configuration of data continuity detecting section 101 shown in FIG.
[0597]
The data selection unit 441 includes pixel selection units 461-1 to 461-L. Error estimation section 442 includes estimation error calculation sections 462-1 to 462-L. The stationary direction deriving unit 443 includes a minimum error angle selecting unit 463.
[0598]
For example, the data selection unit 441 includes pixel selection units 461-1 to 461-8. For example, the error estimating unit 442 includes an estimated error calculating unit 462-1 to an estimated error calculating unit 462-8.
[0599]
Each of the pixel selection units 461-1 to 461-L corresponds to a block including a predetermined number of pixels around the pixel of interest and a range of a predetermined angle with respect to the pixel of interest and the reference axis. Then, two blocks each including a predetermined number of pixels are extracted.
[0600]
FIG. 96 is a diagram illustrating an example of a 5 × 5 pixel block extracted by the pixel selection units 461-1 to 461-L. The center position in FIG. 96 indicates the position of the pixel of interest.
[0601]
Note that a block of 5 × 5 pixels is an example, and the number of pixels included in the block does not limit the present invention.
[0602]
For example, the pixel selection unit 461-1 extracts a block of 5 × 5 pixels centered on the pixel of interest, and corresponds to a range of 0 to 18.4 degrees and a range of 161.6 to 180.0 degrees. 96. A 5 × 5 pixel block (indicated by A in FIG. 96) centering on a pixel at a position shifted by 5 pixels to the right with respect to the pixel of interest is extracted, and 5 pixels to the left of the pixel of interest are extracted. A block of 5 × 5 pixels (indicated by A ′ in FIG. 96) centering on the pixel at the moved position is extracted. The pixel selection unit 461-1 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-1.
[0603]
The pixel selection unit 461-2 extracts a block of 5 × 5 pixels centered on the pixel of interest, and 10 pixels to the right with respect to the pixel of interest corresponding to the range of 18.4 degrees to 33.7 degrees. A pixel is moved, and a block of 5 × 5 pixels (indicated by B in FIG. 96) is extracted around a pixel at a position shifted by 5 pixels to the upper side. A block of 5 × 5 pixels (indicated by B ′ in FIG. 96) centering on the pixel at the position shifted by 5 pixels downward is extracted. The pixel selection unit 461-2 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-2.
[0604]
The pixel selection unit 461-3 extracts a block of 5 × 5 pixels centered on the pixel of interest, and 5 pixels to the right of the pixel of interest corresponding to the range from 33.7 degrees to 56.3 degrees. 96. Pixels are moved and a block of 5 × 5 pixels (indicated by C in FIG. 96) centering on a pixel at a position moved 5 pixels to the upper side is extracted, and 5 pixels are moved to the left side with respect to the target pixel, A block of 5 × 5 pixels (indicated by C ′ in FIG. 96) with the pixel at the position shifted by 5 pixels downward is extracted. The pixel selection unit 461-3 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-3.
[0605]
The pixel selection unit 461-4 extracts a block of 5 × 5 pixels centered on the pixel of interest, and 5 pixels to the right of the pixel of interest corresponding to the range of 56.3 to 71.6 degrees. 96. Pixels are moved and a block of 5 × 5 pixels (indicated by D in FIG. 96) is extracted, centered on the pixel at the position moved 10 pixels to the upper side, and moved 5 pixels to the left with respect to the pixel of interest. A block of 5 × 5 pixels (indicated by D ′ in FIG. 96) centering on the pixel at the position shifted 10 pixels downward is extracted. The pixel selection unit 461-4 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-4.
[0606]
The pixel selection unit 461-5 extracts a block of 5 × 5 pixels centered on the pixel of interest, and extracts 5 pixels upward from the pixel of interest corresponding to the range of 71.6 to 108.4 degrees. A block of 5 × 5 pixels (indicated by E in FIG. 96) centering on the pixel at the position shifted by the pixel is extracted. A 5 × 5 pixel block (indicated by E ′ in FIG. 96) is extracted. The pixel selection unit 461-5 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-5.
[0607]
The pixel selection unit 461-6 extracts a block of 5 × 5 pixels centered on the pixel of interest, and extracts 5 blocks on the left side of the pixel of interest corresponding to the range of 108.4 ° to 123.7 °. The pixel is moved, and a block of 5 × 5 pixels (indicated by F in FIG. 96) centering on the pixel at the position shifted by 10 pixels to the upper side is extracted, and 5 pixels are moved to the right with respect to the target pixel, A block of 5 × 5 pixels (indicated by F ′ in FIG. 96) centering on the pixel at the position shifted 10 pixels downward is extracted. The pixel selection unit 461-6 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-6.
[0608]
The pixel selecting unit 461-7 extracts a block of 5 × 5 pixels centered on the pixel of interest, and extracts 5 pixels on the left side of the pixel of interest corresponding to the range of 123.7 degrees to 146.3 degrees. The pixel is moved, and a block of 5 × 5 pixels (indicated by G in FIG. 96) centering on the pixel at the position shifted by 5 pixels to the upper side is extracted, and 5 pixels are shifted to the right with respect to the target pixel, A block of 5 × 5 pixels (indicated by G ′ in FIG. 96) centering on the pixel at the position shifted 5 pixels downward is extracted. The pixel selection unit 461-7 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-7.
[0609]
The pixel selecting unit 461-8 extracts a block of 5 × 5 pixels centered on the pixel of interest, and extracts 10 blocks on the left side of the pixel of interest corresponding to the range of 146.3 degrees to 161.6 degrees. The pixel is moved, and a block of 5 × 5 pixels (indicated by H in FIG. 96) centering on the pixel at the position shifted by 5 pixels to the upper side is extracted, and 10 pixels are moved to the right with respect to the target pixel, A block of 5 × 5 pixels (indicated by H ′ in FIG. 96) centering on the pixel at the position shifted by 5 pixels downward is extracted. The pixel selection unit 461-8 supplies the extracted three blocks of 5 × 5 pixels to the estimation error calculation unit 462-8.
[0610]
Hereinafter, a block including a predetermined number of pixels around the target pixel is referred to as a target block.
[0611]
Hereinafter, a block composed of a predetermined number of pixels corresponding to a range of a predetermined angle with respect to the target pixel and the reference axis is referred to as a reference block.
[0612]
As described above, the pixel selection units 461-1 to 461-8 extract, for example, a target block and a reference block from a range of 25 × 25 pixels around the target pixel.
[0613]
The estimation error calculation units 462-1 to 462-L detect the correlation between the target block and the two reference blocks supplied from the pixel selection units 461-1 to 461-L. The correlation information indicating the detected correlation is supplied to the minimum error angle selection unit 463.
[0614]
For example, the estimation error calculation unit 462-1 corresponds to a block of interest including 5 × 5 pixels centered on the pixel of interest, and ranges of 0 ° to 18.4 ° and 161.6 ° to 180.0 °. With respect to a reference block of 5 × 5 pixels centered on a pixel at a position shifted by 5 pixels to the right with respect to the pixel of interest extracted as described above, the pixel value of the pixel included in the block of interest and the reference block The absolute value of the difference between the included pixel and the pixel value is calculated.
[0615]
In this case, as shown in FIG. 97, the estimation error calculation unit 462-1 determines the absolute value of the difference between the pixel values based on the position where the center pixel of the target block and the center pixel of the reference block overlap. In order to use the pixel value of the target pixel in the calculation, the position of the target block with respect to the reference block is selected from two pixels on the left side and two pixels on the right side, and two pixels on the upper side and two pixels on the lower side. Is calculated, the absolute value of the difference between the pixel values of the pixels at the overlapping position when the pixel is moved is calculated. That is, the absolute value of the difference between the pixel values of the pixels at the corresponding positions in the 25 types of positions of the target block and the reference block is calculated. In other words, when the absolute value of the difference between the pixel values is calculated, the range of the relatively moved target block and the reference block is 9 × 9 pixels.
[0616]
In FIG. 97, squares indicate pixels, A indicates a reference block, and B indicates a target block. In FIG. 97, a bold line indicates a target pixel. That is, FIG. 97 is a diagram illustrating an example in which the target block moves two pixels to the right and one pixel to the upper side with respect to the reference block.
[0617]
Further, the estimation error calculation unit 462-1 corresponds to a target block composed of 5 × 5 pixels centered on the target pixel and ranges from 0 ° to 18.4 ° and 161.6 ° to 180.0 °. With respect to a reference block of 5 × 5 pixels centered on a pixel at a position shifted by 5 pixels to the left with respect to the target pixel extracted by the above, the pixel value of the pixel included in the target block and the reference block The absolute value of the difference between the included pixel and the pixel value is calculated.
[0618]
Then, the estimation error calculation unit 462-1 obtains the sum of the calculated absolute values of the differences, and supplies the sum of the absolute values of the differences to the minimum error angle selection unit 463 as correlation information indicating the correlation.
[0619]
The estimation error calculation unit 462-2 calculates a target block composed of 5 × 5 pixels and two reference blocks of 5 × 5 pixels extracted corresponding to a range of 18.4 degrees to 33.7 degrees. The absolute value of the difference between the pixel values is calculated, and the sum of the absolute values of the calculated differences is calculated. The estimated error calculator 462-1 supplies the sum of the absolute values of the calculated differences to the minimum error angle selector 463 as correlation information indicating the correlation.
[0620]
Similarly, each of the estimation error calculation units 462-3 to 462-8 includes a 5 × 5 pixel attention block and a 5 × 5 pixel extraction block corresponding to a predetermined angle range. The absolute value of the difference between the pixel values of the two reference blocks is calculated, and the sum of the absolute values of the calculated differences is calculated. Each of the estimation error calculation units 462-3 to 462-8 supplies the sum of the calculated absolute values of the differences to the minimum error angle selection unit 463 as correlation information indicating the correlation.
[0621]
The minimum error angle selection unit 463 indicates the strongest correlation among the sums of the absolute values of the pixel value differences as the correlation information supplied from the estimation error calculation units 462-1 to 462-8. From the position of the reference block where the minimum value is obtained, an angle with respect to the two reference blocks is detected as an angle of data continuity, and data continuity information indicating the detected angle is output.
[0622]
Here, the relationship between the position of the reference block and the range of the data continuity angle will be described.
[0623]
When an approximation function f (x) approximating a signal in the real world is approximated by an n-dimensional one-dimensional polynomial, the approximation function f (x) can be expressed by Expression (30).
[0624]
(Equation 21)

[0625]
When the waveform of the signal of the real world 1 approximated by the approximation function f (x) has a constant inclination (angle) with respect to the spatial direction Y, it can be obtained by setting x in Expression (30) to x + γy. In the equation (31), an approximation function (x, y) approximating the signal of the real world 1 is expressed.
[0626]
(Equation 22)

[0627]
γ indicates a ratio of a change in the position in the spatial direction X to a change in the position in the spatial direction Y. Hereinafter, γ is also referred to as a shift amount.
[0628]
FIG. 98 shows the case where the distance in the spatial direction X between the position of the target pixel and the straight line having the angle θ is 0, that is, the position of the pixel around the target pixel and the angle when the straight line passes through the target pixel. FIG. 6 is a diagram illustrating a distance in a spatial direction X from a straight line having θ. Here, the position of the pixel is the position of the center of the pixel. The distance between the position and the straight line is indicated by a negative value when the position is on the left side of the straight line, and is indicated by a positive value when the position is on the right side of the straight line.
[0629]
For example, the distance in the spatial direction X between the position of the pixel adjacent to the right side of the target pixel, that is, the position where the coordinate x in the spatial direction X increases by 1, and the straight line having the angle θ is 1, and The distance in the spatial direction X between the position of the adjacent pixel, that is, the position at which the coordinate x in the spatial direction X decreases by 1 and the straight line having the angle θ is −1. The distance in the spatial direction X between the position of the pixel adjacent to the upper side of the target pixel, that is, the position where the coordinate y in the spatial direction Y increases by 1 and the straight line having the angle θ is −γ. The distance in the space direction X between the position of the adjacent pixel, that is, the position where the coordinate y in the space direction Y decreases by 1 and the straight line having the angle θ is γ.
[0630]
When the angle θ is more than 45 degrees and less than 90 degrees, and the shift amount γ is more than 0 and less than 1, there is a relational expression of γ = 1 / tan θ between the shift amount γ and the angle θ. Holds. FIG. 99 is a diagram showing the relationship between the shift amount γ and the angle θ.
[0631]
Here, attention is paid to a change in the distance in the spatial direction X between the position of the pixel around the target pixel and a straight line passing through the target pixel and having an angle θ with respect to the change in the shift amount γ.
[0632]
FIG. 100 is a diagram illustrating a distance in the spatial direction X between a position of a pixel around the target pixel and a straight line passing through the target pixel and having an angle θ with respect to the shift amount γ. In FIG. 100, the one-dot chain line rising to the right indicates the distance in the spatial direction X between the position of the pixel adjacent to the lower side of the target pixel and the straight line with respect to the shift amount γ, and the one-dot chain line falling to the left indicates the shift amount γ. , The distance in the spatial direction X between the position of the pixel adjacent above the pixel of interest and the straight line.
[0633]
In FIG. 100, the two-dot chain line that rises to the right indicates the distance in the spatial direction X between the position of the pixel located one pixel to the left and two pixels below the target pixel in the spatial direction X with respect to the shift amount γ. The two-dot chain line indicates the distance in the spatial direction X between the position of the pixel located two pixels above and one pixel to the right of the target pixel and the straight line with respect to the shift amount γ.
[0634]
In FIG. 100, the three-dot chain line rising to the right indicates the distance in the spatial direction X between the position of the pixel located one pixel below and one pixel left from the target pixel and the straight line with respect to the shift amount γ, The three-dot chain line indicates the distance in the spatial direction X between the straight line and the position of the pixel located one pixel above and one pixel to the right of the target pixel with respect to the shift amount γ.
[0635]
From FIG. 100, it can be seen that the pixel having the smallest distance with respect to the shift amount γ.
[0636]
That is, when the shift amount γ is 0 to 1/3, the distance from the pixel adjacent above the target pixel and the pixel adjacent below the target pixel to the straight line is the minimum. That is, when the angle θ is 71.6 degrees to 90 degrees, the distance from the pixel adjacent above the target pixel and the pixel adjacent below the target pixel to the straight line is the minimum.
[0637]
When the shift amount γ is ３ to ／, the pixel located two pixels above and one pixel to the right of the target pixel, and two pixels below and one pixel left of the target pixel Is the shortest distance from the pixel located at. That is, when the angle θ is 56.3 degrees to 71.6 degrees, the pixel located two pixels above the pixel of interest and one pixel to the right, and two pixels below the pixel of interest, The distance from the pixel located one pixel to the left to the straight line is minimum.
[0638]
When the shift amount γ is ／ to 1, the pixel located one pixel above and one pixel to the right of the target pixel, and one pixel below and one pixel left of the target pixel Is the shortest distance from the pixel located at. That is, when the angle θ is 45 degrees to 56.3 degrees, the pixel located one pixel above and one pixel to the right of the target pixel, and one pixel lower and one pixel below the target pixel The distance from the pixel located on the left side to the straight line is minimum.
[0639]
The relationship between a pixel and a straight line in which the angle θ ranges from 0 to 45 degrees can be similarly considered.
[0640]
98, the distance in the spatial direction X between the reference block and the straight line can be considered.
[0641]
FIG. 101 shows a reference block that passes through the pixel of interest and has a minimum distance from a straight line having an angle θ with respect to the axis in the spatial direction X.
[0642]
A to H and A 'to H' in FIG. 101 indicate reference blocks A to H and A 'to H' in FIG.
[0643]
That is, a straight line passing through the pixel of interest and having any angle θ of 0 to 18.4 degrees and 161.6 to 180.0 degrees with respect to the axis in the spatial direction X, and A to H and A Among the distances in the spatial direction X from each of the reference blocks' to H ', the distance between the straight line and the reference blocks A and A' is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of A and A 'is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of A and A'. Therefore, it can be said that the continuity angles of the data are in the range of 0 to 18.4 degrees and 161.6 to 180.0 degrees.
[0644]
A straight line passing through the pixel of interest and having an angle θ of 18.4 degrees to 33.7 degrees with respect to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks B and B ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of B and B 'is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of B and B'. Therefore, it can be said that the continuity angle of the data is in the range of 18.4 degrees to 33.7 degrees.
[0645]
A straight line passing through the pixel of interest and having an angle θ of 33.7 degrees to 56.3 degrees with reference to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks C and C ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of C and C ′ is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of C and C ′. Therefore, it can be said that the continuity angle of the data is in the range of 33.7 degrees to 56.3 degrees.
[0646]
A straight line passing through the target pixel and having an angle θ of 56.3 degrees to 71.6 degrees with reference to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks D and D ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of D and D 'is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of D and D'. Therefore, it can be said that the data continuity angle ranges from 56.3 degrees to 71.6 degrees.
[0647]
A straight line passing through the pixel of interest and having an angle θ of any of 71.6 degrees to 108.4 degrees with reference to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks E and E ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of E and E 'is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of E and E'. Therefore, it can be said that the continuity angle of the data is in the range of 71.6 degrees to 108.4 degrees.
[0648]
A straight line passing through the pixel of interest and having an angle θ of 108.4 degrees to 123.7 degrees with reference to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks F and F ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of F and F ′ is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of F and F ′. Therefore, it can be said that the data continuity angle is in the range of 108.4 degrees to 123.7 degrees.
[0649]
A straight line passing through the pixel of interest and having an angle θ of 123.7 degrees to 146.3 degrees with respect to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks G and G ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of G and G ′ is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of G and G ′. Therefore, it can be said that the continuity angle of the data is in the range of 123.7 degrees to 146.3 degrees.
[0650]
A straight line passing through the pixel of interest and having an angle θ of 146.3 degrees to 161.6 degrees with respect to the axis in the spatial direction X, and reference blocks A to H and A ′ to H ′ Among the distances in the spatial direction X, the distance between the straight line and the reference blocks H and H ′ is the smallest. Therefore, when considered conversely, when the correlation between the block of interest and the reference blocks of H and H 'is the strongest, certain features repeatedly appear in the direction connecting the block of interest and the reference blocks of H and H'. Therefore, it can be said that the data continuity angle is in the range of 146.3 degrees to 161.6 degrees.
[0651]
Thus, the data continuity detecting unit 101 can detect the continuity angle of the data based on the correlation between the target block and the reference block.
[0652]
Note that the data continuity detecting unit 101 shown in FIG. 94 may output the range of the data continuity angle as data continuity information. The value may be output as data continuity information. For example, the median of the range of the data continuity angle can be used as the representative value.
[0653]
Further, the data continuity detecting unit 101 having the configuration shown in FIG. 94 uses the correlation of the reference blocks around the reference block having the strongest correlation to reduce the range of the continuity angle of the detected data to １ ／. That is, the angle resolution of the stationarity of the detected data can be doubled.
[0654]
For example, when the correlation between the block of interest and the reference blocks of E and E ′ is the strongest, the minimum error angle selection unit 463 determines the correlation of the reference block of D and D ′ with respect to the block of interest as shown in FIG. And the correlation between the reference block of F and F ′ with respect to the target block. If the correlation between the reference block of D and D ′ with respect to the target block is stronger than the correlation of the reference blocks of F and F ′ with respect to the target block, the minimum error angle selection unit 463 sets the data stationary angle. , A range of 71.6 degrees to 90 degrees is set. In this case, the minimum error angle selection unit 463 may set the angle of the data continuity to 81 degrees as a representative value.
[0655]
If the correlation between the reference block of F and F ′ with respect to the block of interest is stronger than the correlation of the reference blocks of D and D ′ with respect to the block of interest, the minimum error angle selection unit 463 sets the angle of continuity of the data. , A range from 90 degrees to 108.4 degrees is set. In this case, the minimum error angle selection unit 463 may set 99 degrees as a representative value for the data continuity angle.
[0656]
The minimum error angle selection unit 463 can reduce the continuity angle range of the data to be detected to １ ／ for other angle ranges by the same processing.
[0657]
The method described with reference to FIG. 102 is also referred to as a simple 16 direction detection method.
[0658]
As described above, the data continuity detecting unit 101 having the configuration shown in FIG. 94 can detect the data continuity angle having a narrower range by a simple process.
[0659]
Next, processing for detecting data continuity by the data continuity detecting unit 101 shown in FIG. 94 and corresponding to the processing in step S101 will be described with reference to the flowchart in FIG.
[0660]
In step S441, the data selection unit 441 selects a target pixel that is a target pixel from the input image. For example, the data selection unit 441 selects a pixel of interest from the input image in raster scan order.
[0661]
In step S442, the data selection unit 441 selects a target block including a predetermined number of pixels centered on the target pixel. For example, the data selection unit 441 selects a target block including 5 × 5 pixels centered on the target pixel.
[0662]
In step S443, the data selection unit 441 selects a reference block including a predetermined number of pixels at a predetermined position around the target pixel. For example, the data selection unit 441 includes 5 × 5 pixels centered on a pixel at a predetermined position based on the size of the block of interest, for each range of a predetermined angle based on the pixel of interest and the reference axis. Select a reference block.
[0663]
The data selection unit 441 supplies the block of interest and the reference block to the error estimation unit 442.
[0664]
In step S444, the error estimating unit 442 calculates a correlation between the target block and a reference block corresponding to the angle range for each predetermined angle range based on the target pixel and the reference axis. The error estimating unit 442 supplies the correlation information indicating the calculated correlation to the stationary direction deriving unit 443.
[0665]
In step S445, the stationary direction deriving unit 443 determines, from the position of the reference block having the strongest correlation with the target block, the reference in the input image corresponding to the stationary state of the image that is the optical signal of the real world 1 that has been lost. The angle of data continuity with respect to the axis is detected.
[0666]
The stationary direction deriving unit 443 outputs data continuity information indicating an angle of continuity of the detected data.
[0667]
In step S446, the data selection unit 441 determines whether or not processing of all pixels has been completed. If it is determined that processing of all pixels has not been completed, the process returns to step S441, and the data selection unit 441 still determines that the pixel of interest has not been processed. The target pixel is selected from the unselected pixels, and the above-described processing is repeated.
[0668]
If it is determined in step S446 that the processing for all pixels has been completed, the processing ends.
[0669]
As described above, the data continuity detecting unit 101 whose configuration is shown in FIG. 94 can perform, with simpler processing, the data based on the reference axis in the image data corresponding to the continuity of the missing optical signal of the real world 1. Can be detected. Further, the data continuity detecting unit 101 having the configuration shown in FIG. 94 can detect the continuity angle of the data using the pixel values of the pixels in a relatively narrow range in the input image. Even if the input image contains noise or the like, it is possible to more accurately detect the data continuity angle.
[0670]
It should be noted that the data detection unit 101 having the configuration shown in FIG. 94 determines a target pixel, which is a target pixel, of a target frame, which is a target frame, by a predetermined number of pixels from the target frame. A block centered on a pixel and a plurality of blocks each including a predetermined number of pixels around the pixel of interest are extracted, and a predetermined number of blocks are extracted from a frame temporally before or after the frame of interest. A block around the pixel at the position corresponding to the pixel of interest, and a plurality of blocks each consisting of a predetermined number of pixels around the pixel at the position corresponding to the pixel of interest. Detects the correlation between the block centered on the pixel and the surrounding blocks spatially or temporally, and based on the correlation, calculates the data in the time direction and the spatial direction in the input image. The angle of the normal resistance may be detected.
[0671]
For example, as illustrated in FIG. 104, the data selection unit 441 sequentially selects a target pixel from a frame #n that is a target frame, and a block including a predetermined number of pixels centered on the target pixel from the frame #n. , And a plurality of blocks of a predetermined number of pixels around the pixel of interest. In addition, the data selection unit 441 generates a block including a predetermined number of pixels from each of the frames # n−1 and # n + 1, centered on the pixel at the position corresponding to the position of the target pixel, and A plurality of blocks consisting of a predetermined number of pixels around the pixel at the position corresponding to the position are extracted. The data selector 441 supplies the extracted block to the error estimator 442.
[0672]
The error estimating unit 442 detects the correlation between the block centered on the pixel of interest and the blocks spatially or temporally supplied from the data selecting unit 441, and constantly calculates correlation information indicating the detected correlation. It is supplied to the direction deriving unit 443. Based on the correlation information supplied from the error estimating unit 442, the continuity direction deriving unit 443 determines the stationary state of the optical signal of the real world 1 that is missing from the position of the spatially or temporally neighboring block having the strongest correlation. It detects the continuity angle of the data in the time direction and the spatial direction in the input image corresponding to the gender, and outputs data continuity information indicating the angle.
[0673]
Further, the data continuity detecting unit 101 can execute a process of detecting data continuity based on the component signal of the input image.
[0674]
FIG. 105 is a block diagram illustrating a configuration of the data continuity detection unit 101 that executes a process of detecting data continuity based on a component signal of an input image.
[0675]
Each of the data continuity detection units 481-1 to 481-3 has the same configuration as the above-described or data continuity detection unit 101, and performs processing on each of the component signals of the input image as described above. Or execute the processing described later.
[0676]
The data continuity detecting unit 481-1 detects data continuity based on the first component signal of the input image, and determines information indicating the continuity of the data detected from the first component signal. To supply. For example, the data continuity detection unit 481-1 detects data continuity based on the luminance signal of the input image, and supplies information indicating the continuity of the data detected from the luminance signal to the determination unit 482.
[0677]
The data continuity detecting unit 481-2 detects data continuity based on the second component signal of the input image, and determines information indicating the continuity of the detected data from the second component signal. To supply. For example, the data continuity detecting unit 481-2 detects data continuity based on the I signal which is a color difference signal of the input image, and determines information indicating the continuity of the data detected from the I signal. To supply.
[0678]
The data continuity detecting unit 481-3 detects data continuity based on the third component signal of the input image, and determines information indicating the continuity of the detected data from the third component signal. To supply. For example, the data continuity detection unit 481-2 detects data continuity based on the Q signal that is a color difference signal of the input image, and determines information indicating the continuity of the data detected from the Q signal. To supply.
[0679]
The deciding unit 482 determines the continuity of the final data in the input image based on the information indicating the continuity of the data detected from each component signal, supplied from the data continuity detecting units 481-1 to 481-3. And outputs data continuity information indicating the continuity of the detected data.
[0680]
For example, the determination unit 482 determines the maximum data continuity among the data continuity detected from each component signal supplied from the data continuity detection units 481-1 to 481-3, as the final data. Stationary. Further, for example, the determining unit 482 determines the minimum data continuity among the continuity of the data detected from each component signal supplied from the data continuity detecting units 481-1 to 481-3. Assume data continuity.
[0681]
Further, for example, the determining unit 482 sets the average value of the continuity of the data detected from each component signal supplied from the data continuity detecting units 481-1 to 481-3 as the final continuity of the data. . The determining unit 482 uses the median (median value) of the continuity of the data detected from each component signal supplied from the data continuity detecting units 481-1 to 481-3 as the final continuity of the data. It may be.
[0682]
Further, for example, based on the signal input from the outside, the determination unit 482 may determine the continuity of the data detected from each component signal supplied from the data continuity detection units 481-1 to 481-3. The continuity of data specified by a signal input from the outside is defined as the continuity of final data. The determining unit 482 determines the predetermined data continuity from among the continuity of the data detected from each component signal supplied from the data continuity detecting units 481-1 to 481-3. You may make it sex.
[0683]
The determining unit 482 determines the final steady state of the data based on the error supplied from the data continuity detecting units 481-1 to 481-3 and obtained in the process of detecting the continuity of the data of each component signal. Sex may be determined. The error obtained in the process of detecting data continuity will be described later.
[0684]
FIG. 106 is a diagram illustrating another configuration of the data continuity detecting unit 101 that executes a process of detecting data continuity based on a component signal of an input image.
[0685]
The component processing unit 491 generates one signal based on the component signal of the input image and supplies the signal to the data continuity detection unit 492. For example, the component processing unit 491 generates a signal composed of the sum of the component signal values by adding the value of each component signal of the input image to the pixel at the same position on the screen.
[0686]
For example, the component processing unit 491 generates a signal including the average value of the pixel values of the component signals by averaging the pixel values of the component signals of the input image for the pixels at the same position on the screen.
[0687]
The data continuity detection unit 492 detects data continuity in the input image based on the signal supplied from the component processing unit 491, and outputs data continuity information indicating the continuity of the detected data.
[0688]
The data continuity detection unit 492 has a configuration similar to that of the data continuity detection unit 101 described above or described below, and executes the processing described above or described below on the signal supplied from the component processing unit 491. I do.
[0689]
As described above, the data continuity detecting unit 101 detects the continuity of the data of the input image based on the component signal, so that the data continuity can be detected more accurately even if the input image includes noise or the like. Sex can be detected. For example, the data continuity detecting unit 101 detects the continuity of the data of the input image based on the component signal, so that the data continuity angle (slope), the mixture ratio, or the data continuity can be more accurately determined. Region having the property can be detected.
[0690]
The component signal is not limited to the luminance signal and the color difference signal, and may be another type of component signal such as an RGB signal or a YUV signal.
[0691]
As described above, the real-world optical signal is projected, and the continuity of the data corresponding to the continuity of the missing real-world optical signal of the image data in which part of the continuity of the real-world optical signal is missing If the optical signal is estimated by detecting an angle with respect to the reference axis and estimating the continuity of the missing real-world optical signal based on the detected angle, for a real-world event, More accurate and more accurate processing results can be obtained.
[0692]
In addition, a predetermined number of pixels are provided for each pixel of interest and the angle with respect to the reference axis of the image data in which the real-world optical signal is projected and image data in which a part of the continuity of the real-world optical signal is missing. A plurality of sets are extracted, a plurality of sets are extracted, and a pixel value of a pixel at a corresponding position in the plurality of sets, which is extracted for each angle, is detected, and based on the detected correlation, missing pixels are detected. Detects an angle of data continuity with respect to the reference axis in the image data corresponding to the continuity of the real-world optical signal obtained based on the angle of data continuity with respect to the reference axis in the detected image data. When the optical signal is estimated by estimating the stationarity of the missing real-world optical signal, a more accurate and more accurate processing result can be obtained for the real-world event. Become like
[0693]
FIG. 107 is a block diagram showing still another configuration of the data continuity detecting unit 101.
[0694]
In the data continuity detecting unit 101 shown in FIG. 107, an optical signal of the real world is projected, and a target pixel which is an attention pixel of image data in which a part of the continuity of the optical signal of the real world is missing. A corresponding region is selected, and a frequency based on the correlation value is set for a pixel whose correlation value between the pixel value of the pixel of interest and the pixel value of a pixel belonging to the selected region is equal to or greater than a threshold value. By detecting the frequency of the pixel to which the pixel belongs, and detecting the regression line based on the detected frequency, the continuity of the image data corresponding to the continuity of the missing real-world optical signal is detected.
[0696]
The frame memory 501 stores an input image on a frame basis and supplies the stored pixel values of the pixels constituting the frame to the pixel acquisition unit 502. The frame memory 501 stores the current frame of the input image on one page, and obtains the pixel value of the pixel of the previous (past) frame from the current frame stored on another page. By switching the page at the time of switching the frame of the input image to the pixel obtaining unit 502, the pixel value of the pixel of the frame of the input image which is a moving image can be supplied to the pixel obtaining unit 502.
[0696]
The pixel acquisition unit 502 selects a target pixel, which is a target pixel, based on the pixel value of the pixel supplied from the frame memory 501, and includes a predetermined number of pixels corresponding to the selected target pixel. Select an area. For example, the pixel acquisition unit 502 selects a region including 5 × 5 pixels centered on the pixel of interest.
[0697]
The size of the region selected by the pixel acquisition unit 502 does not limit the present invention.
[0698]
The pixel acquisition unit 502 acquires the pixel values of the pixels in the selected area, and supplies the pixel values of the pixels in the selected area to the frequency detection unit 503.
[0699]
Based on the pixel values of the pixels in the selected region supplied from the pixel acquisition unit 502, the frequency detection unit 503 calculates the correlation value between the pixel value of the pixel of interest and the pixel values of the pixels belonging to the selected region. By setting a frequency based on the correlation value for a pixel that is equal to or larger than the threshold, the frequency of the pixel belonging to the region is detected. Details of the process of setting the frequency based on the correlation value in the frequency detection unit 503 will be described later.
[0700]
The frequency detection unit 503 supplies the detected frequency to the regression line calculation unit 504.
[0701]
The regression line calculation unit 504 calculates a regression line based on the frequency supplied from the frequency detection unit 503. For example, the regression line calculation unit 504 calculates a regression line based on the frequency supplied from the frequency detection unit 503. In addition, for example, the regression line calculation unit 504 calculates a regression line that is a predetermined curve based on the frequency supplied from the frequency detection unit 503. The regression line calculation unit 504 supplies the calculated regression line and calculation result parameters indicating the result of the calculation to the angle calculation unit 505. The calculation result indicated by the calculation parameter includes a fluctuation and a covariation described later.
[0702]
The angle calculation unit 505 is based on the regression line, indicated by the calculation result parameter supplied from the regression line calculation unit 504, and based on the regression line, corresponds to the continuity of the missing real-world optical signal, and is the input image data as image data. Is detected. For example, based on the regression line indicated by the operation result parameter supplied from the regression line operation unit 504, the angle calculation unit 505 determines a reference in the input image corresponding to the stationarity of the missing optical signal of the real world 1. The angle of data continuity with respect to the axis is detected. The angle calculation unit 505 outputs data continuity information indicating the continuity angle of data in the force image with reference to the reference axis.
[0703]
With reference to FIGS. 108 to 110, the continuity angle of data in the input image with reference to the reference axis will be described.
[0704]
In FIG. 108, a circle indicates one pixel, and a double circle indicates a target pixel. The circle color indicates an outline of the pixel value of the pixel, and the lighter color indicates a larger pixel value. For example, black indicates a pixel value of 30 and white indicates a pixel value of 120.
[0705]
When a person views the image including the pixels illustrated in FIG. 108, the person who views the image can recognize that the straight line extends obliquely to the upper right.
[0706]
The data continuity detecting unit 101 having the configuration shown in FIG. 107 detects that a straight line extends in a diagonally upper right direction when an input image including the pixels shown in FIG. 108 is input.
[0707]
FIG. 109 is a diagram showing the pixel values of the pixels shown in FIG. 108 by numerical values. A circle indicates one pixel, and a numerical value in the circle indicates a pixel value.
[0708]
For example, the pixel value of the pixel of interest is 120, the pixel value of the pixel above the pixel of interest is 100, and the pixel value of the pixel below the pixel of interest is 100. The pixel value of the pixel on the left side of the target pixel is 80, and the pixel value of the pixel on the right side of the target pixel is 80. Similarly, the pixel value of the lower left pixel of the target pixel is 100, and the pixel value of the upper right pixel of the target pixel is 100. The pixel value of the upper left pixel of the target pixel is 30, and the pixel value of the lower right pixel of the target pixel is 30.
[0709]
The data continuity detecting unit 101 having the configuration shown in FIG. 107 draws a regression line A on the input image shown in FIG. 109 as shown in FIG.
[0710]
FIG. 111 is a diagram illustrating a relationship between a change in pixel value and a regression line A with respect to a position of a pixel in the spatial direction in an input image. The pixel value of the pixel in the region having the data continuity changes, for example, in a mountain range as shown in FIG.
[0711]
The data continuity detecting unit 101 having the configuration shown in FIG. 107 draws a regression line A by the least square method using the pixel values of the pixels in the region having data continuity as weights. The regression line A obtained by the data continuity detection unit 101 expresses the continuity of data around the pixel of interest.
[0712]
As shown in FIG. 112, an angle θ between the regression line A and, for example, an axis indicating the spatial direction X, which is a reference axis, is determined as shown in FIG. Is detected by
[0713]
Next, a specific calculation method of the regression line in the data continuity detection unit 101 having the configuration shown in FIG. 107 will be described.
[0714]
The frequency detection unit 503 calculates, for example, the pixel values of pixels in a region consisting of 9 pixels in the spatial direction X, 5 pixels in the spatial direction Y, and a total of 45 pixels around the pixel of interest, supplied from the pixel acquisition unit 502. , The frequency corresponding to the coordinates of the pixels belonging to the area.
[0715]
For example, the frequency detection unit 503 calculates the frequency by the calculation represented by Expression (32), and thereby obtains the coordinates (x_i, Y_j) Frequency L_{i, j}Is detected.
[0716]
(Equation 23)

[0717]
In equation (32), P_0,0Indicates the pixel value of the target pixel, and P_{i, j}Is the coordinates (x_i, Y_j3) shows the pixel value of the pixel. Th indicates a threshold value.
[0718]
i indicates the order of pixels in the spatial direction X in the region, and 1 ≦ i ≦ k. j indicates the order of pixels in the spatial direction Y in the region, and 1 ≦ j ≦ l.
[0719]
k indicates the number of pixels in the space direction X in the region, and l indicates the number of pixels in the space direction Y in the region. For example, when the region is composed of 9 pixels in the spatial direction X and 5 pixels in the spatial direction Y, a total of 45 pixels, K is 9 and 1 is 5.
[0720]
FIG. 113 is a diagram illustrating an example of an area acquired by the pixel acquisition unit 502. In FIG. 113, a dotted square indicates one pixel.
[0721]
For example, as shown in FIG. 113, the region is composed of 9 pixels centered on the pixel of interest in the spatial direction X and 5 pixels centered on the pixel of interest in the spatial direction Y, and the coordinates (x, When y) is (0,0), the coordinates (x, y) of the upper left pixel of the area are (-4,2), and the coordinates (x, y) of the upper right pixel of the area are (x, y). 4,2), the coordinates (x, y) of the lower left pixel of the area are (-4, -2), and the coordinates (x, y) of the lower right pixel of the area are (4,- 2).
[0722]
The pixel order i in the spatial direction X of the pixel on the left side of the region is 1, and the pixel order i in the spatial direction X of the pixel on the right side of the region is 9. The pixel order j in the spatial direction Y of the pixels on the lower side of the region is 1, and the pixel order j in the spatial direction Y of the pixels on the upper side of the region is 5.
[0723]
That is, the coordinates (x₅, Y₃) Is (0,0), the coordinates (x₁, Y₅) Is (-4, 2), and the coordinates (x₉, Y₅) Is (4, 2), and the coordinates (x₁, Y₁) Is (-4, -2), and the coordinates (x₉, Y₁) Is (4, -2).
[0724]
Since the frequency detection unit 503 calculates the absolute value of the difference between the pixel value of the pixel of interest and the pixel value of the pixel belonging to the area as the correlation value in Expression (32), the image of the thin line of the real world 1 is projected. Input image, in which an image of the real world 1 of a monochromatic object having a linear edge and having a color different from the background is projected, in addition to the region having data continuity in the input image. In the region having the continuity of the binary edge data, the frequency indicating the characteristic of the spatial change of the pixel value can be detected.
[0725]
The frequency detection unit 503 may detect the frequency based on another correlation value such as a correlation coefficient, instead of the absolute value of the difference between the pixel value and the pixel value.
[0726]
Further, in the equation (32), the reason why the exponential function is applied is to make the frequency greatly different from the difference in pixel value, and another function may be applied.
[0727]
The threshold value Th can be an arbitrary value. For example, the threshold Th can be set to 30.
[0728]
As described above, the frequency detection unit 503 sets the frequency based on the correlation value to the pixel whose correlation value with the pixel value of the pixel belonging to the selected region is equal to or larger than the threshold value, and thereby calculates the frequency of the pixel belonging to the region. To detect.
[0729]
Further, for example, the frequency detection unit 503 calculates the frequency by the calculation represented by the equation (33), and thereby obtains the coordinates (x_i, Y_j) Frequency L_{i, j}Is detected.
[0730]
[Equation 24]

[0731]
Coordinates (x_i, Y_j) Is L_{i, j}(1 ≦ i ≦ k, 1 ≦ j ≦ l), the coordinate x_iAt the frequency L in the spatial direction Y_{i, j}Sum of_iIs represented by equation (34), and the coordinate y_jAt the frequency L in the spatial direction X_{i, j}Sum h_jIs represented by equation (35).
[0732]
(Equation 25)

[0733]
(Equation 26)

[0734]
The sum of frequencies u is represented by equation (36).
[0735]
[Equation 27]

[0736]
In the example shown in FIG. 113, the frequency L of the coordinates of the pixel of interest_5,3Is 3, the frequency L of the coordinates of the pixel above the pixel of interest_5,4Is 1, and the frequency L of the coordinates of the pixel on the upper right side of the pixel of interest is_6,4Is 4, the frequency L of the coordinates of the pixel two pixels above and one pixel to the right of the pixel of interest_6,5Is 2, the frequency L of the coordinates of the pixel two pixels above and two pixels to the right of the pixel of interest_7,5Is 3. Also, the frequency L of the coordinates of the pixel below the target pixel_5,2Is 2, the frequency L of the coordinates of the pixel on the left side of the pixel of interest_4,3Is 1, and the frequency L of the coordinates of the lower left pixel of the pixel of interest is_4,2Is 3, the frequency L of the coordinates of the pixel one pixel below and two pixels to the left of the pixel of interest_3,2Is 2, the frequency L of the coordinates of the pixel located two pixels below and two pixels to the left of the pixel of interest_3,1Is 4. The frequency of the coordinates of the other pixels in the region shown in FIG. 113 is 0, and the description of the frequency of 0 in FIG. 113 is omitted.
[0737]
In the area shown in FIG. 113, the sum q of the frequencies in the spatial direction Y₁Is 0 since the frequencies L where i is 1 are all 0, and q₂Is 0 because all the frequencies L where i is 2 are 0. q₃Is the frequency L_3,2Is 2 and the frequency L_3,1Is 4, so it is 6. Similarly, q₄Is 4 and q₅Is 6, and q₆Is 6, and q₇Is 3 and q₈Is 0 and q₉Is 0.
[0738]
In the region shown in FIG. 113, the sum h of the frequencies in the spatial direction X₁Is the frequency L_3,1Is 4, so it is 4. h₂Is the frequency L_3,2Is 2 and the frequency L_4,2Is 3 and the frequency L_5,2Is 2, so it is 7. Similarly, h₃Is 4 and h₄Is 5 and h₅Is 5.
[0739]
In the area shown in FIG. 113, the sum of frequencies u is 25.
[0740]
Frequency L in spatial direction Y_{i, j}Sum of_iAnd the coordinate x_iSum T obtained by adding the result of multiplication_xIs represented by equation (37).
[0741]
[Equation 28]

[0742]
Frequency L in spatial direction X_{i, j}Sum h_jAnd the coordinate y_jSum T obtained by adding the result of multiplication_yIs represented by equation (37).
[0734]
(Equation 29)

[0744]
For example, in the region shown in FIG.₁Is 0 and x₁Is -4, so q₁x₁Is 0 and q₂Is 0 and x₂Is -3, so q₂x₂Is 0. Similarly, q₃Is 6, and x₃Is -2, so q₃x₃Is -12 and q₄Is 4 and x₄Is -1, so q₄x₄Is -4 and q₅Is 6, and x₅Is 0, so q₅x₅Is 0. Similarly, q₆Is 6, and x₆Is 1, so q₆x₆Is 6, and q₇Is 3 and x₇Is 2, so q₇x₇Is 6, and q₈Is 0 and x₈Is 3, so q₈x₈Is 0 and q₉Is 0 and x₉Is 4, so q₉x₉Is 0. Therefore, q₁x₁Or q₉x₉T which is the sum of_xIs -4.
[0745]
For example, in the region shown in FIG.₁Is 4 and y₁Is -2, so h₁y₁Is -8 and h₂Is 7 and y₂Is -1, so h₂y₂Is -7. Similarly, h₃Is 4 and y₃Is 0, so h₃y₃Is 0 and h₄Is 5 and y₄Is 1 so h₄y₄Is 5 and h₅Is 5 and y₅Is 2 so h₅y₅Is 10. Therefore, h₁y₁To h₅y₅T which is the sum of_yIs 0.
[0746]
Also, Q_iIs defined as follows.
[0747]
[Equation 30]

[0748]
Variation S of x_xIs represented by equation (40).
[0749]
[Equation 31]

[0750]
fluctuation S of y_yIs represented by equation (41).
[0751]
(Equation 32)

[0752]
Covariance S_xyIs represented by equation (42).
[0753]
[Equation 33]

[0754]
Consider obtaining a first-order regression line shown in Expression (43).
[0755]
y = ax + b (43)
[0756]
The slope a and the intercept b can be obtained by the least square method as follows.
[0757]
[Equation 34]

[0758]
(Equation 35)

[0759]
However, a necessary condition for obtaining a correct regression line is a frequency L_{i, j}Is distributed in a Gaussian distribution with respect to the regression line. Conversely, the frequency detection unit 503 calculates the frequency L_{i, j}Is a Gaussian distribution, the pixel value of the pixel in the region is represented by a frequency L_{i, j}Need to be converted to
[0760]
The regression line calculation unit 504 calculates the regression line by executing the calculation represented by Expressions (44) and (45).
[0761]
The angle calculation unit 505 converts the slope a of the regression line into an angle θ with respect to the axis in the spatial direction X, which is the reference axis, by the calculation shown in Expression (46).
[0762]
θ = tan^-1(A) ... (46)
[0763]
When the regression line calculation unit 504 calculates a regression line that is a predetermined curve, the angle calculation unit 505 obtains the angle θ of the regression line at the position of the pixel of interest with respect to the reference axis.
[0764]
Here, in order to detect the continuity of data for each pixel, the intercept b is unnecessary. Therefore, it is considered to obtain a first-order regression line shown in Expression (47).
[0765]
y = ax (47)
[0766]
In this case, the regression line calculation unit 504 can obtain the slope a by the equation (48) by the least square method.
[0767]
[Equation 36]

[0768]
With reference to the flowchart of FIG. 114, a description will be given of a process of detecting data continuity by the data continuity detecting unit 101 shown in FIG. 107 and corresponding to the process of step S101.
[0769]
In step S501, the pixel acquisition unit 502 selects a pixel of interest from pixels that have not yet been set as a pixel of interest. For example, the pixel acquisition unit 502 selects a pixel of interest in a raster scan order. In step S502, the pixel acquisition unit 502 acquires the pixel values of the pixels included in the region centered on the target pixel, and supplies the acquired pixel values of the pixels to the frequency detection unit 503. For example, the pixel acquisition unit 502 selects a region including 9 × 5 pixels around the target pixel, and acquires the pixel values of the pixels included in the region.
[0770]
In step S503, the frequency detection unit 503 detects a frequency by converting a pixel value of a pixel included in the region into a frequency. For example, the frequency detection unit 503 converts the pixel value into the frequency L by the calculation shown in Expression (32)._{i, j}Convert to In this case, the frequency L_{i, j}Is a Gaussian distribution, the pixel value of the pixel in the region is the frequency L_{i, j}Is converted to The frequency detection unit 503 supplies the converted frequency to the regression line calculation unit 504.
[0771]
In step S504, the regression line calculation unit 504 obtains a regression line based on the frequency supplied from the frequency detection unit 503. For example, the regression line calculation unit 504 obtains a regression line based on the frequency supplied from the frequency detection unit 503. More specifically, the regression line calculation unit 504 calculates the regression line by executing the calculation represented by Expressions (44) and (45). The regression line calculation unit 504 supplies a calculation result parameter indicating a regression line, which is the calculated result, to the angle calculation unit 505.
[0772]
In step S505, the angle calculation unit 505 detects the continuity of the image data corresponding to the continuity of the missing real-world optical signal by calculating the angle of the regression line with respect to the reference axis. For example, the angle calculation unit 505 converts the slope a of the regression line into an angle θ with respect to the axis in the spatial direction X, which is the reference axis, by the calculation shown in Expression (46). The angle calculation unit 505 outputs data continuity information indicating the angle of the regression line with respect to the reference axis.
[0773]
Note that the angle calculation unit 505 may output data continuity information indicating the inclination a.
[0774]
In step S506, the pixel acquisition unit 502 determines whether or not processing of all pixels has been completed. If it is determined that processing of all pixels has not been completed, the process returns to step S501, and the process returns to step S501. The target pixel is selected from the unselected pixels, and the above-described processing is repeated.
[0775]
If it is determined in step S506 that the processing of all pixels has been completed, the processing ends.
[0776]
As described above, the data continuity detecting unit 101 having the configuration illustrated in FIG. 107 determines the continuity angle of the data with respect to the reference axis in the image data corresponding to the continuity of the missing optical signal of the real world 1. Can be detected.
[0777]
In particular, the data continuity detection unit 101 having the configuration shown in FIG. 107 can obtain an angle equal to or smaller than a pixel based on the pixel value of a pixel in a relatively narrow area.
[0778]
As described above, the real-world optical signal is projected, and a region corresponding to the target pixel, which is the target pixel of the image data in which part of the continuity of the real-world optical signal is missing, is selected. By setting the frequency based on the correlation value to the pixel whose correlation value between the pixel value of the pixel and the pixel value of the pixel belonging to the selected region is equal to or larger than the threshold, the frequency of the pixel belonging to the region is detected and detected. By detecting the regression line based on the frequency, the stationarity of the image data corresponding to the stationarity of the missing optical signal in the real world is detected, and based on the stationarity of the data of the detected image data. If the optical signal is estimated by estimating the stationarity of the missing real-world optical signal, a more accurate and more accurate processing result can be obtained for the real-world event. Become like
[0779]
Note that the data continuity detecting unit 101 having the configuration shown in FIG. 107 converts the pixel values of the pixels belonging to a predetermined region into frequencies for the frame of interest to which the pixel of interest belongs and the frames temporally before and after the frame of interest. If the regression plane is determined based on the frequency, the continuity angle of the data in the time direction can be detected together with the continuity angle of the data in the spatial direction.
[0780]
FIG. 115 is a block diagram showing still another configuration of data continuity detecting section 101.
[0781]
In the data continuity detecting unit 101 shown in FIG. 115, a real-world optical signal is projected, and a target pixel which is a pixel of interest of image data in which a part of the continuity of the real-world optical signal is missing. A corresponding region is selected, and a frequency based on the correlation value is set for a pixel whose correlation value between the pixel value of the pixel of interest and the pixel value of a pixel belonging to the selected region is equal to or greater than a threshold value. The frequency of the pixel to which it belongs is detected, and by detecting a regression line based on the detected frequency, an area having data continuity in the image data corresponding to the continuity of the missing real-world optical signal is detected. .
[0782]
The frame memory 601 stores an input image in frame units, and supplies the stored pixel values of the pixels constituting the frame to the pixel acquisition unit 602. The frame memory 601 stores the current frame of the input image on one page, and obtains the pixel value of the pixel of the previous (past) frame from the current frame stored on another page. The pixel value of the pixel of the frame of the input image which is a moving image can be supplied to the pixel acquisition unit 602 by switching the page at the time of switching the frame of the input image to the pixel acquisition unit 602.
[0783]
The pixel acquisition unit 602 selects a target pixel, which is a target pixel, based on the pixel value of the pixel supplied from the frame memory 601 and includes a predetermined number of pixels corresponding to the selected target pixel. Select an area. For example, the pixel acquisition unit 602 selects a region including 5 × 5 pixels centered on the target pixel.
[0784]
The size of the region selected by the pixel acquisition unit 602 does not limit the present invention.
[0785]
The pixel acquisition unit 602 acquires the pixel values of the pixels in the selected area, and supplies the pixel values of the pixels in the selected area to the frequency detection unit 603.
[0786]
The frequency detection unit 603 calculates the correlation value between the pixel value of the pixel of interest and the pixel value of the pixel belonging to the selected area based on the pixel value of the pixel in the selected area supplied from the pixel acquisition unit 602. By setting a frequency based on the correlation value for a pixel that is equal to or larger than the threshold, the frequency of the pixel belonging to the region is detected. Details of the process of setting the frequency based on the correlation value in the frequency detection unit 603 will be described later.
[0787]
The frequency detection unit 603 supplies the detected frequency to the regression line calculation unit 604.
[0788]
The regression line calculation unit 604 calculates a regression line based on the frequency supplied from the frequency detection unit 603. For example, the regression line calculation unit 604 calculates a regression line based on the frequency supplied from the frequency detection unit 603. In addition, for example, the regression line calculation unit 604 calculates a regression line that is a predetermined curve based on the frequency supplied from the frequency detection unit 603. The regression line calculation unit 604 supplies the calculated regression line and calculation result parameters indicating the result of the calculation to the region calculation unit 605. The calculation result indicated by the calculation parameter includes a fluctuation and a covariation described later.
[0789]
The region calculation unit 605 performs data processing on the input image, which is image data, corresponding to the stationarity of the missing real-world optical signal based on the regression line, which is indicated by the calculation result parameter supplied from the regression line calculation unit 604. Is detected.
[0790]
FIG. 116 is a diagram illustrating a relationship between a change in pixel value and a regression line A with respect to a position of a pixel in the spatial direction in an input image. The pixel value of the pixel in the region having the data continuity changes, for example, in a mountain range as shown in FIG.
[0791]
The data continuity detecting unit 101 having the configuration shown in FIG. 115 draws the regression line A by the least squares method using the pixel values of the pixels in the region having data continuity as weights. The regression line A obtained by the data continuity detection unit 101 expresses the continuity of data around the pixel of interest.
[0792]
Drawing a regression line means approximation based on a Gaussian function. As illustrated in FIG. 117, the data continuity detecting unit 101 having the configuration illustrated in FIG. 115 obtains the approximate width of the area in the data 3 where the thin line image is projected, for example, by calculating the standard deviation. Can be. Further, for example, the data continuity detecting unit 101 whose configuration is shown in FIG. 115 can know the approximate width of the area in the data 3 where the fine line image is projected, based on the correlation coefficient.
[0793]
Next, a specific calculation method of the regression line in the data continuity detection unit 101 having the configuration shown in FIG. 115 will be described.
[0794]
The frequency detection unit 603 calculates, for example, the pixel values of pixels in a region consisting of 9 pixels in the spatial direction X, 5 pixels in the spatial direction Y, and a total of 45 pixels around the pixel of interest, supplied from the pixel acquisition unit 602. , The frequency corresponding to the coordinates of the pixels belonging to the area is detected.
[0795]
For example, the frequency detecting unit 603 calculates the frequency by the calculation represented by Expression (49), and thereby obtains the coordinates (x_i, Y_j) Frequency L_{i, j}Is detected.
[0796]
(37)

[0797]
In equation (49), P_0,0Indicates the pixel value of the target pixel, and P_{i, j}Is the coordinates (x_i, Y_j3) shows the pixel value of the pixel. Th indicates a threshold value.
[0798]
i indicates the order of pixels in the spatial direction X in the region, and 1 ≦ i ≦ k. j indicates the order of pixels in the spatial direction Y in the region, and 1 ≦ j ≦ l.
[0799]
k indicates the number of pixels in the space direction X in the region, and l indicates the number of pixels in the space direction Y in the region. For example, when the region is composed of 9 pixels in the spatial direction X and 5 pixels in the spatial direction Y, a total of 45 pixels, K is 9 and 1 is 5.
[0800]
FIG. 118 is a diagram illustrating an example of an area acquired by the pixel acquisition unit 602. In FIG. 118, a dotted square indicates one pixel.
[0801]
For example, as shown in FIG. 118, the region is composed of 9 pixels centered on the pixel of interest in the spatial direction X and 5 pixels centered on the pixel of interest in the spatial direction Y, and the coordinates (x, When y) is (0,0), the coordinates (x, y) of the upper left pixel of the region are (-4,2), and the coordinates (x, y) of the upper right pixel of the region are (x, y). 4,2), the coordinates (x, y) of the lower left pixel of the area are (-4, -2), and the coordinates (x, y) of the lower right pixel of the area are (4,- 2).
[0802]
The pixel order i in the spatial direction X of the pixel on the left side of the region is 1, and the pixel order i in the spatial direction X of the pixel on the right side of the region is 9. The pixel order j in the spatial direction Y of the pixels on the lower side of the region is 1, and the pixel order j in the spatial direction Y of the pixels on the upper side of the region is 5.
[0803]
That is, the coordinates (x₅, Y₃) Is (0,0), the coordinates (x₁, Y₅) Is (-4, 2), and the coordinates (x₉, Y₅) Is (4, 2), and the coordinates (x₁, Y₁) Is (-4, -2), and the coordinates (x₉, Y₁) Is (4, -2).
[0804]
Since the frequency detection unit 603 calculates the absolute value of the difference between the pixel value of the pixel of interest and the pixel value of the pixel belonging to the region as the correlation value in Expression (49), the image of the thin line of the real world 1 is projected. Input image, in which an image of the real world 1 of a monochromatic object having a linear edge and having a color different from the background is projected, in addition to the region having data continuity in the input image. In this case, the frequency indicating the characteristic of the spatial change of the pixel value can be detected in the area having the continuity of the binary edge data.
[0805]
Note that the frequency detection unit 603 may detect the frequency based not only on the absolute value of the difference between the pixel value and the pixel value, but also on another correlation value such as a correlation coefficient.
[0806]
In addition, the reason why the exponential function is applied in the equation (49) is to make a large difference in frequency with respect to the difference in pixel value, and another function may be applied.
[0807]
The threshold value Th can be an arbitrary value. For example, the threshold Th can be set to 30.
[0808]
As described above, the frequency detecting unit 603 sets the frequency based on the correlation value to the pixel whose correlation value with the pixel value of the pixel belonging to the selected region is equal to or larger than the threshold value, and thereby calculates the frequency of the pixel belonging to the region. To detect.
[0809]
Further, for example, the frequency detection unit 603 calculates the frequency by the calculation represented by the equation (50), and thereby obtains the coordinates (x_i, Y_j) Frequency L_{i, j}Is detected.
[0810]
[Equation 38]

[0811]
Coordinates (x_i, Y_j) Is L_{i, j}(1 ≦ i ≦ k, 1 ≦ j ≦ l), the coordinate x_iAt the frequency L in the spatial direction Y_{i, j}Sum of_iIs represented by equation (51), and the coordinate y_jAt the frequency L in the spatial direction X_{i, j}Sum h_jIs represented by equation (52).
[0812]
[Equation 39]

[0813]
(Equation 40)

[0814]
The sum u of frequencies is represented by equation (53).
[0815]
(Equation 41)

[0816]
In the example shown in FIG. 118, the frequency L of the coordinates of the pixel of interest_5,3Is 3, the frequency L of the coordinates of the pixel above the pixel of interest_5,4Is 1, and the frequency L of the coordinates of the pixel on the upper right side of the pixel of interest is_6,4Is 4, the frequency L of the coordinates of the pixel two pixels above and one pixel to the right of the pixel of interest_6,5Is 2, the frequency L of the coordinates of the pixel two pixels above and two pixels to the right of the pixel of interest_7,5Is 3. Also, the frequency L of the coordinates of the pixel below the target pixel_5,2Is 2, the frequency L of the coordinates of the pixel on the left side of the pixel of interest_4,3Is 1, and the frequency L of the coordinates of the lower left pixel of the pixel of interest is_4,2Is 3, the frequency L of the coordinates of the pixel one pixel below and two pixels to the left of the pixel of interest_3,2Is 2, the frequency L of the coordinates of the pixel located two pixels below and two pixels to the left of the pixel of interest_3,1Is 4. The frequency of the coordinates of the other pixels in the region shown in FIG. 118 is 0, and the description of the frequency of 0 in FIG. 118 is omitted.
[0817]
In the region shown in FIG. 118, the sum q of the frequencies in the spatial direction Y₁Is 0 since the frequencies L where i is 1 are all 0, and q₂Is 0 because all the frequencies L where i is 2 are 0. q₃Is the frequency L_3,2Is 2 and the frequency L_3,1Is 4, so it is 6. Similarly, q₄Is 4 and q₅Is 6, and q₆Is 6, and q₇Is 3 and q₈Is 0 and q₉Is 0.
[0818]
In the region shown in FIG. 118, the sum h of the frequencies in the spatial direction X₁Is the frequency L_3,1Is 4, so it is 4. h₂Is the frequency L_3,2Is 2 and the frequency L_4,2Is 3 and the frequency L_5,2Is 2, so it is 7. Similarly, h₃Is 4 and h₄Is 5 and h₅Is 5.
[0819]
In the region shown in FIG. 118, the sum u of frequencies is 25.
[0820]
Frequency L in spatial direction Y_{i, j}Sum of_iAnd the coordinate x_iSum T obtained by adding the result of multiplication_xIs represented by equation (54).
[0821]
(Equation 42)

[0822]
Frequency L in spatial direction X_{i, j}Sum h_jAnd the coordinate y_jSum T obtained by adding the result of multiplication_yIs represented by equation (55).
[0823]
[Equation 43]

[0824]
For example, in the region shown in FIG.₁Is 0 and x₁Is -4, so q₁x₁Is 0 and q₂Is 0 and x₂Is -3, so q₂x₂Is 0. Similarly, q₃Is 6, and x₃Is -2, so q₃x₃Is -12 and q₄Is 4 and x₄Is -1, so q₄x₄Is -4 and q₅Is 6, and x₅Is 0, so q₅x₅Is 0. Similarly, q₆Is 6, and x₆Is 1, so q₆x₆Is 6, and q₇Is 3 and x₇Is 2, so q₇x₇Is 6, and q₈Is 0 and x₈Is 3, so q₈x₈Is 0 and q₉Is 0 and x₉Is 4, so q₉x₉Is 0. Therefore, q₁x₁Or q₉x₉T which is the sum of_xIs -4.
[0825]
For example, in the area shown in FIG.₁Is 4 and y₁Is -2, so h₁y₁Is -8 and h₂Is 7 and y₂Is -1, so h₂y₂Is -7. Similarly, h₃Is 4 and y₃Is 0, so h₃y₃Is 0 and h₄Is 5 and y₄Is 1 so h₄y₄Is 5 and h₅Is 5 and y₅Is 2 so h₅y₅Is 10. Therefore, h₁y₁To h₅y₅T which is the sum of_yIs 0.
[0826]
Also, Q_iIs defined as follows.
[0827]
[Equation 44]

[0828]
Variation S of x_xIs represented by equation (57).
[0829]
[Equation 45]

[0830]
fluctuation S of y_yIs represented by equation (58).
[0831]
[Equation 46]

[0832]
Covariance S_xyIs represented by equation (59).
[0832]
[Equation 47]

[0834]
Consider obtaining a first-order regression line shown in Expression (60).
[0835]
y = ax + b (60)
[0836]
The slope a and the intercept b can be obtained by the least square method as follows.
[0837]
[Equation 48]

[0838]
[Equation 49]

[0839]
However, a necessary condition for obtaining a correct regression line is a frequency L_{i, j}Is distributed in a Gaussian distribution with respect to the regression line. Conversely, the frequency detection unit 603 calculates the frequency L_{i, j}Is a Gaussian distribution, the pixel value of the pixel in the region is represented by a frequency L_{i, j}Need to be converted to
[0840]
The regression line calculation unit 604 obtains a regression line by executing the calculation represented by Expressions (61) and (62).
[0841]
In order to detect the continuity of data for each pixel, the intercept b is unnecessary. Therefore, it is considered to obtain a first-order regression line shown in Expression (63).
[0842]
y = ax (63)
[0843]
In this case, the regression line calculation unit 604 can obtain the slope a by the equation (64) by the least square method.
[0844]
[Equation 50]

[0845]
In the first method for specifying a region having data continuity, the estimation error of the regression line shown in Expression (60) is used.
[0846]
fluctuation S of y_{y ・ x}Is obtained by an operation represented by Expression (65).
[0847]
(Equation 51)

[0848]
The variance of the estimation error is obtained by the calculation represented by Expression (66) using the fluctuation.
[0849]
(Equation 52)

[0850]
Therefore, the standard deviation is derived by the following equation.
[0851]
(Equation 53)

[0852]
However, since the standard deviation is an amount corresponding to the width of the thin line when targeting the area where the image of the thin line is projected, it is generally determined that the large standard deviation is not an area having a steady state of the data. It is not possible. However, for example, the classification adaptation process fails because the thin line width is narrow even in the region where the data is stationary, so that the area where the classification adaptation process is likely to fail is standardized. Information indicating an area detected using the deviation can be used.
[0853]
The area calculation unit 605 calculates the standard deviation by the calculation represented by the equation (67), and calculates the area having the data continuity in the input image based on the standard deviation. For example, the area calculation unit 605 obtains a distance by multiplying the standard deviation by a predetermined coefficient, and sets an area within the obtained distance from the regression line as an area having data continuity. For example, the area calculation unit 605 calculates an area having a distance within a standard deviation from the regression line around the regression line as an area having data continuity.
[0854]
In the second technique, frequency correlation is used to detect a region having a steady state of data.
[0855]
Correlation coefficient r_xyIs the variation S of x_x, Y variation S_y, And covariation S_xyCan be obtained by the calculation represented by the equation (68).
[0856]
(Equation 54)

[0857]
Since the correlation has a positive correlation and a negative correlation, the area calculation unit 605 calculates the correlation coefficient r_xyOf the correlation coefficient r_xyThe closer the absolute value of is to 1, the stronger the correlation is determined. More specifically, the area calculation unit 605 calculates the threshold value and the correlation coefficient r_xyAnd the correlation coefficient r_xyAre detected as areas having data continuity.
[0858]
With reference to the flowchart of FIG. 119, a description will be given of a process of detecting data continuity by the data continuity detecting unit 101 shown in FIG. 115, which corresponds to the process of step S101.
[0859]
In step S601, the pixel acquisition unit 602 selects a target pixel from pixels that have not been set as the target pixel yet. For example, the pixel acquisition unit 602 selects a pixel of interest in a raster scan order. In step S <b> 602, the pixel acquisition unit 602 acquires the pixel values of the pixels included in the region centered on the target pixel, and supplies the acquired pixel values to the frequency detection unit 603. For example, the pixel acquisition unit 602 selects a region including 9 × 5 pixels around the target pixel, and acquires the pixel values of the pixels included in the region.
[0860]
In step S603, the frequency detection unit 603 detects a frequency by converting a pixel value of a pixel included in the region into a frequency. For example, the frequency detection unit 603 calculates the pixel value as a frequency L by an operation represented by Expression (49)._{i, j}Convert to In this case, the frequency L_{i, j}Are distributed in a Gaussian distribution so that the pixel values of the pixels in the region are frequency L_{i, j}Is converted to The frequency detection unit 603 supplies the converted frequency to the regression line calculation unit 604.
[0861]
In step S604, the regression line calculation unit 604 obtains a regression line based on the frequency supplied from the frequency detection unit 503. For example, the regression line calculation unit 604 obtains a regression line based on the frequency supplied from the frequency detection unit 603. More specifically, the regression line calculation unit 604 obtains a regression line by executing the calculation represented by Expressions (61) and (62). The regression line calculation unit 604 supplies a calculation result parameter indicating the calculated regression line to the region calculation unit 605.
[0862]
In step S605, the area calculation unit 605 calculates a standard deviation of the regression line. For example, the region calculation unit 605 calculates the standard deviation with respect to the regression line by the calculation shown in Expression (67).
[0863]
In step S606, the region calculation unit 605 specifies a region having data continuity in the input image from the standard deviation. For example, the area calculation unit 605 obtains a distance by multiplying the standard deviation by a predetermined coefficient, and specifies, from the regression line, an area within the obtained distance as an area having data continuity.
[0864]
The area calculation unit 605 outputs data continuity information indicating an area having data continuity.
[0865]
In step S607, the pixel acquisition unit 602 determines whether or not processing of all pixels has been completed. If it is determined that processing of all pixels has not been completed, the process returns to step S601, and the process returns to step S601. The target pixel is selected from the unselected pixels, and the above-described processing is repeated.
[0866]
If it is determined in step S607 that the processing of all pixels has been completed, the processing ends.
[0867]
With reference to the flowchart of FIG. 120, another process of detecting data continuity by the data continuity detecting unit 101 shown in FIG. 115 and corresponding to the process of step S101 will be described. The processing of steps S621 to S624 is the same as the processing of steps S601 to S604, and a description thereof will be omitted.
[0868]
In step S625, the area calculation unit 605 calculates a correlation coefficient for the regression line. For example, the region calculation unit 605 calculates a correlation coefficient with respect to the regression line by the calculation represented by Expression (68).
[0869]
In step S626, the area calculation unit 605 specifies an area having data continuity in the input image from the correlation coefficient. For example, the region calculation unit 605 compares a threshold value stored in advance with the absolute value of the correlation coefficient, and specifies a region where the absolute value of the correlation coefficient is equal to or greater than the threshold value as a region having data continuity. .
[0870]
The area calculation unit 605 outputs data continuity information indicating an area having data continuity.
[0871]
The process in step S627 is the same as the process in step S607, and a description thereof will not be repeated.
[0873]
As described above, the data continuity detecting unit 101 having the configuration illustrated in FIG. 115 can detect an area having data continuity in image data corresponding to the continuity of the missing optical signal of the real world 1. .
[0873]
As described above, the real-world optical signal is projected, and a region corresponding to the target pixel, which is the target pixel of the image data in which part of the continuity of the real-world optical signal is missing, is selected. By setting the frequency based on the correlation value to the pixel whose correlation value between the pixel value of the pixel and the pixel value of the pixel belonging to the selected region is equal to or larger than the threshold, the frequency of the pixel belonging to the region is detected and detected. By detecting the regression line based on the frequency, an area having data continuity in the image data corresponding to the continuity of the missing real-world optical signal is detected, and the data continuity of the detected image data is detected. If the optical signal is estimated by estimating the stationarity of the missing real-world optical signal based on the gender, a more accurate and more accurate processing result is obtained for the real-world event I can do it To become.
[0874]
FIG. 121 shows the configuration of another embodiment of the data continuity detecting unit 101.
[0875]
The data continuity detecting unit 101 in FIG. 121 includes a data selecting unit 701, a data adding unit 702, and a steady direction deriving unit 703.
[0876]
The data selection unit 701 selects each pixel of the input image as a target pixel, selects pixel value data of a pixel corresponding to each target pixel, and outputs the selected pixel value data to the data adding unit 702.
[0877]
The data addition unit 702 performs an addition operation using the least squares method based on the data input from the data selection unit 701, and outputs the result of the addition operation to the steady direction deriving unit 703. The addition operation performed by the data addition unit 702 is an operation in a summation term used in an operation of the least squares method described later, and the operation result is a characteristic of image data for detecting a stationary angle. It can be said that there is.
[0878]
The stationary direction deriving unit 703 calculates a stationary direction, that is, an angle (eg, a thin line or an inclination of a binary edge, etc.) from a reference axis having data continuity based on the addition operation result input from the data adding unit 702. Or direction) and outputs this as data continuity information.
[0877]
Next, an outline of an operation of detecting continuity (direction or angle) in the data continuity detecting unit 101 will be described with reference to FIG. In FIGS. 122 and 123, parts corresponding to those in FIGS. 6 and 7 are denoted by the same reference numerals, and the description thereof will be omitted below as appropriate.
[0880]
As shown in FIG. 122, a signal (for example, an image) of the real world 1 is transmitted from an optical system 141 (for example, a lens or an LPF (Low Pass Filter) or the like) to a sensor 2 (for example, a CCD (Charge Coupled)). Device or a CMOS (Complementary Metal-Oxide Semiconductor) or the like. The sensor 2 is composed of, for example, an element having an integration characteristic such as a CCD or a CMOS. With such a configuration, an image obtained from the data 3 output from the sensor 2 is different from the image of the real world 1 (a difference from the image of the real world 1 occurs).
[0881]
Therefore, as shown in FIG. 123, the data continuity detecting unit 101 approximately describes the real world 1 using an approximation formula using a model 705, and extracts data continuity from the approximation formula. The model 705 is represented by, for example, N variables. More precisely, the model 705 approximates (describes) the real world 1 signal.
[0882]
The data continuity detecting unit 101 extracts M data 706 from the data 3 in order to predict the model 705. As a result, the model 705 is constrained by the stationarity of the data.
[0883]
In other words, the model 705, when acquired by the sensor 2, causes the data 3 to show data continuity of data, and indicates an event of the real world 1 having continuity (a characteristic constant in a direction of a predetermined dimension). (Signal)).
[0884]
Here, if the number M of the data 706 is equal to or larger than the number N of the variables of the model 705, the model 705 represented by the N variables can be predicted from the M data 706.
[0885]
Further, the data continuity detecting unit 101 predicts a model 705 that approximates (describes) (the signal of) the real world 1 to thereby detect data continuity included in a signal that is information of the real world 1 by, for example, a thin line. Or the direction of the binary edge (inclination or the angle between the axis and a predetermined direction), and outputs the data as data continuity information.
[0886]
Next, the data continuity detecting unit 101 that outputs the direction (angle) of a thin line from an input image as data continuity information will be described with reference to FIG.
[0887]
The data selection unit 701 includes a horizontal / vertical determination unit 711 and a data acquisition unit 712. The horizontal / vertical determination unit 711 determines whether the angle of the thin line of the input image with respect to the horizontal direction is a thin line close to the horizontal direction or a thin line close to the vertical direction, based on the difference between the pixel value of the target pixel and the peripheral pixels. , And outputs the determination result to the data acquisition unit 712 and the data addition unit 702, respectively.
[0888]
More specifically, for example, another method may be used in the sense of this method. For example, a simple 16 azimuth detection technique may be used here. As shown in FIG. 125, the horizontal / vertical determination unit 711 determines the difference between the pixels in the horizontal direction (the difference in pixel value between pixels) between the pixel of interest and the pixel adjacent to the pixel of interest. Activity (hdiff) and the difference (vdiff) between the sum of the differences (activity) between the pixels in the vertical direction are calculated, and the sum of the differences between the pixel of interest and the pixels adjacent in the vertical direction is large, or , It is determined whether the sum of the differences between horizontally adjacent pixels is large. Here, in FIG. 125, each square indicates a pixel, and the central pixel in the figure is the pixel of interest. The difference between the pixels indicated by the dotted arrows in the figure is the difference between the pixels in the horizontal direction, and the sum thereof is indicated by hdiff. Further, a difference between pixels indicated by solid arrows in the drawing is a difference between pixels in the vertical direction, and the sum thereof is indicated by vdiff.
[0889]
Based on the difference sum hdiff of the pixel values between the pixels in the horizontal direction and the sum vdiff of the pixel values between the pixels in the vertical direction thus obtained, the horizontal / vertical determination unit 711 determines (hdiff-vdiff) by: If it is positive, the change (activity) of the pixel value between the pixels in the horizontal direction is larger than that in the vertical direction. Therefore, as shown in FIG. 126, the angle with respect to the horizontal direction is θ (0 degrees ≦ θ ≦ 180 degrees). ), It is determined that the pixel belongs to a thin line having an angle close to the vertical direction, that is, 45 degrees <θ ≦ 135 degrees. Conversely, if the pixel value is negative, the pixel value between pixels in the vertical direction is determined. Is large, so that it is determined that the pixel belongs to a thin line having an angle close to the horizontal direction, that is, 0 degrees ≦ θ <45 degrees or 135 degrees <θ ≦ 180 degrees. (Direction (angle) where the thin line continues Are all pixels that represent a thin line, so the change (activity) between the pixels should be small).
[0890]
The horizontal / vertical determination unit 711 includes a counter (not shown) for identifying each pixel of the input image, and is used as needed.
[0891]
In FIG. 125, the sum of the differences between the pixel values in the vertical direction and the horizontal direction in the range of 3 × 3 pixels around the pixel of interest is compared to determine whether the thin line is close to the vertical direction or Although the example of determining whether the pixel is close to the horizontal direction has been described, the direction of the fine line may be determined using a similar method using a larger number of pixels. The determination may be made based on a pixel or a block having a larger number of pixels such as 7 pixels × 7 pixels.
[0892]
The data acquisition unit 712 is based on the thin line direction determination result input from the horizontal / vertical determination unit 711, and is a block unit composed of a plurality of pixels arranged in the horizontal direction corresponding to the pixel of interest or a plurality of pixels arranged in the vertical direction. The pixel value is read (acquired) in block units of the pixel of the pixel, and between the pixels adjacent in the direction of the determination result of the horizontal / vertical direction determination unit 711 between a plurality of pixels corresponding to the read (acquired) target pixel. And data of the maximum value and the minimum value of the pixel values from the pixels included in the block having the predetermined number of pixels, together with the difference data of. In the following, a block of a plurality of pixels acquired by the data acquisition unit 712 corresponding to the pixel of interest is referred to as an acquisition block (an acquisition block is, for example, a plurality of pixels (each (Indicated by a square), when a pixel indicated by a black-line square is taken as a pixel of interest, there are a total of 15 pixels including three pixels above and below and one pixel on the left and right).
[0893]
The difference adding unit 721 of the data adding unit 702 detects the difference data input from the data selecting unit 701, and detects the difference data in the horizontal or vertical direction input from the horizontal / vertical determining unit 711 of the data selecting unit 701. Based on the determination result, an addition process required for a solution of the least squares method described later is executed, and the addition result is output to the steady direction deriving unit 703. More specifically, the difference data of the pixel value between the pixel i and the pixel (i + 1) adjacent to each other in the determination direction by the horizontal / vertical determination unit 711 among the plurality of pixels is set to yi, and the acquisition block corresponding to the target pixel is set. Is composed of n pixels, the difference adding unit 721 calculates (y1) for each horizontal or vertical direction.²+ (Y2)²+ (Y3)²The calculation is performed by adding +... To the stationary direction deriving unit 703.
[0894]
The MaxMin acquisition unit 722 includes a block set for each pixel included in the acquisition block corresponding to the target pixel input from the data selection unit 701 (hereinafter, referred to as a dynamic range block (the dynamic range block is described later with reference to FIG. 139). For example, among the pixels of the acquisition block indicated by, the pixel pix12 is a dynamic range block B1 that is surrounded by a solid black line, and is a total of seven pixels, such as three pixels above and below the pixel pix12)) When the maximum value and the minimum value of the pixel value of the included pixel are obtained, the dynamic range Dri (the maximum value and the minimum value of the pixel value of the pixel included in the dynamic range block corresponding to the i-th pixel in the obtained block) are obtained from the difference. The difference is calculated (detected) and output to the difference adding unit 723.
[0895]
The difference addition unit 723 detects the dynamic range Dri input from the MaxMin acquisition unit 722 and the difference data input from the data selection unit 701, and based on the detected dynamic range Dri and the difference data, determines the data selection unit 701. , And adds the value obtained by multiplying the dynamic range Dri and the difference data yi for each horizontal or vertical direction input from the horizontal / vertical determination unit 711, and outputs the calculation result to the stationary direction derivation unit 703. That is, the calculation result output by the difference adding unit 723 is y1 × Dr1 + y2 × Dr2 + y3 × Dr3 +... In each of the horizontal and vertical directions.
[0896]
The steady direction calculating unit 731 of the steady direction deriving unit 703 calculates the angle (direction) of the thin line based on the horizontal or vertical addition result obtained from the data addition unit 702. , And outputs the calculated angle as continuity information.
[0897]
Here, a method of calculating the direction of the thin line (the inclination or angle of the thin line) will be described.
[0898]
When a portion surrounded by a white line in the input image as shown in FIG. 127A is enlarged, a thin line (white line ascending in the figure and obliquely in the figure) is actually displayed as shown in FIG. 127B. ing. That is, in the real world, as shown in FIG. 127C, the image has two types of levels, that is, the level of the thin line (the shaded area with a low density in FIG. 127C) and the background level, and the other levels are the boundaries. It does not exist. On the other hand, as shown in FIG. 127B, an image captured by the sensor 2, that is, an image captured in pixel units, is obtained by integrating pixels whose background level and fine line level are spatially mixed due to the integration effect. Thus, an image is obtained in which blocks composed of a plurality of pixels arranged in the vertical direction are repeatedly arranged in the thin line direction so that the ratio (mixing ratio) changes in a fixed pattern. In FIG. 127B, each square cell indicates one pixel of the CCD, and the length of each side is d_CCD. The squares are the minimum pixel values corresponding to the background level in the grid-filled area, and the pixel values in the other hatched areas are lower as the density of the diagonal lines decreases. (The white square without oblique lines has the maximum pixel value).
[0899]
As shown in FIG. 128A, when a thin line exists on the background of the real world, as shown in FIG. 128B, the image of the real world is the level on the horizontal axis and the image of the portion corresponding to the level on the vertical axis. The upper area indicates the relationship between the area corresponding to the background in the image and the area corresponding to the thin line in the image.
[0900]
Similarly, in the image picked up by the sensor 2, as shown in FIG. 129A, among the pixels of the background level, the pixels in which the background level and the thin line level arranged vertically are mixed have a predetermined mixing ratio. 129B becomes an image in which blocks arranged in the vertical direction while being changed in the pattern described above are repeatedly arranged in the direction in which the thin line exists, and as shown in FIG. 129B, a region at the background level (background region) Then, there is a spatial mixed region composed of pixels which are obtained as a result of spatially mixing the background and the fine line, which take an intermediate level between the levels of the fine lines. Here, the vertical axis in FIG. 129B is the number of pixels, but the area of one pixel is (d_CCD)²129B, it can be said that the relationship between the pixel value level and the number of pixels in FIG. 129B is the same as the relationship between the pixel value level and the area distribution.
[0901]
As a result, the same result is obtained as shown in FIG. 130B even in a portion (image of 31 pixels × 31 pixels) surrounded by a white line in the actual image of FIG. 130A. That is, in the background portion shown in FIG. 130A (the portion that looks black in FIG. 130A), as shown in FIG. 130B, many pixels having low pixel value levels (pixel values near 20) are distributed. The portions where these changes are small form an image of the background region. On the other hand, the portion where the pixel value level is not low in FIG. 130B, that is, the pixels in which the pixel value level is distributed in the vicinity of 40 to 160 is a pixel belonging to the spatial mixing area forming a thin line image. Although the number of pixels for each pixel value is small, it is distributed over a wide range of pixel values.
[0902]
By the way, the respective levels of the background and the thin line in the image of the real world change as shown in FIG. 131B, for example, when viewed in the arrow direction (Y coordinate direction) shown in FIG. 131A. That is, in the background area from the starting point of the arrow to the thin line, the background level becomes a relatively low level, and in the thin line area, the level becomes a high level thin line. A low background level. As a result, a pulse-like waveform having a high level only in the thin line region is obtained.
[0903]
On the other hand, of the images captured by the sensor 2, the pixels on the spatial direction X = X1 in FIG. 132A corresponding to the directions of the arrows in FIG. 131A (the pixels indicated by black circles in FIG. 132A) ) And the spatial direction Y of the pixel are as shown in FIG. 132B. In FIG. 132A, a thin line on the image of the real world is shown between two white lines rising to the right.
[0904]
That is, as shown in FIG. 132B, since the pixel corresponding to the center pixel in FIG. 132A has the highest pixel value, the position of each pixel in the spatial direction Y is Becomes higher as approaching the pixel, and gradually decreases after passing through the center position. As a result, a mountain-shaped waveform is formed as shown in FIG. 132B. Further, the change in the pixel value of each pixel corresponding to the spatial direction X = X0, X2 in FIG. 132A has the same outer shape, although the peak position in the spatial direction Y is shifted according to the inclination of the fine line.
[0905]
For example, in the case of an image actually captured by the sensor 2 as shown in FIG. 133A, similar results are obtained as shown in FIG. 133B. That is, FIG. 133B shows that the pixel values near the thin line in the range surrounded by the white line in the image of FIG. 133A correspond to the spatial direction Y for each predetermined spatial direction X (X = 561, 562, 563 in the figure). 3 shows the change in the pixel value. As described above, also in the image captured by the actual sensor 2, when X = 561, Y = around 730, when X = 562, Y = around 705, and when X = 563, Y = around 685. , And have peak-shaped waveforms each having a peak.
[0906]
As described above, the waveform indicating the level change near the thin line of the image in the real world is a pulse-like waveform, whereas the waveform indicating the change in the pixel value of the image captured by the sensor 2 is a mountain-shaped waveform. It becomes.
[0907]
In other words, in other words, the level of the image in the real world should have a waveform as shown in FIG. 131B, but is captured by the sensor 2, so that the captured image becomes as shown in FIG. 132B. It can be said that the change is distorted and changes to a waveform different from the image of the real world (real world information is missing).
[0908]
Therefore, in order to acquire the stationarity information of the image of the real world from the image captured by the sensor 2, a model for approximately describing the real world from the data of the image acquired by the sensor 2 (see FIG. 123) (Corresponding to the model 705). For example, in the case of a thin line, a real world image is set as shown in FIG. That is, the level of the background portion on the left side in the drawing is B1, the level of the background portion on the right side of the drawing is B2, the level of the thin line portion is L, the mixing ratio of the thin line is α, the width of the thin line is W, and the thin line is in the horizontal direction. The parameters are set by setting the angle to θ, modeling is performed, a function that approximately represents the real world is set, an approximate function that approximately represents the real world is obtained by obtaining each parameter, and a thin line is obtained from the approximate function. (Inclination or angle with respect to the reference axis).
[0909]
At this time, since the left and right portions of the background area can be approximated as being the same, they are unified as B (= B1 = B2) as shown in FIG. 135. It is assumed that the width of the thin line is one pixel or more. When the sensor 2 captures an image of the real world set in this way, the captured image is captured as shown in FIG. 136A. In FIG. 136A, a thin line on the image of the real world is shown between two white lines rising to the right.
[0910]
That is, the pixel existing at the position on the thin line in the real world has the level closest to the level of the thin line, and the pixel value decreases as the distance from the thin line in the vertical direction (the direction of the space direction Y) decreases, and the pixel contacts the thin line region. The pixel value of a pixel existing at a position where there is no occurrence, that is, the pixel of the background area has a pixel value of the background level. At this time, the pixel value of a pixel existing at a position straddling the thin line region and the background region is a pixel value obtained by mixing the pixel value B of the background level and the pixel value L of the thin line level with a mixture ratio α.
[0911]
As described above, when each pixel of the captured image is set as a target pixel, the data acquisition unit 712 extracts a pixel of an acquisition block corresponding to the target pixel, and for each pixel configuring the extracted acquisition block, A dynamic range block is extracted, and a pixel having a maximum pixel value and a pixel having a minimum pixel value among the pixels constituting the dynamic range block are extracted. That is, as shown in FIG. 136A, a pixel of a dynamic range block corresponding to a predetermined pixel in the acquisition block (pixel pix4 in which a square is described by a solid black line in one cell in the figure) (for example, in the figure, 136), the real-world image corresponding to each of the pixels pix1 to pix7 is extracted as shown in FIG. 136B.
[0912]
That is, as shown in FIG. 136B, in the pixel pix1, a portion occupying approximately １ ／ of the left portion is a background region, and a portion occupying approximately ／ of the right portion is a thin line region. Substantially the entire area of the pixel pix2 is a thin line area. In the pixel pix3, a portion occupying approximately 7/8 of the left portion is a thin line region, and a portion occupying the right 1/8 area is a thin line region. In the pixel pix4, a portion occupying approximately ／ of the left portion is a thin line region, and a portion occupying approximately ３ of the right portion is a background region. In the pixel pix5, a portion occupying approximately 1/3 of the area on the left side is a thin line region, and a portion occupying approximately 2/3 of the area on the right side is a background region. In the pixel pix6, a portion occupying approximately １ ／ of the left portion is a thin line region, and a portion occupying approximately ／ of the right portion is a background region. Further, the pixel pix7 is entirely a background area.
[0913]
As a result, the pixel values of the pixels pix1 to pix7 of the dynamic range block shown in FIG. 136 are obtained by mixing the pixel value obtained by mixing the background level and the thin line level with a mixing ratio corresponding to the ratio of the area of the thin line region to the background region. Become. That is, the mixing ratio of the background level and the foreground level is about 1: 7 for the pixel pix1, about 0: 1 for the pixel pix2, about 1: 7 for the pixel pix3, about 1: 2 for the pixel pix4, and about 2: 2 for the pixel pix5. 1, the pixel pix6 is approximately 7: 1, and the pixel pix7 is approximately 1: 0.
[0914]
Accordingly, the pixel values of the pixels pix1 to pix7 of the extracted dynamic range block are the highest in the pixel pix2, followed by the pixels pix1, 3 and the pixels pix4, 5, 6, 7 in the descending order of the pixel value. Become. Therefore, in the case shown in FIG. 136B, the maximum value is the pixel value of the pixel pix2, and the minimum value is the pixel value of the pixel pix7.
[0915]
In addition, as shown in FIG. 137A, the direction of the thin line is a direction in which the pixels having the maximum pixel value are continuous, and the direction in which the pixel having the maximum value is arranged is the direction of the thin line. .
[0916]
Here, the gradient G indicating the direction of the thin line_fl137 is the ratio of the change in the spatial direction Y (change in distance) to the unit distance in the spatial direction X, so in the case shown in FIG. The distance in the spatial direction Y is the gradient G_flBecomes
[0917]
As shown in FIG. 137B, the change of the pixel value in each of the spatial directions X0 to X2 in the spatial direction Y is a mountain-shaped waveform repeated at a predetermined interval for each spatial direction X. As described above, in the image captured by the sensor 2, the thin line is a direction in which the pixels having the maximum value are continuous, and therefore the interval S in the spatial direction Y at which the maximum value in each spatial direction X is obtained is represented by the inclination of the thin line. G_flBecomes That is, as shown in FIG. 137C, the amount of change in the vertical direction with respect to the distance of one pixel in the horizontal direction is the gradient G._flBecomes Therefore, the slope G of this thin line_fl(Corresponding to the angle when the horizontal direction is the reference axis) is expressed by the following formula (θ) when the angle of the thin line with the horizontal direction as the reference axis corresponding to the inclination is expressed as θ, as shown in FIG. 137C. The relationship shown in (69) is established.
[0918]
θ = Tan^-1(G_fl) (= Tan^-1(S)) ... (69)
[0919]
In addition, a model as shown in FIG. 135 is set, and the relationship between the pixels in the spatial direction Y and the pixel value is changed such that a mountain-shaped waveform shown in FIG. 137B is a complete triangular waveform (rising or falling). 138 changes linearly, an isosceles triangular waveform), as shown in FIG. 138, the pixel value of each pixel existing on the spatial direction Y in the spatial direction X of the predetermined target pixel Is the maximum value of Max = L (here, the pixel value corresponding to the level of the thin line in the real world), and the minimum value is Min = B (here, the pixel value corresponding to the level of the background of the real world). The relationship represented by the following equation (70) holds.
[0920]
LB = G_fl× d_y (70)
[0921]
Here, d_y indicates a difference in pixel value between pixels in the spatial direction Y.
[0922]
That is, the spatial gradient G_flIs larger, the thin line approaches a more vertical one, so the mountain-shaped waveform becomes an isosceles triangular waveform with a larger base, and conversely, the smaller the slope S, the smaller isosceles triangular waveform with a smaller base . As a result, the slope G_flIs larger, the difference d_y in pixel value between pixels in the spatial direction Y is smaller, and as the slope S is smaller, the difference d_y in pixel value between pixels in the spatial direction Y is larger.
[0923]
Therefore, the gradient G that satisfies the relationship of the above equation (70)_fl, The angle θ of the fine line with respect to the reference axis can be obtained. Equation (70) gives the slope G_flIs a function of one variable, and the difference (vertical direction) d_y of the pixel value between neighboring pixels and the difference (LB) between the maximum value and the minimum value of the target pixel are 1 Although it can be obtained by using a set, as described above, since the approximation formula based on the assumption that the change in the pixel value in the spatial direction Y is a complete triangular waveform is used, A dynamic range block is extracted for each pixel of the extracted block, and a dynamic range Dr is obtained from the maximum value and the minimum value, and a difference d_y of a pixel value between pixels in the spatial direction Y of each pixel of the extracted block is calculated. And statistically obtained by the least squares method.
[0924]
Here, in describing the statistical processing by the least squares method, first, details of the extraction block and the dynamic range block will be described.
[0925]
For example, as shown in FIG. 139, the extraction block includes three pixels in the spatial direction Y and three pixels in the spatial direction X of the pixel of interest (the square pixel drawn by a black solid line in the figure). A total of 15 pixels for one pixel on the left and right may be used. In this case, the difference d_y between the pixels of each pixel of the extraction block is, for example, the difference corresponding to the pixel pix11 is indicated by d_y11. When the spatial direction X = X0, the pixels pix11 and pix12, pix12 are used. Pix13, pix13 and pix14, pix15 and pix16, and pixel value differences d_y11 to d_y16 between pixels pix16 and pix17. At this time, also in the spatial direction X = X1, X2, a difference in pixel value between pixels is obtained in a similar manner. As a result, in this case, there are 18 pixel value differences d_y between the pixels.
[0926]
Further, for each pixel of the extracted block, the pixel of the dynamic range block is determined to be in the vertical direction in this case based on the determination result of the horizontal / vertical determination unit 711 for the pixel pix11. As shown in FIG. 139, assuming that there are seven pixels in the range of the dynamic range block B1 for three pixels in the vertical direction (spatial direction Y) including the pixel pix11, this dynamic range block B1 The maximum value and the minimum value of the pixel value of the pixel are determined, and the dynamic range obtained from the maximum value and the minimum value is defined as a dynamic range Dr11. Similarly, for the pixel pix12 of the extraction block, the dynamic range Dr12 is similarly obtained from the seven pixels of the dynamic range block B2 in FIG. 139. Thus, based on the combination of the 18 pixel differences d_yi in the extracted block and the corresponding dynamic range Dri, the slope G is statistically calculated using the least squares method._flIs required.
[0927]
Next, the solution of the least square method of one variable will be described. Here, it is assumed that the determination result of the horizontal / vertical determination unit 711 is the vertical direction.
[0928]
The one-variable least-squares method solves, for example, the gradient G of a straight line composed of the predicted value Dri_c, which minimizes the distance to all measured values indicated by black points in FIG._flIs what you want. Therefore, the slope S is obtained from the relationship represented by the above equation (70) by the following method.
[0929]
That is, when the difference between the maximum value and the minimum value is the dynamic range Dr, the above equation (70) is described as shown in the following equation (71).
[0930]
Dr = G_fl× d_y ... (71)
[0931]
The dynamic range Dri_c is obtained by substituting the difference d_yi between the pixels of the extraction block into the above equation (71). Therefore, the relationship of the following equation (72) is satisfied for each pixel.
[0932]
Dri_c = G_fl× d_yi ... (72)
[0933]
Here, the difference d_yi is a difference in pixel value between pixels in the spatial direction Y of each pixel i (for example, the difference in pixel value between pixels adjacent to the pixel i in the upward or downward direction). Dri_c is the difference, and the dynamic range obtained when Expression (70) holds for pixel i.
[0934]
As described above, the least squares method here is a method of calculating the difference between the dynamic range Dri_c of the pixel i of the extracted block and the dynamic range Dri_r obtained by the method described with reference to FIG. The gradient G when the sum of squares Q is minimum in all pixels in the image_flIt is a method of seeking. Therefore, the sum of squares of difference Q is obtained by the following equation (73).
[0935]
[Equation 55]

[0936]
Since the sum of squared differences Q represented by the equation (73) is a quadratic function, the variable G_fl(Slope G_fl) Is a downwardly convex curve as shown in FIG._flG that minimizes_flmin is the solution of the least squares method.
[0937]
The sum of squared differences Q expressed by the equation (73)_flWhen differentiated by the following equation, dQ / dG expressed by the following equation (74) is obtained._flBecomes
[0938]
[Equation 56]

[0939]
Expression (74) indicates that G_flIs the minimum value of the sum of squared differences Q shown in FIG._flmin, the equation when equation (74) becomes 0 is expanded to obtain the gradient G in equation (75) below._flWill be required.
[0940]
[Equation 57]

[0941]
The above equation (75) is a so-called one variable (slope G_fl) Is the normal equation.
[0942]
In this manner, the obtained gradient G_flIs substituted into the above equation (69) to obtain the gradient G of the thin line._fl, The angle θ of the thin line when the horizontal direction is used as the reference axis can be obtained.
[0943]
In the above description, an example has been described in which the target pixel is a pixel on a thin line in which the angle θ when the horizontal direction is the reference axis is in the range of 45 degrees ≦ θ <135 degrees. However, for example, when the target pixel is on a thin line close to the horizontal direction where the angle θ of the thin line with respect to the reference axis with respect to the horizontal direction is 0 ° ≦ θ <45 ° or 135 ° ≦ θ <108 ° If the pixel is a pixel, the difference in pixel value between pixels adjacent to the pixel i is the difference d_xi between pixel values between pixels adjacent in the horizontal direction. When the value or the minimum value is obtained, the pixels of the dynamic range block to be extracted are also selected from a plurality of pixels existing in the horizontal direction with respect to the pixel i. Regarding the processing in this case, since the relationship between the horizontal direction and the vertical direction in the above description is merely interchanged, the description is omitted.
[0944]
Further, an angle corresponding to the inclination of the binary edge can be obtained by a similar method.
[0945]
That is, when a portion surrounded by a white line in the input image as shown in FIG. 142A is enlarged, an edge portion in the image (in FIG. 142, a character “10” drawn below a white flag drawn on a black flag). (Hereinafter, the edge portion on the image composed of the binary levels is also referred to as a binary edge in this manner.) Is actually displayed as shown in FIG. 142B. That is, in the real world, as shown in FIG. 142C, in the image, the first level (the level of the place of the flag) and the second level (the level of the character (the shaded area with a low density in FIG. 142C)) ) Is formed, and there are no other levels. On the other hand, as shown in FIG. 142B, an image captured by the sensor 2, that is, an image captured in units of pixels, is a pixel in which the first level and the second level are spatially mixed. A block composed of a plurality of pixels arranged in the vertical direction so that the ratio (mixing ratio) changes in a constant pattern is defined by a region where the block is repeatedly arranged in the direction in which the edge is formed. The image has a portion where the pixels of the first level are arranged and a portion where the pixels of the second level are arranged.
[0946]
That is, as shown in FIG. 143A, for the spatial directions X = X0, X1, and X2, the change of the pixel value in each spatial direction Y is shown in FIG. The pixel value has a predetermined minimum value up to near the boundary of the value edge (the straight line rising to the right in FIG. 143A). However, near the boundary of the binary edge, the pixel value gradually increases. Exceeds point P in the figure_EIn, the pixel value becomes a predetermined maximum value. More specifically, the change in the spatial direction X = X0 is, as shown in FIG. 143B, the point P at which the pixel value becomes the minimum value._S, The pixel value gradually increases, and a point P0 at which the pixel value reaches the maximum value is reached. On the other hand, since the change in the pixel value of each pixel corresponding to the spatial direction X = X1 has a waveform shifted in the spatial direction, the pixel value gradually decreases from the minimum value of the pixel value as shown in FIG. 143B. Is shifted in the positive direction of the spatial direction Y, and increases to the maximum pixel value via the point P1 in the figure. Further, the change of the pixel value in the spatial direction Y in the spatial direction X = X2 decreases via the point P2 in the figure further shifted in the positive direction of the spatial direction Y, and changes from the maximum value of the pixel value to the minimum value. Become.
[0947]
The same tendency is observed in a portion surrounded by a white line in an actual image. That is, in the portion (image of 31 pixels × 31 pixels) surrounded by the white line in the actual image of FIG. 144A, the background portion (the portion that looks black in FIG. 144A) is a pixel as shown in FIG. 144B. A large number of pixels having low values (pixel values near 90) are distributed, and the portions with little change form an image of the background region. On the other hand, the portion where the pixel value is not low in FIG. 144B, that is, the pixel whose pixel value is distributed in the vicinity of 100 to 200 is the distribution of the pixel belonging to the spatial mixed region of the character region and the background region. Although the number of pixels for each pixel value is small, it is distributed over a wide range of pixel values. Further, a large number of pixels in a character region having a high pixel value (a portion that looks white in FIG. 144A) are distributed near the pixel value indicated by 220.
[0948]
As a result, the change of the pixel value in the spatial direction Y with respect to the predetermined spatial direction X in the edge image shown in FIG. 145A is as shown in FIG. 145B.
[0949]
That is, FIG. 145B shows that the pixel values near the edge of the range surrounded by the white line in the image of FIG. 145A correspond to the spatial direction Y in each predetermined spatial direction X (X = 658, 659, 660 in the figure). 3 shows the change in the pixel value. As described above, also in the image captured by the actual sensor 2, at X = 658, the pixel value starts increasing near Y = 374 (distribution indicated by a black circle in the drawing), and near X = 382. The maximum pixel value is reached. Further, when X = 659, the pixel value shifts in the positive direction with respect to the spatial direction Y, and the pixel value starts increasing near Y = 378 (distribution indicated by a black triangle in the drawing), and near X = 386. The maximum pixel value is reached. Further, at X = 660, the pixel value further shifts in the positive direction with respect to the spatial direction Y, and the pixel value starts increasing near Y = 382 (distribution indicated by a black square in the figure), and X = The maximum pixel value is reached near 390.
[0950]
Therefore, in order to obtain the continuity information of the image of the real world from the image captured by the sensor 2, a model for approximately describing the real world from the data of the image obtained by the sensor 2 is set. For example, in the case of a binary edge, an image of the real world is set as shown in FIG. That is, the parameters are set such that the level of the background portion on the left side in the figure is V1, the level of the character portion on the right side in the figure is V2, the mixture ratio between pixels near the binary edge is α, and the angle of the edge to the horizontal direction is θ. Then, modeling is performed, a function that approximately represents the real world is set, a function that approximately represents the real world is obtained by obtaining each parameter, and the direction of the edge (inclination or reference) is obtained from the approximate function. Angle with respect to the axis).
[0951]
Here, since the inclination indicating the direction of the edge is a ratio of a change in the spatial direction Y (change in distance) to a unit distance in the spatial direction X, in the case shown in FIG. The distance in the spatial direction Y relative to the distance of one pixel to X is the slope.
[0952]
As shown in FIG. 147B, the change of the pixel value in each of the spatial directions X0 to X2 in the spatial direction Y is such that a similar waveform is repeated at a predetermined interval in each spatial direction X. As described above, in the image captured by the sensor 2, the edge has a similar change in pixel value (in this case, a change in pixel value in a predetermined spatial direction Y that changes from a minimum value to a maximum value). Are spatially continuous directions, so that in each spatial direction X, the interval S in the spatial direction Y at which the change of the pixel value in the spatial direction Y starts or the position at which the change ends is the edge S. Slope G_feBecomes That is, as shown in FIG. 147C, the amount of change in the vertical direction with respect to the distance of one pixel in the horizontal direction is the gradient G._feBecomes
[0953]
Incidentally, this relationship is based on the inclination G of the thin line described above with reference to FIGS._flIs the same as Therefore, the same holds true for the relational expression. That is, the relational expression in the case of the binary edge is as shown in FIG. 148, and the pixel value of the background area is V1, the pixel value of the character area is V2, and the minimum value and the maximum value are respectively. Further, the mixture ratio of the pixels near the edge is α, and the gradient of the edge is G._feThen, the relational expression to be satisfied is similar to the above-described expressions (69) to (71) (however, G_flIs G_feIs replaced by.)
[0954]
Therefore, the data continuity detecting unit 101 shown in FIG. 124 can detect the angle corresponding to the inclination of the thin line and the angle corresponding to the inclination of the edge as data continuity information by the same processing. . Therefore, in the following, the slope is generally referred to as the slope of the thin line and the slope of the binary edge, and is referred to as the slope G._fCalled. Also, the gradient G in the equations (73) to (75) described above._flIs G_feAnd, as a result, the slope G_fAnd replace it with
[0955]
Next, the process of detecting data continuity will be described with reference to the flowchart in FIG.
[0956]
In step S701, the horizontal / vertical determination unit 711 initializes a counter T for identifying each pixel of the input image.
[0957]
In step S702, the horizontal / vertical determination unit 711 performs a process of extracting data necessary for a subsequent process.
[0958]
Here, the process of extracting data will be described with reference to the flowchart of FIG.
[0959]
In step S711, the horizontal / vertical determination unit 711 of the data selection unit 701 determines, for each target pixel T, nine pixels adjacent in the horizontal direction, the vertical direction, and the diagonal direction, as described with reference to FIG. A sum hdiff of pixel value differences (activity) between horizontally adjacent pixels and a sum vdiff of pixel value differences (activity) between vertically adjacent pixels are calculated, and the difference (hdiff− vdiff), and when the difference (hdiff−vdiff) ≧ 0, the angle θ of the target pixel T with respect to the reference axis is 45 degrees ≦ θ <135 degrees when the horizontal direction is the reference axis. , Which is regarded as a thin line close to the vertical direction or a pixel near the binary edge, and determines the extraction block to be used to correspond to the vertical direction by the data acquisition unit. 712 and output to the data adding unit 702.
[0960]
On the other hand, when the difference (hdiff−vdiff) <0, the horizontal / vertical determination unit 711 determines, when the pixel of interest has the horizontal direction as a reference axis, a thin line with the reference axis or an angle formed by a binary edge. It is assumed that θ is 0 degrees ≦ θ <45 degrees or 135 degrees ≦ θ <180 degrees, and is regarded as a thin line close to the horizontal direction or a pixel near the edge, and the extraction block to be used is set as a horizontal line. The determination result that corresponds to the direction is output to the data acquisition unit 712 and the data addition unit 702.
[0961]
That is, the fact that the inclination of the thin line or the binary edge is close to the vertical direction means that, for example, as shown in FIG. 131A, the part where the arrow in the figure intersects the thin line increases. An extraction block with a larger number of pixels in the vertical direction is set (a vertically long extraction block is set). Similarly, even when the inclination of the thin line is close to the horizontal direction, an extraction block with a larger number of pixels in the horizontal direction is set (a horizontally long extraction block is set). By doing so, accurate calculation of the maximum value and the minimum value can be performed without increasing an unnecessary calculation amount.
[0962]
In step S712, the data acquisition unit 712 extracts the pixels of the extracted block corresponding to the horizontal or vertical determination result input from the horizontal / vertical determination unit 711 for the target pixel. That is, for example, as shown in FIG. 139, a total of 21 pixels (3 pixels in the horizontal direction) × (7 pixels in the vertical direction) are extracted and stored as an extraction block with the pixel of interest at the center.
[0963]
In step S713, the data acquisition unit 712 extracts a pixel of the dynamic range block corresponding to the direction corresponding to the determination result of the horizontal / vertical determination unit 711 for each pixel of the extracted block, and stores the extracted pixel. That is, as described above with reference to FIG. 139, for example, for the pixel pix11 of the extraction block, the determination result of the horizontal / vertical determination unit 711 is in the vertical direction in this case, so that the data acquisition unit 712 The pixel pix12 extracts the dynamic range block B2 in the same manner as the dynamic range block B1 in the vertical direction. The dynamic range blocks are similarly extracted from the other extraction blocks.
[0964]
That is, by this data extraction processing, information on the pixels necessary for the calculation of the normal equation is stored in the data acquisition unit 712 for the predetermined target pixel T (the area to be processed is selected).
[0965]
Here, the description returns to the flowchart of FIG.
[0966]
In step S703, the data adding unit 702 executes a process of adding a value required for each term of the operation of the normal equation (here, equation (74)).
[0967]
Here, the process of adding to the normal equation will be described with reference to the flowchart of FIG.
[0968]
In step S721, the difference adding unit 721 obtains a difference in pixel value between pixels of the extracted block stored in the data acquisition unit 712 according to the determination result of the horizontal / vertical determination unit 711 of the data selection unit 701. (Detected), and then squared (squared) and added. That is, when the determination result of the horizontal / vertical determination unit 711 is the vertical direction, the difference adding unit 721 obtains the difference in pixel value between pixels adjacent in the vertical direction for each pixel of the extraction block, and further squares. And add it. Similarly, when the determination result of the horizontal / vertical determination unit 711 is in the horizontal direction, the difference adding unit 721 obtains a difference in pixel value between pixels adjacent in the horizontal direction for each pixel of the extraction block. Square and add. As a result, the difference adding unit 721 generates and stores the sum of squares of the difference of the term serving as the denominator of the above equation (75).
[0969]
In step S722, the MaxMin acquisition unit 722 acquires the maximum value and the minimum value of the pixel value of the pixel included in the dynamic range block stored in the data acquisition unit 712, and in step S723, calculates the maximum value and the minimum value. The dynamic range is obtained (detected) from the difference and output to the difference adding unit 723. That is, as shown in FIG. 136B, in the case of a 7-pixel dynamic range block including pixels pix1 to pix7, the pixel value of pix2 is detected as the maximum value, and the pixel of pix7 is detected as the minimum value. The difference is determined as a dynamic range.
[0970]
In step S724, the difference adding unit 723 determines, among the pixels of the extracted block stored in the data acquisition unit 712, the pixels adjacent in the direction corresponding to the determination result of the horizontal / vertical determination unit 711 of the data selection unit 701. The difference between the pixel values is obtained (detected), and the value obtained by multiplying the dynamic range input from the MaxMin acquisition unit 722 is added. That is, the difference adding unit 721 generates and stores the sum of the terms that are the numerator of the above equation (75).
[0971]
Here, the description returns to the flowchart of FIG.
[0972]
In step S704, the difference adding unit 721 calculates a difference between pixel values of all pixels of the extracted block (a difference between pixel values between pixels adjacent in a direction corresponding to the determination result of the horizontal / vertical determination unit 711). Is determined, for example, if it is determined that the differences between all the pixels of the extracted block have not been added, the process returns to step S702, and the subsequent processes are repeated. That is, the processing of steps S702 to S704 is repeated until it is determined that the difference between the pixel values of all the pixels of the extraction block has been added.
[0973]
If it is determined in step S704 that the difference between the pixel values of all the pixels in the extracted block has been added, in step S705, the difference adding units 721 and 723 store the added values stored by themselves. The result is output to the steady direction deriving unit 703.
[0974]
In step S706, the stationary direction calculation unit 731 is adjacent to the direction determined by the horizontal / vertical determination unit 711 among the pixels of the acquisition block input from the difference addition unit 721 of the data addition unit 702. The sum of the squares of the differences between the pixel values of the pixels, the pixel value of the pixel value between the pixels adjacent to each other in the direction determined by the horizontal / vertical determination unit 711 among the pixels of the acquired block input from the difference addition unit 723 By solving the normal equation represented by the above equation (75) based on the difference and the sum of the product of the product of the obtained block and the dynamic range corresponding to each pixel of the acquired block, the pixel of interest is statistically calculated using the least square method. Calculate and output an angle (a thin line or an angle indicating the slope of a binary edge) indicating the direction of continuity, which is the data continuity information.
[0975]
In step S707, the data acquisition unit 712 determines whether or not processing has been performed on all pixels of the input image, and for example, processing has not been performed on all pixels of the input image, that is, all of the pixels of the input image have been processed. If it is determined that the information on the angle of the thin line or the binary edge has not been output for the pixel of, the counter T is incremented by 1 in step S708, and the process returns to step S702. That is, the processing of steps S702 to S708 is repeated until the pixel to be processed in the input image is changed and the processing is performed on all the pixels of the input image. The change of the pixel by the counter T may be, for example, a raster scan or the like, or may change sequentially according to other rules.
[0976]
If it is determined in step S707 that the processing has been performed on all the pixels of the input image, in step S709, the data acquisition unit 712 determines whether there is a next input image. If it is determined, the process returns to step S701, and the subsequent processes are repeated.
[0977]
If it is determined in step S709 that there is no next input image, the process ends.
[0978]
Through the above processing, the angle of the thin line or the binary edge is detected and output as the continuity information.
[0979]
As described above, the angle of the thin line or the edge of the edge obtained by the statistical processing substantially matches the angle of the thin line or the binary edge obtained by using the correlation. That is, as for the image in the range surrounded by the white line of the image as shown in FIG. 152A, the change in the inclination in the spatial direction Y on the predetermined horizontal coordinate on the fine line has a correlation as shown in FIG. 152B. The angle indicating the inclination of the thin line obtained by the used method (black circle in the figure) and the angle of the thin line obtained by statistical processing by the data continuity detecting unit 101 shown in FIG. 124 (black triangle in the figure) Are almost the same on the coordinates in the space direction Y near the thin line. In FIG. 152B, the spatial direction Y = 680 to 730 sandwiched by the solid black lines in the figure is the coordinates on the thin line.
[0980]
Similarly, for the image in the range surrounded by the white line of the image as shown in FIG. 153A, the change in the inclination in the spatial direction Y on the predetermined horizontal coordinate on the binary edge is as shown in FIG. 153B. The angle indicating the inclination of the binary edge obtained by the method using the correlation (the black circle in the figure) and the angle of the binary edge obtained by the statistical processing by the data continuity detecting unit 101 shown in FIG. (The black triangles in the figure) almost coincide with each other on the coordinates in the space direction Y near the fine line. In FIG. 153B, spatial coordinates Y = 376 (near) to 388 (near) are coordinates on the thin line.
[0981]
As a result, the data continuity detecting unit 101 shown in FIG. 124 determines the angle of a thin line or a binary edge as the continuity of data, unlike the method of using the correlation by a block of predetermined pixels. Can be calculated statistically using the information on the surroundings of the thin line or the angle indicating the inclination of the binary edge (here, the angle with the horizontal direction as the reference axis). As described above, since there is no switching according to the range of the predetermined angle, it is possible to obtain the inclination angles of all the thin lines or the binary edges by the same processing, so that the processing is simplified. It is possible to do.
[0982]
Further, in the above description, an example has been described in which the data continuity detection unit 101 outputs an angle formed by a thin line or a binary edge with a predetermined reference axis as continuity information. It is conceivable that the processing efficiency is improved by outputting the inclination as it is. In such a case, the steady direction calculating unit 731 of the steady direction deriving unit 703 of the data continuity detecting unit 101 calculates the thin line obtained by the least squares method or the gradient G of the binary edge._fMay be output as continuity information as it is.
[0983]
Further, in the above, in the equation (75), the dynamic range Dri_r has been calculated as required for each pixel of the extraction block. However, this dynamic range is obtained by setting the dynamic range block sufficiently large, that is, By setting many pixels of interest using many pixels around them, the maximum and minimum pixel values of the pixels in the image should always be selected. Therefore, the dynamic range Dri_r is not calculated for each pixel of the extracted block, but is calculated as a fixed value of the dynamic range obtained from the maximum value and the minimum value of the pixel in the extracted block or in the image data. Good.
[0984]
That is, as shown in the following equation (76), by adding only the difference between pixel values between pixels, the angle θ (inclination G_f) May be obtained. As described above, by fixing the dynamic range, the arithmetic processing can be further simplified, and the processing can be performed at high speed.
[0985]
[Equation 58]

[0986]
Next, with reference to FIG. 154, the data continuity detecting unit 101 that detects the mixture ratio of each pixel as the data continuity information will be described.
[0987]
In the data continuity detecting section 101 of FIG. 154, the portions corresponding to those in the case of the data continuity detecting section 101 of FIG. 124 are denoted by the same reference numerals, and the description thereof will be appropriately omitted below. I do.
[0988]
The data continuity detecting unit 101 of FIG. 154 differs from the data continuity detecting unit 101 of FIG. 124 in that the data adding unit 702 and the continuity direction deriving unit 703 are replaced with a data adding unit 751 and , A mixing ratio deriving unit 761 is provided.
[0989]
The MaxMin acquisition unit 752 of the data addition unit 751 performs the same processing as the MaxMin acquisition unit 722 in FIG. 124, but acquires the maximum value and the minimum value of the pixel value of each pixel of the dynamic range block, and The difference (dynamic range) between the value and the minimum value is obtained and output to the adding units 755 and 755, and the maximum value is output to the difference calculation unit 754.
[0990]
The adding unit 753 squares the value input from the MaxMin obtaining unit, adds the values for all the pixels of the extraction block, obtains the sum, and outputs the sum to the mixture ratio deriving unit 761.
[0991]
The difference calculation unit 754 obtains the difference between the maximum value of the corresponding dynamic range block for each pixel of the acquisition block of the data acquisition unit 712, and outputs the difference to the addition unit 755.
[0992]
The adding unit 755 calculates the difference (dynamic range) between the maximum value and the minimum value input from the MaxMin obtaining unit 752 and the pixel value of each pixel of the obtained block input from the difference calculating unit 754 for each pixel of the obtained block. Is multiplied by the difference between the maximum value of the corresponding dynamic range block and the sum, and the sum is obtained and output to the mixture ratio deriving unit 761.
[0993]
The mixture ratio calculation unit 762 of the mixture ratio derivation unit 761 statistically calculates the mixture ratio of the pixel of interest by the least square method based on the values input from the addition units 753 and 755 of the data addition unit. Is output as data continuity information.
[0994]
Next, a method for deriving the mixture ratio will be described.
[0995]
As shown in FIG. 155A, when a thin line exists on the image, the image captured by the sensor 2 is an image as shown in FIG. 155B. For this image, attention is paid to a pixel surrounded by a solid black line on the spatial direction X = X1 in FIG. 155B. The range sandwiched between the white lines in FIG. 155B indicates a position corresponding to the thin line region. The pixel value M of this pixel should be an intermediate color between the pixel value B corresponding to the level of the background area and the pixel value L corresponding to the level of the thin line area._SIs that the levels should be mixed in the area ratio of the background region and the thin line region. Therefore, this pixel value P_SIs expressed by the following equation (77).
[0996]
P_S= Α × B + (1−α) × L (77)
[0997]
Here, α is the mixture ratio, and more specifically, indicates the ratio of the area occupied by the background region in the pixel of interest. Therefore, it can be said that (1−α) indicates the ratio of the area occupied by the thin line region. Note that the pixels in the background area can also be considered as background object components because they can be considered as components of objects existing in the background. Also, the pixels in the thin line region are considered to be components of the foreground object with respect to the background object, and thus can be said to be the foreground object components.
[0998]
As a result, the mixture ratio α can be expressed by the following expression (78) by expanding expression (77).
[0999]
α = (P_S−L) / (B−L) (78)
[1000]
Further, in this case, the pixel value is assumed to exist at a position that straddles the region of the first pixel value (pixel value B) and the region of the second pixel value (pixel value L). The pixel value L can be replaced with the maximum pixel value Max, and the pixel value B can be replaced with the minimum pixel value. Therefore, the mixture ratio α can also be expressed by the following equation (79).
[1001]
α = (P_S−Max) / (Min−Max) (79)
[1002]
As a result, the mixture ratio α is determined from the difference between the dynamic range of the dynamic range block (corresponding to (Min−Max)) for the target pixel and the maximum value of the target pixel and the pixels in the dynamic range block. However, in order to further improve the accuracy, here, the mixture ratio α is statistically obtained by the least square method.
[1003]
That is, the above equation (79) is expanded to the following equation (80).
[1004]
(P_S−Max) = α × (Min−Max) (80)
[1005]
This equation (80) is a one-variable least squares equation similar to the above equation (71). That is, in the equation (71), the gradient G_fIs obtained, but here, the mixture ratio α is obtained. Therefore, the mixture ratio α is statistically obtained by solving the normal equation represented by the following equation (81).
[1006]
[Equation 59]

[1007]
Here, i identifies each pixel of the extracted block. Therefore, in equation (81), the number of pixels in the extracted block is n.
[1008]
Next, a process of detecting data continuity when the mixture ratio is set to data continuity will be described with reference to the flowchart in FIG.
[1009]
In step S731, the horizontal / vertical determination unit 711 initializes a counter U for identifying each pixel of the input image.
[1010]
In step S732, the horizontal / vertical determination unit 711 performs a process of extracting data necessary for a subsequent process. The process in step S732 is the same as the process described with reference to the flowchart in FIG. 150, and a description thereof will not be repeated.
[1011]
In step S733, the data adding unit 751 executes a process of adding a value required for each term of the operation of the normal equation (here, equation (81)).
[1012]
Here, the process of adding to the normal equation will be described with reference to the flowchart in FIG.
[1013]
In step S751, the MaxMin acquisition unit 752 acquires the maximum value and the minimum value of the pixel values of the pixels included in the dynamic range block stored in the data acquisition unit 712, and outputs the minimum value to the difference calculation unit 754. .
[1014]
In step S752, the MaxMin obtaining unit 752 obtains a dynamic range from the difference between the maximum value and the minimum value, and outputs the dynamic range to the difference adding units 753 and 755.
[1015]
In step S753, the adding unit 753 squares the dynamic range (Max−Min) input from the MaxMin obtaining unit 752, and adds it. That is, the adding unit 753 generates a value corresponding to the denominator of the above equation (81) by adding.
[1016]
In step S754, the difference calculation unit 754 obtains a difference between the maximum value of the dynamic range block input from the MaxMin acquisition unit 752 and the pixel value of the pixel currently being processed in the extraction block, and sends the difference to the addition unit 755. Output.
[1017]
In step S755, the adding unit 755 calculates the dynamic range input from the MaxMin obtaining unit 752, the pixel value of the pixel currently being processed input from the difference calculating unit 754, and the pixel of the dynamic range block. Multiply by the difference with the maximum value and add. That is, the adding unit 755 generates a value corresponding to the term of the numerator of the equation (81).
[1018]
As described above, the data adding unit 751 performs the calculation of each term of the above equation (81) by the adding process.
[1019]
Here, the description returns to the flowchart of FIG.
[1020]
In step S734, the difference adding unit 721 determines whether the addition has been completed for all the pixels of the extraction block. For example, if the addition processing has not been completed for all the pixels of the extraction block. If it is determined, the process returns to step S732, and the subsequent processes are repeated. That is, the processes of steps S732 to S734 are repeated until it is determined that the addition process has been completed for all the pixels of the extraction block.
[1021]
If it is determined in step S734 that the addition has been completed for all the pixels of the extraction block, in step S735, the addition units 753 and 755 calculate the addition results stored by themselves, as the mixture ratio deriving unit 761. Output to
[1022]
In step S736, the mixture ratio calculation unit 762 of the mixture ratio derivation unit 761 calculates the sum of the squares of the dynamic range and the pixel value of each pixel of the extraction block input from the addition units 753 and 755 of the data addition unit 751. By solving the normal equation represented by the above equation (81) based on the sum of the difference between the dynamic range and the maximum value of the dynamic range block and the dynamic range, the pixel of interest is statistically calculated using the least square method. Is calculated and output as the data continuity information.
[1023]
In step S737, the data acquisition unit 712 determines whether or not processing has been performed on all pixels of the input image. For example, processing has not been performed on all pixels of the input image, that is, all of the pixels of the input image have been processed. If it is determined that the mixture ratio has not been output for the pixel of, the counter U is incremented by one in step S738, and the process returns to step S732.
[1024]
That is, the processes of steps S732 to S738 are repeated until the pixel to be processed in the input image is changed and the mixture ratio is calculated for all the pixels of the input image. The change of the pixel by the counter U may be, for example, a raster scan or the like, or may change sequentially according to other rules.
[1025]
If it is determined in step S737 that the processing has been performed on all the pixels of the input image, in step S739, the data acquisition unit 712 determines whether there is a next input image. If it is determined, the process returns to step S731, and the subsequent processes are repeated.
[1026]
If it is determined in step S739 that there is no next input image, the process ends.
[1027]
Through the above processing, the mixture ratio of each pixel is detected and output as continuity information.
[1028]
By the above-described method, for example, for a thin line image within a white line in the image shown in FIG. 158A, a change in the mixture ratio in a predetermined spatial direction X (= 561, 562, 563) is shown in FIG. 158B. I have. As shown in FIG. 158B, the change in the mixing ratio in the spatial direction Y that is continuous in the horizontal direction is such that when the spatial direction X = 563, the mixing ratio rises around the spatial direction Y = 660 and nears Y = 685. , And decreases to Y = 710. When the spatial direction X = 562, the mixture ratio rises near the spatial direction Y = 680, reaches a peak near Y = 705, and decreases to Y = 735. Further, when the spatial direction X = 561, the mixture ratio rises near the spatial direction Y = 705, reaches a peak near Y = 725, and decreases to Y = 755.
[1029]
Thus, as shown in FIG. 158B, the change of each mixing ratio in the continuous spatial direction X is the same as the change of the pixel value changing by the mixing ratio (the change of the pixel value shown in FIG. 133B). It can be seen that the mixture ratio of the pixels near the fine line is accurately represented because they are periodically continuous.
[1030]
Similarly, for the image of the binary edge within the white line in the image shown in FIG. 159A, the change in the mixture ratio in the predetermined spatial direction X (= 658, 659, 660) is shown in FIG. 159B. ing. As shown in FIG. 159B, the change in the mixture ratio in the spatial direction Y that is continuous in the horizontal direction is such that when the spatial direction X = 660, the mixture ratio rises near the spatial direction Y = 750 and nears Y = 765. And peaks. When the spatial direction X = 659, the mixture ratio rises near the spatial direction Y = 760 and reaches a peak near Y = 775. Further, when the spatial direction X = 658, the mixture ratio rises near the spatial direction Y = 770 and peaks near Y = 785.
[1031]
Thus, as shown in FIG. 159B, the change in the mixture ratio of the binary edge is almost the same as the change similar to the change in the pixel value (the change in the pixel value shown in FIG. 145B) that changes according to the mixture ratio. It can be seen that the mixture ratio of the pixel values near the binary edge is accurately represented because they are periodically continuous.
[1032]
According to the above, the mixture ratio of each pixel can be statistically obtained as data continuity information by the least square method. Further, it is possible to directly generate the pixel value of each pixel based on the mixture ratio.
[1033]
Further, when the change in the mixture ratio has a stationarity, and when the change in the mixture ratio is approximated by a linear one, a relationship represented by the following equation (82) is established.
[1034]
α = m × y + n (82)
[1035]
Here, m indicates the slope when the mixture ratio α changes with respect to the spatial direction Y, and n corresponds to the intercept when the mixture ratio α changes linearly.
[1036]
That is, as shown in FIG. 160, the straight line indicating the mixture ratio is a straight line indicating the boundary between the pixel value B corresponding to the level of the background area and the level L corresponding to the level of the thin line. The amount of change in the mixture ratio when the unit distance has advanced for Y is the slope m.
[1037]
Therefore, the following equation (83) is derived by substituting equation (82) into equation (77).
[1038]
M = (m * y + n) * B + (1- (m * y + n)) * L (83)
[1039]
Further, when this equation (83) is expanded, the following equation (84) is derived.
[1040]
M−L = (y × B−y × L) × m + (B−L) × n (84)
[1041]
In the equation (84), m in the first term indicates a spatial gradient of the mixture ratio, and the second term indicates an intercept of the mixture ratio. Therefore, it is also possible to generate and obtain a normal equation using m and n in the above equation (84) using the least square method of two variables.
[1042]
However, the inclination m of the mixture ratio α is the inclination of the thin line or the binary edge (the inclination G described above)._f) Itself, the gradient G of the thin line or the binary edge is determined in advance using the method described above._fThen, by using the slope and substituting it into equation (84), it becomes a function of one variable for the term of the intercept, and is obtained by the least square method of one variable in the same manner as described above. Is also good.
[1043]
In the above example, the data continuity detection unit 101 that detects the thin line in the spatial direction, the angle (inclination) of the binary edge, or the mixture ratio as the data continuity information has been described. May correspond to the angle in the spatial direction obtained by replacing any of the axes (space directions X, Y) with the axis in the time direction (frame direction) T. That is, the one corresponding to the angle obtained by replacing any of the axes in the space (the spatial directions X and Y) with the axis in the time direction (frame direction) T is the motion vector of the object (the direction of the motion vector). ).
[1044]
More specifically, as shown in FIG. 161A, when the object is moving upward in the space direction Y in the space direction Y as time progresses, a portion corresponding to a thin line in the diagram (a portion corresponding to FIG. 131A). In the comparison, the locus of the movement of the object appears. Accordingly, in FIG. 161A, the inclination of the thin line in the time direction T indicates the direction in which the object moves (the angle indicating the movement of the object) (equivalent to the direction of the motion vector). Therefore, in the real world, in a frame at a predetermined time indicated by an arrow in FIG. 161A, a portion that becomes the trajectory of the object becomes the (color) level of the object as shown in FIG. , A pulse-like waveform having a background level.
[1045]
Thus, when the moving object is imaged by the sensor 2, as shown in FIG. 162A, the distribution of the pixel values of each pixel of the frame from the time T1 to T3 is represented by a space as shown in FIG. 162B. A mountain-shaped waveform is formed in each of the directions Y. This relationship can be considered to be the same as the relationship in the spatial directions X and Y described with reference to FIGS. 132A and 132B. Therefore, when there is a motion in the object with respect to the frame direction T, the direction of the motion vector of the object is converted into the data continuity by the same method as the information of the inclination of the thin line or the angle (inclination) of the binary edge described above. It can also be obtained as information. In FIG. 162B, in the frame direction T (time direction T), each square is a shutter time forming one frame image.
[1046]
Similarly, as shown in FIG. 163A, when the object moves in the spatial direction Y for each frame direction T, as shown in FIG. 163B, the space on the frame corresponding to the predetermined time T1 In the direction Y, each pixel value is obtained corresponding to the movement of the object. At this time, for example, as shown in FIG. 163C, the pixel value of the pixel surrounded by the solid black line in FIG. 163B is obtained by mixing the background level and the object level in the frame direction in accordance with the motion of the object. The pixel values are mixed at the ratio β.
[1047]
This relationship is similar to the relationship described with reference to FIGS. 155A, 155B, and 155C.
[1048]
Further, as shown in FIG. 164, the level O of the object and the level B of the background can be linearly approximated by a mixture ratio β in the frame direction (time direction). This relationship is similar to the linear approximation of the mixture ratio in the spatial direction described with reference to FIG.
[1049]
Therefore, the mixing ratio β in the time (frame) direction can be obtained as the data continuity information by the same method as the mixing ratio α in the spatial direction.
[1050]
Further, either one of the frame direction and the spatial direction may be selected to determine the steadiness angle or the direction of the motion vector. Similarly, the mixture ratios α and β may be selectively determined. May be requested.
[1051]
According to the above, a real-world optical signal is projected, an area corresponding to a target pixel in image data in which a part of the continuity of the real-world optical signal is missing is selected, and a missing area in the selected area is selected. A feature for detecting an angle with respect to a reference axis of continuity of image data corresponding to continuity of an optical signal in the real world is detected, and an angle is statistically detected based on the detected feature. Since the optical signal is estimated by estimating the stationarity of the missing optical signal in the real world based on the angle with respect to the reference axis of the stationarity, the angle of stationarity (the direction of the motion vector) or ( It is possible to determine the mixing ratio (spatiotemporal).
[1052]
Next, with reference to FIG. 165, the data continuity information detection unit 101 that outputs information of an area to be processed using the data continuity information as the data continuity information will be described.
[1053]
The angle detection unit 801 detects an angle in the spatial direction of a region having stationarity in the input image, that is, a portion forming a thin line or binary edge having stationarity on the image, and detects the detected angle. Output to the real world estimation unit 802. The angle detecting section 801 is similar to the data continuity detecting section 101 in FIG.
[1054]
The real world estimation unit 802 estimates the real world based on the angle indicating the direction of the data continuity input from the angle detection unit 801 and information on the input image. That is, the real-world estimating unit 802 obtains, from the input angle and each pixel of the input image, a coefficient of an approximate function that approximately describes the intensity distribution of the optical signal in the real world, and calculates the obtained coefficient of the real world. The result is output to the error calculation unit 803 as the estimation result. The real world estimating unit 802 is the same as the real world estimating unit 102 in FIG.
[1055]
The error calculation unit 803 configures an approximate function indicating the light intensity distribution of the light in the real world, which is approximately described, based on the coefficient input from the real world estimation unit 802, and further, based on the approximate function, The intensity of light corresponding to the pixel position is integrated, a pixel value of each pixel is generated from the light intensity distribution estimated by the approximation function, and the difference between the pixel value and the actually input pixel value is used as an error by the comparison unit 804. Output.
[1056]
The comparing unit 804 compares the error input from the error calculating unit 803 for each pixel with a preset threshold value to determine whether the pixel is to be processed using the continuity information, The area is identified, and the area information in which the processing area for performing processing using the continuity information and the non-processing area are identified is output as continuity information.
[1057]
Next, with reference to the flowchart of FIG. 166, a description will be given of the processing of the continuity detection by the data continuity detecting unit 101 of FIG. 165.
[1058]
In step S801, the angle detection unit 801 acquires an input image, and in step S802, detects an angle indicating a direction of stationarity. More specifically, the angle detection unit 801 detects, for example, a thin line when the horizontal direction is used as a reference axis, or an angle indicating the direction of continuity of a binary edge, and outputs the angle to the real world estimation unit 802. I do.
[1059]
In step S803, the real-world estimating unit 802 approximates the function F (x) expressing the real world based on the information on the angle input from the angle detecting unit 801 and the information on the input image. The coefficient of the approximation function f (x) is obtained and output to the error calculation unit 803. That is, the approximation function f (x) representing the real world is represented by a one-dimensional polynomial such as the following equation (85).
[1060]
[Equation 60]

[1061]
Here, wi is a coefficient of a polynomial, and the real world estimating unit 802 obtains the coefficient wi and outputs it to the error calculating unit 803. Further, the inclination can be obtained from the direction of the stationarity based on the angle input from the angle detection unit 801 (G_f= Tan^-1θ, G_f: Inclination, θ: angle)._fBy substituting the following constraint condition, the above equation (85) can be described by a two-dimensional polynomial as shown by the following equation (86).
[1062]
[Equation 61]

[1063]
That is, the above equation (86) is obtained by calculating the shift width caused by the one-dimensional approximation function f (x) described in the equation (85) moving parallel to the spatial direction Y by the shift amount α (= − dy / G_f: Dy describes a two-dimensional function f (x, y) obtained by expressing it in the spatial direction Y).
[1064]
Therefore, the real world estimating unit 802 solves each coefficient wi of the above equation (86) using the input image and the information of the angle in the stationary direction, and outputs the obtained coefficient wi to the error calculating unit 803. I do.
[1065]
Here, the description returns to the flowchart of FIG.
[1066]
In step S804, the error calculation unit 803 performs re-integration for each pixel from the coefficient input from the real world estimation unit 802. That is, the error calculation unit 803 integrates the above equation (86) for each pixel from the coefficient input from the real world estimation unit 802 as shown in the following equation (87).
[1067]
(Equation 62)

[1068]
Where S_SShows the integration result in the spatial direction shown in FIG. As shown in FIG. 167, the integration range is x in the spatial direction X._mOr x_{m + B}And for the spatial direction Y, y_mOr y_{m + A}It is. In FIG. 167, each square (square) indicates one pixel, and is 1 in both spatial directions X and Y.
[1069]
Accordingly, as shown in FIG. 168, the error calculation unit 803 determines x for the spatial direction X of the curved surface represented by the approximate function f (x, y)._mOr x_{m + 1}, And y in the spatial direction Y_mOr y_{m + 1}In (A = B = 1), an integration operation represented by the following equation (88) is performed for each pixel, and each of the pixels is obtained by spatially integrating an approximation function that approximately represents the real world. Pixel value P of pixel_SIs calculated.
[1070]
[Equation 63]

[1071]
That is, by this processing, the error calculation unit 803 functions as a kind of a pixel value generation unit, and generates a pixel value from an approximate function.
[1072]
In step S805, the error calculator 803 calculates the difference between the pixel value obtained by the integration as shown in the above equation (88) and the pixel value of the input image, and uses the difference as an error in the comparator 804. Output. That is, the error calculation unit 803 determines the integration range (x in the spatial direction X) shown in FIGS. 167 and 168 described above._mOr x_{m + 1}, And y in the spatial direction Y_mOr y_{m + 1}The difference between the pixel value of the pixel corresponding to ()) and the pixel value obtained by the integration result of the range corresponding to the pixel is obtained as an error and output to the comparison unit 804.
[1073]
In step S806, the comparison unit 804 determines whether the absolute value of the error between the pixel value obtained by the integration input from the error calculation unit 803 and the pixel value of the input image is equal to or smaller than a predetermined threshold. .
[1074]
If it is determined in step S806 that the error is equal to or less than the predetermined threshold, in step S807, the comparing unit 804 determines that the pixel value obtained by the integration is close to the pixel value of the pixel of the input image. Therefore, it is assumed that the approximation function set in calculating the pixel value of the pixel is sufficiently similar to the light intensity distribution of the optical signal in the real world, and the area of the pixel just processed is included in the stationarity information. It is recognized as a processing area in which processing based on an approximate function based on the processing area is performed. More specifically, the comparison unit 804 causes a memory (not shown) to store that the pixel just processed is a pixel in a subsequent processing area.
[1075]
On the other hand, when it is determined in step S806 that the error is not less than the predetermined threshold, in step S808, the comparison unit 804 determines that the pixel value obtained by the integration is different from the actual pixel value. Therefore, it is considered that the approximation function set in calculating the pixel value of the pixel does not sufficiently approximate the light intensity distribution of the optical signal in the real world, and the area of the pixel just processed is determined by the continuity information in the subsequent stage. Is recognized as a non-processing area where the processing by the approximation function based on is not performed. More specifically, the comparing unit 804 causes a memory (not shown) to store that the area of the currently processed pixel is a subsequent non-processing area.
[1076]
In step S809, the comparing unit 804 determines whether or not the processing has been performed on all the pixels. If it is determined that the processing has not been performed on all the pixels, the processing returns to step S802. Subsequent processing is repeated. That is, for all the pixels, the pixel values obtained by integration are compared with the input pixel values, and the processing of steps S802 to S809 is repeated until the processing of determining whether or not the pixel is a processing area is completed.
[1077]
In step S809, for all the pixels, the pixel value obtained by the reintegration is compared with the input pixel value, and when it is determined that the determination processing as to whether or not the pixel is in the processing area is completed, in step S810, The comparing unit 804 stores a processing area based on spatial direction continuity information in a subsequent process on an input image stored in a memory (not shown) and a processing area based on spatial direction continuity information. The region information in which the non-processed region not subjected to is identified is output as continuity information.
[1078]
According to the above processing, the pixel value obtained by the integration result of the range corresponding to each pixel using the approximation function f (x) calculated based on the continuity information, and the pixel value in the actual input image Is evaluated for each region (for each pixel) based on the error of the approximation function, and a region having a small error, that is, a pixel value obtained by integration based on the approximation function is calculated as follows. Only areas where pixels are likely to exist are treated as processing areas, and other areas are treated as non-processing areas, so that processing based on spatial continuity information can be performed only on areas that are likely to be necessary. Processing can be executed only, so that the processing speed can be improved, and the processing can be executed only in a certain area, so that image quality deterioration due to this processing can be suppressed. It is possible.
[1079]
Next, with reference to FIG. 169, another embodiment of the data continuity information detection unit 101 that outputs area information in which a pixel to be processed using the data continuity information is present as the data continuity information will be described. .
[1080]
The motion detection unit 821 determines a region having stationarity in the input image, that is, a motion having stationarity in the frame direction on the image (the direction of the motion vector: V_f) Is detected, and the detected motion is output to the real world estimation unit 822. The motion detecting section 821 is the same as the data continuity detecting section 101 in FIG.
[1081]
The real world estimating unit 822 estimates the real world based on the data continuity motion input from the motion detecting unit 821 and information on the input image. That is, the real world estimating unit 822 obtains an input function and an approximate function coefficient that approximately describes the intensity distribution of the real world optical signal in the frame direction (time direction) from each pixel of the input image, The obtained coefficient is output to the error calculation unit 823 as the estimation result of the real world. The real world estimating unit 822 is the same as the real world estimating unit 102 in FIG.
[1082]
The error calculation unit 823 forms an approximate function indicating the intensity distribution of the light in the frame direction described in the frame direction, which is approximately described, based on the coefficient input from the real world estimation unit 822. Integrate the light intensity corresponding to each pixel position for each frame, generate pixel values for each pixel from the light intensity distribution estimated by the approximation function, and use the difference from the actually input pixel value as an error. Output to comparison section 824.
[1083]
The comparing unit 824 compares the error input from the error calculating unit 823 for each pixel with a preset threshold value to determine the processing area where the pixel to be processed using the continuity information exists, The area is identified, and the area information in which the processing area for performing processing using the continuity information and the non-processing area are identified is output as continuity information.
[1084]
Next, with reference to the flowchart of FIG. 170, the processing of the continuity detection by the data continuity detecting unit 101 of FIG. 169 will be described.
[1085]
In step S821, the motion detection unit 801 acquires an input image, and in step S822, detects a motion indicating continuity. More specifically, for example, the motion detection unit 801 determines the motion of the moving object in the input image (the direction of the motion vector: V_f) Is detected and output to the real world estimation unit 822.
[1086]
In step S823, the real world estimation unit 822 approximately describes a function F (t) in the frame direction representing the real world based on the information on the motion input from the motion detection unit 821 and the information on the input image. Then, a coefficient of a function f (t) composed of a polynomial is calculated and output to the error calculator 823. That is, the function f (t) expressing the real world is represented by a one-dimensional polynomial such as the following equation (89).
[1087]
[Equation 64]

[1088]
Here, wi is a coefficient of a polynomial, and the real world estimating unit 822 obtains the coefficient wi and outputs it to the error calculating unit 823. Furthermore, the motion input from the motion detection unit 821 can determine a stationary motion (V_f= Tan^-1θv, V_f: Tilt of the motion vector in the frame direction, θv: angle of the motion vector in the frame direction). By substituting the constraint condition of this tilt, the above equation (89) is expressed by the following equation (90). Can be described by a two-dimensional polynomial.
[1089]
[Equation 65]

[1090]
That is, the above equation (90) is obtained by calculating the shift width caused by the one-dimensional approximation function f (t) described in the equation (89) being translated in the spatial direction Y, by the shift amount αt (= − dy). / V_f: Dy describes a two-dimensional function f (t, y) obtained by expressing it in the spatial direction Y).
[1091]
Therefore, the real world estimating unit 822 solves each coefficient wi of the above equation (90) using the input image and the information of the stationary motion, and outputs the obtained coefficient wi to the error calculating unit 823. .
[1092]
Here, the description returns to the flowchart of FIG.
[1093]
In step S824, the error calculation unit 823 performs integration of each pixel in the frame direction from the coefficient input from the real world estimation unit 822. That is, the error calculator 823 integrates the above equation (90) for each pixel from the coefficient input from the real world estimator 822 as shown in the following equation (91).
[1094]
[Equation 66]

[1095]
Where S_tShows the integration result in the frame direction shown in FIG. Further, as shown in FIG. 171, the integration range is T in the frame direction T._mOr T_{m + B}And for the spatial direction Y, y_mOr y_{m + A}It is. In FIG. 171, each square (square) indicates one pixel, and both the frame direction T and the spatial direction Y are one. Here, “1” in the frame direction T means that the shutter time for one frame is “1”.
[1096]
Therefore, as shown in FIG. 172, the error calculation unit 823 sets the T in the spatial direction T of the curved surface represented by the approximate function f (t, y)._mOr T_{m + 1}, And y in the spatial direction Y_mOr y_{m + 1}In (A = B = 1), an integration operation as shown in the following equation (92) is performed for each pixel, and the pixel value P of each pixel obtained from a function that approximately represents the real world is obtained._tIs calculated.
[1097]
[Equation 67]

[1098]
That is, by this processing, the error calculation unit 823 functions as a kind of pixel value generation unit, and generates a pixel value from an approximate function.
[1099]
In step S825, the error calculation unit 803 calculates a difference between the pixel value obtained by the integration as shown in the above equation (92) and the pixel value of the input image, and uses the difference as an error in the comparison unit 824. Output. That is, the error calculation unit 823 calculates the integration range (T in the spatial direction T shown in FIGS. 171 and 172 described above)._mOr T_{m + 1}, And y in the spatial direction Y_mOr y_{m + 1}The difference between the pixel value of the pixel corresponding to ()) and the pixel value obtained from the integration result of the range corresponding to the pixel is obtained as an error and output to the comparing unit 824.
[1100]
In step S826, the comparing unit 824 determines whether or not the absolute value of the error between the pixel value obtained by the integration input from the error calculating unit 823 and the pixel value of the input image is equal to or smaller than a predetermined threshold. .
[1101]
If it is determined in step S826 that the error is equal to or less than the predetermined threshold, in step S827, the comparing unit 824 determines that the pixel value obtained by the integration is close to the pixel value of the input image. It is considered that the approximation function set in calculating the pixel value of the pixel is sufficiently approximated to the light intensity distribution of the optical signal in the real world, and the area of the pixel just processed is recognized as a processing area. More specifically, the comparing unit 824 causes a memory (not shown) to store that the pixel just processed is a pixel in a subsequent processing area.
[1102]
On the other hand, when it is determined in step S826 that the error is not smaller than or equal to the predetermined threshold, in step S828, the comparing unit 824 determines that the pixel value obtained by the integration is different from the actual pixel value. Therefore, the approximation function set in calculating the pixel value of the pixel is considered to be not sufficiently approximated to the light intensity distribution in the real world, and the area of the pixel just processed is based on the continuity information in the subsequent stage. It is recognized as a non-processing area where the processing by the approximate function is not performed. More specifically, the comparing unit 824 causes a memory (not shown) to store that the area of the pixel just processed is a non-processing area thereafter.
[1103]
In step S829, the comparing unit 824 determines whether or not the process has been performed on all the pixels. If it is determined that the process has not been performed on all the pixels, the process returns to step S822. Subsequent processing is repeated. That is, for all the pixels, the pixel values obtained by integration and the input pixel values are compared, and the processing of steps S822 to S829 is repeated until the processing of determining whether or not the pixel is a processing area is completed.
[1104]
In step S829, for all the pixels, the pixel value obtained by the reintegration is compared with the input pixel value, and when it is determined that the determination processing as to whether or not the pixel is the processing area is completed, in step S830, The comparing unit 824 performs processing based on the continuity information in the frame direction on the input image, which is stored in a memory (not shown). The region information in which the non-processed region not subjected to is identified is output as continuity information.
[1105]
According to the above processing, the pixel value obtained by the integration result of the range corresponding to each pixel using the approximate function f (t) calculated based on the continuity information, and the pixel value in the actual input image And the likelihood of the approximation function expression is evaluated for each region (for each pixel) based on the error of the approximation function. Only the region where there is a certain pixel is regarded as the processing region, and the other region is regarded as the non-processing region, so that it is possible to perform processing based on the continuity information in the frame direction only for the certain region. Can be executed only, the processing speed can be improved, and the processing can be executed only in a certain area, so that the image quality deterioration due to this processing is suppressed. It becomes possible.
[1106]
By combining the configurations of the data continuity information detecting unit 101 of FIGS. 165 and 169, one of the spatio-temporal directions may be selected and the area information may be selectively output.
[1107]
According to the above, a real-world optical signal is projected by a plurality of detection elements of a sensor, each having a spatio-temporal integration effect, and a part of the continuity of the real-world optical signal is lacking, and is projected by a detection element. Detecting the continuity of data in the image data composed of a plurality of pixels having pixel values, and corresponding to the detected continuity, the pixel of each pixel corresponding to at least one-dimensional position in the spatiotemporal direction of the image data A function corresponding to a real-world optical signal is estimated by approximating a function corresponding to a real-world optical signal assuming that the value is a pixel value obtained by at least a one-dimensional direction integration effect. A difference value between a pixel value obtained by integrating at least a unit corresponding to each pixel in the one-dimensional direction and a pixel value of each pixel is detected, and a function is selectively output according to the difference value. Therefore, it is possible to set only a region where a pixel having a pixel value obtained by integration based on an approximation function is likely to be a processing region and a region other than that as a non-processing region, Only the necessary processing can be executed based on the continuity information in the frame direction, and only the necessary processing can be executed, so that the processing speed can be improved and the processing is executed only in a certain area. Therefore, it is possible to suppress image quality deterioration due to this processing.
[1108]
Next, with reference to FIG. 173, a description will be given of the continuity detecting unit 101 that can obtain the continuity angle with higher accuracy and at higher speed.
[1109]
The simplified angle detection unit 901 is substantially the same as the continuity detection unit 101 described with reference to FIG. 95, and compares a block corresponding to a target pixel with a block of peripheral pixels to determine a target pixel. The so-called block matching detects the range of the angle between the target pixel and the peripheral pixel having the strongest correlation between the block corresponding to the pixel and the peripheral pixel block. In the case of θ, 0 ≦ θ <18.4, 18.4 ≦ θ <26.0, 26.05 ≦ θ <33.7, 33.7 ≦ θ <45, 45 ≦ θ <in FIG. 56.3, 56.3 ≦ θ <63.95, 63.95 ≦ θ <71.6, 71.6 ≦ θ <90, 90 ≦ θ <108.4, 108.4 ≦ θ <116.05, 116.05 ≦ θ <123.7, 123.7 ≦ θ <135 135 ≦ θ <146.3, 146.3 ≦ θ <153.95, 153.95 ≦ θ <161.6, and 161.6 ≦ θ <180 (16 ranges). The angle of steadiness is simply detected, and the median value (or a representative value within the range) is output to the determination unit 902.
[1110]
The determination unit 902 determines whether the input angle is an angle close to the vertical direction, based on the information on the simply determined stationarity angle input from the simple-type angle detection unit 901, It is determined whether the angle is close to the horizontal direction or not, and according to the determination result, the switch 903 is controlled and connected to one of the terminals 903 a and 903 b to convert the input image into a rotary angle detector 904. Or, when the switch 903 is connected to the terminal 903 a while supplying the information to the gradient type angle detecting unit 905, the information of the angle obtained by the simple type input from the simple type angle detecting unit 901 is used as the regression type angle detecting unit 904. To supply.
[1111]
More specifically, when the determining unit 902 determines that the direction of continuity supplied from the simplified angle detecting unit 901 is an angle close to the horizontal direction or the vertical direction (for example, the simplified angle detecting unit When the continuity angle θ input from 901 is 0 ≦ θ ≦ 18.4, 71.6 ≦ θ ≦ 108.4, or 161.6 ≦ θ ≦ 180, the switch 903 is connected to the terminal 903a. Then, the input image is supplied to the regression angle detection unit 904. In other cases, that is, when the direction of the stationarity is close to 45 degrees or 135 degrees, the switch 903 is connected to the terminal 903b to convert the input image. This is supplied to the gradient type angle detection unit 905.
[1112]
The regression angle detection unit 904 has a configuration substantially similar to the continuity detection unit 101 described with reference to FIG. 107 described above. A frequency based on the correlation value is set for a pixel whose correlation value with the pixel value of the pixel belonging to the region to be detected is equal to or larger than the threshold value, so that the frequency of the pixel belonging to the region is detected, and the detection is performed based on the detected frequency. (Determined by the obtained regression line), and outputs the detected angle to the real world estimation unit 102 as data continuity information. However, upon detection of the angle, the regression equation angle detection unit 904 sets the frequency by limiting the range (scope) corresponding to the pixel of interest based on the angle supplied from the determination unit 902, and sets the angle recursively. Is detected.
[1113]
The gradient angle detection unit 905 is substantially the same as the continuity detection unit 101 described with reference to FIG. 124, and calculates the pixel value of the block (the above-described dynamic range block) corresponding to the target pixel. Based on the difference between the maximum value and the minimum value, that is, based on the dynamic range (substantially based on the gradient between the maximum value and the minimum value of the pixel values of the dynamic range block), the data stationary angle is detected. Is output to the real world estimating unit 102 as the stationarity information.
[1114]
Next, the configuration of the simplified angle detection unit 901 will be described with reference to FIG. 174. However, the simplified angle detection unit 901 is substantially the same as that of the data continuity detection unit 101 described with reference to FIG. It is the same as the configuration. Therefore, the data selection unit 911, the error estimation unit 912, the steady direction derivation unit 913, the pixel selection units 921-1 to 921-L, and the estimation error calculation units 922-1 to 922-L of the simplified angle detection unit 901 in FIG. , And the minimum error angle selecting unit 923 includes a data selecting unit 441, an error estimating unit 442, a stationary direction deriving unit 443, pixel selecting units 461-1 to 461-L of the data continuity detecting unit 101 in FIG. The calculation units 462-1 to 462-L and the minimum error angle selection unit 443 are the same as those described above, and a description of each unit will be omitted.
[1115]
Next, the configuration of the regression angle detection unit 904 will be described with reference to FIG. 175. However, the regression angle detection unit 904 is substantially the same as that of the data continuity detection unit 101 described with reference to FIG. It is similar to the configuration. Accordingly, the frame memory 931 of the regression equation angle detection unit 904, the pixel acquisition unit 932, the regression line calculation unit 934, and the angle calculation unit 935 of FIG. 175 are included in the frame memory 501 of the data continuity detection unit 101 of FIG. Since it is the same as the acquisition unit 502, the regression line calculation unit 504, and the angle calculation unit 505, the description is omitted.
[1116]
Here, the regression angle detection unit 904 differs from the data continuity detection unit 101 in FIG. 107 in a frequency detection unit 933. The frequency detecting unit 933 has the same function as the frequency detecting unit 503 in FIG. 107, but further includes a scope memory 933a, and is detected by the simple angle detecting unit 901 input from the determining unit 902. Based on the continuity angle of the detected data, the frequency is detected based on the information of the angle range for detecting the frequency with respect to the pixel of interest stored in the scope memory 933a, and the information of the detected frequency is subjected to regression line calculation. Unit 934.
[1117]
Next, the configuration of the gradient angle detection unit 905 will be described with reference to FIG. 176. However, the gradient angle detection unit 905 is substantially the same as that of the data continuity detection unit 101 described with reference to FIG. It is the same as the configuration. Therefore, the data selection unit 941, the data addition unit 942, the steady direction derivation unit 943, the horizontal / vertical determination unit 951, the data acquisition unit 952, the difference addition unit 961, the MaxMin acquisition unit 962, and the difference addition unit 963 in FIG. 124, the data selecting unit 701, the data adding unit 702, the steady direction deriving unit 703, the horizontal / vertical determining unit 711, the data acquiring unit 712, and the difference of the data continuity detecting unit 101 in FIG. Since the addition unit 721, the MaxMin acquisition unit 722, the difference addition unit 723, and the steady direction calculation unit 731 are the same, the description thereof will be omitted.
[1118]
Next, the process of detecting data continuity will be described with reference to the flowchart in FIG.
[1119]
In step S901, the simple angle detection unit 901 performs a simple angle detection process, and outputs information on the detected angle to the determination unit 902. Note that the simplified angle detection process is the same as the data continuity detection process described with reference to the flowchart in FIG. 103, and a description thereof will be omitted.
[1120]
In step S902, the determination unit 902 sets the data continuity angle to an angle close to the horizontal direction or the vertical direction based on the information on the continuity angle of the data input from the simplified angle detection unit 901. It is determined whether or not there is. More specifically, for example, the determination unit 902 determines that the continuity angle of the data is 0, the continuity angle θ input from the simplified angle detection unit 901 is 0 ≦ θ ≦ 18.4, 71.6 ≦ θ. If it is within the range of ≦ 108.4 or 161.6 ≦ θ ≦ 180, it is determined that the data continuity angle is an angle close to the horizontal direction or the vertical direction.
[1121]
If it is determined in step S902 that the data continuity angle is the horizontal direction or the vertical direction, the process proceeds to step S903.
[1122]
In step S903, the determination unit 902 controls the switch 903 to connect to the terminal 903a and to supply the information on the continuity angle of the data supplied from the simplified angle detection unit 901 to the regression angle detection unit 904. I do. With this processing, the information on the continuity angle between the input image and the data detected by the simple angle detection unit 901 is supplied to the regression angle detection unit 904.
[1123]
In step S904, the regression equation angle detection unit 904 performs a regression equation angle detection process, and outputs the detected angle to the real world estimation unit 102 as data continuity information. The regression angle detection processing will be described later with reference to FIG.
[1124]
In step S905, the data selection unit 911 of the simple-type angle detection unit 901 determines whether or not processing has been completed for all pixels, and determines that the processing has not been completed for all pixels, Returns to step S901, and the subsequent processing is repeated.
[1125]
On the other hand, if it is determined in step S902 that the direction of data continuity is not the horizontal direction or the vertical direction, the process proceeds to step S906.
[1126]
In step S906, the determination unit 902 controls the switch 903 to connect to the terminal 903b. By this processing, the input image is supplied to the gradient angle detection unit 905.
[1127]
In step S907, the gradient-type angle detection unit 905 performs a gradient-type angle detection process to detect an angle, and outputs the detected angle to the real-world estimation unit 102 as continuity information. The gradient type angle detection processing is substantially the same as the processing for detecting the data continuity described with reference to the flowchart in FIG. 149, and a description thereof will be omitted.
[1128]
That is, when the continuity angle of the data detected by the simplified angle detection unit 901 is centered on the target pixel in the figure as shown in FIG. If the angle corresponding to the region (18.4 <θ <71.6 or 108.4 <θ <161.6), the determination unit 902 controls the switch 903 by the processing of step S903, and By connecting to the connection 903a, the regression equation angle detection unit 904 obtains a regression line using the correlation and detects the data continuity angle from the regression line by the process of step S904.
[1129]
In addition, when the continuity angle of the data detected by the simple-type angle detection unit 901 is centered on the target pixel in the figure as shown in FIG. When the angle is the corresponding angle (0 ≦ θ ≦ 18.4, 71.6 ≦ θ ≦ 108.4, or 161.6 ≦ θ ≦ 180), the determination unit 902 controls the switch 903 by the processing of step S906. Then, by connecting to the terminal 903b, the gradient type angle detection unit 905 detects the data continuity angle by the process of step S907.
[1130]
The regression equation angle detection unit 904 compares the correlation between the block corresponding to the target pixel and the block corresponding to the peripheral pixel, and obtains the data continuity angle from the angle with the pixel corresponding to the block having the strongest correlation. Therefore, if the continuity angle of the data is close to the horizontal or vertical direction, the pixel that becomes the most highly correlated block may be located far away from the pixel of interest. In order to detect a block of peripheral pixels having a strong correlation with the area, the area to be searched must be widened, and the processing may be enormous. There is a possibility that a block having a strong correlation with the block corresponding to the target pixel may be accidentally detected at a position where the property does not exist, and the angle detection accuracy may be reduced.
[1131]
On the other hand, as the angle of data continuity becomes closer to the horizontal direction or the vertical direction, the gradient angle detection unit 905 determines whether the pixel having the maximum value and the minimum value of the pixel value in the dynamic range block is closer. Since the distance increases, the number of pixels having the same slope (gradient indicating a change in pixel value) increases in the extracted block. Therefore, the statistical processing is performed to detect the angle of data continuity with higher accuracy. It is possible to do.
[1132]
On the other hand, when the continuity angle of the data is close to 45 degrees or 135 degrees, the distance between pixels having the maximum value and the minimum value in the dynamic range block becomes short. Therefore, the number of pixels having the same inclination (gradient indicating a change in the pixel value) in the extraction block is reduced, and the accuracy of the data continuity angle is reduced by the statistical processing.
[1133]
On the other hand, when the continuity angle of the data is around 45 degrees or around 135 degrees, the regression angle detection unit 904 calculates the distance between the block corresponding to the pixel of interest and the block corresponding to the pixel having strong correlation. Is located at a close position, so that the continuity angle can be detected with higher accuracy.
[1134]
As a result, based on the angle detected by the simplified angle detection unit 901, the processing is switched by the characteristics of each of the regression angle detection unit 904 and the gradient angle detection unit 905, and the data in all ranges is obtained. Can be detected with high accuracy. Furthermore, since the continuity angle of the data can be detected with high accuracy, the real world can be accurately estimated, and finally, more accurate and higher accuracy can be obtained for real world events (image). Processing results can be obtained.
[1135]
Next, the regression angle detection processing, which is the processing of step S904 in the flowchart of FIG. 177, will be described with reference to the flowchart of FIG. 179.
[1136]
Note that the regression equation angle detection processing performed by the regression equation angle detection unit 904 is similar to the data continuity detection processing described with reference to the flowchart in FIG. 114, and steps S921 to S922 in the flowchart in FIG. The processing in steps S924 to S927 is the same as the processing in steps S501 to S506 in the flowchart of FIG. 114, and a description thereof will not be repeated.
[1137]
In step S923, the frequency detection unit 933 refers to the scope memory 933a and, based on the information on the continuity angle of the data detected by the simplified angle detection unit 901 and supplied from the determination unit 902, determines whether or not the data is out of the scope range. Are excluded from the processing target.
[1138]
That is, for example, when the range of the angle θ detected by the simplified angle detection unit 901 is 45 ≦ θ <56.3, the scope memory 933a shows the scope corresponding to the range in FIG. 180. The range of pixels corresponding to the hatched portion is stored, and the frequency detection unit 933 excludes pixels other than the range corresponding to the scope from the processing target range.
[1139]
As a more detailed example of the scope range corresponding to each angle, for example, when the continuity angle of the data detected by the simplified angle detection unit 901 is 50 degrees, as shown in FIG. The range image and pixels outside the scope range are predefined. Note that FIG. 181 is an example of a case of a range of 31 pixels × 31 pixels centering on the target pixel, and each arrangement indicated by 0 and 1 indicates a pixel position, and is surrounded by a circle in the center of the figure. Is the position of the pixel of interest. The pixel at the position indicated by 1 is a pixel within the scope range, and the pixel at the position indicated by 0 is a pixel outside the scope range. The same applies to FIGS. 182 to 183.
[1140]
That is, as shown in FIG. 181, the pixels that are in the scope range are arranged with a certain range of width along an angle of about 50 degrees around the target pixel.
[1141]
Similarly, when the angle detected by the simple type angle detection unit 901 is 60 degrees, as shown in FIG. 182, the pixel within the scope range is reduced to about 60 degrees around the pixel of interest. Along with a certain range of width.
[1142]
Further, when the angle detected by the simple-type angle detecting unit 901 is 67 degrees, as shown in FIG. 183, the pixels within the scope range are fixed at a constant angle of about 67 degrees around the pixel of interest. Are arranged with the width of the range.
[1143]
If the angle detected by the simple type angle detection unit 901 is 81 degrees, as shown in FIG. 184, the pixels within the scope range are fixed at a constant angle of about 81 degrees around the pixel of interest. Are arranged with the width of the range.
[1144]
As described above, since the pixels outside the scope are excluded from the processing target range, in the process of converting each pixel value into a frequency, which is the process of step S924, the pixels existing at positions distant from the data continuity. Can be omitted, and only pixels having a high correlation along the direction of stationarity of data to be processed are processed, so that the processing speed can be improved. In addition, the frequency can be calculated using only pixels with high correlation along the direction of the continuity of the data to be processed, so that the continuity angle of the data can be detected with higher accuracy It becomes.
[1145]
It should be noted that the pixels belonging to the scope range are not limited to the ranges shown in FIGS. 181 to 184, and various pixels existing at positions along the angle detected by the simple angle detection unit 901 around the pixel of interest. The range may include a plurality of pixels in a range having a width.
[1146]
In the data continuity detection unit 101 described with reference to FIG. 173, the determination unit 902 controls the switch 903 based on the information on the continuity angle of the data detected by the simple type angle detection unit 901. Then, the information of the input image is input to either the regression angle detection unit 904 or the gradient angle detection unit 905. However, the regression angle detection unit 904 or the gradient angle detection unit 905 is used. After inputting an input image to any of the above and performing an angle detection process, the angle detected in any of the processes is determined based on information on the continuity angle of the data detected by the simplified angle detection unit 901. May be output.
[1147]
185. FIG. 185 shows the input image input to both the regression-type angle detection unit 904 and the gradient-type angle detection unit 905 to perform an angle detection process. 3 shows a configuration of a data continuity detecting unit 101 configured to output information on an angle detected in any of the processes based on information on an angle of continuity. Note that the same components as those of the data continuity detecting unit 101 in FIG. 173 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
[1148]
The configuration of the data continuity detecting unit 101 in FIG. 185 is different from the configuration of the data continuity detecting unit 101 in FIG. 173 in that the switch 903 is deleted and the data of the input image is converted to the regression angle detection unit 904 or Input to any of the gradient angle detection units 905, switches 982 are provided on the respective output sides, and the connection of the terminals 982a and 982 is switched to output information on the angle detected by any method. This is the point that we are doing. The switch 982 in FIG. 185 is substantially the same as the switch 903 in FIG. 173, and a description thereof will not be repeated.
[1149]
Next, a process of detecting data continuity by the data continuity detecting unit 101 in FIG. 185 will be described with reference to the flowchart in FIG. 186. Note that the processing of steps S941, S943 to S945, and S947 in the flowchart of FIG. 186 is the same as the processing of steps S901, S904, S907, S902, and S905 in the flowchart of FIG. 177, and a description thereof will be omitted.
[1150]
In step S942, the determination unit 902 outputs to the regression-type angle detection unit 904 information on the continuity angle of the data input from the simple-type angle detection unit 901.
[1151]
In step S946, the determination unit 902 controls the switch 982 to connect to the terminal 982a.
[1152]
In step S948, the determination unit 902 controls the switch 982 to connect to the terminal 982b.
[1153]
In the flowchart of FIG. 186, the processing order of steps S943 and S944 may be interchanged.
[1154]
According to the above, the real-world optical signal is projected, and in the image data in which a part of the continuity of the real-world optical signal is missing, the stationary state of the image data corresponding to the missing continuity of the real-world optical signal. The simple-type angle detection unit 901 detects an angle with respect to the gender reference axis by a matching process, and based on image data in a predetermined area corresponding to the detected angle, the regression-type angle detection unit 904 or the gradient-type angle Since the detection unit 905 detects the angle by statistical processing, it is possible to detect the continuity angle of the data at higher speed and with higher accuracy.
[1155]
Next, estimation of the signal of the real world 1 will be described.
[1156]
FIG. 187 is a block diagram illustrating a configuration of the real world estimation unit 102.
[1157]
In the real world estimating unit 102 having the configuration shown in FIG. 187, the width of the thin line in the image which is the signal of the real world 1 is detected based on the input image and the data continuity information supplied from the continuity detecting unit 101. Then, the level of the thin line (the light intensity of the signal in the real world 1) is estimated.
[1158]
The line width detecting unit 2101 detects the width of the thin line based on the data continuity information indicating the stationary region, which is a thin line region and is composed of pixels onto which the image of the thin line is projected, supplied from the continuity detecting unit 101. . The line width detecting unit 2101 supplies the signal level estimating unit 2102 with thin line width information indicating the width of the detected thin line, together with the data continuity information.
[1159]
The signal level estimating unit 2102 calculates the level of a thin line image, which is a signal of the real world 1, based on the input image, thin line width information indicating the width of the thin line supplied from the line width detecting unit 2101, and data continuity information. That is, the level of light intensity is estimated, and real world estimation information indicating the width of the thin line and the level of the image of the thin line is output.
[1160]
188 and 189 are diagrams illustrating a process of detecting the width of a thin line in a signal of the real world 1.
[1161]
In FIGS. 188 and 189, a region surrounded by a thick line (a region formed by four squares) indicates one pixel, and a region surrounded by a dotted line indicates a thin line region formed by pixels onto which a thin line image is projected. Indicates the center of gravity of the thin line region. In FIG. 188 and FIG. 189, the oblique lines indicate the images of the fine lines incident on the sensor 2. It can also be said that the oblique line indicates an area where the image of the thin line of the real world 1 is projected on the sensor 2.
[1162]
In FIGS. 188 and 189, S indicates the inclination calculated from the position of the center of gravity of the thin line region, and D indicates the overlap of the thin line region. Here, the slope S is the distance between the centers of gravity in pixels because the thin line areas are adjacent to each other. Further, the overlap D of the thin line regions is the number of adjacent pixels in two thin line regions.
[1163]
In FIGS. 188 and 189, W indicates the width of the thin line.
[1164]
In FIG. 188, the slope S is 2, and the overlap D is 2.
[1165]
In FIG. 189, the slope S is 3, and the overlap D is 1.
[1166]
Since the distance between the center of gravity and the center of gravity in the direction in which the thin line region is adjacent and the thin line region is adjacent is one pixel, W: D = 1: S is established, and the width W of the thin line is obtained by the overlap D / slope S. be able to.
[1167]
For example, as shown in FIG. 188, when the slope S is 2 and the overlap D is 2, 2/2 is 1, so the width W of the thin line is 1. Further, for example, as shown in FIG. 189, when the slope S is 3 and the overlap D is 1, the width W of the thin line is 1/3.
[1168]
The line width detection unit 2101 detects the width of the thin line from the inclination calculated from the position of the center of gravity of the thin line region and the overlap of the thin line regions.
[1169]
FIG. 190 is a diagram illustrating a process of estimating a signal level of a thin line in a signal of the real world 1.
[1170]
In FIG. 190, a region surrounded by a thick line (a region formed by four squares) indicates one pixel, and a region surrounded by a dotted line indicates a thin line region formed by pixels onto which a thin line image is projected. In FIG. 190, E indicates the length of the thin line region in units of pixels in the thin line region, and D indicates the overlap of the thin line regions (the number of pixels adjacent to other thin line regions).
[1171]
The level of the signal of the thin line is approximated to be constant within the processing unit (the thin line area), and the level of the image other than the thin line projected on the pixel value of the pixel on which the thin line is projected is the level of the adjacent pixel. Approximate to be equal to the level for the pixel value.
[1172]
Assuming that the level of the thin line signal is C, the level of the left portion of the portion of the signal (image) projected on the thin line region where the thin line signal is projected is A, and the thin line in the diagram is Let B be the level of the part on the right side of the part where the signal is projected.
[1173]
At this time, equation (93) holds.
[1174]
Sum of pixel values in thin line region = (ED) / 2 * A + (ED) / 2 * B + D * C (93)
[1175]
Since the width of the thin line region is constant and the width of the thin line region is one pixel, the area of the thin line (the portion where the signal is projected) of the thin line region is equal to the overlap D of the thin line region. Since the width of the fine line region is one pixel, the area of the fine line region in units of pixels of the fine line region is equal to the length E of the fine line region.
[1176]
In the thin line region, the area on the left side of the thin line is (ED) / 2. In the thin line region, the area on the right side of the thin line is (ED) / 2.
[1177]
The first term on the right side of Expression (93) is a portion of a pixel value where a signal of the same level as that of a signal projected on a pixel adjacent to the left is projected, and can be expressed by Expression (94). it can.
[1178]
[Equation 68]

[1179]
In equation (94), A_iIndicates the pixel value of the pixel adjacent to the left side.
[1180]
In equation (94), α_iIndicates a ratio of an area where a signal having the same level as a signal projected to a pixel adjacent to the left side is projected to a pixel in a thin line region. That is, α_iIndicates the proportion of the same pixel value as the pixel value of the pixel adjacent to the left, which is included in the pixel value of the pixel in the thin line region.
[1181]
i indicates the position of the pixel adjacent to the left side of the thin line region.
[1182]
For example, in FIG. 190, the pixel value A of the pixel adjacent to the left side of the thin line region included in the pixel value of the pixel in the thin line region₀The ratio of the same pixel value as α₀It is. In FIG. 190, the pixel value A of the pixel adjacent to the left side of the thin line region, which is included in the pixel value of the pixel in the thin line region,₁The ratio of the same pixel value as α₁It is. In FIG. 190, the pixel value A of the pixel adjacent to the left side of the thin line region, which is included in the pixel value of the pixel in the thin line region,₂The ratio of the same pixel value as α₂It is.
[1183]
The second term on the right side of Expression (93) is a portion of a pixel value where a signal of the same level as the level of the signal projected on the right adjacent pixel is projected, and can be expressed by Expression (95). it can.
[1184]
[Equation 69]

[1185]
In equation (95), B_jIndicates the pixel value of the pixel adjacent to the right side.
[1186]
In equation (95), β_jIndicates a ratio of an area where a signal having the same level as a signal projected to a pixel adjacent to the right side is projected to a pixel in a thin line region. That is, β_jIndicates the ratio of the same pixel value as the pixel value of the pixel adjacent to the right included in the pixel value of the pixel in the thin line region.
[1187]
j indicates the position of a pixel adjacent to the right side of the thin line region.
[1188]
For example, in FIG. 190, the pixel value B of the pixel adjacent to the right side of the thin line region included in the pixel value of the pixel in the thin line region₀The ratio of the same pixel value as β₀It is. In FIG. 190, the pixel value B of the pixel adjacent to the right side of the thin line region included in the pixel value of the pixel in the thin line region₁The ratio of the same pixel value as β₁It is. In FIG. 190, the pixel value B of the pixel adjacent to the right side of the thin line region included in the pixel value of the pixel in the thin line region₂The ratio of the same pixel value as β₂It is.
[1189]
As described above, the signal level estimating unit 2102 calculates the pixel values of the image other than the thin line out of the pixel values included in the thin line region based on Expressions (94) and (95), and calculates Expression (93). , The pixel values of the image other than the fine line are removed from the pixel values of the fine line region, thereby obtaining the pixel value of the image of only the fine line among the pixel values included in the fine line region. Then, the signal level estimating unit 2102 obtains the signal level of the thin line from the pixel value of the image of only the thin line and the area of the thin line. More specifically, the signal level estimating unit 2102 divides the pixel value of the image of only the thin line among the pixel values included in the thin line region by the area of the thin line in the thin line region, that is, the overlap D of the thin line region. , The signal level of the thin line is calculated.
[1190]
The signal level estimating unit 2102 outputs real world estimation information indicating the width of the thin line and the level of the thin line signal in the signal of the real world 1.
[1191]
In the method of the present invention, since the waveform of the thin line is described geometrically instead of the pixel, any resolution can be used.
[1192]
Next, the process of estimating the real world corresponding to the process of step S102 will be described with reference to the flowchart in FIG.
[1193]
In step S2101, the line width detection unit 2101 detects the width of a thin line based on the data continuity information. For example, the line width detection unit 2101 estimates the width of the thin line in the signal of the real world 1 by dividing the overlap by the slope from the inclination calculated from the position of the center of gravity of the thin line region and the overlap of the thin line region. .
[1194]
In step S2102, the signal level estimating unit 2102 estimates the signal level of the thin line based on the width of the thin line and the pixel value of the pixel adjacent to the thin line region, and estimates the estimated width of the thin line and the level of the thin line signal. Is output, and the process ends. For example, the signal level estimating unit 2102 calculates a pixel value at which an image other than a thin line included in the thin line region is projected, and removes a pixel value at which an image other than the thin line is projected from the thin line region, thereby removing only the thin line. By calculating the pixel value at which the image is projected and calculating the signal level of the thin line from the pixel value at which the image of only the thin line is projected and the area of the thin line, the thin line in the signal of the real world 1 is obtained. Estimate the level of
[1195]
As described above, the real world estimating unit 102 can estimate the width and level of the thin line of the signal of the real world 1.
[1196]
As described above, the optical signal of the real world is projected, the stationarity of the data of the first image data in which a part of the stationarity of the optical signal of the real world is missing is detected, and the stationarity of the data is detected. Based on a model representing the waveform of the optical signal in the real world, the waveform of the optical signal in the real world is estimated from the continuity of the first image data, and the estimated optical signal is converted into the second image data. In this case, a more accurate and more accurate processing result can be obtained for the optical signal in the real world.
[1197]
FIG. 192 is a block diagram illustrating another configuration of the real world estimation unit 102.
[1198]
In the real world estimating unit 102 having the configuration shown in FIG. 192, the region is detected again based on the input image and the data continuity information supplied from the data continuity detecting unit 101, and the region is detected again based on the detected region. The width of the thin line in the image that is the signal of the real world 1 is detected, and the light intensity (level) of the signal of the real world 1 is estimated. For example, in the real world estimating unit 102 having the configuration shown in FIG. 192, a stationary region composed of pixels onto which a thin line image is projected is detected again, and based on the detected region, a signal of the real world 1 is obtained. The width of the thin line in the image is detected, and the light intensity of the signal of the real world 1 is estimated.
[1199]
The data continuity information supplied from the data continuity detecting unit 101 and input to the real-world estimating unit 102 whose configuration is shown in FIG. Non-stationary component information indicating non-stationary components other than the component, monotone increasing / decreasing region information indicating a monotonic increasing / decreasing region in the steady region, information indicating a steady region, and the like are included. For example, the non-stationary component information included in the data continuity information includes a slope and an intercept of a plane approximating a non-stationary component such as a background in the input image.
[1200]
The data continuity information input to the real world estimation unit 102 is supplied to the boundary detection unit 2121. The input image input to the real world estimation unit 102 is supplied to the boundary detection unit 2121 and the signal level estimation unit 2102.
[1201]
The boundary detection unit 2121 generates, from the non-stationary component information included in the data continuity information and the input image, an image including only the stationary component on which the fine line image is projected, and based on the image including only the stationary component, By calculating the distribution ratio indicating the ratio of the projection of the thin line image, which is the signal of the real world 1 projected on the pixel, and calculating the regression line indicating the boundary of the thin line region from the calculated distribution ratio, the steady state is obtained. The thin line area, which is the area, is detected again.
[1202]
FIG. 193 is a block diagram illustrating a configuration of the boundary detection unit 2121.
[1203]
The distribution ratio calculation unit 2131 generates, from the data continuity information, the non-stationary component information included in the data continuity information, and the input image, an image including only the stationary component on which the fine line image is projected. More specifically, the distribution ratio calculation unit 2131 detects an adjacent monotone increase / decrease region in the steady region from the input image based on the monotone increase / decrease region information included in the data continuity information, and detects the detected monotone increase / decrease region. By subtracting the approximate value approximated by the plane indicated by the slope and intercept included in the steady-state component information from the pixel value of the pixel belonging to the increase / decrease area, an image consisting of only the steady-state component projected on the thin line image is generated. I do.
[1204]
The distribution ratio calculation unit 2131 subtracts the approximate value approximated by the plane indicated by the slope and intercept included in the steady component information from the pixel value of the pixel of the input image, thereby projecting the thin line image. An image composed of only the stationary component may be generated.
[1205]
The distribution ratio calculation unit 2131 distributes a thin line image, which is a signal of the real world 1, to two pixels belonging to adjacent monotone increasing / decreasing regions in the stationary region based on the generated image including only the stationary component. Calculate the distribution ratio indicating the ratio. The distribution ratio calculation unit 2131 supplies the calculated distribution ratio to the regression line calculation unit 2132.
[1206]
The processing of calculating the distribution ratio in the distribution ratio calculation unit 2131 will be described with reference to FIGS.
[1207]
The numerical values in the two columns on the left side of FIG. 194 are obtained by subtracting the approximate values approximated by the plane indicated by the slope and the intercept included in the steady component information from the pixel values of the input image. The pixel values of two columns of pixels are shown vertically. Two regions surrounded by a square on the left side of FIG. 194 indicate a monotone increase / decrease region 2141-1 and a monotone increase / decrease region 2141-2 which are two adjacent monotone increase / decrease regions. That is, the numerical values shown in the monotone increase / decrease area 2141-1 and the monotone increase / decrease area 2141-2 indicate the pixel values of the pixels belonging to the monotone increase / decrease area which is the continuity area detected by the data continuity detection unit 101.
[1208]
The numerical value in one column on the right side of FIG. 194 indicates a value obtained by adding the pixel values of the pixels arranged horizontally among the pixel values of the two columns on the left side in FIG. 194. That is, the numerical value of one column on the right side of FIG. 194 is a monotone increasing / decreasing area composed of one column of pixels vertically, and a thin line image is projected for two horizontally adjacent pixels for two adjacent pixels. Indicates a value obtained by adding pixel values.
[1209]
For example, when each pixel is composed of pixels in one column vertically and belongs to one of the adjacent monotone increase / decrease regions 2141-1 and 2141-2, and the pixel values of the horizontally adjacent pixels are 2 and 58, , Is 60. Each pixel is composed of pixels in one column vertically, belongs to either the monotone increasing / decreasing area 2141-1 or the monotonous increasing / decreasing area 2141-2 adjacent thereto, and when the pixel values of the horizontally adjacent pixels are 1 and 65, the addition is performed. The value obtained is 66.
[1210]
The numerical value in one column on the right side of FIG. 194, that is, the value obtained by adding the pixel values projected from the thin line image to the pixels that are composed of pixels in one column vertically and horizontally adjacent to two adjacent monotone increasing / decreasing areas. Is almost constant.
[1211]
Similarly, the value obtained by adding the pixel values of the thin line image projected to the vertically adjacent pixels of two adjacent monotone increasing / decreasing areas, which are composed of one row of pixels, is substantially constant.
[1212]
The distribution ratio calculation unit 2131 uses the property that the value obtained by adding the pixel values to which the fine line image is projected becomes substantially constant for the adjacent pixels of the two adjacent monotonous increase / decrease regions, and makes the thin line image 1 It calculates how it is distributed to the pixel values of the pixels in the column.
[1213]
As shown in FIG. 195, the distribution ratio calculation unit 2131 calculates a pixel value of a pixel belonging to two adjacent pixels, which is a monotonically increasing / decreasing area composed of one column of pixels, for each of horizontally adjacent pixels. The distribution ratio is calculated for each pixel belonging to two adjacent monotone increasing / decreasing regions by dividing by the value obtained by adding the pixel values onto which the fine line image is projected. However, as a result of the calculation, 100 is set for the distribution ratio exceeding 100.
[1214]
For example, as shown in FIG. 195, when the pixel value of a horizontally adjacent pixel belonging to two adjacent ones is a monotone increasing / decreasing area composed of one column of pixels vertically, and is 2 and 58, respectively. Since the sum is 60, distribution ratios of 3.5 and 95.0 are calculated for each pixel. When the pixel values of horizontally adjacent pixels belonging to two adjacent ones belonging to two adjacent ones are 1 and 65, respectively, since the added value is 65, the added value is 65. For pixels, distribution ratios of 1.5 and 98.5 are calculated.
[1215]
In this case, when three monotonous increase / decrease regions are adjacent to each other, from which column the calculation is performed, as shown in FIG. 196, the pixel value on which the image of the thin line is projected is added for each horizontally adjacent pixel. The distribution ratio is calculated based on the value closer to the pixel value of the vertex P among the two values.
[1216]
For example, when the pixel value of the vertex P is 81 and the pixel value of the pixel belonging to the monotone increasing / decreasing area of interest is 79, the pixel value of the pixel adjacent to the left is 3 and the pixel value of the pixel adjacent to the right is When the pixel value is −1, the value obtained by adding the pixel values of the adjacent pixels on the left side is 82, and the value obtained by adding the pixel values of the adjacent pixels on the right side is 78. Is selected, and the distribution ratio is calculated based on the pixels adjacent to the left side. Similarly, when the pixel value of the vertex P is 81 and the pixel value of the pixel belonging to the monotonous increase / decrease region of interest is 75, the pixel value of the pixel adjacent to the left is 0, and the pixel adjacent to the right is Is 3, the value obtained by adding the pixel values of the pixels adjacent to the left side is 75, and the value obtained by adding the pixel values of the pixels adjacent to the right side is 78, so the pixel value 81 of the vertex P Is selected, and the distribution ratio is calculated based on the pixels adjacent to the right side.
[1217]
As described above, the distribution ratio calculation unit 2131 calculates the distribution ratio for the monotone increasing / decreasing region composed of one column of pixels vertically.
[1218]
The distribution ratio calculation unit 2131 calculates the distribution ratio for the monotonous increase / decrease region including one row of pixels in the same process.
[1219]
The regression line calculation unit 2132 calculates a regression line indicating the boundary of the monotone increase / decrease region based on the distribution ratio calculated by the distribution ratio calculation unit 2131, assuming that the boundary of the monotone increase / decrease region is a straight line. , The monotonous increase / decrease region in the steady region is detected again.
[1220]
With reference to FIG. 197 and FIG. 198, a process of calculating the regression line indicating the boundary of the monotonous increase / decrease region in the regression line calculation unit 2132 will be described.
[1221]
In FIG. 197, white circles indicate pixels located on the upper boundary of the monotone increase / decrease regions 2141-1 to 2141-5. The regression line calculation unit 2132 calculates a regression line for the upper boundary of the monotone increase / decrease regions 2141-1 to 2141-5 by the regression process. For example, the regression line calculation unit 2132 calculates the straight line A that minimizes the sum of the squares of the distances from the pixels located on the upper boundary of the monotone increase / decrease regions 2141-1 to 2141-5.
[1222]
In FIG. 197, black circles indicate pixels located at lower boundaries of the monotone increase / decrease regions 2141-1 to 2141-5. The regression line calculation unit 2132 calculates a regression line for the lower boundary of the monotone increase / decrease regions 2141-1 to 2141-5 by the regression process. For example, the regression line calculation unit 2132 calculates the straight line B that minimizes the sum of the squares of the distances from the pixels located on the lower boundary of the monotone increase / decrease regions 2141-1 to 2141-5.
[1223]
The regression line calculation unit 2132 detects the monotone increase / decrease region in the steady region again by determining the boundary of the monotone increase / decrease region based on the calculated regression line.
[1224]
As shown in FIG. 198, the regression line calculation unit 2132 determines the upper boundary of the monotone increase / decrease regions 2141-1 to 2141-5 based on the calculated line A. For example, the regression line calculation unit 2132 determines the upper boundary from the pixel closest to the calculated straight line A for each of the monotone increase / decrease regions 2141-1 to 2141-5. For example, the regression line calculation unit 2132 determines the upper boundary of each of the monotone increase / decrease regions 2141-1 to 2141-5 such that the pixel closest to the calculated straight line A is included in the region.
[1225]
As shown in FIG. 198, the regression line calculation unit 2132 determines the lower boundary of the monotone increase / decrease regions 2141-1 to 2141-5 based on the calculated line B. For example, the regression line calculation unit 2132 determines the lower boundary from the pixel closest to the calculated straight line B for each of the monotone increase / decrease regions 2141-1 to 2141-5. For example, the regression line calculation unit 2132 determines the upper boundary of each of the monotone increase / decrease regions 2141-1 to 2141-5 so that the pixel closest to the calculated straight line B is included in the region.
[1226]
As described above, the regression line calculation unit 2132 re-determines the region where the pixel value monotonously increases or decreases from the vertex based on the regression line that regresses the boundary of the steady region detected by the data continuity detection unit 101. To detect. That is, the regression line calculation unit 2132 determines the boundary of the monotonous increase / decrease region based on the calculated regression line, thereby again detecting the region that is the monotone increase / decrease region in the steady region, and indicates the detected region. The area information is supplied to the line width detection unit 2101.
[1227]
As described above, the boundary detection unit 2121 calculates the distribution ratio indicating the ratio of the projection of the thin line image, which is the signal of the real world 1, projected on the pixel, and calculates the monotonous increase / decrease region from the calculated distribution ratio. By calculating a regression line indicating the boundary, the monotonous increase / decrease region in the steady region is detected again. By doing so, a more accurate monotonous increase / decrease region can be detected.
[1228]
The line width detecting unit 2101 shown in FIG. 192 detects the width of the thin line based on the area information indicating the area detected again supplied from the boundary detecting unit 2121, in the same processing as that shown in FIG. 187. . The line width detecting unit 2101 supplies the signal level estimating unit 2102 with thin line width information indicating the width of the detected thin line, together with the data continuity information.
[1229]
The processing of signal level estimating section 2102 shown in FIG. 192 is the same as the processing shown in FIG.
[1230]
FIG. 199 is a flowchart illustrating the process of estimating the real world by the real world estimating unit 102 illustrated in FIG. 192 and corresponding to the process of step S102.
[1231]
In step S2121, the boundary detection unit 2121 performs a boundary detection process of detecting an area again based on the pixel values of the pixels belonging to the stationary area detected by the data continuity detection unit 101. The details of the boundary detection processing will be described later.
[1232]
The processing in steps S2122 and S2123 is the same as the processing in steps S2101 and S2102, and a description thereof will be omitted.
[1233]
FIG. 200 is a flowchart illustrating a process of detecting a boundary corresponding to the process of step S2121.
[1234]
In step S <b> 2131, the distribution ratio calculation unit 2131 calculates a distribution ratio indicating a rate at which a thin line image is projected, based on the data continuity information indicating a monotone increase / decrease region and the input image. For example, the distribution ratio calculation unit 2131 detects an adjacent monotone increase / decrease area in the steady area from the input image based on the monotone increase / decrease area information included in the data continuity information, and belongs to the detected monotone increase / decrease area. By subtracting an approximate value approximated by a plane indicated by the slope and intercept included in the steady component information from the pixel value of the pixel, an image consisting of only the steady component on which the thin line image is projected is generated. Then, the distribution ratio calculation unit 2131 divides the pixel value of a pixel belonging to two adjacent pixels, which is a monotone increase / decrease area including one row of pixels, by the sum of the pixel values of the adjacent pixels. The distribution ratio is calculated for each pixel belonging to two adjacent monotone increase / decrease regions.
[1235]
The distribution ratio calculation unit 2131 supplies the calculated distribution ratio to the regression line calculation unit 2132.
[1236]
In step S2132, the regression line calculation unit 2132 calculates the regression line indicating the boundary of the monotonous increase / decrease region based on the distribution ratio indicating the ratio of the projection of the thin line image, thereby re-determining the region in the steady region. To detect. For example, the regression line calculation unit 2132 calculates a regression line indicating the boundary at one end of the monotone increase / decrease region, assuming that the boundary of the monotone increase / decrease region is a straight line, and calculates the regression line indicating the boundary at the other end of the monotone increase / decrease region. By calculating the straight line, the monotonous increase / decrease region in the steady region is detected again.
[1237]
The regression line calculation unit 2132 supplies the detected region information indicating the region in the steady region to the line width detection unit 2101, and the process ends.
[1238]
As described above, the real world estimating unit 102 having the configuration shown in FIG. 192 detects again the region including the pixel on which the thin line image is projected, and based on the detected region again, the image which is the signal of the real world 1 , The width of the thin line is detected, and the light intensity (level) of the signal of the real world 1 is estimated. By doing so, it is possible to more accurately detect the width of the fine line and more accurately estimate the light intensity for the signal in the real world 1.
[1239]
As described above, the discontinuity of the pixel values of the plurality of pixels is detected and detected in the first image data in which the real-world optical signal is projected and part of the continuity of the real-world optical signal is missing. From the detected discontinuity, a stationary region having data continuity is detected, the region is detected again based on the pixel value of a pixel belonging to the detected stationary region, and the real world is detected again based on the detected region. Is estimated, a more accurate and more accurate processing result can be obtained for a real-world event.
[1240]
Next, with reference to FIG. 201, the real world estimating unit 102 that outputs, as real world estimation information, the differential value of the approximation function in the spatial direction for each pixel in a region having stationarity will be described.
[1241]
The reference pixel extracting unit 2201 determines whether each pixel of the input image is a processing area based on the data continuity information (stationary angle or area information) input from the data continuity detecting unit 101. Is determined, and in the case of the processing area, information on reference pixels necessary for obtaining an approximate function of the real world from the input image (positions of a plurality of pixels around the pixel of interest required for calculation, and pixel values ) And outputs it to the approximate function estimating unit 2202.
[1242]
The approximate function estimating unit 2202 estimates, based on the least squares method, an approximate function that approximately describes the real world around the pixel of interest based on the information of the reference pixel input from the reference pixel extracting unit 2201, and The function is output to the differential processing unit 2203.
[1243]
Based on the approximation function input from the approximation function estimation unit 2202, the differentiation processing unit 2203 determines the pixel of interest according to the angle of the data continuity information (eg, the angle of a thin line or a binary edge with respect to a predetermined axis: inclination). The shift amount of the position of the pixel to be generated is calculated from the differential value at the position on the approximation function corresponding to the shift amount (for each pixel corresponding to the distance along the one-dimensional direction from the line corresponding to the stationarity). (A differential value of a function that approximates the pixel value), and further adds information on the position of the target pixel, the pixel value, and the inclination of the stationarity, and outputs the information to the image generation unit 103 as real world estimation information. I do.
[1244]
Next, the processing of the real world estimation by the real world estimation unit 102 in FIG. 201 will be described with reference to the flowchart in FIG.
[1245]
In step S <b> 2201, the reference pixel extraction unit 2201 acquires the angle and the area information as the data continuity information from the data continuity detection unit 101 together with the input image.
[1246]
In step S2202, the reference pixel extraction unit 2201 sets a pixel of interest from unprocessed pixels of the input image.
[1247]
In step S2203, the reference image extraction unit 2201 determines whether or not the pixel of interest is of the processing region based on the information of the region of the data continuity information, and determines that the pixel of interest is not a pixel of the processing region. The processing proceeds to step S2210, and the fact that the target pixel is outside the processing area is notified to the differential processing unit 2203 via the approximate function estimating unit 2202, and accordingly, the differential processing unit 2203 The differential value of the corresponding pixel of interest is set to 0, and the pixel value of the pixel of interest is further added and output to the image generation unit 103 as real world estimation information, and the process proceeds to step S2211. If it is determined that the target pixel belongs to the processing area, the process proceeds to step S2204.
[1248]
In step S2204, the reference pixel extraction unit 2201 determines from the angle information included in the data continuity information whether the direction having data continuity is an angle close to the horizontal direction or an angle close to the vertical. judge. That is, when the angle θ having the data continuity is 0 degree ≦ θ <45 degrees or 135 degrees ≦ θ <180 degrees, the reference pixel extraction unit 2201 determines that the direction of the continuity of the target pixel is the horizontal direction. When the angle θ having the data continuity is 45 degrees ≦ θ <135 degrees, it is determined that the direction of the continuity of the target pixel is close to the vertical direction.
[1249]
In step S2205, the reference pixel extraction unit 2201 extracts the position information and the pixel value of the reference pixel corresponding to the determined direction from the input image, and outputs them to the approximate function estimation unit 2202. That is, since the reference pixel becomes data used when calculating an approximation function described later, it is desirable to extract the reference pixel according to the inclination. Therefore, corresponding to one of the determination directions, that is, the horizontal direction or the vertical direction, a reference pixel in a long range in the direction is extracted. More specifically, for example, as shown in FIG._fIs closer to the vertical direction, it is determined that the pixel is in the vertical direction. In this case, for example, as shown in FIG. 203, the reference pixel extracting unit 2201 sets the central pixel (0, 0) in FIG. , Pixels (−1, 2), (−1, 1), (−1, 0), (−1, −1), (−1, −2), (0, 2), (0) , 1), (0, 0), (0, -1), (0, -2), (1, 2), (1, 1), (1, 0), (1, -1), ( The pixel values of (1, -2) are extracted. In FIG. 203, it is assumed that the size of each pixel in the horizontal direction and the vertical direction is 1.
[1250]
That is, the reference pixel extraction unit 2201 extracts pixels in a long range in the vertical direction so that the total of 15 pixels is 2 pixels in the vertical (up / down) direction and 1 pixel in the horizontal (left / right) direction around the target pixel. Extract as a reference pixel.
[1251]
Conversely, if it is determined that the pixel is in the horizontal direction, the pixel is long in the horizontal direction so that the total of 15 pixels is 1 pixel in the vertical (up / down) direction and 2 pixels in the horizontal (left / right) direction with respect to the target pixel. The pixels in the range are extracted as reference pixels and output to the approximate function estimating unit 2202. Of course, the number of reference pixels is not limited to 15 pixels as described above, and may be other numbers.
[1252]
In step S2206, the approximate function estimating unit 2202 estimates the approximate function f (x) by the least square method based on the information of the reference pixel input from the reference pixel extracting unit 2201, and outputs the estimated function to the differentiation processing unit 2203.
[1253]
That is, the approximation function f (x) is a polynomial represented by the following equation (96).
[1254]
[Equation 70]

[1255]
Thus, each coefficient W of the polynomial of equation (96)₁Or W_{n + 1}Is obtained, an approximate function f (x) that approximates the real world is obtained. However, since more reference pixel values are required than the number of coefficients, for example, in the case where the reference pixels are as shown in FIG. 203, there are a total of 15 pixels, so that only up to 15 coefficients of the polynomial are determined. I can't. Therefore, in this case, the polynomial is a polynomial up to the 14th order, and the coefficient W₁Or W_Fifteen, An approximate function is estimated. In this case, an approximate function f (x) composed of a 15th-order polynomial may be set as a simultaneous equation.
[1256]
Therefore, when using the fifteen reference pixel values shown in FIG. 203, the approximate function estimating unit 2202 estimates the following equation (97) by solving using the least squares method.
[1257]

[1258]
The number of reference pixels may be changed according to the degree of the polynomial.
[1259]
Here, Cx (ty) is the shift amount, and the slope of the stationarity is G_fWhere Cx (ty) = ty / G_fIs defined by This shift amount Cx (ty) is obtained by calculating the approximate function f (x) defined on the position in the spatial direction Y = 0 by the gradient G_f, The deviation width with respect to the spatial direction X at the position of the spatial direction Y = ty, assuming that they are continuous (having a continuity). Therefore, for example, when the approximation function is defined as f (x) on the position in the spatial direction Y = 0, the approximation function f (x) has the gradient G in the spatial direction Y = ty._fShould be shifted by Cx (ty) in the spatial direction X along f (x−ty / G / f)._f)).
[1260]
In step S2207, the differential processing unit 2203 obtains the shift amount at the position of the pixel to be generated based on the approximate function f (x) input from the approximate function estimation unit 2202.
[1261]
That is, when generating pixels so that the density is twice as high in the horizontal direction and the vertical direction (a total of four times the density), for example, the differential processing unit 2203 firstly increases the density twice in the vertical direction. In order to divide into two pixels Pa and Pb, as shown in FIG. 204, the center position of the target pixel is obtained as a differential value at Pin (Xin, Yin). Find the shift amount. Since this shift amount is Cx (0), it is substantially zero. Note that in FIG. 204, the pixel Pin is a square with (Xin, Yin) being substantially the center of gravity, and the pixels Pa and Pb are (Xin, Yin + 0.25) and (Xin, Yin−0.25). Each rectangle is a rectangle that is long in the horizontal direction in the figure and is set to be substantially the center of gravity.
[1262]
In step S2208, the differential processing unit 2203 differentiates the approximate function f (x) to obtain a first-order differential function f (x) ′ of the approximate function, and calculates a differential value at a position corresponding to the obtained shift amount. Then, this is output to the image generation unit 103 as real world estimation information. That is, in this case, the differential processing unit 2203 obtains the differential value f (Xin) ′, and determines the position (in this case, the target pixel (Xin, Yin)), the pixel value, and the direction of the stationarity. The information is added with the inclination information and output.
[1263]
In step S2209, the differentiation processing unit 2203 determines whether enough differential values necessary to generate a pixel having the obtained density have been obtained. For example, in this case, only the differential value for obtaining the double density is obtained (only the differential value for obtaining the double density in the spatial direction Y direction is obtained). It is determined that the differential values necessary to generate a pixel having a certain density have not been obtained, and the process returns to step S2207.
[1264]
In step S2207, the differential processing unit 2203 obtains the shift amount at the position of the pixel to be generated again based on the approximate function f (x) input from the approximate function estimation unit 2202. That is, in this case, the differential processing unit 2203 obtains the differential values necessary to divide each of the pixels Pa and Pb into two. Since the positions of the pixels Pa and Pb are the positions indicated by the black circles in FIG. 204, the differential processing unit 2203 calculates the shift amount corresponding to each position. The shift amounts of the pixels Pa and Pb are Cx (0.25) and Cx (−0.25), respectively.
[1265]
In step S2208, the differentiation processing unit 2203 first-order differentiates the approximation function f (x) to obtain a differential value at a position corresponding to the shift amount corresponding to each of the pixels Pa and Pb. The information is output to the image generation unit 103 as estimation information.
[1266]
That is, when the reference pixel shown in FIG. 203 is used, the differential processing unit 2203 obtains a differential function f (x) ′ for the obtained approximate function f (x) as shown in FIG. At positions (Xin-Cx (0.25)) and (Xin-Cx (-0.25)) shifted by shift amounts Cx (0.25) and Cx (-0.25). The derivative values are obtained as f (Xin-Cx (0.25)) 'and f (Xin-Cx (-0.25))', respectively, and the position information corresponding to the derivative value is added to the obtained values. Output as estimation information. Note that the pixel value information is not added since the pixel value information is output in the first processing.
[1267]
In step S2209, the differentiation processing unit 2203 determines again whether or not enough differential values necessary to generate a pixel having the obtained density have been obtained. For example, in this case, since the differential value for obtaining the density of four times has been obtained, it is determined that only the differential value necessary to generate the pixel having the required density has been obtained, The process proceeds to step S2211.
[1268]
In step S2211, the reference pixel extraction unit 2201 determines whether or not all pixels have been processed. If it is determined that not all pixels have been processed, the process returns to step S2202. If it is determined in step S2211 that all pixels have been processed, the processing ends.
[1269]
As described above, when pixels are generated such that the input image has a density that is four times higher in the horizontal and vertical directions, the pixels use the differential value of the approximate function of the center position of the divided pixels. In addition, since division is performed by extrapolation, information on a total of three differential values is required to generate a quadruple density pixel.
[1270]
That is, as shown in FIG. 204, four pixels P01, P02, P03, and P04 are finally formed for one pixel (in FIG. 204, the pixels P01, P02, P03, and P04 are four (The pixels P01, P02, P03, and P04 each have a length of approximately 0.5 because each pixel has a length of 1 at each pixel Pin.) In order to generate a quadruple-density pixel, first, a double-density pixel is generated in the horizontal direction or the vertical direction (in this case, the vertical direction) (see above). In the first steps S2207 and S2208), and further divides the two divided pixels in a direction (horizontal direction in this case) perpendicular to the direction of the first division (the above-described second step S2207, S2207). S2 08 is of processing) for.
[1271]
Note that, in the above example, the differential value when calculating a quadruple density pixel has been described as an example. However, when calculating a pixel with a higher density, the processing of steps S2207 to S2209 is repeated. More differential values required for calculating the pixel value may be obtained. In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximate function f (x) is a continuous function, it is necessary to obtain a necessary differential value for pixel values other than the double-density. Becomes possible.
[1272]
According to the above, using the pixel values of the pixels in the vicinity of the pixel of interest, an approximation function that approximately represents the real world is obtained, and the differential value of the position at which the generation of pixels in the spatial direction is necessary is output as real world estimation information It is possible to do.
[1273]
In the real world estimating unit 102 described with reference to FIG. 201, the differential value required to generate an image is output as real world estimation information. The differential value is an approximate function f at a required position. It has the same value as the slope of (x).
[1274]
Therefore, next, referring to FIG. 206, only the slope on the approximate function f (x) necessary for pixel generation is directly obtained without obtaining the approximate function f (x), and is output as real world estimation information. The real world estimating unit 102 will be described.
[1275]
The reference pixel extracting unit 2211 determines whether each pixel of the input image is a processing region based on the data continuity information (stationarity angle or region information) input from the data continuity detecting unit 101. Is determined, and in the case of the processing area, information of reference pixels necessary for obtaining an inclination from the input image (a plurality of peripheral pixels arranged in the vertical direction including a pixel of interest required for calculation, or a pixel of interest (Including information on the positions of a plurality of peripheral pixels arranged in the horizontal direction and their respective pixel values), and outputs the extracted information to the inclination estimating unit 2212.
[1276]
The inclination estimating unit 2212 generates information on the inclination of the pixel position required for pixel generation based on the information on the reference pixel input from the reference pixel extracting unit 2211 and outputs the information to the image generating unit 103 as real world estimation information. I do. More specifically, the inclination estimating unit 2212 obtains the inclination at the position of the pixel of interest on the approximation function f (x) that approximately represents the real world using the difference information of the pixel values between the pixels. , The position information of the target pixel, the pixel value, and the information of the inclination in the direction of the stationarity are output as real world estimation information.
[1277]
Next, the processing of the real world estimation by the real world estimation unit 102 in FIG. 206 will be described with reference to the flowchart in FIG.
[1278]
In step S2221, the reference pixel extracting unit 2211 acquires the angle and the area information as the data continuity information from the data continuity detecting unit 101 together with the input image.
[1279]
In step S2222, the reference pixel extraction unit 2211 sets a target pixel from unprocessed pixels of the input image.
[1280]
In step S2223, the reference image extracting unit 2211 determines whether or not the target pixel belongs to the processing area based on the information on the area of the data continuity information, and determines that the pixel of interest is not a pixel of the processing area. Then, the process proceeds to step S2228, in which the inclination estimation unit 2212 notifies the inclination estimation unit 2212 that the target pixel is outside the processing area, and accordingly, the inclination estimation unit 2212 sets the inclination of the corresponding attention pixel to 0. Further, the pixel value of the target pixel is added to the image data and output as real world estimation information to the image generation unit 103, and the process proceeds to step S2229. If it is determined that the target pixel belongs to the processing area, the process proceeds to step S2224.
[1281]
In step S2224, the reference pixel extracting unit 2211 determines from the angle information included in the data continuity information whether the direction having data continuity is an angle close to the horizontal direction or an angle close to the vertical. judge. That is, when the angle θ having the data continuity satisfies 0 degree ≦ θ <45 degrees or 135 degrees ≦ θ <180 degrees, the reference pixel extraction unit 2211 determines that the direction of the continuity of the target pixel is the horizontal direction. When the angle θ having the data continuity is 45 degrees ≦ θ <135 degrees, it is determined that the direction of the continuity of the target pixel is close to the vertical direction.
[1282]
In step S2225, the reference pixel extracting unit 2211 extracts the position information and the pixel value of the reference pixel corresponding to the determined direction from the input image, and outputs the extracted information to the inclination estimating unit 2212. That is, since the reference pixel is data used when calculating a tilt described later, it is desirable to extract the reference pixel in accordance with the tilt indicating the direction of continuity. Therefore, corresponding to one of the determination directions, that is, the horizontal direction or the vertical direction, a reference pixel in a long range in the direction is extracted. More specifically, for example, when it is determined that the inclination is close to the vertical direction, the reference pixel extracting unit 2211 assigns the center pixel (0, 0) in FIG. Then, the pixel values of the pixels (0, 2), (0, 1), (0, 0), (0, -1), and (0, -2) are extracted. In FIG. 208, it is assumed that the size of each pixel is 1 in each of the horizontal direction and the vertical direction.
[1283]
In other words, the reference pixel extraction unit 2211 extracts pixels in a vertically long range as reference pixels so that a total of five pixels, each of which is two pixels in the vertical (up / down) direction, around the target pixel.
[1284]
Conversely, if it is determined that the pixel is in the horizontal direction, pixels in a long range in the horizontal direction are extracted as reference pixels so that a total of five pixels, two pixels in the horizontal (left / right) direction, centering on the target pixel, Output to approximation function estimation section 2202. Of course, the number of reference pixels is not limited to five as described above, and may be another number.
[1285]
In step S2226, the gradient estimating unit 2212 compares the information of the reference pixel input from the reference pixel extracting unit 2211 with the gradient G in the stationary direction._f, The shift amount of each pixel value is calculated. That is, when the approximate function f (x) corresponding to the spatial direction Y = 0 is used as a reference, the approximate function corresponding to the spatial direction Y = −2, −1, 1, 2, as shown in FIG. Stationary slope G_f, The approximation functions are f (x−Cx (2)), f (x−Cx (1)), f (x−Cx (−1)), f ( x−Cx (−2)), and is expressed as a function shifted in the spatial direction X by each shift amount for each spatial direction Y = −2, −1, 1, 2.
[1286]
Therefore, the inclination estimating unit 2212 obtains these shift amounts Cx (−2) to Cx (2). For example, when the reference pixel is extracted as shown in FIG. 208, the shift amount is such that the reference pixel (0, 2) in the figure is Cx (2) = 2 / G_fAnd the reference pixel (0, 1) is Cx (1) = 1 / G_fAnd the reference pixel (0,0) has Cx (0) = 0, and the reference pixel (0, -1) has Cx (−1) = − 1 / G_fAnd the reference pixel (0, −2) is Cx (−2) = − 2 / G_fBecomes
[1287]
In step S2227, the gradient estimating unit 2212 calculates (estimates) the gradient on the approximate function f (x) at the position of the target pixel. For example, as shown in FIG. 208, when the direction of the continuity of the pixel of interest is at an angle close to the vertical direction, the pixel value differs greatly between pixels adjacent in the horizontal direction. Since the change between the pixels in the vertical direction is small and the changes are similar, the inclination estimating unit 2212 regards the change between the pixels in the vertical direction as a change in the spatial direction X due to the shift amount, and thereby calculates the difference between the pixels in the vertical direction. The inclination on the approximation function f (x) at the position of the pixel of interest is obtained by substituting the difference between pixels in the horizontal direction.
[1288]
That is, assuming that there is an approximate function f (x) that approximately describes the real world, the relationship between the above-described shift amount and the pixel value of each reference pixel is as shown in FIG. Here, the pixel value of each pixel in FIG. 208 is P (0,2), P (0,1), P (0,0), P (0, −1), P (0, −2) from the top. ). As a result, the pixel value P and the shift amount Cx in the vicinity of the target pixel (0, 0) are (P, Cx) = (P (0, 2), −Cx (2)), (P (0, 1), -Cx (1)), (P (0, -1)), -Cx (-1)), (P (0, -2), -Cx (-2)), (P (0,0), 0) is obtained.
[1289]
Incidentally, the pixel value P, the shift amount Cx, and the gradient Kx (gradient on the approximation function f (x)) have a relationship represented by the following expression (98).
[1290]
P = Kx × Cx (98)
[1291]
Since the above equation (98) is a function of one variable for the variable Kx, the slope estimating unit 2212 obtains the slope Kx for this variable Kx (slope) by the one-variable least square method.
[1292]
That is, the gradient estimating unit 2212 obtains the gradient of the target pixel by solving a normal equation such as the following equation (99), and obtains the pixel value of the target pixel and information on the gradient in the direction of stationarity. And outputs it to the image generation unit 103 as real world estimation information.
[1293]
[Equation 71]

[1294]
Here, i is a number for identifying a set of the pixel value P of the reference pixel and the shift amount C, and is 1 to m. M is the number of reference pixels including the target pixel.
[1295]
In step S2229, the reference pixel extracting unit 2211 determines whether or not all pixels have been processed. If it is determined that all pixels have not been processed, the process returns to step S2222. If it is determined in step S2229 that all pixels have been processed, the process ends.
[1296]
The inclination output as the real world estimation information by the above-described processing is used when extrapolating and calculating the pixel value finally obtained. Further, in the above example, the inclination at the time of calculating a pixel having a double density has been described as an example. However, when calculating a pixel having a higher density, more positions required for calculating a pixel value are required. May be obtained.
[1297]
For example, as shown in FIG. 204, when pixels having a density twice as high in the horizontal direction and a total of four times the density in the spatial direction having twice the density in the vertical direction are generated as described above, as shown in FIG. The slope Kx of the approximate function f (x) corresponding to each position of Pin, Pa, and Pb in 204 may be obtained.
[1298]
In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximation function f (x) is a continuous function, a necessary gradient is also required for pixel values of pixels at positions other than the double-density. Can be obtained.
[1299]
According to the above, the slope of the approximate function of the position where the pixel needs to be generated in the spatial direction can be calculated without using the pixel value of the pixel near the target pixel to find an approximate function that approximately represents the real world. It can be generated as world estimation information and further output.
[1300]
Next, with reference to FIG. 210, a description will be given of the real world estimating unit 102 that outputs a differential value on an approximation function in the frame direction (time direction) for each pixel in a region having stationarity as real world estimation information.
[1301]
The reference pixel extracting unit 2231 converts each pixel of the input image into a processing area based on the data continuity information (stationary motion (motion vector) and area information) input from the data continuity detecting unit 101. It is determined whether or not there is, and if it is a processing area, information of reference pixels necessary for obtaining an approximate function of the real world from the input image (positions of a plurality of pixels around the pixel of interest required for calculation, and , Pixel value information) and outputs it to the approximate function estimating unit 2202.
[1302]
The approximate function estimating unit 2232 estimates an approximate function that approximately describes the real world around the pixel of interest based on the information of the reference pixel in the frame direction input from the reference pixel extracting unit 2231 based on the least square method, The estimated function is output to the differential processing unit 2233.
[1303]
The differential processing unit 2233 calculates the shift amount in the frame direction of the position of the pixel to be generated from the target pixel in accordance with the movement of the data continuity information, based on the frame direction approximation function input from the approximation function estimation unit 2232. Is calculated, and the differential value at the position on the approximate function in the frame direction according to the shift amount (the derivative of the function that approximates the pixel value of each pixel corresponding to the distance along the one-dimensional direction from the line corresponding to the stationarity) Value), and further adds information on the position of the pixel of interest, the pixel value, and the stationary motion, and outputs this to the image generation unit 103 as real world estimation information.
[1304]
Next, the processing of the real world estimation by the real world estimation unit 102 in FIG. 210 will be described with reference to the flowchart in FIG.
[1305]
In step S <b> 2241, the reference pixel extraction unit 2231 acquires the movement as the data continuity information and the information of the area from the data continuity detection unit 101 together with the input image.
[1306]
In step S2242, the reference pixel extraction unit 2231 sets a target pixel from unprocessed pixels of the input image.
[1307]
In step S2243, the reference image extracting unit 2231 determines whether the pixel of interest is of the processing region based on the information of the region of the data continuity information, and determines that the pixel of interest is not a pixel of the processing region. The processing proceeds to step S2250, and the fact that the pixel of interest is outside the processing area is notified to the differentiation processing unit 2233 via the approximate function estimation unit 2232, and in response, the differentiation processing unit 2233 The differential value of the corresponding pixel of interest is set to 0, and the pixel value of the pixel of interest is further added to the pixel value and output to the image generation unit 103 as real world estimation information, and the process proceeds to step S2251. If it is determined that the target pixel belongs to the processing area, the process proceeds to step S2244.
[1308]
In step S2244, the reference pixel extracting unit 2231 determines whether the direction having data continuity is a motion close to the spatial direction or a motion close to the frame direction, based on the motion information included in the data continuity information. Is determined. That is, as shown in FIG. 212, if an angle indicating a direction in a time and space plane with respect to the frame direction as a reference axis on a plane formed by the frame direction T and the space direction Y is referred to as reference pixel extraction. When the angle θv having data continuity satisfies 0 degree ≦ vv <45 degrees or 135 degree ≦ vv <180 degrees, the unit 2201 determines that the continuity movement of the target pixel is in the frame direction (time direction). If the angle θ having the data continuity is determined to be 45 degrees ≦ θ <135 degrees, it is determined that the direction of the continuity of the target pixel is close to the spatial direction.
[1309]
In step S2245, the reference pixel extracting unit 2201 extracts the position information and the pixel value of the reference pixel corresponding to the determined direction from the input image, and outputs the extracted information to the approximate function estimating unit 2232. That is, since the reference pixel is data used when calculating an approximation function described later, it is desirable to extract the reference pixel according to the angle. Therefore, the reference pixels in a long range in the direction corresponding to the determination direction of the frame direction or the spatial direction are extracted. More specifically, for example, as shown in FIG._fIs close to the spatial direction, it is determined that the pixel is in the spatial direction. In this case, the reference pixel extracting unit 2231 determines, for example, as shown in FIG. 212, the central pixel (t, y) = (0, , 0) as a target pixel, pixel (t, y) = (− 1, 2), (−1, 1), (−1, 0), (−1, −1), (−1, 1). -2), (0,2), (0,1), (0,0), (0, -1), (0, -2), (1,2), (1,1), (1 , 0), (1, -1), and (1, -2). In FIG. 212, it is assumed that the size of each pixel in the frame direction and the spatial direction is 1.
[1310]
That is, the reference pixel extracting unit 2231 sets the frame to be 2 pixels in the space (up and down direction in the drawing) and 1 frame in the frame (left and right directions in the drawing) each with a total of 15 pixels around the target pixel. Pixels in a range in which the spatial direction is longer than the direction are extracted as reference pixels.
[1311]
Conversely, when it is determined that the frame direction is the frame direction, a total of 15 pixels for 1 frame in the space (vertical direction in the figure) × 2 frames in the frame (left and right directions in the figure) centering on the target pixel. As described above, pixels in a long range in the frame direction are extracted as reference pixels, and output to the approximate function estimating unit 2232. Of course, the number of reference pixels is not limited to 15 pixels as described above, and may be other numbers.
[1312]
In step S2246, the approximate function estimating unit 2232 estimates the approximate function f (t) by the least square method based on the information of the reference pixel input from the reference pixel extracting unit 2231, and outputs the estimated function f (t) to the differential processing unit 2233.
[1313]
That is, the approximation function f (t) is a polynomial as shown in the following equation (100).
[1314]
[Equation 72]

[1315]
Thus, each coefficient W of the polynomial of equation (100)₁Or W_{n + 1}Is obtained, an approximate function f (t) in the frame direction that approximates the real world is obtained. However, since more reference pixel values are required than the number of coefficients, for example, in the case where the reference pixels are as shown in FIG. I can't. Therefore, in this case, the polynomial is a polynomial up to the 14th order, and the coefficient W₁Or W_Fifteen, An approximate function is estimated. In this case, an approximate function f (x) composed of a 15th-order polynomial may be set as a simultaneous equation.
[1316]
Therefore, when using the fifteen reference pixel values shown in FIG. 212, the approximate function estimating unit 2232 estimates the following equation (101) by solving the following equation (101) using the least squares method.
[1317]

[1318]
The number of reference pixels may be changed according to the degree of the polynomial.
[1319]
Here, Ct (ty) is a shift amount, which is similar to the above-mentioned Cx (ty), and the slope of the stationarity is V_fWhere Ct (ty) = ty / V_fIs defined by This shift amount Ct (ty) is obtained by calculating the approximate function f (t) defined on the position in the spatial direction Y = 0 by using the slope V_fIndicates a shift width with respect to the frame direction T at the position of the spatial direction Y = ty, assuming that the position is continuous (has a continuity) along the frame. Therefore, for example, when the approximation function is defined as f (t) on the position of the space direction Y = 0, the approximation function f (t) is expressed in the frame direction (time direction) in the space direction Y = ty. The function should be f (t−Ct (ty)) (= f (t−ty / V) because T should be shifted by Ct (ty)._f)).
[1320]
In step S2247, the differential processing unit 2233 obtains the shift amount at the position of the pixel to be generated based on the approximate function f (t) input from the approximate function estimator 2232.
[1321]
That is, when generating pixels so as to have twice the density in each of the frame direction and the spatial direction (a total of four times the density), for example, the differential processing unit 2233 first sets the density to twice the spatial direction. In order to divide into two pixels Pat and Pbt, as shown in FIG. 213, the center position of the target pixel is obtained as a differential value at Pin (Tin, Yin). Find the shift amount. Since this shift amount is Ct (0), it is substantially zero. Note that in FIG. 213, the pixel Pin is a square with (Tin, Yin) being substantially the center of gravity, and the pixels Pat and Pbt are (Tin, Yin + 0.25) and (Tin, Yin−0.25). Each of the rectangles has a substantially centroid position and is long in the horizontal direction in the figure. Further, the length of the target pixel Pin in the frame direction T being 1 corresponds to a shutter time for one frame.
[1322]
In step S2248, the differential processing unit 2233 differentiates the approximate function f (t) to obtain a first-order differential function f (t) ′ of the approximate function, and calculates a differential value at a position corresponding to the obtained shift amount. Then, this is output to the image generation unit 103 as real world estimation information. That is, in this case, the differential processing unit 2233 obtains the differential value f (Tin) ′, and determines the position (in this case, the target pixel (Tin, Yin)), the pixel value, and the direction of the stationarity. The motion information is added and output.
[1323]
In step S2249, the differential processing unit 2233 determines whether or not enough differential values necessary to generate a pixel having the obtained density have been obtained. For example, in this case, only the differential value for achieving the double density in the spatial direction is obtained (the differential value for obtaining the double density in the frame direction is not obtained). It is determined that the differential values necessary to generate a pixel having a certain density have not been obtained, and the process returns to step S2247.
[1324]
In step S2247, the differential processing unit 2203 obtains the shift amount at the position of the pixel to be generated again based on the approximate function f (t) input from the approximate function estimation unit 2202. That is, in this case, the differential processing unit 2203 obtains the differential values required to further divide each of the pixels Pat and Pbt into two. Since the positions of the pixels Pat and Pbt are the positions indicated by the black circles in FIG. 213, the differential processing unit 2233 obtains the shift amounts corresponding to the positions. The shift amounts of the pixels Pat and Pbt are Ct (0.25) and Ct (−0.25), respectively.
[1325]
In step S2248, the differential processing unit 2233 differentiates the approximation function f (t), obtains a differential value at a position corresponding to the shift amount corresponding to each of the pixels Pat and Pbt, and obtains the differential value at the real-world estimation information. Is output to the image generation unit 103.
[1326]
That is, when the reference pixel shown in FIG. 212 is used, the differential processing unit 2233 obtains a differential function f (t) ′ for the obtained approximate function f (t) as shown in FIG. At positions (Tin−Ct (0.25)) and (Tin−Ct (−0.25)) which are shifted by shift amounts Ct (0.25) and Ct (−0.25). The derivative values are obtained as f (Tin-Ct (0.25)) 'and f (Tin-Ct (-0.25))', respectively, and the position information corresponding to the derivative value is added, and this is calculated in the real world. Output as estimation information. Note that the pixel value information is not added since the pixel value information is output in the first processing.
[1327]
In step S2249, the differentiation processing unit 2233 determines again whether or not enough differential values necessary to generate a pixel having the obtained density have been obtained. For example, in this case, a differential value for obtaining a density twice as large (a total of four times) in each of the spatial direction Y and the frame direction T has been obtained, so that a pixel having the obtained density is generated. It is determined that only the differential values necessary for are obtained, and the process proceeds to step S2251.
[1328]
In step S2251, the reference pixel extraction unit 2231 determines whether all pixels have been processed. If it is determined that not all pixels have been processed, the process returns to step S2242. If it is determined in step S2251 that all pixels have been processed, the processing ends.
[1329]
As described above, when pixels are generated such that the density of the input image is four times higher in the frame direction (time direction) and in the spatial direction, the pixel is an approximate function of the central position of the divided pixel. Since division is performed by extrapolation using differential values, information on a total of three differential values is required to generate a quadruple-density pixel.
[1330]
That is, as shown in FIG. 213, for one pixel, finally, four pixels P01t, P02t, P03t, and P04t (in FIG. 213, the pixels P01t, P02t, P03t, and P04t are four pixels in the figure). (The pixels P01t, P02t, P03t, and P04t are each approximately 0.5 because each pixel has a length of 1 on each side, and each pixel has a length of 0.5.) In order to generate a quadruple-density pixel, first, a double-density pixel is generated in the frame direction or the spatial direction (the first steps S2247 and S2248 described above). Processing), and further divides the two divided pixels in a direction (in this case, the frame direction) perpendicular to the direction in which the two pixels were first divided (the second step S22 described above). 7, the processing of S2248) is due.
[1331]
In the above example, the differential value when calculating a quadruple-density pixel has been described as an example. However, when calculating a pixel with a higher density, the processing of steps S2247 to S2249 is repeated. More differential values required for calculating the pixel value may be obtained. In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximate function f (t) is a continuous function, it is necessary to obtain a necessary differential value for pixel values other than the double-density. Becomes possible.
[1332]
According to the above, it is possible to obtain an approximation function that approximately represents the real world using the pixel values of the pixels in the vicinity of the target pixel, and output the differential value of the position where the pixel needs to be generated as real world estimation information. It becomes possible.
[1333]
In the real world estimating unit 102 described with reference to FIG. 210 described above, the differential value necessary to generate an image is output as real world estimation information. The differential value is an approximate function f at a required position. It has the same value as the slope of (t).
[1334]
Therefore, referring to FIG. 215, a real-world estimating unit that directly obtains only the inclination in the frame direction on the approximate function required for pixel generation without outputting an approximate function, and outputs it as real-world estimation information 102 will be described.
[1335]
The reference pixel extraction unit 2251 determines whether each pixel of the input image is a processing area based on the data continuity information (stationary movement and area information) input from the data continuity detection unit 101. Is determined, and in the case of the processing area, information of reference pixels necessary for obtaining an inclination from the input image (a plurality of peripheral pixels arranged in the spatial direction including the pixel of interest required for calculation, or The position of a plurality of peripheral pixels arranged in the frame direction and the information of the respective pixel values are extracted and output to the inclination estimating unit 2252.
[1336]
The inclination estimating unit 2252 generates information on the inclination of the pixel position required for pixel generation based on the information on the reference pixel input from the reference pixel extracting unit 2251 and outputs the information to the image generation unit 103 as real world estimation information. I do. More specifically, the inclination estimating unit 2252 obtains the inclination in the frame direction at the position of the target pixel on the approximation function that approximately represents the real world using the difference information of the pixel values between the pixels. The position information of the target pixel, the pixel value, and the information on the movement in the direction of continuity are output as real world estimation information.
[1337]
Next, the processing of the real world estimation by the real world estimation unit 102 in FIG. 215 will be described with reference to the flowchart in FIG.
[1338]
In step S2261, the reference pixel extraction unit 2251 acquires the movement as the data continuity information and the information of the area from the data continuity detection unit 101 together with the input image.
[1339]
In step S2262, the reference pixel extraction unit 2251 sets a target pixel from unprocessed pixels of the input image.
[1340]
In step S2263, the reference image extracting unit 2251 determines whether the pixel of interest is from the processing area based on the information on the area of the data continuity information, and determines that the pixel of interest is not a pixel in the processing area. The process then proceeds to step S2268, informing the inclination estimating unit 2252 that the pixel of interest is outside the processing area, and in response, the inclination estimating unit 2252 sets the inclination of the corresponding pixel of interest to 0. Further, the pixel value of the target pixel is added to the image data, and the resultant value is output to the image generation unit 103 as real world estimation information, and the process proceeds to step S2269. If it is determined that the target pixel belongs to the processing area, the process proceeds to step S2264.
[1341]
In step S2264, the reference pixel extracting unit 2211 determines from the motion information included in the data continuity information whether the data continuity motion is a motion close to the frame direction or a motion close to the spatial direction. judge. That is, in a plane formed by the frame direction T and the space direction Y, if the angle indicating the direction in the time and space planes with the frame direction as the reference axis is θv, the reference pixel extraction unit 2251 determines the data continuity. If the motion angle θv is 0 ° ≦ θv <45 ° or 135 ° ≦ θv <180 °, it is determined that the stationary motion of the pixel of interest is close to the frame direction, and the angle having data continuity is determined. If θv satisfies 45 degrees ≦ θv <135 degrees, it is determined that the stationary motion of the target pixel is close to the spatial direction.
[1342]
In step S2265, the reference pixel extraction unit 2251 extracts the position information and the pixel value of the reference pixel corresponding to the determined direction from the input image, and outputs the extracted information to the inclination estimation unit 2252. That is, since the reference pixel is data used when calculating a tilt described later, it is desirable to extract the reference pixel in accordance with the stationary motion. Therefore, the reference pixels in a long range in the direction corresponding to the determination direction of the frame direction or the spatial direction are extracted. More specifically, for example, when it is determined that the motion is close to the spatial direction, the reference pixel extraction unit 2251 determines the central pixel (t, y) = (0, 0) in FIG. , 0) as a target pixel, each of pixels (t, y) = (0, 2), (0, 1), (0, 0), (0, −1), (0, −2) Is extracted. In FIG. 217, it is assumed that the size of each pixel is 1 in the frame direction and the spatial direction.
[1343]
That is, the reference pixel extraction unit 2251 extracts pixels in a long range in the spatial direction as reference pixels such that a total of 5 pixels, each of which is 2 pixels in the space (up and down direction in the figure), with the target pixel as the center.
[1344]
On the other hand, if it is determined that the pixel is in the frame direction, a long range of pixels in the horizontal direction is extracted as a reference pixel so that a total of 5 pixels including 2 pixels in the frame (left and right directions in the drawing) centering on the target pixel. Then, it outputs the result to the approximate function estimating unit 2252. Of course, the number of reference pixels is not limited to five as described above, and may be another number.
[1345]
In step S2266, the inclination estimating unit 2252 calculates the information of the reference pixel input from the reference pixel extracting unit 2251 and the motion V in the stationary direction._fThe shift amount of each pixel value is calculated based on the direction of. That is, when the approximation function f (t) corresponding to the spatial direction Y = 0 is used as a reference, the approximation function corresponding to the spatial direction Y = −2, −1, 1, 2, as shown in FIG. Stationary slope V_f, The approximation functions are f (t−Ct (2)), f (t−Ct (1)), f (t−Ct (−1)), f ( t-Ct (-2)), and expressed as a function shifted in the frame direction T by the amount of each shift in each of the spatial directions Y = -2, -1, 1, and 2.
[1346]
Therefore, the inclination estimating unit 2252 obtains these shift amounts Ct (−2) to Ct (2). For example, when the reference pixel is extracted as shown in FIG. 217, the shift amount is such that the reference pixel (0, 2) in the figure is Ct (2) = 2 / V_fAnd the reference pixel (0, 1) is Ct (1) = 1 / V_fAnd the reference pixel (0,0) has Ct (0) = 0, and the reference pixel (0, -1) has Ct (−1) = − 1 / V_fAnd the reference pixel (0, −2) is Ct (−2) = − 2 / V_fBecomes The inclination estimating unit 2252 obtains these shift amounts Ct (−2) to Ct (2).
[1347]
In step S2267, the inclination estimating unit 2252 calculates (estimates) the inclination of the pixel of interest in the frame direction. For example, as shown in FIG. 217, when the direction of the continuity of the pixel of interest is at an angle close to the spatial direction, the pixel values between the pixels adjacent in the frame direction are significantly different. Since the change between the pixels in the spatial direction is small and the changes are similar, the inclination estimating unit 2252 regards the change between the pixels in the spatial direction as a change in the frame direction T due to the shift amount, thereby calculating the difference between the pixels in the spatial direction. The inclination at the pixel of interest is obtained by substituting the difference between pixels in the frame direction.
[1348]
That is, assuming that there is a function f (t) that approximately describes the real world, the relationship between the above-described shift amount and the pixel value of each reference pixel is as shown in FIG. Here, the pixel value of each pixel in FIG. 218 is P (0,2), P (0,1), P (0,0), P (0, −1), P (0, −2) from the top. ). As a result, the pixel value P and the shift amount Ct in the vicinity of the target pixel (0, 0) are (P, Ct) = (P (0, 2), −Ct (2)), (P (0, 1), −Ct (1)), (P (0, −1)), −Ct (−1)), (P (0, −2), −Ct (−2)), (P (0,0), 0) is obtained.
[1349]
By the way, the pixel value P, the shift amount Ct, and the gradient Kt (gradient on the approximation function f (t)) have a relationship represented by the following expression (102).
[1350]
P = Kt × Ct (102)
[1351]
Since the above equation (102) is a function of one variable with respect to the variable Kt, the slope estimating unit 2212 obtains the slope Kt of the variable Kt (slope) by the one-variable least square method.
[1352]
That is, the inclination estimating unit 2252 obtains the inclination of the target pixel by solving a normal equation such as the following equation (103), and obtains the pixel value of the target pixel and information on the inclination in the direction of continuity. And outputs it to the image generation unit 103 as real world estimation information.
[1353]
[Equation 73]

[1354]
Here, i is a number for identifying a set of the pixel value P of the reference pixel and the shift amount Ct, and is 1 to m. M is the number of reference pixels including the target pixel.
[1355]
In step S2269, the reference pixel extraction unit 2251 determines whether or not all pixels have been processed. If it is determined that all pixels have not been processed, the process returns to step S2262. If it is determined in step S2269 that all pixels have been processed, the processing ends.
[1356]
The inclination in the frame direction output as the real world estimation information by the above-described processing is used when the pixel value finally obtained is calculated by extrapolation interpolation. Further, in the above example, the inclination at the time of calculating a pixel having a double density has been described as an example. However, when calculating a pixel having a higher density, more positions required for calculating a pixel value are required. May be obtained.
[1357]
For example, as shown in FIG. 204, when generating a pixel having a density twice as high in the horizontal direction and a total density of four times in the spatio-temporal direction having a density twice as high in the frame direction, as described above, The slope Kt of the approximate function f (t) corresponding to each position of Pin, Pat, and Pbt in FIG. 204 may be obtained.
[1358]
In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximation function f (t) is a continuous function, a necessary gradient is also required for pixel values of pixels at positions other than the double-density. Can be obtained.
[1359]
Needless to say, the order of the processing for obtaining the gradient on the approximate function or the differential value with respect to the frame direction or the spatial direction does not matter. Furthermore, in the spatial direction, in the above example, the description has been made using the relationship between the spatial direction Y and the frame direction T, but the relationship between the spatial direction X and the frame direction T may be used. . Further, a slope or a differential value (in any one-dimensional direction) or a differential value may be selectively obtained from any two-dimensional relationship in the spatiotemporal direction.
[1360]
According to the above, a real-world optical signal is projected by a plurality of detection elements of a sensor, each of which has a spatio-temporal integration effect, and a part of the continuity of the real-world optical signal is lacking, and is projected by a detection element. Detects data continuity in image data consisting of a plurality of pixels having pixel values, and, corresponding to the detected continuity, corresponds to a one-dimensional position in a spatiotemporal direction with respect to a target pixel in the image data. Of the pixel values of a plurality of pixels to be estimated as a function corresponding to the optical signal of the real world, the pixel direction of the pixel in the vicinity of the pixel of interest is used to roughly represent the real world. , It is possible to generate and further output a gradient on the approximate function in the frame direction (time direction) of a position where a pixel is required to be generated as real world estimation information without obtaining the approximate function of.
[1361]
Next, another example of the embodiment of the real world estimating unit 102 (FIG. 3) will be described with reference to FIGS.
[1362]
FIG. 219 is a diagram for explaining the principle of the embodiment of this example.
[1363]
As shown in FIG. 219, a signal (distribution of light intensity) of the real world 1 which is an image incident on the sensor 2 is represented by a predetermined function F. Hereinafter, in the description of the embodiment of this example, a signal of the real world 1 which is an image is particularly referred to as an optical signal, and the function F is particularly referred to as an optical signal function F.
[1364]
In the embodiment of this example, when the optical signal of the real world 1 represented by the optical signal function F has a predetermined continuity, the real world estimating unit 102 outputs the input image (corresponding to the continuity) from the sensor 2. Image data including the stationarity of the data to be processed) and the data stationarity information (data stationarity information corresponding to the stationarity of the data of the input image) from the data stationarity detection unit 101, and the optical signal function F The optical signal function F is estimated by approximation with a predetermined function f. Hereinafter, in the description of the embodiment of this example, the function f is particularly referred to as an approximate function f.
[1365]
In other words, in the embodiment of this example, the real-world estimating unit 102 uses the model 161 (FIG. 7) represented by the approximation function f to generate the image (the real world 1) represented by the optical signal function F. (Optical signal) is approximated (described). Therefore, the embodiment of this example is hereinafter referred to as a function approximation method.
[1366]
Here, prior to a specific description of the function approximation method, the background that led the present applicant to invent the function approximation method will be described.
[1368]
FIG. 220 is a view for explaining the integration effect when the sensor 2 is a CCD.
[1368]
As shown in FIG. 220, a plurality of detection elements 2-1 are arranged on the plane of the sensor 2.
[1369]
In the example of FIG. 220, the direction parallel to a predetermined side of the detection element 2-1 is the X direction, which is one direction in the spatial direction, and the direction perpendicular to the X direction is the other direction in the spatial direction. It is a certain Y direction. The direction perpendicular to the XY plane is the t direction, which is the time direction.
[1370]
In the example of FIG. 220, the spatial shape of each detection element 2-1 of the sensor 2 is a square with one side length of one. The shutter time (exposure time) of the sensor 2 is set to 1.
[1371]
Further, in the example of FIG. 220, the center of one predetermined detection element 2-1 of the sensor 2 is located at the origin (the position x = 0 in the X direction and the position y in the Y direction) in the spatial direction (X direction and Y direction). = 0), and the intermediate time of the exposure time is the origin in the time direction (t direction) (position t = 0 in the t direction).
[1372]
In this case, the detection element 2-1 having its center at the origin (x = 0, y = 0) in the spatial direction is in the range of -0.5 to 0.5 in the X direction and -0.5 in the Y direction. The optical signal function F (x, y, t) is integrated in the range of 0.5 to 0.5 and in the range of -0.5 to 0.5 in the t direction, and the integrated value is output as the pixel value P. .
[1373]
That is, the pixel value P output from the detection element 2-1 having its center at the origin in the spatial direction is represented by the following equation (104).
[1374]
[Equation 74]

[1375]
Similarly, by setting the center of the target detection element 2-1 as the origin in the spatial direction, the other detection elements 2-1 output the pixel value P represented by Expression (104).
[1376]
FIG. 221 is a diagram illustrating a specific example of the integration effect of the sensor 2.
[1377]
In FIG. 221, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 220).
[1378]
A portion 2301 of the optical signal of the real world 1 (hereinafter, such a portion is referred to as a region) 2301 represents an example of a region having a predetermined continuity.
[1379]
Note that the area 2301 is actually a part (continuous area) of a continuous optical signal. On the other hand, in FIG. 221, the region 2301 is shown as being divided into 20 small regions (square regions). This is because the size of the region 2301 is equivalent to the size in which four detection elements (pixels) of the sensor 2 are arranged in the X direction and five in the Y direction. is there. That is, each of the 20 small regions (virtual regions) in the region 2301 corresponds to one pixel.
[1380]
A white portion in the drawing of the region 2301 indicates an optical signal corresponding to a thin line. Therefore, the region 2301 has continuity in the direction in which the thin line continues. Therefore, hereinafter, the region 2301 is referred to as a thin-line-containing real world region 2301.
[1381]
In this case, when the thin-line-containing real world region 2301 (a part of the optical signal of the real world 1) is detected by the sensor 2, the sensor 2 outputs an input image (pixel value) region 2302 (hereinafter, referred to as the pixel value) due to the integration effect. A thin line containing data area 2302) is output.
[1382]
Each pixel in the thin line containing data area 2302 is shown as an image in the figure, but is actually data representing one predetermined value. That is, due to the integration effect of the sensor 2, the thin-line-containing real world region 2301 has 20 pixels each having a predetermined one pixel value (4 pixels in the X direction and 5 pixels in the Y direction, for a total of 20 pixels). The area changes into a thin line containing data area 2302 (distorted).
[1383]
FIG. 222 is a view for explaining another specific example of the integration effect of the sensor 2 (an example different from FIG. 221).
[1384]
In FIG. 222, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 220).
[1385]
A part (region) 2303 of the optical signal of the real world 1 represents another example of the region having the predetermined continuity (an example different from the thin-line-containing real world region 2301 in FIG. 221).
[1386]
Note that the region 2303 is a region having the same size as the fine-line-containing real world region 2301. That is, similarly to the thin-line-containing real world region 2301, the region 2303 is actually one part (continuous region) of the continuous real world 1 optical signal, but in FIG. It is shown as being divided into corresponding twenty small areas (square areas).
[1387]
The region 2303 includes an edge of a first portion having a predetermined first light intensity (value) and an edge of a second portion having a predetermined second light intensity (value). Therefore, the region 2303 has continuity in the direction in which the edge continues. Therefore, hereinafter, the region 2303 is referred to as a binary edge-containing real world region 2303.
[1388]
In this case, when the binary edge-containing real world region 2303 (a part of the optical signal of the real world 1) is detected by the sensor 2, the sensor 2 outputs an input image (pixel value) region 2304 (pixel value) due to the integration effect. Hereinafter, a binary edge-containing data area 2304 is output.
[1389]
Each of the pixel values in the binary edge-containing data area 2304 is represented as an image in the drawing similarly to the fine line-containing data area 2302, but is actually data representing a predetermined value. That is, due to the integration effect of the sensor 2, the binary edge-containing real world region 2303 has a total of 20 pixels (4 pixels in the X direction and 5 pixels in the Y direction) each having one predetermined pixel value. (The number of pixels) is changed to a binary edge-containing data area 2304 (distorted).
[1390]
The conventional image processing apparatus uses the image data output from the sensor 2 such as the thin line-containing data area 2302 and the binary edge-containing data area 2304 as an origin (reference), and sets the image data as a processing target. Subsequent image processing was performed. That is, although the image data output from the sensor 2 is different (distorted) from the optical signal of the real world 1 due to the integration effect, the conventional image processing apparatus Image processing was performed with data different from the optical signal as positive.
[1391]
As a result, in the conventional image processing apparatus, it is very difficult to restore the original details from the waveform (image data) in which the details in the real world are collapsed at the stage of output from the sensor 2. Was difficult.
[1392]
Therefore, in the function approximation method, in order to solve this problem, as described above (as shown in FIG. 219), the real world estimating unit 102 uses the thin line containing data area 2302 and the binary edge containing data area 2304 as described above. The optical signal function F is estimated by approximating the optical signal function F (the optical signal of the real world 1) with the approximation function f from the image data (input image) output from the sensor 2 as described above.
[1393]
Thus, at a stage subsequent to the real world estimation unit 102 (in this case, the image generation unit 103 in FIG. 3), the image data in which the integration effect is considered, that is, the image data that can be expressed by the approximation function f is set as the origin. Processing can be performed.
[1394]
Hereinafter, three specific methods (first to third function approximation methods) among such function approximation methods will be individually described with reference to the drawings.
[1395]
First, the first function approximation method will be described with reference to FIGS. 223 to 237.
[1396]
FIG. 223 is a diagram again showing the thin-line-containing real world region 2301 shown in FIG. 221 described above.
[1397]
In FIG. 223, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 220).
[1398]
The first function approximation method projects, for example, an optical signal function F (x, y, t) corresponding to a thin-line-containing real world region 2301 as shown in FIG. 223 in the X direction (the direction of arrow 2311 in the figure). A method of approximating the obtained one-dimensional waveform (hereinafter, such a waveform is referred to as an X-section waveform F (x)) by an approximation function f (x) which is a polynomial of order n (n is an arbitrary integer). It is. Therefore, hereinafter, the first function approximation method is particularly referred to as a one-dimensional polynomial approximation method.
[1399]
In the one-dimensional polynomial approximation method, the X-section waveform F (x) to be approximated is not limited to the one corresponding to the fine-line-containing real world region 2301 in FIG. That is, as will be described later, in the one-dimensional polynomial approximation method, it is possible to approximate any X-section waveform F (x) corresponding to the optical signal of the real world 1 having steadiness. .
[1400]
Further, the direction of projection of the optical signal function F (x, y, t) is not limited to the X direction, but may be the Y direction or the t direction. That is, in the one-dimensional polynomial approximation method, a function F (y) obtained by projecting the optical signal function F (x, y, t) in the Y direction can be approximated by a predetermined approximation function f (y). Then, a function F (t) obtained by projecting the optical signal function F (x, y, t) in the t direction can be approximated by a predetermined approximation function f (t).
[1401]
More specifically, in the one-dimensional polynomial approximation method, for example, the X-section waveform F (x) is approximated by an approximation function f (x) that is an n-th order polynomial as shown in the following equation (105). Method.
[1402]
[Equation 75]

[1403]
That is, in the one-dimensional polynomial approximation method, the real world estimating unit 102 calculates the coefficient (feature amount) w of x ＾ i in the equation (105)._iIs calculated, the X-section waveform F (x) is estimated.
[1404]
This feature amount w_iIs not particularly limited. For example, the following first to third methods can be used.
[1405]
That is, the first method is a method conventionally used.
[1406]
On the other hand, the second method is a method newly invented by the applicant of the present application, and is a method in which the continuity in the spatial direction is further taken into consideration with respect to the first method.
[1407]
However, as described later, the integration effect of the sensor 2 is not considered in the first method and the second method. Therefore, the feature amount w calculated by the first method or the second method_iIs substituted for the above-described equation (105), but the approximation function f (x) is an approximation function of the input image, but is not strictly an approximation function of the X-sectional waveform F (x).
[1408]
Therefore, the applicant of the present application considers the feature amount w in the second method by further considering the integration effect of the sensor 2._iInvented a third method of calculating The feature amount w calculated by the third method_iCan be said to be an approximate function of the X-section waveform F (x) in that the integration effect of the sensor 2 is taken into account.
[1409]
Thus, strictly speaking, the first method and the second method cannot be said to be the one-dimensional polynomial approximation method, and only the third method is the one-dimensional polynomial approximation method.
[1410]
In other words, as shown in FIG. 224, the second method is an embodiment of the real world estimation unit 102 of the present invention, which is different from the one-dimensional polynomial approximation method. That is, FIG. 224 is a diagram for explaining the principle of the embodiment corresponding to the second method.
[1411]
As shown in FIG. 224, in the embodiment corresponding to the second method, when the optical signal of the real world 1 represented by the optical signal function F has a predetermined continuity, the real world estimating unit 102 , An input image from the sensor 2 (image data including continuity of data corresponding to continuity), and data continuity information from the data continuity detecting unit 101 (data continuity corresponding to continuity of data of the input image) Information), the input image from the sensor 2 is not approximated to the X-section waveform F (x),₂Approximate by (x).
[1412]
As described above, the second method does not consider the integration effect of the sensor 2 and only approximates the input image, and thus cannot be said to be the same level of the method as the third method. However, the second method is superior to the conventional first method in that the stationarity in the spatial direction is considered.
[1413]
Hereinafter, details of each of the first method, the second method, and the third method will be individually described in that order.
[1414]
Hereinafter, when each of the approximation functions f (x) generated by the first method, the second method, and the third method is to be distinguished from those of the other methods, the approximation function f₁(X), approximation function f₂(X) and the approximate function f₃(X).
[1415]
First, the details of the first method will be described.
[1416]
In the first method, the approximation function f expressed by the above equation (105) is used.₁The following prediction equation (106) is defined assuming that (x) is satisfied in the thin-line-containing real world region 2301 in FIG.
[1417]
[Equation 76]

[1418]
In Expression (106), x represents a pixel position relative to the X direction from the pixel of interest. y represents the pixel position relative to the Y direction from the pixel of interest. e represents an error. Specifically, for example, as shown in FIG. 225, the target pixel is a thin line containing data area 2302 (the thin line containing real world area 2301 (FIG. 223) is detected and output by the sensor 2). Of these, it is assumed that the pixel is the second pixel in the X direction from the left and the third pixel in the Y direction from the bottom in the drawing. Also, a coordinate system (hereinafter referred to as a target pixel coordinate system) having the center of the target pixel as the origin (0, 0) and the x-axis and the y-axis parallel to the X direction and the Y direction (FIG. 220) of the sensor 2 respectively. ) Is set. In this case, the coordinate value (x, y) of the target pixel coordinate system indicates the relative pixel position.
[1419]
In equation (106), P (x, y) represents a pixel value at a relative pixel position (x, y). Specifically, in this case, P (x, y) in the thin line containing data area 2302 is as shown in FIG.
[1420]
FIG. 226 shows a graph of the pixel value P (x, y).
[1421]
In FIG. 226, the vertical axis of each graph represents a pixel value, and the horizontal axis represents a relative position x in the X direction from the pixel of interest. In the figure, the dotted line in the first graph from the top indicates the input pixel value P (x, -2), the three-dot chain line in the second graph from the top indicates the input pixel value P (x, -1), , The solid line in the third graph represents the input pixel value P (x, 0), the dashed line in the fourth graph from the top represents the input pixel value P (x, 1), and the fifth from the top (first from the bottom). 2) indicate the input pixel value P (x, 2), respectively.
[1422]
For the above equation (106), 20 input pixel values P (x, -2), P (x, -1), P (x, 0), P (x, 1) shown in FIG. , P (x, 2) (where x is an integer of any one of −1 to 2), 20 equations represented by the following equation (107) are generated. Note that e_kEach (k is an integer value of any one of 1 to 20) represents an error.
[1423]
[Equation 77]

[1424]
Since the expression (107) is composed of 20 equations, the approximation function f₁(X) characteristic amount w_iIs less than 20, ie, the approximate function f₁If (x) is a polynomial of degree less than 19, for example, the feature amount w_iCan be calculated. A specific solution of the least squares method will be described later.
[1425]
For example, now the approximation function f₁When the order of (x) is set to the fifth order, the approximate function f calculated by the least square method using the equation (107)₁(X) (calculated feature amount w_iApproximate function f generated by₁(X)) becomes a curve shown in FIG.
[1426]
In FIG. 227, the vertical axis represents the pixel value, and the horizontal axis represents the relative position x from the pixel of interest.
[1427]
That is, each of the 20 pixel values P (x, y) constituting the thin line containing data area 2302 of FIG. 225 (input pixel values P (x, −2), P (x, −1) shown in FIG. 226). , P (x, 0), P (x, 1), and P (x, 2)), for example, are added as they are along the x axis (the relative position y in the Y direction is assumed to be constant, and 226), a plurality of lines (dotted line, three-dot chain line, solid line, one-dot chain line, and two-dot chain line) as shown in FIG. 227 are distributed.
[1428]
However, in FIG. 227, the dotted line indicates the input pixel value P (x, -2), the three-dot chain line indicates the input pixel value P (x, -1), the solid line indicates the input pixel value P (x, 0), An alternate long and short dash line indicates the input pixel value P (x, 1), and an alternate long and two short dash line indicates the input pixel value P (x, 2). In addition, in the case of the same pixel value, two or more lines actually overlap, but in FIG. 227, each line is drawn so as not to overlap so that each line can be distinguished.
[1429]
The 20 input pixel values P (x, -2), P (x, -1), P (x, 0), P (x, 1), and P (x, 2) distributed in this manner Each and the value f₁A regression curve that minimizes the error of (x) (the feature amount w calculated by the least squares method)_iInto the above equation (104)₁(X)) is a curve (approximate function f) shown in FIG.₁(X)).
[1430]
Thus, the approximation function f₁(X) is a pixel value in the Y direction (a pixel value having the same relative position x in the X direction from the pixel of interest) P (x, -2), P (x, -1), P (x, 0), The average value of P (x, 1) and P (x, 2) merely represents a curve connecting in the X direction. That is, without considering the spatial continuity of the optical signal, the approximation function f₁(X) has been generated.
[1431]
For example, in this case, the approximation target is the thin-line-containing real world region 2301 (FIG. 223). As shown in FIG. 228, the thin-line-containing real world region 2301 has a slope G_FHas a stationarity in the spatial direction represented by In FIG. 228, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 220).
[1432]
Therefore, the data continuity detecting unit 101 (FIG. 219) calculates the gradient G of the continuity in the spatial direction._FAs data continuity information corresponding to the angle θ (inclination G_FSlope G corresponding to_fAnd the angle θ between the X direction and the continuity direction of the data represented by
[1433]
However, in the first method, the data continuity information output from the data continuity detecting unit 101 is not used at all.
[1434]
In other words, as shown in FIG. 228, the direction of continuity in the spatial direction of the thin-line-containing real world region 2301 is substantially the angle θ. However, the first method assumes that the direction of spatial continuity of the thin-line-containing real-world region 2301 in the spatial direction is the Y direction (that is, assuming that the angle θ is 90 degrees) and the approximation function f₁(X) characteristic amount w_iIs a method of calculating.
[1435]
Therefore, the approximation function f₁(X) is a function in which the waveform is dull and the detail is smaller than the original pixel value. In other words, although not shown, the approximate function f generated by the first method is₁(X) is a waveform significantly different from the actual X-section waveform F (x).
[1436]
Therefore, the applicant of the present application has considered the first method by further considering the continuity in the spatial direction (using the angle θ)._iA second method of calculating the following is invented.
[1437]
That is, the second method assumes that the direction of the stationarity of the thin-line-containing real world region 2301 is substantially the angle θ, and the approximation function f₂(X) feature w_iIs a method of calculating.
[1438]
Specifically, for example, a gradient G representing the stationarity of data corresponding to the stationarity in the spatial direction_fIs represented by the following equation (108).
[1439]
[Equation 78]

[1440]
In Expression (108), dx represents a minute movement amount in the X direction as shown in FIG. 228, and dy represents a minute movement amount in the Y direction with respect to dx as shown in FIG. I have.
[1441]
In this case, the shift amount C_xWhen (y) is defined as in the following equation (109), in the second method, an equation corresponding to equation (106) used in the first method is expressed as in the following equation (110). Become.
[1442]
[Expression 79]

[1443]
[Equation 80]

[1444]
That is, the expression (106) used in the first method indicates that the position x in the X direction of the center position (x, y) of the pixel is the pixel value P (x, y) of the pixel located at the same position. ) Indicates that they have the same value. In other words, Expression (106) indicates that pixels having the same pixel value continue in the Y direction (there is continuity in the Y direction).
[1445]
On the other hand, the expression (110) used in the second method is that the pixel value P (x, y) of the pixel whose center position is (x, y) is the target pixel (the center position). Is a pixel value (≒ f) of a pixel located at a position x away from the origin (0,0) in the X direction by x.₂(X)), and the shift amount C from the pixel in the X direction_xA pixel located at a position separated by (y) (x + C in the X direction from the pixel of interest)_xThe pixel value (≒ f) of the pixel located at a position separated by (y)₂(X + C_x(Y))). In other words, Expression (110) indicates that the pixels having the same pixel value have the shift amount C_x(Y) is continued in the angle θ direction (substantially stationary in the angle θ direction).
[1446]
Thus, the shift amount C_x(Y) is the continuity in the spatial direction (in this case, the gradient G in FIG. 228)_F(Strictly speaking, the slope G_fIs a correction amount that takes into account the stationarity of the data represented by_xEquation (110) is obtained by correcting equation (106) by (y).
[1449]
In this case, 20 pixel values P (x, y) of the thin line containing data area 2302 shown in FIG. 225 (where x is an integer value of any of −1 to 2; y is −2 to 2) By substituting each of the integers 2 into the above-described equation (110), 20 equations represented by the following equation (111) are generated.
[1448]
(Equation 81)

[1449]
Equation (111) is composed of 20 equations, similarly to equation (107) described above. Therefore, in the second method as well as in the first method, the approximation function f₂(X) characteristic amount w_iIs less than 20, ie, the approximate function f₂If (x) is a polynomial of degree less than 19, for example, the feature amount w_iCan be calculated. A specific solution of the least squares method will be described later.
[1450]
For example, similar to the first method, the approximate function f₂When the degree of (x) is set to the fifth order, in the second method, the characteristic amount w is set as follows._iIs calculated.
[1451]
That is, FIG. 229 shows a graph of the pixel value P (x, y) shown on the left side of Expression (111). Each of the five graphs shown in FIG. 229 is basically the same as that shown in FIG.
[1452]
As shown in FIG. 229, the maximum pixel value (the pixel value corresponding to the thin line) has a gradient G_fThis follows the direction of data continuity represented by.
[1453]
Therefore, in the second method, the input pixel values P (x, -2), P (x, -1), P (x, 0), P (x, 1), P (x , 2) are added, for example, along the x-axis, as in the first method (they are assumed to be constant, and five graphs are superimposed in the state shown in FIG. 229). Instead, the state is changed to the state shown in FIG. 230 and then added.
[1454]
That is, FIG. 230 shows the input pixel values P (x, -2), P (x, -1), P (x, 0), P (x, 1), and P (x, 2) shown in FIG. Is calculated by the shift amount C expressed by the above-described equation (109)._xThe state shifted by (y) is shown. In other words, FIG. 230 plots the five graphs shown in FIG. 229 with the slope G, which represents the actual direction of data continuity._FAs if the gradient G_F(In the figure, the dotted straight line is replaced by a solid straight line).
[1455]
In the state of FIG. 230, each of the input pixel values P (x, -2), P (x, -1), P (x, 0), P (x, 1), and P (x, 2) is, for example, 231 (when five graphs are overlapped in the state shown in FIG. 230) along the x-axis, a plurality of lines parallel to the x-axis (dotted line, three-dot chain line, solid line, And a two-dot chain line).
[1456]
In FIG. 231, the vertical axis represents the pixel value, and the horizontal axis represents the relative position x from the pixel of interest. The dotted line indicates the input pixel value P (x, -2), the three-dot chain line indicates the input pixel value P (x, -1), the solid line indicates the input pixel value P (x, 0), and the one-dot chain line indicates the input pixel value. The pixel value P (x, 1) is shown, and the two-dot chain line represents the input pixel value P (x, 2). Further, in the case of the same pixel value, two or more lines actually overlap, but in FIG. 231, each line is drawn so as not to overlap so that each line can be distinguished.
[1457]
Then, each of the 20 input pixel values P (x, y) distributed in this manner (where x is any integer value from −1 to 2; y is the integer value from −2 to 2) Any integer value) and the value f₂(X + C_x(Y)) a regression curve that minimizes the error (the feature amount w calculated by the least squares method)_iInto the above equation (104)₂(X)) is a curve f indicated by a solid line in FIG.₂(X).
[1458]
Thus, the approximation function f generated by the second method₂(X) indicates the average value of the input pixel values P (x, y) in the angle θ direction (ie, the direction of the continuity substantially in the spatial direction) output from the data continuity detecting unit 101 (FIG. 219) in the X direction. Represents the curve connected to.
[1458]
On the other hand, as described above, the approximate function f generated by the first method is used.₁(X) merely represents a curve connecting the average value of the input pixel values P (x, y) in the Y direction (that is, a direction different from the spatial continuity) in the X direction.
[1460]
Therefore, as shown in FIG. 231, the approximation function f generated by the second method₂(X) is the approximate function f generated by the first method.₁The function becomes a function in which the degree of bluntness of the waveform is reduced and the degree of reduction in detail with respect to the original pixel value is reduced as compared with (x). In other words, although not shown, the approximation function f generated by the second method₂(X) is an approximate function f generated by the first method.₁The waveform becomes closer to the actual X-section waveform F (x) than (x).
[1461]
However, as described above, the approximation function f₂(X) takes into account the continuity in the spatial direction, but is nothing but an image generated using the input image (input pixel value) as the origin (reference). That is, as shown in FIG.₂(X) only approximates an input image different from the X-sectional waveform F (x), and it cannot be said that it approximates the X-sectional waveform F (x). In other words, the second method assumes that the above equation (110) holds, and the feature amount w_iWhich does not take into account the relationship of the above equation (104) (the integration effect of the sensor 2 is not taken into account).
[1462]
Therefore, the applicant of the present application considers the integration function of the sensor 2 with respect to the second method so as to obtain the approximate function f.₃(X) characteristic amount w_iInvented a third method of calculating
[1463]
That is, the third method is a method in which the concept of a space mixing region is introduced.
[1464]
Before describing the third method, the spatial mixing region will be described with reference to FIG.
[1465]
In FIG. 232, a portion 2321 of the optical signal of the real world 1 (hereinafter, referred to as a region 2321) represents a region having the same area as one detection element (pixel) of the sensor 2.
[1466]
When the area 2321 is detected by the sensor 2, the sensor 2 outputs a value (one pixel value) 2322 obtained by integrating the area 2321 in the spatiotemporal direction (X direction, Y direction, and t direction). The pixel value 2322 is represented as an image in the figure, but is actually data representing a predetermined value.
[1467]
The area 2321 of the real world 1 is clearly divided into an optical signal (white area in the figure) corresponding to the foreground (for example, the thin line described above) and an optical signal (black area in the figure) corresponding to the background.
[1468]
On the other hand, the pixel value 2322 is a value obtained by integrating the optical signal of the real world 1 corresponding to the foreground and the optical signal of the real world 1 corresponding to the background. In other words, the pixel value 2322 is a value corresponding to a level obtained by spatially mixing the light level corresponding to the foreground and the light level corresponding to the background.
[1469]
As described above, the portion corresponding to one pixel (detection element of the sensor 2) of the optical signal of the real world 1 is not a portion where the optical signals of the same level are spatially uniformly distributed, but the foreground and the background. When each of the light signals at different levels is distributed as described above, the area is detected by the sensor 2 and as a result of the integration effect of the sensor 2, the different light levels are mixed spatially as if they were spatially mixed (spatial). (Integrated in the direction) into one pixel value. As described above, an area including pixels in which the image for the foreground (the optical signal of the real world 1) and the image for the background (the optical signal of the real world 1) are spatially integrated is referred to as a spatial mixed area. ing.
[1470]
Accordingly, in the third method, the real world estimating unit 102 (FIG. 219) calculates the original area 2321 of the real world 1 (the part 2321 corresponding to one pixel of the sensor 2 in the optical signal of the real world 1). The X-section waveform F (x) representing the following equation is represented by an approximate function f which is a first-order polynomial as shown in FIG.₃The X-section waveform F (x) is estimated by approximation by (x).
[1471]
That is, FIG. 233 shows the approximation function f corresponding to the pixel value 2322 (FIG. 232) which is a spatial mixed area.₃(X), that is, an approximation function f approximating the X-section waveform F (x) corresponding to the solid line (FIG. 232) in the area 2331 of the real world 1₃13 illustrates an example of (x). In FIG. 233, the horizontal axis in the figure is the lower left end x of the pixel corresponding to the pixel value 2322._sTo lower right x_e232 represents an axis parallel to the side (FIG. 232), and is set as an x-axis. The axis in the vertical direction in the figure is an axis representing a pixel value.
[1472]
In FIG. 233, the approximate function f₃(X) is x_sTo x_eThe following equation (112) is defined assuming that the value integrated in the range (pixel width) substantially coincides with the pixel value P (x, y) output from the sensor 2 (there is only an error e).
[1473]
(Equation 82)

[1474]
In this case, 20 pixel values P (x, y) in the fine line containing data area 2302 shown in FIG. 228 (where x is an integer value of any of −1 to 2; y is −2) From any of integers 2 to 2) from the approximate function f₃(X) characteristic amount w_iIs calculated, the pixel value P in the equation (112) becomes the pixel value P (x, y).
[1475]
Also, as in the second method, it is necessary to consider the continuity in the spatial direction, and therefore, the starting position x of the integration range in Expression (112)_sAnd end position x_eAre shift amounts C_xIt will also depend on (y). That is, the starting position x of the integration range of Expression (112)_sAnd end position x_eAre expressed as in the following equation (113).
[1476]
[Equation 83]

[1377]
In this case, each pixel value of the thin line containing data area 2302 shown in FIG. 228, that is, the input pixel values P (x, -2), P (x, -1), P (x, 0) shown in FIG. ), P (x, 1), and P (x, 2) (where x is an integer of any one of −1 to 2) by the above-described equation (112) (the integration range is By substituting into equation (113), 20 equations represented by the following equation (114) are generated.
[1478]
[Equation 84]

[Equation 85]

[1479]
Equation (114) is composed of 20 equations, similar to equation (111) described above. Therefore, in the third method as well as in the second method, the approximate function f₃(X) characteristic amount w_iIs less than 20, ie, the approximate function f₃If (x) is a polynomial of degree less than 19, for example, the feature amount w_iCan be calculated. A specific solution of the least squares method will be described later.
[1480]
For example, the approximation function f₃When the order of (x) is set to the fifth order, the approximate function f calculated by the least square method using the equation (114)₃(X) (calculated feature amount w_iApproximate function f generated by₃(X)) becomes a curve shown by a solid line in FIG.
[1481]
In FIG. 234, the vertical axis represents a pixel value, and the horizontal axis represents a relative position x from a target pixel.
[1482]
As shown in FIG. 234, the approximate function f generated by the third method₃(X) (a curve shown by a solid line in the figure) represents an approximate function f generated by the second method.₂Compared with (x) (the curve shown by the dotted line in the figure), the pixel value at x = 0 becomes large, and the curve has a steep waveform. This is because the number of details is greater than that of the input pixels and is independent of the resolution of the input pixels. That is, the approximate function f₃It can be said that (x) approximates the X-section waveform F (x). Therefore, although not shown, the approximation function f₃(X) is the approximate function f₂The waveform becomes closer to the X-section waveform F (x) than (x).
[1483]
FIG. 235 shows a configuration example of the real world estimating unit 102 using such a first-order polynomial approximation method.
[1484]
In FIG. 235, the real world estimating unit 102 calculates, for example, the feature amount w_iIs calculated by the above-described third method (least square method), and the calculated feature amount w_iIs used to estimate the X-section waveform F (x) by generating the approximate function f (x) of the above equation (105).
[1485]
As shown in FIG. 235, the real world estimation unit 102 includes a condition setting unit 2331, an input image storage unit 2332, an input pixel value acquisition unit 2333, an integral component calculation unit 2334, a normal equation generation unit 2335, and an approximation function generation. A part 2336 is provided.
[1486]
The condition setting unit 2331 sets a pixel range (hereinafter, referred to as a tap range) used for estimating the X-sectional waveform F (x) corresponding to the target pixel, and sets the order n of the approximate function f (x). .
[1487]
The input image storage unit 2332 temporarily stores an input image (pixel value) from the sensor 2.
[1488]
The input pixel value obtaining unit 2333 obtains an area of the input image corresponding to the tap range set by the condition setting unit 2231 in the input image stored in the input image storage unit 2332, and stores it in the input pixel value table. Is supplied to the normal equation generation unit 2335. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described. A specific example of the input pixel value table will be described later.
[1489]
By the way, here, the real world estimating unit 102 uses the aforementioned equations (112) and (113) to calculate the feature amount w of the approximate function f (x) by the least square method._iIs calculated, and the above equation (112) can be expressed as the following equation (115).
[1490]
[Equation 86]

[1491]
In equation (115), S_i(X_s, X_e) Represents the integral component of the i-th order term. That is, the integral component S_i(X_s, X_e) Is represented by the following equation (116).
[1492]
[Equation 87]

[1493]
The integral component calculator 2334 calculates the integral component S_i(X_s, X_e) Is calculated.
[1494]
Specifically, the integral component S expressed by equation (116)_i(X_s, X_e) (However, the value x_sAnd the value x_eIs the value represented by the above equation (112)) is the relative pixel position (x, y) and the shift amount C_xIf (y) and i of the i-th term are known, calculation is possible. The relative pixel position (x, y) among them is determined by the shift amount C depending on the target pixel and the tap range._x(Y) is determined by the angle θ (from the above-described equations (107) and (109)), and the range of i is determined by the order n.
[1495]
Therefore, the integral component calculation unit 2334 determines the integral component S based on the tap range and order set by the condition setting unit 2331, and the angle θ in the data continuity information output from the data continuity detection unit 101._i(X_s, X_e) Is calculated, and the calculation result is supplied to the normal equation generating unit 2335 as an integral component table.
[1496]
The normal equation generation unit 2335 uses the input pixel value table supplied from the input pixel value acquisition unit 2333 and the integral component table supplied from the integral component operation unit 2334 to obtain the above-described equation (112), that is, the equation The feature value w on the right side of (115)_iIs generated by the least square method, and is supplied to the approximate function generating unit 2336 as a normal equation table. A specific example of the normal equation will be described later.
[1497]
The approximation function generation unit 2336 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 2335 by the matrix solution method, and thereby obtains the feature amount w of the above equation (115)._i(That is, the coefficient w of the approximate function f (x) which is a one-dimensional polynomial_i) Are calculated and output to the image generation unit 103.
[1498]
Next, with reference to the flowchart in FIG. 236, the real world estimation processing (the processing in step S102 in FIG. 40) of the real world estimation unit 102 (FIG. 235) using the one-dimensional polynomial approximation method will be described.
[1499]
For example, it is assumed that an input image of one frame output from the sensor 2 and including the thin line containing data area 2302 in FIG. 221 described above is already stored in the input image storage unit 2332. Further, in the continuity detection process of step S101 (FIG. 40), the data continuity detection unit 101 performs the process on the thin-line-containing data area 2302, and already outputs the angle θ as data continuity information. Suppose
[1500]
In this case, in step S2301 of FIG. 236, the condition setting unit 2331 sets conditions (tap range and order).
[1501]
For example, it is assumed that the tap range 2351 shown in FIG. 237 has been set and the fifth order has been set.
[1502]
That is, FIG. 237 is a diagram illustrating an example of the tap range. In FIG. 237, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 220). The tap range 2351 represents a pixel group including a total of 20 pixels (20 squares in the figure) for 4 pixels in the X direction and 5 pixels in the Y direction.
[1503]
Further, as shown in FIG. 237, it is assumed that the target pixel is the second pixel from the left and the third pixel from the bottom in the tap range 2351 in the figure. FIG. 237 shows, for each pixel, the relative pixel position (x, y) from the target pixel (the coordinate value of the target pixel coordinate system whose origin is at the center (0, 0) of the target pixel). It is assumed that a number 1 (1 is an integer value of any one of 0 to 19) as shown in FIG.
[1504]
Returning to FIG. 236, in step S2302, the condition setting unit 2331 sets a target pixel.
[1505]
In step S2303, the input pixel value acquisition unit 2333 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 2331, and generates an input pixel value table. That is, in this case, the input pixel value obtaining unit 2333 obtains the thin line containing data area 2302 (FIG. 225), and generates a table including 20 input pixel values P (l) as the input pixel value table.
[1506]
In this case, the relationship between the input pixel value P (l) and the above-described input pixel value P (x, y) is represented by the following expression (117). However, in equation (117), the left side represents the input pixel value P (l), and the right side represents the input pixel value P (x, y).
[1507]
[Equation 88]

[1508]
In step S2304, the integral component calculation unit 2334 performs integration based on the conditions (tap range and order) set by the condition setting unit 2331 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[1509]
In this case, as described above, the input pixel value is obtained as the value of the pixel number 1 such as P (l) instead of P (x, y). Integral component S of (116)_i(X_s, X_e) To the integral component S shown on the left side of the following equation (118)._iThe calculation is performed as a function of l such as (l).
[1510]
S_i(L) = S_i(X_s, X_e) (118)
[1511]
Specifically, in this case, the integral component S expressed by the following equation (119)_i(L) is calculated.
[1512]
[Equation 89]

[1513]
In equation (119), the left side is the integral component S_i(L), and the right side is the integral component S_i(X_s, X_e). That is, in this case, since i is 0 to 5, 20 S₀(L), 20 S₁(L), 20 S₂(L), 20 S₃(L), 20 S₄(L), 20 S₅(L) 120 S in total_i(L) is calculated.
[1514]
More specifically, first, the integral component calculator 2334 uses the angle θ supplied from the data continuity detector 101 to calculate the shift amount C_x(-2), C_x(-1), C_x(1), C_xEach of (2) is calculated. Next, the integral component calculator 2334 calculates the calculated shift amount C_x(-2), C_x(-1), C_x(1), C_xUsing (2), the 20 integral components S shown on the right side of equation (118)_i(X_s, X_e) Are calculated for each of i = 0 to 5. That is, 120 integral components S_i(X_s, X_e) Is calculated. Note that this integral component S_i(X_s, X_eIn the calculation of ()), the above equation (116) is used. Then, the integral component computing unit 2334 computes the 120 integral components S computed according to equation (119)._i(X_s, X_e) With the corresponding integral component S_i(L) and the converted 120 integral components S_iGenerate an integral component table including (l).
[1515]
The order of the processing in step S2303 and the processing in step S2304 is not limited to the example in FIG. 236, and the processing in step S2304 may be performed first, or the processing in step S2303 and the processing in step S2304 are performed simultaneously. May be done.
[1516]
Next, in step S2305, the normal equation generation unit 2335 generates the input pixel value table generated by the input pixel value acquisition unit 2333 in the processing of step S2303 and the integration generated by the integration component calculation unit 2334 in the processing of step S2304. A normal equation table is generated based on the component table.
[1517]
Specifically, in this case, the characteristic amount w of the following equation (120) corresponding to the above equation (115) is obtained by the least square method._iIs calculated. Then, the corresponding normal equation is represented by the following equation (121).
[1518]
[Equation 90]

[1519]
[Equation 91]

[1520]
In Expression (121), L represents the maximum value of the pixel numbers 1 in the tap range. n represents the order of the approximation function f (x) which is a polynomial. Specifically, in this case, n = 5 and L = 19.
[1521]
If each of the matrices of the normal equation represented by the equation (121) is defined as in the following equations (122) to (124), the normal equation is represented as the following equation (125).
[1522]
[Equation 92]

[1523]
[Equation 93]

[1524]
[Equation 94]

[1525]
[Equation 95]

[1526]
As shown in equation (123), the matrix W_MATIs a feature amount w to be obtained._iIt is. Therefore, in equation (125), the matrix S on the left side_MATAnd the matrix P on the right side_MATIs determined, the matrix W is_MAT(That is, the feature amount w_i) Can be calculated.
[1527]
Specifically, as shown in equation (122), the matrix S_MATAre the integral components S described above._iIf (l) is known, it can be calculated. Integral component S_iSince (l) is included in the integral component table supplied from the integral component calculation unit 2334, the normal equation generation unit 2335 uses the integral component table to calculate the matrix S_MATCan be calculated.
[1528]
Also, as shown in equation (124), the matrix P_MATAre integral components S_iIf (l) and the input pixel value P (l) are known, calculation is possible. Integral component S_i(L) is a matrix S_MATIn addition, since the input pixel value P (l) is included in the input pixel value table supplied from the input pixel value acquisition unit 2333, the normal equation generation unit 2335 is a matrix P using an integral component table and an input pixel value table._MATCan be calculated.
[1529]
In this manner, the normal equation generation unit 2335 calculates the matrix S_MATAnd matrix P_MATIs calculated, and the calculation result (matrix S_MATAnd matrix P_MATAre output to the approximate function generating unit 2336 as a normal equation table.
[1530]
When the normal equation table is output from the normal equation generation unit 2335, in step S2306, the approximation function generation unit 2336 determines the matrix W of the above equation (125) based on the normal equation table._MATFeature w which is each component of_i(That is, the coefficient w of the approximate function f (x) which is a one-dimensional polynomial_i) Is calculated.
[1531]
Specifically, the normal equation of the above equation (125) can be modified as the following equation (126).
[1532]
[Equation 96]

[1533]
In equation (126), the matrix W on the left side_MATIs a feature value w to be obtained._iIt is. Also, the matrix S_MATAnd matrix P_MATAre included in the normal equation table supplied from the normal equation generating unit 2335. Therefore, the approximate function generation unit 2336 performs the matrix operation on the right side of the equation (126) using the normal equation table, thereby obtaining the matrix W_MATIs calculated, and the calculation result (feature amount w_i) Is output to the image generation unit 103.
[1534]
In step S2307, the approximate function generation unit 2336 determines whether or not processing of all pixels has been completed.
[1535]
If it is determined in step S2307 that the processing of all pixels has not been completed, the process returns to step S2302, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S2302 to S2307 is repeated.
[1536]
Then, when the processing of all the pixels is completed (when it is determined in step S2307 that the processing of all the pixels is completed), the estimation processing of the real world 1 ends.
[1537]
The coefficient (feature amount) w calculated as described above_iThe waveform of the approximate function f (x) generated by the approximate function f (x) shown in FIG.₃The waveform is as shown in (x).
[1538]
As described above, in the one-dimensional polynomial approximation method, assuming that a waveform having the same shape as the one-dimensional X-sectional waveform F (x) is connected in the direction of the stationarity, the approximation function f which is a one-dimensional polynomial is obtained. The feature amount of (x) is calculated. Therefore, in the one-dimensional polynomial approximation method, it is possible to calculate the feature amount of the approximation function f (x) with a smaller amount of operation processing compared to other function approximation methods.
[1539]
In other words, in the one-dimensional polynomial approximation method, for example, the data continuity detection unit 101 in FIG. 219 (FIG. 3) uses a plurality of detection elements (for example, the sensor 2 in FIG. 220) each having a spatiotemporal integration effect. 221) projects an optical signal of the real world 1 (for example, a portion 2301 of the optical signal of the real world 1 in FIG. 221) and projects the continuity of the optical signal of the real world 1 (for example, FIG. 228). Slope G_FA plurality of pixels having pixel values projected by the detection element 2-1 (for example, input pixel values P (x, y) shown in the graphs of FIG. 226) in which a part of the continuity represented by is missing. The continuity of the data in the image data composed of pixels (for example, the image data (the area of the input image) 2302 in FIG. 221) (for example, the gradient G in FIG. 228)_f(Stationarity of data represented by).
[1540]
For example, the real world estimating unit 102 of FIG. 219 (FIG. 3) corresponds to the continuity of the data detected by the data continuity detecting unit 101 and corresponds to the one-dimensional direction (for example, FIG. The pixel value (for example, the input pixel value P on the left side of the above equation (112)) of the pixel corresponding to the position of the arrow 2311 of 223, that is, the X direction) is obtained by the one-dimensional integration effect of the pixel. Value (eg, as shown on the right side of equation (112), the approximate function f₃Assuming that (x) is a value integrated in the X direction), the optical signal function F (specifically, the X-sectional waveform F (x)) representing the optical signal of the real world 1 is converted into a predetermined approximate function f (specific) Specifically, for example, the approximation function f in FIG.₃The optical signal function F is estimated by approximating (x)).
[1541]
More specifically, for example, the real world estimating unit 102 calculates a line corresponding to the continuity of the data detected by the continuity detecting unit 101 (for example, the slope G in FIG. 230)._fThe pixel value of a pixel corresponding to a distance (for example, the shift amount Cx (y) in FIG. 230) along a one-dimensional direction (for example, the X direction) from a line (dotted line) corresponding to The pixel value obtained by the effect (for example, as shown on the right side of Expression (112) in the integration range as shown in Expression (112) above, the approximation function f₃Assuming that (x) is a value integrated in the X direction), the optical signal function F is estimated by approximating the optical signal function F with an approximation function f.
[1542]
Therefore, in the one-dimensional polynomial approximation method, it is possible to calculate the feature amount of the approximation function f (x) with a smaller amount of operation processing compared to other function approximation methods.
[1543]
Next, a second function approximation method will be described with reference to FIGS.
[1544]
That is, the second function approximation method is, for example, a gradient G as shown in FIG._FThe optical signal of the real world 1 having spatial continuity represented by the following formula is expressed on an XY plane (an X direction which is one spatial direction and a plane which is horizontal in a Y direction perpendicular to the X direction). A method of estimating the waveform F (x, y) by approximating the waveform F (x, y) with an approximation function f (x, y) which is a two-dimensional polynomial assuming the waveform F (x, y) It is. Therefore, hereinafter, the second function approximation method is referred to as a two-dimensional polynomial approximation method.
[1545]
In FIG. 238, the horizontal direction indicates the X direction which is one direction in the spatial direction, the upper right direction indicates the Y direction which is the other direction in the spatial direction, and the vertical direction indicates the light level in FIG. ing. G_FRepresents the gradient of stationarity in the spatial direction.
[1546]
Also, in the description of the two-dimensional polynomial approximation method, the sensor 2 is assumed to be a CCD configured by arranging a plurality of detection elements 2-1 on its plane as shown in FIG.
[1547]
In the example of FIG. 239, a direction parallel to a predetermined side of the detection element 2-1 is defined as an X direction which is one direction in the spatial direction, and a direction perpendicular to the X direction is defined as another direction in the spatial direction. It is a certain Y direction. The direction perpendicular to the XY plane is the t direction, which is the time direction.
[1548]
In the example of FIG. 239, the spatial shape of each detection element 2-1 of the sensor 2 is a square with one side length of one. The shutter time (exposure time) of the sensor 2 is set to 1.
[1549]
Furthermore, in the example of FIG. 239, the center of one predetermined detection element 2-1 of the sensor 2 is located at the origin (the position x = 0 in the X direction and the position y in the Y direction) in the spatial direction (X direction and Y direction). = 0), and the intermediate time of the exposure time is the origin in the time direction (t direction) (position t = 0 in the t direction).
[1550]
In this case, the detection element 2-1 having its center at the origin (x = 0, y = 0) in the spatial direction is in the range of -0.5 to 0.5 in the X direction and -0.5 in the Y direction. The optical signal function F (x, y, t) is integrated in the range of 0.5 to 0.5 and in the range of -0.5 to 0.5 in the t direction, and the integrated value is output as the pixel value P. .
[1551]
That is, the pixel value P output from the detection element 2-1 having the center at the origin in the spatial direction is represented by the following equation (127).
[1552]
[Equation 97]

[1553]
Similarly, the other detection elements 2-1 output the pixel value P expressed by the expression (127) by setting the center of the target detection element 2-1 as the origin in the spatial direction.
[1554]
As described above, the two-dimensional polynomial approximation method treats the optical signal of the real world 1 as, for example, a waveform F (x, y) as shown in FIG. This is a method of approximating y) to an approximation function f (x, y) which is a two-dimensional polynomial.
[1555]
Therefore, first, a method of expressing such an approximate function f (x, y) by a two-dimensional polynomial will be described.
[1556]
As described above, the optical signal in the real world 1 is represented by the optical signal function F (x, y, t) having the positions x, y, and z in the three-dimensional space and the time t as variables. A one-dimensional waveform obtained by projecting the optical signal function F (x, y, t) in the X direction at an arbitrary position y in the Y direction is referred to as an X section waveform F (x).
[1557]
Focusing on the X-section waveform F (x), if the signal in the real world 1 has stationarity in a predetermined spatial direction, the waveform having the same shape as the X-section waveform F (x) is the stationary state. It can be thought that it is linked to the direction of sex. For example, in the example of FIG. 238, a waveform having the same shape as the X-section waveform F (x) has a slope G_FIn the direction of In other words, the waveform having the same shape as the X-section waveform F (x) has the slope G_FIt can be said that the waveform F (x, y) is formed in a row in the direction of.
[1558]
Therefore, the waveform of the approximate function f (x, y) approximating the waveform F (x, y) is formed by a series of waveforms having the same shape as the approximate function f (x) approximating the X-section waveform F (x). Thus, the approximation function f (x, y) can be represented by a two-dimensional polynomial.
[1559]
A method of expressing the approximate function f (x, y) will be described in more detail.
[1560]
For example, the optical signal of the real world 1 as shown in FIG._FIt is assumed that an optical signal having continuity in the spatial direction represented by is detected by the sensor 2 (FIG. 239) and output as an input image (pixel value).
[1561]
Further, as shown in FIG. 240, the data continuity detecting unit 101 (FIG. 3) outputs a total of 20 pixels (4 pixels in the X direction and 5 pixels in the Y direction) of the input image. In the figure, the processing is executed for an area 2401 of the input image composed of 20 squares represented by dotted lines), and an angle θ (slope G_FSlope G corresponding to_fIt is assumed that an angle θ) between the direction of the continuity of the data expressed by and the X direction is output.
[1562]
In the area 2401 of the input image, the horizontal direction in the figure represents the X direction which is one direction in the spatial direction, and the vertical direction in the figure represents the Y direction which is the other direction in the spatial direction.
[1563]
In FIG. 240, the second pixel from the left and the third pixel from the bottom are taken as the target pixel, and the (x, y) coordinates are set so that the center of the target pixel is the origin (0, 0). The system has been set. Then, a straight line of the angle θ passing through the origin (0, 0) (the gradient G representing the direction of data continuity)_f(Hereinafter referred to as a cross-sectional direction distance) is described as x '.
[1564]
Further, the graph on the right side in FIG. 240 is a function obtained by approximating the X-sectional waveform F (x ′), and represents an approximate function f (x ′) which is an n-th order (n is an arbitrary integer) polynomial. Represents. Of the axes in the graph on the right side, the horizontal axis in the figure represents the distance in the cross-sectional direction, and the vertical axis in the figure represents the pixel value.
[1565]
In this case, the approximation function f (x ') shown in FIG. 240 is an n-th order polynomial, and is expressed as the following equation (128).
[1566]
[Equation 98]

[1567]
Further, since the angle θ is determined, the straight line of the angle θ passing through the origin (0, 0) is uniquely determined, and the position x of the straight line in the X direction at an arbitrary position y in the Y direction_lIs expressed as in the following equation (129). However, in equation (129), s represents cot θ.
[1568]
x_l  = S × y (129)
[1569]
That is, as shown in FIG._fThe point on the straight line corresponding to the stationarity of the data represented by the coordinate value (x_l, Y).
[1570]
From Expression (129), the cross-sectional direction distance x ′ is expressed as in the following Expression (130).
[1571]
x '= xx_l  = X-s x y (130)
[1572]
Therefore, the approximate function f (x, y) at an arbitrary position (x, y) in the area 2401 of the input image is expressed by the following equation (131) from the equations (128) and (130). .
[1573]
[Equation 99]

[1574]
In addition, in equation (131), w_iRepresents a coefficient of the approximation function f (x, y). Note that the coefficient w of the approximate function f including the approximate function f (x, y)_iCan be positioned as a feature amount of the approximation function f. Therefore, hereinafter, the coefficient w of the approximation function f_iWith the feature w of the approximate function f_iAlso called.
[1575]
In this manner, if the angle θ is known, the approximation function f (x, y) of the two-dimensional waveform can be expressed as a polynomial of Expression (131).
[1576]
Therefore, if the real-world estimating unit 102 can calculate the characteristic amount wi of Expression (131), it can estimate the waveform F (x, y) as shown in FIG. 238.
[1577]
Therefore, a method of calculating the characteristic amount wi of Expression (131) will be described below.
[1578]
That is, the approximation function f (x, y) represented by Expression (131) is integrated in the integration range (the integration range in the spatial direction) corresponding to the pixel (the detection element 2-1 of the sensor 2 (FIG. 239)). For example, the integrated value is an estimated value of the pixel value of the pixel. This is expressed by the following equation (132). In the two-dimensional polynomial approximation method, since the time direction t is regarded as a constant value, the expression (132) is an equation using the positions x and y in the spatial direction (X direction and Y method) as variables. .
[1579]
[Equation 100]

[1580]
In Expression (132), P (x, y) has a center position at a position (x, y) (relative position (x, y) from a pixel of interest) in an input image from the sensor 2. It represents the pixel value of a pixel. E represents an error.
[1581]
Thus, in the two-dimensional polynomial approximation method, the relationship between the input pixel value P (x, y) and the approximation function f (x, y), which is a two-dimensional polynomial, can be expressed by equation (132). Since it is possible, the real world estimating unit 102 calculates the feature amount wi by using, for example, the least squares method using the equation (132) (substituting the calculated feature amount wi into the equation (130)). To generate an approximate function f (x, y)), a two-dimensional function F (x, y) (slope G_FIt is possible to estimate the waveform F (x, y) of the optical signal of the real world 1 having spatial continuity represented by (FIG. 238) and focusing on the spatial direction.
[1582]
FIG. 241 illustrates a configuration example of the real world estimation unit 102 that uses such a two-dimensional polynomial approximation method.
[1583]
As shown in FIG. 241, the real world estimation unit 102 includes a condition setting unit 2421, an input image storage unit 2422, an input pixel value acquisition unit 2423, an integral component calculation unit 2424, a normal equation generation unit 2425, and an approximation function generation. A part 2426 is provided.
[1584]
The condition setting unit 2421 sets a pixel range (tap range) used for estimating the function F (x, y) corresponding to the target pixel, and sets the order n of the approximate function f (x, y).
[1585]
The input image storage unit 2422 temporarily stores an input image (pixel value) from the sensor 2.
[1586]
The input pixel value obtaining unit 2423 obtains an area of the input image corresponding to the tap range set by the condition setting unit 2421 from the input image stored in the input image storage unit 2422, and stores the obtained area in the input pixel value table. Is supplied to the normal equation generation unit 2425. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described. A specific example of the input pixel value table will be described later.
[1587]
By the way, as described above, the real world estimating unit 102 using the two-dimensional polynomial approximation method solves the above equation (132) by the method of least squares, thereby obtaining the approximation function f ( x, y) feature w_iIs calculated.
[1588]
The expression (132) can be expressed as the following expression (137) by using the following expression (136) obtained by using the following expressions (133) to (135).
[1589]
[Equation 101]

[1590]
[Equation 102]

[1591]
[Equation 103]

[1592]
[Equation 104]

[1593]
[Equation 105]

[1594]
In equation (137), S_i(X-0.5, x + 0.5, y-0.5, y + 0.5) represents the integral component of the i-th term. That is, the integral component S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is as shown in the following equation (138).
[1595]
[Equation 106]

[1596]
The integral component calculator 2424 calculates the integral component S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is calculated.
[1597]
Specifically, the integral component S shown in equation (138)_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is obtained by knowing the relative pixel position (x, y), the variable s in the above equation (131), and the i-th term i. If so, it can be calculated. Of these, the relative pixel position (x, y) is determined by the target pixel and the tap range, the variable s is cot θ, and the range of i is determined by the angle θ, and the range of i is determined by the order n.
[1598]
Therefore, the integral component calculation unit 2424 determines the integral component S based on the tap range and order set by the condition setting unit 2421 and the angle θ in the data continuity information output from the data continuity detection unit 101._i(X−0.5, x + 0.5, y−0.5, y + 0.5) is calculated, and the calculation result is supplied to the normal equation generation unit 2425 as an integral component table.
[1599]
The normal equation generation unit 2425 uses the input pixel value table supplied from the input pixel value acquisition unit 2423 and the integral component table supplied from the integral component calculation unit 2424 to use the above-described equation (132), that is, equation (132). A normal equation for obtaining (137) by the least squares method is generated, and is output to the approximate function generating unit 2426 as a normal equation table. A specific example of the normal equation will be described later.
[1600]
The approximation function generation unit 2426 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 2425 by a matrix solution method, and thereby obtains the feature amount w of the above equation (132)._i(That is, the coefficient w of the approximation function f (x, y) which is a two-dimensional polynomial_i) Are calculated and output to the image generation unit 103.
[1601]
Next, the estimation process of the real world to which the two-dimensional polynomial approximation method is applied (the process of step S102 in FIG. 40) will be described with reference to the flowchart in FIG.
[1602]
For example, now the slope G_FIs detected by the sensor 2 (FIG. 239) and has already been stored in the input image storage unit 2422 as an input image corresponding to one frame. And Further, the data continuity detecting unit 101 performs processing on the above-described area 2401 shown in FIG. 240 of the input image in the processing of continuity detection in step S101 (FIG. 40), and performs data continuity detection. It is assumed that the angle θ has already been output as sex information.
[1603]
In this case, in step S2401, the condition setting unit 2421 sets conditions (tap range and order).
[1604]
For example, it is assumed that the tap range 2441 shown in FIG. 243 is set and the fifth order is set.
[1605]
That is, FIG. 243 is a diagram illustrating an example of the tap range. In FIG. 243, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2 (FIG. 239). The tap range 2441 represents a pixel group including a total of 20 pixels (20 squares in the figure) for 4 pixels in the X direction and 5 pixels in the Y direction.
[1606]
Further, as shown in FIG. 243, it is assumed that the target pixel is the second pixel from the left and the third pixel from the bottom in the tap range 2441 in the drawing. FIG. 243 shows, for each pixel, the relative pixel position (x, y) from the target pixel (the coordinate value of the target pixel coordinate system whose origin is at the center (0, 0) of the target pixel). It is assumed that a number 1 (1 is an integer value of any one of 0 to 19) as shown in FIG.
[1607]
Returning to FIG. 242, in step S2402, the condition setting unit 2421 sets a target pixel.
[1608]
In step S2403, the input pixel value acquisition unit 2423 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 2421, and generates an input pixel value table. That is, in this case, the input pixel value obtaining unit 2423 obtains the area 2401 (FIG. 240) of the input image, and generates a table including 20 input pixel values P (l) as the input pixel value table.
[1609]
In this case, the relationship between the input pixel value P (l) and the above-described input pixel value P (x, y) is represented by the following equation (139). However, in Expression (139), the left side represents the input pixel value P (l), and the right side represents the input pixel value P (x, y).
[1610]
[Equation 107]

[1611]
In step S2404, the integral component calculation unit 2424 performs integration based on the conditions (tap range and order) set by the condition setting unit 2421 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[1612]
In this case, as described above, the input pixel value is obtained as the value of the pixel number 1 such as P (l) instead of P (x, y). The integral component S of (138)_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is converted to an integral component S expressed by the left side of the following equation (140)._iThe calculation is performed as a function of l such as (l).
[1613]
S_i(L) = S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) (140)
[1614]
Specifically, in this case, the integral component S represented by the following equation (141)_i(L) is calculated.
[1615]
[Equation 108]

[1616]
In equation (141), the left side is the integral component S_i(L), and the right side is the integral component S_i(X-0.5, x + 0.5, y-0.5, y + 0.5). That is, in this case, since i is 0 to 5, 20 S₀(L), 20 S₁(L), 20 S₂(L), 20 S₃(L), 20 S₄(L), 20 S₅(L) 120 S in total_i(L) is calculated.
[1617]
More specifically, first, the integral component calculation unit 2424 calculates cotθ with respect to the angle θ supplied from the data continuity detection unit 101, and uses it as a variable s. Next, the integral component computing unit 2424 uses the computed variable s to calculate the 20 integral components S shown on the right side of Expression (140)._i(X−0.5, x + 0.5, y−0.5, y + 0.5) are calculated for each of i = 0 to 5. That is, 120 integral components S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) will be calculated. Note that this integral component S_iIn the calculation of (x−0.5, x + 0.5, y−0.5, y + 0.5), the above equation (138) is used. Then, the integral component computing unit 2424 computes the 120 integral components S computed according to Expression (141)._i(X−0.5, x + 0.5, y−0.5, y + 0.5) is represented by the corresponding S_i(L) is converted to each of the 120 S_iGenerate an integral component table including (l).
[1618]
The order of the processing in step S2403 and the processing in step S2404 is not limited to the example of FIG. 242, and the processing in step S2404 may be performed first, or the processing in step S2403 and the processing in step S2404 may be performed simultaneously. May be done.
[1619]
Next, in step S2405, the normal equation generation unit 2425 calculates the input pixel value table generated by the input pixel value acquisition unit 2423 in the processing in step S2403 and the integration generated by the integration component calculation unit 2424 in the processing in step S2404. A normal equation table is generated based on the component table.
[1620]
Specifically, in this case, the feature amount w is calculated by the least squares method using the above equation (137)._i(Where, in equation (136), the integral component S_i(X-0.5, x + 0.5, y-0.5, y + 0.5) uses Si (l) converted by equation (140), so the corresponding normal equation is (142).
[1621]
(Equation 109)

[1622]
In Expression (142), L represents the maximum value of the pixel numbers 1 in the tap range. n represents the order of the approximation function f (x) which is a polynomial. Specifically, in this case, n = 5 and L = 19.
[1623]
When the respective matrices of the normal equation represented by Expression (142) are defined as in the following Expressions (143) to (145), the normal equation is expressed as in the following Expression (146).
[1624]
[Equation 110]

[1625]
(Equation 111)

[1626]
[Equation 112]

[1627]
[Equation 113]

[1628]
As shown in equation (144), the matrix W_MATIs a feature amount w to be obtained._iIt is. Therefore, in equation (146), the matrix S on the left side_MATAnd the matrix P on the right side_MATIs determined, the matrix W is_MATCan be calculated.
[1629]
Specifically, as shown in Expression (143), the matrix S_MATAre the integral components S described above._iThe calculation can be performed in (l). That is, the integral component S_iSince (l) is included in the integral component table supplied from the integral component calculation unit 2424, the normal equation generation unit 2425 uses the integral component table to calculate the matrix S_MATCan be calculated.
[1630]
Also, as shown in equation (145), the matrix P_MATAre integral components S_i(L) and the input pixel value P (l) can be calculated. That is, the integral component S_i(L) is a matrix S_MATSince the input pixel value P (l) is included in the input pixel value table supplied from the input pixel value acquisition unit 2423, the normal equation generation unit 2425 is a matrix P using an integral component table and an input pixel value table._MATCan be calculated.
[1631]
In this way, the normal equation generation unit 2425 calculates the matrix S_MATAnd matrix P_MATIs calculated, and the calculation result (matrix S_MATAnd matrix P_MATAre output to the approximation function generator 2426 as a normal equation table.
[1632]
When the normal equation table is output from the normal equation generation unit 2425, in step S2406, the approximation function generation unit 2426 determines, based on the normal equation table, the matrix W of the above equation (146)._MATFeature w which is each component of_i(That is, the coefficient w of the approximation function f (x, y) which is a two-dimensional polynomial_i) Is calculated.
[1633]
Specifically, the above-described normal equation of Equation (146) can be modified as in the following Equation (147).
[1634]
[Equation 114]

[1635]
In equation (147), the matrix W on the left side_MATIs a feature value w to be obtained._iIt is. Also, the matrix S_MATAnd matrix P_MATAre included in the normal equation table supplied from the normal equation generation unit 2425. Therefore, the approximation function generation unit 2426 performs the matrix operation on the right side of Expression (147) using the normal equation table, thereby obtaining the matrix W_MATIs calculated, and the calculation result (feature amount w_i) Is output to the image generation unit 103.
[1636]
In step S2407, the approximate function generation unit 2426 determines whether or not processing of all pixels has been completed.
[1637]
If it is determined in step S2407 that the processing for all the pixels has not been completed, the process returns to step S2402, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S2402 to S2407 is repeated.
[1638]
Then, when the processing of all the pixels is completed (when it is determined in step S2407 that the processing of all the pixels is completed), the estimation processing of the real world 1 ends.
[1639]
As described above, as a description of the two-dimensional polynomial approximation method, the coefficient (feature amount) w of the approximation function f (x, y) in the spatial direction (X direction and Y direction)_iIs used, but the two-dimensional polynomial approximation method is also applicable to the spatio-temporal direction (X direction and t direction, or Y direction and t direction).
[1640]
That is, in the above-described example, the optical signal of the real world 1 has, for example, a gradient G_FSince the example has the spatial direction continuity represented by (FIG. 238), two-dimensional integration in the spatial direction (X direction and Y direction) as shown in the above equation (132) is included. The formula used was used. However, the concept of two-dimensional integration is not limited to the spatial direction, but can be applied to a spatio-temporal direction (X direction and t direction or Y direction and t direction).
[1641]
In other words, in the two-dimensional polynomial approximation method, the optical signal function F (x, y, t) to be estimated not only has the spatial continuity but also the spatiotemporal direction (however, the X direction and the t direction, or the Y direction). (Direction and t direction) can be approximated by a two-dimensional polynomial.
[1642]
Specifically, for example, when there is an object moving at a constant speed horizontally in the X direction, the direction of the movement of the object is represented by a gradient V in the Xt plane as shown in FIG._FIs represented as In other words, the slope V_FRepresents the direction of continuity in the spatiotemporal direction on the Xt plane. Therefore, the data continuity detecting unit 101 determines the angle θ (the inclination G in the XY plane_FSimilarly, the slope V representing the stationarity in the spatio-temporal direction on the Xt plane._F244 as a data continuity information corresponding to the motion θ (although not strictly shown, the slope V_FSlope V corresponding to_fIt is possible to output a motion θ) which is an angle between the direction of the continuity of the data represented by the following formula and the spatial X direction.
[1643]
Therefore, the real-world estimating unit 102 using the two-dimensional polynomial approximation method can use the motion θ instead of the above-described angle θ to calculate the coefficient of the approximation function f (x, t) in the same manner as described above. (Feature amount) w_iCan be calculated. However, in this case, the formula used is not the above-described formula (132) but the following formula (148).
[1644]
[Equation 115]

[1645]
In equation (148), s is cot θ (where θ is a motion).
[1646]
Further, instead of the spatial direction X, the approximate function f (y, t) focused on the spatial direction Y can be handled in exactly the same manner as the above-described approximate function f (x, t).
[1647]
As described above, in the two-dimensional polynomial approximation method, for example, the data continuity detecting unit 101 in FIG. 219 (FIG. 3) has a plurality of detection elements (for example, the sensor in FIG. The optical signal of the real world 1 (FIG. 219) is projected by the detection element 2-1 of FIG. 2 and the continuity of the optical signal of the real world 1 (for example, the slope G in FIG. 238)._FThe continuity of the data (for example, the input image in FIG. 219) of a plurality of pixels having a pixel value projected by the detection element 2-1 (for example, the input image in FIG. 240, the slope G_f(Stationarity of data represented by).
[1648]
Then, for example, the real-world estimating unit 102 (configuration is FIG. 241) in FIG. 219 (FIG. 3) outputs the image data in the spatio-temporal direction corresponding to the continuity of the data detected by the data continuity detecting unit 101. , The pixel value of a pixel corresponding to a position in at least a two-dimensional direction (for example, the spatial direction X and the spatial direction Y in FIGS. 238 and 239) (for example, the input pixel value P which is the left side of the above-described equation (131)) (X, y)) is at least a pixel value obtained by an integration effect in the two-dimensional direction (for example, as shown on the right side of the equation (132), the approximate function f (x , Y) are the values integrated in the X and Y directions), and the optical signal function F (specifically, the function F (x, y) in FIG. 238) representing the optical signal of the real world 1 is expressed as An approximation function f that is a polynomial (for example, The approximation function f (x, y) is to approximate in) estimates the light signal function F.
[1649]
More specifically, for example, the real world estimating unit 102 calculates a line corresponding to the continuity of the data detected by the data continuity detecting unit 101 (for example, the slope G in FIG. 240)._fThe pixel value of a pixel corresponding to a distance (for example, a cross-sectional distance x ′ in FIG. 240) along at least a two-dimensional direction from a line (arrow) corresponding to is obtained by an integration effect in at least a two-dimensional direction. Assuming that the first function is a pixel value, the first function representing the optical signal in the real world is approximated by a second function, which is a polynomial, to estimate the first function.
[1650]
As described above, since the two-dimensional polynomial approximation method considers not a one-dimensional but a two-dimensional integration effect, it is possible to more accurately estimate the optical signal of the real world 1 as compared with the one-dimensional polynomial approximation method. Becomes possible.
[1651]
Next, a third function approximation method will be described with reference to FIGS.
[1652]
That is, the third function approximation method is, for example, an optical signal of the real world 1 having stationarity in a predetermined direction of the spatio-temporal direction is represented by an optical signal function F (x, y, t). Noting that, the optical signal function F (x, y, t) is approximated by the approximation function f (x, y, t), thereby estimating the optical signal function F (x, y, t). is there. Therefore, hereinafter, the third function approximation method is referred to as a three-dimensional function approximation method.
[1653]
Also in the description of the three-dimensional function approximation method, the sensor 2 is a CCD configured by arranging a plurality of detection elements 2-1 on the plane as shown in FIG.
[1654]
In the example of FIG. 245, the direction parallel to a predetermined side of the detection element 2-1 is the X direction, which is one direction in the spatial direction, and the direction perpendicular to the X direction is the other direction in the spatial direction. It is a certain Y direction. The direction perpendicular to the XY plane is the t direction, which is the time direction.
[1655]
In the example of FIG. 245, the spatial shape of each detection element 2-1 of the sensor 2 is a square with one side length of one. The shutter time (exposure time) of the sensor 2 is set to 1.
[1656]
Furthermore, in the example of FIG. 245, the center of one predetermined detection element 2-1 of the sensor 2 is located at the origin (the position x = 0 in the X direction and the position y in the Y direction) in the spatial direction (X direction and Y direction). = 0), and the intermediate time of the exposure time is the origin in the time direction (t direction) (position t = 0 in the t direction).
[1657]
In this case, the detection element 2-1 having its center at the origin (x = 0, y = 0) in the spatial direction is in the range of -0.5 to 0.5 in the X direction and -0.5 in the Y direction. The optical signal function F (x, y, t) is integrated in the range of 0.5 to 0.5 and in the range of -0.5 to 0.5 in the t direction, and the integrated value is output as the pixel value P. .
[1658]
That is, the pixel value P output from the detection element 2-1 having the center at the origin in the spatial direction is represented by the following equation (149).
[1659]
[Equation 116]

[1660]
Similarly, the other detection elements 2-1 output the pixel value P represented by the equation (149) by setting the center of the target detection element 2-1 as the origin in the spatial direction.
[1661]
By the way, as described above, in the three-dimensional function approximation method, the optical signal function F (x, y, t) is approximated to the three-dimensional approximation function f (x, y, t).
[1662]
Specifically, for example, the approximation function f (x, y, t) is a function having N variables (features), and the input pixel value P (x, y, t) corresponding to the equation (149) is set. And the approximate expression f (x, y, t). As a result, if M input pixel values P (x, y, t) larger than N have been acquired, N variables (feature amounts) can be calculated from the defined relational expression. That is, the real-world estimating unit 102 obtains M input pixel values P (x, y, t) and calculates N variables (features), thereby obtaining an optical signal function F (x, y, t). It is possible to estimate t).
[1663]
In this case, the real world estimating unit 102 restricts the continuity of the data included in the input image (input pixel value) from the sensor 2 (that is, the data continuity of the input image output from the data continuity detecting unit 101). (Using information), and extract (acquire) M input images P (x, y, t) from the entire input image. As a result, the prediction function f (x, y, t) is constrained by the stationarity of the data.
[1664]
For example, as shown in FIG. 246, the optical signal function F (x, y, t) corresponding to the input image has a gradient G_FWhen the data continuity detecting unit 101 has the continuity in the spatial direction represented by_FSlope G corresponding to_f(Not shown) and an angle θ between the direction of continuity of the data and the X direction).
[1665]
In this case, a one-dimensional waveform obtained by projecting the optical signal function F (x, y, t) in the X direction (here, such a waveform is referred to as an X sectional waveform) is determined at any position in the Y direction. It is assumed that they have the same shape even when projected by.
[1666]
That is, it is assumed that there is a two-dimensional (spatial) waveform in which the X-sectional waveforms of the same shape are connected in the direction of stationarity (the angle θ with respect to the X direction), and such a two-dimensional waveform is represented by A three-dimensional waveform connected in the direction t is approximated by an approximation function f (x, y, t).
[1667]
In other words, in the X-sectional waveform shifted from the center of the target pixel by the position y in the Y direction, the X-sectional waveform passing through the center of the target pixel has moved in the X direction by a predetermined amount (an amount that changes according to the angle θ). (Shifted) waveform. Hereinafter, such an amount is referred to as a shift amount.
[1668]
This shift amount can be calculated as follows.
[1669]
That is, the slope V_f(For example, the slope V in FIG. 246)_FSlope V representing the direction of data continuity corresponding to_f) And the angle θ are represented by the following equation (150).
[1670]
[Formula 117]

[1671]
In Expression (150), dx represents a minute movement amount in the X direction, and dy represents a minute movement amount in the Y direction with respect to dx.
[1672]
Therefore, the shift amount in the X direction is C_xIf it is described as (y), it is expressed as the following equation (151).
[1673]
[Equation 118]

[1674]
Thus, the shift amount C_xWhen (y) is defined, a relational expression between the input pixel value P (x, y, t) corresponding to the expression (149) and the approximate function f (x, y, t) is expressed by the following expression (152). expressed.
[1675]
[Equation 119]

[1676]
In Expression (152), e represents an error. t_sRepresents the integration start position in the t direction, and t_eRepresents the integration end position in the t direction. Similarly, y_sRepresents the integration start position in the Y direction._eRepresents the integration end position in the Y direction. Also, x_sRepresents the integration start position in the X direction, and x_eRepresents the integration end position in the X direction. However, each of the specific integration ranges is as shown by the following equation (153).
[1677]
[Equation 120]

[1678]
As shown in Expression (153), the integration range in the X direction for a pixel located at a distance (x, y) in the spatial direction from the pixel of interest is represented by a shift amount C_xBy moving by (y), it is possible to indicate that the X-sectional waveforms of the same shape are continuous in the direction of continuity (the direction of the angle θ with respect to the X direction).
[1679]
As described above, in the three-dimensional function approximation method, the relationship between the pixel value P (x, y, t) and the three-dimensional approximation function f (x, y, t) is expressed by Expression (152) (the integration range is expressed by Expression (152)). (153)), the N feature quantities of the approximate function f (x, y, t) are calculated using the equations (152) and (153) by, for example, the least square method. By performing the calculation, the optical signal function F (x, y, t) (for example, the slope V as shown in FIG. 246)_FIt is possible to estimate an optical signal having stationarity in the spatial direction represented).
[1680]
The optical signal represented by the optical signal function F (x, y, t) has, for example, a slope V as shown in FIG._FIn the case of having the spatial continuity represented by the following equation, the optical signal function F (x, y, t) may be approximated as follows.
[1681]
That is, a one-dimensional waveform obtained by projecting the optical signal function F (x, y, t) in the Y direction (hereinafter, such a waveform is referred to as a Y-section waveform) is projected at any position in the X direction. Are assumed to have the same shape.
[1682]
In other words, it is assumed that there is a two-dimensional (spatial direction) waveform in which the Y-shaped waveform having the same shape is connected in the direction of the stationarity (the angle θ with respect to the X direction). A three-dimensional waveform connected in the time direction t is approximated by an approximate function f (x, y, t).
[1683]
Therefore, in the Y-section waveform shifted by x in the X direction from the center of the pixel of interest, the Y-section waveform passing through the center of the pixel of interest has shifted in the Y direction by a predetermined shift amount (shift amount that varies according to the angle θ). It becomes a waveform.
[1684]
This shift amount can be calculated as follows.
[1885]
That is, the gradient G_FIs expressed as in the above expression (150), and the shift amount in the Y direction is represented by C_yWhen it is described as (x), it is expressed as the following equation (154).
[1686]
[Equation 121]

[1687]
Thus, the shift amount C_yWhen (x) is defined, a relational expression between the input pixel value P (x, y, t) corresponding to the expression (149) and the approximate function f (x, y, t) is represented by a shift amount C_xAs in the case where (y) is defined, it is expressed by the above-described equation (152).
[1688]
However, this time, each of the specific integration ranges is as shown in the following equation (155).
[1689]
[Equation 122]

[1690]
As shown in Expression (155) (and Expression (152) described above), the integration range in the Y direction with respect to the pixel located at (x, y) away from the target pixel is represented by a shift amount C_yBy moving only by (x), it is possible to indicate that the Y-section waveforms of the same shape are connected in the direction of continuity (the direction of the angle θ with respect to the X direction).
[1691]
As described above, in the three-dimensional function approximation method, since the integration range on the right side of the above-mentioned expression (152) can be set not only to expression (153) but also to expression (155), expression (155) is used as the integration range. The optical signal function F (x, y) is calculated by using the adopted equation (152) to calculate n feature amounts of the approximate function f (x, y, t) by, for example, the least square method. , T) (slope G_FThe optical signal of the real world 1 having the stationarity in the spatial direction represented by the following equation can be estimated.
[1692]
As described above, the formulas (153) and (155) representing the integration range shift the peripheral pixels in the X direction (in the case of the formula (153)) or shift in the Y direction according to the continuity direction. Or (in the case of equation (155)), essentially indicating the same.
[1693]
However, the direction of stationarity (slope G_F), It is different whether the optical signal function F (x, y, t) is regarded as a group of X-section waveforms or a group of Y-section waveforms. That is, when the direction of the continuity is close to the Y direction, it is preferable to regard the optical signal function F (x, y, t) as a group of X-section waveforms. On the other hand, when the direction of the continuity is close to the X direction, it is preferable to regard the optical signal function F (x, y, t) as a group of Y section waveforms.
[1694]
Therefore, the real world estimating unit 102 prepares both Expression (153) and Expression (155) as the integration range, and appropriately sets the integration range on the right side of Expression (152) according to the direction of the stationarity. One of (153) and (155) may be selected.
[1695]
As described above, the optical signal function F (x, y, t) is stationary in the spatial direction (X direction and Y direction) (for example, the gradient G in FIG. 246)._F, The three-dimensional function method has a case where the optical signal function F (x, y, t) is, as shown in FIG. Stationaryness (slope V in the spatiotemporal direction (X direction, Y direction, and t direction))_FIs also applicable.
[1696]
That is, in FIG. 247, the optical signal function corresponding to the frame of frame number # N-1 is F (x, y, # N-1), and the optical signal function corresponding to the frame of frame number #N is F ( x, y, #N), and the optical signal function corresponding to the frame of frame number # N + 1 is F (x, y, # N + 1).
[1697]
Note that in FIG. 247, the horizontal direction is the X direction which is one direction in the spatial direction, the diagonally upper right direction is the Y direction which is the other direction in the spatial direction, and the vertical direction in FIG. The direction is the t direction, which is the time direction.
[1698]
The frame # N-1 is a frame temporally before the frame #N, and the frame # N + 1 is a frame temporally after the frame #N. That is, frame # N-1, frame #N, and frame # N + 1 are displayed in the order of frame # N-1, frame #N, and frame # N + 1.
[1699]
In the example of FIG._F(The direction from the lower left to the upper right in the figure) is substantially constant. Therefore, in the example of FIG. 247, the optical signal function F (x, y, t) has the slope V_FIt can be said that it has the continuity in the spatiotemporal direction represented by
[1700]
In this case, a function C (x, y, t) representing stationarity in the spatiotemporal direction is defined, and the defined function C (x, y, t) is used to define the above equation (152). If the integration range is defined, it is possible to calculate the N feature amounts of the approximate function f (x, y, t), as in the above-described equations (153) and (155).
[1701]
The function C (x, y, t) is not particularly limited as long as it is a function representing the direction of stationarity. However, in the following, the shift amount C, which is a function representing the above-described spatial direction continuity, is defined as a function C (x, y, t) corresponding to the linear continuity._x(Y) (Equation (151)) and shift amount C_y(X) C corresponding to (Equation (153))_x(T) and C_yLet (t) be defined as follows:
[1702]
That is, the gradient G representing the stationarity of the data in the spatial direction described above._fIs the slope of the continuity of the data in the spatiotemporal direction corresponding to V_fThen, this slope V_fWith the inclination in the X direction (hereinafter, V_fx) And a tilt in the Y direction (hereinafter V_fyDivided into two), the slope V_fxIs the following equation (156), and the slope V_fyIs represented by the following equation (157).
[1703]
[Equation 123]

[1704]
[Expression 124]

[1705]
In this case, the function C_x(T) is the slope V represented by equation (156)._fxIs used and is expressed as in the following equation (158).
[1706]
[Equation 125]

[1707]
Similarly, the function C_y(T) is the slope V represented by equation (157)._fyIs used and is expressed as in the following equation (159).
[1708]
[Equation 126]

[1709]
In this way, the function C representing the continuity 2511 in the spatiotemporal direction is_x(T) and function C_yWhen (t) is defined, the integration range of Expression (152) is represented by the following Expression (160).
[1710]
[Equation 127]

[1711]
As described above, in the three-dimensional function approximation method, the relationship between the pixel value P (x, y, t) and the three-dimensional approximation function f (x, y, t) can be expressed by Expression (152). By using equation (160) as the integration range on the right side of equation (152), n + 1 feature amounts of the approximate function f (x, y, t) are calculated by, for example, the least square method or the like. , It is possible to estimate the optical signal function F (x, y, t) (the optical signal of the real world 1 that has stationarity in a predetermined spatiotemporal direction).
[1712]
FIG. 248 illustrates a configuration example of the real world estimation unit 102 using such a three-dimensional function approximation method.
[1713]
The approximation function f (x, y, t) (actually, the feature amount (coefficient) is calculated) calculated by the real world estimation unit 102 using the three-dimensional function approximation method is not particularly limited. In the following description, it is assumed to be a polynomial of order n (n = N-1).
[1714]
As shown in FIG. 248, the real world estimation unit 102 includes a condition setting unit 2521, an input image storage unit 2522, an input pixel value acquisition unit 2523, an integral component operation unit 2524, a normal equation generation unit 2525, and an approximation function generation unit. A portion 2526 is provided.
[1715]
The condition setting unit 2521 includes a pixel range (tap range) used for estimating the optical signal function F (x, y, t) corresponding to the target pixel, and an order of the approximate function f (x, y, t). Set n.
[1716]
The input image storage unit 2522 temporarily stores the input image (pixel value) from the sensor 2.
[1717]
The input pixel value obtaining unit 2523 obtains an area of the input image corresponding to the tap range set by the condition setting unit 2521 in the input image stored in the input image storage unit 2522, and stores it in the input pixel value table. Is supplied to the normal equation generation unit 2525. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described.
[1718]
By the way, as described above, the real-world estimating unit 102 using the three-dimensional function approximation method uses the above-described equation (152) (however, the integration range is equation (153), equation (156) or equation (160)) Are used to calculate N feature quantities (in this case, the following coefficients) of the approximate function f (x, y) by the least square method.
[1719]
The right side of Expression (152) can be expressed as in Expression (161) by calculating the integral.
[1720]
[Equation 128]

[1721]
In equation (161), w_iRepresents the coefficient (feature amount) of the i-th order term._i(X_s, X_e, Y_s, Y_e, T_s, T_e) Represents the integral component of the i-th order term. Where x_sIs the start position of the integration range in the X direction, x_eIs the end position of the integration range in the X direction, and y is_sIs the start position of the integration range in the Y direction, and y is_eRepresents the end position of the integration range in the Y direction, t_sIs the start position of the integration range in the t direction, and t is_eRepresents the end position of the integration range in the t direction.
[1722]
The integral component calculation unit 2524 calculates the integral component S_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Is calculated.
[1723]
That is, the integral component calculation unit 2524 determines the tap range and the order set by the condition setting unit 2521, and the angle or the motion of the data continuity information output from the data continuity detection unit 101 (as described above as the integration range). The angle is an angle when equation (153) or equation (156) is used, and is a motion when equation (160) is used)._i(X_s, X_e, Y_s, Y_e, T_s, T_e), And supplies the calculation result to the normal equation generation unit 2525 as an integral component table.
[1724]
The normal equation generation unit 2525 uses the input pixel value table supplied from the input pixel value acquisition unit 2523 and the integral component table supplied from the integral component calculation unit 2524 to calculate the above equation (161) using the least square method. Is generated, and is output to the approximation function generating unit 2526 as a normal equation table. An example of the normal equation will be described later.
[1725]
The approximation function generation unit 2526 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 2525 by a matrix solution method, thereby obtaining the feature amount w._i(In this case, the coefficient w of the pixel value function f (x, y), which is a three-dimensional polynomial,_i) Are calculated and output to the image generation unit 103.
[1726]
Next, the estimation process of the real world to which the three-dimensional function approximation method is applied (the process of step S102 in FIG. 40) will be described with reference to the flowchart in FIG.
[1727]
First, in step S2501, the condition setting unit 2521 sets conditions (tap range and order).
[1728]
For example, it is assumed that a tap range including L pixels has been set. Further, it is assumed that a predetermined number 1 (1 is an integer value from 0 to L−1) is assigned to each of the pixels.
[1729]
Next, in step S2502, the condition setting unit 2521 sets a target pixel.
[1730]
In step S2503, the input pixel value acquisition unit 2523 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 2521, and generates an input pixel value table. In this case, a table including L input pixel values P (x, y, t) is generated. Here, each of the L input pixel values P (x, y, t) is described as P (l) as a function of the pixel number l. That is, the input pixel value table is a table including L P (l).
[1731]
In step S2504, the integral component calculation unit 2524 determines the condition (tap range and order) set by the condition setting unit 2521 and the data continuity information (angle or motion) supplied from the data continuity detection unit 101. Compute the integral component and generate an integral component table.
[1732]
However, in this case, as described above, the input pixel value is obtained as the value of the pixel number 1 such as P (l) instead of P (x, y, t). , The integral component S of the above equation (161)_i(X_s, X_e, Y_s, Y_e, T_s, T_e) With the integral component S_iThe calculation is performed as a function of l such as (l). That is, the integral component table is composed of L × i S_iThis is a table including (l).
[1733]
The order of the processing of step S2503 and the processing of step S2504 is not limited to the example of FIG. 249, and the processing of step S2504 may be performed first, or the processing of step S2503 and the processing of step S2504 may be performed simultaneously. May be done.
[1733]
Next, in step S2505, the normal equation generation unit 2525 compares the input pixel value table generated by the input pixel value acquisition unit 2523 in the process of step S2503 with the integral generated by the integral component calculation unit 2524 in the process of step S2504. A normal equation table is generated based on the component table.
[1735]
Specifically, in this case, the characteristic amount w of the following equation (162) corresponding to the above equation (161) is obtained by the least square method._iIs calculated. And the corresponding normal equation is represented by the following equation (163).
[1736]
129

[1737]
[Equation 130]

[1736]
When each of the matrices of the normal equation represented by the equation (163) is defined as in the following equations (164) to (166), the normal equation is represented as the following equation (167).
[1739]
[Equation 131]

[1740]
(Equation 132)

[1741]
[Equation 133]

[1742]
[Equation 134]

[1743]
As shown in equation (165), the matrix W_MATIs a feature amount w to be obtained._iIt is. Therefore, in equation (167), the matrix S on the left side_MATAnd the matrix P on the right side_MATIs determined, the matrix W is_MAT(That is, the feature amount w_i) Can be calculated.
[1744]
Specifically, as shown in equation (164), the matrix S_MATAre the integral components S described above._iIf (l) is known, it can be calculated. Integral component S_iSince (l) is included in the integral component table supplied from the integral component operation unit 2524, the normal equation generation unit 2525 uses the integral component table to calculate the matrix S_MATCan be calculated.
[1745]
Also, as shown in equation (166), the matrix P_MATAre integral components S_iIf (l) and the input pixel value P (l) are known, calculation is possible. Integral component S_i(L) is a matrix S_MATSince the input pixel value P (l) is included in the input pixel value table supplied from the input pixel value acquisition unit 2523, the normal equation generation unit 2525 is a matrix P using an integral component table and an input pixel value table._MATCan be calculated.
[1746]
In this way, the normal equation generation unit 2525 calculates the matrix S_MATAnd matrix P_MATIs calculated, and the calculation result (matrix S_MATAnd matrix P_MATAre output to the approximate function generating unit 2526 as a normal equation table.
[1747]
When the normal equation table is output from the normal equation generation unit 2526, in step S2506, the approximation function generation unit 2526 uses the matrix W of the above-described equation (167) based on the normal equation table._MATFeature w which is each component of_i(That is, the coefficient w of the approximate function f (x, y, t)_i) Is calculated.
[1748]
Specifically, the normal equation of Expression (167) described above can be modified as in the following Expression (168).
[1748]
[Equation 135]

[1750]
In equation (168), the matrix W on the left side_MATIs a feature value w to be obtained._iIt is. Also, the matrix S_MATAnd matrix P_MATAre included in the normal equation table supplied from the normal equation generating unit 2525. Therefore, the approximate function generation unit 2526 performs a matrix operation on the right side of Expression (168) using the normal equation table, thereby obtaining the matrix W_MATIs calculated, and the calculation result (feature amount w_i) Is output to the image generation unit 103.
[1751]
In step S2507, the approximate function generation unit 2526 determines whether or not processing of all pixels has been completed.
[1752]
If it is determined in step S2507 that the processing for all pixels has not been completed, the process returns to step S2502, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S2502 to S2507 is repeated.
[1753]
Then, when the processing of all the pixels is completed (when it is determined in step S5407 that the processing of all the pixels is completed), the estimation processing of the real world 1 ends.
[1754]
As described above, the three-dimensional function approximation method considers not a one-dimensional or two-dimensional but a three-dimensional integration effect in a spatio-temporal direction. As a result, it is possible to more accurately estimate the optical signal of the real world 1.
[1755]
In other words, in the three-dimensional function approximation method, for example, the real-world estimating unit 102 (configuration is, for example, FIG. 248) in FIG. 219 (FIG. 3) includes a plurality of detection elements of a sensor each having a spatiotemporal integration effect. The optical signal of the real world 1 is projected by (for example, the detection element 2-1 of the sensor 2 in FIG. 245), and the continuity of the optical signal of the real world 1 (for example, the slope G in FIG. 246)._FOr the slope V in FIG._F247). At least one-dimensional direction (for example, the spatial direction in FIG. 247) in the spatio-temporal direction of the input image composed of a plurality of pixels having pixel values projected by the detection The pixel value (for example, the input pixel value P (x, y, z) on the left side of Expression (153)) of the pixel corresponding to the position in X, the spatial direction Y, and the time direction t is three-dimensional. , The pixel value obtained by the integration effect in at least one-dimensional direction (for example, as shown on the right side of the above equation (153), the approximate function f (x, y, t) is expressed in the X direction, Y direction, and t The optical signal function F (specifically, for example, the optical signal function F (x, y, t) in FIG. 246 or FIG. 247) representing the optical signal in the real world is assumed to be a value integrated in three directions. ) Is converted to a predetermined approximation function f (specifically, for example, equation (152) By approximating the right side of the approximation function f (x, y, t)), to estimate the optical signal function F.
[1756]
Further, for example, when the data continuity detecting unit 101 in FIG. 219 (FIG. 3) detects the continuity of the data of the input image, the real world estimating unit 102 outputs the data detected by the data continuity detecting unit 101. In response to the stationarity, it is assumed that the pixel value of a pixel corresponding to at least a one-dimensional position in the spatio-temporal direction of the image data is a pixel value obtained by an integration effect in at least one-dimensional direction. The optical signal function F is estimated by approximating F with the approximation function f.
[1775]
More specifically, for example, the real world estimating unit 102 calculates a distance along a direction at least one-dimensional from a line corresponding to the continuity of the data detected by the continuity detecting unit 101 (for example, the above-described equation (151) When the pixel value of the pixel corresponding to the shift amount Cx (y) is at least the pixel value obtained by the one-dimensional direction integration effect (for example, the expression (152) in the integration range shown by the above expression (153)) )), The optical signal function F is an approximate function, assuming that the approximate function f (x, y, t) is a value integrated in three dimensions in the X, Y, and t directions). The optical signal function is estimated by approximation.
[1758]
Therefore, the three-dimensional function approximation method can more accurately estimate the optical signal of the real world 1.
[1759]
Next, with reference to FIG. 250 to FIG. 259, another example of the extraction method in which the real world estimating unit 102 extracts the data 162 when the real world 1 signal having stationarity is approximated by the model 161. explain.
[1760]
In the following example, a weight is assigned according to the importance of each pixel, the pixel value of each pixel is extracted, and the extracted value is used as data 162 (FIG. 7), and 1 is approximated by the model 161 (FIG. 7).
[1761]
Specifically, for example, it is assumed that an input image 2701 as shown in FIG. 250 is input to the real world estimating unit 102 (FIG. 3) as an input image from the sensor 2 (FIG. 1).
[1762]
In FIG. 250, the horizontal direction in the figure is the X direction, which is one direction in the spatial direction, and the vertical direction in the figure is the Y direction, which is the other direction in the spatial direction.
[1763]
The input image 2701 has a pixel width (vertical width and horizontal width) L_C, Each of which has a pixel value of 7 × 16 pixels (square in the figure) (although it is represented by hatching in the figure, it is actually data having one value).
[1764]
The pixel of interest is a pixel having a pixel value of 2701-1 (hereinafter, a pixel having a pixel value of 2701-1 is referred to as a pixel of interest 2701-1), and the direction of data continuity in the pixel of interest 2701-1. Is the slope G_fIt is represented by
[1765]
FIG. 251 shows a difference between the level of the optical signal of the real world 1 at the center of the pixel of interest 2701-1 and the level of the optical signal of the real world 1 at the cross-sectional distance x ′ (hereinafter, referred to as a level difference). . That is, the horizontal axis in the drawing represents the cross-sectional direction distance x ', and the vertical axis in the drawing represents the level difference. The value of the horizontal axis in the figure is the pixel width L_cAs one length.
[1766]
Here, the cross-sectional direction distance x 'will be described with reference to FIGS. 252 and 253.
[1767]
FIG. 252 shows a block of 5 × 5 pixels centered on the pixel of interest 2701-1 in the input image 2701 of FIG. In FIG. 252, as in FIG. 250, the horizontal direction in the figure is the X direction, which is one direction in the spatial direction, and the vertical direction in the figure is the Y direction, which is the other direction in the spatial direction.
[1768]
At this time, for example, the center of the pixel of interest 2701-1 is defined as the origin (0, 0) in the spatial direction, and passes through the origin and in the direction of data continuity (in the example of FIG._fIf a straight line parallel to the data continuity direction is drawn, the relative distance in the X direction to the straight line is referred to as a cross-sectional direction distance x '. In the example of FIG. 252, the cross-sectional direction distance x 'at the center point of the pixel 2701-2 separated by two pixels in the Y direction from the pixel of interest 2701-1 is shown.
[1770]
FIG. 253 is a diagram illustrating a cross-sectional distance of each pixel in the block illustrated in FIG. 252 in the input image 2701 in FIG. 250. That is, in FIG. 253, the value described in each pixel (5 × 5 = 25 squares in the figure) of the input image 2701 is the cross-sectional distance of the corresponding pixel. For example, the cross-sectional direction distance x ′ of the pixel 2701-2 is −2β.
[1770]
However, as described above, each pixel width L_cIs 1 in both the X and Y directions. The positive direction of the X direction is the right direction in the figure. Β represents the distance in the cross-section direction of the pixel 2701-3 which is one adjacent (one lower in the figure) with respect to the Y direction of the target pixel 2701-1. This β is the angle θ as shown in FIG._fIs output from the data continuity detecting unit 101 as data continuity information, the angle θ between the data continuity direction and the X direction represented by the following equation (169) is simply used. It is possible to calculate.
[1771]
β = 1 / tan θ (169)
[1772]
Returning to FIG. 251, it is difficult to draw the actual level difference. Therefore, in the example of FIG. 251, an image (not shown) having a higher resolution than the input image 2701 corresponding to the input image 2701 of FIG. A pixel value of a pixel (pixel of the high-resolution image) which is generated in advance and is located substantially at the center of the pixel of interest 2701-1 of the input image 2701 among the pixels of the high-resolution image, The difference between each pixel value of each pixel (pixel of the high-resolution image) located on a straight line passing through the center of the pixel of interest 2701-1 of the input image 2701 is plotted as a level difference. .
[1773]
In FIG. 251, as shown by the plotted level difference, the gradient G ′ falls within the range of approximately −0.5 to approximately 1.5 in the sectional direction._f(Hereinafter, such a region is referred to as a stationary region in the description of weighting).
[1774]
Therefore, a pixel having a smaller cross-sectional direction distance x '(a pixel of the input image 2701) has a higher probability of including the stationary region. That is, the pixel value of a pixel having a small cross-sectional direction distance x ′ (the pixel of the input image 2701) is data 162 used by the real world estimating unit 102 when the model of the real world 1 having stationarity is approximated by the model 161. It can be said that the importance is high.
[1775]
On the other hand, the probability that the pixel includes the stationary region decreases as the pixel in the cross-sectional direction distance x ′ becomes larger (the pixel of the input image 2701). That is, a pixel having a large cross-sectional direction distance x ′ (a pixel of the input image 2701) is assigned importance as data 162 used by the real world estimation unit 102 when the real world 1 signal having a stationarity is approximated by the model 161. Is low.
[1776]
The above relationship of importance applies not only to the input image 2701 but also to all input images from the sensor 2 (FIG. 1).
[1777]
Therefore, when approximating the signal of the real world 1 having the stationarity by the model 161, the real world estimating unit 102 calculates the distance in the cross-section direction for each pixel value of each pixel (pixel of the input image from the sensor 2). Weighted and extracted according to x ′, and the extracted value (weighted pixel value) can be used as data 162. That is, when the pixel value of the input image is extracted as the data 162, as shown in FIG. 251, the weight decreases as the cross-sectional distance x 'increases, and the pixel value is extracted.
[1778]
Furthermore, as shown in FIG. 254, when approximating the signal of the real world 1 having stationarity by the model 161, the real world estimating unit 102 determines each pixel (the pixel of the input image from the sensor 2; In the example of H.254, the gradient G from the pixel value of the input image 2701) is determined in accordance with the spatial correlation (that is, the gradient G from the pixel of interest 2701-1)._f(In accordance with the distance in the direction of continuity represented by), and the extracted value (weighted pixel value) can be used as the data 162. That is, when the pixel value of the input image is extracted as the data 162, as shown in FIG._f(The greater the distance in the direction of continuity represented by), the smaller the weight is, and the pixel value is extracted. FIG. 254 shows the same input image 2701 as FIG.
[1779]
Of the two weights described above (the weight shown in FIG. 251 and the weight shown in FIG. 254), only one of them may be used, or both may be used simultaneously. When both are used at the same time, the method of calculating the finally used weight is not particularly limited. For example, the product of both weights may be used as the final weight, or the gradient G may be used with respect to the weight determined by the weighting shown in FIG._f(For example, a weight that decreases by a predetermined value each time the distance in the direction of data continuity increases by 1) is used. Is also good.
[1780]
The real world estimating unit 102 extracts each pixel value of each pixel using the weight determined in this way, and uses the weighted pixel value as the data 162 to obtain a signal of the real world 1 A close model 161 can be generated.
[1781]
Specifically, for example, as described above, the real world estimation unit 102_MATW_MAT= P_MAT(That is, by the method of least squares), the feature quantity of the approximation function as the model 161 (that is, the matrix W_MAT, The signals of the real world 1 can also be estimated.
[1782]
In this case, the weight of each pixel of the input image whose pixel number is 1 (1 is any integer value from 1 to M) is v_lThen, the real world estimating unit 102 calculates the matrix S_MATIs used as a matrix, and a matrix P_MATCan be used as the matrix represented by the following equation (171).
[1783]
136

[1784]
137

[1785]
As described above, the real world estimating unit 102 using the least squares method such as the above-described function approximation method (FIG. 219) converts the matrix including the weights (that is, the above-described equation (170) and the above-mentioned equation (171)) into By using the matrix S_MATIs used, and the matrix P_MATAs compared with the case where the matrix represented by the above-described equation (15) is used, it is possible to calculate the feature amount of the approximate function closer to the signal of the real world 1.
[1786]
That is, the real-world estimating unit 102 using the least squares method further executes the above-described weighting process (as a matrix used in the normal equation, as represented by Expression (170) or Expression (171)). Weight v_l(Only by using a matrix that includes), it is possible to calculate a feature amount of an approximate function closer to the signal of the real world 1 without changing its configuration.
[1787]
Specifically, for example, FIG. 255 shows that the real-world estimating unit 102 calculates the weight v_l, An approximate function is generated by using a matrix that does not include (e.g., Equations (13) and (15) described above), and the image generation unit 103 (FIG. 3) 9 illustrates an example of an image generated by re-integrating an approximation function.
[1788]
On the other hand, FIG. 256 shows that the real-world estimating unit 102 calculates the weight v_l(For example, the above equation (170) and equation (171)) are used to generate an approximate function (calculate the feature amount of the approximate function), and the image generation unit 103 reintegrates the approximate function. An example of an image (an image corresponding to FIG. 255) generated as a result is shown.
[1789]
When comparing the image of FIG. 255 and the image of FIG. 256, for example, both the region 2711 of the image of FIG. 255 and the region 2712 of the image of FIG. 256 represent a part (the same part) of the tip of the fork.
[1790]
In the area 2711 of the image in FIG. 255, a plurality of discontinuous lines are displayed so as to overlap with each other, but in the area 2712 of the image in FIG. 256, almost continuous lines are displayed.
[1791]
Considering that the tip of the fork is actually formed continuously (visible to the human eye as one continuous line), the area 2712 of the image in FIG. 256 is better than the area 2711 of the image in FIG. It can be said that the signal of the real world 1, that is, the image of the tip of the fork, is reproduced more faithfully as compared with.
[1792]
FIG. 257 shows that the real world estimating unit 102 calculates the weight v_l, An approximate function is generated using the matrices that do not include (e.g., Equations (13) and (15) described above) (the feature amount of the approximate function is calculated), and the image generation unit 103 regenerates the approximate function. 255 shows another example of an image generated by integration (an example different from the image in FIG. 255).
[1793]
On the other hand, FIG. 258 shows that the real-world estimating unit 102 calculates the weight v_l(For example, the above equation (170) and equation (171)) are used to generate an approximate function (calculate the feature amount of the approximate function), and the image generation unit 103 reintegrates the approximate function. 257 shows another example (an image corresponding to FIG. 257, which is different from the image in FIG. 256) of the image generated.
[1794]
When comparing the image of FIG. 257 and the image of FIG. 258, for example, both the region 2713 of the image of FIG. 257 and the region 2714 of the image of FIG. 258 show a part (the same part) of the beam.
[1795]
In the image area 2713 of FIG. 257, a plurality of discontinuous lines are displayed so as to overlap, but in the image area 2714 of FIG. 258, substantially continuous lines are displayed.
[1796]
Considering that the beams are actually formed continuously (visible to the human eye as one continuous line), the region 2714 of the image of FIG. 258 is compared with the region 2713 of the image of FIG. Thus, it can be said that the signal of the real world 1, that is, the image of the beam is reproduced more faithfully.
[1797]
According to the above, a real-world optical signal is projected by a plurality of detection elements of a sensor, each of which has a spatio-temporal integration effect, and a part of the continuity of the real-world optical signal is lacking, and is projected by a detection element. Detecting the continuity of the data in the image data composed of a plurality of pixels having pixel values, and corresponding to the continuity of the detected data, at least one-dimensional direction of the space-time direction from the pixel of interest in the image data; Each pixel in the image data is weighted according to the distance, and the weighted pixel value of the pixel corresponding to at least the one-dimensional position in the image data is converted into at least one-dimensional value. The first function representing the optical signal in the real world is approximated by a second function, which is a polynomial, assuming that the pixel value is obtained by the directional integration effect, thereby estimating the first function. Because it was Unishi, an image can be more faithfully express.
[1798]
Next, an example of the embodiment of the image generation unit 103 (FIG. 3) will be described with reference to FIGS.
[1799]
FIG. 259 is a diagram for explaining the principle of the embodiment of this example.
[1800]
As shown in FIG. 259, in the embodiment of this example, it is assumed that the real world estimation unit 102 uses a function approximation technique. That is, assuming that a signal (distribution of light intensity) of the real world 1 which is an image incident on the sensor 2 is represented by a predetermined function F, the real world estimating unit 102 It is assumed that the function F is estimated by approximating the function F with a predetermined function f using the image (pixel value P) and the data continuity information output from the data continuity detecting unit 101. ing.
[1801]
Hereinafter, also in the description of the embodiment of this example, a signal of the real world 1 which is an image is particularly referred to as an optical signal, and the function F is particularly referred to as an optical signal function F. The function f is particularly called an approximate function f.
[1802]
Therefore, in the embodiment of this example, based on such a premise, the image generation unit 103 outputs the data continuity information output from the data continuity detection unit 101 and the data continuity information output from the real world estimation unit 102. Using the real world estimation information (in the example of FIG. 259, the feature amount of the approximation function f), the approximation function f is integrated in a predetermined spatiotemporal range, and the integrated value is output as an output pixel value M (output image). I do. In the embodiment of this example, the input pixel value is described as P and the output pixel value is described as M in order to distinguish the pixels of the input image from the pixels of the output image.
[1803]
In other words, the optical signal function F is integrated once to obtain an input pixel value P, and the optical signal function F is estimated from the input pixel value P (approximate by the approximate function f), and the estimated optical signal function F (that is, the estimated optical signal function F) , Approximation function f) is again integrated to produce an output pixel value M. Therefore, hereinafter, the integration of the approximation function f executed by the image generation unit 103 is referred to as reintegration. The embodiment of this example is called a reintegration method.
[1804]
As described later, in the reintegration method, the integration range of the approximation function f when the output pixel value M is generated is the integration range of the optical signal function F when the input pixel value P is generated (that is, In the spatial direction, the vertical width and the horizontal width of the detection element of the sensor 2 are used, and in the time direction, it is not limited to the exposure time of the sensor 2), but an arbitrary integration range is possible.
[1805]
For example, when the output pixel value M is generated, by changing the integration range in the spatial direction of the integration range of the approximation function f, the pixel pitch of the output image can be changed according to the integration range. Become. That is, it is possible to create a spatial resolution.
[1806]
Similarly, for example, when the output pixel value M is generated, the time resolution can be created by changing the integration range in the time direction of the integration range of the approximation function f.
[1807]
Hereinafter, three specific methods among such reintegration methods will be individually described with reference to the drawings.
[1808]
That is, the three specific methods are reintegration methods corresponding to the three specific methods of the function approximation method (the above three specific examples of the embodiment of the real world estimation unit 102). is there.
[1809]
Specifically, the first method is a reintegration method corresponding to the above-described one-dimensional polynomial approximation method (one method of a function approximation method). Therefore, in the first method, one-dimensional reintegration is performed, and such a reintegration method is hereinafter referred to as a one-dimensional reintegration method.
[1810]
The second method is a reintegration method corresponding to the above-described two-dimensional polynomial approximation method (one method of the function approximation method). Therefore, in the second method, two-dimensional reintegration is performed, and such a reintegration method is hereinafter referred to as a two-dimensional reintegration method.
[1811]
The third method is a reintegration method corresponding to the above-described three-dimensional function approximation method (one method of the function approximation method). Therefore, in the third method, three-dimensional reintegration is performed, and such a reintegration method is hereinafter referred to as a three-dimensional reintegration method.
[1812]
Hereinafter, details of each of the one-dimensional reintegration method, the two-dimensional reintegration method, and the three-dimensional reintegration method will be described in that order.
[1813]
First, a one-dimensional reintegration method will be described.
[1814]
In the one-dimensional reintegration method, it is assumed that the approximation function f (x) has already been generated by the one-dimensional polynomial approximation method.
[1815]
That is, the optical signal function F (x, y, t) using the three-dimensional positions x, y, and z and the time t as variables is converted into spatial directions such as an X direction, a Y direction, and a Z direction. In addition, a one-dimensional waveform projected in one predetermined direction (for example, the X direction) of the t direction, which is a time direction (also in the description of the reintegration method, a waveform projected in the X direction among such waveforms) , X section waveform F (x)) is assumed to be approximated by an approximation function f (x), which is an n-th order (n is an arbitrary integer) polynomial.
[1816]
In this case, in the one-dimensional reintegration method, the output pixel value M is calculated as in the following equation (172).
[1817]
138

[1818]
Note that, in equation (172), x_sRepresents the integration start position, and x_eRepresents the integration end position. G_eRepresents a predetermined gain.
[1819]
Specifically, for example, the real-world estimating unit 102 sets the pixel 3101 (the pixel 3101 corresponding to one predetermined detection element of the sensor 2) as shown in FIG. It is assumed that an approximate function f (x) (an approximate function f (x) of the X-sectional waveform F (x)) has already been generated.
[1820]
In the example of FIG. 260, the pixel value (input pixel value) of the pixel 3101 is P, and the shape of the pixel 3101 is a square with one side length of 1. The direction parallel to one side of the pixel 3101 (horizontal direction in the figure) in the spatial direction is defined as the X direction, and the direction perpendicular to the X direction (vertical direction in the figure) is defined as the Y direction.
[1821]
The lower part of FIG. 260 shows a coordinate system (hereinafter, referred to as a target pixel coordinate system) in a spatial direction (X direction and Y direction) where the center of the pixel 3101 is the origin, and the pixel 3101 in the coordinate system. Have been.
[1822]
Further, a graph of the approximate function f (x) at y = 0 (y is the coordinate value in the Y direction of the target pixel coordinate system shown in the lower part of the figure) is shown above FIG. . In this graph, the axis parallel to the horizontal direction in the figure is the same axis as the x-axis in the X direction of the target pixel coordinate system shown in the lower part of the figure (the origin is also the same), and is perpendicular to the figure. An axis parallel to the direction is an axis representing a pixel value.
[1823]
In this case, the following equation (173) holds between the approximation function f (x) and the pixel value P of the pixel 3101.
[1824]
139

[1825]
Further, as shown in FIG. 260, the pixel 3101 has a gradient G_fIt is assumed that the data has continuity of data in the spatial direction represented by Then, the data continuity detecting unit 101 (FIG. 259)_fIt is assumed that an angle θ as shown in FIG. 260 has already been output as data continuity information corresponding to the continuity of data represented by.
[1826]
In this case, for example, in the one-dimensional reintegration method, as shown in FIG. 261, a range of -0.5 to 0.5 in the X direction and a range of -0.5 to 0.5 in the Y direction ( It is possible to newly create four pixels 3111 to 3114 in the range where the pixel 3101 is located in FIG. 260).
[1827]
The lower part of FIG. 261 shows the same target pixel coordinate system as that of FIG. 260, and the pixels 3111 to 3114 in the target pixel coordinate system. The upper part of FIG. 261 shows the same graph as that of FIG. 260 (a graph of the approximate function f (x) at y = 0).
[1828]
Specifically, as shown in FIG. 261, in the one-dimensional re-integration method, calculation of the pixel value M (1) of the pixel 3111 by the following equation (174) is performed by calculation of the pixel 3112 by the following equation (175). Is calculated by the following equation (176), the pixel value M (3) of the pixel 3113 is calculated, and the pixel value M (4) of the pixel 3114 is calculated by the following equation (177). , Each is possible.
[1829]
[Equation 140]

[1830]
[Equation 141]

[1831]
[Equation 142]

[1832]
143

[1833]
Note that x in Expression (174)_s1, X in equation (175)_s2, X in equation (176)_s3, And x in equation (177)_s4Represents the integration start position of the corresponding equation. In addition, x in Expression (174)_e1, X in equation (175)_e2, X in equation (176)_e3, And x in equation (177)_e4Represents the integration end position of the corresponding equation.
[1834]
The integration range on the right side of each of Expressions (174) to (177) is the pixel width (length in the X direction) of each of the pixels 3111 to 3114. That is, x_e1-X_s1, X_e2-X_s2, X_e3-X_s3, X_e4-X_s4Is 0.5.
[1835]
However, in this case, a one-dimensional waveform having the same shape as the approximation function f (x) at y = 0 has a gradient G instead of the Y direction._f(Actually, the waveform having the same shape as the X-section waveform F (x) at y = 0 is the direction of the continuity). Is linked to). That is, when the pixel value f (0) at the origin (0, 0) (the center of the pixel 3101 in FIG. 260) in the target pixel coordinate system in FIG. 261 is the pixel value f1, the direction in which the pixel value f1 continues is the Y direction. Not the slope G_fIs the direction of the continuity (the angle θ direction) of the data represented by
[1836]
In other words, when considering the waveform of the approximation function f (x) at the predetermined position y (where y is a numerical value other than 0) in the Y direction, the position that becomes the pixel value f1 is not the position (0, y). , From the position (0, y) in the X direction by a predetermined amount (again, such an amount is referred to as a shift amount. Further, since the shift amount is an amount dependent on the position y in the Y direction, This shift amount is C_x(To be described as (y))) (C)_x(Y), y).
[1837]
Therefore, the center of the pixel value M (l) (where l is any integer from 1 to 4) to be obtained is defined as the integration range on the right side of each of the above equations (174) to (177). In the Y direction where the position y exists, that is, the shift amount C_xIt is necessary to set the integration range in consideration of (y).
[1838]
Specifically, for example, the position y in the Y direction where the centers of the pixels 3111 and 3112 exist is not y = 0 but y = 0.25.
[1839]
Therefore, the waveform of the approximation function f (x) at y = 0.25 is obtained by shifting the waveform of the approximation function f (x) at y = 0 by a shift amount C in the X direction._xThis corresponds to a waveform shifted by (0.25).
[1840]
In other words, in the above equation (174), the pixel value M (1) for the pixel 3111 is obtained by converting the approximate function f (x) at y = 0 into a predetermined integration range (start position x_s1To end position x_e1), The integration range is the start position x_s1= End position x from -0.5_e1261 (ie, the range itself occupied by the pixel 3111 in the X direction), that is, the range shown in FIG._s1= -0.5 + C_xEnd position x from (0.25)_e1= 0 + C_x(0.25) (shift amount C_x(The range occupied by the pixel 3111 in the X direction when the pixel 3111 is temporarily moved by (0.25)).
[1841]
Similarly, in the above equation (175), the pixel value M (2) for the pixel 3112 is obtained by converting the approximate function f (x) at y = 0 into a predetermined integration range (start position x_s2To end position x_e2), The integration range is the start position x_s2= 0 to end position x_e2261, that is, the range shown in FIG. 261, that is, the start position x_s2= 0 + C_xEnd position x from (0.25)_e1= 0.5 + C_x(0.25) (shift amount C_x(The range occupied by the pixel 3112 in the X direction when the pixel 3112 is temporarily moved by (0.25)).
[1842]
Further, for example, the position y in the Y direction where the centers of the pixels 3113 and 3114 exist is not y = 0 but y = −0.25.
[1843]
Therefore, the waveform of the approximate function f (x) at y = −0.25 is obtained by shifting the waveform of the approximate function f (x) at y = 0 by a shift amount C in the X direction._xThis corresponds to a waveform shifted by (−0.25).
[1844]
In other words, in the above equation (176), the pixel value M (3) for the pixel 3113 is obtained by converting the approximate function f (x) at y = 0 into a predetermined integration range (start position x_s3To end position x_e3), The integration range is the start position x_s3= End position x from -0.5_e3261 (ie, the range occupied by the pixel 3113 in the X direction), that is, the range shown in FIG. 261, that is, the start position x_s3= -0.5 + C_xEnd position x from (-0.25)_e3= 0 + C_x(−0.25) (shift amount C_xThis is the range occupied by the pixel 3113 in the X direction when the pixel 3113 is temporarily moved by (−0.25).
[1845]
Similarly, in equation (177) described above, the pixel value M (4) for the pixel 3114 is calculated using the approximate function f (x) at y = 0 in a predetermined integration range (start position x_s4To end position x_e4), The integration range is the start position x_s4= 0 to end position x_e4261, that is, the range shown in FIG. 261, that is, the start position x_s4= 0 + C_xEnd position x from (-0.25)_e1= 0.5 + C_x(−0.25) (shift amount C_xThis is the range occupied by the pixel 3114 in the X direction when the pixel 3114 is temporarily moved by (−0.25).
[1846]
Therefore, the image generation unit 102 (FIG. 259) substitutes a corresponding one of the above-described integration ranges into each of the above-described equations (174) to (177), performs calculations, and calculates the calculation results. Output is performed as each of the output pixel values M (1) to M (4).
[1847]
As described above, by using the one-dimensional reintegration method, the image generation unit 102 uses the one-dimensional re-integration method as a pixel in the output pixel 3101 (FIG. 260) from the sensor 2 (FIG. One pixel, that is, pixel 3111 to pixel 3114 (FIG. 261) can be created. Further, although not shown, as described above, the image generation unit 102 can appropriately change the integration range as well as the pixels 3111 to 3114 to generate a pixel having an arbitrary spatial resolution with respect to the output pixel 3101. Can be created without deterioration.
[1848]
FIG. 262 illustrates a configuration example of the image generation unit 103 that uses such a one-dimensional reintegration method.
[1849]
As shown in FIG. 262, the image generation unit 103 of this example includes a condition setting unit 3121, a feature amount storage unit 3122, an integral component calculation unit 3123, and an output pixel value calculation unit 3124.
[1850]
The condition setting unit 3121 sets the order n of the approximate function f (x) based on the real world estimation information (in the example of FIG. 262, the feature amount of the approximate function f (x)) supplied from the real world estimation unit 102. I do.
[1851]
The condition setting unit 3121 also sets an integration range when re-integrating the approximation function f (x) (when calculating an output pixel value). Note that the integration range set by the condition setting unit 3121 does not need to be the width of a pixel. For example, the approximation function f (x) is integrated in the spatial direction (X direction). If the relative size (scaling of spatial resolution) of the pixel to be calculated is known, a specific integration range can be determined. Therefore, the condition setting unit 3121 can also set, for example, a spatial resolution magnification as the integration range.
[1852]
The feature amount storage unit 3122 temporarily stores feature amounts of the approximation function f (x) sequentially supplied from the real world estimation unit 102. Then, when all the feature amounts of the approximate function f (x) are stored, the feature amount storage unit 3122 generates a feature amount table including all the feature amounts of the approximate function f (x), and the output pixel value calculation unit 3124 Supply.
[1853]
By the way, as described above, the image generation unit 103 calculates the output pixel value M using the above equation (172), but the approximate function f (x) included on the right side of the above equation (172) is Specifically, it is expressed as the following equation (178).
[1854]
[Equation 144]

[1855]
Note that in equation (178), w_iRepresents the feature amount of the approximate function f (x) supplied from the real world estimation unit 102.
[1856]
Therefore, when the approximation function f (x) of the equation (178) is substituted for the approximation function f (x) on the right side of the equation (172), and the right side of the equation (172) is expanded (calculated), the output pixel The value M is expressed as in the following equation (179).
[1857]
[Equation 145]

[1858]
In equation (179), K_i(X_s, X_e) Represents the integral component of the i-th order term. That is, the integral component K_i(X_s, X_e) Is as shown in the following equation (180).
[1859]
[Equation 146]

[1860]
The integral component calculator 3123 calculates the integral component K_i(X_s, X_e) Is calculated.
[1861]
Specifically, as shown in equation (180), the integral component K_i(X_s, X_e) Is the start position x of the integration range_s, And end position x_e, Gain G_e, And i, if i of the term is known.
[1862]
Of these, the gain G_eIs determined by the spatial resolution magnification (integration range) set by the condition setting unit 3121.
[1863]
The range of i is determined by the order n set by the condition setting unit 3121.
[1864]
Also, the starting position x of the integration range_s, And end position x_eAre the center pixel position (x, y) and pixel width of the output pixel to be generated, and the shift amount C representing the direction of data continuity._x(Y). Note that (x, y) represents a relative position from the center position of the target pixel when the real world estimating unit 102 generates the approximate function f (x).
[1865]
Further, each of the center pixel position (x, y) and the pixel width of an output pixel to be generated is determined by the spatial resolution magnification (integration range) set by the condition setting unit 3121.
[1866]
Also, the shift amount C_x(Y) and the angle θ supplied from the data continuity detecting unit 101, the following equation (181) and equation (182) hold, so that the shift amount C_x(Y) is determined by the angle θ.
[1867]
147

[1868]
[Equation 148]

[1869]
Note that, in equation (181), G_fRepresents an inclination indicating the direction of data continuity, and θ represents an angle (in one spatial direction) which is one of the data continuity information output from the data continuity detecting unit 101 (FIG. 259). An X direction and a gradient G_f(Angle formed with the direction of the stationarity of the data represented by). Dx represents a minute movement amount in the X direction, and dy represents a minute movement amount in the Y direction (space direction perpendicular to the X direction) with respect to dx.
[1870]
Therefore, the integral component calculation unit 3123 is based on the order and the spatial resolution magnification (integration range) set by the condition setting unit 3121 and the angle θ in the data continuity information output from the data continuity detection unit 101. Integral component K_i(X_s, X_e) Is calculated, and the calculation result is supplied to the output pixel value calculation unit 3124 as an integral component table.
[1871]
The output pixel value calculation unit 3124 calculates the right side of the above equation (179) using the feature value table supplied from the feature value storage unit 3122 and the integration component table supplied from the integration component calculation unit 3123. , And outputs the calculation result to the outside as an output pixel value M.
[1872]
Next, an image generation process (the process of step S103 in FIG. 40) of the image generation unit 103 (FIG. 262) using the one-dimensional reintegration method will be described with reference to the flowchart in FIG. 263.
[1873]
For example, in the process of step S102 in FIG. 40 described above, the real world estimating unit 102 uses the pixel 3101 as shown in FIG. 260 described above as a pixel of interest and approximates the function f (x ) Has already been generated.
[1874]
It is also assumed that the data continuity detecting unit 101 has already output the angle θ as shown in FIG. 260 as the data continuity information in the processing of step S101 in FIG. 40 described above.
[1875]
In this case, in step S3101 in FIG. 263, the condition setting unit 3121 sets conditions (order and integration range).
[1876]
For example, suppose that the order is set to 5 and the integration range is set to a spatial quadruple density (spatial resolution magnification at which the pixel pitch width is 1/2 times in both the upper, lower, left, and right directions).
[1877]
That is, in this case, as shown in FIG. 261, a range of -0.5 to 0.5 in the X direction and a range of -0.5 to 0.5 in the Y direction (range of the pixel 3101 in FIG. 260). This means that four pixels 3111 to 3114 are newly created.
[1878]
In step S3102, the feature amount storage unit 3122 acquires the feature amount of the approximate function f (x) supplied from the real world estimation unit 102, and generates a feature amount table. In this case, the coefficient w of the approximate function f (x), which is a fifth-order polynomial,₀Or w₅Is supplied from the real world estimating unit 102, so that (w₀, W₁, W₂, W₃, W₄, W₅) Is generated.
[1879]
In step S3103, the integral component calculation unit 3123 integrates based on the conditions (order and integration range) set by the condition setting unit 3121 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[1880]
More specifically, for example, if it is assumed that numbers (such numbers are hereinafter referred to as mode numbers) 1 to 4 are respectively assigned to the pixels 3111 to 3114 to be generated, The component calculation unit 3123 calculates the integral component K of the above equation (180)._i(X_s, X_e) To the integral component K shown on the left side of the following equation (183)._iThe calculation is performed as a function of l (where l represents a mode number) such as (l).
[1881]
K_i(L) = K_i(X_s, X_e) (183)
[1882]
Specifically, in this case, the integral component K represented by the following equation (184)_i(L) is calculated.
[1883]
149

[1884]
In equation (184), the left side is the integral component K_i(L), and the right side is the integral component K_i(X_s, X_e). That is, in this case, l is any one of 1 to 4 and i is any one of 0 to 5, so that 6 K_i(1), 6 K_i(2), 6 K_i(3), 6 K_i(4) a total of 24 K_i(L) is calculated.
[1885]
More specifically, first, the integral component calculation unit 3123 uses the angle θ supplied from the data continuity detection unit 101 to calculate the shift amount C from the above equations (181) and (182)._x(−0.25), and C_x(0.25) is calculated.
[1886]
Next, the integral component calculation unit 3123 calculates the calculated shift amount C_x(−0.25), and C_xUsing (0.25), the integral component K on the right side of each of the four equations in equation (184)_i(X_s, X_e) Are calculated for i = 0 to 5, respectively. Note that this integral component K_i(X_s, X_eIn the calculation of ()), the above equation (180) is used.
[1888]
Then, the integral component calculation unit 3123 calculates the 24 integral components K calculated according to Expression (184)._i(X_s, X_e) To the corresponding integral component K_i(L) and converted 24 integral components K_i(L) (ie, six K_i(1), 6 K_i(2), 6 K_i(3), and six K_iGenerate an integral component table including (4)).
[1888]
The order of the processing of step S3102 and the processing of step S3103 is not limited to the example of FIG. 263, and the processing of step S3103 may be performed first, or the processing of step S3102 and the processing of step S3103 may be performed simultaneously. May be done.
[1889]
Next, in step S3104, the output pixel value calculation unit 3124 calculates the feature amount table generated by the feature amount storage unit 3122 in the process of step S3102 and the integration component generated by the integration component calculation unit 3123 in the process of step S3103. Each of the output pixel values M (1) to M (4) is calculated based on the table.
[1890]
More specifically, in this case, the output pixel value calculation unit 3124 calculates the right side of the following Expressions (185) to (188) corresponding to Expression (179) described above, thereby obtaining the pixel 3111 (mode Pixel value M (1) of pixel 1), pixel value M (2) of pixel 3112 (pixel of mode number 2), pixel value M (3) of pixel 3113 (pixel of mode number 3), and pixel 3114 Each of the pixel values M (4) of (the pixel of mode number 4) is calculated.
[1891]
[Equation 150]

[1892]
[Equation 151]

[1893]
[Equation 152]

[1894]
[Equation 153]

[1895]
In step S3105, the output pixel value calculation unit 3124 determines whether the processing for all pixels has been completed.
[1896]
If it is determined in step S3105 that the processing for all pixels has not been completed, the process returns to step S3102, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S3102 to S3104 is repeated.
[1897]
Then, when the processing on all pixels is completed (when it is determined in step S3105 that the processing on all pixels is completed), the output pixel value calculation unit 3124 outputs an image in step S3106. After that, the process of generating the image ends.
[1898]
Next, referring to FIGS. 264 to 271, an output image obtained by applying the one-dimensional reintegration method to a predetermined input image and another method (conventional class classification adaptive processing) are applied. The difference between the output images obtained as described above will be described.
[1899]
FIG. 264 is a diagram illustrating an original image of the input image, and FIG. 265 illustrates image data corresponding to the original image of FIG. 264. In FIG. 265, the axis in the vertical direction in the figure indicates the pixel value, the axis in the lower right direction in the figure indicates the X direction which is one direction in the spatial direction of the image, and the axis in the upper right direction in the figure indicates the axis of the image. The Y direction, which is another direction in the spatial direction, is shown. Note that each of the axes in FIGS. 267, 269, and 271 described below corresponds to the axis in FIG. 265.
[1900]
FIG. 266 is a diagram illustrating an example of an input image. The input image illustrated in FIG. 266 is an image in which the average value of the pixel values of the pixels belonging to the block including the 2 × 2 pixels of the image illustrated in FIG. 264 is generated as the pixel value of one pixel. That is, the input image is an image obtained by applying spatial integration that imitates the integration characteristics of the sensor to the image shown in FIG. FIG. 267 shows image data corresponding to the input image of FIG. 266.
[1901]
The original image shown in FIG. 264 includes a thin line image inclined approximately 5 degrees clockwise from the vertical direction. Similarly, the input image shown in FIG. 266 includes a thin line image inclined approximately 5 degrees clockwise from the vertical direction.
[1902]
FIG. 268 is a diagram illustrating an image obtained by applying the conventional classification adaptive processing to the input image illustrated in FIG. 266 (hereinafter, the image illustrated in FIG. 268 is referred to as a conventional image). FIG. 269 shows image data corresponding to a conventional image.
[1903]
The class classification adaptation process includes a class classification process and an adaptation process. The class classification process classifies data into classes based on their properties, and performs an adaptation process for each class. In the adaptive processing, for example, an image of low image quality or standard image quality is converted into a high image quality image by mapping (mapping) using a predetermined tap coefficient.
[1904]
FIG. 270 is an image obtained by applying the one-dimensional reintegration method to which the present invention is applied to the input image shown in FIG. 266 (hereinafter, the image shown in FIG. 270 is referred to as an image of the present invention). FIG. FIG. 271 shows image data corresponding to the image of the present invention.
[1905]
When comparing the conventional image of FIG. 268 with the image of the present invention of FIG. 270, in the conventional image, the thin line image is different from the original image of FIG. In the image of the present invention, it can be seen that the thin line image is almost the same as the original image in FIG.
[1906]
The difference is that the conventional classification adaptive processing is a method of performing processing using the input image of FIG. 266 as a reference (origin), whereas the one-dimensional reintegration method of the present invention reduces the continuity of fine lines. In consideration of this, the original image in FIG. 264 is estimated (an approximate function f (x) corresponding to the original image is generated), and processing is performed using the estimated original image as a reference (origin) (re-integration is performed). This is because the pixel value is calculated.
[1907]
As described above, in the one-dimensional reintegration method, the approximation function f (x) which is a one-dimensional polynomial generated by the one-dimensional polynomial approximation method (the approximation function f (x )) As a reference (origin), an output image (pixel value) is generated by integrating the approximate function f (x) into an arbitrary range.
[1908]
Therefore, in the one-dimensional reintegration method, it is possible to output an image closer to the original image (the optical signal of the real world 1 before being incident on the sensor 2) as compared with other conventional methods.
[1909]
In other words, in the one-dimensional reintegration method, the data continuity detection unit 101 in FIG. 259 projects the optical signal of the real world 1 by a plurality of detection elements of the sensor 2 each having a spatiotemporal integration effect, The real-world estimator 102 detects the continuity of data in an input image composed of a plurality of pixels having pixel values projected by a detection element, in which a part of the continuity of the optical signal 1 is missing. According to the data continuity, the pixel value of the pixel corresponding to the position in the one-dimensional direction in the spatiotemporal direction of the input image is assumed to be the pixel value obtained by the integration effect in the one-dimensional direction. Estimating the optical signal function F by approximating the optical signal function F (specifically, the X-sectional waveform F (x)) representing the optical signal 1 with a predetermined approximation function f (x). Is assumed.
[1910]
In detail, for example, the pixel value of each pixel corresponding to the distance along the one-dimensional direction from the line corresponding to the stationarity of the detected data is the pixel value obtained by the one-dimensional direction integration effect. It is assumed that the X-section waveform F (x) is approximated by an approximation function f (x).
[1911]
Then, in the one-dimensional reintegration method, based on such a premise, for example, the image generation unit 103 in FIG. 259 (FIG. 3) uses the X-section waveform F (x) estimated by the real world estimation unit 102, That is, a pixel value M corresponding to a pixel having a desired size is generated by integrating the approximation function f (x) in a desired unit in the one-dimensional direction, and is output as an output image.
[1912]
Therefore, in the one-dimensional reintegration method, it is possible to output an image closer to the original image (the optical signal of the real world 1 before being incident on the sensor 2) as compared with other conventional methods.
[1913]
Further, in the one-dimensional reintegration method, as described above, since the integration range is arbitrary, it is possible to create a resolution (temporal resolution or spatial resolution) different from the resolution of the input image by changing the integration range. Will be possible. That is, it is possible to generate an image having a resolution of any magnification, not only an integer value, with respect to the resolution of the input image.
[1914]
Furthermore, in the one-dimensional reintegration method, it is possible to calculate an output image (pixel value) with a smaller amount of processing compared to other reintegration methods.
[1915]
Next, a two-dimensional reintegration method will be described with reference to FIGS.
[1916]
In the two-dimensional reintegration method, it is assumed that the approximate function f (x, y) has already been generated by the two-dimensional polynomial approximation method.
[1917]
That is, for example, as shown in FIG._FA waveform obtained by projecting an image function F (x, y, t) representing an optical signal of the real world 1 (FIG. 259) having spatial continuity expressed in the spatial direction (X direction and Y direction), that is, , XY plane is assumed to be approximated to an approximate function f (x, y) which is an n-th order (n is an arbitrary integer) polynomial.
[1918]
In FIG. 272, the horizontal direction indicates the X direction which is one direction in the spatial direction, the upper right direction indicates the Y direction which is the other direction in the spatial direction, and the vertical direction indicates the light level. . G_FRepresents the gradient of stationarity in the spatial direction.
[1919]
In the example of FIG. 272, since the direction of the continuity is the spatial direction (X direction and Y direction), the projection function of the optical signal to be approximated is the function F (x, y). However, as described later, the function F (x, t) or the function F (y, t) may be approximated according to the direction of the stationarity.
[1920]
In the case of the example in FIG. 272, in the two-dimensional reintegration method, the output pixel value M is calculated as in the following equation (189).
[1921]
[Equation 154]

[1922]
Note that in equation (189), y_sRepresents the integration start position in the Y direction._eRepresents the integration end position in the Y direction. Similarly, x_sRepresents the integration start position in the X direction, and x_eRepresents the integration end position in the X direction. G_eRepresents a predetermined gain.
[1923]
In the equation (189), the integration range can be set arbitrarily. In the two-dimensional reintegration method, by changing this integration range appropriately, the original pixel (the pixel of the input image from the sensor 2 (FIG. 259)) can be obtained. ) Can be created without deteriorating pixels having a spatial resolution of any magnification.
[1924]
FIG. 273 illustrates a configuration example of the image generation unit 103 using the two-dimensional reintegration method.
[1925]
As shown in FIG. 273, the image generation unit 103 of this example includes a condition setting unit 3201, a feature amount storage unit 3202, an integral component calculation unit 3203, and an output pixel value calculation unit 3204.
[1926]
The condition setting unit 3201 calculates the approximate function f (x, y) based on the real world estimation information (the feature amount of the approximate function f (x, y) in the example of FIG. 273) supplied from the real world estimation unit 102. Set the order n.
[1927]
The condition setting unit 3201 also sets an integration range when re-integrating the approximation function f (x, y) (when calculating output pixel values). Note that the integration range set by the condition setting unit 3201 does not need to be the vertical width or the horizontal width of the pixel. For example, since the approximation function f (x, y) is integrated in the spatial direction (the X direction and the Y direction), the output pixel (the image generation unit 103) with respect to the spatial size of each pixel of the input image from the sensor 2 If the relative size (magnification of the spatial resolution) of the pixel to be generated is known, a specific integration range can be determined. Therefore, the condition setting unit 3201 can also set, for example, a spatial resolution magnification as the integration range.
[1928]
The feature storage unit 3202 temporarily stores the feature of the approximate function f (x, y) sequentially supplied from the real world estimation unit 102. Then, when all the feature quantities of the approximation function f (x, y) are stored, the feature quantity storage unit 3202 generates a feature quantity table including all the feature quantities of the approximation function f (x, y), and outputs the output pixel value. It is supplied to the arithmetic unit 3204.
[1929]
Here, details of the approximate function f (x, y) will be described.
[1930]
For example, the gradient G as shown in FIG._FThe optical signal of the real world 1 (FIG. 259) having the stationarity in the spatial direction represented by the following equation (optical signal represented by the waveform F (x, y)) is detected by the sensor 2 (FIG. 259), and the input image is obtained. (Pixel value).
[1931]
Further, for example, as shown in FIG. 274, the data continuity detecting unit 101 (FIG. 3) outputs a total of 20 pixels of 4 pixels in the X direction and 5 pixels in the Y direction of the input image. The process is performed on an area 3221 of the input image composed of pixels (20 squares represented by dotted lines in the figure), and an angle θ (slope G_FSlope G corresponding to_fIt is assumed that an angle θ) between the direction of the continuity of the data expressed by and the X direction is output.
[1932]
From the viewpoint of the real world estimating unit 102, the data continuity detecting unit 101 only needs to output the angle θ at the target pixel. It is not limited to.
[1933]
In the region 3221 of the input image, the horizontal direction in the figure represents the X direction, which is one direction in the spatial direction, and the vertical direction in the figure represents the Y direction, which is the other direction in the spatial direction.
[1934]
Further, in FIG. 274, the second pixel from the left and the third pixel from the bottom are taken as the target pixel, and the (x, y) coordinates are set so that the center of the target pixel is the origin (0, 0). The system has been set. Then, a straight line of the angle θ passing through the origin (0, 0) (the gradient G representing the direction of data continuity)_fX ′ is a relative distance in the X direction (hereinafter referred to as a cross-sectional direction distance) with respect to the straight line x ′.
[1935]
Further, the graph on the right side in FIG. 274 shows the image function F (x, y, t) using the position x, y, and z in the three-dimensional space and the time t as variables at any position in the Y direction. In y, a one-dimensional waveform projected in the X direction (hereinafter, such a waveform is referred to as an X-section waveform F (x ′)) is an approximated function, and is an n-th order (n is an arbitrary integer) ) Represents an approximate function f (x ′), which is a polynomial. Of the axes in the graph on the right side, the horizontal axis in the figure represents the distance in the cross-sectional direction, and the vertical axis in the figure represents the pixel value.
[1936]
In this case, since the approximation function f (x ') shown in FIG. 274 is an n-th order polynomial, it is expressed as the following equation (190).
[1937]
[Equation 155]

[1938]
Further, since the angle θ is determined, the straight line of the angle θ passing through the origin (0, 0) is uniquely determined, and the position x of the straight line in the X direction at an arbitrary position y in the Y direction_lIs expressed as in the following equation (191). However, in equation (191), s represents cot θ.
[1939]
x_l  = S × y (191)
[1940]
That is, as shown in FIG._fThe point on the straight line corresponding to the stationarity of the data represented by the coordinate value (x_l, Y).
[1941]
From Expression (191), the cross-sectional direction distance x ′ is expressed as in the following Expression (192).
[1942]
x '= xx_l  = X-s x y (192)
[1943]
Therefore, the approximate function f (x, y) at an arbitrary position (x, y) in the area 3221 of the input image is expressed by the following equation (193) from the equations (190) and (192). .
[1944]
[Equation 156]

[1945]
Note that in equation (193), w_iRepresents the feature amount of the approximation function f (x, y).
[1946]
Returning to FIG. 273, the feature amount w included in Expression (193)_iIs supplied from the real world estimation unit 102 and stored in the feature amount storage unit 3202. The feature amount storage unit 3202 stores the feature amount w represented by Expression (193)._iIs stored, the feature amount w_iIs generated and supplied to the output pixel value calculation unit 3204.
[1947]
Further, the approximation function f (x, y) of the equation (193) is substituted for the approximation function f (x, y) of the right side of the equation (189), and the right side of the equation (189) is expanded (calculated). Then, the output pixel value M is represented by the following equation (194).
[1948]
[Equation 157]

[1949]
In equation (194), K_i(X_s, X_e, Y_s, Y_e) Represents the integral component of the i-th order term. That is, the integral component K_i(X_s, X_e, Y_s, Y_e) Is as shown in the following equation (195).
[1950]
[Equation 158]

[1951]
The integral component calculation unit 3203 calculates the integral component K_i(X_s, X_e, Y_s, Y_e) Is calculated.
[1952]
Specifically, as shown in Expressions (194) and (195), the integral component K_i(X_s, X_e, Y_s, Y_e) Is the start position x in the X direction of the integration range._s, And the end position x in the X direction_e, The start position y in the Y direction of the integration range_s, And the end position y in the Y direction_e, Variable s, gain G_e, And i, if i of the term is known.
[1953]
Of these, the gain G_eIs determined by the spatial resolution magnification (integration range) set by the condition setting unit 3201.
[1954]
The range of i is determined by the order n set by the condition setting unit 3201.
[1955]
Since the variable s is cot θ as described above, the variable s is determined by the angle θ output from the data continuity detecting unit 101.
[1956]
Also, the start position x in the X direction of the integration range_s, And the end position x in the X direction_e, And the start position y in the Y direction of the integration range_s, And the end position y in the Y direction_eAre determined by the center pixel position (x, y) and the pixel width of the output pixel to be generated. Note that (x, y) represents a relative position from the center position of the target pixel when the real world estimating unit 102 generates the approximate function f (x).
[1957]
Further, each of the center pixel position (x, y) and the pixel width of the output pixel to be generated is determined by the spatial resolution magnification (integration range) set by the condition setting unit 3201.
[1958]
Therefore, the integral component calculation unit 3203 determines the order and the spatial resolution magnification (integration range) set by the condition setting unit 3201 and the angle θ in the data continuity information output from the data continuity detection unit 101. Integral component K_i(X_s, X_e, Y_s, Y_e), And supplies the calculation result to the output pixel value calculation unit 3204 as an integral component table.
[1959]
The output pixel value calculation unit 3204 calculates the right side of the above equation (194) using the feature value table supplied from the feature value storage unit 3202 and the integration component table supplied from the integration component calculation unit 3203. , And outputs the calculation result to the outside as an output pixel value M.
[1960]
Next, an image generation process (the process of step S103 in FIG. 40) of the image generation unit 103 (FIG. 274) using the two-dimensional reintegration method will be described with reference to the flowchart in FIG. 275.
[1961]
For example, now, an optical signal represented by a function F (x, y) shown in FIG. 272 is incident on the sensor 2 and becomes an input image, and the real-world estimating unit 102 performs processing in step S102 in FIG. It is assumed that an approximate function f (x, y) that approximates the function F (x, y) has already been generated using one pixel 3231 as shown in FIG. 276 of the input image as a target pixel. .
[1962]
Note that in FIG. 276, the pixel value (input pixel value) of the pixel 3231 is P, and the shape of the pixel 3231 is a square with one side length of 1. The direction parallel to one side of the pixel 3231 in the spatial direction is defined as the X direction, and the direction perpendicular to the X direction is defined as the Y direction. Further, a coordinate system (hereinafter, referred to as a target pixel coordinate system) in a spatial direction (X direction and Y direction) where the center of the pixel 3231 is the origin is set.
[1963]
In FIG. 276, in the process of step S101 in FIG. 40 described above, the data continuity detecting unit 101 sets the gradient G_fIt is assumed that the angle θ has already been output as data continuity information corresponding to the continuity of the data represented by.
[1964]
Returning to FIG. 275, in this case, in step S3201, the condition setting unit 3201 sets conditions (order and integration range).
[1965]
For example, suppose that the order is set to 5 and the integration range is set to a spatial quadruple density (spatial resolution magnification at which the pixel pitch width is 1/2 times in both the upper, lower, left, and right directions).
[1966]
That is, in this case, as shown in FIG. 277, a range of -0.5 to 0.5 in the X direction and a range of -0.5 to 0.5 in the Y direction (range of the pixel 3231 in FIG. 276) This means that four pixels 3241 to 3244 are newly created. Note that FIG. 277 also shows the same target pixel coordinate system as that of FIG. 276.
[1967]
In FIG. 277, M (1) indicates the pixel value of the pixel 3241 to be generated, M (2) indicates the pixel value of the pixel 3242 to be generated, and M (3) indicates the pixel value of the pixel 3242. The pixel value of the pixel 3243 and M (4) represent the pixel value of the pixel 3241 to be generated thereafter.
[1968]
Returning to FIG. 275, in step S3202, the feature amount storage unit 3202 acquires the feature amount of the approximate function f (x, y) supplied from the real world estimation unit 102, and generates a feature amount table. In this case, the coefficient w of the approximate function f (x), which is a fifth-order polynomial,₀Or w₅Is supplied from the real world estimating unit 102, so that (w₀, W₁, W₂, W₃, W₄, W₅) Is generated.
[1969]
In step S3203, the integral component calculation unit 3203 performs integration based on the conditions (order and integration range) set by the condition setting unit 3201 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[1970]
Specifically, for example, assuming that pixels 1 to 4 (such numbers are hereinafter referred to as mode numbers) are assigned to the respective pixels 3241 to 3244 to be generated, The integral component calculation unit 3203 calculates the integral component K of the above equation (194)._i(X_s, X_e, Y_s, Y_e) With the integral component K shown on the left side of the following equation (196)._iThe calculation is performed as a function of l (where l represents a mode number) such as (l).
[1971]
K_i(L) = K_i(X_s, X_e, Y_s, Y_e・ ・ ・ ・ ・ ・ (196)
[1972]
Specifically, in this case, the integral component K expressed by the following equation (197)_i(L) is calculated.
[1973]
[Equation 159]

[1974]
In equation (197), the left side is the integral component K_i(L), and the right side is the integral component K_i(X_s, X_e, Y_s, Y_e). That is, in this case, l is any one of 1 to 4 and i is any one of 0 to 5, so that 6 K_i(1), 6 K_i(2), 6 K_i(3), 6 K_i(4) a total of 24 K_i(L) is calculated.
[1975]
More specifically, first, the integral component calculation unit 3203 calculates the variable s (s = cot θ) of the above-described equation (191) using the angle θ supplied from the data continuity detection unit 101.
[1976]
Next, the integral component calculation unit 3203 uses the calculated variable s to calculate the integral components K on the right side of each of the four expressions in Expression (197)._i(X_s, X_e, Y_s, Y_e) Are calculated for i = 0 to 5, respectively. Note that this integral component K_i(X_s, X_e, Y_s, Y_e) Is used in the above equation (194).
[1977]
Then, the integral component computing unit 3203 computes the 24 integral components K calculated according to Expression (197)._i(X_s, X_e, Y_s, Y_e) To the corresponding integral component K_i(L) and converted 24 integral components K_i(L) (ie, six K_i(1), 6 K_i(2), 6 K_i(3), and six K_iGenerate an integral component table including (4)).
[1978]
The order of the processing in step S3202 and the processing in step S3203 is not limited to the example in FIG. 275, and the processing in step S3203 may be performed first, or the processing in step S3202 and the processing in step S3203 may be performed simultaneously. May be done.
[1979]
Next, in step S3204, the output pixel value calculation unit 3204 includes the feature amount table generated by the feature amount storage unit 3202 in the process of step S3202 and the integration component generated by the integration component calculation unit 3203 in the process of step S3203. Each of the output pixel values M (1) to M (4) is calculated based on the table.
[1980]
Specifically, in this case, the output pixel value calculation unit 3204 calculates each of the right sides of the following Expressions (198) to (201) corresponding to Expression (194) described above, thereby obtaining FIG. , The pixel value M (1) of the pixel 3241 (the pixel of mode number 1), the pixel value M (2) of the pixel 3242 (the pixel of mode number 2), and the pixel value of the pixel 3243 (the pixel of mode number 3) M (3) and the pixel value M (4) of the pixel 3244 (pixel of mode number 4) are calculated.
[1981]
[Equation 160]

[1982]
[Equation 161]

[1983]
[Equation 162]

[1984]
[Equation 163]

[1985]
However, in this case, n in Expressions (198) to (201) is all 5.
[1986]
In step S3205, the output pixel value calculation unit 3204 determines whether the processing for all pixels has been completed.
[1987]
If it is determined in step S3205 that the processing for all pixels has not been completed, the process returns to step S3202, and the subsequent processing is repeated. That is, the pixels that are not yet set as the target pixel are sequentially set as the target pixel, and the processing of steps S3202 to S3204 is repeated.
[1988]
Then, when the processing on all the pixels is completed (when it is determined in step S3205 that the processing on all the pixels is completed), the output pixel value calculation unit 3204 outputs an image in step S3206. After that, the process of generating the image ends.
[1989]
As described above, by using the two-dimensional reintegration method, four pixels having higher spatial resolution than the input pixel 3231, that is, four pixels, in the pixel 3231 (FIG. 276) of the input image from the sensor 2 (FIG. 259), that is, , 3241 to 3244 (FIG. 277). Further, although not shown, as described above, the image generation unit 103 changes the integration range as appropriate, in addition to the pixels 3241 to 3244, so that the pixel having an arbitrary spatial resolution with respect to the input pixel 3231 can be obtained. Can be created without deterioration.
[1990]
As an explanation of the two-dimensional reintegration method, an example in which the approximation function f (x, y) in the spatial direction (X direction and Y direction) is two-dimensionally integrated has been used. (X direction and t direction, or Y direction and t direction).
[1991]
That is, in the above-described example, the optical signal of the real world 1 (FIG._FSince the above is an example of the case where there is a continuity in the spatial direction represented by the following equation, an equation including a two-dimensional integral in the spatial direction (X direction and Y direction) as shown in the above equation (189) is used. Was done. However, the concept of two-dimensional integration is not limited to the spatial direction, but can be applied to a spatio-temporal direction (X direction and t direction or Y direction and t direction).
[1992]
In other words, in the two-dimensional polynomial approximation method that is a premise of the two-dimensional reintegration method, the image function F (x, y, t) representing the optical signal is not only in the spatial direction continuity but also in the spatiotemporal direction (however, , X direction and t direction, or Y direction and t direction), it is possible to approximate by a two-dimensional polynomial.
[1993]
Specifically, for example, when there is an object moving at a constant speed horizontally in the X direction, the direction of the movement of the object is represented by a slope V in the Xt plane as shown in FIG._FIs represented as In other words, the slope V_FRepresents the direction of continuity in the spatiotemporal direction on the Xt plane. Therefore, the data continuity detecting unit 101 (FIG. 259) calculates the above-described angle θ (the gradient G representing the continuity in the spatial direction on the XY plane)._F, The inclination V representing the stationarity in the spatiotemporal direction on the Xt plane._FAs the data continuity information corresponding to, the motion θ as shown in FIG._FSlope V corresponding to_fIt is possible to output a motion θ) which is an angle between the direction of the continuity of the data represented by the following formula and the spatial X direction.
[1994]
Also, the real world estimating unit 102 (FIG. 259) using the two-dimensional polynomial approximation method can use an approximation function f (x, It is possible to calculate the coefficient (feature amount) wi of t). However, in this case, the equation used is not the above equation (193) but the following equation (202).
[1995]
[Equation 164]

[1996]
In equation (202), s is cot θ (where θ is a motion).
[1997]
Therefore, the image generation unit 103 (FIG. 259) using the two-dimensional reintegration method performs the operation by substituting f (x, t) of the above-described equation (202) into the right side of the following equation (203). This makes it possible to calculate the pixel value M.
[1998]
[Equation 165]

[1999]
Note that, in equation (203), t_sRepresents the integration start position in the t direction, and t_eRepresents the integration end position in the t direction. Similarly, x_sRepresents the integration start position in the X direction, and x_eRepresents the integration end position in the X direction. G_eRepresents a predetermined gain.
[2000]
Further, instead of the spatial direction X, the approximate function f (y, t) focused on the spatial direction Y can be handled in exactly the same manner as the above-described approximate function f (x, t).
[2001]
By the way, in equation (199), it is possible to obtain data that is not integrated in the time direction, that is, data without motion blur, by assuming that the t direction is assumed to be constant, that is, by ignoring the integration in the t direction. become. In other words, this method may be regarded as one of the two-dimensional reintegration methods in that reintegration is performed with a predetermined one of the two-dimensional polynomials being constant. May be regarded as one of the one-dimensional re-integration methods in that the re-integration is performed.
[2002]
In addition, in equation (203), the integration range can be set arbitrarily. In the two-dimensional reintegration method, by appropriately changing the integration range, the original pixel (input image from sensor 2 (FIG. 259)) can be obtained. ), It is possible to create a pixel having a resolution of an arbitrary magnification without deteriorating.
[2003]
That is, in the two-dimensional reintegration method, the time resolution can be created by appropriately changing the integration range in the time direction t. Also, by appropriately changing the integration range in the spatial direction X (or the spatial direction Y), it is possible to create a spatial resolution. Further, by appropriately changing each of the integration ranges in the time direction t and the space direction X, it is possible to create both the time resolution and the space resolution.
[2004]
As described above, creation of either the temporal resolution or the spatial resolution can be performed by the one-dimensional reintegration technique, but creation of both resolutions is impossible in principle by the one-dimensional reintegration technique. It is only possible to perform reintegration in two or more dimensions. That is, it is possible to create both resolutions only by the two-dimensional reintegration method and the three-dimensional reintegration method described later.
[2005]
In addition, since the two-dimensional reintegration method considers not a one-dimensional but a two-dimensional integration effect, it is also possible to generate an image closer to the optical signal of the real world 1 (FIG. 259).
[2006]
In other words, in the two-dimensional re-integration method, for example, the data continuity detecting unit 101 in FIG. Are projected, and the continuity of the optical signal of the real world 1 (for example, the slope G in FIG. 272)_FThe continuity of data (for example, the slope G in FIG. 274) in an input image composed of a plurality of pixels having pixel values projected by the detection element and lacking part of the continuity represented by_f(Stationarity of data represented by).
[2007]
Then, for example, the real-world estimating unit 102 in FIG. 259 (FIG. 3) responds to the continuity of the data detected by the data continuity detecting unit 101 in at least a two-dimensional direction ( For example, assuming that the pixel values of the pixels corresponding to the positions in the spatial direction X and the spatial direction Y) in FIG. 272 are the pixel values obtained by the integration effect in at least the two-dimensional direction, and represent the optical signal of the real world 1. It is assumed that the optical signal function F is estimated by approximating the optical signal function F (specifically, the function F (x, y) in FIG. 272) with an approximation function f (x, y) which is a polynomial. It has been.
[2008]
More specifically, for example, the real-world estimating unit 102 calculates a line corresponding to the continuity of the data detected by the data continuity detecting unit 101 (for example, the slope G in FIG. 274)._fThe pixel value of a pixel corresponding to a distance (for example, a cross-sectional direction distance x ′ in FIG. 274) along at least a two-dimensional direction from a line (arrow) corresponding to is obtained by an integration effect in at least a two-dimensional direction. It is assumed that the first function representing a light signal in the real world is approximated by a second function which is a polynomial, assuming that the pixel value is a pixel value, and the first function is estimated.
[2009]
In the two-dimensional reintegration method, based on such a premise, for example, the image generation unit 103 (the configuration is FIG. 273) in FIG. 259 (FIG. 3) performs the function F ( x, y), that is, the approximation function f (x, y) is integrated in at least a desired unit in the two-dimensional direction (for example, by calculating the right side of the above-described equation (186)) to obtain a desired size. A pixel value corresponding to a pixel (for example, an output image (pixel value M) in FIG. 259. For example, a pixel 3241 to a pixel 3244 in FIG. 277) is generated.
[2010]
Therefore, in the two-dimensional reintegration method, it is possible to create not only one of the temporal resolution and the spatial resolution but also create both resolutions. Further, in the two-dimensional reintegration method, it is possible to generate an image closer to the optical signal of the real world 1 (FIG. 259) as compared with the one-dimensional reintegration method.
[2011]
Next, a three-dimensional reintegration method will be described with reference to FIGS. 279 and 280.
[2012]
In the three-dimensional reintegration method, it is assumed that the approximate function f (x, y, t) has already been generated by the three-dimensional function approximation method.
[2013]
In this case, in the three-dimensional reintegration method, the output pixel value M is calculated as in the following expression (204).
[2014]
166

[2015]
Note that, in equation (204), t_sRepresents the integration start position in the t direction, and t_eRepresents the integration end position in the t direction. Similarly, y_sRepresents the integration start position in the Y direction._eRepresents the integration end position in the Y direction. Also, x_sRepresents the integration start position in the X direction, and x_eRepresents the integration end position in the X direction. Furthermore, G_eRepresents a predetermined gain.
[2016]
In the expression (204), the integration range can be set arbitrarily. In the three-dimensional reintegration method, the integration range is appropriately changed to obtain the original pixel (the pixel of the input image from the sensor 2 (FIG. 259)). ) Can be created without deteriorating pixels having an arbitrary spatio-temporal resolution. That is, if the integration range in the spatial direction is reduced, the pixel pitch can be made finer. Conversely, if the integration range in the spatial direction is increased, the pixel pitch can be freely increased. If the integration range in the time direction is reduced, a time resolution can be created based on the real world waveform.
[2017]
FIG. 279 illustrates a configuration example of the image generation unit 103 using the three-dimensional reintegration method.
[2018]
As shown in FIG. 279, the image generation unit 103 of this example includes a condition setting unit 3301, a feature amount storage unit 3302, an integral component operation unit 3303, and an output pixel value operation unit 3304.
[2019]
The condition setting unit 3301 determines the approximate function f (x, y) based on the real world estimation information (in the example of FIG. 279, the feature amount of the approximate function f (x, y, t)) supplied from the real world estimation unit 102. , T).
[2020]
The condition setting unit 3301 also sets an integration range when re-integrating the approximate function f (x, y, t) (when calculating an output pixel value). Note that the integration range set by the condition setting unit 3301 does not need to be the pixel width (vertical width and horizontal width) or the shutter time itself. For example, the relative size (spatial resolution magnification) of an output pixel (a pixel to be generated by the image generation unit 103) with respect to the spatial size of each pixel of the input image from the sensor 2 (FIG. 259) is determined. Thus, it is possible to determine a specific integration range in the spatial direction. Similarly, if the relative time (time resolution magnification) of the output pixel value with respect to the shutter time of the sensor 2 (FIG. 259) is known, a specific time-direction integration range can be determined. Therefore, the condition setting unit 3301 can also set, for example, a spatial resolution magnification or a time resolution magnification as the integration range.
[2021]
The feature amount storage unit 3302 temporarily stores feature amounts of the approximation function f (x, y, t) sequentially supplied from the real world estimation unit 102. Then, when all the feature quantities of the approximate function f (x, y, t) are stored, the feature quantity storage unit 3302 generates a feature quantity table including all the feature quantities of the approximate function f (x, y, t). , Output pixel value calculation unit 3304.
[2022]
By the way, when the right side of the approximation function f (x, y) on the right side of the above equation (204) is expanded (calculated), the output pixel value M is expressed as the following equation (205).
[2023]
167

[2024]
In equation (205), K_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Represents the integral component of the i-th order term. Where x_sIs the start position of the integration range in the X direction, x_eIs the end position of the integration range in the X direction, and y is_sIs the start position of the integration range in the Y direction, and y is_eRepresents the end position of the integration range in the Y direction, t_sIs the start position of the integration range in the t direction, and t is_eRepresents the end position of the integration range in the t direction.
[2025]
The integral component calculation unit 3303 calculates the integral component K_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Is calculated.
[2026]
Specifically, the integral component calculation unit 3303 includes the order set by the condition setting unit 3301, the integration range (spatial resolution magnification and time resolution magnification), and the data continuity information output from the data continuity detection unit 101. Component K based on the angle θ or the motion θ_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Is calculated, and the calculation result is supplied to the output pixel value calculation unit 3304 as an integral component table.
[2027]
The output pixel value calculation unit 3304 calculates the right side of the above equation (205) using the feature value table supplied from the feature value storage unit 3302 and the integration component table supplied from the integration component calculation unit 3303. , And outputs the calculation result to the outside as an output pixel value M.
[2028]
Next, with reference to the flowchart in FIG. 280, the image generation process (the process in step S103 in FIG. 40) of the image generation unit 103 (FIG. 279) using the three-dimensional reintegration method will be described.
[2029]
For example, in the process of step S102 in FIG. 40 described above, the real-world estimating unit 102 (FIG. 259) sets an optical signal of the real world 1 (FIG. 259) with a predetermined pixel in the input image as a target pixel. It is assumed that an approximation function f (x, y, t) for approximating has already been generated.
[2030]
In the process of step S101 in FIG. 40 described above, the data continuity detecting unit 101 (FIG. 259) uses the same pixel as that of the real world estimating unit 102 as a pixel of interest, and sets the angle θ or the motion θ as data continuity information. Suppose you have already output.
[2031]
In this case, in step S3301 of FIG. 280, the condition setting unit 3301 sets conditions (order and integration range).
[2032]
In step S3302, the feature amount storage unit 3302 stores the feature amount w of the approximation function f (x, y, t) supplied from the real world estimation unit 102._iAnd a feature amount table is generated.
[2033]
In step S3303, the integral component calculation unit 3303 applies the conditions (order and integration range) set by the condition setting unit 3301 and the data continuity information (angle θ or motion θ) supplied from the data continuity detection unit 101. An integral component is calculated based on the integral component table based on the calculated integral component.
[2034]
The order of the processing in step S3302 and the processing in step S3303 is not limited to the example of FIG. 280, and the processing in step S3303 may be performed first, or the processing in step S3302 and the processing in step S3303 may be performed simultaneously. May be done.
[2035]
Next, in step S3304, the output pixel value calculation unit 3304 calculates the feature amount table generated by the feature amount storage unit 3302 in the process of step S3302 and the integration component generated by the integration component calculation unit 3303 in the process of step S3303. Each output pixel value is calculated based on the table.
[2036]
In step S3305, the output pixel value calculation unit 3304 determines whether the processing for all pixels has been completed.
[2037]
If it is determined in step S3305 that the processing for all pixels has not been completed, the process returns to step S3302, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S3302 to S3304 is repeated.
[2038]
Then, when the processing on all pixels is completed (when it is determined in step S3305 that the processing on all pixels is completed), the output pixel value calculation unit 3304 outputs an image in step S3306. After that, the process of generating the image ends.
[2039]
As described above, in the above-described equation (204), the integration range can be set arbitrarily. Therefore, in the three-dimensional reintegration method, by changing this integration range appropriately, the original pixel (sensor 2 (FIG. 259) ) Can be created without deteriorating pixels of any resolution with respect to the pixels of the input image from).
[2040]
That is, in the three-dimensional reintegration method, the time resolution can be created by appropriately changing the integration range in the time direction. By appropriately changing the integration range in the spatial direction, it is possible to create a spatial resolution. Further, by appropriately changing each of the integration ranges in the temporal direction and the spatial direction, it is possible to create both the temporal resolution and the spatial resolution.
[2041]
Specifically, in the three-dimensional reintegration method, since there is no approximation when dropping to two dimensions or one dimension, highly accurate processing can be performed. In addition, it is possible to process the movement in the oblique direction without being reduced two-dimensionally. Furthermore, since it is not reduced to two dimensions, machining in each dimension becomes possible. For example, in the two-dimensional reintegration method, when the space is degenerated in the spatial direction (X direction and Y direction), processing in the t direction, which is the time direction, cannot be performed. On the other hand, in the three-dimensional reintegration method, any processing in the spatiotemporal direction can be performed.
[2042]
As described above, creation of either the temporal resolution or the spatial resolution can be performed by the one-dimensional reintegration technique, but creation of both resolutions is impossible in principle by the one-dimensional reintegration technique. It is only possible to perform reintegration in two or more dimensions. That is, it is possible to create both resolutions only by the two-dimensional reintegration method and the three-dimensional reintegration method described above.
[2043]
In addition, since the three-dimensional reintegration method considers a three-dimensional integration effect instead of one-dimensional or two-dimensional, an image closer to the optical signal of the real world 1 (FIG. 259) can be generated. .
[2044]
In other words, in the three-dimensional reintegration-similar method, for example, the real-world estimating unit 102 in FIG. 259 (FIG. 3) uses the plurality of detection elements of the sensor 2 each having a spatio-temporal integration effect to generate an optical signal of the real world 1. Of an input image composed of a plurality of pixels having pixel values projected by the detection element and lacking a part of the stationarity of the optical signal of the real world 1 in the real world 1, at least one-dimensional position in the spatio-temporal direction By assuming that the pixel value of the pixel corresponding to the pixel value is a pixel value obtained by at least the one-dimensional integration effect, the light signal function F representing the optical signal in the real world is approximated by a predetermined approximation function f. It is assumed that the signal function F is estimated.
[2045]
Further, for example, when the data continuity detecting unit 101 of FIG. 259 (FIG. 3) detects the continuity of the data of the input image, the real world estimating unit 102 outputs the data of the data detected by the data continuity detecting unit 101. In response to the stationarity, it is assumed that the pixel value of a pixel corresponding to at least a one-dimensional position in the spatio-temporal direction of the image data is a pixel value obtained by an integration effect in at least one-dimensional direction. It is assumed that the optical signal function F is estimated by approximating F with the approximation function f.
[2046]
Specifically, for example, the real-world estimating unit 102 determines that the pixel value of the pixel corresponding to the distance along the at least one-dimensional direction from the line corresponding to the continuity of the data detected by the continuity detecting unit 101 is at least It is assumed that the optical signal function is estimated by approximating the optical signal function F with an approximation function, assuming that the pixel value is obtained by the one-dimensional integration effect.
[2047]
In the three-dimensional reintegration method, for example, the image generation unit 103 (the configuration is FIG. 279) in FIG. 259 (FIG. 3) converts the optical signal function F estimated by the real world estimation unit 102, that is, the approximate function f. Then, a pixel value corresponding to a pixel of a desired size is generated by integrating at least a desired unit in the one-dimensional direction (for example, calculating the right side of the above-described equation (201)).
[2048]
Therefore, the three-dimensional reintegration method can generate an image closer to the optical signal of the real world 1 (FIG. 259) than the conventional image generation method or the one-dimensional or two-dimensional reintegration method described above. Will be possible.
[2049]
Next, referring to FIG. 281, the real world estimation information input from the real world estimation unit 102 is obtained by calculating the differential value of each pixel on the approximate function f (x) that approximately represents the real world, or When the information is the inclination information, the image generation unit 103 that newly generates a pixel based on the differential value or the inclination of each pixel and outputs an image will be described.
[2050]
Note that the differential value here is obtained by obtaining an approximate function f (x) that approximately represents the real world, and then obtaining a first-order differential expression f (x) ′ (approximate function) obtained from the approximate function f (x). Is in the frame direction, a value obtained at a predetermined position using a first-order differential equation f (t) ′) obtained from the approximate function f (t). Further, the slope referred to here is a value obtained by calculating the approximate function f (x) (or f (t)) without using the approximate function f (x) (or f (t)). This indicates a tilt at a predetermined position. However, since the differential value is a slope at a predetermined position of the approximate function f (x), each of the differential values is a slope at a predetermined position on the approximate function f (x) that approximately describes the real world. Therefore, regarding the differential value and the slope as the real world estimation information input from the real world estimation unit 102, the approximation function f (x) is unified in the description of the image generation unit 103 in FIG. 281 and FIG. (Or a slope on f (t)).
[2051]
The inclination obtaining unit 3401 obtains information on the inclination of each pixel, the pixel value of the corresponding pixel, and the steady-state value of the approximate function f (x) input from the real world estimating unit 102, which approximates the real world. The inclination in the gender direction is obtained and output to the extrapolation interpolation unit 3402.
[2052]
The extrapolation interpolation unit 3402 performs extrapolation based on the inclination of each pixel on the approximate function f (x) input from the inclination acquisition unit 3401, the pixel value of the corresponding pixel, and the inclination in the direction of stationarity. By interpolation, a pixel having a higher density than the input image at a predetermined magnification is generated and output as an output image.
[2053]
Next, an image generation process performed by the image generation unit 103 in FIG. 281 will be described with reference to the flowchart in FIG.
[2054]
In step S3401, the inclination acquiring unit 3401 receives the inclination (differential value), position, pixel value, and continuity direction of each pixel on the approximate function f (x) input from the real world estimation unit 102. The information of the inclination is obtained as real world estimation information.
[2055]
At this time, for example, when generating an image composed of pixels having a density twice (a total of four times) each in the spatial direction X and the spatial direction Y with respect to the input image, the real world estimating unit 102 generates the image shown in FIG. With respect to the pixel Pin represented by the following expression, the gradient f (Xin) ′ (the gradient at the center position of the pixel Pin) and f (Xin−Cx (−0.25)) ′ (double density in the Y direction from the pixel Pin) , F (Xin−Cx (0.25)) ′ (of pixel Pb when a pixel of double density is generated from pixel Pin in the Y direction) Tilt at the center position), the position of the pixel Pin, the pixel value, and the gradient G in the direction of continuity_fIs input.
[2056]
In step S3402, the inclination acquisition unit 3401 selects information of the corresponding target pixel from the input real world estimation information, and outputs the selected information to the extrapolation interpolation unit 3402.
[2057]
In step S3403, the extrapolation interpolation unit 3402 calculates the input pixel position information and the gradient G in the direction of continuity._fThe shift amount is obtained from.
[2058]
Here, as for the shift amount Cx (ty), the gradient of the stationarity is G_fWhere Cx (ty) = ty / G_fIs defined by The shift amount Cx (ty) indicates a shift width of the approximate function f (x) defined on the position in the spatial direction Y = 0 with respect to the spatial direction X at the position in the spatial direction Y = ty. Therefore, for example, when the approximation function is defined as f (x) on the position in the space direction Y = 0, the approximation function f (x) is Cx ( ty), the approximate function is f (x−Cx (ty)) (= f (x−ty / G_f)).
[2059]
For example, in the case of a pixel Pin as shown in FIG. 283, one pixel in the figure (the size of one pixel in the figure is 1 in both the horizontal direction and the vertical direction) is 2 in the vertical direction. When dividing (when generating double-density pixels in the vertical direction), the extrapolation interpolation unit 3402 obtains the shift amounts of the pixels Pa and Pb to be obtained. That is, in this case, since the pixels Pa and Pb are shifted by −0.25 and 0.25, respectively, in the spatial direction Y as viewed from the pixel Pin, the shift amounts of the pixels Pa and Pb are respectively Cx ( -0.25) and Cx (0.25). Note that in FIG. 283, the pixel Pin is a square with (Xin, Yin) being substantially the center of gravity, and the pixels Pa and Pb are (Xin, Yin + 0.25) and (Xin, Yin−0.25). Each rectangle is a rectangle that is long in the horizontal direction in the figure and is set to be substantially the center of gravity.
[2060]
In step S3404, the extrapolation interpolation unit 3402 calculates the shift amount Cx obtained in the process of step S3403, and the slope f (x) of the pixel Pin obtained as the real world estimation information on the approximate function f (x) on the target pixel. Xin) ′ and the pixel value of the pixel Pin, and the pixel values of the pixels Pa and Pb are obtained using extrapolation by the following equations (206) and (207).
[2061]
Pa = Pin−f (Xin) ′ × Cx (−0.25) (206)
[2062]
Pb = Pin−f (Xin) ′ × Cx (0.25) (207)
[2063]
In the above equations (206) and (207), Pa, Pb, and Pin indicate the pixel values of the pixels Pa, Pb, and Pin.
[2064]
That is, as shown in FIG. 284, the amount of change in the pixel value is set by multiplying the inclination f (Xin) ′ of the target pixel Pin by the moving distance in the X direction, that is, the shift amount, and the pixel value of the target pixel Pin is set. Is set as a reference, the pixel value of a newly generated pixel is set.
[2065]
In step S3405, the extrapolation interpolation unit 3402 determines whether a pixel with a predetermined resolution has been obtained. For example, if the predetermined resolution is a pixel having twice the density in the vertical direction with respect to the pixels of the input image, the extrapolation interpolation unit 3402 determines that an image with the predetermined resolution has been obtained by the above processing. That is to say, for example, if a pixel having a density four times as large as the pixel of the input image (twice in the horizontal direction × twice in the vertical direction) is desired, the above processing is performed at a predetermined resolution. Is not obtained. Therefore, if an image having a four-fold density is the image that is desired, the extrapolation interpolation unit 3402 determines that pixels with a predetermined resolution have not been obtained, and the process returns to step S3403.
[2066]
In step S3403, the extrapolation interpolation unit 3402 attempts to generate the pixels P01, P02, P03, and P04 to be obtained (pixels having a density four times the target pixel Pin) in the second processing. The shift amount from the center position of the pixel is obtained. That is, in this case, since the pixels P01 and P02 are obtained from the pixel Pa, the shift amounts from the pixel Pa are obtained. Here, since the pixels P01 and P02 are shifted by −0.25 and 0.25, respectively, in the spatial direction X when viewed from the pixel Pa, the values themselves become the shift amounts (they are shifted in the spatial direction X). Because). Similarly, since the pixels P03 and P04 are shifted by -0.25 and 0.25, respectively, in the spatial direction X when viewed from the pixel Pb, the value itself is the shift amount. In FIG. 283, the pixels P01, P02, P03, and P04 are squares with the positions of the four crosses in the figure as the centers of gravity, and the length of each side is 1 for each pixel Pin. Therefore, each of the pixels P01, P02, P03, and P04 is approximately 0.5.
[2067]
In step S3404, the extrapolation interpolation unit 3402 calculates the amount of shift Cx obtained in the process of step S3403, and the inclination of the pixels Pa and Pb obtained as the real world estimation information at a predetermined position on the approximate function f (x). Extrapolation is performed based on f (Xin-Cx (−0.25)) ′, f (Xin−Cx (0.25)) ′ and the pixel values of pixels Pa and Pb obtained by the above-described processing. Then, the pixel values of the pixels P01, P02, P03, and P04 are obtained by the following equations (208) to (211), and stored in a memory (not shown).
[2068]
P01 = Pa + f (Xin−Cx (−0.25)) ′ × (−0.25) (208)
[2069]
P02 = Pa + f (Xin−Cx (−0.25)) ′ × (0.25) (209)
[2070]
P03 = Pb + f (Xin−Cx (0.25)) ′ × (−0.25) (210)
[2071]
P04 = Pb + f (Xin−Cx (0.25)) ′ × (0.25) (211)
[2072]
In the above formulas (208) to (211), P01 to P04 indicate pixel values of the pixels P01 to P04.
[2073]
In step S3405, the extrapolation / interpolation unit 3402 determines whether or not a pixel with a predetermined resolution has been obtained. In this case, a pixel having a density four times as desired has been obtained. The extrapolation unit 3402 determines that a pixel with a predetermined resolution has been obtained, and the process proceeds to step S3406.
[2074]
In step S3406, the inclination acquisition unit 3401 determines whether or not processing has been performed on all pixels. If it is determined that processing has not been performed on all pixels, the processing returns to step S3402, and Subsequent processing is repeated.
[2075]
In step S3406, when the inclination acquisition unit 3401 determines that the processing has been performed for all the pixels, in step S3407, the extrapolation interpolation unit 3402 determines whether the image including the generated pixels is stored in a memory (not illustrated). Is output.
[2076]
That is, as shown in FIG. 284, using a slope f (x) ′ on the approximation function f (x), a new pixel is determined according to the distance in the spatial direction X from the pixel of interest whose slope is obtained. Are obtained by extrapolation.
[2077]
In the above example, the inclination (differential value) when calculating a quadruple-density pixel has been described as an example. However, if information on the inclination at more positions can be obtained as real world estimation information. It is also possible to calculate pixels having a higher density in the spatial direction by the same method as described above.
[2078]
In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximation function f (x) is a continuous function, a necessary gradient (differential value) is required for pixel values other than double-density. Is obtained, it becomes possible to generate an image composed of even higher density pixels.
[2079]
According to the above, based on the information of the gradient (or differential value) f (x) ′ of the approximation function f (x) that approximates the real world of each pixel of the input image in the spatial direction, supplied as the real world estimation information. Thus, it is possible to generate pixels of an image having a higher resolution than the input image.
[2080]
Next, referring to FIG. 285, the real-world estimation information input from the real-world estimation unit 102 determines that each pixel on the function f (t) in the frame direction (time direction) that approximately represents the real world. In the case of the information on the differential value or the gradient of the image, the image generation unit 103 that newly generates a pixel based on the differential value or the gradient of each pixel and outputs an image will be described.
[2081]
The inclination acquiring unit 3411 calculates the inclination information at the position of each pixel, the pixel value of the corresponding pixel, and the information on the approximate function f (t) approximately representing the real world input from the real world estimating unit 102. , And outputs the motion to the extrapolation interpolation unit 3412.
[2082]
The extrapolation interpolation unit 3412 performs extrapolation based on the inclination of each pixel on the approximation function f (t) input from the inclination acquisition unit 3411, the pixel value of the corresponding pixel, and the stationary motion. , A pixel having a higher density than the input image at a predetermined magnification is generated and output as an output image.
[2083]
Next, an image generation process performed by the image generation unit 103 in FIG. 285 will be described with reference to the flowchart in FIG. 286.
[2084]
In step S3421, the inclination acquisition unit 3411 inputs the inclination (differential value), position, pixel value, and stationary motion of each pixel on the approximate function f (t) input from the real world estimation unit 102. Obtain information as real world estimation information.
[2085]
At this time, for example, when generating an image composed of pixels having a density twice (in total, four times) each in the spatial direction and the frame direction with respect to the input image, the real world estimating unit 102 transmits the image shown in FIG. F (Tin) ′ (inclination at the center position of the pixel Pin), f (Tin−Ct (−0.25)) ′ (pixel having a double density in the Y direction from the pixel Pin) Is generated, f (Tin−Ct (0.25)) ′ ′ (the center position of the pixel Pbt when a double density pixel is generated in the Y direction from the pixel Pin) , The position of the pixel Pin, the pixel value, and information on the stationary motion (motion vector).
[2086]
In step S3422, the inclination acquisition unit 3411 selects information of the corresponding target pixel from the input real world estimation information, and outputs the selected information to the extrapolation interpolation unit 3412.
[2087]
In step S3423, the extrapolation interpolation unit 3412 obtains the shift amount from the input position information of the pixel and the inclination of the continuity direction.
[2088]
Here, the shift amount Ct (ty) is expressed as follows:_fWhere Ct (ty) = ty / V_fIs defined by The shift amount Ct (ty) indicates a shift width of the approximate function f (t) defined on the position in the spatial direction Y = 0 with respect to the frame direction T at the position in the spatial direction Y = ty. Therefore, for example, when an approximation function is defined as f (t) on the position in the spatial direction Y = 0, the approximation function f (t) is Ct ( ty), the approximate function is f (t−Ct (ty)) (= f (t−ty / V_f)).
[2089]
For example, in the case of a pixel Pin as shown in FIG. 287, one pixel in the figure (the size of one pixel in the figure is 1 in both the frame direction and the spatial direction) is 2 in the spatial direction. When dividing (when generating double-density pixels in the spatial direction), the extrapolation interpolation unit 3412 calculates the shift amounts of the pixels Pat and Pbt to be calculated. That is, in this case, since the pixels Pat and Pbt are shifted by −0.25 and 0.25, respectively, in the spatial direction Y as viewed from the pixel Pin, the shift amounts of the pixels Pat and Pbt are respectively Ct ( −0.25) and Ct (0.25). Note that in FIG. 287, the pixel Pin is a square with (Xin, Yin) being substantially the center of gravity, and the pixels Pat and Pbt are (Xin, Yin + 0.25) and (Xin, Yin−0.25). Each rectangle is a rectangle that is long in the horizontal direction in the figure and is set to be substantially the center of gravity.
[2090]
In step S3424, the extrapolation interpolation unit 3412 calculates the shift amount calculated in step S3423 and the slope f (Tin) of the pixel Pin obtained as the real world estimation information on the approximate function f (t) on the target pixel. ) ′ And the pixel value of the pixel Pin, the pixel values of the pixels Pat and Pbt are obtained by the following equations (212) and (213) by extrapolation.
[2091]
Pat = Pin−f (Tin) ′ × Ct (−0.25) (212)
[2092]
Pbt = Pin−f (Xin) ′ × Ct (0.25) (213)
[2093]
In the above equations (212) and (213), Pat, Pbt, and Pin indicate the pixel values of the pixels Pat, Pbt, and Pin.
[2094]
That is, as shown in FIG. 288, the amount of change in the pixel value is set by multiplying the inclination f (Xin) ′ of the target pixel Pin by the moving distance in the X direction, that is, the shift amount, and the pixel value of the target pixel Pin is set. Is set as a reference, the pixel value of a newly generated pixel is set.
[2095]
In step S3425, the extrapolation interpolation unit 3412 determines whether a pixel with a predetermined resolution has been obtained. For example, if the predetermined resolution is a pixel having twice the density in the spatial direction with respect to the pixels of the input image, the extrapolation interpolation unit 3402 determines that an image with the predetermined resolution has been obtained by the above processing. In other words, for example, if a pixel having a density four times as large as the pixel of the input image (twice in the frame direction × twice in the spatial direction) is desired, the above processing is performed at a predetermined resolution. Is not obtained. Therefore, if an image having a four-fold density is an image that is desired, the extrapolation interpolation unit 3412 determines that pixels with a predetermined resolution have not been obtained, and the process returns to step S3423.
[2096]
In step S3423, the extrapolation interpolation unit 3412 attempts to generate the pixels P01t, P02t, P03t, and P04t (pixels having a density four times that of the target pixel Pin) to be obtained in the second processing. The shift amount from the center position of the pixel is obtained. That is, in this case, since the pixels P01t and P02t are obtained from the pixel Pat, the shift amounts from the pixel Pat are respectively obtained. Here, since the pixels P01t and 02t are shifted by −0.25 and 0.25, respectively, in the frame direction T as viewed from the pixel Pat, the value itself becomes the shift amount (shifted in the spatial direction X). Because). Similarly, since the pixels P03t and P04t are shifted by −0.25 and 0.25 in the frame direction T as viewed from the pixel Pbt, the values themselves are the shift amounts. Note that in FIG. 287, the pixels P01t, P02t, P03t, and P04t are squares with the positions of the four crosses in the figure as the centers of gravity, and the length of each side is 1 for the pixel Pin. Therefore, each of the pixels P01t, P02t, P03t, and P04t is approximately 0.5.
[2097]
In step S3424, the extrapolation interpolation unit 3412 calculates the shift amount Ct obtained in the processing in step S3423 and the inclination of the pixels Pat and Pbt obtained as the real world estimation information at predetermined positions on the approximate function f (t). Extrapolation is performed based on f (Tin−Ct (−0.25)) ′, f (Tin−Ct (0.25)) ′ and the pixel values of the pixels Pat and Pbt obtained by the above processing. Thus, the pixel values of the pixels P01t, P02t, P03t, and P04t are obtained by the following equations (214) to (217), and stored in a memory (not shown).
[2098]
P01t = Pat + f (Tin−Ct (−0.25)) ′ × (−0.25) (214)
[2099]
P02t = Pat + f (Tin−Ct (−0.25)) ′ × (0.25) (215)
[2100]
P03t = Pbt + f (Tin−Ct (0.25)) ′ × (−0.25) (216)
[2101]
P04t = Pbt + f (Tin−Ct (0.25)) ′ × (0.25) (217)
[2102]
In the above equations (208) to (211), P01t to P04t indicate the respective pixel values of the pixels P01t to P04t.
[2103]
In step S3425, the extrapolation / interpolation unit 3412 determines whether a pixel with a predetermined resolution has been obtained. In this case, since a desired four-fold density pixel has been obtained, The interpolation unit 3412 determines that a pixel with a predetermined resolution has been obtained, and the process proceeds to step S3426.
[2104]
In step S3426, the inclination acquisition unit 3411 determines whether or not processing has been performed on all pixels. If it is determined that processing has not been performed on all pixels, the processing returns to step S3422. Subsequent processing is repeated.
[2105]
If it is determined in step S3426 that the inclination has been processed for all the pixels, in step S3427 the extrapolation interpolation unit 3412 includes the generated pixels stored in a memory (not illustrated). Output an image.
[2106]
That is, as shown in FIG. 288, using a slope f (t) ′ on the approximation function f (t), a new slope is obtained in accordance with the number of frames separated in the frame direction T from the pixel of interest whose slope is obtained. The pixel value of the pixel is determined by extrapolation.
[2107]
In the above example, the inclination (differential value) when calculating a quadruple-density pixel has been described as an example. However, if information on the inclination at more positions can be obtained as real world estimation information. It is also possible to calculate pixels having a higher density in the frame direction by the same method as described above.
[2108]
In the above example, an example of obtaining a double-density pixel value has been described. However, since the approximation function f (t) is a continuous function, a necessary gradient (differential value) is required for pixel values other than double-density. Is obtained, it becomes possible to generate an image composed of even higher density pixels.
[2109]
By the above processing, the slope (or differential value) f (t) ′ of the approximation function f (t) which approximates the real world of each pixel of the input image in the frame direction supplied as the real world estimation information is obtained. Thus, it is possible to generate pixels of an image having a higher resolution than the input image also in the frame direction.
[2110]
According to the above, a real-world optical signal is projected by a plurality of detection elements of a sensor, each having a spatio-temporal integration effect, and a part of the continuity of the real-world optical signal is lacking, and is projected by a detection element. The stationarity of the data in the image data composed of a plurality of pixels having pixel values is detected, and the pixel of interest in the image data is shifted in a one-dimensional direction in the spatio-temporal direction according to the detected stationarity. The inclination of the pixel values of a plurality of pixels at the position is estimated as a function corresponding to an optical signal in the real world, and a straight line having an inclination centered on a position shifted in a one-dimensional direction from the center position of the pixel of interest within the pixel of interest. Are generated as the pixel values of the pixels having higher resolution than the target pixel, it is possible to generate pixels having higher resolution in the spatiotemporal direction than the input image.
[2111]
Next, still another example of the embodiment of the image generation unit 103 (FIG. 3) will be described with reference to FIGS.
[2112]
FIG. 289 illustrates a configuration example of the image generation unit 103 to which the embodiment of this example is applied.
[2113]
The image generation unit 103 shown in FIG. 289 includes a class classification adaptive processing unit 3501 that executes the conventional class classification adaptive processing, and a class classification that executes a correction process (the details of the process will be described later) for the class classification adaptive process. An addition unit that adds the image output from the adaptive processing correction unit 3502 and the image output from the classification adaptive processing correction unit 3502, and outputs the added image to the outside as an output image. 3503 is provided.
[2114]
Hereinafter, the image output from the classification adaptive processing unit 3501 is referred to as a predicted image, and the image output from the classification adaptive processing correction unit 3502 is referred to as a corrected image or a difference prediction image. However, the origins of the names of the prediction image and the difference prediction image will be described later.
[2115]
In the embodiment of this example, it is assumed that the classification adaptive processing is, for example, processing for improving the spatial resolution of an input image. That is, it is assumed that the input image, which is a standard resolution image, is converted into a predicted image, which is a high resolution image.
[2116]
Hereinafter, the image of the standard resolution is appropriately referred to as an SD (Standard Definition) image. Further, pixels constituting the SD image are appropriately referred to as SD pixels.
[2117]
On the other hand, a high-resolution image is hereinafter appropriately referred to as an HD (High Definition) image. In addition, pixels constituting an HD image are appropriately referred to as HD pixels.
[2118]
Specifically, in the embodiment of this example, the classification adaptive processing is the following processing.
[2119]
That is, first, in order to find the HD pixel of the prediction image (HD image) in the target pixel (SD pixel) of the input image (SD image), the SD pixel (hereinafter, referred to as the target pixel) including the target pixel is disposed. Such SD pixels are referred to as class taps), and each of the feature amounts is obtained, and a class preliminarily classified for each of the feature amounts is specified (a class code of a class tap group is specified).
[2120]
Then, among a plurality of preset coefficient groups (each of the coefficient groups corresponds to one predetermined class code), each of the coefficients constituting the coefficient group corresponding to the specified class code is , Using the SD pixels in the vicinity thereof including the target pixel (hereinafter, such SD pixels of the input image are referred to as prediction taps. The prediction taps may be the same as the class taps). By executing the calculation, the HD pixel of the predicted image (HD image) in the target pixel (SD pixel) of the input image (SD image) is obtained.
[2121]
Therefore, in the embodiment of this example, the input image (SD image) is subjected to conventional class classification adaptive processing in the class classification adaptive processing unit 3501 to become a predicted image (HD image), and further, an addition unit 3503 In, the predicted image is corrected with the corrected image from the class classification adaptive processing correction unit 3502 (the corrected image is added) to become an output image (HD image).
[2122]
That is, from the viewpoint of continuity, the embodiment of this example can be said to be one embodiment of the image generation unit 103 in the image processing apparatus (FIG. 3) that performs processing using continuity. On the other hand, from the viewpoint of the classification adaptive processing, in order to correct the classification adaptive processing for the conventional image processing apparatus including the sensor 2 and the classification adaptive processing unit 3501, the data continuity is reduced. It can be said that this is an embodiment of an image processing apparatus to which a detection unit 101, a real world estimation unit 102, a class classification adaptive processing correction unit 3502, and an addition unit 3503 are further added.
[2123]
Therefore, hereinafter, the embodiment of this example will be referred to as a classification adaptive processing correction method with respect to the above-described reintegration method.
[2124]
The image generation unit 103 using the class classification adaptive processing correction method will be described in more detail.
[2125]
In FIG. 289, when a signal of the real world 1 (distribution of light intensity), which is an image, is incident on the sensor 2, an input image is output from the sensor 2. This input image is input to the data continuity detecting unit 101 and also to the classification adaptive processing unit 3501 of the image generating unit 103.
[2126]
The classification adaptive processing unit 3501 performs a conventional classification adaptive processing on the input image to generate a predicted image, and outputs the predicted image to the adding unit 3503.
[2127]
As described above, the classification adaptive processing unit 3501 uses the input image (image data) from the sensor 2 as a reference and also processes the input image itself. That is, although the input image from the sensor 2 is different (distorted) from the signal of the real world 1 due to the integration effect described above, the classification adaptive processing unit 3501 performs the Processing is performed with an input image different from the signal as positive.
[2128]
As a result, even if the input image (SD image) in which the details of the real world 1 have been lost at the stage of output from the sensor 2, even if the input image (SD image) is converted into an HD image by the classification adaptive processing, the original details are not completely restored. The problem that there is a case occurs.
[2129]
Therefore, in order to solve this problem, in the class classification adaptive processing correction method, the class classification adaptive processing correction unit 3502 of the image generation unit 103 does not input the image from the sensor 2 but outputs the image before entering the sensor 2. The information (real world estimation information) for estimating the original image (real world 1 signal having a predetermined stationarity) is used as a reference, and the real class estimation information is output from the classification adaptive processing unit 3501 as a processing target. A corrected image for correcting the predicted image thus generated is generated.
[2130]
This real world estimation information is generated by the data continuity detection unit 101 and the real world estimation unit 102.
[2131]
That is, the data continuity detecting unit 101 detects the continuity of the data included in the input image from the sensor 2 (the continuity of the data corresponding to the continuity of the signal of the real world 1 incident on the sensor 2). , And outputs the detection result to the real world estimation unit 102 as data continuity information.
[2132]
Although the data continuity information is an angle in the example of FIG. 289, the information is not limited to the angle, and various information described above can be used.
[2133]
The real world estimation unit 102 generates real world estimation information based on the input angle (data continuity information) and outputs the information to the class classification adaptive processing correction unit 3502 of the image generation unit 103.
[2134]
Note that the real world estimation information is a feature amount image (details thereof will be described later) in the example of FIG. 289, but is not limited to the feature amount image, and various kinds of information described above can be used.
[2135]
The classification adaptive processing correction unit 3502 generates a correction image based on the input feature amount image (real world estimation information), and outputs the correction image to the addition unit 3503.
[2136]
The addition unit 3503 adds the predicted image output from the classification adaptive processing unit 3501 and the corrected image output from the classification adaptive processing correction unit 3502, and outputs the added image (HD image) to the outside as an output image. I do.
[2137]
The output image thus output is an image closer to the signal (image) of the real world 1 than the predicted image. That is, the class classification adaptive processing correction method is a method capable of solving the above-described problem.
[2138]
Furthermore, by configuring the signal processing device (image processing device) 4 as shown in FIG. 289, it becomes possible to apply processing for one frame as a whole. That is, in a signal processing device (for example, FIG. 315 described later) that uses a combined method described later, it is necessary to specify an area of a pixel and then generate an output image, but the signal processing device 4 in FIG. This makes it possible to produce an effect that the region identification becomes unnecessary.
[2139]
Next, details of the classification adaptive processing unit 3501 of the image generation unit 103 will be described.
[2140]
FIG. 290 illustrates a configuration example of the classification adaptive processing unit 3501.
[2141]
In FIG. 290, an input image (SD image) input from the sensor 2 is supplied to a region extracting unit 3511 and a region extracting unit 3515, respectively. The region extracting unit 3511 extracts a class tap (an SD pixel existing at a preset position including a pixel of interest (SD pixel)) necessary for class classification from the supplied input image, and a pattern detecting unit. 3512. The pattern detection unit 3512 detects a pattern of the input image based on the input class tap.
[2142]
The class code determination unit 3513 determines a class code based on the pattern detected by the pattern detection unit 3512, and outputs the class code to the coefficient memory 3514 and the area extraction unit 3515. The coefficient memory 3514 stores a coefficient for each class code obtained in advance by learning, reads a coefficient corresponding to the class code input from the class code determination unit 3513, and outputs the coefficient to the prediction calculation unit 3516.
[2143]
Note that the coefficient learning process of the coefficient memory 3514 will be described later with reference to the block diagram of the class classification adaptive processing learning unit in FIG.
[2144]
The coefficients stored in the coefficient memory 3514 are coefficients used when generating a predicted image (HD image), as described later. Therefore, the coefficients stored in the coefficient memory 3514 are hereinafter referred to as prediction coefficients to distinguish them from other coefficients.
[2145]
The region extraction unit 3515 performs a prediction necessary for predictively generating a predicted image (HD image) from an input image (SD image) input from the sensor 2 based on the class code input from the class code determination unit 3513. A tap (an SD pixel existing at a preset position including the pixel of interest) is extracted corresponding to the class code, and output to the prediction calculation unit 3516.
[2146]
The prediction operation unit 3516 performs a product-sum operation using the prediction tap input from the region extraction unit 3515 and the prediction coefficient input from the coefficient memory 3514, and calculates a target pixel (SD pixel) of the input image (SD image). ), An HD pixel of the predicted image (HD image) is generated and output to the adding unit 3503.
[2147]
More specifically, the coefficient memory 3514 outputs a prediction coefficient corresponding to the class code supplied from the class code determination unit 3513 to the prediction calculation unit 3516. The prediction calculation unit 3516 uses the prediction tap extracted from the pixel value at a predetermined pixel position of the input image supplied from the region extraction unit 3515 and the prediction coefficient supplied from the coefficient memory 3514, using the following equation ( 218), the HD pixel of the predicted image (HD image) is obtained (predicted and estimated).
[2148]
168

[2149]
In Expression (218), q ′ represents an HD pixel of the predicted image (HD image). c_iEach (i is an integer value of 1 to n) represents each prediction tap (SD pixel). Also, d_iRepresents each of the prediction coefficients.
[2150]
As described above, since the classification adaptive processing unit 3501 predicts and estimates an HD image corresponding to the SD image (input image), the HD image output from the classification adaptive processing unit 3501 is referred to as a predicted image. Is called.
[2151]
FIG. 291 shows prediction coefficients (d in Expression (215)) stored in the coefficient memory 3514 of such a classification adaptive processing unit 3501._i) Represents a learning device (a prediction coefficient calculation device).
[2152]
In the class classification adaptive processing correction method, a coefficient memory (correction coefficient memory 3554 shown in FIG. 299 described later) of the class classification adaptive processing correction unit 3502 is provided in addition to the coefficient memory 3514. Therefore, as shown in FIG. 291, the learning device 3504 in the class classification adaptive processing method has the prediction coefficient (d in the equation (215)) stored in the coefficient memory 3514 of the class classification adaptive processing unit 3501._i) In addition to the learning unit 3521 (hereinafter, referred to as a learning unit for class classification adaptive processing 3521), as well as learning for determining the coefficients stored in the correction coefficient memory 3554 of the class classification adaptive processing correction unit 3502. A unit 3561 (hereinafter, referred to as a class classification adaptive processing correction learning unit 3561) is provided.
[2153]
Accordingly, hereinafter, the teacher image in the class classification adaptive processing learning unit 3521 is referred to as a first teacher image, whereas the teacher image in the class classification adaptive processing correction learning unit 3561 is referred to as a second teacher image. Similarly, hereinafter, the student image in the class classification adaptive processing learning unit 3521 is referred to as a first student image, whereas the student image in the class classification adaptive processing correction learning unit 3561 is referred to as a second student image.
[2154]
The class classification adaptive processing correction learning unit 3561 will be described later.
[2155]
FIG. 292 illustrates a detailed configuration example of the class classification adaptive processing learning unit 3521.
[2156]
In FIG. 292, a predetermined image is input to each of the down-converting unit 3531 and the normal equation generating unit 3536 as a first teacher image (HD image), and a class classification adaptive processing correction learning unit 3561 (FIG. 291). Is input to
[2157]
The down-converting unit 3531 generates a first student image (SD image) having a lower resolution than the first teacher image from the input first teacher image (HD image) (down-converts the first teacher image). The converted image is referred to as a first student image), and is output to each of the region extraction unit 3532, the region extraction unit 3535, and the class classification adaptive processing correction learning unit 3561 (FIG. 291).
[2158]
As described above, since the down-converting unit 3531 is provided in the learning unit for class classification adaptive processing 3521, the first teacher image (HD image) is obtained from the input image from the sensor 2 (FIG. 289) described above. Need not be a high-resolution image. This is because if the first student image in which the first teacher image is down-converted (the resolution is reduced) is an SD image, the first teacher image for the first student image is an HD image. is there. Therefore, the first teacher image may be, for example, the input image itself from the sensor 2.
[2159]
The region extracting unit 3532 extracts a class tap (SD pixel) required for performing class classification from the supplied first student image (SD image), and outputs the class tap to the pattern detecting unit 3533. Pattern detecting section 3533 detects the input class tap pattern, and outputs the detection result to class code determining section 3534. The class code determination unit 3534 determines a class code corresponding to the input pattern, and outputs the class code to each of the region extraction unit 3535 and the normal equation generation unit 3536.
[2160]
The region extraction unit 3535 extracts a prediction tap (SD pixel) from the first student image (SD image) input from the down-conversion unit 3531 based on the class code input from the class code determination unit 3534, and It outputs to each of the equation generation part 3536 and the prediction calculation part 3558.
[2161]
Note that each of the above-described region extraction unit 3532, pattern detection unit 3533, class code determination unit 3534, and region extraction unit 3535 is the region extraction unit 3511, pattern detection unit 3512, class detection unit 3512, and class classification adaptation processing unit 3501 in FIG. Each of the code determining unit 3513 and the region extracting unit 3515 has basically the same configuration and function.
[2162]
The normal equation generation unit 3536 calculates, for each class code, the prediction taps of the first student image (SD image) input from the region extraction unit 3535 for all the class codes input from the class code determination unit 3534. The normal equation is generated from the SD pixels) and the HD pixels of the first teacher image (HD image), and is supplied to the coefficient determination unit 3537. When a normal equation corresponding to a predetermined class code is supplied from the normal equation generation unit 3537, the coefficient determination unit 3537 calculates each prediction coefficient from the normal equation, and stores it in the coefficient memory 3514 in association with the class code. At the same time, and supplies it to the prediction calculation unit 3538.
[2163]
The normal equation generating unit 3536 and the coefficient determining unit 3537 will be described in more detail.
[2164]
In the above equation (218), before learning, the prediction coefficient d_iAre undetermined coefficients. Learning is performed by inputting HD pixels of a plurality of teacher images (HD images) for each class code. There are m HD pixels corresponding to the predetermined class code, and each of the m HD pixels is represented by q_kWhen (k is an integer value of 1 to m), the following equation (219) is set from the equation (218).
[2165]
169

[2166]
That is, Expression (219) calculates the predetermined HD pixel q by calculating the right side._kCan be estimated and estimated. Note that, in equation (219), e_kRepresents an error. That is, the HD pixel q of the predicted image (HD image) which is the operation result on the right side_k’Is the actual HD pixel q_kDoes not exactly coincide with the predetermined error e_kincluding.
[2167]
Therefore, in equation (219), for example, the error e_kPrediction coefficient d that minimizes the sum of squares of_iMay be obtained by learning.
[2168]
Specifically, for example, the HD pixel q is set so that m> n._kCan be collected by learning, the prediction coefficient d_iIs uniquely determined.
[2169]
That is, the prediction coefficient d on the right side of the equation (219)_iIs obtained by the following method (220).
[2170]
[Equation 170]

[2171]
Therefore, if the normal equation represented by the equation (220) is generated, the prediction coefficient d is solved by solving the normal equation._iIs uniquely determined.
[2172]
Specifically, when each of the matrices of the normal equation represented by the equation (220) is defined as in the following equations (221) to (223), the normal equation is represented by the following equation (224). expressed.
[2173]
[Equation 171]

[2174]
[Equation 172]

[2175]
173

[2176]
[Equation 174]

[2177]
As shown in equation (222), the matrix D_MATIs a prediction coefficient d to be obtained._iIt is. Therefore, in equation (224), the matrix C on the left side_MATAnd the matrix Q on the right side_MATIs determined, the matrix D_MAT(Ie, the prediction coefficient d_i) Can be calculated.
[2178]
More specifically, as shown in equation (221), matrix C_MATIs a prediction tap c_ikCan be calculated if is known. Prediction tap c_ikIs extracted by the region extraction unit 3535, so that the normal equation generation unit 3536 generates the prediction tap c supplied from the region extraction unit 3535._ikMatrix C using each of_MATCan be calculated.
[2179]
Also, as shown in equation (223), the matrix Q_MATIs a prediction tap c_ikAnd HD pixel q_kCan be calculated if is known. Prediction tap c_ikIs the matrix C_MATAre the same as those contained in each of the components, and the HD pixel q_kIs the prediction tap c_ikIs the HD pixel of the first teacher image with respect to the pixel of interest (SD pixel of the first student image) included in. Therefore, the normal equation generation unit 3536 calculates the prediction tap c supplied from the region extraction unit 3535._ikAnd the matrix Q using the first teacher image_MATCan be calculated.
[2180]
In this way, the normal equation generation unit 3536 determines, for each class code, the matrix C_MATAnd matrix Q_MATAre calculated, and the calculation result is supplied to the coefficient determination unit 3537 in association with the class code.
[2181]
The coefficient determining unit 3537 calculates the matrix D of the above equation (224) based on the normal equation corresponding to the supplied predetermined class code._MATPrediction coefficient d which is each component of_iIs calculated.
[2182]
Specifically, the above-mentioned normal equation of Expression (224) can be modified as in the following Expression (225).
[2183]
[Equation 175]

[2184]
In equation (225), the matrix D on the left side_MATIs the prediction coefficient d to be obtained_iIt is. Also, the matrix C_MATAnd matrix Q_MATAre supplied from the normal equation generating unit 3536. Therefore, the coefficient determination unit 3537 outputs the matrix C corresponding to the predetermined class code from the normal equation generation unit 3536._MATAnd matrix Q_MATIs supplied, the matrix operation on the right side of equation (225) is performed to obtain the matrix D_MATIs calculated, and the calculation result (prediction coefficient d_i) Is stored in the coefficient memory 3514 in association with the class code, and is supplied to the prediction calculation unit 3538.
[2185]
The prediction operation unit 3538 performs a product-sum operation using the prediction tap input from the region extraction unit 3535 and the prediction coefficient determined by the coefficient determination unit 3537, and focuses on the first student image (SD image). In the pixels (SD pixels), HD pixels of a predicted image (image for predicting the first teacher image) are generated, and the generated HD pixels are output to the classification adaptive processing correction learning unit 3561 (FIG. 291) as a learning predicted image. .
[2186]
More specifically, the prediction calculation unit 3538 calculates the prediction tap extracted from the pixel value at a predetermined pixel position of the first student image supplied from the region extraction unit 3535 as c_i(I is an integer from 1 to n), and the prediction coefficient supplied from the coefficient determination unit 3537 is d_iBy executing the product-sum operation represented by the above equation (218), the HD pixel q ′ of the learning prediction image (HD image) is obtained (the first teacher image is predicted and estimated).
[2187]
Here, referring to FIGS. 293 to 298, the problem of the above-described conventional class classification adaptive processing (class classification adaptive processing section 3501), that is, in FIG. Even if the input image (SD image) whose detail has been collapsed is converted into an HD image (a predicted image that predicts the signal of the real world 1) by the classification adaptive processing unit 3501, the original details are not completely restored. The problem that may occur will be described.
[2188]
FIG. 293 illustrates an example of a processing result of the classification adaptive processing unit 3501.
[2189]
In FIG. 293, the HD image 3541 is an image including an image of a thin line inclined approximately 5 degrees clockwise from the vertical direction in the figure. Also, the SD image 3542 generates the average value of the pixel values of the pixels (HD pixels) belonging to the block of 2 × 2 pixels (HD pixels) of the HD image 3541 as the pixel value of one pixel (SD pixel). Image. That is, the SD image 3542 is an image obtained by down-converting the HD image 3541 (reducing the resolution).
[2190]
In other words, it is assumed that the HD image 3541 is an image imitating an image (signal of the real world 1 (FIG. 289)) before being incident on the sensor 2 (FIG. 289). In this case, the SD image 3542 corresponds to an image obtained by applying integration in the spatial direction that imitates the integration characteristics of the sensor 2 to the HD image 3541. That is, the SD image 3542 is an image imitating the input image from the sensor 2.
[2191]
The SD image 3542 is input to the classification adaptive processing unit 3501 (FIG. 289), and the predicted image output from the classification adaptive processing unit 3501 is the predicted image 3543. That is, the predicted image 3543 is an HD image (an image having the same resolution as the original HD image 3541) generated by the conventional classification adaptive processing. However, the prediction coefficients (the prediction coefficients stored in the coefficient memory 3514 (FIG. 290)) used by the classification adaptive processing unit 3501 for the prediction calculation are as follows: the HD image 3541 is used as the first teacher image, and the SD image 3542 is used as the first teacher image. As the one student image, the learning unit for class classification adaptive processing 3561 (FIG. 292) performs learning calculation.
[2192]
Comparing the HD image 3541, the SD image 3542, and the predicted image 3543, it can be seen that the predicted image 3543 is closer to the HD image 3541 than the SD image 3542.
[2193]
The comparison result indicates that the classification adaptation processing unit 3501 performs a conventional classification adaptation process on the SD image 3542 in which the details of the HD image 3541 have been crushed, thereby obtaining a predicted image in which the original details have been restored. 3543 can be generated.
[2194]
However, comparing the predicted image 3543 and the HD image 3541, it is hard to say that the predicted image 3543 is an image obtained by completely restoring the HD image 3541.
[2195]
In order to investigate why the predicted image 3543 cannot completely restore the HD image 3541, the applicant of the present application uses a predetermined adder 3546 to add the HD image 3541 and the inverted image of the predicted image 3543. That is, a difference image 3544 between the HD image 3541 and the prediction image 3543 (an image close to white when the difference between the pixels is large and a pixel close to black when the difference between the pixels is small) is generated.
[2196]
Similarly, the present applicant uses a predetermined adder 3547 to add the HD image 3541 and the inverted input of the SD image 3542, that is, the difference image between the HD image 3541 and the SD image 3542 (the pixel difference is large). In this case, a pixel close to white was generated, and when the difference between the pixels was small, an image was determined to be a pixel close to black.
[2197]
The applicant of the present application obtained the following investigation result by comparing the difference image 3544 and the difference image 3545 generated in this manner.
[2198]
In other words, the region where the difference between the HD image 3541 and the SD image 3542 is large (the region near the white of the difference image 3545) and the region where the difference between the HD image 3541 and the predicted image 3543 is large (the region near the white of the difference image 3544) are almost the same. Yes, it is.
[2199]
In other words, an area where the predicted image 3543 cannot completely restore the HD image 3541 is an area of the predicted image 3543 where the difference between the HD image 3541 and the SD image 3542 is large (an area close to white in the difference image 3545). Almost match.
[2200]
Therefore, the applicant of the present application has further conducted the following investigation in order to elucidate the factors of this investigation result.
[2201]
That is, the applicant of the present application first sets the specific pixel value of the HD image 3541 and the specific pixel value of the SD image 3542 in an area where the difference between the HD image 3541 and the predicted image 3543 is small (the area near the black of the difference image 3544). The pixel values and the actual waveform (signal in the real world 1) corresponding to the HD image 3541 were investigated. The investigation results are shown in FIGS. 294 and 295.
[2202]
FIG. 294 shows one example of the investigated area. In FIG. 294, the horizontal direction is the X direction which is one direction in the spatial direction, and the vertical direction is the Y direction which is the other direction in the spatial direction.
[2203]
That is, the applicant of the present application has investigated an area 3544-1 of the difference image 3544 shown in FIG. 294 as an example of an area having a small difference between the HD image 3541 and the predicted image 3543.
[2204]
FIG. 295 is a specific example of the HD image 3541 corresponding to the four HD pixels from the left in the figure among the six HD pixels consecutive in the X direction included in the region 3544-1 shown in FIG. 3 shows a plot of a pixel value, a specific pixel value of the SD image 3542, and an actual waveform (signal of the real world 1).
[2205]
In FIG. 295, the vertical axis represents the pixel value, and the horizontal axis represents the x-axis parallel to the spatial direction X. On the x-axis, the origin is the leftmost position of the third HD pixel from the left in the figure among the six HD pixels of the difference image 3544, and a coordinate value is given based on the origin. However, the coordinate value of the x-axis is given with the pixel width of the HD pixel of the difference image 3544 being 0.5. That is, since the difference image 3544 is an HD image, the pixel width L of the HD image_t(Hereinafter, HD pixel width L_t) Is also 0.5. Accordingly, in this case, the pixel width of the SD image 3542 (hereinafter, the SD pixel width L_s) Is the HD pixel width L_t, The SD pixel width L_sBecomes 1.
[2206]
In FIG. 295, the solid line represents the pixel value of the HD image 3541, the dotted line represents the pixel value of the SD image 3542, and the dashed line represents the X-sectional waveform of the signal of the real world 1. However, since it is difficult to actually describe the waveform of the signal of the real world 1, the dashed line shown in FIG. 295 indicates the above-described one-dimensional polynomial approximation method (one embodiment of the real world estimating unit 102 in FIG. 289). ) Shows an approximate function f (x) in which the X-section waveform is approximated.
[2207]
Next, as in the above-described investigation of the region with a small difference, the applicant of the present application also specifies the specifics of the HD image 3541 in the region with a large difference between the HD image 3541 and the predicted image 3543 (region close to white in the difference image 3544). A typical pixel value, a specific pixel value of the SD image 3542, and an actual waveform (signal of the real world 1) corresponding to the HD image 3541 were investigated. The investigation results are shown in FIGS. 296 and 297.
[2208]
FIG. 296 shows one example of the investigated area. In FIG. 296, in the figure, the horizontal direction is the X direction, which is one direction in the spatial direction, and the vertical direction is the Y direction, which is the other direction in the spatial direction.
[2209]
That is, the applicant of the present application has investigated a region 3544-2 of the difference image 3544 shown in FIG. 296 as an example of a region having a large difference between the HD image 3541 and the predicted image 3543.
[2210]
FIG. 297 is a specific example of the HD image 3541 corresponding to four HD pixels from the left in the figure among the six HD pixels continuous in the X direction included in the region 3544-2 shown in FIG. FIG. 9 shows plots of a pixel value, a specific pixel value of the SD image 3542, and an actual waveform (signal of the real world 1).
[2211]
In FIG. 297, the vertical axis represents the pixel value, and the horizontal axis represents the x-axis parallel to the spatial direction X. On the x-axis, the origin is the leftmost position of the third HD pixel from the left in the figure among the six HD pixels of the difference image 3544, and a coordinate value is given based on the origin. However, the coordinate value of the x-axis is the SD pixel width L_sIs assigned as 1.
[2212]
In FIG. 297, the solid line represents the pixel value of the HD image 3541, the dotted line represents the pixel value of the SD image 3542, and the dashed line represents the X-sectional waveform of the signal of the real world 1. However, the one-dot chain line shown in FIG. 297 indicates an approximate function f (x) in which the X-section waveform is approximated, like the one-dot chain line shown in FIG. 295.
[2213]
Comparing FIG. 295 and FIG. 297, it can be seen from the waveform shapes of both approximation functions f (x) that each of the regions includes a thin line region.
[2214]
However, in FIG. 295, the area of the thin line exists substantially in the range of x = 0 to x = 1, whereas in FIG. 297, the area of the thin line is substantially in the range of x = −0.5 to x = It is in the range of 0.5. That is, in FIG. 295, a thin line region is almost included in one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1. On the other hand, in FIG. 297, only one thin line region is included in one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1 (the boundary between the thin line and the background is included). Will be).
[2215]
Therefore, in the case of the state shown in FIG. 295, the difference between the pixel values (solid lines in the figure) of the two HD pixels of the HD image 3541 existing in the range of x = 0 to x = 1.0 is small. As a result, as a matter of course, the pixel value of one SD pixel of the SD image 3542 (dotted line in the figure), which is the average value of the pixel values of these two HD pixels, and the pixel value of the two HD pixels of the HD image 3541 Is small.
[2216]
In such a state (in the state shown in FIG. 295), one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1.0 is set as a target pixel, and the conventional classification adaptive processing is performed. Consider the case where two HD pixels (pixels of the predicted image 3543) are generated in the range of x = 0 to x = 1.0. In this case, as shown in FIG. 294, the HD pixels of the generated predicted image 3543 are obtained by almost accurately predicting the HD pixels of the HD image 3541. That is, as shown in FIG. 294, in the area 3544-1, the difference between the HD pixel of the predicted image 3543 and the HD pixel of the HD image 3541 is also small, and an image close to black is displayed.
[2217]
On the other hand, in the state shown in FIG. 297, the difference between the pixel values (solid lines in the figure) of the two HD pixels of the HD image 3541 existing in the range of x = 0 to x = 1.0 is large. . As a result, as a matter of course, the pixel value of one SD pixel of the SD image 3542 (dotted line in the figure), which is the average value of the pixel values of these two HD pixels, and the pixel value of the two HD pixels of the HD image 3541 Are larger than the corresponding differences in FIG. 295.
[2218]
In such a state (in the state shown in FIG. 297), one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1.0 is set as a target pixel, and the conventional classification adaptive processing is performed. Consider the case where HD pixels (pixels of the predicted image 3543) are generated in the range of x = 0 to x = 1.0. In this case, as shown in FIG. 296, the HD pixels of the generated predicted image 3543 are not accurately predicted HD pixels of the HD image 3541. That is, as shown in FIG. 296, in the region 3544-2, the difference between the HD pixel of the predicted image 3543 and the HD pixel of the HD image 3541 becomes large, and an image close to white is displayed. .
[2219]
By the way, comparing each of the approximation functions f (x) (indicated by a dashed line in the figure) of the signal of the real world 1 in FIG. 295 and FIG. 297, in FIG. 295, in the range of x = 0 to x = 1. While the amount of change in the approximate function f (x) is small, it can be seen in FIG. 297 that the amount of change in the approximate function f (x) in the range from x = 0 to x = 1 is large.
[2220]
Therefore, one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1.0 shown in FIG. 295 has a small amount of change in the approximation function f (x) within the SD pixel (ie, The amount of change in the signal of the real world 1 is small).
[2221]
From this point of view, if the above-mentioned investigation results are rephrased, for example, an approximate function f in an SD pixel such as an SD pixel in the range of x = 0 to x = 1.0 shown in FIG. When the HD pixel is generated from the SD pixel having a small change in (x) (that is, the change in the signal of the real world 1 is small) by the conventional classification adaptive processing, the generated HD pixel becomes the real world 1 The signal (in this case, a thin line image) is almost exactly predicted.
[2222]
On the other hand, one SD pixel of the SD image 3542 existing in the range of x = 0 to x = 1.0 shown in FIG. 297 has a large variation amount of the approximate function f (x) within the SD pixel. It can be said that it is an SD pixel (that is, the change amount of the signal of the real world 1 is large).
[2223]
From this point of view, if the above-mentioned investigation results are rephrased, for example, an approximate function f in an SD pixel such as an SD pixel existing in the range of x = 0 to x = 1.0 shown in FIG. When the HD pixel is generated by the conventional classification adaptive processing from the SD pixel having a large change of (x) (that is, the change of the signal of the real world 1 is large), the generated HD pixel becomes the real world 1 It is not an accurate prediction of the signal (in this case, a thin line image).
[2224]
Summarizing the above investigation results, it is difficult to restore the detail in the pixel by the conventional signal processing between pixels (for example, the classification adaptive processing) in the state shown in FIG. 298. It is.
[2225]
That is, FIG. 298 is a diagram for explaining the knowledge obtained as a result of the above-described investigation performed by the applicant of the present application.
[2226]
In FIG. 298, the horizontal direction in the figure represents the X direction, which is one of the directions (spatial directions) in which the detection elements of the sensor 2 (FIG. 289) are arranged, and the vertical direction in the figure represents the light direction. Represents a level or pixel value. The dotted line represents an X-sectional waveform F (x) of a signal of the real world 1 (FIG. 289), which is an image, and the solid line represents a signal (image) of the real world 1 represented by the X-sectional waveform F (x). ) Indicates the pixel value P output from the sensor 2 when the light is incident on the sensor 2. The width (length in the X direction) of one detection element of the sensor 2 is L_cWhere ΔP is the width L of one detection element of the sensor 2_cThat is, the pixel width L of the sensor 2_cRepresents the amount of change in the X-section waveform F (x) within the square.
[2227]
Meanwhile, since the above-described SD image 3542 (FIG. 293) is an image of the input image (FIG. 289) from the sensor 2, the SD pixel width L of the SD image 3542_s(FIGS. 295 and 297) show the pixel width (detection element width) L of the sensor 2._cCan be considered as
[2228]
Further, in the above-described investigation, the investigation is performed on the signal of the real world 1 (approximate function f (x)) corresponding to the thin line. However, the present invention is not limited to the thin line, and the level of the signal of the real world 1 is changed.
[2229]
Therefore, when the above-described investigation result is applied to the state shown in FIG. 298, the result is as follows.
[2230]
That is, as shown in FIG. 298, the SD pixel (the output pixel from the sensor 2) in which the change amount of the signal of the real world 1 (the change amount of the X-sectional waveform F (x)) △ P is large in the pixel is the target pixel. When HD pixels (for example, pixels of a predicted image output from the classification adaptive processing unit 3501 in FIG. 289) are generated by the conventional classification adaptive processing, the generated HD pixels are the real world 1 (In the example of FIG. 298, the X-section waveform F (x)) is not accurately predicted.
[2231]
Specifically, in the conventional method including the classification adaptive processing, image processing between pixels of the sensor 2 is performed.
[2232]
That is, as shown in FIG. 298, in the real world 1, even if the variation ΔP of the X-sectional waveform F (x) is large in a region within one pixel, the X-sectional waveform F Only one pixel value P (a uniform value P within one pixel) in which (x) is integrated (strictly, the signal of the real world 1 is integrated in the spatiotemporal direction) is output.
[2233]
In the conventional method, the pixel value P is set as a reference, and the pixel value P is set as a processing target, and image processing is performed. In other words, in the conventional method, image processing is performed ignoring changes in the real world 1 signal (X cross-sectional waveform F (x)) in a pixel, that is, ignoring details in the pixel.
[2234]
As described above, as long as the pixel is processed as the minimum unit, even if any image processing (even in the class classification adaptive processing) is performed, it is not possible to accurately reproduce the change of the signal of the real world 1 in the pixel. Have difficulty. In particular, when the variation ΔP of the signal in the real world 1 is large, the difficulty becomes more remarkable.
[2235]
In other words, the problem of the above-described class classification adaptation processing, that is, in FIG. 289, the input image (SD image) in which the details of the real world 1 are lost at the stage of output from the sensor 2 is subjected to the class classification adaptation processing. Even if the image is an HD image, the cause of the problem that the original details may not be completely restored is that the pixel (one pixel) is not considered without considering the amount of change ΔP of the signal of the real world 1 in the pixel. This is because the classification adaptive processing is performed using a pixel having only a pixel value) as a minimum unit.
[2236]
This problem is not limited to the classification adaptive processing, but is a problem that all conventional image processing methods have, and the cause of the problem is exactly the same.
[2237]
The problem of the conventional image processing method and the cause of the problem have been described above.
[2238]
By the way, as described above, the data continuity detecting unit 101 and the real world estimating unit 102 (FIG. 3) of the present invention use the continuity of the signal of the real world 1 to input an image from the sensor 2 (ie, , An image in which the change of the signal of the real world 1 in the pixel is ignored). That is, the real world estimating unit 102 can output real world estimation information capable of estimating the signal of the real world 1.
[2239]
Therefore, it is possible to estimate the amount of change in the signal of the real world 1 in the pixel from the real world estimation information.
[2240]
Therefore, the applicant of the present application estimates a predicted image (an image that predicts the real world 1 without considering a change in the signal of the real world 1 in a pixel) generated by the conventional classification adaptive processing. The above-described problem can be solved by performing correction using a predetermined corrected image generated based on information (an image in which an error of a predicted image caused by a change in the signal of the real world 1 in a pixel is estimated). Based on this idea, for example, a class classification adaptive processing correction method as shown in FIG. 289 was invented.
[2241]
That is, in FIG. 289, the data continuity detection unit 101 and the real world estimation unit 102 generate real world estimation information, and the class classification adaptive processing correction unit 3502 performs predetermined correction based on the generated real world estimation information. Generate an image. Then, the adding unit 3503 corrects the predicted image output from the classification adaptive processing unit 3501 with the corrected image output from the classification adaptive processing correcting unit 3502 (specifically, adding the corrected image to the predicted image) The output image is output as an output image).
[2242]
The details of the class classification adaptive processing unit 3501 of the image generation unit 103 using the class classification adaptive processing correction method have already been described. The form of the adding unit 3503 is not particularly limited as long as it can add the predicted image and the corrected image. For example, various adders, programs, and the like that exist conventionally can be applied. It is possible.
[2243]
Therefore, the details of the remaining classification adaptive processing correction unit 3502 will be described below.
[2244]
First, the principle of the classification adaptive processing correction unit 3502 will be described.
[2245]
As described above, in FIG. 293, the HD image 3541 is regarded as the original image (the signal of the real world 1) before being incident on the sensor 2 (FIG. 289), and the SD image 3542 is output from the sensor 2 Assuming that the input image is an input image, the predicted image 3543 becomes a predicted image (a predicted image obtained by predicting the original image (HD image 3541)) output from the classification adaptive processing unit 3501.
[2246]
An image obtained by subtracting the predicted image 3543 from the HD image 3541 is a difference image 3544.
[2247]
Therefore, if the classification adaptive processing correction unit 3502 can generate the difference image 3544 and output the difference image 3544 as a corrected image, the adding unit 3503 outputs the predicted image 3543 output from the classification adaptive processing unit 3501. By adding the difference image 3544 (corrected image) output from the class classification adaptive processing correction unit 3502, the HD image 3541 can be restored.
[2248]
That is, the class classification adaptive processing correction unit 3502 calculates a difference between a signal of the real world 1 (an original image before being incident on the sensor 2), which is an image, and a predicted image output from the class classification adaptive processing unit 3501. The image (however, an image having the same resolution as the prediction image output from the classification adaptive processing unit 3501) is appropriately predicted, and the predicted difference image (hereinafter, referred to as a difference prediction image. This is the name of the above-described difference prediction image) Can be output as a corrected image, the signal (original image) of the real world 1 can be almost restored.
[2249]
By the way, as described above, the degree of difference (error) between the signal of the real world 1 (the original image before being incident on the sensor 2) and the predicted image output from the classification adaptive processing unit 3501, and the input The degree of change in the signal of the real world 1 within one pixel of the image corresponds. In addition, since the real world estimating unit 102 can estimate the signal of the real world 1, naturally, the predetermined characteristic amount representing the degree of change of the signal of the real world 1 within one pixel of the input image. Can be calculated for each pixel.
[2250]
Therefore, the class classification adaptive processing correction unit 3502 can generate a difference prediction image (predict a difference image) by acquiring a feature amount for each pixel of the input image.
[2251]
Therefore, for example, the class classification adaptive processing correction unit 3502 uses the real-world estimation unit 102 to convert an image whose characteristic amount is a pixel value (hereinafter, such an image is referred to as a characteristic amount image) as real-world estimation information. Input from the world estimation unit 102.
[2252]
At this time, the resolution of the feature image is the same as the resolution of the input image from the sensor 2. The corrected image (difference predicted image) has the same resolution as the predicted image output from the classification adaptive processing unit 3501.
[2253]
Accordingly, the class classification adaptive processing correction unit 3502 predicts a difference image from a feature image using a conventional class classification adaptation process, using a feature image as an SD image and a corrected image (difference predicted image) as an HD image. If the calculation is performed, the result of the prediction calculation becomes an appropriate difference prediction image.
[2254]
The principle of the class classification adaptive processing correction unit 3502 has been described above.
[2255]
FIG. 299 illustrates a configuration example of the class classification adaptive processing correction unit 3502 that operates on the above principle.
[2256]
In FIG. 299, the feature amount image (SD image) input from the real world estimation unit 102 is supplied to a region extraction unit 3551 and a region extraction unit 3555, respectively. The region extracting unit 3551 extracts a class tap (an SD pixel existing at a preset position including a pixel of interest) necessary for performing class classification from the supplied feature amount image, and outputs the extracted class tap to the pattern detecting unit 3552. I do. The pattern detection unit 3552 detects the pattern of the feature image based on the input class tap.
[2257]
The class code determination unit 3553 determines a class code based on the pattern detected by the pattern detection unit 3552, and outputs it to the correction coefficient memory 3554 and the area extraction unit 3555. The correction coefficient memory 3554 stores a coefficient for each class code obtained in advance by learning, reads a coefficient corresponding to the class code input from the class code determination unit 3553, and outputs the coefficient to the correction calculation unit 3556.
[2258]
Note that the coefficient learning processing of the correction coefficient memory 3554 will be described later with reference to the block diagram of the class classification adaptive processing correction learning unit in FIG.
[2259]
The coefficient stored in the correction coefficient memory 3554 is a prediction coefficient used when predicting a difference image (generating a difference prediction image that is an HD image), as described later. However, here, the coefficients stored in the coefficient memory 3514 (FIG. 290) of the classification adaptive processing unit 3501 are referred to as prediction coefficients. Therefore, hereinafter, the prediction coefficient stored in the correction coefficient memory 3554 is referred to as a correction coefficient to distinguish it from the prediction coefficient stored in the coefficient memory 3514.
[2260]
The region extraction unit 3555 predicts a difference image (HD image) from the feature image (SD image) input from the real world estimation unit 102 based on the class code input from the class code determination unit 3553 (HD A prediction tap (an SD pixel existing at a preset position including a pixel of interest) necessary for generating a difference prediction image, which is an image, is extracted corresponding to the class code and output to the correction operation unit 3556. The correction operation unit 3556 performs a product-sum operation using the prediction tap input from the region extraction unit 3555 and the correction coefficient input from the correction coefficient memory 3554, and performs a target pixel (SD image) on the feature amount image (SD image). An HD pixel of the difference prediction image (HD image) in the SD pixel) is generated.
[2261]
More specifically, the correction coefficient memory 3554 outputs a correction coefficient corresponding to the class code supplied from the class code determination unit 3553 to the correction calculation unit 3556. The correction calculation unit 3556 uses the prediction tap (SD pixel) extracted from the pixel value at a predetermined pixel position of the input image supplied from the region extraction unit 3555 and the correction coefficient supplied from the correction coefficient memory 3554. By performing the product-sum operation represented by the following equation (226), the HD pixel of the difference prediction image (HD image) is obtained (the difference image is predicted and estimated).
[2262]
176

[2263]
In Expression (226), u ′ represents an HD pixel of the difference prediction image (HD image). a_iEach (i is an integer value of 1 to n) represents each prediction tap (SD pixel). Also, g_iRepresents each of the correction coefficients.
[2264]
Therefore, in FIG. 289, while the HD pixel q ′ of the predicted image represented by the above equation (218) is output from the classification adaptive processing unit 3501, the classification adaptive processing correction unit 3502 outputs The HD pixel u ′ of the difference prediction image represented by the equation (226) is output. Then, the addition unit 3503 outputs a pixel (hereinafter, referred to as o ′) obtained by adding the HD pixel q ′ of the prediction image and the HD pixel u ′ of the difference prediction image to the outside as the HD pixel of the output image. .
[2265]
That is, the HD pixel o 'of the output image finally output from the image generation unit 103 is represented by the following equation (227).
[2266]
177

[2267]
FIG. 300 shows a correction coefficient (g in the above-described equation (222)) stored in the correction coefficient memory 3554 of the class classification adaptive processing correction unit 3502._i), That is, a detailed configuration example of the learning unit 3561 for correcting the classification adaptive processing of the learning device 3504 of FIG. 291 described above.
[2268]
In FIG. 291, as described above, when the learning process for class classification adaptive processing 3521 ends the learning processing, the learning unit for class classification adaptive processing correction learning unit 3561 sends the first teacher image (HD Image) and a first student image (SD image), and a learning prediction, which is an image obtained by predicting a first teacher image from the first student image using a prediction coefficient obtained by learning. Outputs an image.
[2269]
Referring back to FIG. 300, the first student image among these is input to the data continuity detecting unit 3572.
[2270]
On the other hand, the first teacher image and the learning prediction image are input to the adding unit 3571. However, the learning prediction image is inverted.
[2271]
The adding unit 3571 adds the input first teacher image and the inversely input learning prediction image, that is, generates a difference image between the first teacher image and the learning prediction image, and classifies the difference image. It is output to the normal equation generation unit 3578 as a teacher image in the adaptive processing correction learning unit 3561 (this teacher image is referred to as a second teacher image in order to distinguish it from the first teacher image as described above).
[2272]
Data continuity detecting section 3572 detects the continuity of the data included in the input first student image, and outputs the detection result to real world estimating section 3573 as data continuity information.
[2273]
The real world estimating unit 3573 generates a feature amount image based on the input data continuity information, and converts the generated feature amount image into a student image in the class classification adaptive processing correction learning unit 3561 (as described above, (This is referred to as a second student image in order to distinguish it from the first student image) and is output to each of the region extracting unit 3574 and the region extracting unit 3577.
[2274]
The region extracting unit 3574 extracts SD pixels (class taps) necessary for performing class classification from the supplied second student images (SD images), and outputs the SD pixels (class taps) to the pattern detecting unit 3575. Pattern detection section 3575 detects the input class tap pattern and outputs the detection result to class code determination section 3576. The class code determination unit 3576 determines a class code corresponding to the input pattern, and outputs the class code to each of the region extraction unit 3577 and the normal equation generation unit 3578.
[2275]
The region extraction unit 3577 extracts a prediction tap (SD pixel) from the second student image (SD image) input from the real world estimation unit 3573 based on the class code input from the class code determination unit 3576, Output to the normal equation generation unit 3578.
[2276]
Note that each of the above-described region extraction unit 3574, pattern detection unit 3575, class code determination unit 3576, and region extraction unit 3577 is the region extraction unit 3551, pattern detection unit 3552, and class classification adaptive processing correction unit 3502 in FIG. Each of the class code determination unit 3553 and the region extraction unit 3555 has basically the same configuration and function. Also, each of the above data continuity detection unit 3572 and real world estimation unit 3573 has basically the same configuration and function as each of data continuity detection unit 101 and real world estimation unit 102 in FIG. 289. It has.
[2277]
The normal equation generation unit 3578 calculates a prediction tap of the second student image (SD image) input from the region extraction unit 3577 for each class code for all the class codes input from the class code determination unit 3576. A normal equation is generated from the SD pixels) and the HD pixels of the second teacher image (HD image) and supplied to the correction coefficient determination unit 3579. When a normal equation corresponding to a predetermined class code is supplied from the normal equation generation section 3578, the correction coefficient determination section 3579 calculates each correction coefficient from the normal equation and associates the correction coefficient with the class code in the correction coefficient memory 3554. And memorize it.
[2278]
The normal equation generation unit 3578 and the correction coefficient determination unit 3579 will be described in more detail.
[2279]
In the above equation (226), before learning, the correction coefficient g_iAre undetermined coefficients. Learning is performed by inputting HD pixels of a plurality of teacher images (HD images) for each class code. There are m HD pixels corresponding to the predetermined class code, and each of the m HD pixels is represented by u_kWhen (k is an integer value of 1 to m), the following equation (228) is set from the equation (226).
[2280]
178

[2281]
That is, Expression (228) indicates that a predetermined HD pixel can be predicted and estimated by calculating the right side. Note that in equation (228), e_kRepresents an error. That is, the HD pixel u of the difference prediction image (HD image) which is the calculation result on the right side_k′ Is the HD pixel u of the actual difference image_kDoes not exactly coincide with the predetermined error e_kincluding.
[2282]
Therefore, in equation (228), for example, the error e_kCorrection coefficient a that minimizes the sum of squares of_iMay be obtained by learning.
[2283]
For example, the HD pixel u of the difference image is set so that m> n._kCan be collected by learning, the correction coefficient a_iIs uniquely determined.
[2284]
That is, the correction coefficient a on the right side of the equation (228)_iIs obtained by the least squares method as shown in the following equation (229).
[2285]
179

[2286]
When the respective matrices of the normal equation represented by the equation (229) are defined as in the following equations (230) to (232), the normal equation is represented as the following equation (233).
[2287]
[Equation 180]

[2288]
[Equation 181]

[2289]
[Equation 182]

[2290]
183

[2291]
As shown in equation (231), the matrix G_MATIs a correction coefficient g to be obtained._iIt is. Therefore, in equation (233), the matrix A on the left side_MATAnd the matrix U on the right side_MATIs determined, the matrix G is_MAT(That is, the correction coefficient g_i) Can be calculated.
[2292]
Specifically, as shown in equation (230), matrix A_MATIs a prediction tap a_ikCan be calculated if is known. Prediction tap a_ikIs extracted by the region extracting unit 3577, so that the normal equation generating unit 3578 outputs the prediction tap a supplied from the region extracting unit 3577._ikMatrix A using each of_MATCan be calculated.
[2293]
Also, as shown in equation (232), the matrix U_MATIs a prediction tap a_ikAnd the HD pixel u of the difference image_kCan be calculated if is known. Prediction tap a_ikIs the matrix A_MAT, And the HD pixel u of the difference image_kAre HD pixels of the second teacher image output from the adder 3571. Therefore, the normal equation generation unit 3578 calculates the prediction tap a supplied from the region extraction unit 3577._ikU and the second teacher image (the difference image between the first teacher image and the learning prediction image)_MATCan be calculated.
[2294]
In this way, the normal equation generation unit 3578 outputs the matrix A for each class code._MATAnd matrix U_MATIs calculated, and the calculation result is supplied to the correction coefficient determination unit 3579 in association with the class code.
[2295]
The correction coefficient determination unit 3579 calculates the matrix G of the above-described equation (233) based on the normal equation corresponding to the supplied predetermined class code._MATCorrection coefficient g which is each component of_iIs calculated.
[2296]
Specifically, the normal equation of the above-mentioned equation (233) can be transformed into the following equation (234).
[2297]
[Equation 184]

[2298]
In equation (234), the matrix G on the left side_MATIs the correction coefficient g to be obtained_iIt is. Also, matrix A_MATAnd matrix U_MATAre supplied from the normal equation generation unit 3578. Accordingly, the correction coefficient determining unit 3579 outputs the matrix A corresponding to the predetermined class code from the normal equation generating unit 3578._MATAnd matrix U_MATIs supplied, the matrix G is calculated by performing a matrix operation on the right side of Expression (234)._MATIs calculated, and the calculation result (correction coefficient g_i) Is stored in the correction coefficient memory 3554 in association with the class code.
[2299]
The details of the classification adaptive processing correction unit 3502 and the learning unit for class classification adaptive processing correction 3561 that is a learning unit associated therewith have been described above.
[2300]
The form of the feature amount image is not particularly limited as long as the class classification adaptive processing correction unit 3502 can generate a corrected image (difference predicted image) based on the image. In other words, the pixel value of each pixel of the feature amount image, that is, the feature amount is, as described above, the change amount of the signal of the real world 1 (FIG. 289) in the pixel (the pixel of the sensor 2 (FIG. 289)). There is no particular limitation as long as the degree can be represented.
[2301]
For example, it is possible to apply the in-pixel inclination as the feature amount.
[2302]
The term “in-pixel tilt” is a newly defined word. Therefore, the in-pixel tilt will be described below.
[2303]
As described above, in FIG. 289, the signal of the real world 1, which is an image, is a function F (x, y, t) having variables x, y, and z in the three-dimensional space and time t. Is represented by
[2304]
Further, for example, when the signal of the real world 1 which is an image has continuity in a predetermined spatial direction, the function F (x, y, t) is converted into the spatial X direction, the Y direction, and the spatial direction. A one-dimensional waveform projected in a predetermined one direction (for example, the X direction) of the Z directions (again, a waveform projected in the X direction among such waveforms is referred to as an X-sectional waveform F (x)). It can be considered that the waveforms having the same shape as those of FIG.
[2305]
Therefore, the real-world estimating unit 102 outputs the X-sectional waveform based on the data continuity information (eg, angle) corresponding to the continuity of the signal of the real world 1 output from the data continuity detecting unit 101, for example. F (x) can be approximated by an approximation function f (x) which is an n-th order (n is an arbitrary integer) polynomial.
[2306]
FIG. 301 shows f as an example of such an approximate function f (x) expressed by the following equation (235).₄(X) (f is a fifth-order polynomial₄(X)) and f expressed by the following equation (236).₅(X) (f is a first-order polynomial₅(X)) is plotted.
[2307]
[Equation 185]

[2308]
186

[2309]
It should be noted that w in equation (235)₀Or w₅, And w in equation (236)₀’And w₁′ Represents the following coefficients calculated by the real world estimation unit 102.
[2310]
In FIG. 301, the x-axis in the horizontal direction in the figure represents the relative position in the spatial direction X from the target pixel when the left end of the target pixel is the origin (x = 0). However, on the x-axis, the width L of the detection element of the sensor 2_cIs set to 1. The axis in the vertical direction in the figure represents a pixel value.
[2311]
As shown in FIG. 301, a first-order approximation function f₅(X) (approximate function f expressed by equation (232)₅(X)) is a straight line approximation of the X-section waveform F (x) at the target pixel. Here, the slope of the approximate straight line is referred to as an in-pixel slope. That is, the in-pixel inclination is a coefficient w of x in Expression (236).₁’.
[2312]
When the in-pixel inclination is steep, it indicates that the amount of change in the X-sectional waveform F (x) at the pixel of interest is large. On the other hand, when the inclination in the pixel is gentle, it indicates that the change amount of the X-sectional waveform F (x) in the target pixel is small.
[2313]
As described above, the in-pixel tilt can appropriately represent the degree of change of the signal of the real world 1 in the pixel (the pixel of the sensor 2). Therefore, the in-pixel inclination can be applied as the feature amount.
[2314]
For example, FIG. 302 shows a feature amount image actually generated using the in-pixel inclination as a feature amount.
[2315]
That is, in FIG. 302, the image on the left side in the figure represents the same image as the SD image 3542 shown in FIG. 293 described above. The image on the right side in the drawing represents a feature amount image 3591 obtained by calculating an in-pixel inclination for each of the pixels constituting the left SD image 3542 and plotting a value corresponding to the in-pixel inclination as a pixel value. I have. However, the feature amount image 3591 becomes black when there is no tilt in the pixel (when the approximate straight line is parallel to the X direction), whereas when the tilt in the pixel is right angle (when the approximate straight line is in the Y direction). (If parallel), it is generated to be white.
[2316]
The area 3542-1 of the SD image 3542 is an example of the area 3544-1 of the difference image 3544 of FIG. 294 described above (refer to FIG. 295 described above, where the amount of change in the signal of the real world 1 in a pixel is small). (Area described as “)”. The area of the feature amount image 3591 corresponding to the area 3542-1 of the SD image 3542 is the area 3591-1.
[2317]
The area 3542-2 of the SD image 3542 is the area 3544-2 of the difference image 3544 of FIG. 296 described above (refer to FIG. 297 of the area where the amount of change in the signal of the real world 1 in the pixel is large). (The area described as an example). An area of the feature amount image 3591 corresponding to the area 3542-2 of the SD image 3542 is an area 3591-2.
[2318]
Comparing the area 3542-1 of the SD image 3542 with the area 3591-1 of the feature amount image 3591, the region where the amount of change in the signal of the real world 1 is small is a region close to black (pixels) in the feature amount image 3591. It can be seen that the inner slope is gentle.
[2319]
On the other hand, comparing the area 3542-2 of the SD image 3542 and the area 3591-2 of the feature amount image 3591, the region where the amount of change in the signal of the real world 1 is large is white in the feature amount image 3591. It can be seen that the area is close to the area (the area where the inclination in the pixel is steep).
[2320]
As described above, the feature amount image generated by using the value corresponding to the in-pixel inclination as a pixel can appropriately represent the degree of change of the signal of the real world 1 in each pixel.
[2321]
Next, a specific calculation method of the in-pixel inclination will be described.
[2322]
That is, if the in-pixel inclination of the target pixel is described as grad, the in-pixel inclination grad is expressed by the following equation (237).
[2323]
187

[2324]
In equation (237), P_nRepresents the pixel value of the pixel of interest. P_cRepresents the pixel value of the center pixel.
[2325]
Specifically, for example, as shown in FIG. 303, the input image from the sensor 2 is an area composed of 5 × 5 pixels (5 × 5 = 25 squares in the figure), When there is an area 3601 having the data continuity (hereinafter, referred to as a constant area 3601), the pixel 3602 at the center of the steady area 3601 is set as the central pixel. Therefore, P_cIs the pixel value of the central pixel 3602. Then, for example, when the pixel 3603 is set as the target pixel, P_nIs the pixel value of the pixel of interest 3603.
[2326]
In addition, in equation (237), x_n′ Represents the distance in the cross-sectional direction at the center point of the pixel of interest. Here, the center of the center pixel (pixel 3602 in the example of FIG. 303) is defined as the origin (0, 0) in the spatial direction, and a straight line parallel to the direction of data continuity passing through the origin (the example in FIG. 303) If a straight line 3604) is drawn, a relative distance in the X direction with respect to the straight line is referred to as a cross-sectional direction distance.
[2327]
FIG. 304 is a diagram illustrating the distance in the cross-section direction of each pixel in the steady area 3601 of FIG. That is, in FIG. 304, the value described in each pixel (5 × 5 = 25 squares in the figure) of the steady area 3601 is the cross-sectional distance of the corresponding pixel. For example, the sectional distance x of the pixel of interest 3603_n'Is -2 [beta].
[2328]
However, each pixel width is set to 1 in both the X and Y directions. The positive direction of the X direction is the right direction in the figure. Further, β represents the distance in the cross-sectional direction of the pixel 3605 that is immediately adjacent (one below in the figure) to the Y direction of the central pixel 3602. When the angle θ (the angle θ between the direction of the straight line 3604 and the X direction) as shown in FIG. 304 is output as data continuity information from the data continuity detecting unit 101, the following equation is used. It is possible to easily calculate using (238).
[2329]
188

[2330]
As described above, the inclination in the pixel is calculated by a simple calculation using the two input pixel values of the central pixel (the pixel 3602 in the example of FIG. 304) and the target pixel (the pixel 3603 in the example of FIG. 304) and the angle θ. It is possible. Therefore, if the real-world estimating unit 102 generates an image having a value corresponding to the in-pixel inclination as a pixel value as a feature image, the processing amount can be significantly reduced.
[2331]
When it is desired to obtain a more accurate in-pixel inclination, the real-world estimating unit 102 only needs to perform the least-squares method using the peripheral pixels of the target pixel. Specifically, the real world estimating unit 102 assigns a number i (i is 1 to m) to m pixels (m is an integer of 2 or more) including the pixel of interest, and Each input pixel value P_iAnd distance x in the cross-section direction_i'Is substituted into the right side of the following equation (239) to calculate the in-pixel gradient grad at the target pixel. That is, equation (239) is an equation similar to the above equation for obtaining one variable by the least square method.
[2332]
189

[2333]
Next, with reference to FIG. 305, an image generation process (the process of step S103 in FIG. 40) of the image generation unit 103 (FIG. 289) using the class classification adaptive processing correction method will be described.
[2334]
In FIG. 289, when a signal of the real world 1 which is an image enters the sensor 2, an input image is output from the sensor 2. This input image is input to the data continuity detecting unit 101 and also to the classification adaptive processing unit 3501 of the image generating unit 103.
[2335]
Therefore, in step S3501 of FIG. 305, the classification adaptive processing unit 3501 performs a classification adaptive process on the input image (SD image) to generate a predicted image (HD image), and Output to
[2336]
Hereinafter, the process of step S3501 performed by the class classification adaptive processing unit 3501 is referred to as “input image class classification adaptation process”. Details of the “input image class classification adaptive processing” in this example will be described later with reference to the flowchart in FIG.
[2337]
Almost simultaneously with the processing in step S3501, the data continuity detecting unit 101 detects the continuity of the data included in the input image, and uses the detection result (in this case, the angle) as the data continuity information. (Step S101 in FIG. 40).
[2338]
The real-world estimating unit 102 generates real-world estimating information (in this case, a feature image which is an SD image) based on the input angle (data continuity information), The data is supplied to the correction unit 3502 (the processing of step S102 in FIG. 40).
[2339]
Therefore, in step S3502, the classification adaptive processing correction unit 3502 performs the classification adaptive processing on the supplied feature amount image (SD image) to generate a difference prediction image (HD image) (actual image) A prediction image is calculated for a difference image (however, an HD image) between the (real world 1 signal) and the prediction image output from the classification adaptive processing unit 3501, and the calculated difference image is output to the addition unit 3503.
[2340]
Hereinafter, the processing of step S3502 executed by the class classification adaptive processing correction unit 3502 will be referred to as “classification adaptive processing correction processing”. Details of the “correction processing of the classification adaptive processing” in this example will be described later with reference to the flowchart in FIG.
[2341]
Then, in step S3503, the adding unit 3503 corresponds to the target pixel (HD pixel) of the predicted image (HD image) generated by the classification adaptive processing unit 3501 in the process of step S3501, and corresponds to the target pixel (step S3502). The pixel (HD pixel) of the corrected image (HD image) generated by the class classification adaptive processing correction unit 3502 in the process (1) is added to generate the pixel (HD pixel) of the output image (HD image).
[2342]
In step S3504, the addition unit 3503 determines whether the processing for all pixels has been completed.
[2343]
If it is determined in step S3504 that the processing of all the pixels has not been completed, the process returns to step S3501, and the subsequent processing is repeated. That is, the pixels that have not been set as the target pixel are sequentially set as the target pixel, and the processing of steps S3501 to S3503 is repeated.
[2344]
Then, when the processing of all the pixels is completed (when it is determined in step S3504 that the processing of all the pixels is completed), the adding unit 3504 outputs the output image (HD image) to the outside in step S3505. After that, the process of generating the image ends.
[2345]
Next, with reference to the drawings, the details of “input image class classification adaptive processing (processing of step S3501)” and “correction processing of class classification adaptive processing (processing of step S3502)” in this example will be described. It will be described individually in that order.
[2346]
First, with reference to the flowchart in FIG. 306, details of the “input image class classification adaptive processing” executed by the class classification adaptive processing unit 3501 (FIG. 290) will be described.
[2347]
When the input image (SD image) is input to the classification adaptive processing unit 3501, in step S3521, each of the region extraction unit 3511 and the region extraction unit 3515 inputs the input image.
[2348]
In step S3522, the region extraction unit 3511 selects, from the input image, a pixel (SD pixel) located at each of the target pixel (SD pixel) and a preset relative position (one or more positions) from the target pixel. ) Is extracted as a class tap and supplied to the pattern detection unit 3512.
[2349]
In step S3523, the pattern detection unit 3512 detects the supplied class tap pattern and supplies the pattern tap to the class code determination unit 3513.
[2350]
In step S3524, the class code determination unit 3513 determines a class code that matches the supplied class tap pattern from among a plurality of preset class codes, and sets the class code to the coefficient memory 3514 and the region extraction unit 3515. To supply.
[2351]
In step S3525, the coefficient memory 3514 reads out a prediction coefficient (group) to be used from now on the basis of the supplied class code from a plurality of prediction coefficients (group) determined in advance by the learning process, and To supply.
[2352]
The learning process will be described later with reference to the flowchart in FIG.
[2353]
In step S3526, the region extraction unit 3515 determines the target pixel (SD pixel) and the predetermined relative position (one or more positions) from the target pixel in the input image in accordance with the supplied class code. A pixel (SD pixel) located at each of the positions set independently of the position of the class tap, but may be the same position as the position of the class tap) is extracted as a prediction tap, and prediction is performed. It is supplied to the arithmetic unit 3516.
[2354]
In step S3527, the prediction calculation unit 3516 calculates the prediction tap supplied from the region extraction unit 3515 using the prediction coefficient supplied from the coefficient memory 3514, generates a prediction image (HD image), and adds the prediction image (HD image). Output to
[2355]
Specifically, the prediction calculation unit 3516 converts each of the prediction taps supplied from the region extraction unit 3515 into c_i(I is any integer from 1 to n), and each of the prediction coefficients supplied from the coefficient memory 3514 is d_iBy calculating the right side of the above equation (218), the HD pixel q ′ in the target pixel (SD pixel) is calculated, and the calculated value is added to the adding unit 3503 as one pixel constituting the predicted image (HD image). Output. Thus, the input image class classification adaptive processing ends.
[2356]
Next, with reference to the flowchart of FIG. 307, details of the “correction processing of the classification adaptive processing” executed by the classification adaptive processing correcting unit 3502 (FIG. 299) will be described.
[2357]
When the feature image (SD image) is input as real world estimation information from the real world estimation unit 102 to the classification adaptive processing correction unit 3502, in step S3541, each of the region extraction unit 3551 and the region extraction unit 3555 Enter the quantity image.
[2358]
In step S3542, the region extraction unit 3551 selects the pixel (SD pixel) located at the target pixel (SD pixel) and the preset relative position (one or more positions) from the target pixel in the feature amount image. Pixel) is extracted as a class tap and supplied to the pattern detection unit 3552.
[2359]
Specifically, in this example, it is assumed that a class tap (group) 3621 as shown in FIG. 308 is extracted, for example. That is, FIG. 308 illustrates an example of the class tap arrangement.
[2360]
In FIG. 308, the horizontal direction in the figure is the X direction, which is one direction in the spatial direction, and the vertical direction in the figure is the Y direction, which is the other direction in the spatial direction. The pixel of interest is pixel 3621-2.
[2361]
In this case, in the example of FIG. 308, the target pixel 3621-2, the pixels 3621-1 and 362-4 adjacent to the target pixel 3621-2 in the Y direction, and the target pixel 3621-2 in the X direction. , A pixel group 3621 composed of a total of five pixels 3621-1 and 3621-3 adjacent to the pixel 3621-1 is extracted as a class tap.
[2362]
Of course, the class tap arrangement is not limited to the example of FIG. 308 as long as the arrangement includes the pixel of interest 3621-2, and various arrangements are possible.
[2363]
Referring back to FIG. 307, in step S3543, the pattern detecting unit 3552 detects the supplied pattern of the class tap and supplies the pattern tap to the class code determining unit 3553.
[2364]
Specifically, in this example, for example, the pattern detection unit 3552 determines the pixel value of each of the five class taps 3621-0 to 3621-4 shown in FIG. Each of the in-pixel gradients) detects which of a plurality of preset classes it belongs to, and outputs the detection results combined into one as a pattern.
[2365]
For example, assume that a pattern as shown in FIG. 309 has been detected. That is, FIG. 309 illustrates an example of a class tap pattern.
[2366]
In FIG. 309, the horizontal axis in the figure represents the class tap, and the vertical axis in the figure represents the tilt in the pixel. Further, it is assumed that three classes of a class 3631, a class 3632, and a class 3633 are set in advance by the in-pixel inclination.
[2367]
In this case, the pattern shown in FIG. 309 is such that class tap 3621-0 corresponds to class 3631, class tap 3621-1 corresponds to class 3631, class tap 3621-2 corresponds to class 3633, and class tap 3621-3 corresponds to class 3631. , Class tap 3621-4 represent patterns belonging to the class 3632.
[2368]
Thus, each of the five class taps 3621-0 to 3621-4 belongs to one of the three classes 3631 to 3633. Therefore, in this example, there are a total of 273 (= 3 ＾ 5) patterns including the pattern shown in FIG.
[2369]
Returning to FIG. 307, in step S3544, the class code determination unit 3553 determines a class code that matches the supplied class tap pattern from among a plurality of preset class codes, and The data is supplied to each of the region extracting units 3555. In this case, since there are 273 patterns, the number of class codes set in advance is 273 (or more).
[2370]
In step S3545, the correction coefficient memory 3554 reads out a correction coefficient (group) to be used from now on the basis of the supplied class code from a plurality of correction coefficients (group) determined in advance by the learning process, and 3556. Since each of the correction coefficients (group) stored in the correction coefficient memory 3554 is associated with one of the preset class codes, in this case, the number of the correction coefficients (group) is The number is the same as the number of class codes set in advance (273 or more).
[2371]
The learning process will be described later with reference to the flowchart in FIG.
[2372]
In step S3546, the region extraction unit 3555 determines the target pixel (SD pixel) and the preset relative position (one or more positions) from the target pixel in the input image corresponding to the supplied class code. , A position set independently of the position of the class tap, but may be the same position as the position of the class tap). It is supplied to the arithmetic unit 3556.
[2373]
Specifically, in this example, it is assumed that a prediction tap (group) 3641 as shown in FIG. 310 is extracted, for example. That is, FIG. 310 illustrates an example of the prediction tap arrangement.
[2374]
In FIG. 310, the horizontal direction in the figure is the X direction, which is one direction in the spatial direction, and the vertical direction in the figure is the Y direction, which is the other direction in the spatial direction. The pixel of interest is pixel 3641-1. That is, the pixel 3641-1 is a pixel corresponding to the class tap 3621-2 (FIG. 308).
[2375]
In this case, in the example of FIG. 310, a 5 × 5 pixel group (pixel group including a total of 25 pixels) 3641 centered on the target pixel 3641-1 is extracted as a prediction tap (group). .
[2376]
Of course, the prediction tap arrangement is not limited to the example of FIG. 310 as long as the arrangement includes the target pixel 3641-1, and various arrangements are possible.
[2377]
Returning to FIG. 307, in step S3546, the correction calculation unit 3556 calculates the prediction tap supplied from the region extraction unit 3555 using the correction coefficient supplied from the correction coefficient memory 3554, and calculates a difference prediction image (HD image). Is generated and output to the addition unit 3503 as a corrected image.
[2378]
More specifically, the correction calculation unit 3556 converts each of the prediction taps supplied from the region extraction unit 3555 to a_i(I is any integer from 1 to n), and each of the correction coefficients supplied from the correction coefficient memory 3554 is g_iBy calculating the right side of the above equation (226), the HD pixel u ′ in the target pixel (SD pixel) is calculated, and the calculated value is added to the adding unit 3503 as one pixel constituting the corrected image (HD image). Output. Thus, the correction processing of the class classification adaptive processing ends.
[2379]
Next, referring to the flowchart of FIG. 311, the learning process of the learning device (FIG. 291), that is, the prediction coefficient used by the classification adaptive processing unit 3501 (FIG. 290) and the classification adaptive processing correction unit 3502 (FIG. 299) will be described.
[2380]
In step S3561, the classification adaptive processing learning unit 3521 generates a prediction coefficient used by the classification adaptive processing unit 3501.
[2381]
That is, the class classification adaptive processing learning unit 3521 inputs a predetermined image as a first teacher image (HD image), reduces the resolution of the first teacher image, and converts the first student image (SD image). Generate.
[2382]
Then, the class classification adaptive processing learning unit 3521 generates a prediction coefficient capable of appropriately predicting the first teacher image (HD image) from the first student image (SD image) by the class classification adaptive processing. , Is stored in the coefficient memory 3514 (FIG. 290) of the classification adaptive processing unit 3501.
[2383]
Hereinafter, the process of step S3561 executed by the learning unit for class classification adaptive processing 3521 is referred to as "learning process for class classification adaptive processing". Details of the “learning process for class classification adaptive processing” in this example will be described later with reference to the flowchart in FIG.
[2384]
When the prediction coefficient used by the class classification adaptive processing unit 3501 is generated, in step S3562, the class classification adaptive processing correction learning unit 3561 generates a correction coefficient used by the class classification adaptive processing correction unit 3502.
[2385]
In other words, the class classification adaptive processing correction learning unit 3561 receives the first teacher image, the first student image, and the learning prediction image (by the class classification adaptive processing learning unit 3521) from the class classification adaptive processing learning unit 3521. Each of the first teacher images is predicted using the generated prediction coefficients.
[2386]
Next, the classifying adaptive processing correction learning unit 3561 generates a difference image between the first teacher image and the learning prediction image as the second teacher image, and generates the first student image as the second student image. A feature image is generated from the image.
[2387]
Then, the class classification adaptive processing correction learning unit 3561 generates a prediction coefficient capable of appropriately predicting the second teacher image (HD image) from the second student image (SD image) by the class classification adaptive processing. Then, it is stored in the correction coefficient memory 3554 of the class classification adaptive processing correction unit 3502 as a correction coefficient. Thus, the learning process ends.
[2388]
Hereinafter, the process of step S3562 executed by the learning unit for class classification adaptive processing correction 3561 is referred to as "classification adaptive processing correction learning process". Details of the "classification adaptive processing correction learning process" of this example will be described later with reference to the flowchart in FIG.
[2389]
Next, referring to the drawings, details of the “classification adaptive processing learning processing (processing of step S3561)” and the “classification adaptive processing correction learning processing (processing of step S3562)” in this example will be described. Will be individually described in that order.
[2390]
First, with reference to the flowchart of FIG. 312, details of the “classification adaptive processing learning process” executed by the class classification adaptive processing learning unit 3521 (FIG. 292) will be described.
[2391]
In step S3581, each of the down-converting unit 3531 and the normal equation generating unit 3536 inputs the supplied predetermined image as a first teacher image (HD image). Note that, as described above, the first teacher image is also input to the class classification adaptive processing correction learning unit 3561.
[2392]
In step S3582, the down-converting unit 3531 generates a first student image (SD image) by down-converting (reducing the resolution) the input first teacher image, and the area extracting unit 3532 and the area extracting unit 3535 as well as output to the classifying adaptive processing correction learning unit 3561.
[2393]
In step S3583, the region extracting unit 3532 extracts a class tap from the supplied first student image and outputs the class tap to the pattern detecting unit 3533. In the process of step S3583, although the information input to the block and the information output from the block are strictly different information (hereinafter, such a difference is simply referred to as an input / output difference), This processing is basically the same as the processing in step S3522 (FIG. 306) described above.
[2394]
In step S3584, the pattern detection unit 3533 detects a pattern for determining a class code from the supplied class tap, and supplies the pattern to the class code determination unit 3534. Note that the processing in step S3584 is basically the same as the processing in step S3523 (FIG. 306) described above, although there are differences in input and output.
[2395]
In step S3585, the class code determination unit 3534 determines a class code based on the supplied class tap pattern, and supplies the class code to each of the region extraction unit 3535 and the normal equation generation unit 3536. Note that the processing in step S3585 is basically the same as the processing in step S3524 (FIG. 306) described above, although there are differences in input and output.
[2396]
In step S3586, the region extraction unit 3535 extracts a prediction tap from the first student image corresponding to the supplied class code, and supplies the prediction tap to each of the normal equation generation unit 3536 and the prediction calculation unit 3538. The process of step S3586 is basically the same as the process of step S3526 (FIG. 306) described above, although there are differences in input and output.
[2397]
In step S3587, the normal equation generation unit 3536 determines whether or not the prediction tap (SD pixel) supplied from the region extraction unit 3535 and a predetermined HD pixel among the HD pixels constituting the first teacher image (HD image) Then, the normal equation represented by the above equation (220) (that is, equation (221)) is generated and supplied to the coefficient determining section 3537 together with the class code supplied from the class code determining section 3534.
[2398]
In step S3588, the coefficient determination unit 3537 determines the prediction coefficient by solving the supplied normal equation, that is, calculates the prediction coefficient by calculating the right side of the above equation (225), and calculates the supplied class code. Is stored in the coefficient memory 3514 in association with the prediction calculation unit 3538.
[2399]
In step S3589, the prediction calculation unit 3538 calculates the prediction tap supplied from the region extraction unit 3535 using the prediction coefficient supplied from the coefficient determination unit 3537, and generates a learning prediction image (HD pixel).
[2400]
Specifically, the prediction calculation unit 3538 converts each of the prediction taps supplied from the region extraction unit 3535 into c_i(I is any integer from 1 to n), and each of the prediction coefficients supplied from the coefficient determination unit 3537 is d_iBy calculating the right-hand side of the above equation (218), an HD pixel q ′ that predicts a predetermined HD pixel q of the first teacher image is calculated, and the obtained HD pixel q ′ is calculated as one of the prediction images for learning. One pixel.
[2401]
In step S3590, it is determined whether or not processing has been performed on all pixels. If it is determined that processing has not been performed on all pixels, the processing returns to step S3583. That is, the processing of steps S3583 to S3590 is repeated until the processing of all pixels is completed.
[2402]
If it is determined in step S3590 that processing has been performed on all pixels, in step S3591, the prediction calculation unit 3538 determines the learning prediction image (consisting of each HD pixel q ′ generated for each processing in step S3589). HD image) to be output to the class classification adaptive processing correction learning unit 3561. Thus, the learning processing for the classification adaptive processing ends.
[2403]
As described above, in this example, after the processing of all the pixels is completed, the learning predicted image, which is the HD image obtained by predicting the first teacher image, is output to the classification adaptive processing correction learning unit 3561. . That is, all HD pixels (predicted pixels) are output collectively.
[2404]
However, it is not essential that all the pixels are output collectively, and may be output to the class classification adaptive processing correction learning unit 3561 each time an HD pixel (predicted pixel) is generated in the process of step S3589. Good. In this case, the process of step S3591 is omitted.
[2405]
Next, the details of the “classification adaptive processing correction learning process” executed by the classification adaptive processing correction learning unit 3561 (FIG. 300) will be described with reference to the flowchart in FIG. 313.
[2406]
When the first teacher image (HD image) and the learning prediction image (HD image) are input from the class classification adaptive processing learning unit 3521, in step S3601, the addition unit 3571 uses the first teacher image to perform learning from the first teacher image. The prediction image is subtracted to generate a difference image (HD image), which is supplied to the normal equation generation unit 3578 as a second teacher image.
[2407]
Further, when the first student image (SD image) is input from the class classification adaptive processing learning unit 3521, in step S3602, the data continuity detection unit 3572 and the real world estimation unit 3573 input the first student image (SD image). A feature amount image is generated from the student image (SD image) and supplied to each of the region extracting unit 3574 and the region extracting unit 3577 as a second student image.
[2408]
That is, the data continuity detection unit 3572 detects the continuity of the data included in the first student image, and outputs the detection result (in this case, the angle) to the real world estimation unit 3573 as data continuity information. . Note that the processing of the data continuity detecting unit 3572 in step S3602 is basically the same as the processing in step S101 in FIG. 40 described above, although there are differences in input and output.
[2409]
The real world estimating unit 3573 generates real world estimation information (in this case, a feature amount image which is an SD image) based on the input angle (data continuity information), and uses the generated information as a second student image as an area. It is supplied to each of the extraction unit 3574 and the region extraction unit 3577. Note that the processing of the real world estimating unit 3573 in step S3602 is basically the same as the processing in step S102 in FIG. 40 described above, although there are differences in input and output.
[2410]
Further, the order of the processes in steps S3601 and S3602 is not limited to the example in FIG. That is, the process of step S3602 may be performed first, or the processes of steps S3601 and S3602 may be performed simultaneously.
[2411]
In step S3603, the region extraction unit 3574 extracts a class tap from the supplied second student image (feature amount image) and outputs the class tap to the pattern detection unit 3575. The processing in step S3603 is basically the same as the processing in step S3542 (FIG. 307) described above, although there are differences in input and output. That is, in this case, the pixel group 3621 having the arrangement shown in FIG. 308 is extracted as a class tap.
[2412]
In step S3604, the pattern detection unit 3575 detects a pattern for determining a class code from the supplied class tap, and supplies the pattern to the class code determination unit 3576. The processing in step S3604 is basically the same as the processing in step S3543 (FIG. 307) described above, although there are differences in input and output. That is, in this case, when the learning process is completed, at least 273 patterns are detected.
[2413]
In step S3605, the class code determination unit 3576 determines a class code based on the supplied class tap pattern, and supplies the class code to each of the region extraction unit 3577 and the normal equation generation unit 3578. Note that the processing in step S3605 is basically the same as the processing in step S3544 (FIG. 307) described above, although there are differences in input and output. That is, in this case, when the learning process is completed, at least 273 class codes are determined.
[2414]
In step S3606, the region extraction unit 3577 extracts a prediction tap from the second student image (feature amount image) corresponding to the supplied class code, and supplies the prediction tap to the normal equation generation unit 3578. Note that the processing in step S3606 is basically the same as the processing in step S3546 (FIG. 307) described above, although there are differences in input and output. That is, in this case, the pixel group 3641 having the arrangement shown in FIG. 310 is extracted as the prediction tap.
[2415]
In step S3607, the normal equation generation unit 3578 generates the prediction tap (SD pixel) supplied from the region extraction unit 3577 and the second teacher image (the first teacher image and the learning prediction image, which are HD images). A normal equation represented by the above equation (229) (that is, equation (230)) is generated from predetermined HD pixels among the HD pixels constituting the difference image, and the class supplied from the class code determination unit 3576 is generated. It is supplied to the correction coefficient determination unit 3579 together with the code.
[2416]
In step S3608, the correction coefficient determination unit 3579 determines the correction coefficient by solving the supplied normal equation, that is, calculates the correction coefficient by calculating the right side of the above equation (234), and calculates the supplied class. The correction coefficient is stored in the correction coefficient memory 3554 in association with the code.
[2417]
In step S3609, it is determined whether or not processing has been performed on all pixels. If it is determined that processing has not been performed on all pixels, the processing returns to step S3603. That is, the processing of steps S3603 to S3609 is repeated until the processing of all pixels is completed.
[2418]
Then, in step S3609, when it is determined that the processing has been performed for all the pixels, the class classification adaptive processing correction learning processing ends.
[2419]
As described above, in the class classification adaptive correction processing method, the predicted image output from the class classification adaptive processing unit 3501 is compared with the corrected image (difference predicted image) output from the class classification adaptive processing correction unit 3502 Are added and output.
[2420]
For example, when the SD image 3542 which is an image of the HD image 3541 shown in FIG. 293 having a reduced resolution is input, the predicted image 3543 shown in FIG. 314 is output from the classification adaptive processing unit 3501. Is done. Then, when the corrected image (not shown) output from the classification adaptive processing correction unit 3502 is added to the predicted image 3543 (corrected by the corrected image), the output image 3651 shown in FIG. Become.
[2421]
When comparing the output image 3651, the predicted image 3543, and the HD image 3541 (FIG. 293) as the original image, the output image 3651 is closer to the HD image 3541 than the predicted image 3543. I understand.
[2422]
As described above, in the class classification adaptive processing correction method, an image closer to the original image (the signal of the real world 1 before being incident on the sensor 2) as compared with another conventional method including the class classification adaptive processing. Can be output.
[2423]
In other words, in the class classification adaptive processing correction method, for example, the data continuity detecting unit 101 in FIG. 289 is configured by a plurality of sensors (for example, the sensor 2 in FIG. 289) each having a spatiotemporal integration effect. 289, an optical signal of the real world 1 is projected, and a part of the continuity of the optical signal of the real world is lost, and data in an input image (FIG. 289) composed of a plurality of pixels having pixel values projected by a detection element. Is detected.
[2424]
For example, the real-world estimating unit 102 in FIG. 289 corresponds to the real-world features (for example, the real-world features of the optical signal function F (x) (FIG. 298) representing the optical signal of the real world 1 corresponding to the stationarity of the detected data. , The optical signal of the real world 1 is estimated by detecting the characteristic amount corresponding to the pixels constituting the characteristic amount image of FIG.
[2425]
More specifically, for example, the real-world estimating unit 102 calculates a distance (for example, a cross-section in FIG. 303) along at least a one-dimensional direction from a line (for example, the line 3604 in FIG. 303) corresponding to the stationarity of the output data. Assuming that the pixel value of the pixel corresponding to the directional distance Xn ′) is a pixel value acquired by at least the one-dimensional direction integration effect, the optical signal function F (x) is converted to, for example, the approximate function f in FIG.₅(X), which is the gradient in the pixel (for example, grad of the above equation (234), which is the slope of the approximation function f5 (x) in the predetermined pixel (for example, the pixel 3603 in FIG. 303), and the equation (236) )), The optical signal of the real world 1 is estimated by detecting the coefficient w1 ′) of x as a real world feature.
[2426]
Then, for example, the image generation unit 103 in FIG. 289 predicts and generates an output image (FIG. 289) higher in quality than the input image based on the real world features detected by the real world estimation unit.
[2427]
More specifically, for example, in the image generation unit 103, for example, the class classification adaptive processing unit 3501 in FIG. 289 is configured such that the input image located near the target pixel in the output image and lacking the continuity of the optical signal of the real world 1 The pixel value of the target pixel (for example, the pixel of the predicted image in FIG. 289 and q ′ in the above equation (224)) is predicted from the pixel values of a plurality of pixels in the above.
[2428]
On the other hand, for example, the classification adaptive processing correction unit 3502 in FIG. 289 is predicted by the classification adaptive processing unit 3501 from the feature amount image (real world estimation information) supplied from the real world estimation unit 102 in FIG. 289, for example. A correction term for correcting the pixel value of the target pixel of the predicted image (for example, a pixel of the corrected image (difference predicted image) in FIG. 289 and u ′ in Expression (227)) is predicted.
[2429]
Then, for example, the adding unit 3503 in FIG. 289 corrects the pixel value of the target pixel of the predicted image predicted by the classification adaptive processing unit 3501 with the correction term predicted by the classification adaptive processing unit 3501 (for example, Calculation is performed as in equation (224)).
[2430]
Further, in the class classification adaptive processing correction method, for example, the class classification adaptive processing learning unit 3521 in FIG. 291 which determines the prediction coefficient stored in the coefficient memory 3514 in FIG. 290 by learning, and the correction coefficient memory in FIG. The learning device 3504 shown in FIG. 291 having the class classification adaptive processing correction learning unit 3561 shown in FIG. 291 for determining the correction coefficient stored in 3554 by learning is provided.
[2431]
In detail, for example, the class classification adaptive processing learning unit 3521 in FIG. 292 includes a down-converting unit 3531 for down-converting the learning image data, and a down-converting unit 3531 using the learning image data as the first teacher image. The learning image data that has been down-converted is used as a first student image, a coefficient determining unit 3537 that generates a prediction coefficient by learning the relationship between the first teacher image and the first student image, and region extraction. Sections 3532 to 3536 are provided.
[2432]
The class classification adaptive processing learning unit 3521 further performs learning as image data for predicting the first teacher image from the first student image using the prediction coefficient generated (determined) by the coefficient determination unit 3537, for example. A prediction calculation unit 3538 that generates a predicted image for use is provided.
[2433]
Further, for example, the class classification adaptive processing correction learning unit 3561 in FIG. 300 detects the continuity of the data in the first student image, and forms the first student image based on the continuity of the detected data. A feature amount image (specifically, for example, a feature amount image 3591 in FIG. 302) in which a real-world feature corresponding to each pixel to be detected is detected and a value corresponding to the detected real-world feature is set as a pixel value, A data continuity detecting unit 3572 and a real world estimating unit 3573 generated as a second student image (for example, the second student image in FIG. 300), and image data including a difference between the first teacher image and the learning predicted image. An adding unit 3571 that generates the (difference image) as a second teacher image, and a correction coefficient determining unit 357 that generates a correction coefficient by learning the relationship between the second teacher image and the second student image. And the region extracting unit 3574 through the normal equation generating unit 3578 is provided.
[2434]
Therefore, in the class classification adaptive processing correction method, the output of an image closer to the original image (the signal of the real world 1 before being incident on the sensor 2) as compared with another conventional method including the class classification adaptive processing. Becomes possible.
[2435]
Note that, as described above, the class classification adaptation process differs from, for example, a simple interpolation process in that components not included in the SD image but included in the HD image are reproduced. That is, as far as looking at only the above-described equations (218) and (226), it looks the same as the interpolation processing using the so-called interpolation filter. However, in the classification adaptive processing, the prediction coefficient corresponding to the coefficient of the interpolation filter is used. d_iOr supplemental coefficient g_iIs obtained by learning using teacher data and student data (the first teacher image and the first student image or the second teacher image and the second student image). Can be reproduced. For this reason, the above-described classification adaptive processing can be called processing having an image creation (resolution creation) effect.
[2436]
Further, in the above-described example, the case of improving the spatial resolution has been described as an example. However, according to the classification adaptive processing, various coefficients obtained by performing learning while changing teacher data and student data are used. Thus, for example, it is possible to perform improvement of S / N (Signal to Noise Ratio), improvement of blur, and other various processes.
[2437]
That is, for example, in order to improve the S / N and the blur by the classification adaptive processing, image data having a high S / N is used as teacher data, and an image in which the S / N of the teacher data is reduced is used. (Or a blurred image) may be used as the student data to determine the coefficient.
[2438]
As described above, the signal processing device having the configuration shown in FIG. 3 has been described as an embodiment of the present invention. However, the embodiment of the present invention is not limited to the example shown in FIG. 3 and can take various forms. . That is, the embodiment of the signal processing device 4 in FIG. 1 is not limited to the example in FIG. 3 and can take various forms.
[2439]
For example, the signal processing device having the configuration shown in FIG. 3 performs signal processing based on the stationarity of a signal of the real world 1 which is an image. For this reason, the signal processing device having the configuration shown in FIG. 3 performs more accurate signal processing on a portion of the real world 1 signal where the stationarity exists, as compared with the signal processing of other signal processing devices. As a result, it is possible to output image data closer to the signal of the real world 1.
[2440]
However, since the signal processing device having the configuration shown in FIG. 3 executes the signal processing based on the stationarity, stationarity exists in a portion of the real world 1 signal where the stationarity does not exist clearly. The signal processing cannot be executed with the same accuracy as the processing for the portion, and as a result, image data including an error is output for the signal in the real world 1.
[2441]
Therefore, it is possible to add a device (or a program or the like) for performing other signal processing that does not use stationarity to the signal processing device having the configuration of FIG. In this case, the signal processing device having the configuration shown in FIG. 3 performs signal processing on a portion of the real world 1 signal where continuity exists, and there is no clear continuity of the real world 1 signal. As for the portion, another device (or a program or the like) added executes signal processing. Hereinafter, such an embodiment is referred to as a combined method.
[2442]
Hereinafter, with reference to FIGS. 315 to 328, five specific combined methods (hereinafter, each combined method will be referred to as first to fifth combined methods) will be described.
[2443]
Note that it does not matter whether each function of the signal processing device to which each of the combined techniques is applied is realized by hardware or software. That is, each block diagram of FIGS. 315 to 317, FIG. 321, FIG. 323, FIG. 325, and FIG. 327 described later may be considered as a hardware block diagram or a software functional block diagram.
[2444]
FIG. 315 illustrates a configuration example of a signal processing device to which the first combination method is applied.
[2445]
In the signal processing device in FIG. 315, image data as an example of data 3 (FIG. 1) is input, and an image is generated by performing image processing described later based on the input image data (input image). The generated image (output image) is output. That is, FIG. 315 is a diagram showing the configuration of the signal processing device 4 (FIG. 1), which is an image processing device.
[2446]
The input image (image data as an example of the data 3) input to the signal processing device 4 is supplied to each of the data continuity detection unit 4101, the real world estimation unit 4102, and the image generation unit 4104.
[2247]
The data continuity detecting unit 4101 detects continuity of data from the input image and supplies data continuity information indicating the detected continuity to the real world estimating unit 4102 and the image generating unit 4103.
[2448]
As described above, the data continuity detecting unit 4101 has basically the same configuration and function as the data continuity detecting unit 101 in FIG. Therefore, the data continuity detecting unit 4101 can take the various embodiments described above.
[2449]
However, the data continuity detecting unit 4101 further generates information for specifying the region of the pixel of interest (hereinafter, referred to as region specifying information) and supplies the information to the region detecting unit 4111.
[2450]
The area specifying information is not particularly limited, and may be information newly generated after the data continuity information is generated, or may be information generated when data continuity information is generated.
[2451]
Specifically, for example, an estimation error can be used as the area specifying information. That is, for example, when the data continuity detecting unit 4101 calculates an angle as the data continuity information and calculates the angle by the least square method, an estimation error is additionally calculated by the least square method. . This estimation error can be used as region identification information.
[2452]
The real world estimating unit 4102 estimates a signal of the real world 1 (FIG. 1) based on the input image and the data continuity information supplied from the data continuity detecting unit 4101. That is, the real world estimating unit 4102 estimates an image that is a signal of the real world 1 and is incident on the sensor 2 (FIG. 1) when the input image is acquired. The real world estimating unit 4102 supplies the real world estimation information indicating the result of the estimation of the signal of the real world 1 to the image generating unit 4103.
[2453]
As described above, the real world estimating unit 4102 has basically the same configuration and function as the real world estimating unit 102 in FIG. Therefore, the real world estimating unit 4102 can take the various embodiments described above.
[2454]
The image generation unit 4103 generates and generates a signal that is closer to the signal of the real world 1 based on the real world estimation information indicating the estimated signal of the real world 1 supplied from the real world estimation unit 4102. The signal is supplied to the selector 4112. Alternatively, the image generation unit 4103 is based on the data continuity information supplied from the data continuity detection unit 4101 and the real world estimation information indicating the estimated signal of the real world 1 supplied from the real world estimation unit 4102. Then, a signal that is closer to the signal of the real world 1 is generated, and the generated signal is supplied to the selector 4112.
[2455]
That is, the image generation unit 4103 generates an image closer to the image of the real world 1 based on the real world estimation information, and supplies the image to the selector 4112. Alternatively, the image generation unit 4103 generates an image that is closer to the image of the real world 1 based on the data continuity information and the real world estimation information, and supplies the generated image to the selector 4112.
[2456]
As described above, the image generation unit 4103 has basically the same configuration and function as the image generation unit 103 in FIG. Therefore, the image generation unit 4103 can adopt the various embodiments described above.
[2457]
The image generation unit 4104 performs predetermined image processing on the input image to generate an image, and supplies the image to the selector 4112.
[2458]
Note that the image processing performed by the image generation unit 4104 is not particularly limited as long as the image processing is different from the image processing performed by the data continuity detection unit 4101, the real world estimation unit 4102, and the image generation unit 4103.
[2459]
For example, the image generation unit 4104 can perform the conventional classification adaptive processing. FIG. 316 shows an example of the configuration of the image generation unit 4104 that executes the classification adaptive processing. Note that the description of FIG. 316, that is, the details of the image generation unit 4104 that executes the classification adaptive processing will be described later. The classification adaptation process will be described together with the description of FIG.
[2460]
The constant region detection unit 4105 includes a region detection unit 4111 and a selector 4112.
[2461]
The region detection unit 4111 determines whether the image (pixel of interest) supplied to the selector 4112 is a stationary region or a non-stationary region based on the region identification information supplied from the data continuity detection unit 4101. Then, the detection result is supplied to the selector 4112.
[2462]
Note that the region detection process performed by the region detection unit 4111 is not particularly limited. For example, when the above-described estimation error is supplied as region identification information, the region detection unit 4111 determines whether the supplied estimation error is a predetermined value. When the pixel of interest is smaller than the threshold, the pixel of interest of the input image is detected as a stationary region, while when the supplied estimation error is equal to or greater than a predetermined threshold, the pixel of interest of the input image is detected as a non-stationary region. .
[2463]
The selector 4112 selects one of the image supplied from the image generation unit 4103 and the image supplied from the image generation unit 4104 based on the detection result supplied from the region detection unit 4111, and selects The output image is output to the outside as an output image.
[2464]
That is, when the region detection unit 4111 detects that the target pixel is a stationary region, the selector 4112 determines whether the image supplied from the image generation unit 4103 (the pixel generated by the image generation unit 4103 in the target pixel of the input image) ) Is selected as the output image.
[2465]
On the other hand, if the region detection unit 4111 detects that the target pixel is a non-stationary region, the selector 4112 determines whether the image supplied from the image generation unit 4104 (the image generation unit 4104 (Generated pixels) is selected as an output image.
[2466]
Note that the selector 4112 can output an output image in units of pixels (output for each selected pixel) according to an external output destination, or can output a processed pixel until all pixels have been processed. Is stored, and when the processing of all the pixels is completed, all the pixels can be output collectively (the entire output image is set as one unit).
[2467]
Next, with reference to FIG. 316, details of the image generation unit 4104 that executes the classification adaptive processing, which is an example of the image processing, will be described.
[2468]
In FIG. 316, it is assumed that the class classification adaptive processing executed by the image generation unit 4104 is, for example, processing for improving the spatial resolution of an input image. That is, it is assumed that the input image, which is a standard resolution image, is converted into a predicted image, which is a high resolution image.
[2469]
In the following description, a standard resolution image will be appropriately referred to as an SD (Standard Definition) image, and pixels constituting the SD image will be appropriately referred to as SD pixels.
[2470]
Also in the following description, a high-resolution image will be appropriately referred to as an HD (High Definition) image, and pixels constituting the HD image will be appropriately referred to as HD pixels.
[2471]
Specifically, the class classification adaptive processing executed by the image generation unit 4104 is as follows.
[2472]
That is, first, in order to find the HD pixel of the prediction image (HD image) in the target pixel (SD pixel) of the input image (SD image), the SD pixel (hereinafter, referred to as the following) including the target pixel is arranged. Also in the description, such an SD pixel is referred to as a class tap), and each of the feature amounts is obtained, and a class pre-classified for each of the feature amounts is specified (a class code of a class tap group is specified). Do).
[2473]
Then, among a plurality of preset coefficient groups (each of the coefficient groups corresponds to one predetermined class code), each of the coefficients constituting the coefficient group corresponding to the specified class code is , SD pixels in the vicinity including the target pixel (in the following description, such SD pixels of the input image are referred to as prediction taps. The prediction taps may be the same as the class taps) ) Is used to calculate the HD pixel of the predicted image (HD image) in the target pixel (SD pixel) of the input image (SD image).
[2474]
More specifically, in FIG. 1, when a signal (distribution of light intensity) of the real world 1, which is an image, enters the sensor 2, an input image is output from the sensor 2.
[2475]
In FIG. 316, this input image (SD image) is supplied to an area extraction unit 4121 and an area extraction unit 4125 of the image generation unit 4104, respectively. The region extraction unit 4125 extracts, from the supplied input image, a class tap (an SD pixel existing at a preset position including a pixel of interest (SD pixel)) necessary for class classification, and a pattern detection unit. 4122. The pattern detection unit 4122 detects a pattern of the input image based on the input class tap.
[2476]
The class code determining unit 4123 determines a class code based on the pattern detected by the pattern detecting unit 4122, and outputs the class code to the coefficient memory 4124 and the area extracting unit 4125. The coefficient memory 4124 stores a coefficient for each class code obtained in advance by learning, reads a coefficient corresponding to the class code input from the class code determination unit 4123, and outputs the coefficient to the prediction calculation unit 4126.
[2377]
The learning process of the coefficient in the coefficient memory 4124 will be described later with reference to the block diagram of the learning device in FIG.
[2478]
The coefficients stored in the coefficient memory 4124 are coefficients used when generating a predicted image (HD image), as described later. Therefore, the coefficients stored in the coefficient memory 4124 are hereinafter referred to as prediction coefficients.
[2479]
The region extraction unit 4125 predicts, based on the class code input from the class code determination unit 4123, a prediction necessary to predictively generate a prediction image (HD image) from the input image (SD image) input from the sensor 2. A tap (an SD pixel existing at a preset position including the target pixel) is extracted in accordance with the class code, and output to the prediction calculation unit 4126.
[2480]
The prediction operation unit 4126 performs a product-sum operation using the prediction tap input from the region extraction unit 4125 and the prediction coefficient input from the coefficient memory 4124, and calculates a target pixel (SD pixel) of the input image (SD image). ), And outputs the HD pixel of the predicted image (HD image) to the selector 4112.
[2481]
More specifically, the coefficient memory 4124 outputs a prediction coefficient corresponding to the class code supplied from the class code determination unit 4123 to the prediction calculation unit 4126. The prediction calculation unit 4126 uses the prediction tap extracted from the pixel value at a predetermined pixel position of the input image supplied from the region extraction unit 4125 and the prediction coefficient supplied from the coefficient memory 4124, using the following equation ( By performing the product-sum operation shown in 240), HD pixels of the predicted image (HD image) are obtained (predicted and estimated).
[2482]
[Equation 190]

[2483]
In Expression (240), q ′ represents an HD pixel of the predicted image (HD image). c_iEach (i is an integer value of 1 to n) represents each prediction tap (SD pixel). Also, d_iRepresents each of the prediction coefficients.
[2484]
As described above, since the image generation unit 4104 predicts and estimates an HD image corresponding to the SD image (input image), the HD image output from the image generation unit 4104 is referred to as a predicted image.
[2485]
FIG. 317 shows the prediction coefficients (d in Expression (237)) stored in the coefficient memory 4124 of the image generation unit 4104._i) Represents a learning device (a prediction coefficient calculation device).
[2486]
In FIG. 317, a predetermined image is input to each of the down-converting unit 4141 and the normal equation generating unit 4146 as a teacher image (HD image).
[2487]
The down-conversion unit 4146 generates a student image (SD image) having a lower resolution than the teacher image from the input teacher image (HD image) (a down-converted teacher image is used as a student image), and an area extracting unit 4142 and the area extraction unit 4145.
[2488]
As described above, since the learning device 4131 is provided with the down-conversion unit 4141, the teacher image (HD image) does not need to be a higher resolution image than the input image from the sensor 2 (FIG. 1). . This is because if a teacher image in which a teacher image is down-converted (resolution is reduced) is an SD image, the teacher image for the student image is an HD image. Therefore, the teacher image may be, for example, the input image itself from the sensor 2.
[2489]
The area extraction unit 4142 extracts a class tap (SD pixel) necessary for class classification from the student image (SD image) supplied from the down-conversion unit 4141 and outputs the class tap (SD pixel) to the pattern detection unit 4143. Pattern detecting section 4143 detects the input class tap pattern, and outputs the detection result to class code determining section 4144. The class code determination unit 4144 determines a class code corresponding to the input pattern, and outputs the class code to each of the region extraction unit 4145 and the normal equation generation unit 4146.
[2490]
The region extraction unit 4145 extracts a prediction tap (SD pixel) from the student image (SD image) input from the down-conversion unit 4141 based on the class code input from the class code determination unit 4144, and generates a normal equation generation unit. 4146.
[2491]
Note that each of the above-described region extraction unit 4142, pattern detection unit 4143, class code determination unit 4144, and region extraction unit 4145 is the region extraction unit 4121, pattern detection unit 4122, and class code determination unit 4104 of image generation unit 4104 in FIG. Each of the unit 4123 and the area extracting unit 4125 has basically the same configuration and function.
[2492]
The normal equation generation unit 4146 calculates, for each class code, a prediction tap (SD pixel) of a student image (SD image) input from the region extraction unit 4145 for all the class codes input from the class code determination unit 4144. Then, a normal equation is generated from the HD image of the teacher image (HD image) and supplied to the coefficient determination unit 4147.
[2493]
When a normal equation corresponding to a predetermined class code is supplied from the normal equation generation section 4146, the coefficient determination section 4147 calculates each prediction coefficient from the normal equation and stores the coefficient in the coefficient memory 4124 in association with the class code. Let it.
[2494]
The normal equation generating unit 4146 and the coefficient determining unit 4147 will be described in more detail.
[2495]
In the above equation (240), before learning, the prediction coefficient d_iAre undetermined coefficients. Learning is performed by inputting HD pixels of a plurality of teacher images (HD images) for each class code. There are m HD pixels corresponding to the predetermined class code, and each of the m HD pixels is represented by q_kWhen (k is an integer from 1 to m), the following equation (241) is set from equation (240).
[2496]
[Equation 191]

[2497]
That is, Expression (241) calculates the predetermined HD pixel q by calculating the right side._kCan be estimated and estimated. Note that in equation (241), e_kRepresents an error. That is, the HD pixel q of the predicted image (HD image) which is the operation result on the right side_k’Is the actual HD pixel q_kDoes not exactly coincide with the predetermined error e_kincluding.
[2498]
Therefore, in equation (241), the error e_kPrediction coefficient d that minimizes the sum of squares of_iIs obtained by learning, the prediction coefficient d_iIs the actual HD pixel q_kIt can be said that this is the most suitable coefficient for predicting.
[2499]
Therefore, for example, m (where m is an integer greater than n) HD pixels q collected by learning_kAnd the optimal prediction coefficient d by the least squares method_iCan be uniquely determined.
[2500]
That is, the prediction coefficient d on the right side of the equation (241)_iIs obtained by the least square method, is expressed by the following equation (242).
[2501]
[Equation 192]

[2502]
Therefore, if the normal equation represented by the equation (242) is generated, the prediction coefficient d is solved by solving the normal equation._iIs uniquely determined.
[2503]
Specifically, when each of the matrices of the normal equation represented by the equation (242) is defined as in the following equations (243) to (245), the normal equation is represented by the following equation (246). expressed.
[2504]
[Equation 193]

[2505]
[Equation 194]

[2506]
[Equation 195]

[2507]
[Equation 196]

[2508]
As shown in equation (244), the matrix D_MATIs a prediction coefficient d to be obtained._iIt is. Therefore, in equation (246), the matrix C on the left side_MATAnd the matrix Q on the right side_MATIs determined, the matrix D_MAT(Ie, the prediction coefficient d_i) Can be calculated.
[2509]
More specifically, as shown in equation (243), the matrix C_MATIs a prediction tap c_ikCan be calculated if is known. Prediction tap c_ikIs extracted by the region extraction unit 4145, so that the normal equation generation unit 4146 calculates the prediction tap c supplied from the region extraction unit 4145._ikMatrix C using each of_MATCan be calculated.
[2510]
Also, as shown in equation (245), the matrix Q_MATIs a prediction tap c_ikAnd HD pixel q_kCan be calculated if is known. Prediction tap c_ikIs the matrix C_MATAre the same as those contained in each of the components, and the HD pixel q_kIs the prediction tap c_ikAre HD pixels of the teacher image with respect to the target pixel (SD pixel of the student image) included in. Therefore, the normal equation generation unit 4146 calculates the prediction tap c supplied from the region extraction unit 4145._ikAnd the matrix Q using the teacher image_MATCan be calculated.
[2511]
In this way, the normal equation generation unit 4146 outputs the matrix C_MATAnd matrix Q_MATIs calculated, and the calculation result is supplied to the coefficient determination unit 4147 in association with the class code.
[2512]
The coefficient determining unit 4147 calculates the matrix D of the above-described equation (246) based on the normal equation corresponding to the supplied predetermined class code._MATPrediction coefficient d which is each component of_iIs calculated.
[2513]
Specifically, the normal equation of the above equation (246) can be modified as in the following equation (247).
[2514]
[Equation 197]

[2515]
In equation (247), the matrix D on the left side_MATIs the prediction coefficient d to be obtained_iIt is. Also, the matrix C_MATAnd matrix Q_MATAre supplied from the normal equation generating unit 4146. Therefore, the coefficient determining unit 4147 obtains the matrix C corresponding to the predetermined class code from the normal equation generating unit 4146._MATAnd matrix Q_MATIs supplied, the matrix operation on the right side of equation (247) is performed to obtain the matrix D_MATIs calculated, and the calculation result (prediction coefficient d_i) Is stored in the coefficient memory 4124 in association with the class code.
[2516]
Note that, as described above, the class classification adaptation process differs from, for example, a simple interpolation process in that components not included in the SD image but included in the HD image are reproduced. That is, the adaptive processing looks the same as the interpolation processing using the so-called interpolation filter as far as the above equation (240) is viewed, but the prediction coefficient d corresponding to the coefficient of the interpolation filter is used._iIs obtained by learning using teacher data and student data, so that the components included in the HD image can be reproduced. For this reason, the above-described classification adaptive processing can be called processing having an image creation (resolution creation) effect.
[2517]
Further, in the above-described example, the case of improving the spatial resolution has been described as an example. However, according to the classification adaptive processing, various coefficients obtained by performing learning while changing teacher data and student data are used. Thus, for example, it is possible to perform improvement of S / N (Signal to Noise Ratio), improvement of blur, and other various processes.
[2518]
That is, for example, in order to improve the S / N and the blur by the classification adaptive processing, image data having a high S / N is used as teacher data, and an image in which the S / N of the teacher data is reduced is used. (Or a blurred image) may be used as the student data to determine the coefficient.
[2519]
The configuration of the image generation unit 4104 that executes the class classification adaptive processing and the configuration of the learning device 4131 have been described above.
[2520]
Note that, as described above, the image generation unit 4104 may be configured to execute image processing other than the classification adaptive processing. However, for simplicity, in the following description, the image generation unit 4104 The configuration is the configuration of FIG. 316 described above. That is, hereinafter, it is assumed that the image generation unit 4104 generates an image having higher spatial resolution than the input image by executing the classification adaptive processing, and supplies the image to the selector 4112.
[2521]
Next, with reference to FIG. 318, signal processing of the signal processing device (FIG. 315) to which the first combination method is applied will be described.
[2522]
Here, the data continuity detecting unit 4101 determines the direction of the continuity (spatial direction) and one direction of the spatial direction at the position of interest of the signal of the signal of the real world 1 (FIG. 1) which is an image. It is assumed that an X direction (an angle between the sensor 2 (FIG. 1) and a direction parallel to a predetermined side of the detection element) is calculated by the least square method, and the calculated angle is output as data continuity information.
[2523]
It is also assumed that the data continuity detecting unit 4101 outputs an estimation error (error in the method of least squares) calculated together with the calculation of the angle as the area specifying information.
[2524]
In FIG. 1, when a signal of the real world 1 which is an image is incident on the sensor 2, an input image is output from the sensor 2.
[2525]
In FIG. 315, this input image is input to a data continuity detecting unit 4101 and a real world estimating unit 4102, and is also input to an image generating unit 4104.
[2526]
Therefore, in step S4101 in FIG. 318, the image generation unit 4104 executes the above-described class classification adaptation process using the predetermined SD pixel of the input image (SD image) as the target pixel, and executes the HD pixel of the prediction image (HD image). (HD pixel in the target pixel) is generated and supplied to the selector 4112.
[2527]
Hereinafter, when distinguishing between the pixel output from the image generation unit 4104 and the pixel output from the image generation unit 4103, the pixel output from the image generation unit 4104 is referred to as a first pixel and The pixel output from the unit 4103 is referred to as a second pixel.
[2528]
Hereinafter, the processing executed by the image generation unit 4104 (in this case, the processing of step S4101) is referred to as “execution processing of the classification adaptive processing”. Details of the “executing process of the class classification adaptive process” in this example will be described later with reference to the flowchart in FIG.
[2529]
On the other hand, in step S4102, the data continuity detecting unit 4101 detects an angle corresponding to the direction of continuity and calculates an estimation error thereof. The detected angle is supplied to each of the real world estimation unit 4102 and the image generation unit 4103 as data continuity information. The calculated estimation error is supplied to the area detecting unit 4111 as area specifying information.
[2530]
In step S4103, the real world estimation unit 4102 estimates a signal of the real world 1 based on the angle detected by the data continuity detection unit 4101 and the input image.
[2531]
Note that, as described above, the estimation process performed by the real world estimation unit 4102 is not particularly limited, and various methods described above can be used. Here, for example, the real world estimating unit 4102 converts a function F representing the signal of the real world 1 (the function F is also referred to as an optical signal function F in the following description) into a predetermined function f (hereinafter, referred to as an optical signal function F). Also in the description, it is assumed that the signal of the real world 1 (optical signal function F) is estimated by approximating the function f with an approximate function f).
[2532]
Also, here, for example, the real world estimation unit 4102 supplies the feature amount (coefficient) of the approximation function f to the image generation unit 4103 as real world estimation information.
[2533]
In step S4104, the image generation unit 4103 assigns the first pixel (HD pixel) generated by the class classification adaptive process of the image generation unit 4104 based on the real world 1 signal estimated by the real world estimation unit 4102. A corresponding second pixel (HD pixel) is generated and supplied to the selector 4112.
[2534]
In this case, since the feature amount (coefficient) of the approximation function f is supplied from the real world estimation unit 4102, the image generation unit 4103, for example, performs the approximation function f based on the supplied feature amount of the approximation function f. Is integrated in a predetermined integration range to generate a second pixel (HD pixel).
[2535]
However, the integration range is a range in which a second pixel having the same size (the same resolution) as the first pixel (HD pixel) output from the image generation unit 4104 can be generated. That is, in the spatial direction, the integration range is the pixel width of the second pixel to be generated.
[2536]
Note that the order of the “execution process of the class classification adaptation process” in step S4101 and the series of processes in steps S4102 to S4104 are not limited to the example of FIG. Alternatively, the “execution process of the class classification adaptive process” in step S4101 and a series of processes in steps S4102 to S4104 may be performed simultaneously.
[2537]
In step S4105, the region detecting unit 4111 generates the fourth image generated by the image generating unit 4103 in the process of step S4104 based on the estimation error (region specifying information) calculated by the data continuity detecting unit 4101 in the process of step S4102. An area of two pixels (HD pixels) is detected.
[2538]
That is, the second pixel is an HD pixel in the SD pixel of the input image used as the target pixel by the data continuity detecting unit 4101. Accordingly, the type of the region of interest (the SD pixel of the input image) and the region of the second pixel (HD pixel) (the steady region or the unsteady region) are the same.
[2539]
The area specifying information output by the data continuity detecting unit 4101 is an estimation error when the angle at the target pixel is calculated by the least square method.
[2540]
Therefore, the area detection unit 4111 compares the estimation error for the pixel of interest (the SD pixel of the input image) supplied from the data continuity detection unit 4101 with a preset threshold value. If the value is smaller than the threshold value, the second pixel is detected as being in a stationary region. On the other hand, if the estimation error is equal to or greater than the threshold value, the second pixel is detected as being in a non-stationary region. Then, the detection result is supplied to the selector 4112.
[2541]
When the detection result of the area detection unit 4111 is supplied to the selector 4112, in step S4106, the selector 4112 determines whether the detected area is a steady area.
[2542]
If it is determined in step S4106 that the detected area is a steady area, the selector 4112 outputs the second pixel supplied from the image generation unit 4103 to the outside in step S4107 as an output image.
[2543]
On the other hand, if it is determined in step S4106 that the detected area is not a stationary area (is an unsteady area), the selector 4112 determines in step S4108 the first area supplied from the image generation unit 4104. The pixels are output to the outside as an output image.
[2544]
Thereafter, in step S4109, it is determined whether or not processing of all pixels has been completed. If it is determined that processing of all pixels has not been completed, the processing returns to step S4101. That is, the processing of steps S4101 to S4109 is repeated until the processing of all pixels is completed.
[2545]
If it is determined in step S4109 that the processing for all pixels has been completed, the processing ends.
[2546]
As described above, in the example of the flowchart in FIG. 318, every time the first pixel (HD pixel) and the second pixel (HD pixel) are generated, the first pixel or the second pixel is output as the output image. It is output in pixel units.
[2547]
However, as described above, it is not indispensable that the output is performed on a pixel-by-pixel basis, and all the pixels may be output collectively as an output image after all the pixels have been processed. In this case, in each of the processing in step S4107 and step S4108, the pixel (the first pixel or the second pixel) is not output, but is temporarily stored in the selector 4112, and after the processing in step S4109, all the pixels are output. Is added.
[2548]
Next, with reference to the flowchart of FIG. 319, details of the “execution processing of the classification adaptive processing” (for example, the processing of step S4101 of FIG. 318 described above) executed by the image generation unit 4104 having the configuration of FIG. 316 will be described. I do.
[2549]
When the input image (SD image) from the sensor 2 is input to the image generation unit 4104, in step S4121, each of the region extraction unit 4121 and the region extraction unit 4125 inputs the input image.
[2550]
In step S4122, the region extraction unit 4121 selects, from the input image, a pixel (SD pixel) located at each of the target pixel (SD pixel) and a preset relative position (one or more positions) from the target pixel. ) Is extracted as a class tap and supplied to the pattern detection unit 4122.
[2551]
In step S4123, the pattern detection unit 4122 detects the supplied pattern of the class tap and supplies the pattern to the class code determination unit 4123.
[2552]
In step S4124, the class code determination unit 4123 determines a class code that matches the supplied class tap pattern from among a plurality of preset class codes, and sets the class code to the coefficient memory 4124 and the area extraction unit 4125. To supply.
[2553]
In step S4125, the coefficient memory 4124 reads a prediction coefficient (group) to be used from among a plurality of prediction coefficients (groups) determined in advance by a learning process based on the supplied class code, and executes a prediction operation unit. 4126.
[2554]
The learning process will be described later with reference to the flowchart in FIG.
[2555]
In step S4126, the region extraction unit 4125 determines the target pixel (SD pixel) and the preset relative position (one or more positions) from the target pixel in the input image in accordance with the supplied class code. A pixel (SD pixel) located at each of the positions set independently of the position of the class tap, but may be the same position as the position of the class tap) is extracted as a prediction tap, and prediction is performed. It is supplied to the arithmetic unit 4126.
[2556]
In step S4127, the prediction calculation unit 4126 calculates the prediction tap supplied from the region extraction unit 4125 using the prediction coefficient supplied from the coefficient memory 4124, generates a prediction image (first pixel), and generates a prediction image (first pixel). (In the example of FIG. 315, the selector 4112).
[2557]
Specifically, the prediction calculation unit 4126 converts each of the prediction taps supplied from the region extraction unit 4125 into c_i(I is any integer from 1 to n), and each of the prediction coefficients supplied from the coefficient memory 4124 is d_iBy calculating the right side of the above equation (240), the HD pixel q ′ in the target pixel (SD pixel) is calculated, and is calculated as a predetermined one pixel (first pixel) of the prediction image (HD image). ) And output to the outside. Thereafter, the process ends.
[2558]
Next, a learning process (a process of generating a prediction coefficient used by the image generation unit 4104 by learning) performed by the learning device 4131 (FIG. 317) on the image generation unit 4104 will be described with reference to a flowchart of FIG.
[2559]
In step S4141, each of the down-converting unit 4141 and the normal equation generating unit 4146 inputs the supplied predetermined image as a teacher image (HD image).
[2560]
In step S4142, the down-converting unit 4141 generates a student image (SD image) by down-converting (reducing the resolution) the input teacher image, and supplies it to each of the region extracting unit 4142 and the region extracting unit 4145. .
[2561]
In step S4143, the region extracting unit 4142 extracts a class tap from the supplied student image and outputs the class tap to the pattern detecting unit 4143. The processing in step S4143 is basically the same as the processing in step S4122 (FIG. 319) described above.
[2562]
In step S4144, the pattern detection unit 4143 detects a pattern for determining a class code from the supplied class tap and supplies the pattern to the class code determination unit 4144. The processing in step S4144 is basically the same as the processing in step S4123 (FIG. 319) described above.
[2563]
In step S4145, the class code determination unit 4144 determines a class code based on the supplied class tap pattern, and supplies the class code to each of the region extraction unit 4145 and the normal equation generation unit 4146. The processing in step S4145 is basically the same as the processing in step S4124 (FIG. 319) described above.
[2564]
In step S4146, the region extraction unit 4145 extracts a prediction tap from the student image corresponding to the supplied class code, and supplies the prediction tap to the normal equation generation unit 4146. The processing in step S4146 is basically the same as the processing in step S4126 (FIG. 319) described above.
[2565]
In step S4147, the normal equation generation unit 4146 uses the prediction tap (SD pixel) supplied from the region extraction unit 4145 and a predetermined HD pixel of the teacher image (HD image) to obtain the above equation (242) (that is, The normal equation represented by Expression (243) is generated, and the generated normal equation is associated with the class code supplied from the class code determination unit 4144 and supplied to the coefficient determination unit 4147.
[2566]
In step S4148, the coefficient determination unit 4147 determines the prediction coefficient by solving the supplied normal equation, that is, calculates the prediction coefficient by calculating the right side of the above equation (247), and calculates the supplied class code. In the coefficient memory 4124.
[2567]
Thereafter, in step S4149, it is determined whether or not processing has been performed on all pixels. If it is determined that processing has not been performed on all pixels, the processing returns to step S4143. That is, the processing of steps S4143 to S4149 is repeated until the processing of all pixels is completed.
[2568]
Then, in step S4149, if it is determined that the processing has been performed on all the pixels, the processing ends.
[2569]
Next, a second combined method will be described with reference to FIGS. 321 and 322.
[2570]
FIG. 321 illustrates a configuration example of a signal processing device to which the second combined technique is applied.
[2571]
In FIG. 321, portions corresponding to the signal processing device (FIG. 315) to which the first combination method is applied are denoted by the corresponding reference numerals.
[2572]
In the configuration example of FIG. 315 (first combination method), the area specifying information is output from the data continuity detection unit 4101 and input to the area detection unit 4111. However, the configuration example of FIG. In the combined method, the area specifying information is output from the real world estimation section 4102 and input to the area detection section 4111.
[2573]
The area specifying information is not particularly limited, and may be information newly generated after the real world estimating unit 4102 estimates the signal of the real world 1 (FIG. 1), or when the signal of the real world 1 is estimated. May be information generated in association with.
[2574]
Specifically, for example, an estimation error can be used as the area specifying information.
[2575]
Here, the estimation error will be described.
[2576]
As described above, the estimation error (the area specifying information in FIG. 315) output from the data continuity detecting unit 4101 is, for example, such that the data continuity information output from the data continuity detecting unit 4101 is an angle, and When the angle is calculated by the method of least squares, it is an estimation error that is additionally calculated by the calculation of the method of least squares.
[2577]
On the other hand, the estimation error (region identification information in FIG. 321) output from the real world estimation unit 4102 is, for example, a mapping error.
[2578]
That is, since the signal of the real world 1 is estimated by the real world estimation unit 4102, it is possible to generate a pixel of an arbitrary size (calculate a pixel value) from the estimated signal of the real world 1. . Here, generating a new pixel in this way is called mapping.
[2579]
Therefore, the real world estimating unit 4102 estimates the signal of the real world 1 and then uses the estimated real world 1 signal as the target pixel of the input image (when the real world 1 is estimated, the target pixel is used as the target pixel. A new pixel at the position where the (pixel) was located is generated (mapped). That is, the real world estimating unit 4102 predicts and calculates the pixel value of the target pixel of the input image from the estimated signal of the real world 1.
[2580]
Then, the real world estimating unit 4102 calculates the difference between the pixel value of the new mapped pixel (the predicted pixel value of the target pixel of the input image) and the pixel value of the target pixel of the actual input image. This difference is referred to herein as a mapping error.
[2581]
By calculating the mapping error (estimation error) in this way, the real world estimating unit 4102 can supply the calculated mapping error (estimation error) to the region detection unit 4111 as region specifying information.
[2582]
The region detection process performed by the region detection unit 4111 is not particularly limited, as described above. For example, the real world estimation unit 4102 uses the above-described mapping error (estimation error) as the region identification information as the region identification information. In the case where the supplied mapping error is supplied to the region 4111, the region detection unit 4111 detects that the pixel of interest in the input image is a stationary region when the supplied mapping error (estimation error) is smaller than a predetermined threshold. When the error (estimated error) is equal to or greater than a predetermined threshold, the target pixel of the input image is detected as being in a non-stationary region.
[2583]
Other configurations are basically the same as those in FIG. That is, the signal processing apparatus (FIG. 321) to which the second combined technique is applied also has a data and data structure having basically the same configuration and function as the signal processing apparatus (FIG. 315) to which the first combined technique is applied. A continuity detector 4101, a real world estimator 4102, an image generator 4103, an image generator 4104, and a steady area detector 4105 (area detector 4111 and selector 4112) are provided.
[2584]
FIG. 322 is a flowchart illustrating signal processing (signal processing of the second combined technique) of the signal processing device having the configuration in FIG. 321.
[2585]
The processing of the signal of the second combined technique is similar to the processing of the signal of the first combined technique (the processing shown in the flowchart of FIG. 318). Therefore, here, the description of the processing described in the first combined method will be omitted as appropriate, and the signal of the second combined method different from the first combined method will be described below with reference to the flowchart in FIG. The following description focuses on the processing of (1).
[2586]
Here, the data continuity detecting unit 4101 determines the angle (the continuity direction (spatial direction) and the spatial direction at the target position of the signal of the real world 1 (FIG. Is calculated by the least square method, and the calculated angle is output as data continuity information. The X direction, which is one direction of the sensor 2 (the direction parallel to a predetermined side of the detection element of the sensor 2 (FIG. 1)) is calculated. I do.
[2587]
However, as described above, in the first combined method, the data continuity detecting unit 4101 supplies the region specifying information (for example, the estimation error) to the region detecting unit 4111, whereas the second combined method. In the method, the real world estimating unit 4102 supplies area specifying information (for example, an estimation error (mapping error)) to the area detecting unit 4111.
[2588]
Therefore, in the second combined method, the process of step S4162 is executed as the process of the data continuity detecting unit 4101. This processing corresponds to the processing of step S4102 in FIG. 318 in the first combination method. That is, in step S4162, the data continuity detecting unit 4101 detects an angle corresponding to the direction of continuity based on the input image, and uses the detected angle as data continuity information and the real world estimating unit 4102 to generate an image. To each of the units 4103.
[2589]
In the second combined technique, the process of step S4163 is executed as the process of the real world estimation unit 4102. This processing corresponds to the processing of step S4103 in FIG. 318 in the first combination method. That is, in step S4163, the real world estimating unit 4102 estimates the signal of the real world 1 (FIG. 1) based on the angle detected by the data continuity detecting unit 4101 in the process of step S4162, and estimates the signal. An estimation error of the signal of the real world 1, that is, a mapping error is calculated, and the calculated error is supplied to the area detection unit 4111 as area identification information.
[2590]
The other processing is basically the same as the corresponding processing of the first combination method (corresponding processing of the processing shown in the flowchart of FIG. 318), and thus the description thereof is omitted.
[2591]
Next, a third combined method will be described with reference to FIGS. 323 and 324.
[2592]
FIG. 323 illustrates a configuration example of a signal processing device to which the third combination technique is applied.
[2593]
In FIG. 323, parts corresponding to those of the signal processing device (FIG. 315) to which the first combination method is applied are denoted by the corresponding reference numerals.
[2594]
In the configuration example of FIG. 315 (first combination method), the steady region detection unit 4105 is provided after the image generation unit 4103 and the image generation unit 4104. However, the configuration example of FIG. In the combined use method), the corresponding steady area detection unit 4161 is provided after the data continuity detection unit 4101 and before the real world estimation unit 4102 and the image generation unit 4104.
[2595]
Due to such a difference in arrangement position, there is a slight difference between the constant region detecting unit 4105 in the first combined method and the constant region detecting unit 4161 in the third combined method. Therefore, the steady region detection unit 4161 will be described focusing on this difference.
[2596]
The steady area detecting section 4161 is provided with an area detecting section 4171 and an execution command generating section 4172. Among these, the area detecting section 4171 has basically the same configuration and function as the area detecting section 4111 (FIG. 315) of the steady area detecting section 4105. On the other hand, the function of execution command generation section 4172 is slightly different from that of selector 4112 (FIG. 315) of steady area detection section 4105.
[2597]
That is, as described above, the selector 4112 in the first combination method uses one of the image from the image generation unit 4103 and the image from the image generation unit 4104 based on the detection result of the area detection unit 4111. And outputs the selected image as an output image. As described above, the selector 4112 receives an image from the image generation unit 4103 and an image from the image generation unit 4104 in addition to the detection result of the area detection unit 4111, and outputs an output image.
[2598]
On the other hand, the execution command generation unit 4172 in the third combination method uses the detection result of the region detection unit 4171 to generate a new pixel in the target pixel of the input image (the pixel set as the target pixel by the data continuity detection unit 4101). Whether the image generation unit 4103 or the image generation unit 4104 executes the generation process is selected.
[2599]
That is, when the region detection unit 4171 supplies a detection result indicating that the pixel of interest in the input image is a stationary region to the execution command generation unit 4172, the execution command generation unit 4172 selects the image generation unit 4103 and performs real-world estimation. A command to start execution of the process (hereinafter, such a command is referred to as an execution command) is supplied to the unit 4102. Then, the real world estimation unit 4102 starts the processing, generates real world estimation information, and supplies the information to the image generation unit 4103. The image generation unit 4103 generates a new image based on the supplied real-world estimation information (and, if necessary, the data continuity information supplied from the data continuity detection unit 4101), and outputs it. Output as an image to the outside.
[2600]
On the other hand, when the region detection unit 4171 supplies a detection result indicating that the pixel of interest in the input image is a non-stationary region to the execution command generation unit 4172, the execution command generation unit 4172 selects the image generation unit 4104. , An execution command is supplied to the image generation unit 4104. Then, the image generation unit 4104 starts the processing, performs predetermined image processing (in this case, a class classification adaptive processing) on the input image, generates a new image, and uses it as an output image. Output to
[2601]
As described above, the execution command generation unit 4172 in the third combination method inputs the detection result of the area detection unit 4171 and outputs an execution command. That is, the execution command generation unit 4172 does not input or output an image.
[2602]
Note that the configuration other than the steady area detection unit 4161 is basically the same as that of FIG. That is, in the signal processing device to which the second combined method is applied (the signal processing device in FIG. 323), the configuration and function are basically the same as those in the signal processing device to which the first combined method is applied (FIG. 315). , A data continuity detecting unit 4101, a real world estimating unit 4102, an image generating unit 4103, and an image generating unit 4104.
[2603]
However, in the third combined method, each of the real world estimation unit 4102 and the image generation unit 4104 does not execute its processing unless an execution command is input from the execution command generation unit 4172.
[2604]
By the way, in the example of FIG. 323, the output unit of the image is a pixel unit. Therefore, although not shown, in order to make the output unit the whole image of one frame (to output all the pixels collectively), for example, the image synthesis unit 4103 and the image generation unit 4104 are provided with an image synthesis unit. A part may be further provided.
[2605]
This image synthesis unit adds (combines) the pixel value output from the image generation unit 4103 and the pixel value output from the image generation unit 4104, and sets the added value as the pixel value of the corresponding pixel. In this case, the one of the image generation unit 4103 and the image generation unit 4104 to which the execution command has not been supplied does not execute the process, and always supplies a predetermined constant value (for example, 0) to the image synthesis unit. .
[2606]
The image synthesizing unit repeatedly executes such processing for all the pixels, and when all the pixels have been processed, outputs all the pixels collectively (as one frame of image data) to the outside.
[2607]
Next, the signal processing of the signal processing device (FIG. 323) to which the third combination technique is applied will be described with reference to the flowchart in FIG. 324.
[2608]
Here, as in the case of the first combination method, the data continuity detecting unit 4101 determines the angle (the direction of continuity (space direction) at the position of interest of the signal of the real world 1 (FIG. 1); An X direction which is one direction in the spatial direction (an angle between the X direction and a direction parallel to a predetermined side of the detection element of the sensor 2 (FIG. 1)) is calculated by the least square method, and the calculated angle is used as data continuity information. Suppose you want to output.
[2609]
It is also assumed that the data continuity detecting unit 4101 outputs an estimation error (error in the method of least squares) calculated together with the calculation of the angle as the area specifying information.
[2610]
In FIG. 1, when a signal of the real world 1 is incident on the sensor 2, an input image is output from the sensor 2.
[2611]
In FIG. 323, this input image is input to an image generation unit 4104 and also to a data continuity detection unit 4101 and a real world estimation unit 4102.
[2612]
Therefore, in step S4181 in FIG. 324, the data continuity detecting unit 4101 detects an angle corresponding to the direction of continuity based on the input image and calculates an estimation error. The detected angle is supplied to each of the real world estimation unit 4102 and the image generation unit 4103 as data continuity information. The calculated estimation error is supplied to the area detection unit 4171 as area specifying information.
[2613]
The processing in step S4181 is basically the same as the processing in step S4102 (FIG. 318) described above.
[2614]
Further, as described above, at this point in time (unless an execution command is supplied from the execution command generation unit 4172), neither the real world estimation unit 4102 nor the image generation unit 4104 executes the processing.
[2615]
In step S4182, the region detection unit 4171 detects the target pixel of the input image (the data continuity detection unit 4101 detects the angle) based on the estimation error (the supplied region identification information) calculated by the data continuity detection unit 4101. In this case, the region of the pixel of interest is detected, and the detection result is supplied to the execution command generation unit 4172. Note that the processing in step S4182 is basically the same as the processing in step S4105 (FIG. 318) described above.
[2616]
When the detection result of the region detection unit 4171 is supplied to the execution command generation unit 4172, in step S4183, the execution command generation unit 4172 determines whether the detected region is a steady region. The processing in step S4183 is basically the same as the processing in step S4106 (FIG. 318) described above.
[2617]
If it is determined in step S4183 that the detected area is not the steady area, the execution command generation unit 4172 supplies an execution command to the image generation unit 4104. Then, in step S4184, the image generation unit 4104 executes “class classification adaptive processing execution processing” to generate the first pixel (HD pixel in the target pixel (SD pixel of the input image)), and in step S4185. , The first pixel generated by the classification adaptive processing is output to the outside as an output image.
[2618]
The processing in step S4184 is basically the same as the processing in step S4101 (FIG. 318) described above. That is, the flowchart in FIG. 319 is also a flowchart for explaining the details of the processing in step S4184.
[2619]
On the other hand, if it is determined in step S4183 that the detected area is a steady area, the execution command generation unit 4172 supplies an execution command to the real world estimation unit 4102. Then, in step S4186, the real world estimating unit 4102 estimates a signal of the real world 1 based on the angle detected by the data continuity detecting unit 4101 and the input image. The processing in step S4186 is basically the same as the processing in step S4103 (FIG. 318) described above.
[2620]
Then, in step S4187, the image generation unit 4103 uses the second signal in the detected area (that is, the target pixel (SD pixel) of the input image) based on the signal of the real world 1 estimated by the real world estimation unit 4102. (HD pixel), and outputs the second pixel as an output image in step S4188. The processing in step S4187 is basically the same as the processing in step S4104 (FIG. 318) described above.
[2621]
When the first pixel or the second pixel is output as the output image (after the processing in step S4185 or step S4188), it is determined in step S4189 whether or not the processing of all pixels has been completed. If it is determined that the process has not been completed, the process returns to step S4181. That is, the processing of steps S4181 to S4189 is repeated until the processing of all pixels is completed.
[2622]
If it is determined in step S4189 that the processing for all pixels has been completed, the processing ends.
[2623]
As described above, in the example of the flowchart in FIG. 324, every time the first pixel (HD pixel) and the second pixel (HD pixel) are generated, the first pixel or the second pixel is output as the output image. It is output in pixel units.
[2624]
However, as described above, if an image synthesizing unit (not shown) is further provided at the final stage (after the image generating unit 4103 and the image generating unit 4104) of the signal processing device having the configuration of FIG. After the processing is completed, it becomes possible to output all pixels collectively as an output image. In this case, in the processing in each of step S4185 and step S4188, the pixel (the first pixel or the second pixel) is output not to the outside but to the image synthesis unit. Then, before the process in step S4189, the image combining unit combines the pixel value of the pixel supplied from the image generating unit 4103 with the pixel value of the pixel supplied from the image generating unit 4104, and outputs the pixel of the output image. After the process of generating the image data and the process of step S4189, a process of outputting all the pixels by the image combining unit is added.
[2625]
Next, a fourth combination method will be described with reference to FIGS. 325 and 326.
[2626]
FIG. 325 illustrates a configuration example of a signal processing device to which the fourth combination method is applied.
[2627]
In FIG. 325, the portions corresponding to the signal processing device (FIG. 323) to which the third combination technique is applied are denoted by the corresponding reference numerals.
[2628]
In the configuration example of FIG. 323 (third combination method), the region specifying information is output from the data continuity detection unit 4101 and input to the region detection unit 4171. However, the configuration example of FIG. In the (method), the area specifying information is output from the real world estimation section 4102 and input to the area detection section 4171.
[2629]
The other configuration is basically the same as that of FIG. 323. That is, the signal processing device (FIG. 325) to which the fourth combined method is applied also has a data and data structure basically having the same configuration and function as the signal processing device (FIG. 323) to which the third combined method is applied. A continuity detector 4101, a real world estimator 4102, an image generator 4103, an image generator 4104, and a steady area detector 4161 (area detector 4171 and execution command generator 4172) are provided.
[2630]
Note that, similarly to the third combination method, although not shown, in order to output all the pixels collectively, for example, an image synthesizing unit is further provided after the image generating unit 4103 and the image generating unit 4104. You can also.
[2631]
FIG. 326 is a flowchart illustrating signal processing (signal processing of the fourth combined technique) of the signal processing device having the configuration in FIG. 325.
[2632]
The processing of the signal of the fourth combination technique is similar to the processing of the signal of the third combination technique (the processing shown in the flowchart of FIG. 324). Therefore, here, the description of the processing described in the third combined method will be omitted as appropriate, and the signal of the fourth combined method different from the third combined method will be described below with reference to the flowchart of FIG. The following description focuses on the processing of.
[2633]
Here, the data continuity detecting unit 4101 determines the angle (the direction of the continuity (spatial direction) at the position of interest of the signal of the real world 1 (FIG. 1) and the spatial direction, as in the third combined method. Is calculated by the least square method, and the calculated angle is output as data continuity information. The X direction, which is one direction of the sensor 2 (the direction parallel to a predetermined side of the detection element of the sensor 2 (FIG. 1)), is calculated. I do.
[2634]
However, as described above, in the third combination method, the data continuity detection unit 4101 supplies the region identification information (for example, the estimation error) to the region detection unit 4171, whereas the fourth combination method In the method, the real world estimating unit 4102 supplies the region specifying information (for example, an estimation error (mapping error)) to the region detecting unit 4171.
[2635]
Therefore, in the fourth combined method, the process of step S4201 is executed as the process of the data continuity detecting unit 4101. This processing corresponds to the processing of step S4181 in FIG. 324 in the third combined technique. That is, in step S4201, the data continuity detecting unit 4101 detects an angle corresponding to the direction of continuity based on the input image, and uses the detected angle as data continuity information and the real-world estimating unit 4102 to generate an image. To each of the units 4103.
[2636]
In the fourth combined method, the process of step S4202 is executed as the process of the real world estimation unit 4102. This processing corresponds to the processing of step S4182 in FIG. 318 in the third combined method. That is, the real world estimating unit 4102 estimates the signal of the real world 1 (FIG. 1) based on the angle detected by the data continuity detecting unit 4101 in the process of step S4202, and A signal estimation error, that is, a mapping error is calculated, and the calculated error is supplied to the region detection unit 4171 as region identification information.
[2637]
The other processing is basically the same as the corresponding processing of the third combined technique (corresponding processing of the processing shown in the flowchart of FIG. 324), and thus the description thereof is omitted.
[2638]
Next, a fifth combination method will be described with reference to FIGS. 327 and 328.
[2639]
FIG. 327 illustrates a configuration example of a signal processing device to which the fifth combination technique is applied.
[2640]
In FIG. 327, the portions corresponding to the signal processing devices (FIGS. 323 and 325) to which the third and fourth combined techniques are applied are denoted by the corresponding reference numerals.
[2641]
In the configuration example of FIG. 323 (third combination technique), one stationary region detection unit 4161 is arranged after the data continuity detection unit 4101 and before the real world estimation unit 4102 and the image generation unit 4104. Is established.
[2642]
Further, in the configuration example of FIG. 325 (fourth combined technique), one stationary region detection unit 4161 is provided after the real world estimation unit 4102 and before the image generation unit 4103 and the image generation unit 4104. Is established.
[2643]
On the other hand, in the configuration example of FIG. 327 (fifth combination method), the real-world estimation unit 4102 and the image generation unit follow the data continuity detection unit 4101 similarly to the third combination method. A steady area detection unit 4181 is provided at a stage preceding 4104. Further, similarly to the fourth combination method, a stationary region detection unit 4182 is provided after the real world estimation unit 4102 and before the image generation unit 4103 and the image generation unit 4104.
[2644]
Each of the constant region detection unit 4181 and the constant region detection unit 4182 has basically the same configuration and function as the constant region detection unit 4161 (FIG. 323 or FIG. 325). That is, each of the area detection section 4191 and the area detection section 4201 has basically the same configuration and function as the area detection section 4171. Further, both the execution command generation unit 4192 and the execution command generation unit 4202 have basically the same configuration and function as the execution command generation unit 4172.
[2645]
In other words, the fifth combined technique is a combination of the third combined technique and the fourth combined technique.
[2646]
That is, in the third combined technique and the fourth combined technique, one area specifying information (in the third combined technique, the area identifying information from the data continuity detecting unit 4101 is used, and in the fourth combined technique, Is the region specifying information from the real world estimation unit 4102), it is detected whether the target pixel of the input image is a stationary region or a non-stationary region. Therefore, in the third combination method and the fourth combination method, there is a possibility that the region is detected as a steady region, although the region is originally a non-stationary region.
[2647]
Therefore, in the fifth combined technique, attention is first paid to the input image based on the area specifying information from the data continuity detecting unit 4101 (referred to as first area specifying information in the description of the fifth combined technique). After detecting whether the pixel is a stationary region or a non-stationary region, the region identification information from the real world estimation unit 4102 (hereinafter referred to as second region identification information in the description of the fifth combined method) ), It is detected whether the target pixel of the input image is a stationary region or a non-stationary region.
[2648]
As described above, in the fifth combined method, the region detection process is performed twice, so that the detection accuracy of the steady region is improved as compared with the third combined method and the fourth combined method. . Furthermore, in the first combined technique and the second combined technique, similarly to the third combined technique and the fourth combined technique, only one steady-state region detection unit 4105 (FIG. 315 or FIG. 321) is provided. . Therefore, the detection accuracy of the steady region is improved as compared with the first combined technique and the second combined technique. As a result, it becomes possible to output image data closer to the signal of the real world 1 (FIG. 1) than any of the first to fourth combined methods.
[2649]
However, even in the first to fourth combined methods, an image generation unit 4104 that performs conventional image processing and a device or a program that generates an image using the continuity of data to which the present invention is applied (that is, data There is no difference that the continuity detecting unit 4101, the real world estimating unit 4102, and the image generating unit 4103) are used together.
[2650]
Therefore, even with the first to fourth combined methods, it is possible to output image data closer to the signal of the real world 1 (FIG. 1) than any of the conventional signal processing device and the signal processing of the present invention having the configuration of FIG. Becomes possible.
[2651]
On the other hand, from the viewpoint of processing speed, the first to fourth combined methods require only one region detection process, and therefore are superior to the fifth combined method in which the region detection process is performed twice. Will be.
[2652]
Therefore, the user (or manufacturer) or the like should selectively use a combined method that matches the required quality of the output image and the required processing time (time until the output image is output). Can be.
[2653]
The other configuration in FIG. 327 is basically the same as that in FIG. 323 or FIG. That is, the signal processing device (FIG. 327) to which the fifth combination method is applied is basically the same as the signal processing device (FIG. 323 or 325) to which the third or fourth combination method is applied. A data continuity detecting unit 4101, a real world estimating unit 4102, an image generating unit 4103, and an image generating unit 4104 having a configuration and a function are provided.
[2654]
However, in the fifth combined method, the real world estimation unit 4102 sets the image generation unit 4103 as long as the execution command from the execution command generation unit 4202 is not input unless the execution command from the execution command generation unit 4192 is input. The image generation unit 4104 does not execute the processing unless an execution command is input from the execution command generation unit 4192 or the execution command generation unit 4202.
[2655]
Also, in the fifth combination method, similarly to the third and fourth combination methods, although not shown, in order to output all the pixels collectively, for example, the image generation unit 4103 and the image generation unit 4104 An image synthesizing unit may be further provided at a subsequent stage.
[2656]
Next, the signal processing of the signal processing device (FIG. 327) to which the fifth combination technique is applied will be described with reference to the flowchart in FIG. 328.
[2657]
Here, as in the case of the third and fourth combined methods, the data continuity detecting unit 4101 detects the angle (the continuity direction (space direction) at the target position of the signal of the real world 1 (FIG. 1)). ) And an X direction (a direction parallel to a predetermined side of the detection element of the sensor 2 (FIG. 1)) which is one direction in the spatial direction) is calculated by the least square method, and the calculated angle is calculated as a data constant. Suppose it is output as gender information.
[2658]
Also, here, as in the case of the third combined method, the data continuity detecting unit 4101 also calculates the estimation error (error of the least squares method) that is calculated when calculating the angle in the first manner. It is assumed that the information is output as area specifying information.
[2659]
Further, here, as in the case of the fourth combination method, it is assumed that real-world estimating section 4102 outputs a mapping error (estimation error) as second region identification information.
[2660]
In FIG. 1, when a signal of the real world 1 is incident on the sensor 2, an input image is output from the sensor 2.
[2661]
In FIG. 327, this input image is input to each of data continuity detecting section 4101, real world estimating section 4102, and image generating section 4104.
[2662]
Therefore, in step S4221 in FIG. 328, the data continuity detecting unit 4101 detects an angle corresponding to the direction of continuity based on the input image and calculates an estimation error. The detected angle is supplied to each of the real world estimation unit 4102 and the image generation unit 4103 as data continuity information. The calculated estimation error is supplied to the area detection unit 4191 as first area specifying information.
[2663]
The processing in step S4221 is basically the same as the processing in step S4181 (FIG. 324) described above.
[2664]
Further, as described above, at this point in time (unless an execution command is supplied from the execution command generation unit 4192), neither the real world estimation unit 4102 nor the image generation unit 4104 executes the processing.
[2665]
In step S4222, the region detection unit 4191 determines the pixel of interest (the data continuity detection unit 4101 determines the pixel of interest in the input image) When the angle is detected, an area of the pixel of interest) is detected, and the detection result is supplied to the execution command generation unit 4192. The processing in step S4222 is basically the same as the processing in step S4182 (FIG. 324) described above.
[2666]
When the detection result of the region detection unit 4181 is supplied to the execution command generation unit 4192, in step S4223, the execution command generation unit 4192 determines whether the detected region is a steady region. Note that the processing in step S4223 is basically the same as the processing in step S4183 (FIG. 324) described above.
[2667]
If it is determined in step S4223 that the detected area is not a steady area (is an unsteady area), the execution command generation unit 4192 supplies an execution command to the image generation unit 4104. Then, in step S4224, the image generation unit 4104 executes “execution processing of the classification adaptive processing” to generate a first pixel (an HD pixel in the target pixel (SD pixel of the input image)), and in step S4225. , The first pixel generated by the classification adaptive processing is output to the outside as an output image.
[2668]
The processing in step S4224 is basically the same as the processing in step S4184 (FIG. 324) described above. That is, the flowchart in FIG. 319 is also a flowchart for explaining the details of the processing in step S4186. The processing in step S4225 is basically the same as the processing in step S4185 (FIG. 324) described above.
[2669]
On the other hand, when it is determined in step S4223 that the detected area is the steady area, the execution command generation unit 4192 supplies the execution command to the real world estimation unit 4102. Then, in step S4226, the real world estimating unit 4102 estimates the signal of the real world 1 based on the angle detected by the data continuity detecting unit 4101 in the process of step S4221, and estimates the estimation error (mapping error). Is calculated. The estimated signal of the real world 1 is supplied to the image generation unit 4103 as real world estimation information. The calculated estimation error is supplied to the area detection unit 4201 as second area specifying information.
[2670]
The processing in step S4226 is basically the same as the processing in step S4202 (FIG. 326) described above.
[2671]
Further, as described above, at this time (unless an execution command is supplied from the execution command generation unit 4192 or the execution command generation unit 4202), neither the image generation unit 4103 nor the image generation unit 4104 executes the processing.
[2672]
In step S4227, the region detection unit 4201 determines the target pixel of the input image (the data continuity detection unit 4101 determines the angle based on the estimation error (the supplied second region identification information) calculated by the real world estimation unit 4102). Is detected, the region of the pixel of interest) is detected, and the detection result is supplied to the execution command generation unit 4202. The processing in step S4227 is basically the same as the processing in step S4203 (FIG. 326) described above.
[2673]
When the detection result of the region detection unit 4201 is supplied to the execution command generation unit 4202, in step S4228, the execution command generation unit 4202 determines whether the detected region is a steady region. The processing in step S4228 is basically the same as the processing in step S4204 (FIG. 326) described above.
[2674]
If it is determined in step S4228 that the detected area is not a steady area (non-steady area), the execution command generation unit 4202 supplies an execution command to the image generation unit 4104. Then, in step S4224, the image generation unit 4104 executes “execution processing of the classification adaptive processing” to generate a first pixel (an HD pixel in the target pixel (SD pixel of the input image)), and in step S4225. , The first pixel generated by the classification adaptive processing is output to the outside as an output image.
[2675]
Note that the processing in step S4224 in this case is basically the same as the processing in step S4205 (FIG. 326) described above. Further, the processing in step S4225 in this case is basically the same as the processing in step S4206 (FIG. 326) described above.
[2676]
On the other hand, when it is determined in step S4228 that the detected area is the steady area, the execution command generation unit 4202 supplies the execution command to the image generation unit 4103. Then, in step S4229, the image generation unit 4103, based on the signal of the real world 1 estimated by the real world estimation unit 4102 (and the data continuity information from the data continuity detection unit 4101 as necessary), A second pixel (HD pixel) in an area detected by the area detection unit 4201 (that is, a target pixel (SD pixel) of the input image) is generated. Then, in step S4230, image generating section 4103 outputs the generated second pixel to the outside as an output image.
[2677]
The processing in steps S4229 and S4230 is basically the same as the processing in steps S4207 and S4208 (FIG. 326) described above.
[2678]
When the first pixel or the second pixel is output as an output image (after the processing in step S4225 or step S4230), it is determined in step S4231 whether or not processing of all pixels has been completed. If it is determined that the process has not been completed, the process returns to step S4221. That is, the processing of steps S4221 to S4231 is repeated until the processing of all pixels is completed.
[2679]
If it is determined in step S4231 that the processing for all pixels has been completed, the processing ends.
[2680]
As described above, the combined method has been described as an example of the embodiment of the signal processing device 4 (FIG. 1) of the present invention with reference to FIGS. 315 to 328.
[2681]
As described above, in the combined method, a device (or a program or the like) for performing other signal processing that does not use stationarity is added to the signal processing device of the present invention having the configuration shown in FIG.
[2682]
In other words, in the combined method, the signal processing device (or the program or the like) of the present invention having the configuration shown in FIG. 3 is added to the conventional signal processing device (or the program or the like).
[2683]
That is, in the combined method, for example, the steady area detection unit 4105 in FIG. 315 or FIG. 321 projects the optical signal of the real world 1 and projects the image data ( For example, in the input image of FIG. 315 or 321), an area having the continuity of the image data (for example, the steady area described in step S4106 of FIG. 318 or step S4166 of FIG. 322) is detected.
[2684]
In addition, the real world estimating unit 4102 in FIGS. 315 and 321 uses the continuity of image data in which a part of the continuity of the optical signal in the real world 1 is missing to determine the optical signal The optical signal is estimated by estimating the stationarity.
[2685]
Further, for example, the data continuity detecting unit 4101 in FIGS. 315 and 321 detects the image data in the image data in which the optical signal of the real world 1 is projected and the continuity of the optical signal of the real world 1 is partially missing. (For example, the angle described in step S4102 in FIG. 318 or step S4162 in FIG. 322). In this case, for example, the steady area detecting unit 4105 in FIG. 315 or FIG. 321 detects an area having the stationarity of the image data based on the angle, and the real world estimating unit 4102 determines the missing The optical signal is estimated by estimating the continuity of the optical signal of the real world 1 obtained.
[2686]
However, in FIG. 315, the steady area detection unit 4105 determines whether the error between the model that is stationary along the angle and the input image (that is, for example, the area identification information in the figure and the processing in step S4102 in FIG. 318). An area having continuity of the data of the input image is detected based on the estimation error calculated by (1).
[2687]
On the other hand, in FIG. 321, the constant region detection unit 4105 is provided after the real world estimation unit 4102, and calculates the optical signal of the real world 1 corresponding to the input image, which is calculated by the real world estimation unit 4102. The error between the represented real-world model and the input image (that is, for example, the estimation error (mapping error) of the real-world signal, which is the area identification information in the figure and is calculated in the process of step S4163 in FIG. 318). Based on this, the real-world model estimated by the real-world estimating unit 4102, that is, the image output from the image generating unit 4103 is selectively output (for example, the selector 4112 in FIG. 321 selects the steps S4166 to S4168 in FIG. 322). Perform the process of).
[2688]
315 and FIG. 321 have been described above, but the same applies to FIGS. 323, 325, and 327.
[2689]
Therefore, in the combined method, for a portion of the real world 1 signal where the stationarity exists (the area having the stationarity of the image data), an apparatus corresponding to the signal processing apparatus having the configuration of FIG. Program, etc.) performs signal processing, and a signal processing device (or program, etc.) can perform signal processing on a portion of the real world 1 signal where there is no clear continuity. Become. As a result, it becomes possible to output image data closer to the signal of the real world 1 (FIG. 1) than any of the conventional signal processing device and the signal processing of the present invention having the configuration of FIG.
[2690]
Next, an example of generating an image directly from the data continuity detecting unit 101 will be described with reference to FIGS.
[2691]
The data continuity detection unit 101 in FIG. 329 is obtained by adding an image generation unit 4501 to the data continuity detection unit 101 in FIG. The image generation unit 4501 obtains a coefficient of the approximate function f (x) of the real world output from the real world estimation unit 802 as real world estimation information, and reintegrates each pixel based on the coefficient to obtain an image. Is generated and output.
[2692]
Next, the process of detecting the continuity of the data in FIG. 329 will be described with reference to the flowchart in FIG. Steps S4501 to S4504 and steps S4506 to S4511 of the flowchart of FIG. 330 are the same as steps S801 to S810 of the flowchart of FIG. 166, and a description thereof will be omitted.
[2693]
In step S4504, the image generation unit 4501 re-integrates each pixel based on the coefficient input from the real world estimation unit 802, and generates and outputs an image.
[2694]
Through the above processing, the data continuity detecting unit 101 can output not only the region information but also an image (consisting of pixels generated based on the real world estimation information) used for the region determination.
[2695]
As described above, in the data continuity detection unit 101 of FIG. 329, the image generation unit 4501 is provided. That is, the data continuity detecting unit 101 in FIG. 329 can generate an output image based on the continuity of the data of the input image. Therefore, the apparatus having the configuration shown in FIG. 329 is not regarded as an embodiment of the data continuity detection unit 101, but as another embodiment of the signal processing apparatus (image processing apparatus) 4 in FIG. You can also.
[2696]
Further, in the signal processing device to which the above-described combination technique is applied, a device having a configuration shown in FIG. 329 as a signal processing unit that performs signal processing on a portion of the real world 1 signal where stationarity exists. (That is, a signal processing device having the same function and configuration as the data continuity detecting unit 101 in FIG. 329) can also be applied.
[2697]
Specifically, for example, in the signal processing device of FIG. 315 to which the first combination method is applied, a signal processing unit that performs signal processing on a portion of the real world 1 signal where stationarity exists is provided. , A data continuity detecting unit 4101, a real world estimating unit 4102, and an image generating unit 4103. Although not shown, a signal processing device (image processing device) having the configuration shown in FIG. 329 can be applied instead of the data continuity detection unit 4101, the real world estimation unit 4102, and the image generation unit 4103. . In this case, the comparison unit 804 in FIG. 329 supplies the output to the region detection unit 4111 as the region identification information, and the image generation unit 4501 supplies the output image (second pixel) to the selector 4112. become.
[2698]
In the above, an example has been described in which, in processing an image, the real world is estimated by processing image data acquired by the sensor 2 using the integration effect, and image processing in accordance with the real world is performed. .
[2699]
However, the optical signal incident on the sensor 2 is actually incident via an optical system such as a lens provided immediately before the sensor 2. Therefore, in order to process the image by estimating the real world from the image acquired by the sensor 2, it is necessary to consider the influence of the optical system.
[2700]
FIG. 331 is a diagram illustrating a configuration example of an optical system (optical block 5110) provided in a preceding stage of the sensor 2.
[2701]
An optical signal in the real world is incident on an IR cut filter 5102 via a lens 5101 of an optical block 5110. The IR cut filter removes the infrared light component from the frequency components of the light that can be received by the CCD 5104 (corresponding to the sensor 2). By this processing, extra light that cannot be recognized by human eyes is removed. Further, the optical signal passes through an IR cut filter 5102, and then enters an OLPF (Optical Low Pass Filter) 5103.
[2702]
The OLPF 5103 smoothes a high-frequency optical signal that changes in a range equal to or smaller than the pixel area of the CCD 5104, and reduces the variation in the amount of light incident within the area of one pixel of the CCD 5104.
[2703]
Therefore, in order to consider the influence of the optical block 5110, it is necessary to consider the influence of the processing performed on each of the IR cut filter 5102 and the OLPF 5103. Incidentally, the IR cut filter 5102 and the OLPF 5103 are, as shown in FIG. 332, an integrated filter 5112, and the attachment and detachment of the filter 5102 and the OLPF 5103 may be of an integrated type. In addition, for example, as shown in FIG. 332, the influence of the IR cut filter 5102 can be suppressed by providing a filter 5111 that transmits only light of a short wavelength.
[2704]
Therefore, here, image processing in consideration of the influence of the OLPF 5103 will be described.
[2705]
The OLPF 5103 is provided with two crystals 5121a and 5121a and a phase plate 5122 so as to be interposed between the two crystals 5121a and 5121b as shown in FIG.
[2706]
As shown in FIG. 334, each of the quartz plates 5121a and 5121b has a thickness t, and a crystal axis is set at a predetermined angle with respect to the direction in which light enters. When light is incident on the quartz plate 5121a at this angle in the z direction, an ordinary ray is separated in the same direction as the incident light, and an extraordinary ray is separated at a predetermined angle with respect to the incident light. The light is emitted to the subsequent crystal 5121b at a predetermined interval d (in the x direction). At this time, the quartz plate 5121a extracts two waveforms of light that are different from each other by 90 degrees from the incident light, and extracts an ordinary ray (for example, a waveform in the y direction) L1 and an extraordinary ray L2 (for example, a waveform in the x direction). And emitted.
[2707]
The phase plate 5122 (not shown in FIG. 334) transmits the waveforms of the ordinary light beam and the extraordinary light beam, and generates light having a waveform perpendicular to the waveform. The light is emitted to the plate 5121b. That is, in this case, since the incident ordinary ray has a waveform in the y direction, the phase plate 5122 transmits the waveform of the incident ordinary ray and generates a waveform in the x direction. Since the incident light has a waveform in the x-direction, the incident extraordinary ray itself is transmitted, and a waveform in the y-direction that is different from the waveform by 90 degrees is generated and emitted to the crystal plate 5121b.
[2708]
The crystal plate 5121b separates each of the incident ordinary ray L1 and extraordinary ray L2 into ordinary rays and extraordinary rays (L1 and L3, and L2 and L4) at the incident position. It emits as follows. As a result, as shown in FIG. 335, for example, the light L1 incident from the back side of the paper is separated into lights L1 and L2 by the crystal 5121a, and further separated into L1 and L3 and L2 and L4 by the crystal 5121b. Each is separated. At this time, since the energy of the light is halved by one separation, the OLPF 5103 separates the incident light by 25% each in the horizontal direction and the vertical direction by a distance d (the OLPF movement amount d). (Also referred to as). As a result, in each pixel of the CCD 5104, light in which light of four different pixels is superimposed by 25% is received and converted into a pixel value, and image data is generated.
[2709]
The OLPF movement amount d is obtained by the following equation (248).
[2710]
d = t × (n_e ²-N_o ²) / (2 × n_e× n_o) ... (248)
[2711]
As described above, the OLPF 5103 may not only disperse the incident light into four pixels but also disperse the incident light into other pixels by using a large number of crystals.
[2712]
As described above, the light incident on the sensor 2 is changed by the optical block 5110 into a light different from that in the real world. Therefore, processing of image data in which the characteristics of the optical block 5110 described above are considered (here, in particular, the characteristics of the OLPF 5103 are considered) will be described.
[2713]
FIG. 336 is a block diagram illustrating a configuration of a signal processing device configured to process image data in consideration of the characteristics of the above-described optical block 5110. The same components as those described with reference to FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
[2714]
The OLPF removing unit 5131 converts the input image into an image before being incident on the optical block 5110 (estimation) in consideration of the characteristics of the OLPF 5103 among the above-described optical blocks 5110 included in the input image. ), And outputs it to the data continuity detecting unit 102 and the real world estimating unit 102.
[2715]
Next, the configuration of the OLPF removing unit 5131 in FIG. 336 will be described with reference to FIG.
[2716]
The class tap extracting unit 5141 determines, for each pixel of the input image data, a plurality of pixels at a corresponding position (for example, a horizontal direction, a vertical direction, or a vertical, horizontal, or vertical direction including a target pixel as shown in FIG. 338). The pixel value of a total of 9 pixels adjacent in the direction.In FIG. 338, a double circle is a target pixel, and other pixels are indicated by circles). 5142.
[2717]
The feature value calculation unit 5142 calculates a feature value based on the pixel value of the class tap input from the class tap extraction unit 5141, and outputs the calculated feature value to the class classification unit 5143. For example, the feature amount is a sum of pixel values of each pixel of the class tap, a sum of differences between adjacent pixels, or the like.
[2718]
The class classification unit 5143 determines the class (class code) of each pixel based on the feature amount input from the feature amount calculation unit 5142, extracts information of the determined class to the prediction tap extraction unit 5145, and By controlling the memory 5144, a prediction coefficient corresponding to the determined class is supplied to the pixel value calculation unit 5146. This class is set, for example, according to a range of the sum, when the feature amount is a sum of differences between adjacent pixels. For example, a class code is set such as class 1 when the sum is 0 to 10, and class 2 when the sum is 11 to 20.
[2719]
The prediction coefficient for each class code based on the feature amount stored in the coefficient memory 5144 is calculated and stored in advance by a learning device 5150 described later with reference to FIG.
[2720]
The prediction tap extraction unit 5145 calculates pixel values of a plurality of pixels (which may be the same as the class taps) serving as prediction taps corresponding to the target pixel of the input image, based on the class information input from the class classification unit 5143. It is extracted and output to the pixel value calculation unit 5146. The prediction tap is set for each class. For example, in the case of class 1, only the target pixel is used, and in the case of class 2, 3 × 3 pixels centering on the target pixel are used. In the case of (5), there are 5 pixels × 5 pixels around the pixel of interest.
[2721]
The pixel value calculation unit 5146 calculates a pixel value based on the pixel value of each pixel serving as a prediction tap input from the prediction tap extraction unit 5145 and the value of the prediction coefficient supplied from the coefficient memory 5144. An output image is generated and output based on the pixel values. The pixel value calculation unit 5146 obtains (predicts and estimates) pixels of the predicted image by performing, for example, a product-sum operation represented by the following equation (249).
[2722]
[Equation 198]

[2723]
In Expression (249), q ′ represents a pixel of the predicted image (image predicted from the student image). c_i(I is an integer value of 1 to n) represents each of the prediction taps. Also, d_iRepresents each of the prediction coefficients.
[2724]
As described above, the OLPF removing unit 5131 predicts and estimates, from the input image, an image from which the influence of the OLPF has been removed.
[2725]
Next, signal processing by the signal processing device described with reference to FIG. 336 will be described with reference to the flowchart in FIG. 339. Note that the processing of steps S5102 to S5104 in the flowchart of FIG. 339 is the same as the processing described with reference to FIG. 40, and a description thereof will be omitted.
[2726]
In step S5101, the OLPF removing unit 5131 executes an OLPF removing process.
[2727]
Here, the process of removing the OLPF will be described with reference to the flowchart of FIG.
[2728]
In step S5011, the class tap extracting unit 5141 extracts a class tap for each pixel of the input image, and outputs the pixel value of each pixel of the extracted class tap to the feature amount calculating unit 5142.
[2729]
In step S5012, the feature value calculation unit 5142 calculates a predetermined feature value based on the pixel value of each pixel of the class tap input from the class tap extraction unit 5141, and outputs the calculated feature value to the class classification unit 5143.
[2730]
In step S5013, the class classification unit 5143 classifies the class based on the feature amount input from the feature amount calculation unit 5142, and outputs the classified class code to the prediction tap extraction unit 5145.
[2731]
In step S5014, the prediction tap extraction unit 5145 extracts the pixel values of a plurality of pixels that become prediction taps from the input image based on the information of the class code input from the class classification unit 5143, and calculates a pixel value calculation unit 5146. Output to
[2732]
In step S5015, the class classification unit 5143 controls the coefficient memory 5144 to cause the pixel value calculation unit 5146 to read a corresponding prediction coefficient according to the classified class (class code).
[2733]
In step S5016, the pixel value calculation unit 5146 calculates a pixel value based on the pixel value of each pixel serving as a prediction tap input from the prediction tap extraction unit 5145 and the prediction coefficient supplied from the coefficient memory 5144.
[2732]
In step S5017, the pixel value calculation unit 5146 determines whether or not pixel values have been calculated for all pixels. If it is determined that pixel values have not been calculated for all pixels, the process proceeds to step S5011. Return. That is, the processes of steps S5011 to S5017 are repeated until it is determined that the pixel values have been calculated for all the pixels.
[2735]
If it is determined in step S5017 that the pixel values have been calculated for all the pixels, the pixel value calculation unit 5146 outputs the calculated image.
[2736]
According to the above, it is possible to remove the influence on the image generated by the OLPF 5103 generated by the optical block 5110.
[2737]
Next, with reference to FIG. 341, a learning device 5150 that learns prediction coefficients stored in advance in the coefficient memory 5144 of FIG. 337 will be described.
[2738]
The learning device 5150 uses a high-resolution image as an input image to generate a student image and a teacher image composed of standard resolution images, and executes a learning process. Hereinafter, the image of the standard resolution is appropriately referred to as an SD (Standard Definition) image. Further, pixels constituting the SD image are appropriately referred to as SD pixels. On the other hand, a high-resolution image is hereinafter referred to as an HD (High Definition) image as appropriate. In addition, pixels constituting an HD image are appropriately referred to as HD pixels.
[2739]
Further, the class tap extracting unit 5162, the feature amount calculating unit 5163, and the prediction tap extracting unit 5165 of the learning unit 5152 include the class tap extracting unit 5141, the feature amount calculating unit 5142, and the prediction tap extracting unit 5131 of the OLPF removing unit 5131 in FIG. Since it is the same as the tap extracting unit 5145, its description is omitted.
[2740]
The student image generation unit 5151 converts the HD image, which is the input image, into an SD image in consideration of the OLPF 5103, generates a student image optically affected by the OLPF 5103, and outputs the generated student image to the image memory 5161 of the learning unit 5152. I do.
[2741]
The image memory 5161 of the learning unit 5152 temporarily stores the student image including the input SD image, and then sequentially outputs the student images to the class tap extraction unit 5162 and the prediction tap extraction unit 5165.
[2742]
The class classification unit 5164 outputs the classification result (class code described above) of the class for each pixel input from the feature amount extraction unit 5163 to the prediction tap extraction unit 5165 and the learning memory 5167.
[2743]
The addition operation unit 5166 generates a normal equation, which will be described later, from the pixel value of each pixel of the prediction tap input from the prediction tap extraction unit 5165 and the pixel value of the pixel input from the teacher image generation unit 5153. Are generated by adding the summation terms required for each of them, and output to the learning memory 5167.
[2744]
The learning memory 5167 stores the class code supplied from the class classification unit 5164 and the addition result input from the addition operation unit 5166 in association with each other, and supplies the result to the normal equation operation unit 5168 as appropriate.
[2745]
The normal equation calculation unit 5168 generates a normal equation based on the class code stored in the learning memory 5167 and the addition result, calculates the normal equation to obtain each prediction coefficient, and obtains a coefficient memory 5154. Is stored in association with the class code. The prediction coefficients stored in the coefficient memory 5154 are stored in the coefficient memory of the OLPF removing unit 5131 in FIG.
[2746]
The normal equation operation unit 5168 will be described in more detail.
[2747]
In the above equation (249), before learning, the prediction coefficient d_iAre undetermined coefficients. Learning is performed by inputting pixels of a plurality of teacher images for each class code. There are m pixels of the teacher image corresponding to the predetermined class code, and each of the pixels of the m teacher images is represented by q_kWhen (k is an integer from 1 to m), the following equation (250) is set from equation (249).
[Equation 199]

[2748]
That is, equation (250) calculates the pixel q of the predetermined teacher image by calculating the right side._kCan be estimated and estimated. Note that in equation (250), e_kRepresents an error. That is, the pixel q of the predicted image (the image obtained by performing the prediction operation from the student image), which is the operation result on the right side,_k’Is the pixel q of the actual teacher image_kDoes not exactly coincide with the predetermined error e_kincluding.
[2749]
Therefore, in equation (250), for example, a prediction coefficient d that minimizes the sum of squares of error ek_iMay be obtained by learning.
[2750]
Specifically, for example, pixels q of the teacher image are set so that m> n._kCan be collected by learning, the prediction coefficient d_iIs uniquely determined.
[2751]
That is, the prediction coefficient d on the right side of equation (250)_iIs obtained by the least square method, is represented by the following equation (251).
[2752]
[Equation 200]

[2753]
Therefore, if the normal equation represented by the equation (251) is generated, the prediction coefficient d is solved by solving the normal equation._iIs uniquely determined.
[2754]
Specifically, when each of the matrices of the normal equation represented by the equation (251) is defined as in the following equations (252) to (254), the normal equation is represented by the following equation (255). expressed.
[2755]
(Equation 201)

[2756]
[Equation 202]

[2775]
[Equation 203]

[2758]
[Equation 204]

[2759]
As shown in equation (253), the matrix D_MATIs a prediction coefficient d to be obtained._iIt is. Therefore, in equation (255), the matrix C on the left side_MATAnd the matrix Q on the right side_MATIs determined, the matrix D_MAT(Ie, the prediction coefficient d_i) Can be calculated.
[2760]
More specifically, as shown in equation (252), the matrix C_MATIs a prediction tap c_ikCan be calculated if is known. Prediction tap c_ikIs extracted by the prediction tap extraction unit 5165, so that the addition operation unit 5166 calculates the prediction tap c supplied from the prediction tap extraction unit 5165._ikMatrix C using each of_MATCan be added and calculated.
[2761]
Also, as shown in equation (254), the matrix Q_MATIs a prediction tap c_ikAnd the pixel q of the teacher image_kCan be calculated if is known. Prediction tap c_ikIs the matrix C_MATAre the same as those included in each component of_kIs the prediction tap c_ikAre SD pixels of the teacher image with respect to the target pixel (SD pixel of the student image) included in. Accordingly, the addition operation unit 5166 calculates the prediction tap c supplied from the prediction tap extraction unit 5165._ikAnd the matrix Q using the teacher image_MATCan be added and calculated.
[2762]
In this way, the addition operation unit 5166 calculates the matrix C_MATAnd matrix Q_MATAre calculated, and the calculation result is stored in the learning memory 5167 in association with the class code.
[2763]
The normal equation calculation unit 5168 generates a normal equation corresponding to the class code stored in the learning memory 5167, and calculates a prediction coefficient d which is each component of the matrix DMAT of the above-described equation (255)._iIs calculated.
[2764]
Specifically, the above-described normal equation of Expression (255) can be modified as in the following Expression (256).
[2765]
[Equation 205]

[2766]
In equation (256), the matrix D on the left side_MATIs the prediction coefficient d to be obtained_iIt is. Also, the matrix C_MATAnd matrix Q_MATAre supplied from the learning memory 5167. Therefore, the normal equation calculation unit 5168 calculates the matrix C corresponding to the predetermined class code stored in the learning memory._MATAnd matrix Q_MATAre supplied, the matrix operation on the right side of the equation (255) is performed to obtain the matrix D_MATIs calculated, and the calculation result (prediction coefficient d_i) Is stored in the coefficient memory 5154 in association with the class code.
[2767]
Next, the student image and the teacher image used for learning will be described based on the relationship between the OLPF removing unit 5131 and the learning unit 5131 in FIG.
[2768]
As shown in FIG. 342, the learning unit 5152 uses an image filtered by the OLPF 5103 (hereinafter, referred to as an image with OLPF) and an image not filtered by the OLPF 5103 (hereinafter, referred to as an image without OLPF). To obtain a prediction coefficient by learning.
[2770]
Then, the OLPF removing unit 5131 converts the image with the OLPF into an image (hereinafter, referred to as an OLPF removed image) from which the effect of the filtering process by the OLPF 5103 has been removed, using the prediction coefficient obtained in advance by the learning unit 5152 through learning. (Process described with reference to the flowchart in FIG. 339 described above).
[2770]
That is, as shown in FIG. 343, the learning processing performed by the learning unit 5152 is executed using a learning pair including a teacher image that is an image without OLPF and a student image that is an image with OLPF.
[2771]
For this reason, an image obtained when the light incident on the sensor 2 with the OLPF is received by the sensor 2 and an image received by the sensor 2 without the OLPF are generated as a learning pair. In practice, it is extremely difficult to accurately align and use each image in pixel units.
[2772]
Therefore, the learning device 5110 uses a high-resolution image as an input image to generate an image with OLPF and an image without OLPF by simulation.
[2773]
Here, a method of generating a teacher image by the teacher image generating unit 5153 in the learning device 5110 and a method of generating a student image by the student image generating unit 5151 will be described.
[2774]
FIG. 344 is a block diagram illustrating a detailed configuration of each of the teacher image generation unit 5153 and the student image generation unit 5151 of the learning device 5110.
[2775]
The 1/16 average processing unit 5153a of the teacher image generation unit 5153 calculates an average pixel value of a total of 16 pixel values of 4 × 4 pixels in the entire range of the high-resolution image as the input image, and calculates the average pixel value of the 16 pixels. A teacher image is generated and output by replacing all pixel values with the obtained average pixel value. By performing such processing, the number of pixels of the HD image is apparently 1/16 of the number of pixels (the number of pixels is 1/4 in each of the horizontal direction and the vertical direction).
[2776]
That is, the 1/16 averaging unit 5153a regards each pixel of the HD image as an input image as light incident on the sensor 2, and regards a range of 4 × 4 pixels of the HD image as one pixel of the SD image. As a result, a kind of spatial integration effect is generated, and an image (image without OLPF) generated by the sensor 2 which is not affected by the OLPF 5103 is virtually generated.
[2777]
The OLPF simulation processing unit 5151a of the student image generation unit 5151 disperses the pixel value of each pixel by 25% for each pixel of the input HD image, as described with reference to FIGS. 334 and 335. The superimposition simulates the action caused by the OLPF 5103 when each pixel of the HD image is viewed as light.
[2778]
The 1/16 averaging unit 5135b is the same as the 1/16 averaging unit 5153a of the teacher image generation unit 5153, and calculates the average pixel value of a total of 16 pixels of 4 pixels × 4 pixels to all the 16 pixel values. To generate a student image of the SD image.
[2779]
More specifically, the OLPF simulation processing unit 5151a divides the value obtained by reducing the pixel value of the pixel P1 at the incident position to 1/4 into each of the pixels P1 to P4, as shown in FIG. Is performed on all the pixels, and the pixel values are obtained by superimposing the dispersed values on the respective pixels. By this processing, for example, the pixel P4 in FIG. 345 has an average pixel value of the pixels P1 to P4.
[2780]
Here, in FIG. 345, each square corresponds to one pixel of the HD image. Further, 4 pixels × 4 pixels surrounded by a dotted line correspond to one pixel of the SD image.
[2781]
That is, in FIG. 345, the distance to the pixels P1 and P2, the distance to the pixels P1 and P3, and the distance to the pixels P2 and P4 correspond to the movement amount d by the OLPF 5103 shown in FIG.
[2782]
The distance between the pixels P1 and P2, the distance between the pixels P1 and P3, and the distance between the pixels P2 and P4 are two pixels, as shown in FIG. 346, because the actual OLPF movement amount d by the OLPF 5103 is This is because the actual pitch of the pixels of the CCD 5104 (the width in the horizontal direction and the vertical direction between the pixels) is 6.45 μm and the relative ratio is 1.93, whereas the actual ratio is 3.35 μm. . That is, by setting the OLPF movement amount to 2 pixels and enlarging the pixel pitch to 4 pixels as surrounded by the dotted line in the figure, the relative ratio becomes 2.0. In a close state, a phenomenon caused by the OLPF 5103 before being incident on the sensor 2 can be simulated.
[2783]
Similarly, as shown in FIG. 346, the OLPF movement amount may be set to 4 pixels and the pixel pitch may be set to 8 pixels. If the OLPF movement amount and the pixel pitch are set while maintaining this ratio, Other OLPF movement amounts and pixel pitches may be used. Furthermore, even if the OLPF movement amount is set to 6 pixels and the pixel pitch is set to 11 pixels, the relative ratio can be 1.83, so that a processing simulation using this ratio may be performed.
[2784]
When the teacher image generation unit 5153 generates an image as illustrated in FIG. 347, the student image generation unit 5151 generates an image as illustrated in FIG. 348. In both cases, the 4 × 4 pixels of the HD image are displayed as substantially one pixel of the SD image, and thus the images are mosaic-like. However, the teacher image shown in FIG. The edge portion shown is clearer than the student image shown in FIG. 348, and an image in which the OLPF 5103 has an influence on the student image is generated.
[2785]
Next, the learning process will be described with reference to the flowchart in FIG.
[2786]
In step S5031, the OLPF simulation processing unit 5151a of the student image generation unit 5151 divides the pixel value of each pixel of the input HD image into four pixels by 25% as described with reference to FIG. A pixel value is generated by superimposing the pixel values distributed at the pixel positions, the operation of the OLPF 5103 is simulated, and the processing result is output to the 1/16 average processing unit 5151b.
[2787]
In step S5032, the 1/16 average processing unit 5151b calculates an average pixel value of the OLPF simulation processed image input from the OLPF simulation processing unit 5151a in units of 4 pixels × 4 pixels in a total of 16 pixels. The pixel values of the pixels are sequentially replaced with the average pixel value to generate a student image that has become an apparent SD image, and outputs the generated student image to the image memory 5161 of the learning unit 5152.
[2788]
In step S5033, the class tap extracting unit 5162 extracts the pixel value of the pixel that becomes the class tap of the target pixel from the image data stored in the image memory 5161, and outputs the extracted pixel value to the feature amount calculating unit 5163. I do.
[2789]
In step S5034, the feature amount extraction unit 5163 calculates a feature amount corresponding to the pixel of interest using the pixel value information of the pixel of the class tap input from the class tap extraction unit 5162, and outputs the calculated feature amount to the class classification unit 5164. I do.
[2790]
In step S5035, the class classification unit 5164 classifies the class corresponding to the pixel serving as the target pixel based on the input feature amount, determines a class code, outputs the class code to the prediction tap extraction unit 5165, and outputs To memorize.
[2791]
In step S5036, the prediction tap extracting unit 5165 calculates the pixel value information of the pixel of the prediction tap corresponding to the target pixel of the image data stored in the image memory 5161 based on the class code input from the class classification unit 5164. It is extracted and output to the addition operation unit 5166.
[2792]
In step S5037, the 1/16 average processing unit 5153a of the teacher image generation unit 5153 calculates the average pixel value of the HD image as the input image in units of 4 pixels × 4 pixels in total of 16 pixels, and calculates the average pixel value. By replacing the pixel values with the pixel values of the 16 pixels, an OLPF-free image (apparent SD image) not affected by the OLPF 5103 is generated and output to the addition operation unit 5166.
[2793]
In step S5038, the addition operation unit 5166 calculates the pixel value of the pixel of the prediction tap input from the prediction tap extraction unit 5165 and the pixel value of each pixel of the teacher image input from the teacher image generation unit 5153, The summation value of each term of the normal equation is added, output to the learning memory 5167, and stored in association with the class code.
[2794]
In step S5039, the normal equation calculation unit 5168 determines whether or not the addition processing has been completed for all pixels of the input image. If it is determined that the addition processing has not been completed for all pixels, the processing is performed. , The process returns to step S5032, and the subsequent processes are repeated. That is, the processing of steps S5032 to S5039 is repeated until the addition processing is completed for all pixels.
[2795]
If it is determined in step S5039 that addition has been completed for all pixels, in step S5040, the normal equation calculation unit 5168 associates the addition with the class code based on the addition result stored in the learning memory 5167. A normal equation is calculated, and a prediction coefficient is obtained and output to the coefficient memory 5154.
[2796]
In step S5041, the normal equation calculation unit 5168 determines whether or not the calculation of the prediction coefficients of all the classes has been completed. If it is determined that the calculation of the prediction coefficients has not been completed for all the classes, the process proceeds to step S5041. It returns to S5040. That is, the process of step S5040 is repeated until the calculation of the prediction coefficients is completed for all classes.
[2797]
If it is determined in step S5041 that the calculation of the prediction coefficients has been completed for all the classes, the process ends.
[2798]
Through the above learning process, the OLPF removal unit 5131 copies the prediction coefficients stored in the coefficient memory 5154 to the coefficient memory 5144, and uses the prediction coefficients. It is possible to generate an image close to the real world image from which the processing effect has been removed.
[2799]
For example, by using the prediction coefficients thus obtained, the OLPF removing unit 5131 allows the image subjected to the filter processing by the OLPF 5103 (the image obtained by simulating the processing by the OLPF 5103) as shown in FIG. ) Is input, an image as shown in FIG. 350 is generated by the OLPF removal processing described with reference to the flowchart in FIG. 340.
[2800]
It can be seen that the image shown in FIG. 350 processed in this way is substantially the same as the image shown in FIG. 347 when compared with the input image without the filtering process by the OLPF 5103.
[2801]
As shown in FIG. 351, the effect of the OLPF is also removed by comparing the change in pixel value in the x direction at the same predetermined position in the y direction in the images of FIGS. 347, 348, and 350. It can be seen that the resulting image has a value closer to the image that did not provide the effect of the OLPF than the image that was filtered by the OLPF.
[2802]
Note that in FIG. 351, the solid line is a change in the pixel value corresponding to the image in FIG. 347 (the image without OLPF), the dotted line is the image in FIG. 348 (the image with OLPF), and the one-dot chain line is 350 is an image (OLPF-removed image) in FIG. 350.
[2803]
According to the above, image data in which a real-world optical signal is projected through a plurality of pixels each having a spatial integration effect via an optical low-pass filter is obtained, and the optical low-pass filter emits light in at least one-dimensional direction in the spatial direction. Since the optical signal incident on the optical low-pass filter is estimated in consideration of the fact that the signal is integrated in a dispersed manner, the real world from which the data was obtained is considered, and for the real world event, It is possible to obtain more accurate and more accurate processing results.
[2804]
In the above example, an example has been described in which the influence of the filtering process by the OLPF 5103 is removed at a stage preceding the data continuity detecting unit 101. However, the real world is estimated by the real world estimating unit 102 in consideration of the effect of the OLPF 5103. You may do so. Therefore, in this case, the configuration of the signal processing device is the configuration described with reference to FIG.
[2805]
FIG. 352 is a block diagram illustrating a configuration of the real world estimation unit 102 configured to estimate the real world in consideration of the influence of the OLPF 5103.
[2806]
As shown in FIG. 352, the real world estimation unit 102 includes a condition setting unit 5201, an input image storage unit 5202, an input pixel value acquisition unit 5203, an integral component calculation unit 5204, a normal equation generation unit 5205, and an approximation function generation unit. A unit 5206 is provided.
[2807]
The condition setting unit 5201 includes a pixel range (tap range) used for estimating the function F (x, y) corresponding to the pixel of interest, and an approximate function f (x, y), g (x, y). Set the order n.
[2808]
The input image storage unit 5202 temporarily stores the input image (pixel value) from the sensor 2.
[2809]
The input pixel value obtaining unit 5203 obtains an area of the input image corresponding to the tap range set by the condition setting unit 5201 from the input image stored in the input image storage unit 5202, and stores it in the input pixel value table. Is supplied to the normal equation generation unit 5205. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described. A specific example of the input pixel value table will be described later.
[2810]
By the way, as described with reference to FIGS. 344 and 345, the OLPF 5103 disperses the incident light into four points by the OLPF movement amount d. Accordingly, as shown in FIG. 353, each pixel on the image is generated by superimposing 25% of the pixel values of four points including its own position. In FIG. 353, points surrounded by dotted lines indicate points of four pixels different from each other, and indicate that 25% of each point is superimposed.
[2811]
From the above, as shown in FIG. 354, the approximate function g (x, y) indicating the distribution of light immediately before the sensor 2 is dispersed by the OLPF 5103 as shown in FIG. Using the approximation function f (x, y) to be approximated, a relational expression represented by the following expression (257) is obtained. In FIG. 354, each upwardly convex curve indicates the approximate function f (x, y), and after these are dispersed into four, the superimposed approximate function is g (x, y). is there.
[2812]

[2813]
The approximate function f (x, y) in the real world is represented by the following equation (258).
[Equation 206]

[2814]
Where w_iIndicates the coefficient of the approximation function, and s (= cot θ: θ is the angle of continuity) indicates the slope of continuity.
[2815]
Therefore, the approximation function g (x, y) indicating the light distribution immediately before the sensor 2 is represented by the following equation (259).
[2816]
[Equation 207]

As described above, the real world estimating unit 102 calculates the feature amount w of the approximate function f (x, y)._iIs calculated.
[2817]
Equation (259) can be expressed as in the following equation (260).
[2818]
[Equation 208]

[2819]
In equation (260), S_i(X-0.5, x + 0.5, y-0.5, y + 0.5) represents the integral component of the i-th term. That is, the integral component S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is as shown in the following equation (261).
[2820]
[Equation 209]

[2821]
The integral component calculation unit 5204 calculates the integral component S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is calculated.
[2822]
Specifically, the integral component S represented by equation (261)_i(X−0.5, x + 0.5, y−0.5, y + 0.5) can be calculated if the relative pixel position (x, y), the slope s, and the i of the i-th term are known. is there. Of these, the relative pixel position (x, y) is determined by the target pixel and the tap range, the variable s is cot θ, and the range of i is determined by the angle θ, and the range of i is determined by the order n.
[2823]
Therefore, the integral component calculation unit 5204 determines the integral component S based on the tap range and order set by the condition setting unit 5201 and the angle θ in the data continuity information output from the data continuity detection unit 101._i(X−0.5, x + 0.5, y−0.5, y + 0.5), and supplies the calculation result to the normal equation generation unit 5205 as an integral component table.
[2824]
The normal equation generation unit 5205 uses the input pixel value table supplied from the input pixel value acquisition unit 5203 and the integral component table supplied from the integral component calculation unit 5204 to convert the above equation (260) into a least square method. Is generated and output to the approximate function generating unit 5206 as a normal equation table. A specific example of the normal equation will be described later.
[2825]
The approximate function generation unit 5206 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 5205 by a matrix solution method, and thereby obtains the feature amount w of the above equation (259)._i(That is, the coefficient w of the approximation function f (x, y) which is a two-dimensional polynomial_i) Are calculated and output to the image generation unit 103.
[2826]
Next, with reference to the flowchart in FIG. 355, the real world estimation processing (the processing in step S102 in FIG. 40) in consideration of the influence of the OLPF 5103 will be described.
[2827]
For example, now the slope G_FIt is assumed that the optical signal of the real world 1 having the spatial direction continuity represented by is detected by the sensor 2 and is already stored in the input image storage unit 5202 as an input image corresponding to one frame. It is also assumed that the data continuity detecting unit 101 has already output the angle θ as data continuity information of the input image in the processing for detecting continuity in step S101 (FIG. 40).
[2828]
In this case, in step S5201, the condition setting unit 5201 sets conditions (tap range and order).
[2829]
For example, it is assumed that the tap range 5241 shown in FIG. 356 has been set and the fifth order has been set.
[2830]
That is, FIG. 356 is a diagram illustrating an example of the tap range. In FIG. 356, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2. The tap range 5241 represents a pixel group including a total of 20 pixels (20 squares in the figure) for 4 pixels in the X direction and 5 pixels in the Y direction.
[2831]
Further, as shown in FIG. 356, it is assumed that the target pixel is the second pixel from the left and the third pixel from the bottom of the tap range 5241 in the figure. Further, for each of the pixels, the relative pixel position (x, y) from the target pixel (the coordinate value of the target pixel coordinate system whose origin is the center (0, 0) of the target pixel) in FIG. It is assumed that a number 1 (1 is an integer value of any one of 0 to 19) as shown in FIG.
[2832]
Returning to FIG. 355, in step S5202, the condition setting unit 5201 sets a pixel of interest.
[2833]
In step S5203, the input pixel value acquisition unit 5203 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 5201, and generates an input pixel value table. That is, in this case, the input pixel value acquisition unit 5203 generates a table including 20 input pixel values P (l) as the input pixel value table.
[2834]
In this case, the relationship between the input pixel value P (l) and the above-described input pixel value P (x, y) is represented by the following expression (262). However, in equation (262), the left side represents the input pixel value P (l), and the right side represents the input pixel value P (x, y).
[2835]
[Equation 210]

[2836]
In step S5204, the integral component calculation unit 5204 performs integration based on the conditions (tap range and order) set by the condition setting unit 5201 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[2837]
In this case, as described above, the input pixel value is obtained as the value of the pixel number 1 such as P (l) instead of P (x, y). Integral component S of (261)_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is converted to the integral component S shown on the left side of the following equation (263)._iThe calculation is performed as a function of l such as (l).
[2838]
Si (l) = Si (x−0.5, x + 0.5, y−0.5, y + 0.5) (263)
[2839]
Specifically, in this case, the integral component S represented by the following equation (264)_i(L) is calculated.
[2840]
[Equation 211]

[2841]
In equation (264), the left side is the integral component S_i(L), and the right side represents the integral component Si (x-0.5, x + 0.5, y-0.5, y + 0.5). That is, in this case, since i is 0 to 5, 20 S₀(L), 20 S₁(L), 20 S₂(L), 20 S₃(L), 20 S₄(L), 20 S₅(L) 120 S in total_i(L) is calculated.
[2842]
More specifically, first, the integral component calculation unit 5204 calculates cotθ with respect to the angle θ supplied from the data continuity detection unit 101, and uses it as a variable s. Next, the integral component computing unit 5204 uses the computed variable s to calculate the 20 integral components S represented by the right side of the equation (264)._iEach of (x−0.5, x + 0.5, y−0.5, y + 0.5) is calculated for each of i = 0 to 5. That is, 120 integral components S_i(X−0.5, x + 0.5, y−0.5, y + 0.5) is calculated. Note that this integral component S_iIn the calculation of (x-0.5, x + 0.5, y-0.5, y + 0.5), the above equation (261) is used. Then, the integral component computing unit 5204 computes the 120 integral components S according to the equation (264)._i(X−0.5, x + 0.5, y−0.5, y + 0.5) is represented by the corresponding S_i(L) is converted to each of the 120 S_iGenerate an integral component table including (l).
[2843]
The order of the processing in step S5203 and the processing in step S5204 is not limited to the example of FIG. 355, and the processing in step S5204 may be performed first, or the processing in step S5203 and the processing in step S5204 may be performed simultaneously. May be done.
[2844]
Next, in step S5205, the normal equation generation unit 5205 generates the input pixel value table generated by the input pixel value acquisition unit 5203 in the process of step S5203 and the integration generated by the integral component calculation unit 5204 in the process of step S5204. A normal equation table is generated based on the component table.
[2845]
Specifically, in this case, the feature amount wi is calculated by the least square method using the above-described equation (260) (however, in equation (258), the integral component Si (x−0.5, x + 0) is calculated. .5, y-0.5, y + 0.5) uses Si (l) converted by equation (262), and the corresponding normal equation is expressed by the following equation (265). expressed.
[2846]
[Equation 212]

[2847]
In Expression (265), L represents the maximum value of the pixel numbers 1 in the tap range. n represents the order of the approximation function f (x) which is a polynomial. Specifically, in this case, n = 5 and L = 19.
[2848]
When the respective matrices of the normal equation represented by the equation (265) are defined as in the following equations (266) to (268), the normal equation is expressed as in the following equation (269).
[2849]
[Equation 213]

[2850]
[Equation 214]

[2851]
[Equation 215]

[2852]
216

[2853]
As shown in equation (267), the matrix W_MATIs a feature amount w to be obtained._iIt is. Therefore, in equation (269), the matrix S on the left side_MATAnd the matrix P on the right side_MATIs determined, the matrix W is_MATCan be calculated.
[2854]
Specifically, as shown in equation (266), the matrix S_MATAre the integral components S described above._iThe calculation can be performed in (l). That is, the integral component S_iSince (l) is included in the integral component table supplied from the integral component calculation unit 5204, the normal equation generation unit 5205 uses the integral component table to calculate the matrix S_MATCan be calculated.
[2855]
Also, as shown in equation (268), the matrix P_MATAre integral components S_i(L) and the input pixel value P (l) can be calculated. That is, the integral component S_i(L) is a matrix S_MATSince the input pixel value P (l) is included in the input pixel value table supplied from the input pixel value acquisition unit 5203, the normal equation generation unit 5205 denotes a matrix P using an integral component table and an input pixel value table._MATCan be calculated.
[2856]
In this way, the normal equation generation unit 5205 outputs the matrix S_MATAnd matrix P_MATIs calculated, and the calculation result (matrix S_MATAnd matrix P_MATAre output to the approximate function generation unit 5206 as a normal equation table.
[2857]
When the normal equation table is output from the normal equation generation unit 5205, in step S5206, the approximation function generation unit 5206, based on the normal equation table, calculates the matrix W of the above equation (267)._MATFeature w which is each component of_i(That is, the coefficient w of the approximation function f (x, y) which is a two-dimensional polynomial_i) Is calculated.
[2858]
Specifically, the above-described normal equation of Expression (269) can be modified as in the following Expression (270).
[2859]
[Equation 217]

[2860]
In equation (270), the matrix W on the left side_MATIs a feature value w to be obtained._iIt is. Also, the matrix S_MATAnd matrix P_MATAre included in the normal equation table supplied from the normal equation generation unit 5205. Therefore, the approximation function generation unit 5206 performs a matrix operation on the right side of Expression (270) using the normal equation table, thereby obtaining the matrix W_MATIs calculated, and the calculation result (feature amount w_i) Is output to the image generation unit 103.
[2861]
In step S5207, the approximation function generation unit 5206 determines whether the processing for all pixels has been completed.
[2862]
If it is determined in step S5207 that the processing for all pixels has not been completed, the process returns to step S5202, and the subsequent processing is repeated. That is, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S5202 to S5207 is repeated.
[2863]
Then, when the processing of all pixels is completed (when it is determined in step S5207 that the processing of all pixels is completed), the estimation processing of the real world 1 ends.
[2864]
357A shows a high-definition input image (image of a spoke of a bicycle), FIG. 357B shows an image obtained by processing the image of FIG. 357A by the OLPF 5103, and FIG. 357C shows the flow chart of FIG. 357B is an image in which pixels are generated using the approximation function of the real world estimated from the image in FIG. 357B by the processing described with reference to FIG. 357D. FIG. 357D is an image in which the image in FIG. It is.
[2865]
It can be seen that the image of FIG. 357C has a stronger edge and a clearer spoke contour than the image of FIG. 357D.
[2866]
FIG. 358 is a diagram showing changes in pixel values in the horizontal direction at predetermined vertical positions in the images of FIGS. 357A to 357D. In FIG. 358, the one-dot chain line corresponds to the image of 52-6A, the solid line corresponds to the image of FIG. 357B, the dotted line corresponds to the image of FIG. 357C, and the two-dot chain line corresponds to the image of FIG. 357D. . As shown in FIG. 358, in the vicinity of the spatial direction X = 10 where the spoke image is displayed, the dotted line which is the image of the processing in which the effect of the OLPF 5103 is considered by the real world estimation unit 102 in FIG. It can be seen that a value closer to the input image is obtained than the image generated by the conventional classification adaptive processing indicated by the dashed line.
[2867]
In particular, a portion having a small pixel value is a reflection portion of an edge portion of the spoke, and the expressive power of this portion is improved by processing in consideration of the OLPF.
[2868]
According to the real world estimating unit 102 in FIG. 352, it is possible to obtain the real world approximation function f (x) in which the influence of the OLPF 5103 is considered, and further, the real world approximation function f (x) in which the influence of the OLPF 5103 is considered. ), It is possible to generate a pixel considering the influence of the OLPF 5103.
[2869]
As described above, as a description of the two-dimensional polynomial approximation method, the coefficient (feature amount) w of the approximation function f (x, y) in the spatial direction (X direction and Y direction)_iIs used, but it is needless to say that a one-dimensional polynomial approximation method may be applied by applying to only one of the spatial directions (X direction or Y direction).
[2870]
According to the above, a real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect via an optical low-pass filter, and a part of the continuity of the real-world optical signal is lost in a spatial direction of image data. It is assumed that the pixel value of the target pixel corresponding to at least one-dimensional position is a pixel value obtained by integrating at least one-dimensional direction of a plurality of real-world functions corresponding to the optical low-pass filter, By performing the estimation, the function corresponding to the optical signal in the real world is estimated, so that the real world can be estimated more faithfully.
[2871]
In the above, the signal processing device of FIG. 336 performs signal processing so as to remove the influence of the OLPF 5103 from the image input from the sensor 2, and the real world estimation unit 102 of FIG. In the process of estimating the approximation function of the real world in consideration of the above, a process in which the effect of the OLPF 5103 is considered in the signal processing has been performed as a result. May be set as a student image by setting a prediction coefficient by learning, and an image may be generated by a class classification adaptive process.
[2872]
FIG. 359 shows a configuration of a signal processing device 5221 in which a HD image without OLPF is used as a teacher image, an SD image with OLPF is used as a student image, prediction coefficients are set by learning, and an image is generated by class classification adaptive processing. It is a block diagram shown.
[2873]
Note that the signal processing device 5221 in FIG. 359 has substantially the same configuration as the OLPF removing unit 5131 in FIG. 337, and includes a class tap extraction unit 5241, a feature amount calculation unit 5242, and a class classification unit 5243 of the signal processing device 5221. , Coefficient memory 5244, prediction tap extraction unit 5245, and pixel value calculation unit 5246 include a class tap extraction unit 5141, a feature calculation unit 5142, a class classification unit 5143, and a coefficient memory 5144 of the signal processing device 5141 of the OLPF removal unit 5131. , The prediction tap extraction unit 5145, and the pixel value calculation unit 5146 are the same, and a description thereof will be omitted. However, the prediction coefficients stored in the coefficient memory 5244 are obtained by learning different from that of the coefficient memory 5144, and are different. Learning of the prediction coefficients stored in the coefficient memory 5244 will be described later with reference to the learning device in FIG.
[2874]
Next, the signal processing by the signal processing device 5221 in FIG. 359 will be described with reference to the flowchart in FIG. 360. However, since the processing is substantially the same as the processing in the flowchart in FIG. 340, the description thereof will be omitted.
[2875]
According to the above, the first image data acquired by projecting the optical signal of the real world through the optical low-pass filter onto the plurality of pixels each having the spatial integration effect is acquired, and the second image data is acquired. A plurality of pixels corresponding to the target pixel are extracted from the first image data, and the second image data obtained by directly projecting the optical signal incident on the optical low-pass filter from the first image data is Since the pixel value of the pixel of interest in the second image data is predicted based on learning in advance and prediction based on a plurality of extracted pixels, an image faithful to the real world can be generated. It becomes.
[2876]
Next, referring to FIG. 361, the prediction coefficient stored in the coefficient memory 5244 of the signal processing apparatus in FIG. 359 is learned (the signal processing apparatus in FIG. 359 predicts a pixel value using the prediction coefficient). Since it is a prediction unit, learning a prediction coefficient, that is, learning this prediction unit) will be described. The learning unit 5252 in FIG. 361 is substantially the same as the learning unit 5152 in FIG. 341, and includes an image memory 5261, a class tap extraction unit 5262, a feature amount extraction unit 5263, and a class classification unit 5264 of the learning unit 5252. , A prediction tap extraction unit 5265, an addition calculation unit 5266, a learning memory 5267, a normal equation calculation unit 5268, and a coefficient memory 5254 include an image memory 5161, a class tap extraction unit 5162, a feature amount extraction unit 5163 of the learning unit 5152, Since they are the same as the class classification unit 5164, the prediction tap extraction unit 5165, the addition calculation unit 5166, the learning memory 5167, the normal equation calculation unit 5168, and the coefficient memory 5154, the description is omitted.
[2877]
Further, as shown in FIG. 362, the 1/16 average processing unit 5253a of the teacher image generation unit 5253 and the OLPF simulation processing unit 5251a of the student image generation unit 5251 are 1/1 of the teacher image generation unit 5153 of FIG. Since they are the same as the 16-average processing unit 5153a and the OLPF simulation processing unit 5151a of the student image generation unit 5151, the description is omitted.
[2787]
The 1/64 average processing unit 5251b of the student image generation unit 5251 regards each pixel of the HD image processed by the OLPF 5103 by the OLPF simulation as light incident on the sensor 2, and has a range of 8 × 8 pixels of the HD image. Is regarded as one pixel of the SD image, a kind of spatial integration effect is generated, and an image generated by the sensor 2 (SD image without OLPF) which is not affected by the OLPF 5103 is virtually generated.
[2879]
Next, a learning process performed by the learning device in FIG. 361 will be described with reference to the flowchart in FIG. 363.
[2880]
The processing in step S5231 and the processing in steps S5233 to S5241 are the same as the processing in step S5031 and the processing in steps S5033 to S5041 described with reference to the flowchart in FIG. 349, and a description thereof will be omitted. .
[2881]
In step S5232, the 1/64 average processing unit 5251b obtains an average pixel value of the OLPF simulation-processed image input from the OLPF simulation processing unit 5251a in units of 8 pixels × 8 pixels in total of 64 pixels. The pixel values of the pixels are sequentially replaced with the average pixel value to generate a student image that is an apparent SD image, and outputs the generated student image to the image memory 5261 of the learning unit 5252.
[2882]
According to the above processing, the prediction memory when the HD image without the OLPF is used as the teacher image and the SD image with the OLPF is used as the student image is stored in the coefficient memory 5254. Further, by copying the prediction coefficients stored in the coefficient memory 5254 to the coefficient memory 5244 of the signal processing device 5221, for example, the signal processing in FIG. 360 can be executed. It becomes possible to convert an SD image into an HD image without OLPF.
[2883]
Summarizing the above processing, the OLPF processing is performed on the image of the real world, and the SD image (real world + LPF + imaging element in the figure) captured by the imaging element (sensor 2) is converted to the OLPF removing unit in FIG. As indicated by an arrow A in FIG. 364 by 5131, the SD image is converted into an SD image (real world + imaging element in the figure) from which the processing by the OLPF has been removed, and further, the continuity detecting unit 101 and the real world estimating unit As shown by the arrow A ′ in FIG. 364, the real world before the processing by the OLPF is estimated by 102.
[2884]
Further, the real world estimating unit 102 shown in FIG. 352 estimates the real world before the processing by the OLPF as shown by the arrow B in FIG. 364 from the SD image (real world + LPF + imaging element in the figure).
[2885]
Further, as shown by an arrow C in FIG. 364, the signal processing device 5221 shown in FIG. 359 converts the real world from the SD image (real world + LPF + imaging element in the figure) into an image sensor without being affected by the OLPF. To generate a captured image.
[2886]
In the conventional classification adaptation processing, as shown by an arrow D in FIG. 364, an HD image obtained by imaging the real world from an SD image (real world + LPF + imaging element in the figure) via an OLPF by an imaging element Generate
[2887]
Further, the signal processing device of FIG. 3 estimates the real world affected by the OLPF from the SD image (real world + LPF + imaging element in the figure) as indicated by an arrow E in FIG. 364.
[2888]
According to the above, the image data corresponding to the optical signal when the optical signal corresponding to the second image data has passed through the optical low-pass filter is calculated, output as the first image data, and A plurality of pixels corresponding to the pixel of interest are extracted from the first image data, and learning is performed so as to predict the pixel value of the pixel of interest from the pixel values of the extracted pixels. It is possible to generate a perfect image.
[2889]
In the above description, the approximation function f (x) approximating the real world has been treated as a continuous function. However, for example, the approximation function f (x) may be set discontinuously for each region.
[2890]
That is, in the above, a function (approximate function) of a curve (curve indicated by a dotted line in the figure) which is a one-dimensional cross section showing the distribution of light intensity in the real world as shown in FIG. Approximately, the real world was estimated by utilizing the fact that this curve exists continuously in the direction of stationarity.
[2891]
However, the curve serving as the cross section does not necessarily have to be a continuous function such as a polynomial, and may be a discontinuous function that differs for each region as shown in FIG. 366, for example. That is, in the case of FIG.₁≦ x <a₂, The approximate function is f (x) = w₁And the area a₂≦ x <a₃, The approximate function is f (x) = w₂And the area a₃≦ x <a₄, The approximate function is f (x) = w₃And the area a₄≦ x <a₅, The approximate function is f (x) = w₄And the area a₅≦ x <a₆, The approximate function is f (x) = w₅And a different approximation function f (x) is set for each region. Also, w_iCan be considered substantially as the level of light intensity in each region.
[2892]
Thus, the discontinuous function as shown in FIG. 366 is defined by the following general expression (271).
[2893]
f (x) = w_i(A_i≦ x <a_{i + 1}) ... (271)
[2894]
Here, i indicates the number of areas set.
[2895]
Thus, the distribution of the cross section as shown in FIG. 366 (corresponding to the curve of the cross section) is set as a constant for each region. The distribution of the cross section of the pixel value shown in FIG. 366 is significantly different in shape from the distribution of the curve shown by the dotted line in FIG. 365, but actually, each function f (X) is set (here, a_i≦ x <a_{i + 1}), The distribution of the cross section of the discontinuous function and the curve of the cross section of the continuous function can be at a level that can be geometrically approximated.
[2896]
Therefore, by using the approximate function f (x), which is a discontinuous function in the real world defined by the equation (271), the pixel value P is obtained by the following equation (272).
218

[2897]
Where x_e, X_sIndicates a value indicating the integration range in the X direction, and x_SIs the integration start position, x_eIndicates the integration end position.
[2898]
However, in practice, it is difficult to directly obtain a function approximating the real world as shown by the above equation (271).
[2899]
Since the distribution of the cross section of the pixel value as shown in FIG. 366 is assumed to exist continuously in the direction of the stationarity, the distribution of the light intensity in space is as shown in FIG. 367. It will be. Here, the left part of FIG. 367 corresponds to the distribution of pixel values when the approximate function f (x) composed of a continuous function continuously exists in the direction of continuity, and the right part of FIG. , And the same distribution corresponding to the left part, which corresponds to the distribution of pixel values when they exist continuously in the direction of continuity using the approximation function f (x) composed of the discontinuous function in FIG. It is.
[2900]
That is, since the shape of the cross section shown in FIG. 366 is continuous along the direction of continuity, when the approximate function f (x) using the discontinuous function is used, each level w_iWill be distributed in a band along the direction of stationarity.
[2901]
In order to determine the level of each region using an approximate function f (x) defined by a discontinuous function as shown in the right part of FIG. 367, each level (each function) of the total area of each pixel is determined. ), The weight corresponding to the ratio of the area of each region to the set area, and the product sum of the weight and the level are calculated, a normal equation is generated using the pixel value of the corresponding pixel, and the least square method is used. Therefore, it is necessary to determine the pixel value of each area.
[2902]
That is, as shown in FIG. 368, when a discontinuous function is distributed as shown in the left part of FIG. 368, a target pixel indicated by a square surrounded by a thick line in FIG. 368 (note that FIG. FIG. 4 is a top view showing an array of pixels when the paper surface is an XY plane, and when a pixel value of each cell is obtained, the pixel is located above a shaded portion in the target pixel. The range of the triangular shape (the triangle whose base is the upper part) is f (x) = w₂And the shaded portion is f (x) = w₃And the range of the triangular shape (the bottom is the lower triangle) existing below the hatched portion is f (x) = w₄It is the range set by. If the area of the pixel of interest is 1, f (x) = w₂Is 0.2, f (x) = w₃Is 0.5, and f (x) = w₄If the ratio occupied by the range set in is assumed to be 0.3, the pixel value P of the target pixel is represented by the product sum of the pixel value and the ratio of each range, so that the following formula (273) is used. It is determined by the operation shown.
[2903]
P = 0.2 × w₂+ 0.5 × w₃+ 0.3 × w₄... (273)
[2904]
Therefore, for each pixel, by generating a relational expression with the pixel value using the relation shown in Expression (273), for example, the level w₁Or w₅Is obtained by obtaining the equation (273) indicating the relationship with the pixel values of at least five pixels including all levels, for example, the least square method (when the number of relational expressions and the unknown are the same, simultaneous W) indicating the level of the pixel value by equation₁Or w₅Can be obtained.
[2905]
By utilizing the two-dimensional relationship using the stationarity, an approximate function f (x) composed of a discontinuous function can be obtained.
[2906]
Since the continuity angle θ is determined by the continuity detecting unit 101, the straight line of the angle θ passing through the origin (0, 0) is uniquely determined, and the straight line in the X direction at an arbitrary position y in the Y direction is determined. Position x_lIs expressed as in the following equation (274). However, in Expression (274), s indicates the slope of the continuity, and when the slope of the continuity is expressed by the angle θ, it is expressed by cotθ (= s).
[2907]
x_l= S × y (274)
[2908]
That is, a point on a straight line corresponding to data continuity is represented by a coordinate value (x_l, Y).
[2909]
From the equation (274), the cross-sectional direction distance x ′ (the distance deviated in the X direction along the straight line having the stationarity) is expressed as the following equation (275).
[2910]

Therefore, the approximate function f (x, y) at an arbitrary position (x, y) of the input image is expressed by the following equation (276) from the equations (271) and (275).
[2911]
f (x, y) = w_i(A_i≦ (x−s × y) <a_{i + 1}) ... (276)
[2912]
Note that in equation (276), w_iCan be said to be a feature quantity indicating the level of light intensity in each region. In the following, w_iIs also referred to as a feature value.
[2913]
Therefore, the real world estimating unit 102 calculates the feature amount w for each region in Expression (276)._iCan be calculated, the waveform F (x, y) can be estimated by estimating an approximate function f (x, y) composed of a discontinuous function.
[2914]
Therefore, hereinafter, the characteristic amount w of the equation (276) will be described._iWill be described.
[2915]
That is, if the approximation function f (x, y) represented by the equation (276) is integrated in an integration range (an integration range in the spatial direction) corresponding to the pixel (the detection element of the sensor 2), the integration value becomes It is an estimated value of the pixel value of the pixel. This is expressed by the following equation (277). In the two-dimensional approximation method using the discontinuous function, since the frame direction T is regarded as a constant value, the expression (277) expresses the positions x and y in the spatial direction (X direction and Y method) as variables. The equation is
[2916]
[Equation 219]

[2917]
In Expression (277), P (x, y) has a center position of a position (x, y) (a relative position (x, y) from a pixel of interest) in an input image from the sensor 2. It represents the pixel value of a pixel.
[2918]
As described above, in the two-dimensional approximation method, the relationship between the input pixel value P (x, y) and the two-dimensional approximation function f (x, y) can be expressed by Expression (277). The real-world estimating unit 102 calculates the feature amount w using Expression (277)._iIs calculated by, for example, the least square method or the like, thereby obtaining a two-dimensional function F (x, y) (a waveform F that expresses the optical signal of the real world 1 having spatial continuity and focusing on the spatial direction). (X, y)) can be estimated.
[2919]
Here, with reference to FIG. 369, the configuration of the real world estimating unit 102 that estimates the real world by setting the approximate function f (x) using a discontinuous function as described above will be described.
[2920]
As shown in FIG. 369, the real world estimation unit 102 includes a condition setting unit 5301, an input image storage unit 5302, an input pixel value acquisition unit 5303, an integral component operation unit 5304, a normal equation generation unit 5305, and an approximate function generation unit. A unit 5306 is provided.
[2921]
The condition setting unit 5301 includes a range of pixels (tap range) used for estimating the function F (x, y) corresponding to the target pixel and a range of the approximate function f (x, y) (for example, a_i≦ x <a_{i + 1}, The number of i).
[2922]
The input image storage unit 5302 temporarily stores an input image (pixel value) from the sensor 2.
[2923]
The input pixel value obtaining unit 5303 obtains an area of the input image corresponding to the tap range set by the condition setting unit 5301 from the input image stored in the input image storage unit 5302, and stores it in the input pixel value table. Is supplied to the normal equation generation unit 5305. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described. A specific example of the input pixel value table will be described later.
[2924]
By the way, as described above, the real world estimating unit 102 using the two-dimensional approximation method solves the above equation (277) by the least squares method, thereby obtaining the approximation function f (x) represented by the above equation (276) , Y)_iIs calculated.
[2925]
Equation (277) can be expressed as in the following equation (278).
[2926]
[Equation 220]

[2927]
In equation (278), T_i(X_s, X_e, Y_s, Y_e) Indicates the feature amount w in the region of the integration range._iArea (light level w_i), That is, the area is represented. In the following, T_i(X_s, X_e, Y_s, Y_e) Is referred to as the integral component.
[2928]
The integral component calculation unit 5304 calculates the integral component T_i(X_s, X_e, Y_s, Y_e) (= (X−0.5, x + 0.5, y−0.5, y + 0.5): when an area of one pixel is taken).
[2929]
Specifically, the integral component T shown in equation (278)_i(X_s, X_e, Y_s, Y_e) Indicates the predetermined feature amount w in the pixel to be obtained as described above with reference to FIG._iThe area of is calculated. Therefore, the integral component calculation unit 5304 calculates the integral component T_i(X_s, X_e, Y_s, Y_e) Is geometrically converted to each feature value w based on information on the width d of each feature value and the angle θ of the data continuity._iThe area occupied by each area may be obtained, or may be obtained by performing multiple division and integration according to Simpson's formula. The method for obtaining the area is not limited to them. You may ask for it.
[2930]
As described in FIG. 368, a_i≦ (x−s × y) <a_{i + 1}, The variable s indicating the slope of the stationarity, and the relative pixel position (x, y) are known, the feature amount w_iIs possible. Of these, the relative pixel position (x, y) depends on the target pixel and the tap range, and the variable s is cot θ._i≦ (x−s × y) <a_{i + 1}Are set in advance, and the respective values are known.
[2931]
Therefore, the integral component calculation unit 5304 determines the integral component Ti (x based on the tap range and width set by the condition setting unit 5301 and the angle θ in the data continuity information output from the data continuity detection unit 101. −0.5, x + 0.5, y−0.5, y + 0.5), and supplies the calculation result to the normal equation generating unit 5305 as an integral component table.
[2932]
The normal equation generation unit 5305 uses the input pixel value table supplied from the input pixel value acquisition unit 5303 and the integral component table supplied from the integral component calculation unit 5304, and uses the above-described equation (277), that is, equation (277). A normal equation for obtaining (278) by the least squares method is generated, and is output to the approximate function generating unit 5306 as a normal equation table. A specific example of the normal equation will be described later.
[2933]
The approximation function generation unit 5306 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 5305 by a matrix solution method, and thereby obtains the feature amount w of the above equation (278)._iAre calculated and output to the image generation unit 103.
[2934]
Next, with reference to the flowchart in FIG. 370, a description will be given of the real world estimation process (the process in step S102 in FIG. 40) to which the two-dimensional approximation method using the discontinuous function is applied.
[2935]
For example, now the slope G_FIt is assumed that the optical signal of the real world 1 having the spatial continuity represented by the following expression is detected by the sensor 2 and is already stored in the input image storage unit 5302 as an input image corresponding to one frame. It is also assumed that the data continuity detecting unit 101 has already output the angle θ as data continuity information of the input image in the processing for detecting continuity in step S101 (FIG. 406).
[2936]
In this case, in step S5301, the condition setting unit 5301 sets the condition (tap range, a_i≦ x <a_{i + 1}(The width of the same feature amount) and the number of i) are set.
[2937]
For example, it is assumed that the tap range shown in FIG. 371 is set and d is set as the width.
[2938]
That is, FIG. 371 is a diagram illustrating an example of the tap range. In FIG. 371, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2. The tap range represents a pixel group including a total of 15 pixels on the right side of FIG. 371 (15 grids surrounded by a bold line on the right side in FIG. 371).
[2939]
Further, as shown in FIG. 371, it is assumed that the target pixel is set as a hatched pixel in the drawing in the tap range. FIG. 371 shows, for each pixel, the relative pixel position (x, y) from the target pixel (the coordinate value of the target pixel coordinate system whose origin is at the center (0, 0) of the target pixel). It is assumed that a number 1 (1 is an integer value of any one of 0 to 14) as shown in FIG.
[2940]
Returning to FIG. 370, in step S5302, condition setting section 5301 sets a target pixel.
[2941]
In step S5303, the input pixel value acquisition unit 5303 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 5301, and generates an input pixel value table. That is, in this case, the input pixel value obtaining unit 5303 obtains the pixel values of the pixels in the area of the input image (the pixels numbered 0 to 14 in FIG. 371), and generates 15 input pixel value tables. Is generated from the input pixel values P (l).
[2942]
In step S5304, the integral component calculation unit 5304 determines the conditions (tap range, width, and number of i) set by the condition setting unit 5301 and the data continuity information (angle θ) supplied from the data continuity detection unit 101. , And calculates an integral component based on the equation (1).
[2943]
In this case, the integral component calculation unit 5304 calculates the integral component Ti (x_s, X_e, Y_s, Y_e) (= Ti (x−0.5, x + 0.5, y−0.5, y + 0.5): When the size of one pixel is represented by 1 × 1), the left side of the following equation (279) Is calculated as a function of l such as an integral component Ti (l) expressed by
[2944]
Ti (l) = Ti (x−0.5, x + 0.5, y−0.5, y + 0.5) (279)
[2945]
That is, in this case, for example, if i is 0 to 5, 15 T₀(L), 15 T₁(L), 15 T₂(L), 15 T₃(L), 15 T₄(L), 15 T₅(L) 90 T in total_i(L) is calculated, and an integral component table including them is generated.
[2946]
Note that the order of the processing of step S5303 and the processing of step S5304 is not limited to the example of FIG. 370, and the processing of step S5304 may be performed first, or the processing of step S5303 and the processing of step S5304 may be performed simultaneously. May be done.
[2947]
Next, in step 5305, the normal equation generation unit 5305 compares the input pixel value table generated by the input pixel value acquisition unit 5303 in step S5303 with the integration generated by the integral component calculation unit 5304 in step S5304. A normal equation table is generated based on the component table.
[2948]
Specifically, in this case, the feature amount w is calculated by the least square method using the above-described equation (278)._iIs calculated, and the corresponding normal equation is represented by the following equation (280).
[2949]
[Equation 221]

[2950]
In Expression (280), L represents the maximum value of the pixel numbers 1 in the tap range. n is a feature amount w that defines the approximation function f (x)._iRepresents the number of i. v_lRepresents a weight. Specifically, in this case, L = 15.
[2951]
If each of the matrices of the normal equation represented by the equation (280) is defined as the following equations (281) to (283), the normal equation is expressed as the following equation (284).
[2952]
(Equation 222)

[2953]
223

[2954]
224

[2955]
[Equation 225]

[2956]
As shown in equation (282), the matrix W_MATIs a feature amount w to be obtained._iIt is. Therefore, in equation (284), the matrix T on the left side_MATAnd the matrix P on the right side_MATIs determined, the matrix W is_MATCan be calculated.
[2957]
Specifically, as shown in Expression (281), the matrix T_MATAre the integral components T described above._iThe calculation can be performed in (l). That is, the integral component T_iSince (l) is included in the integral component table supplied from the integral component operation unit 5304, the normal equation generation unit 5305 uses the integral component table to calculate the matrix T_MATCan be calculated.
[2958]
Also, as shown in equation (283), the matrix P_MATAre the integral components T_i(L) and the input pixel value P (l) can be calculated. That is, the integral component T_i(L) is the matrix T_MATSince the input pixel value P (l) is included in the input pixel value table supplied from the input pixel value acquisition unit 5303, the normal equation generation unit 5305 is a matrix P using an integral component table and an input pixel value table._MATCan be calculated.
[2959]
In this way, the normal equation generation unit 5305 outputs the matrix T_MATAnd matrix P_MATIs calculated, and the calculation result (matrix T_MATAnd matrix P_MATAre output to the approximate function generation unit 5306 as a normal equation table.
[2960]
When the normal equation table is output from the normal equation generation unit 5305, in step S5306, the approximation function generation unit 5306 uses the matrix W of the above equation (284) based on the normal equation table._MATFeature w which is each component of_i(That is, the level w which is a function defined for each region of the two-dimensional approximation function f (x, y) composed of a discontinuous function._i) Is calculated.
[2961]
Specifically, the above-described normal equation of Equation (284) can be modified as in the following Equation (285).
[2962]
226

[2963]
In equation (285), the matrix W on the left side_MATIs a feature value w to be obtained._iIt is. Also, the matrix T_MATAnd matrix P_MATAre included in the normal equation table supplied from the normal equation generation unit 5305. Therefore, the approximation function generation unit 5306 performs a matrix operation on the right side of Expression (285) using the normal equation table, thereby obtaining the matrix W_MATIs calculated, and the calculation result (feature amount w_i) Is output to the image generation unit 103.
[2964]
In step S5307, the approximation function generation unit 5306 determines whether the processing for all pixels has been completed.
[2965]
If it is determined in step S5307 that the processing for all the pixels has not been completed, the process returns to step S5302, and the subsequent processing is repeated. In other words, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S5302 to S5307 is repeated.
[2966]
Then, when the processing of all the pixels is completed (when it is determined in step S5307 that the processing of all the pixels is completed), the estimation processing of the real world 1 ends.
[2967]
As described above, as a description of the two-dimensional approximation method using the discontinuous function, the feature amount w of the approximation function f (x, y) in the spatial direction (X direction and Y direction) is described._iIs used, but the two-dimensional approximation method using the discontinuous function is also applicable to the spatio-temporal direction (X direction and T direction or Y direction and T direction).
[2968]
That is, the above-described example is an example in which the optical signal of the real world 1 has, for example, stationarity in the spatial direction. Therefore, the spatial direction (the X direction and the An equation including a two-dimensional integration in the (Y direction) was used. However, the concept of the two-dimensional integration can be applied not only to the spatial direction but also to the spatiotemporal direction (X direction and T direction or Y direction and T direction).
[2969]
In other words, in the two-dimensional approximation method using the discontinuous function, the optical signal function F (x, y, t) to be estimated not only has the continuity in the spatial direction but also the spatio-temporal direction (where the X direction and T Direction, or Y direction and T direction), it is possible to approximate with a two-dimensional discontinuous function.
[2970]
Specifically, for example, as shown in FIG. 372, an object (toy airplane in the figure) D1 (image of the lower frame in the figure) moves horizontally at a constant speed in the X direction, and the object D2 When moving to the (image of the middle frame in the figure), the movement of the object on the X-T plane is represented as a trajectory L1, as shown in the upper part of FIG. 372. The upper part of FIG. 372 shows the change of the pixel value on the surface with OPQR as each vertex in the figure.
[2971]
In other words, it can be said that the trajectory L1 represents the direction of continuity in the spatiotemporal direction on the XT plane. Therefore, the data continuity detecting unit 101 determines the X-X in the same manner as the angle θ (data continuity information corresponding to the continuity in the spatial direction represented by a predetermined inclination (angle) in the XY plane). As data continuity information corresponding to an inclination (an angle of continuity) representing continuity in the spatiotemporal direction on the T plane, an angle formed by a trajectory as shown in FIG. It is possible to output an angle between the direction of data continuity as a trajectory (movement described above) when moving from D1 to D2 and the X direction in the spatial direction.
[2972]
Therefore, the real-world estimating unit 102 using the approximation method using the two-dimensional discontinuous function can use the approximation function f ( x, t) feature w_iCan be calculated. However, in this case, the equation used is not the above-described equation (277) but the following equation (286).
[2973]
[Equation 227]

[2974]
In the case of the processing on the XT plane, the relationship between each pixel shown in the right part of FIG. 371 and the discontinuous function is as shown in FIG. 373. That is, in FIG. 373, the cross-sectional shape in the spatial direction X (cross-sectional shape by a discontinuous function) is continuous with the frame direction T along a predetermined continuity direction. As a result, the level becomes level w₁Or w₅In the case of the five types, the bands having the same level as shown in the left part of FIG. 371 are distributed along the direction of the stationarity.
[2975]
Therefore, in this case, the pixel value can be obtained by using a pixel existing on the XT plane as shown in the right part of FIG. 373. In the right part of FIG. 373, each square indicates a pixel, and the X direction is the width of the pixel, but in the frame direction, the unit of each square corresponds to one frame.
[2976]
Further, instead of the spatial direction X, the approximate function f (y, t) focused on the spatial direction Y can be handled in exactly the same manner as the above-described approximate function f (x, t).
[2977]
In the above, the method of setting a two-dimensional approximation function consisting of a discontinuous function and estimating the real world has been described. However, the estimation of the real world by a three-dimensional approximation function consisting of a discontinuous function is also possible. .
[2978]
For example, consider a two-dimensional discontinuous function that differs for each region as shown in FIG. That is, in the case of FIG.₁≦ x <a₂And b₁≦ y <b₂Then, the approximate function is f (x, y) = w₁And the area a₂≦ x <a₃And b₃≦ y <b₄Then, the approximate function is f (x, y) = w₂And the area a₃≦ x <a₄And b₅≦ y <b₆Then, the approximate function is f (x, y) = w₃And the area a₄≦ x <a₅And b₇≦ y <b₈Then, the approximate function is f (x, y) = w₄And the area a₃≦ x <a₄And b₉≦ y <b₁₀Then, the approximate function is f (x, y) = w₅, Different approximation functions f (x, y) are set for each region. Also, w_iCan be considered substantially as the level of light intensity in each region.
[2979]
The discontinuous function as shown in FIG. 374 is defined by the following general expression (287).
[2980]
f (x, y) = w_i(A_j≦ x <a_{j + 1}  & B_2k-1≦ y <b_2k) ... (287)
[2981]
Here, j and k are arbitrary integers, and i is a serial number for identifying an area that can be expressed by a combination of j and k.
[2982]
As described above, the distribution of the cross section (corresponding to the curve of the cross section) as shown in FIG. 374 is set as a constant for each region.
[2983]
Accordingly, the pixel value P (x, y) is obtained by the following equation (288) by using the approximation function f (x, y) of the real world, which is formed by a discontinuous function, defined by the equation (287). Will be done.
228

[2984]
Where x_e, X_sIndicates a value indicating the integration range in the X direction, and x_SIs the integration start position in the X direction, x_eIndicate integration end positions in the X direction. Similarly, y_e, Y_sIndicates a value indicating an integration range in the Y direction, and y indicates_SIs the integration start position in the Y direction, y_eIndicate integration end positions in the Y direction.
[2985]
However, in practice, it is difficult to directly obtain a function approximating the real world as shown by the above equation (287).
[2996]
Since the distribution of the cross section of the pixel value as shown in FIG. 374 is assumed to exist continuously in the direction of continuity in the frame direction, the distribution of light intensity in space is shown in FIG. It will be something like that. Here, the left part of FIG. 375 shows the X-T of the pixel value distribution when the approximation function f (x, y) consisting of the discontinuous function exists continuously in the frame direction and the X-direction continuity direction. FIG. 374 shows a distribution in which the cross section of the light intensity level on the XY plane is continuous in the frame direction in the right part of the drawing.
[2987]
That is, since the shape of the cross section shown in FIG. 374 is continuous along the direction of continuity, as shown in the right part of FIG._iIs a bar-shaped distribution along the direction of stationarity.
[2988]
In order to determine the pixel value of each three-dimensional region using the approximate function f (x, y) defined by a discontinuous function as shown in the right part of FIG. Is calculated using the ratio by volume in the same manner as the method using. That is, of the total volume of each pixel (a three-dimensional volume composed of the X, Y, and T directions), a weight corresponding to the ratio of the volume occupied by the range in which each level is set, and the weight of the level By calculating the sum of products and using the pixel value of the corresponding pixel, the pixel value of each area is determined using, for example, the least square method.
[2988]
That is, as shown in FIG. 376, the level of one area is f (x, y) = w₁And the level of the other area is f (x, y) = w₂It is assumed that Further, it is assumed that a cube made of ABCDEFGH in the figure on the XYT space indicates a target pixel. Further, it is assumed that the cross section of the target pixel with the boundary R is a rectangle made of IJKL.
[2990]
Further, in the volume of the pixel P, the ratio occupied by a portion that becomes a triangular prism made of IBJ-KFL is represented by M1, and the ratio occupied by a volume of the other portion (a pentagonal prism made of ADCJI-EGHLK) is represented by M2. I do. Here, the volume indicates the size of the exclusive area on the XYt space.
[2991]
At this time, since the pixel value P of the target pixel is represented by the product sum of the pixel value and the ratio of each range, the pixel value P is obtained by the calculation represented by the following equation (289).
[2992]
P = M1 × w₁+ M2 × w₂... (289)
[2993]
Therefore, for each pixel, by generating an expression indicating the relationship with the pixel value using the relationship indicated by Expression (289), for example, w is used as a coefficient indicating the pixel value.₁Or w₂In order to obtain the relationship between the pixel value of at least two pixels including the respective coefficients and the equation (289) of the pixel, for example, the least square method (when the unknown number and the relational expression have the same number, Indicates the level of the pixel value by simultaneous equations)₁Or w₂Can be obtained.
[2994]
By utilizing the three-dimensional relationship using the stationarity, an approximate function f (x, y) composed of a discontinuous function can be obtained.
[2995]
For example, based on the motion θ corresponding to the XY plane continuity angle θ output from the continuity detecting unit 101, the velocity v on the XT plane and on the YT plane_x, V_y(Substantially, the inclination of the XT plane and the YT plane) can be obtained, so that the stationary straight line in the X direction at any position (x, y) in the X direction and the Y direction can be obtained. Position x_lAnd the position y in the X direction_lIs expressed as in the following equation (290).
[2996]
x_l= V_x× t, y_l= V_y× t (290)
[2997]
That is, a point on a straight line corresponding to data continuity is represented by a coordinate value (x_l, Y_l).
[2998]
From Expression (290), the cross-sectional direction distances x ′ and y ′ (distances displaced in the X and Y directions along a straight line having stationarity) are expressed as in the following Expression (291). .
[2999]

Therefore, the approximate function f (x, y) at an arbitrary position (x, y) of the input image is expressed by the following equation (292) from the equations (287) and (291).
[3000]

[3001]
Therefore, the real world estimating unit 102 calculates the feature amount w for each region in Expression (292)._iCan be calculated, the waveform F (x, y, t) can be estimated by estimating an approximate function f (x, y, t) composed of a discontinuous function.
[3002]
Therefore, hereinafter, the characteristic amount w of Expression (292)_iWill be described.
[3003]
That is, if the approximation function f (x, y, t) expressed by the equation (292) is integrated in an integration range (an integration range in the spatial direction) corresponding to the pixel (the detection element of the sensor 2), the integration value is obtained. Is the estimated value of the pixel value of the pixel. This is expressed by the following equation (293).
[3004]
229

[3005]
In the equation (293), P (x, y, t) indicates that the center position of the input image from the sensor 2 is the position (x, y, t) (the relative position (x, y, t) from the pixel of interest. t)) represents a pixel value of a pixel existing in the pixel.
[3006]
As described above, in the three-dimensional approximation method, the relationship between the input pixel value P (x, y, t) and the three-dimensional approximation function f (x, y, t) composed of a discontinuous function is expressed by Expression (293). ), The real world estimating unit 102 uses the equation (293) to calculate the feature amount w._iIs calculated by, for example, the least-squares method or the like, thereby expressing a three-dimensional function F (x, y, t) (optical signal of the real world 1 having spatial continuity by focusing on the spatio-temporal direction). The estimated waveform F (x, y, t)) can be estimated.
[3007]
Next, referring to FIG. 377, regarding the configuration of the real world estimating unit 102 that sets the three-dimensional approximation function f (x, y, t) composed of the discontinuous functions as described above and estimates the real world explain.
[3008]
As shown in FIG. 377, the real world estimation unit 102 includes a condition setting unit 5321, an input image storage unit 5322, an input pixel value acquisition unit 5323, an integral component calculation unit 5304, a normal equation generation unit 5325, and an approximation function generation unit. A portion 5326 is provided.
[3009]
The condition setting unit 5321 calculates the range of pixels (tap range) used for estimating the function F (x, y, t) corresponding to the target pixel, and the range of the approximate function f (x, y, t) ( For example, a_j≤ (xv_x× t) <a_{j + 1}, And b_2k-1≦ (y−v_y× t) <b_2k, The number of i).
[3010]
The input image storage unit 5322 temporarily stores the input image (pixel value) from the sensor 2.
[3011]
The input pixel value obtaining unit 5323 obtains an area of the input image corresponding to the tap range set by the condition setting unit 5321 from the input image stored in the input image storage unit 5322, and stores it in the input pixel value table. Is supplied to the normal equation generation unit 5325. That is, the input pixel value table is a table in which each pixel value of each pixel included in the area of the input image is described. A specific example of the input pixel value table will be described later.
[3012]
By the way, as described above, the real world estimating unit 102 using the three-dimensional approximation method solves the above equation (293) by the least squares method, thereby obtaining the approximation function f (x) represented by the above equation (292). , Y, t)_iIs calculated.
[3013]
Equation (293) can be expressed as the following equation (294).
[3014]
[Equation 230]

[3015]
In equation (294), T_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Indicates the feature amount w in the region of the integration range._iArea (light level w_iRepresents the integration result, that is, the volume. In the following, T_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Is referred to as the integral component. Note that this equation (294) represents the integral component T in the two-dimensional operation._i(X_s, X_e, Y_s, Y_e).
[3016]
The integral component calculation unit 5324 calculates the integral component T_i(X_s, X_e, Y_s, Y_e, T_s, T_e) (= (X−0.5, x + 0.5, y−0.5, y + 0.5, t−0.5, t + 0.5): a region of one pixel is calculated).
[3017]
Specifically, the integral component T shown in equation (294)_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Indicates the predetermined feature amount w in the pixel to be obtained as described above with reference to FIG._iIs to determine the volume of. Therefore, the integral component calculation unit 5324 calculates the integral component T_i(X_s, X_e, Y_s, Y_e, T_s, T_e) Is converted into widths d and e for each feature amount and information on the direction of continuity (that is, for example, the speed v)._x, V_yOr, based on an angle θ) with respect to a predetermined axis of stationarity, geometrically each feature amount w_iThe volume occupied by each may be obtained, or may be obtained by integrating by dividing into multiples according to Simpson's formula, and the method of obtaining the volume is not limited thereto. You may ask for it.
[3018]
As described with reference to FIG._j≤ (xv_x× t) <a_{j + 1}, And b_2k-1≦ (y−v_y× t) <b_2k, And information on the direction of stationarity (ie, for example, the velocity v_x, V_yOr the angle θ with respect to a predetermined axis of stationarity and the relative pixel position (x, y, t) are known, and the feature amount w_iIs possible. Among them, the relative pixel position (x, y, t) is based on the target pixel and the tap range, and the continuity information is based on the information detected by the continuity detecting unit 101 and a_j≤ (xv_x× t) <a_{j + 1}, And b_2k-1≦ (y−v_y× t) <b_2kAre set in advance, and the respective values are known.
[3019]
Therefore, the integral component computing unit 5324 determines the integral component Ti (x−0.5, based on the tap range and width set by the condition setting unit 5321 and the data continuity information output from the data continuity detecting unit 101. x + 0.5, y-0.5, y + 0.5, t-0.5, t + 0.5), and supplies the calculation result to the normal equation generating unit 5325 as an integral component table.
[3020]
The normal equation generation unit 5325 uses the input pixel value table supplied from the input pixel value acquisition unit 5323 and the integral component table supplied from the integral component calculation unit 5324, and uses the above-described equation (293), that is, equation (293). A normal equation for obtaining (294) by the least square method is generated, and is output to the approximate function generating unit 5326 as a normal equation table.
[3021]
The approximate function generation unit 5326 solves the normal equation included in the normal equation table supplied from the normal equation generation unit 5325 by a matrix solution method, and thereby obtains the feature amount w of the above equation (294)._iAre calculated and output to the image generation unit 103.
[3022]
Next, with reference to the flowchart in FIG. 378, a description will be given of the real world estimation processing (the processing in step S102 in FIG. 40) to which the three-dimensional approximation method using the discontinuous function is applied.
[3023]
For example, velocities v are now respectively defined for the Xt plane and the Yt plane._x, V_yIt is assumed that the optical signal of the real world 1 having continuity in the spatio-temporal direction represented by the following expression is detected by the sensor 2 and already stored in the input image storage unit 5322 as an input image corresponding to one frame. In the processing for detecting continuity in step S101 (FIG. 406), the data continuity detecting unit 101 sets the speed v as the data continuity information of the input image._x, V_yShall be obtained.
[3024]
In this case, in step S5321, the condition setting unit 5321 sets the condition (tap range, a_j≤ (xv_x× t) <a_{j + 1}, And b_2k-1≦ (y−v_y× t) <b_2k(The same feature amount (the widths d and e of regions having the same approximation function) and the number of i) are set.
[3025]
For example, it is assumed that the tap range shown in FIG. 379 is set, and the width is set to the width in the horizontal direction × the width in the vertical direction = d × e.
[3026]
The set tap range is, for example, as shown in FIG. In FIG. 379, the X direction and the Y direction represent the X direction and the Y direction of the sensor 2. In addition, t indicates a frame number, and the tap range indicates a pixel group including a total of 27 pixels P0 to P26 corresponding to three frames of nine right frames in FIG. 379. ing.
[3027]
Further, as shown in FIG. 379, it is assumed that the target pixel is set to the pixel P13 at the center in the figure with the frame number t = n. In addition, for each pixel, the relative pixel position (x, y, t) from the target pixel (coordinate value of the target pixel coordinate system whose origin is the center (0, 0, 0) of the target pixel) It is assumed that a number 1 (1 is an integer value indicating any one of P0 to P26) as shown in FIG.
[3028]
Returning to FIG. 378, in step S5322, the condition setting unit 5321 sets a target pixel.
[3029]
In step S5323, the input pixel value acquisition unit 5323 acquires an input pixel value based on the condition (tap range) set by the condition setting unit 5321, and generates an input pixel value table. That is, in this case, the input pixel value obtaining unit 5323 obtains the pixel values of the pixels in the area of the input image (pixels numbered P0 to P26 in FIG. 379), and sets 27 pixels as the input pixel value table. Is generated from the input pixel values P (l).
[3030]
In step S5324, the integral component calculation unit 5324 integrates based on the conditions (tap range, width, and number of i) set by the condition setting unit 5321 and the data continuity information supplied from the data continuity detection unit 101. The components are calculated and an integral component table is generated.
[3031]
In this case, the integral component calculation unit 5324 calculates the integral component Ti (x_s, X_e, Y_s, Y_e, T_s, T_e) (= Ti (x−0.5, x + 0.5, y−0.5, y + 0.5, t−0.5, t + 0.5): The size of one pixel is determined in the X direction × Y direction × frame direction. t = 1 × 1 × 1) is calculated as a function of l such as an integral component Ti (l) shown on the left side of the following equation (295).
[3032]

[3033]
That is, in this case, for example, if i is 0 to 5, 27 T₀(L), 27 T₁(L), 27 T₂(L), 27 T₃(L), 27 T₄(L), 27 T₅(L) 162 T in total_i(L) is calculated, and an integral component table including them is generated.
[3034]
The order of the processing of step S5323 and the processing of step S5324 is not limited to the example of FIG. 378, and the processing of step S5324 may be performed first, or the processing of step S5323 and the processing of step S5324 may be performed simultaneously. May be done.
[3035]
Next, in step 5325, the normal equation generation unit 5325 compares the input pixel value table generated by the input pixel value acquisition unit 5323 in the process of step S5323 with the integral generated by the integral component calculation unit 5324 in the process of step S5304. A normal equation table is generated based on the component table.
[3036]
Specifically, in this case, the feature amount w is calculated by the least square method using the above-described equation (295)._iIs calculated, and the corresponding normal equation is represented by the following equation (296).
[3037]
231

[3038]
In equation (296), L represents the maximum value of the pixel numbers 1 in the tap range. n is a feature amount w that defines the approximation function f (x)._iRepresents the number of i. v_lRepresents a weight. Specifically, in this case, L = 27.
[3039]
This normal equation has the same format as the above-described equation (280), and is similar to the above-described two-dimensional method, so that the description of the solution of the normal equation will be omitted.
[3040]
In step S5327, the approximate function generation unit 5326 determines whether or not processing of all pixels has been completed.
[3041]
If it is determined in step S5327 that the processing for all pixels has not been completed, the process returns to step S5322, and the subsequent processing is repeated. In other words, the pixels that have not yet been set as the target pixel are sequentially set as the target pixel, and the processing of steps S5322 to S5327 is repeated.
[3042]
Then, when the processing of all the pixels is completed (in step S5327, it is determined that the processing of all the pixels is completed), the estimation processing of the real world 1 ends.
[3043]
As a result, for example, as shown in FIG._x, The velocity in the Y direction is v_y) Is a level (discontinuous function) w which is each feature amount for each bar-shaped region drawn by a thick line along₁Or w₅Is set, and an approximation function in the real world is estimated. In this case, the size of the cross section of each bar-shaped region with respect to the XY plane is d × e.
[3044]
Further, in the bar-shaped area drawn by the thin line, the velocity in the Y direction is v_y= 0. That is, when simply moving in the horizontal direction, each level w_iIs kept parallel to the Xt plane. This is because the velocity in the X direction is v_xThe same can be said for = 0. That is, in this case, each bar-shaped region maintains a relationship parallel to the Yt plane.
[3045]
Furthermore, when there is no change in the time direction and there is continuity on the XY plane, the bar-shaped region for each function maintains a position parallel to the XY plane. That is, when there is no change in the time direction and there is continuity in the XY plane, a thin line or a binary edge exists.
[3046]
Further, in the above description, a case has been described in which the areas where functions are set discontinuously are arranged in a two-dimensional space (bar-shaped areas are arranged so as to form a surface). As indicated by reference numeral 381, each region may be arranged three-dimensionally in an XYT three-dimensional space.
[3047]
Further, in the above example, a constant feature amount w for each region is used as a discontinuous function._iHas been described, but the same can be applied to a continuous function that is not a constant. That is, for example, as shown in FIG. 382, when the function is in the X direction, in the region of X0 ≦ X <X1 in the image, the feature amount w₁Is w₁= F₀(X), and in the region of X1 ≦ X <X2 in the image, the feature amount w₂Is w₂= F₁(X) may be set. Even a continuous function may be set as a different function for each region. In this case, the function to be set may be, for example, polynomial approximation or another function.
[3048]
Further, a constant feature amount w for each region as a discontinuous function_iIs set, a function that is not completely continuous in each region may be set. That is, for example, as shown in FIG. 383, when the function is in the X direction, in the region of X0 ≦ X <X1 in the image, the feature amount w₁Is w₁= F₀(X), and in the region of X1 ≦ X <X2 in the image, the feature amount w₂Is w₂= F₁(X) so that each function (for example, f₀(X) and f₁(X)), the same processing can be performed even if each is discontinuous. In this case as well, the function to be set may be, for example, polynomial approximation or another function.
[3049]
As described above, when the real-world estimating unit 102 in FIG. 377 sets each pixel value by a discontinuous function, the real-world estimating unit 102 sets a bar shape along the direction of the stationarity (the angle or the direction of the motion (the direction of the speed obtained from the motion)). By setting the function discontinuously for each region, it is possible to set an approximate function in the real world.
[3050]
Next, with reference to FIG. 384, the image generation unit 103 that generates an image based on the real world estimation information estimated by the real world estimation unit 102 in FIG. 369 described above will be described.
[3051]
The image generation unit 103 in FIG. 384 includes a real world estimation information acquisition unit 5341, a weight calculation unit 5342, and a pixel generation unit 5343.
[3052]
The real-world estimation information acquiring unit 5341 calculates the feature amount as the real-world estimation information output from the real-world estimation unit 102 in FIG. 369, that is, the pixel value set for each area divided along the direction of the stationarity (An approximation function f (x) composed of a discontinuous function) is obtained and output to the weight calculator 5342.
[3053]
The weight calculation unit 5342 is a real world estimation information input from the real world estimation information acquisition unit 5341. Based on the information of the region divided along the direction of the stationarity, The ratio of the area of the region is calculated as a weight, and is output to the pixel generation unit 5343 together with the information of the function set for each region input from the real world estimation information acquisition unit 5341.
[3054]
The pixel generation unit 5343 includes information on the weight calculated based on the ratio of the area of each region included in the pixel to be generated, which is input from the weight calculation unit, and a function of the level set for each region. Based on an approximation function f (x)) composed of a continuous function, a level is determined, and for each pixel to be generated, a product sum of the determined level and weight is determined and output as a pixel value of the pixel.
[3055]
Next, an image generation process performed by the image generation unit 103 in FIG. 384 will be described with reference to the flowchart in FIG.
[3056]
In step S5341, the real world estimation information acquisition unit 5341 acquires the real world estimation information (approximate function f (x) composed of a discontinuous function) input from the real world estimation unit 102 in FIG. 5342.
[3057]
In step S5342, the weight calculation unit 5342 sets a pixel to be generated. In step S5343, the pixel to be generated is included in the pixel to be generated based on the input real-world estimation information. Calculate the ratio of the area to the pixel to be generated for each set area, calculate this as the weight of each area, and set the level of each area input from the real world estimation information acquisition unit 5341. The output is output to the pixel generation unit 5343 together with the function to execute.
[3058]
For example, a case where a feature amount is set as shown in FIG. 386 will be described. Here, it is assumed that pixels of the input image are indicated by thin-line cells, and pixels to be generated are indicated by thick-line cells. That is, in this case, quadruple density pixels are generated. Also, w₁Or w₅The five regions set in a band shape ascending to the right with respect to the array of pixels indicated by are the regions set along the direction of continuity, and the level of each region is w₁Or w₅It is assumed that
[3059]
If it is assumed that the pixel of interest is to generate a hatched pixel shown in FIG. 386, the pixel of interest is the area w₃, W₄, The area occupied by each region in the target pixel is m₁, M₂When the area to be generated is m, the weight to be generated is the area w₃Is m₁/ M and the area w₄Is m₂/ M. As described above, the weight calculation unit 5342 outputs the obtained information on the weight of each region and the information on the function for setting the level of each region to the pixel generation unit 5343.
[3060]
In step S5344, the pixel generation unit 5343 determines a pixel value based on the weight of each region straddling the pixel of interest and the level of each region input from the weight calculation unit 5342, and generates a pixel.
[3061]
That is, in the case of the pixel of interest described with reference to FIG. 386, the pixel generation unit 5343 provides the area w₃Is m₁/ M and the area w₄Is m₂/ M is obtained. Further, a pixel value is determined by calculating a product sum with a level of each region acquired at the same time to generate a pixel.
[3062]
That is, for example, the region w₃, W₄The approximation function that determines the level of₃, W₄If both are constants, the pixel value is determined as shown in the following equation (297) by calculating the product sum with the weight.
[3063]
P = w₃× m₁/ M + w₄× m₂/ M ・ ・ ・ (297)
[3064]
In step S5345, the real world estimation information acquiring unit 5341 determines whether or not the processing has been completed for all the pixels of the image to be generated, and determines that the processing has not been completed for all the pixels, The process returns to step S5342, and the subsequent processes are repeated. That is, the processing of steps S5342 to S5345 is repeated until it is determined that the processing has been completed for all pixels.
[3065]
If it is determined in step S5345 that the processing has been completed for all the pixels, the processing ends.
[3066]
That is, for example, when the object moves in the horizontal direction to the right in time, the change in the actual pixel value in the XT space in the real world changes along the direction of continuity as shown in FIG. 387A. It is known that a region having the same pixel value level continues. For this reason, when a pixel having a higher density is generated by using a model as shown in FIG. 387B, the shape of the pixel cannot express an actual upward-sloping linear motion. When an attempt is made to generate an enlarged image, an accurate pixel value cannot be reflected in the generation of a pixel of the enlarged image due to a change in pixel values that are geometrically arranged stepwise near a boundary where the pixel value changes.
[3067]
On the other hand, as shown in FIG. 387C, the model in the estimation of the approximation function of the real world by the real world estimation unit 102 in FIG. 369 generates a model faithful to the actual motion along the direction of the stationarity. Therefore, a change smaller than a pixel can be accurately represented, and, for example, a high-density pixel used for an enlarged image can be generated more accurately.
[3068]
Through the above processing, pixels can be generated in consideration of the distribution of light intensity in a region below the pixels, and it is possible to accurately generate higher-density pixels. Can be generated.
[3069]
Next, with reference to FIG. 388, the image generation unit 103 that generates an image based on the real world estimation information estimated by the real world estimation unit 102 in FIG. 377 described above will be described.
[3070]
The image generation unit 103 in FIG. 388 includes a real world estimation information acquisition unit 5351, a weight calculation unit 5352, and a pixel generation unit 5353.
[3071]
The real-world estimation information acquisition unit 5351 calculates the feature amount as the real-world estimation information output from the real-world estimation unit 102 in FIG. 377, that is, the pixel value set for each area divided along the direction of the stationarity. (An approximation function f (x) composed of a discontinuous function) is obtained and output to the weight calculator 5352.
[3072]
The weight calculation unit 5352 is configured to calculate each of the pixels included in the pixel to be generated based on the information of the area divided along the direction of the stationarity, which is the real world estimation information input from the real world estimation information acquisition unit 5351. The ratio of the volume of the region (the volume referred to here is the volume in a three-dimensional space in the X direction, the Y direction, and the frame direction t) is calculated as a weight, and for each region input from the real world estimation information acquisition unit 5351 Is output to the pixel generation unit 5353 together with the information of the function set in the.
[3073]
The pixel generation unit 5353 includes information on the weight calculated based on the ratio of the volume of each region included in the pixel to be generated, which is input from the weight calculation unit, and a function of the level set for each region. Based on an approximation function f (x)) composed of a continuous function, a level is determined, and for each pixel to be generated, a product sum of the determined level and weight is determined and output as a pixel value of the pixel.
[3074]
Next, the image generation processing by the image generation unit 103 in FIG. 388 will be described with reference to the flowchart in FIG. 389.
[3075]
In step S5351, the real world estimation information acquisition unit 5351 acquires the real world estimation information (approximate function f (x) composed of a discontinuous function) input from the real world estimation unit 102 in FIG. 5352.
[3076]
In step S5352, the weight calculation unit 5342 sets a pixel to be generated, and in step S5353, the pixel to be generated is included in the pixel to be generated based on the input real world estimation information. Calculate the ratio of the volume to the pixel to be generated for each set area, calculate this as the weight of each area, and set the level for each area input from the real world estimation information acquisition unit 5351. The output is output to the pixel generation unit 5353 together with the function to execute.
[3077]
For example, as shown in FIG. 390, it is assumed that a target pixel is set as a pixel to be generated in a three-dimensional space in the X direction, the Y direction, and the frame direction T. In FIG. 390, the cube indicated by the thick line is the target pixel. The cube drawn by a thin line indicates a pixel adjacent to the pixel of interest.
[3078]
For example, a case where a feature amount is set as shown in FIG. 391 will be described. Note that w shown in FIG.₁Or w₃Are three regions set in a bar shape along the direction of stationarity, and the level of each region is w₁Or w₃It is assumed that
[3079]
As shown in FIG. 391, the target pixel is the area w₁Or w₃, The volume occupied by each region in the target pixel is M₁To M₃If the volume of the pixel to be generated is M, the weight to be generated is₁Is M₁/ M and the area w₂Is M₂/ M and the area w₃Is M₃/ M. Information on the weight obtained for each area and information on a function for setting the level of each area are output to the pixel generation unit 5353.
[3080]
In step S5354, the pixel generation unit 5353 determines a pixel value based on the weight of each region straddling the pixel of interest and the level of each region input from the weight calculation unit 5342, and generates a pixel.
[3081]
That is, in the case of the pixel of interest described with reference to FIG. 391, the pixel generation unit 5353 stores the area w₁Is M₁/ M and the area w₂Is M₂/ M and the area w₃Is M₃/ M is obtained. Further, a pixel value is determined by calculating a product sum with a level of each region acquired at the same time to generate a pixel.
[3082]
That is, for example, the region w₁Or w₃The approximation function that determines the level of₁Or w₃If both are constants, the pixel value is determined as shown by the following equation (298) by calculating the product sum with the weight.
P = w₁× M₁/ M + w₂× M₂/ M + w₃× M₃/M...(298)
[3083]
In step S5355, the real world estimation information acquiring unit 5351 determines whether or not the processing has been completed for all the pixels of the image to be generated, and determines that the processing has not been completed for all of the pixels. The process returns to step S5352, and the subsequent processes are repeated. That is, the processing of steps S5352 to S5355 is repeated until it is determined that the processing has been completed for all the pixels.
[3084]
If it is determined in step S5355 that the processing has been completed for all the pixels, the processing ends.
[3085]
FIGS. 392A to 392D show processing results when pixels having a 16-fold density (4 times the density in the horizontal and vertical directions) with respect to the original image are generated. Here, FIG. 392A shows the original image, FIG. 392B shows the processing result by the conventional classification adaptive processing, and FIG. 392C shows the processing result by the real-world approximation function composed of the above-described polynomial. FIG. 392D shows the processing results of the real-world approximation functions composed of the discontinuous functions, respectively.
[3086]
It can be seen that the processing result by the real-world approximation function composed of the discontinuous function has little blur of the image and generates a clear image close to the original image.
[3087]
FIG. 393 shows the average pixel value of 4 × 4 pixels in the horizontal direction and the vertical direction of the high-density original image, and further, the pixel values of the 16 pixels are calculated as the average pixel value. After the spatial resolution is reduced to 1/16, the processing result of the above-described real-world approximation function composed of the polynomial and the processing result of the real-world approximation function composed of the discontinuous function are compared. Note that in FIG. 393, the solid line is the original image, the dotted line is the processing result by the real world approximation function composed of polynomials, and the dashed line is the processing result by the real world approximation function composed of discontinuous functions. . The horizontal axis in the figure is the coordinate position in the X direction, and the vertical axis is the pixel value.
[3088]
The processing result by the real-world approximation function consisting of the discontinuous function is more consistent with the original image and the original image at X = 651 to 655 than the processing result by the real-world approximation function consisting of the polynomial. It can be seen that the pixel values are accurately reproduced even in the generation of 16-fold density pixels.
[3089]
Through the above processing, pixels can be generated in consideration of the distribution of light intensity in a region below the pixels, and it is possible to accurately generate higher-density pixels. Can be generated.
[3090]
Further, as described above, even if a motion blur occurs in an image, it can be removed by a method of setting a real world approximation function including a discontinuous function.
[3091]
Here, the input image and the motion blur will be described with reference to FIGS. 394 to 409.
[3092]
FIG. 394 is a diagram illustrating imaging by the sensor 2. The sensor 2 is configured by, for example, a CCD video camera provided with a CCD (Charge-Coupled Device) area sensor that is a solid-state imaging device. The object corresponding to the foreground in the real world moves horizontally between the object corresponding to the background and the sensor in the real world, for example, from left to right in the drawing.
[3093]
The sensor 2 images the object corresponding to the foreground together with the object corresponding to the background. The sensor 2 outputs a captured image in units of one frame. For example, the sensor 2 outputs an image composed of 30 frames per second. The exposure time of the sensor 2 can be 1/30 second. The exposure time is a period from the time when the sensor 2 starts converting the input light into the electric charge to the time when the conversion of the input light into the electric charge is completed. Hereinafter, the exposure time is also referred to as a shutter time.
[3094]
FIG. 395 is a diagram illustrating the arrangement of pixels. In FIG. 395, A to I indicate individual pixels. The pixels are arranged on a plane corresponding to the image. One detection element corresponding to one pixel is arranged on the sensor 2. When the sensor 2 captures an image, one detection element outputs a pixel value corresponding to one pixel forming the image. For example, the position of the detection element in the X direction corresponds to the position in the horizontal direction on the image, and the position of the detection element in the Y direction corresponds to the position in the vertical direction on the image.
[3095]
As shown in FIG. 396, for example, a detection element such as a CCD converts input light into electric charges for a period corresponding to a shutter time, and accumulates the converted electric charges. The amount of charge is substantially proportional to the intensity of the input light and the time during which the light is input. The detection element adds the electric charge converted from the input light to the electric charge already stored in a period corresponding to the shutter time. That is, the detection element integrates the input light for a period corresponding to the shutter time, and accumulates an amount of charge corresponding to the integrated light. It can be said that the detection element has an integration effect with respect to time.
[3096]
The electric charge accumulated in the detection element is converted into a voltage value by a circuit (not shown), and the voltage value is further converted into a pixel value such as digital data and output. Therefore, each pixel value output from the sensor 2 is a value projected onto a one-dimensional space, which is a result of integrating a spatially wide part of the object corresponding to the foreground or background with respect to the shutter time. Having.
[3097]
FIG. 397 is a diagram illustrating an image obtained by capturing an object corresponding to a moving foreground and an object corresponding to a stationary background. FIG. 397A shows an image obtained by capturing an object corresponding to a foreground with motion and an object corresponding to a stationary background. In the example shown in FIG. 397A, the object corresponding to the foreground is moving horizontally from left to right with respect to the screen.
[3098]
FIG. 397B is a model diagram in which pixel values corresponding to one line of the image shown in FIG. 397A are developed in the time direction. The horizontal direction in FIG. 397B corresponds to the spatial direction X in FIG. 397A.
[3099]
The pixels in the background region have their pixel values formed only from the background components, that is, components of the image corresponding to the background object. The pixel values of the pixels in the foreground area are composed of only the foreground components, that is, the components of the image corresponding to the foreground object.
[3100]
The pixel value of the pixel of the mixed area is configured from the background component and the foreground component. Since the pixel value of the mixed area is composed of the background component and the foreground component, it can be said that the mixed area is a distortion area. The mixed area is further classified into a covered background area and an uncovered background area.
[3101]
The covered background area is a mixed area at a position corresponding to the front end of the foreground object in the traveling direction with respect to the foreground area, and refers to an area where the background component is covered by the foreground as time passes.
[3102]
On the other hand, the uncovered background area is a mixed area at a position corresponding to the rear end of the foreground object in the traveling direction with respect to the foreground area, and an area in which the background component appears over time. Say.
[3103]
FIG. 398 is a diagram illustrating the background area, foreground area, mixed area, covered background area, and uncovered background area as described above. In the case of the image shown in FIG. 397, the background area is a stationary part, the foreground area is a moving part, the covered background area of the mixed area is a part that changes from the background to the foreground, The uncovered background area is a part that changes from the foreground to the background.
[3104]
FIG. 399 is a model diagram in which pixel values of adjacent pixels arranged in one row in an image obtained by capturing an object corresponding to a stationary foreground and an object corresponding to a stationary background are developed in the time direction. It is. For example, the pixels arranged on one line of the screen can be selected as the pixels arranged adjacently in one column.
[3105]
The pixel values of F01 to F04 illustrated in FIG. 399 are the pixel values of the pixels corresponding to the stationary foreground object. The pixel values B01 to B04 illustrated in FIG. 399 are the pixel values of the pixels corresponding to the stationary background object.
[3106]
The vertical direction in FIG. 399 corresponds to time, and time elapses from top to bottom in the figure. The position of the upper side of the rectangle in FIG. 399 corresponds to the time when the sensor 2 starts converting the input light into electric charge, and the position of the lower side of the rectangle in FIG. This corresponds to the time when the conversion into electric charge ends. That is, the distance from the upper side to the lower side of the rectangle in FIG. 399 corresponds to the shutter time.
[3107]
Hereinafter, a case where the shutter time and the frame interval are the same will be described as an example.
[3108]
The horizontal direction in FIG. 399 corresponds to the spatial direction X described in FIG. More specifically, in the example shown in FIG. 399, the distance from the left side of the rectangle described as “F01” in FIG. 399 to the right side of the rectangle described as “B04” is eight times the pixel pitch, That is, it corresponds to the interval between eight consecutive pixels.
[3109]
When the foreground object and the background object are stationary, the light input to the sensor 2 does not change during the period corresponding to the shutter time.
[3110]
Here, the period corresponding to the shutter time is divided into two or more periods of the same length. The number of virtual divisions is set in accordance with the amount of movement v of the object corresponding to the foreground within the shutter time. For example, as shown in FIG. 400, the number of virtual divisions is 4, and the period corresponding to the shutter time is divided into 4 corresponding to the movement amount v of 4.
[3111]
The top row in FIG. 400 corresponds to the first divided period after the shutter has opened. The second row from the top in the figure corresponds to the second divided period from when the shutter has opened. The third row from the top in the figure corresponds to the third divided period from when the shutter has opened. The fourth row from the top in the figure corresponds to the fourth divided period from when the shutter has opened.
[3112]
Hereinafter, the shutter time divided according to the movement amount v is also referred to as a shutter time / v.
[3113]
When the object corresponding to the foreground is stationary, the light input to the sensor 2 does not change, so the foreground component F01 / v is equal to a value obtained by dividing the pixel value F01 by the number of virtual divisions. Similarly, when the object corresponding to the foreground is stationary, the foreground component F02 / v is equal to a value obtained by dividing the pixel value F02 by the number of virtual divisions, and the foreground component F03 / v is obtained by dividing the pixel value F03 by the virtual value. The foreground component F04 / v is equal to a value obtained by dividing the pixel value F04 by the virtual number of divisions.
[3114]
When the object corresponding to the background is stationary, the light input to the sensor 2 does not change, so the background component B01 / v is equal to a value obtained by dividing the pixel value B01 by the virtual division number. Similarly, when the object corresponding to the background is stationary, the background component B02 / v is equal to the value obtained by dividing the pixel value B02 by the virtual division number, and B03 / v is the pixel value B03 obtained by dividing the pixel value B03 by the virtual division number. B04 / v is equal to the value obtained by dividing the pixel value B04 by the virtual division number.
[3115]
That is, when the object corresponding to the foreground is stationary, the light corresponding to the object of the foreground input to the sensor 2 does not change during the period corresponding to the shutter time. v, the foreground component F01 / v corresponding to the second shutter time / v when the shutter is opened, and the third foreground component F01 / v corresponding to the shutter time / v when the shutter is opened. The foreground component F01 / v has the same value as the foreground component F01 / v corresponding to the fourth shutter time / v after the shutter is opened. F02 / v to F04 / v also have the same relationship as F01 / v.
[3116]
When the object corresponding to the background is stationary, the light corresponding to the background object input to the sensor 2 does not change during the period corresponding to the shutter time. The corresponding background component B01 / v, the second background component B01 / v corresponding to the shutter time / v when the shutter is opened, and the third background component corresponding to the shutter time / v when the shutter is opened. The component B01 / v has the same value as the background component B01 / v corresponding to the fourth shutter time / v after the shutter is opened. B02 / v to B04 / v also have the same relationship.
[3117]
Next, a case where the object corresponding to the foreground moves and the object corresponding to the background is stationary will be described.
[3118]
FIG. 401 is a model diagram in which pixel values of pixels on one line including a covered background area are developed in the time direction when the object corresponding to the foreground moves rightward in the figure. In FIG. 401, the motion amount v of the foreground is 4. Since one frame is a short time, it can be assumed that the object corresponding to the foreground is rigid and moves at a constant speed. In FIG. 401, the image of the object corresponding to the foreground moves so as to be displayed four pixels to the right in the next frame with reference to a certain frame.
[3119]
In FIG. 401, the leftmost pixel to the fourth pixel from the left belong to the foreground area. In FIG. 401, the fifth to seventh pixels from the left belong to the mixed area that is the covered background area. In FIG. 401, the rightmost pixel belongs to the background area.
[3120]
Since the object corresponding to the foreground moves so as to cover the object corresponding to the background with the passage of time, the component included in the pixel value of the pixel belonging to the covered background area has a period corresponding to the shutter time. At this point, the background component is replaced by the foreground component.
[3121]
For example, a pixel value M with a thick line frame in FIG. 401 is represented by Expression (299).
[3122]
M = B02 / v + B02 / v + F07 / v + F06 / v (299)
[3123]
For example, since the fifth pixel from the left includes a background component corresponding to one shutter time / v and a foreground component corresponding to three shutter times / v, the mixture ratio of the fifth pixel from the left α is ４. Since the sixth pixel from the left includes a background component corresponding to two shutter times / v and a foreground component corresponding to two shutter times / v, the mixture ratio α of the sixth pixel from the left is , 1/2. Since the seventh pixel from the left includes a background component corresponding to three shutter times / v and a foreground component corresponding to one shutter time / v, the mixture ratio α of the seventh pixel from the left is 、 ３.
[3124]
Since it can be assumed that the object corresponding to the foreground is a rigid body and the foreground image moves at a constant speed so as to be displayed four pixels to the right in the next frame, for example, the fourth pixel from the left in FIG. The first foreground component F07 / v of the shutter time / v from the shutter opening is the foreground component of the fifth pixel from the left in FIG. 401 corresponding to the second shutter time / v from the shutter opening. be equivalent to. Similarly, the foreground component F07 / v is the foreground component of the sixth pixel from the left in FIG. 401 corresponding to the third shutter time / v from when the shutter has opened, and the seventh pixel from the left in FIG. , And the foreground component corresponding to the fourth shutter time / v from when the shutter has opened.
[3125]
Since it can be assumed that the object corresponding to the foreground is a rigid body and the foreground image moves at a constant speed so as to be displayed four pixels to the right in the next frame, for example, the third pixel from the left in FIG. The foreground component F06 / v of the first shutter time / v from when the shutter has opened is the foreground component of the fourth pixel from the left in FIG. 401 corresponding to the second shutter time / v from when the shutter has opened. equal. Similarly, the foreground component F06 / v is the foreground component of the fifth pixel from the left in FIG. 401 corresponding to the third shutter time / v from when the shutter has opened, and the sixth pixel from the left in FIG. , And the foreground component corresponding to the fourth shutter time / v from when the shutter has opened.
[3126]
Since it can be assumed that the object corresponding to the foreground is a rigid body and the foreground image moves at a constant speed so as to be displayed four pixels to the right in the next frame, for example, the second pixel from the left in FIG. The foreground component F05 / v of the first shutter time / v from when the shutter has opened is the foreground component of the third pixel from the left in FIG. 401 corresponding to the second shutter time / v from when the shutter has opened. equal. Similarly, the foreground component F05 / v is the foreground component of the fourth pixel from the left in FIG. 401 corresponding to the third shutter time / v from when the shutter has opened, and the fifth pixel from the left in FIG. , And the foreground component corresponding to the fourth shutter time / v from when the shutter has opened.
[3127]
Since it can be assumed that the object corresponding to the foreground is a rigid body and the foreground image moves at a constant speed so as to be displayed four pixels to the right in the next frame, for example, the shutter of the leftmost pixel in FIG. Is open, the foreground component F04 / v of the first shutter time / v is equal to the foreground component of the second pixel from the left in FIG. 401 corresponding to the second shutter time / v from when the shutter has opened. Similarly, the foreground component F04 / v is the foreground component of the third pixel from the left in FIG. 401 corresponding to the third shutter time / v from when the shutter has opened, and the fourth pixel from the left in FIG. , And the foreground component corresponding to the fourth shutter time / v from when the shutter has opened.
[3128]
The state of the foreground area corresponding to such a moving object is motion blur. Further, the foreground area corresponding to the moving object includes the motion blur as described above, and thus can be said to be a distortion area.
[3129]
FIG. 402 is a model diagram in which pixel values of pixels on one line including the uncovered background area are developed in the time direction when the foreground moves toward the right side in the figure. In FIG. 402, the motion amount v of the foreground is 4. Since one frame is a short time, it can be assumed that the object corresponding to the foreground is rigid and moves at a constant speed. In FIG. 402, the image of the object corresponding to the foreground moves to the right by four pixels in the next frame with respect to a certain frame.
[3130]
In FIG. 402, the leftmost pixel to the fourth pixel from the left belong to the background area. In FIG. 402, the fifth to seventh pixels from the left belong to the mixed area that is the uncovered background. In FIG. 402, the rightmost pixel belongs to the foreground area.
[3131]
Since the object corresponding to the foreground, which covered the object corresponding to the background, has been moved so as to be removed from the front of the object corresponding to the background over time, it is included in the pixel values of the pixels belonging to the uncovered background area. At some point during the period corresponding to the shutter time, the foreground component changes from the foreground component to the background component.
[3132]
For example, a pixel value M ′ with a thick line frame in FIG. 402 is represented by Expression (300).
[3133]
M '= F02 / v + F01 / v + B26 / v + B26 / v (300)
[3134]
For example, since the fifth pixel from the left includes a background component corresponding to three shutter times / v and a foreground component corresponding to one shutter time / v, the mixture ratio of the fifth pixel from the left α is ／. Since the sixth pixel from the left includes a background component corresponding to two shutter times / v and a foreground component corresponding to two shutter times / v, the mixture ratio α of the sixth pixel from the left is , 1/2. Since the seventh pixel from the left includes a background component corresponding to one shutter time / v and a foreground component corresponding to three shutter times / v, the mixture ratio α of the seventh pixel from the left is , 1/4.
[3135]
When the expressions (299) and (300) are generalized, the pixel value M is represented by the expression (301).
[3136]
[Equation 232]

Here, α is a mixture ratio. B is the pixel value of the background, and Fi / v is the foreground component.
[3137]
Since it can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the amount of movement v is 4, for example, the fifth pixel from the left in FIG. The foreground component F01 / v of the shutter time / v is equal to the foreground component of the sixth pixel from the left in FIG. 402 corresponding to the second shutter time / v from when the shutter has opened. Similarly, F01 / v is the foreground component of the seventh pixel from the left in FIG. 402 corresponding to the third shutter time / v from when the shutter has opened, and the eighth pixel from the left in FIG. 402. , And the foreground component corresponding to the fourth shutter time / v from when the shutter is opened.
[3138]
Since it can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the number of virtual divisions is 4, for example, the sixth pixel from the left in FIG. The foreground component F02 / v of the shutter time / v is equal to the foreground component of the seventh pixel from the left in FIG. 402 corresponding to the second shutter time / v from when the shutter has opened. Similarly, the foreground component F02 / v is equal to the foreground component of the eighth pixel from the left in FIG. 402 corresponding to the third shutter time / v from when the shutter has opened.
[3139]
Since it can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the movement amount v is 4, for example, the first pixel from the left in FIG. The foreground component F03 / v of the shutter time / v is equal to the foreground component of the eighth pixel from the left in FIG. 402 corresponding to the second shutter time / v from when the shutter has opened.
[3140]
In the description of FIGS. 400 to 402, the virtual division number has been described as four, but the virtual division number corresponds to the motion amount v. The movement amount v generally corresponds to the moving speed of the object corresponding to the foreground. For example, when the object corresponding to the foreground is moving so as to be displayed four pixels to the right in the next frame with respect to a certain frame, the motion amount v is set to 4. The virtual division number is set to 4 corresponding to the movement amount v. Similarly, for example, when the object corresponding to the foreground is moving so as to be displayed 6 pixels to the left in the next frame with respect to a certain frame, the motion amount v is set to 6, and the number of virtual divisions is , 6.
[3141]
FIGS. 403 and 404 illustrate the above-described mixed region including the foreground region, the background region, the covered background region, or the uncovered background region, and the foreground component and the background component corresponding to the divided shutter time. Shows the relationship.
[3142]
FIG. 403 illustrates an example in which pixels in a foreground area, a background area, and a mixed area are extracted from an image including a foreground corresponding to an object moving in front of a stationary background. In the example shown in FIG. 403, the object corresponding to the foreground is moving horizontally with respect to the screen.
[3143]
Frame # n + 1 is a frame next to frame #n, and frame # n + 2 is a frame next to frame # n + 1.
[3144]
The pixels of the foreground area, the background area, and the mixed area extracted from any of the frames #n to # n + 2 are extracted, and the motion amount v is set to 4, and the pixel values of the extracted pixels are developed in the time direction. The model is shown in FIG.
[3145]
The pixel value of the foreground area is composed of four different foreground components corresponding to the shutter time / v period because the object corresponding to the foreground moves. For example, the leftmost pixel among the pixels in the foreground area illustrated in FIG. 404 includes F01 / v, F02 / v, F03 / v, and F04 / v. That is, pixels in the foreground area include motion blur.
[3146]
Since the object corresponding to the background is stationary, the light corresponding to the background input to the sensor 2 does not change during the period corresponding to the shutter time. In this case, the pixel value of the background area does not include motion blur.
[3147]
The pixel value of a pixel belonging to a mixed area composed of a covered background area or an uncovered background area is composed of a foreground component and a background component.
[3148]
Next, when the image corresponding to the object is moving, the pixel values of the pixels that are adjacently arranged in one row in a plurality of frames and are located at the same position on the frame are developed in the time direction. The model will be described. For example, when the image corresponding to the object is moving horizontally with respect to the screen, the pixels arranged on one line of the screen can be selected as the pixels arranged adjacently in one row.
[3149]
FIG. 405 shows pixel values of pixels that are adjacently arranged in one row in three frames of an image of an object corresponding to a stationary background and that are located at the same position on the frame. It is the model figure developed in the direction. The frame #n is a frame next to the frame # n-1, and the frame # n + 1 is a frame next to the frame #n. Other frames are similarly referred to.
[3150]
The pixel values B01 to B12 illustrated in FIG. 405 are the pixel values of the pixels corresponding to the stationary background object. Since the object corresponding to the background is stationary, the pixel values of the corresponding pixels do not change in frames # n−1 to n + 1. For example, the pixel in frame #n and the pixel in frame # n + 1 corresponding to the position of the pixel having the pixel value of B05 in frame # n-1 each have a pixel value of B05.
[3151]
FIG. 406 shows three adjacent pixels of three frames of an image obtained by capturing an object corresponding to a foreground moving to the right in the figure together with an object corresponding to a stationary background, FIG. 4 is a model diagram in which pixel values of pixels at the same position on a frame are developed in the time direction. The model shown in FIG. 406 includes a covered background area.
[3152]
In FIG. 406, it can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the foreground image moves so as to be displayed four pixels to the right in the next frame. , 4 and the number of virtual divisions is 4.
[3153]
For example, the foreground component of the leftmost pixel of frame # n-1 in FIG. 406 at the first shutter time / v from when the shutter has opened is F12 / v, and the second pixel from the left in FIG. The foreground component of the second shutter time / v after the shutter is opened also becomes F12 / v. The foreground component of the third pixel from the left in FIG. 406 at the third shutter time / v from when the shutter has opened, and the fourth shutter time of the fourth pixel from the left in FIG. 406 from the shutter opening. The foreground component of / v is F12 / v.
[3154]
The foreground component of the leftmost pixel in frame # n-1 in FIG. 406 at the second shutter time / v from when the shutter has opened is F11 / v, and the foreground component of the second pixel from the left in FIG. The foreground component at the third shutter time / v after the shutter is opened also becomes F11 / v. The foreground component of the third pixel from the left in FIG. 406 at the fourth shutter time / v from when the shutter has opened is F11 / v.
[3155]
The foreground component of the leftmost pixel of frame # n−1 in FIG. 406 at the third shutter time / v from when the shutter has opened is F10 / v, and the pixel of the second pixel from the left in FIG. The foreground component of the fourth shutter time / v after the shutter is opened also becomes F10 / v. The foreground component of the leftmost pixel of frame # n-1 in FIG. 406 at the fourth shutter time / v from when the shutter has opened is F09 / v.
[3156]
Since the object corresponding to the background is stationary, the background component of the second pixel from the left of frame # n-1 in FIG. 406 corresponding to the first shutter time / v from when the shutter has opened is B01 / v. Become. The background components of the third pixel from the left of frame # n-1 in FIG. 406 corresponding to the first and second shutter time / v from when the shutter has opened are B02 / v. The background component of the fourth pixel from the left of frame # n−1 in FIG. 406 corresponding to the first to third shutter time / v from when the shutter has opened is B03 / v.
[3157]
In frame # n-1 in FIG. 406, the leftmost pixel belongs to the foreground area, and the second to fourth pixels from the left belong to the mixed area that is the covered background area.
[3158]
The fifth to twelfth pixels from the left of frame # n-1 in FIG. 406 belong to the background area, and their pixel values are B04 to B11, respectively.
[3159]
The first to fifth pixels from the left of frame #n in FIG. 406 belong to the foreground area. The foreground component of the shutter time / v in the foreground area of frame #n is one of F05 / v to F12 / v.
[3160]
It can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the image of the foreground moves so as to be displayed four pixels to the right in the next frame. Therefore, from the left of frame #n in FIG. The foreground component of the fifth pixel at the first shutter time / v from when the shutter is opened is F12 / v, and the sixth pixel from the left from the left in FIG. Is also F12 / v. The foreground component of the seventh pixel from the left in FIG. 406 at the third shutter time / v from when the shutter is opened, and the fourth shutter time of the eighth pixel from the left in FIG. 406 from the shutter opened. The foreground component of / v is F12 / v.
[3161]
The foreground component of the fifth pixel from the left of frame #n in FIG. 406 for the second shutter time / v from when the shutter has opened is F11 / v, and the sixth pixel from the left of FIG. The foreground component at the third shutter time / v after the shutter is opened also becomes F11 / v. The foreground component of the seventh pixel from the left in FIG. 406 at the fourth shutter time / v from when the shutter has opened is F11 / v.
[3162]
The foreground component of the fifth pixel from the left of frame #n in FIG. 406 at the third shutter time / v from when the shutter has opened is F10 / v, and the fifth pixel from the left of FIG. The foreground component at the fourth shutter time / v after the shutter is opened also becomes F10 / v. The foreground component of the fifth pixel from the left of frame #n in FIG. 406 at the fourth shutter time / v from when the shutter has opened is F09 / v.
[3163]
Since the object corresponding to the background is stationary, the background component of the sixth pixel from the left of frame #n in FIG. 406 corresponding to the first shutter time / v from when the shutter has opened is B05 / v. The background components of the seventh pixel from the left of frame #n in FIG. 406 corresponding to the first and second shutter times / v from when the shutter has opened are B06 / v. The background component of the eighth pixel from the left of frame #n in FIG. 406 corresponding to the first to third shutter time / v from when the shutter has opened is B07 / v.
[3164]
In frame #n in FIG. 406, the sixth through eighth pixels from the left belong to a mixed area that is a covered background area.
[3165]
The ninth to twelfth pixels from the left of frame #n in FIG. 406 belong to the background area, and have pixel values of B08 to B11, respectively.
[3166]
The first to ninth pixels from the left of frame # n + 1 in FIG. 406 belong to the foreground area. The foreground component of the shutter time / v in the foreground area of frame # n + 1 is one of F01 / v to F12 / v.
[3167]
Since it can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed, and the image of the foreground moves so as to be displayed four pixels to the right in the next frame, the object from the left of frame # n + 1 in FIG. The foreground component of the ninth pixel at the first shutter time / v from when the shutter is opened is F12 / v, and the second shutter time / v at the tenth pixel from the left in FIG. 406 from when the shutter is opened. Is also F12 / v. The foreground component of the eleventh pixel from the left in FIG. 406 at the third shutter time / v from when the shutter has opened, and the fourth shutter time of the twelfth pixel from the left in FIG. 406 from the shutter opening. The foreground component of / v is F12 / v.
[3168]
The foreground component of the ninth pixel from the left of frame # n + 1 in FIG. 406 during the second shutter time / v from when the shutter has opened is F11 / v, and the tenth pixel from the left in FIG. 406 is F11 / v. The foreground component of the third shutter time / v after the shutter is opened also becomes F11 / v. The foreground component of the eleventh pixel from the left in FIG. 406 for the fourth shutter time / v from when the shutter has opened is F11 / v.
[3169]
The foreground component of the ninth pixel from the left of frame # n + 1 in FIG. 406 that is the third shutter time / v from when the shutter has opened is F10 / v, and that of the tenth pixel from the left in FIG. 406 The foreground component of the fourth shutter time / v after the shutter is opened also becomes F10 / v. The foreground component of the ninth pixel from the left of frame # n + 1 in FIG. 406 at the fourth shutter time / v from when the shutter has opened is F09 / v.
[3170]
Since the object corresponding to the background is stationary, the background component of the tenth pixel from the left of frame # n + 1 in FIG. 406 corresponding to the first shutter time / v from when the shutter has opened is B09 / v. The background components of the eleventh pixel from the left of frame # n + 1 in FIG. 406 at the first and second shutter time / v from when the shutter has opened are B10 / v. The background components of the twelfth pixel from the left of frame # n + 1 in FIG. 406 corresponding to the first to third shutter time / v from when the shutter has opened are B11 / v.
[3171]
In frame # n + 1 in FIG. 406, the tenth to twelfth pixels from the left correspond to the mixed area that is the covered background area.
[3172]
FIG. 407 is a model diagram of an image obtained by extracting a foreground component from the pixel values shown in FIG. 406.
[3173]
FIG. 408 illustrates three pixels of an image obtained by capturing a foreground corresponding to an object that moves to the right in the drawing together with a stationary background, in which pixels are arranged in a row and adjacent to each other. FIG. 6 is a model diagram in which pixel values of a pixel at a position are developed in the time direction. In FIG. 408, an uncovered background area is included.
[3174]
In FIG. 408, it can be assumed that the object corresponding to the foreground is rigid and moves at a constant speed. Since the object corresponding to the foreground is moving so as to be displayed on the right side by four pixels in the next frame, the motion amount v is 4.
[3175]
For example, the first foreground component of the leftmost pixel of frame # n-1 in FIG. 408 at the shutter time / v after the shutter is opened is F13 / v, and the second pixel from the left in FIG. 408 The foreground component of the second shutter time / v after the shutter is opened also becomes F13 / v. The foreground component of the third pixel from the left in FIG. 408 for the third shutter time / v from when the shutter has opened, and the fourth shutter time for the fourth pixel from the left in FIG. 408 since the shutter has opened. The foreground component of / v is F13 / v.
[3176]
The foreground component of the second pixel from the left of frame # n-1 in FIG. 408 for the first shutter time / v from when the shutter has opened is F14 / v, and the component of the third pixel from the left in FIG. 408 is F14 / v. The foreground component of the second shutter time / v after the shutter is opened also becomes F14 / v. The foreground component of the third pixel from the left in FIG. 408 for the first shutter time / v from when the shutter has opened is F15 / v.
[3177]
Since the object corresponding to the background is stationary, the background component of the leftmost pixel of frame # n−1 in FIG. 408, which is the second to fourth shutter time / v from when the shutter has opened is B25. / V. The background components of the second pixel from the left of frame # n-1 in Fig. 408 corresponding to the third and fourth portions of the shutter time / v from when the shutter has opened are B26 / v. The background component of the third pixel from the left of frame # n-1 in FIG. 408 corresponding to the fourth shutter time / v from when the shutter has opened is B27 / v.
[3178]
In frame # n−1 in FIG. 408, the leftmost to third pixels belong to the mixed area that is the uncovered background area.
[3179]
The fourth through twelfth pixels from the left of frame # n-1 in FIG. 408 belong to the foreground area. The foreground component of the frame is one of F13 / v to F24 / v.
[3180]
The leftmost pixel to the fourth pixel from the left of frame #n in FIG. 408 belong to the background area, and have pixel values of B25 to B28, respectively.
[3181]
It can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed. Since the foreground image moves so as to be displayed four pixels to the right in the next frame, the object from the left of frame #n in FIG. The foreground component of the fifth pixel at the first shutter time / v from when the shutter has opened is F13 / v, and the sixth pixel from the left from the left in FIG. 408 has the second shutter time / v after the shutter has opened. Is also F13 / v. The foreground component of the seventh pixel from the left in FIG. 408 at the third shutter time / v from when the shutter is opened, and the fourth shutter time of the eighth pixel from the left in FIG. 408 from the shutter opened. The foreground component of / v is F13 / v.
[3182]
The foreground component of the sixth pixel from the left of frame #n in FIG. 408 for the first shutter time / v from when the shutter has opened is F14 / v, and the shutter of the seventh pixel from the left in FIG. Is opened, the foreground component of the second shutter time / v is also F14 / v. The foreground component of the eighth pixel from the left in FIG. 408 for the first shutter time / v from when the shutter has opened is F15 / v.
[3183]
Since the object corresponding to the background is stationary, the background component of the fifth pixel from the left of frame #n in FIG. 408 corresponding to the second to fourth shutter times / v from when the shutter has opened is B29 / v. The background components of the sixth pixel from the left of frame #n in FIG. 408 corresponding to the third and fourth shutter times / v from when the shutter has opened are B30 / v. The background component of the seventh pixel from the left of frame #n in FIG. 408 for the fourth shutter time / v from when the shutter has opened is B31 / v.
[3184]
In frame #n in FIG. 408, the fifth through seventh pixels from the left belong to the mixed area that is the uncovered background area.
[3185]
The eighth to twelfth pixels from the left of frame #n in FIG. 408 belong to the foreground area. The value corresponding to the shutter time / v period in the foreground area of frame #n is one of F13 / v to F20 / v.
[3186]
The leftmost pixel to the eighth pixel from the left of frame # n + 1 in FIG. 408 belong to the background area, and have pixel values of B25 to B32, respectively.
[3187]
It can be assumed that the object corresponding to the foreground is a rigid body and moves at a constant speed. Since the foreground image moves so as to be displayed four pixels to the right in the next frame, the object from the left of frame # n + 1 in FIG. The foreground component of the ninth pixel at the first shutter time / v from when the shutter has opened is F13 / v, and the tenth pixel from the left in FIG. 408 has the second shutter time / v after the shutter has opened. Is also F13 / v. The foreground component of the eleventh pixel from the left in FIG. 408 at the third shutter time / v from when the shutter has opened, and the twelfth pixel from the left in FIG. 408 having the fourth shutter time since the shutter has opened. The foreground component of / v is F13 / v.
[3188]
The foreground component of the tenth pixel from the left of frame # n + 1 in FIG. 408 for the first shutter time / v from when the shutter has opened is F14 / v, and the shutter of the eleventh pixel from the left in FIG. Is opened, the foreground component of the second shutter time / v is also F14 / v. The foreground component of the twelfth pixel from the left in FIG. 408 for the first shutter time / v from when the shutter has opened is F15 / v.
[3189]
Since the object corresponding to the background is stationary, the background component of the ninth pixel from the left of frame # n + 1 in FIG. 408 corresponding to the second to fourth shutter time / v from when the shutter has opened is B33. / V. The background components of the tenth pixel from the left of frame # n + 1 in FIG. 408 corresponding to the third and fourth shutter times / v from when the shutter has opened are B34 / v. The background component of the eleventh pixel from the left of frame # n + 1 in FIG. 408 corresponding to the fourth shutter time / v from when the shutter has opened is B35 / v.
[3190]
In frame # n + 1 in FIG. 408, the ninth to eleventh pixels from the left belong to a mixed area that is an uncovered background area.
[3191]
The twelfth pixel from the left of frame # n + 1 in FIG. 408 belongs to the foreground area. The foreground component of the shutter time / v in the foreground area of frame # n + 1 is one of F13 / v to F16 / v.
[3192]
FIG. 409 is a model diagram of an image obtained by extracting a foreground component from the pixel values shown in FIG. 408.
[3193]
The input image and the motion blur have been described. In the above description, the change of the component in the pixel has been described by the number of virtual divisions. By making the number of virtual divisions infinite, each component becomes, for example, as shown in FIG. Level w on the right₁Or w₅The configuration is similar to that of the band-shaped region indicated by.
[3194]
That is, setting the level as a discontinuous function for each area along the direction of continuity on the XT plane (the same applies to the XY plane) means that the change in the component within the shutter time is independent of the number of divisions. Can be said to be set as a linear region.
[3195]
For this reason, by estimating the real world using an approximation function consisting of a discontinuous function for each region along the direction of continuity, it is possible to estimate the mechanism causing the above-described motion blur.
[3196]
Therefore, by utilizing this characteristic, it is possible to substantially eliminate motion blur by generating pixels within one shutter time (pixels equal to or less than one pixel in the frame direction).
[3197]
FIG. 410 shows a process result when motion blur is removed by the class classification adaptive process, and a motion blur using a real-world approximation function obtained by setting a discontinuous function for each region along the direction of stationarity. Is a comparison of the processing results in the case of removing. In FIG. 410, a dotted line indicates a change in the pixel value of an input image (an image having motion blur), and a solid line indicates a processing result when the motion blur is removed by the classification adaptive processing. The dashed-dotted line indicates the processing result when motion blur is removed using an approximation function of the real world obtained by setting a discontinuous function for each region along the direction of stationarity. I have. Further, the horizontal axis indicates the coordinates of the input image in the X direction, and the vertical axis indicates the pixel values.
[3198]
The processing result when the motion blur is removed using the real world approximation function including the discontinuous function for each area is X = 379, 376 compared with the processing result when the motion blur is removed by the class classification adaptive processing. It can be seen that the pixel value of the edge portion changes greatly around the vicinity, and the motion blur is removed, and the image has a clear image contrast.
[3199]
Further, as shown in FIG. 411, an image when a motion blur occurs when the toy airplane-shaped object moves in the horizontal direction is set as a discontinuous function for each region along the direction of stationarity. (The image from which the motion blur has been removed using the real world estimation unit 102 in FIG. 369 and the image generation unit 103 in FIG. 384) when the motion blur has been removed using the approximation function of the real world. 412A to 412D show comparisons with processing results obtained by removing motion blur using other methods.
[3200]
That is, FIG. 412A is the image itself in which the motion blur of the black frame portion in FIG. 411 has occurred (the image before the process of blur removal), and FIG. 412B is the image in which the motion blur of FIG. FIG. 412C is an image in which the subject of the input image is captured in a stationary state, and FIG. 412D is an image in which the motion blur is removed using a real world approximation function including a set discontinuous function. 3 is an image of a processing result obtained by removing motion blur by the method of FIG.
[3201]
An image (FIG. 412B) from which motion blur has been removed using an approximation function in the real world consisting of a discontinuous function set for each region is an image of a processing result from which motion blur has been removed by another method (FIG. 412D). Image), the portion adjacent to “C” and “A” in the figure is a clearer image, and the area where the character is present is displayed more clearly. I understand. Thus, it can be understood that the details are clearly displayed by the process of removing the motion blur using the approximate function of the real world including the discontinuous function set for each region.
[3202]
Furthermore, as shown in FIG. 413, an image when a motion blur occurs when the toy airplane-like object moves in an oblique direction (upward to the right) is obtained for each region along the direction of stationarity. Processing results when motion blur is removed using a real-world approximation function by setting a discontinuous function (the motion blur generated using the real-world estimator 102 in FIG. 377 and the image generator 103 in FIG. 388 is FIGS. 414A to 414D show a comparison between the (removed image) and the processing result obtained by removing the motion blur by another method.
[3203]
That is, FIG. 414A is an image before the process of blur removal in which the motion blur occurs in the black frame portion in FIG. 413, and FIG. 414B is an image in which the motion blur in FIG. 414A is set for each area. FIG. 414C is an image in which the subject of the input image is captured in a stationary state, and FIG. 414D is an image obtained by removing the motion blur using a real-world approximation function composed of a continuous function. It is an image of a processing result after removing blur. The image is the one near the position marked with a bold line and a rectangular mark in FIG. 413.
[3204]
As described with reference to FIG. 412, the image from which the motion blur has been removed using the approximation function of the real world including the discontinuous function set for each region is the processing result obtained by removing the motion blur by another method. Compared to the image, the portion adjacent to “C” and “A” in the figure is a clearer image, and the area where the character is present is more clearly displayed. Understand. Thus, it can be understood that the details are clearly displayed by the process of removing the motion blur using the approximate function of the real world including the discontinuous function set for each region.
[3205]
Furthermore, when motion blur is removed using an approximation function of the real world consisting of a discontinuous function set for each region, the original image on the upper side in the oblique direction in which motion blur occurs in the upward-sloping direction shown in FIG. 415A Is input, an image as shown in FIG. 415B is output. That is, in the case of an image in which motion blur occurs in the vertical stripes in the center of the original image, the motion stripes are removed by using a real-world approximation function consisting of a discontinuous function set for each region, thereby removing the vertical stripes. The image becomes clear.
[3206]
That is, as shown in FIGS. 412A to 412D and FIGS. 415A and 415B, the real-world estimating unit in FIG. 377 and the image generating unit 103 in FIG. 388 have a three-dimensional rod shape as shown in FIG. Since an approximation function for estimating the real world is set as a discontinuous function for each region, motion blur generated not only in the horizontal and vertical directions but also in a diagonal direction that is a combination of those motions is obtained. Can also be removed.
[3207]
According to the above, a real-world optical signal is projected onto a plurality of pixels each having a spatio-temporal integration effect, and the continuity of image data in which part of the continuity of the real-world optical signal is missing is detected. According to the continuity of the image data detected by the continuity detecting means, a pixel value of each pixel corresponding to a position in at least one dimensional direction in the spatiotemporal direction of the image data is obtained by integration in at least one dimensional direction. By approximating the image data with a discontinuous function assuming that the pixel value is a pixel value, a function corresponding to the optical signal in the real world is estimated. Can be generated, and in each case, a clearer image can be generated.
[3208]
Note that the sensor 2 may be a solid-state image sensor, for example, a sensor such as a BBD (Bucket Bridge Device), a CID (Charge Injection Device), or a CPD (Charge Priming Device).
[3209]
As shown in FIG. 2, the recording medium on which the program for performing the signal processing according to the present invention is recorded is a magnetic disk 51 (on which the program is recorded, which is distributed in order to provide the program to the user separately from the computer). An optical disk 52 (including a flexible disk), an optical disk 52 (including a CD-ROM (Compatible Disk-Only Memory), a DVD (Digital Versatile Disk)), a magneto-optical disk 53 (including an MD (Mini-Disk) (trademark)), or It is not only configured by a package medium including a semiconductor memory 54 and the like, but also configured by a ROM 22 in which a program is recorded and provided to a user in a state of being pre-installed in a computer, a hard disk included in a storage unit 28, and the like. You.
[3210]
The program for executing the above-described series of processes is installed on a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. May be performed.
[3211]
In this specification, a step of describing a program recorded on a recording medium may be performed in chronological order according to the described order, or may be performed in parallel or not necessarily in chronological order. This also includes processes executed individually.
[3212]
【The invention's effect】
As described above, according to the present invention, an accurate and high-accuracy processing result can be obtained.
[3213]
Further, according to the present invention, it is possible to obtain a more accurate and more accurate processing result for a real world event.
[Brief description of the drawings]
FIG. 1 is a diagram showing the principle of the present invention.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing device 4.
FIG. 3 is a block diagram showing a signal processing device 4;
FIG. 4 is a diagram illustrating the principle of processing of a conventional signal processing device 121.
FIG. 5 is a diagram for explaining the principle of processing of the signal processing device 4;
FIG. 6 is a diagram for more specifically explaining the principle of the present invention.
FIG. 7 is a diagram for more specifically explaining the principle of the present invention.
FIG. 8 is a diagram illustrating an example of an arrangement of pixels on an image sensor.
FIG. 9 is a diagram illustrating the operation of a detection element that is a CCD.
FIG. 10 is a diagram illustrating a relationship between light incident on detection elements corresponding to pixels D to F and pixel values.
FIG. 11 is a diagram illustrating a relationship between a lapse of time, light incident on a detection element corresponding to one pixel, and a pixel value.
FIG. 12 is a diagram illustrating an example of an image of a linear object in the real world 1;
FIG. 13 is a diagram illustrating an example of pixel values of image data obtained by actual imaging.
FIG. 14 is a schematic diagram of image data.
FIG. 15 is a diagram showing an example of an image of the real world 1 of an object having a straight edge, which is a color different from the background and has a single color.
FIG. 16 is a diagram illustrating an example of pixel values of image data obtained by actual imaging.
FIG. 17 is a schematic diagram of image data.
FIG. 18 is a diagram illustrating the principle of the present invention.
FIG. 19 is a diagram illustrating the principle of the present invention.
FIG. 20 is a diagram illustrating an example of generation of high-resolution data 181.
FIG. 21 is a diagram illustrating approximation by a model 161.
FIG. 22 is a diagram illustrating estimation of a model 161 based on M pieces of data 162.
FIG. 23 is a diagram illustrating a relationship between a signal in the real world 1 and data 3;
FIG. 24 is a diagram showing an example of data 3 of interest when formulating an expression.
FIG. 25 is a diagram illustrating signals for two objects in the real world 1 and values belonging to a mixed area when an equation is formed.
FIG. 26 is a diagram illustrating stationarity represented by Expression (18), Expression (19), and Expression (22).
FIG. 27 is a diagram showing an example of M data 162 extracted from data 3;
FIG. 28 is a diagram illustrating an area where a pixel value as data 3 is obtained.
FIG. 29 is a diagram illustrating approximation of the position of a pixel in the spatiotemporal direction.
FIG. 30 is a diagram for explaining integration of signals of the real world 1 in data 3 in a time direction and a two-dimensional spatial direction.
FIG. 31 is a diagram illustrating an integration area when generating high-resolution data 181 having a higher resolution in a spatial direction.
FIG. 32 is a diagram illustrating an integration area when generating high-resolution data 181 having a higher resolution in the time direction.
FIG. 33 is a diagram illustrating an integration area when generating high-resolution data 181 from which motion blur has been removed.
FIG. 34 is a diagram illustrating an integration area when generating high-resolution data 181 having a higher resolution in the time-space direction.
FIG. 35 is a diagram showing an original image of an input image.
FIG. 36 is a diagram illustrating an example of an input image.
FIG. 37 is a diagram showing an image obtained by applying the conventional classification adaptive processing.
FIG. 38 is a diagram showing a result of detecting a thin line area.
39 is a diagram illustrating an example of an output image output from the signal processing device 4. FIG.
40 is a flowchart illustrating signal processing by the signal processing device 4. FIG.
FIG. 41 is a block diagram showing a configuration of a data continuity detecting unit 101.
FIG. 42 is a diagram showing an image of the real world 1 with a thin line in front of a background.
FIG. 43 is a diagram illustrating approximation of a background by a plane.
FIG. 44 is a diagram showing a cross-sectional shape of image data on which a thin line image is projected.
FIG. 45 is a diagram showing a cross-sectional shape of image data on which a thin line image is projected.
FIG. 46 is a diagram showing a cross-sectional shape of image data on which a thin line image is projected.
FIG. 47 is a diagram illustrating a process of detecting a vertex and detecting a monotone increase / decrease region.
FIG. 48 is a diagram illustrating a process of detecting a thin line region in which the pixel value of a vertex exceeds a threshold value and the pixel value of an adjacent pixel is equal to or less than the threshold value.
FIG. 49 is a diagram illustrating pixel values of pixels arranged in a direction indicated by a dotted line AA ′ in FIG. 48.
FIG. 50 is a diagram illustrating a process of detecting continuity of a monotone increase / decrease region.
FIG. 51 is a diagram illustrating an example of an image in which a stationary component is extracted by approximation on a plane.
FIG. 52 is a diagram illustrating a result of detecting a monotonously decreasing region.
FIG. 53 is a diagram showing an area where continuity is detected.
FIG. 54 is a diagram showing pixel values in an area where continuity is detected.
FIG. 55 is a diagram illustrating an example of another process of detecting a region where a thin line image is projected.
FIG. 56 is a flowchart illustrating a process of stationarity detection.
FIG. 57 is a diagram illustrating a process of detecting continuity of data in the time direction.
FIG. 58 is a block diagram illustrating a configuration of a non-stationary component extraction unit 201.
FIG. 59 is a diagram illustrating the number of rejections.
FIG. 60 is a diagram illustrating an example of an input image.
FIG. 61 is a diagram illustrating an image in which a standard error obtained as a result of approximation on a plane without rejection is used as a pixel value.
FIG. 62 is a diagram showing an image in which a standard error obtained as a result of rejection and approximation on a plane is used as a pixel value.
FIG. 63 is a diagram showing an image in which the number of rejections is set as a pixel value.
FIG. 64 is a diagram showing an image in which the inclination of the plane in the spatial direction X is a pixel value.
FIG. 65 is a diagram showing an image in which the inclination in the spatial direction Y of the plane is a pixel value.
FIG. 66 is a diagram showing an image composed of approximate values indicated by a plane.
FIG. 67 is a diagram illustrating an image including a difference between an approximate value indicated by a plane and a pixel value.
FIG. 68 is a flowchart illustrating a process of extracting an unsteady component.
FIG. 69 is a flowchart illustrating a process of extracting a steady component.
FIG. 70 is a flowchart illustrating another process of extracting a steady component.
FIG. 71 is a flowchart illustrating still another process of extracting a steady component.
FIG. 72 is a block diagram showing another configuration of the data continuity detecting unit 101.
FIG. 73 is a diagram illustrating activities in an input image having data continuity.
FIG. 74 is a diagram illustrating a block for detecting an activity.
FIG. 75 is a diagram illustrating an angle of data continuity with respect to an activity.
FIG. 76 is a block diagram showing a more detailed configuration of the data continuity detector 101.
FIG. 77 is a diagram illustrating a set of pixels.
FIG. 78 is a diagram illustrating the relationship between the position of a set of pixels and the angle of data continuity.
FIG. 79 is a flowchart illustrating a process of detecting data continuity.
FIG. 80 is a diagram illustrating a set of pixels extracted when detecting the continuity angle of data in the time direction and the spatial direction.
FIG. 81 is a block diagram showing another more detailed configuration of the data continuity detecting unit 101.
FIG. 82 is a diagram illustrating a set of pixels including a number of pixels corresponding to a range of a set angle of a straight line.
FIG. 83 is a diagram illustrating the range of the angle of a set straight line.
FIG. 84 is a diagram illustrating the range of the angle of the set straight line, the number of pixel sets, and the number of pixels for each pixel set.
FIG. 85 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 86 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 87 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 88 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 89 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 90 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 91 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 92 is a diagram illustrating the number of pixel sets and the number of pixels for each pixel set.
FIG. 93 is a flowchart for describing processing for detecting data continuity;
FIG. 94 is a block diagram showing still another configuration of the data continuity detecting unit 101.
FIG. 95 is a block diagram showing a more detailed configuration of the data continuity detector 101.
FIG. 96 is a diagram illustrating an example of a block.
FIG. 97 is a diagram illustrating a process of calculating an absolute value of a difference between pixel values of a target block and a reference block.
FIG. 98 is a diagram illustrating a distance in the spatial direction X between a position of a pixel around a target pixel and a straight line having an angle θ.
FIG. 99 is a diagram showing a relationship between a shift amount γ and an angle θ.
FIG. 100 is a diagram illustrating a distance in the spatial direction X between a position of a pixel around a target pixel and a straight line passing through the target pixel and having an angle θ with respect to a shift amount γ.
101 is a diagram illustrating a reference block that passes through a pixel of interest and has a minimum distance from a straight line having an angle θ with respect to an axis in a spatial direction X. FIG.
FIG. 102 is a diagram illustrating a process of reducing the range of the continuity angle of detected data to １ ／.
FIG. 103 is a flowchart illustrating a process of detecting data continuity.
FIG. 104 is a diagram showing blocks extracted when detecting the continuity angle of inter-directional and spatial data.
FIG. 105 is a block diagram illustrating a configuration of a data continuity detection unit 101 that executes a process of detecting data continuity based on a component signal of an input image.
FIG. 106 is a block diagram illustrating a configuration of a data continuity detecting unit 101 that executes a process of detecting data continuity based on a component signal of an input image.
FIG. 107 is a block diagram showing still another configuration of the data continuity detecting unit 101.
FIG. 108 is a diagram illustrating an angle of data continuity with respect to a reference axis in an input image.
FIG. 109 is a diagram illustrating an angle of continuity of data with respect to a reference axis in an input image.
FIG. 110 is a diagram illustrating an angle of continuity of data with respect to a reference axis in an input image.
FIG. 111 is a diagram illustrating a relationship between a change in a pixel value and a regression line with respect to a spatial position of a pixel in an input image.
112 is a diagram illustrating an angle between a regression line A and, for example, an axis indicating a spatial direction X which is a reference axis. FIG.
FIG. 113 is a diagram illustrating an example of a region.
114 is a flowchart for describing processing for detecting data continuity by the data continuity detecting unit 101 having the configuration shown in FIG. 107.
115 is a block diagram showing still another configuration of the data continuity detecting unit 101. FIG.
FIG. 116 is a diagram illustrating a relationship between a change in a pixel value and a regression line with respect to a position of a pixel in a spatial direction in an input image.
FIG. 117 is a diagram illustrating a relationship between a standard deviation and an area having data continuity.
FIG. 118 is a diagram illustrating an example of a region.
119 is a flowchart illustrating a process of detecting data continuity performed by the data continuity detecting unit 101 having the configuration illustrated in FIG. 115.
120 is a flowchart illustrating another process of detecting data continuity by the data continuity detection unit 101 having the configuration illustrated in FIG. 115.
FIG. 121 is a block diagram illustrating a configuration of a data continuity detection unit that detects an angle of a thin line or a binary edge according to the present invention as data continuity information.
FIG. 122 is a diagram illustrating a method for detecting data continuity information.
FIG. 123 is a diagram illustrating a method for detecting data continuity information.
FIG. 124 is a diagram showing a more detailed configuration of a data continuity detector of FIG. 121.
Fig. 125 is a diagram for describing horizontal / vertical determination processing.
Fig. 126 is a diagram for describing horizontal / vertical determination processing.
FIG. 127 is a diagram illustrating a relationship between a thin line in the real world and a thin line captured by a sensor.
FIG. 128 is a diagram illustrating a relationship between a thin line of a real world image and a background.
FIG. 129 is a diagram illustrating a relationship between a thin line of an image captured by a sensor and a background.
FIG. 130 is a diagram illustrating an example of a relationship between a thin line of an image captured by a sensor and a background.
FIG. 131 is a diagram illustrating a relationship between a thin line of a real world image and a background.
FIG. 132 is a diagram illustrating a relationship between a thin line of an image captured by a sensor and a background.
FIG. 133 is a diagram illustrating an example of a relationship between a thin line of an image captured by a sensor and a background.
FIG. 134 is a diagram illustrating a model for determining the angle of a thin line.
FIG. 135 is a diagram showing a model for obtaining the angle of a thin line.
FIG. 136 is a diagram for describing the maximum value and the minimum value of the pixel value of the dynamic range block corresponding to the target pixel.
Fig. 137 is a diagram for describing a method of obtaining an angle of a thin line.
FIG. 138 is a view for explaining how to obtain the angle of a thin line.
FIG. 139 is a diagram illustrating an extraction block and a dynamic range block.
FIG. 140 is a diagram for explaining a solution of the least squares method.
FIG. 141 is a diagram for explaining a solution of the least squares method.
FIG. 142 is a diagram illustrating a binary edge.
FIG. 143 is a diagram illustrating binary edges of an image captured by a sensor.
FIG. 144 is a diagram illustrating an example of a binary edge of an image captured by a sensor.
FIG. 145 is a diagram illustrating binary edges of an image captured by a sensor.
FIG. 146 is a diagram illustrating a model for determining the angle of a binary edge.
FIG. 147 is a view for explaining a method of obtaining the angle of a binary edge.
Fig. 148 is a diagram for describing a method for obtaining the angle of a binary edge.
FIG. 149 is a flowchart illustrating a process of detecting the angle of a thin line or a binary edge as data continuity.
FIG. 150 is a flowchart illustrating a data extraction process.
FIG. 151 is a flowchart illustrating a process of adding to a normal equation.
FIG. 152 is a diagram comparing the inclination of a thin line obtained by applying the present invention and the angle of the thin line obtained by using a correlation.
FIG. 153 is a diagram comparing the slope of a binary edge obtained by applying the present invention with the angle of a thin line obtained using correlation.
FIG. 154 is a block diagram illustrating a configuration of a data continuity detection unit that detects a mixture ratio as data continuity information to which the present invention has been applied.
FIG. 155 is a view for explaining how to obtain a mixture ratio.
FIG. 156 is a flowchart illustrating a process of detecting a mixture ratio as data continuity.
FIG. 157 is a flowchart illustrating a process of adding to a normal equation.
FIG. 158 is a diagram illustrating a distribution example of a mixing ratio of fine lines.
FIG. 159 is a diagram illustrating a distribution example of a mixture ratio of binary edges.
FIG. 160 is a diagram illustrating linear approximation of a mixture ratio.
FIG. 161 is a diagram illustrating a method of obtaining the motion of an object as data continuity information.
FIG. 162 is a diagram illustrating a method of obtaining the motion of an object as data continuity information.
FIG. 163 is a diagram illustrating a method of obtaining a mixture ratio due to the movement of an object as data continuity information.
FIG. 164 is a diagram illustrating linear approximation of the mixture ratio when the mixture ratio due to the motion of the object is obtained as the data continuity information.
FIG. 165 is a block diagram illustrating a configuration of a data continuity detection unit that detects a processing region to which the present invention has been applied as data continuity information.
FIG. 166 is a flowchart illustrating a process of detecting continuity by the data continuity detector of FIG. 165;
FIG. 167 is a diagram illustrating an integration range of a process of detecting continuity by the data continuity detection unit in FIG. 165.
FIG. 168 is a diagram illustrating an integration range of processing for detecting continuity by the data continuity detection unit in FIG. 165.
FIG. 169 is a block diagram illustrating another configuration of a data continuity detection unit that detects a processing region to which the present invention has been applied as data continuity information.
170 is a flowchart illustrating a process of detecting continuity by the data continuity detection unit in FIG. 169.
FIG. 171 is a diagram illustrating an integration range of a process of detecting continuity by the data continuity detection unit in FIG. 169.
FIG. 172 is a diagram illustrating an integration range of a process of continuity detection by the data continuity detection unit in FIG. 169.
FIG. 173 is a block diagram illustrating a configuration of another embodiment of a data continuity detection unit.
FIG. 174 is a block diagram illustrating an example of a configuration of a simplified angle detection unit of the data continuity detection unit in FIG. 173.
FIG. 175 is a block diagram illustrating an example of a configuration of a regression angle detection unit of the data continuity detection unit in FIG. 173.
FIG. 176 is a block diagram illustrating an example of the configuration of a gradient angle detection unit of the data continuity detection unit in FIG. 173.
FIG. 177 is a flowchart illustrating a process of detecting data continuity by the data continuity detection unit in FIG. 173;
FIG. 178 is a diagram illustrating a method of detecting an angle corresponding to the angle detected by the simplified angle detection unit.
FIG. 179 is a flowchart illustrating a regression equation angle detection process that is the process of step S904 in the flowchart of FIG. 177;
FIG. 180 is a diagram illustrating pixels in a scope range in which frequency conversion processing is performed.
FIG. 181 is a diagram for describing pixels in a scope range in which frequency conversion processing is performed.
FIG. 182 is a diagram for describing pixels in a scope range in which frequency conversion processing is performed.
FIG. 183 is a diagram illustrating pixels in a scope range in which frequency conversion processing is performed.
FIG. 184 is a diagram illustrating pixels in a scope range in which frequency conversion processing is performed.
FIG. 185 is a block diagram illustrating a configuration of another embodiment of a data continuity detecting unit.
FIG. 186 is a flowchart illustrating a process of detecting data continuity by the data continuity detection unit in FIG. 185;
187 is a block diagram illustrating a configuration of a real world estimation unit 102. FIG.
FIG. 188 is a diagram for describing processing for detecting a width of a thin line in a signal of the real world 1;
FIG. 189 is a diagram for describing processing for detecting a width of a thin line in a signal of the real world 1;
190 is a diagram for describing processing for estimating the level of a thin-line signal in a signal of the real world 1. FIG.
FIG. 191 is a flowchart illustrating a process of estimating the real world.
FIG. 192 is a block diagram illustrating another configuration of the real world estimation unit 102.
FIG. 193 is a block diagram illustrating a configuration of a boundary detection unit 2121.
FIG. 194 is a diagram illustrating a process of calculating a distribution ratio.
FIG. 195 is a diagram illustrating a process of calculating a distribution ratio.
FIG. 196 is a diagram illustrating a process of calculating a distribution ratio.
FIG. 197 is a diagram illustrating a process of calculating a regression line indicating a boundary of a monotonous increase / decrease region.
FIG. 198 is a diagram illustrating a process of calculating a regression line indicating a boundary of a monotonous increase / decrease region.
FIG. 199 is a flowchart illustrating a process of estimating the real world.
FIG. 200 is a flowchart illustrating a boundary detection process.
FIG. 201 is a block diagram illustrating a configuration of a real world estimating unit that estimates a differential value in a spatial direction as real world estimation information.
202 is a flowchart illustrating a process of real world estimation by a real world estimation unit in FIG. 201.
FIG. 203 is a diagram illustrating a reference pixel.
FIG. 204 is a diagram illustrating a position for obtaining a differential value in the spatial direction.
FIG. 205 is a diagram illustrating a relationship between a differential value in the spatial direction and a shift amount.
FIG. 206 is a block diagram illustrating a configuration of a real world estimating unit that estimates a tilt in a spatial direction as real world estimation information.
FIG. 207 is a flowchart illustrating a process of real world estimation by a real world estimation unit in FIG. 206.
FIG. 208 is a diagram for describing processing for obtaining a tilt in a spatial direction.
FIG. 209 is a diagram for describing processing for obtaining a spatial inclination.
FIG. 210 is a block diagram illustrating a configuration of a real world estimating unit that estimates a differential value in a frame direction as real world estimation information.
FIG. 211 is a flowchart illustrating a process of real world estimation by a real world estimation unit in FIG. 210.
FIG. 212 is a diagram illustrating a reference pixel.
FIG. 213 is a diagram illustrating a position where a differential value in a frame direction is obtained.
FIG. 214 is a diagram for explaining a relationship between a differential value in the frame direction and a shift amount.
FIG. 215 is a block diagram illustrating a configuration of a real world estimation unit that estimates a tilt in a frame direction as real world estimation information.
FIG. 216 is a flowchart illustrating a process of real world estimation by a real world estimation unit in FIG. 215.
FIG. 217 is a diagram for describing processing for obtaining a tilt in a frame direction.
FIG. 218 is a diagram for describing processing for obtaining a tilt in a frame direction.
FIG. 219 is a diagram illustrating the principle of a function approximation method, which is an example of the embodiment of the real world estimation unit in FIG. 3;
FIG. 220 is a diagram illustrating an integration effect when a sensor is a CCD.
FIG. 221 is a view for explaining a specific example of the integration effect of the sensor of FIG. 220;
FIG. 222 is a diagram illustrating another specific example of the integration effect of the sensor in FIG. 220.
FIG. 223 is a diagram showing the real world region containing fine lines shown in FIG. 221.
FIG. 224 is a diagram for describing the principle of an example of the embodiment of the real world estimation unit in FIG. 3 in comparison with the example in FIG. 219;
FIG. 225 is a diagram showing a thin line containing data area shown in FIG. 221.
FIG. 226 is a graph in which each pixel value included in the thin line containing data area of FIG. 225 is graphed;
FIG. 227 is a graph showing an approximate function obtained by approximating each pixel value included in the thin line containing data area of FIG. 226;
FIG. 228 is a diagram for describing the spatial continuity of the thin-line-containing real world region shown in FIG. 221.
FIG. 229 is a graph in which each pixel value included in the thin line containing data area of FIG. 225 is graphed.
230 is a diagram illustrating a state where each of the input pixel values shown in FIG. 229 is shifted by a predetermined shift amount.
FIG. 231 is a graph showing an approximation function that approximates each pixel value included in the thin line containing data area in FIG. 226 in consideration of the spatial direction continuity.
FIG. 232 is a diagram illustrating a spatial mixing area.
FIG. 233 is a diagram illustrating an approximation function that approximates a real-world signal in a spatial mixing region.
FIG. 234 is a graph showing an approximation function that approximates a real-world signal corresponding to the thin-line-containing data area in FIG. 226 in consideration of both the integration characteristic of the sensor and the stationarity in the spatial direction.
FIG. 235 is a block diagram illustrating a configuration example of a real-world estimator that uses a first-order polynomial approximation method among function approximation methods having the principle illustrated in FIG. 219.
FIG. 236 is a flowchart illustrating a real world estimating process performed by the real world estimating unit having the configuration of FIG. 235;
FIG. 237 is a diagram illustrating a tap range.
FIG. 238 is a diagram for describing real-world signals having spatial direction continuity.
FIG. 239 is a diagram illustrating an integration effect when a sensor is a CCD.
240 is a view for explaining a cross-sectional direction distance. FIG.
FIG. 241 is a block diagram illustrating a configuration example of a real-world estimator that uses a second-order polynomial approximation method among function approximation methods having the principle illustrated in FIG. 219.
FIG. 242 is a flowchart illustrating a real world estimation process performed by the real world estimation unit having the configuration in FIG. 241;
FIG. 243 is a diagram illustrating a tap range.
FIG. 244 is a diagram for describing the direction of continuity in the spatiotemporal direction.
FIG. 245 is a diagram illustrating an integration effect when a sensor is a CCD.
FIG. 246 is a diagram illustrating a real-world signal having stationarity in a spatial direction.
FIG. 247 is a diagram illustrating a real-world signal having continuity in the space-time direction.
FIG. 248 is a block diagram illustrating a configuration example of a real-world estimator that uses a three-dimensional function approximation method among function approximation methods having the principle illustrated in FIG. 219.
FIG. 249 is a flowchart illustrating a real world estimation process executed by the real world estimation unit having the configuration of FIG. 248.
250 is a diagram illustrating an example of an input image input to the real world estimation unit in FIG. 3;
FIG. 251 is a diagram showing a difference between the level of the optical signal in the real world at the center of the pixel of interest in FIG. 250 and the level of the optical signal in the real world at the cross-sectional distance x ′.
FIG. 252 is a diagram illustrating a cross-sectional direction distance x ′.
FIG. 253 is a diagram illustrating a cross-sectional direction distance x ′.
FIG. 254 is a diagram illustrating a distance in a cross-sectional direction of each pixel in a block.
FIG. 255 is a diagram illustrating a result of processing without considering weights in a normal equation.
FIG. 256 is a diagram illustrating a result of processing in consideration of weights in a normal equation.
FIG. 257 is a diagram illustrating a result of processing without considering weights in a normal equation.
FIG. 258 is a diagram illustrating a result of performing processing in consideration of weights in a normal equation.
FIG. 259 is a diagram illustrating the principle of a reintegration method, which is an example of the embodiment of the image generation unit in FIG. 3;
FIG. 260 is a diagram illustrating an example of an input pixel and an approximation function that approximates a real-world signal corresponding to the input pixel.
FIG. 261 is a diagram illustrating an example of creating four high-resolution pixels in one input pixel shown in FIG. 260 from the approximation function shown in FIG. 260.
FIG. 262 is a block diagram illustrating a configuration example of an image generation unit that uses a one-dimensional reintegration method among the reintegration methods having the principle shown in FIG. 259.
FIG. 263 is a flowchart illustrating an image generation process performed by the image generation unit having the configuration of FIG. 262.
FIG. 264 is a diagram illustrating an example of an original image of an input image.
FIG. 265 is a diagram illustrating an example of image data corresponding to the image in FIG. 264.
FIG. 266 is a diagram illustrating an example of an input image.
FIG. 267 is a diagram illustrating an example of image data corresponding to the image in FIG. 266.
FIG. 268 is a diagram illustrating an example of an image obtained by performing a conventional classification adaptive process on an input image.
FIG. 269 is a diagram illustrating an example of image data corresponding to the image in FIG. 268.
FIG. 270 is a diagram illustrating an example of an image obtained by performing processing of the one-dimensional reintegration method of the present invention on an input image.
FIG. 271 is a diagram illustrating an example of image data corresponding to the image in FIG. 270.
FIG. 272 is a diagram illustrating a real-world signal having stationarity in a spatial direction.
FIG. 273 is a block diagram illustrating a configuration example of an image generation unit that uses a two-dimensional reintegration method among the reintegration methods having the principle illustrated in FIG. 259.
FIG. 274 is a diagram illustrating a cross-sectional direction distance.
FIG. 275 is a flowchart illustrating an image generation process performed by the image generation unit having the configuration of FIG. 273.
FIG. 276 is a diagram illustrating an example of an input pixel.
277 is a diagram illustrating an example of creating four high-resolution pixels in one input pixel illustrated in FIG. 276 by a two-dimensional reintegration method.
Fig. 278 is a diagram for describing the direction of continuity in the spatiotemporal direction.
FIG. 279 is a block diagram illustrating a configuration example of an image generation unit that uses a three-dimensional reintegration method among the reintegration methods having the principle illustrated in FIG. 259.
FIG. 280 is a flowchart illustrating an image generation process performed by the image generation unit having the configuration of FIG. 279;
FIG. 281 is a block diagram illustrating another configuration of an image generation unit to which the present invention has been applied.
FIG. 282 is a flowchart illustrating a process of generating an image by the image generation unit in FIG. 281.
FIG. 283 is a diagram for describing processing for generating quadruple-density pixels from input pixels.
FIG. 284 is a diagram illustrating a relationship between an approximate function indicating a pixel value and a shift amount.
FIG. 285 is a block diagram illustrating another configuration of an image generation unit to which the present invention has been applied.
FIG. 286 is a flowchart illustrating an image generation process performed by the image generation unit in FIG. 285.
FIG. 287 is a diagram illustrating a process of generating a quadruple-density pixel from an input pixel.
FIG. 288 is a diagram illustrating a relationship between an approximate function indicating a pixel value and a shift amount.
FIG. 289 is a block diagram illustrating a configuration example of an image generation unit that uses a one-dimensional reintegration method of a class classification adaptive processing correction method, which is an example of an embodiment of the image generation unit in FIG. 3;
FIG. 290 is a block diagram illustrating a configuration example of a class classification adaptive processing unit of the image generation unit in FIG. 289.
FIG. 291 is a block diagram illustrating a configuration example of a classifying adaptive processing unit in FIG. 289 and a learning device that determines a coefficient used by the classifying adaptive processing correction unit by learning.
FIG. 292 is a block diagram illustrating a detailed configuration example of a learning unit for class classification adaptive processing in FIG. 291.
FIG. 293 is a diagram illustrating an example of a processing result of the classification adaptive processing unit in FIG. 290.
FIG. 294 is a diagram illustrating a difference image between the prediction image and the HD image in FIG. 293.
295 is a specific pixel of the HD image in FIG. 293 corresponding to four HD pixels from the left in the figure among six HD pixels continuous in the X direction included in the area shown in FIG. 294. FIG. 7 is a diagram showing plots of values, specific pixel values of an SD image, and actual waveforms (signals in the real world).
FIG. 296 is a diagram illustrating a difference image between the prediction image and the HD image in FIG. 293.
297 is a specific pixel of the HD image in FIG. 293 corresponding to four HD pixels from the left in the figure among six HD pixels continuous in the X direction included in the area shown in FIG. 296. FIG. 7 is a diagram showing plots of values, specific pixel values of an SD image, and actual waveforms (signals in the real world).
298 is a view for explaining knowledge obtained based on the contents shown in FIGS. 295 to 297. FIG.
299 is a block diagram illustrating a configuration example of a class classification adaptive processing correction unit of the image generation unit in FIG. 289.
300 is a block diagram illustrating a detailed configuration example of a learning unit for class classification adaptive processing correction in FIG. 291. FIG.
FIG. 301 is a diagram for describing tilt in a pixel.
FIG. 302 is a diagram illustrating the SD image in FIG. 293 and a feature amount image in which the in-pixel inclination of each pixel of the SD image is a pixel value.
FIG. 303 is a diagram illustrating a method of calculating an in-pixel tilt.
FIG. 304 is a diagram illustrating a calculation method of an in-pixel tilt.
305 is a flowchart illustrating an image generation process performed by the image generation unit having the configuration in FIG. 289.
FIG. 306 is a flowchart illustrating details of input image class classification adaptation processing in the image generation processing in FIG. 305.
FIG. 307 is a flowchart illustrating details of the correction processing of the class classification adaptive processing in the image generation processing in FIG. 305.
FIG. 308 is a diagram illustrating an example of class tap arrangement.
FIG. 309 is a diagram for describing an example of class classification.
FIG. 310 is a diagram for describing a prediction tap arrangement example.
FIG. 311 is a flowchart illustrating a learning process of the learning device in FIG. 291.
FIG. 312 is a flowchart illustrating details of a learning process for the class classification adaptive process in the learning process of FIG. 311.
FIG. 313 is a flowchart illustrating details of a learning process for correcting a class classification adaptive process in the learning process of FIG. 311;
314 is a diagram illustrating the predicted image of FIG. 293 and an image obtained by adding a corrected image to the predicted image (image generated by the image generating unit in FIG. 289);
FIG. 315 is a block diagram illustrating a first configuration example of a signal processing device using a combined technique, which is another example of the embodiment of the signal processing device in FIG.
FIG. 316 is a block diagram illustrating a configuration example of an image generation unit that performs a class classification adaptive process in the signal processing device in FIG. 315.
FIG. 317 is a block diagram illustrating a configuration example of a learning device for the image generation unit in FIG. 316.
FIG. 318 is a flowchart illustrating signal processing executed by the signal processing device having the configuration in FIG. 315.
FIG. 319 is a flowchart illustrating details of execution processing of the class classification adaptive processing of the signal processing in FIG. 318.
FIG. 320 is a flowchart illustrating a learning process of the learning device in FIG. 317.
FIG. 321 is a block diagram illustrating a second configuration example of the signal processing device using the combined method, which is another example of the embodiment of the signal processing device in FIG. 1;
FIG. 322 is a flowchart illustrating signal processing executed by the signal processing device having the configuration in FIG. 319.
FIG. 323 is a block diagram illustrating a third configuration example of the signal processing device using the combined method, which is another example of the embodiment of the signal processing device in FIG. 1;
FIG. 324 is a flowchart illustrating signal processing executed by the signal processing device having the configuration in FIG. 321.
FIG. 325 is a block diagram illustrating a fourth configuration example of the signal processing device using the combined method, which is another example of the embodiment of the signal processing device in FIG. 1;
FIG. 326 is a flowchart illustrating signal processing executed by the signal processing device having the configuration of FIG. 323.
FIG. 327 is a block diagram illustrating a fifth configuration example of the signal processing device using the combined technique, which is another example of the embodiment of the signal processing device in FIG.
FIG. 328 is a flowchart illustrating signal processing executed by the signal processing device having the configuration in FIG. 325;
FIG. 329 is a block diagram illustrating a configuration of another embodiment of a data continuity detector.
FIG. 330 is a flowchart illustrating a data continuity detection process performed by the data continuity detection unit in FIG. 329;
FIG. 331 is a diagram illustrating a configuration of an optical block.
FIG. 332 is a diagram illustrating a configuration of an optical block.
FIG. 333 is a diagram illustrating a configuration of an OLPF.
Fig. 334 is a diagram for explaining the function of the OLPF.
FIG. 335 is a diagram for explaining the function of the OLPF.
FIG. 336 is a block diagram illustrating a configuration of another signal processing device of the present invention.
FIG. 337 is a block diagram illustrating the configuration of the OLPF removing unit in FIG. 336.
FIG. 338 is a diagram illustrating an example of a class tap.
FIG. 339 is a flowchart illustrating signal processing by the signal processing device in FIG. 336.
340 is a flowchart illustrating OLPF removal processing, which is processing in step S5101 of the flowchart in FIG. 339. FIG.
FIG. 341 is a learning device for learning coefficients of the OLPF removing unit in FIG. 337.
FIG. 342 is a diagram illustrating a learning method.
Fig. 343 is a diagram illustrating a teacher image and a student image.
FIG. 344 is a block diagram illustrating a configuration of a teacher image generation unit and a student image generation unit of the learning device in FIG. 342.
FIG. 345 is a diagram illustrating a method for generating a student image and a teacher image.
FIG. 346 is a diagram illustrating a simulation method of an OLPF;
Fig. 347 is a diagram illustrating an example of a teacher image.
FIG. 348 is a diagram illustrating an example of a student image.
FIG. 349 is a flowchart illustrating a learning process.
FIG. 350 is a diagram illustrating an image on which an OLPF removal process has been performed;
FIG. 351 is a diagram illustrating a comparison between an image that has undergone OLPF removal processing and an image that has not been removed.
FIG. 352 is a block diagram illustrating another configuration example of the real world estimation unit.
FIG. 353 is a diagram illustrating the effect of the OLPF.
FIG. 354 is a diagram illustrating the effect of the OLPF.
FIG. 355 is a flowchart illustrating a real world estimation process by the real world estimation unit in FIG. 352;
FIG. 356 is a diagram illustrating an example of extracted taps.
FIG. 357 is a diagram comparing an image generated from the approximate function of the real world estimated by the real world estimating unit in FIG. 352 with an image generated by another method.
FIG. 358 is a diagram comparing an image generated from the approximate function of the real world estimated by the real world estimating unit in FIG. 352 with an image generated by other methods;
FIG. 359 is a block diagram illustrating another configuration of the signal processing device.
FIG. 360 is a flowchart illustrating signal processing by the signal processing device of FIG. 359;
FIG. 361 is a block diagram illustrating a configuration of a learning device that learns coefficients of the signal processing device in FIG. 359.
FIG. 362 is a block diagram illustrating a configuration of a teacher image generation unit and a student image generation unit in FIG. 361.
FIG. 363 is a flowchart illustrating a learning process performed by the learning device in FIG. 361;
FIG. 364 is a view for explaining the relationship between various types of image processing.
FIG. 365 is a diagram illustrating estimation of the real world by an approximate function including a continuous function.
FIG. 366 is a diagram for describing an approximate function including a discontinuous function.
FIG. 367 is a diagram illustrating an approximate function including a continuous function and a discontinuous function.
FIG. 368 is a view for explaining how to obtain a pixel value using an approximate function including a discontinuous function.
FIG. 369 is a block diagram illustrating another configuration of the real world estimation unit.
FIG. 370 is a flowchart illustrating a real world estimation process performed by the real world estimation unit in FIG. 369.
FIG. 371 is a diagram illustrating an example of extracted taps.
FIG. 372 is a diagram illustrating an approximate function including a discontinuous function on the Xt plane.
FIG. 373 is a diagram illustrating another example of extracted taps.
FIG. 374 is a diagram for describing an approximate function including a two-dimensional discontinuous function.
FIG. 375 is a diagram illustrating an approximate function including a two-dimensional discontinuous function.
FIG. 376 is a diagram illustrating the ratio of the volume of each pixel of interest to each region.
Fig. 377 is a block diagram illustrating another configuration of the real world estimation unit.
FIG. 378 is a flowchart for describing a real world estimation process by the real world estimation unit in FIG. 377;
Fig. 379 is a diagram illustrating another example of extracted tap.
FIG. 380 is a diagram illustrating an approximate function including a two-dimensional discontinuous function.
FIG. 381 is a diagram illustrating another example of the approximation function including the two-dimensional discontinuous function.
FIG. 382 is a diagram illustrating an approximate function including a continuous function of a polynomial for each region.
FIG. 383 is a diagram for describing an approximate function including a discontinuous function of a polynomial for each region.
Fig. 384 is a block diagram illustrating another configuration of the image generation unit.
FIG. 385 is a flowchart illustrating an image generation process performed by the image generation unit in FIG. 384.
FIG. 386 is a view for explaining a method for generating quadruple-density pixels.
FIG. 387 is a diagram illustrating the relationship between the conventional method and the case where an approximation function including a discontinuous function is used.
FIG. 388 is a block diagram illustrating another configuration of the image generation unit.
FIG. 389 is a flowchart for describing the image generation processing by the image generation unit in FIG. 388.
FIG. 390 is a diagram illustrating a pixel of interest.
FIG. 391 is a diagram illustrating a method of calculating a pixel value of a target pixel.
Fig. 392 is a diagram for describing a processing result using an approximate function including a discontinuous function in a spatial direction and other processing results.
FIG. 393 is a diagram for describing a processing result using an approximate function including a discontinuous function and other processing results.
FIG. 394 is a diagram illustrating imaging by a sensor.
FIG. 395 is a diagram illustrating the arrangement of pixels.
FIG. 396 is a diagram illustrating operation of the detection element.
FIG. 397 is a diagram illustrating an image obtained by capturing an object corresponding to a moving foreground and an object corresponding to a stationary background.
FIG. 398 is a view for explaining a background area, a foreground area, a mixed area, a covered background area, and an uncovered background area.
FIG. 399 is a model diagram in which pixel values of adjacent pixels arranged in one line in an image obtained by capturing an object corresponding to a stationary foreground and an object corresponding to a stationary background are developed in the time direction. It is.
FIG. 400 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 401 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 402 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 403 is a diagram illustrating an example in which pixels in a foreground area, a background area, and a mixed area are extracted.
FIG. 404 is a diagram illustrating the correspondence between pixels and models in which pixel values are developed in the time direction.
FIG. 405 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 406 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 407 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 408 is a model diagram in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
FIG. 409 is a model in which pixel values are developed in the time direction and a period corresponding to a shutter time is divided.
Fig. 410 is a diagram for describing a processing result using an approximation function including a discontinuous function in the spatiotemporal direction and other processing results.
FIG. 411 is a diagram illustrating an image including motion blur in a horizontal direction.
412 is a diagram for describing a processing result of the image in FIG. 411 using an approximation function including a discontinuous function in the spatiotemporal direction, and other processing results.
FIG. 413 is a diagram illustrating an image including motion blur in an oblique direction.
FIG. 414 is a diagram illustrating a processing result of the image in FIG. 413 using an approximation function including a discontinuous function in a spatiotemporal direction, and other processing results.
FIG. 415 is a diagram illustrating a processing result of an image including motion blur in an oblique direction using an approximate function including a discontinuous function in a spatiotemporal direction.
[Explanation of symbols]
Reference Signs List 4 signal processing device, 21 CPU, 22 ROM, 23 RAM, 28 storage unit, 51 magnetic disk, 52 optical disk, 53 magneto-optical disk, 54 semiconductor memory, 101 data continuity detection unit, 102 real world estimation unit, 103 image generation Unit, 201 non-stationary component extraction unit, 202 vertex detection unit, 203 monotone increase / decrease detection unit, 204 continuity detection unit, 221 block extraction unit, 222 plane approximation unit, 223 repetition determination unit, 401 activity detection unit, 402 data selection unit , 403 error estimating unit, 404 stationary direction deriving unit, 411-1 to 411-L pixel selecting unit, 412-1 to 412-L estimation error calculating unit, 413 minimum error angle selecting unit, 421-1 to 421-L pixel Selector, 422-1 through 422 Estimation error calculation unit, 441 data selection unit, 442 error estimation unit, 443 steady direction derivation unit, 461-1 to 461-L pixel selection unit, 462-1 to 462-L estimation error calculation unit, 463 minimum error angle selection unit , 481-1 thru 481-3 data continuity detecting unit, 482 determining unit, 491 component processing unit, 492 data continuity detecting unit, 502 pixel acquiring unit, 503 frequency detecting unit, 504 regression line calculating unit, 505 angle calculating unit , 602 pixel acquisition section, 603 frequency detection section, 604 regression line calculation section, 605 area calculation section, 701 data selection section, 702 data addition section, 703 steady direction derivation section, 711 horizontal / vertical determination section, 712 data acquisition section , 721 Difference addition unit, 722 MaxMin acquisition unit, 723 difference addition unit, 731 steady direction calculation unit, 751 data addition unit, 752 MaxMin acquisition unit, 753 addition unit, 754 difference calculation unit, 755 addition unit, 761 mixture ratio derivation unit, 762 mixture ratio calculation unit, 801 angle detection section, 802 real world estimation section, 803 error calculation section, 804 comparison section, 821 motion detection section, 822 real world estimation section, 823 error calculation section, 824 comparison section, 901 simple angle detection section, 902 determination section , 903 switch, 904 regression angle detection section, 905 gradient angle detection section, 911 data selection section, 912 error estimation section, 913 steady direction derivation section, 921-1 to 921-L pixel selection section, 922-1 to 922 −L estimation error calculator, 923 minimum error angle selector, 2 01 line width detecting section, 2102 signal level estimating section, 2121 boundary detecting section, 2131 distribution ratio calculating section, 2132 regression line calculating section, 2201 real world estimating section, 2202 approximate function estimating section, 2203 differential processing section, 2211 reference pixel extraction Unit, 2212 slope estimation unit, 2231 real world estimation unit, 2232 approximation function estimation unit, 2233 differentiation processing unit, 2251 reference pixel extraction unit, 2252 inclination estimation unit, 2331 condition setting unit, 2332 input image storage unit, 2333 input pixel value Acquisition unit, 2334 integral component operation unit, 2335 normal equation generation unit, 2336 approximation function generation unit, 2341 input pixel value table, 2342 integral component table, 2343 normal equation table, 2421 condition setting unit, 2422 input image storage unit, 2423 input pixel value acquisition unit, 2424 integral component calculation unit, 2425 normal equation generation unit, 2426 approximation function generation unit, 2431 input pixel value table, 2432 integral component table, 2433 normal equation table, 2521 condition setting unit, 2522 input image storage Unit, 2523 input pixel value acquisition unit, 2524 integral component operation unit, 2525 normal equation generation unit, 2526 approximation function generation unit, 2531 input pixel value table, 2532 integration component table, 2533 normal equation table, 3121 condition setting unit, 3122 Quantity storage unit, 3123 integral component calculation unit, 3124 output pixel value calculation unit, 3131 feature value table, 3132 integration component table, 3201 condition setting unit, 3202 feature value storage unit, 3203 integration Minute operation unit, 3204 output pixel value operation unit, 3211 feature amount table, 3212 integral component table, 3301 condition setting unit, 3302 feature amount storage unit, 3303 integral component operation unit, 3304 output pixel value operation unit, 3311 feature amount table, 3312 integral component table, 3201 slope acquisition section, 3202 extrapolation interpolation section, 3211 slope acquisition section, 3212 extrapolation interpolation section, 3501 class classification adaptive processing section, 3502 class classification adaptive processing correction section, 3503 addition section, 3504 learning device, 3521 Learning unit for class classification adaptive processing, 3561 Learning unit for class classification adaptive processing correction, 4101 Data continuity detection unit 4101 Real world estimation unit, 4103 image generation unit, 4104 image generation unit, 4105 Steady region detection unit, 4111 Area detector, 4112 selector, 4161 steady area detector, 4171 area detector, 4172 execution instruction generator, 4181, 4182 steady area detector, 4191 area detector, 4192 execution instruction generator, 4201 area detector, 4202 execution Command generation unit, 4501 image generation unit, 5101 lens, 5102 IR cut filter, 5103 OLPF, 5104 CCD, 5110 optical block, 5121a, b crystal, 5122 phase plate, 5131 OLPF removal unit, 5141 class tap detection unit, 5142 feature amount Extraction unit, 5143 class classification unit, 5144 coefficient memory, 5145 prediction tap extraction unit, 5146 pixel value calculation unit, 5151 student image generation unit, 5151a 1/16 average processing unit, 5 52 learning unit, 5153 teacher image generation unit, 5153a OLPF simulation unit, 5153b 1/16 average processing unit, 5154 coefficient memory, 5161 image memory, 5162 class tap extraction unit, 5163 feature amount extraction unit, 5164 class classification unit, 5165 prediction Tap extraction section, 5166 addition calculation section, 5167 learning memory, 5168 normal equation calculation section, 5201 condition setting section, 5202 input image storage section, 5203 input pixel value acquisition section, 5204 integral component calculation section, 5205 normal equation generation section, 5206 approximation function generation section, 5241 class tap extraction section, 5242 feature quantity calculation section, 5243 class classification section, 5244 coefficient memory, 5245 prediction tap extraction section, 5246 pixel value calculation section, 52 1 Student image generation unit, 5251a OLPF simulation processing unit, 5251b 1/64 average processing unit, 5252 learning unit, 5253 teacher image generation unit, 5253 1/16 average processing unit, 5254 coefficient memory, 5261 image memory, 5262 class tap extraction Unit, 5263 feature amount calculation unit, 5264 class classification unit, 5265 prediction tap extraction unit, 5266 addition calculation unit, 5267 learning memory, 5268 normal equation calculation unit, 5301 condition setting unit, 5302 input image storage unit, 5303 input pixel value Acquisition unit, 5304 integral component operation unit, 5305 normal equation generation unit, 5306 approximate function generation unit, 5321 condition setting unit, 5322 input image storage unit, 5323 input pixel value acquisition unit, 5324 integral component operation , 5325 normal equation generating unit, 5326 the approximation function generating unit, 5341 actual world estimation information obtaining unit, 5342 weight calculator, 5343 pixel generation unit, 5351 actual world estimation information obtaining unit, 5352 weight calculator, 5353 pixel generator

Claims (10)

Acquiring means for acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating means for estimating an optical signal incident on the optical low-pass filter in consideration of that the optical signal is dispersed and integrated in at least one-dimensional direction among spatial directions by the optical low-pass filter. Image processing apparatus. An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of that the optical signal is dispersed and integrated in at least a one-dimensional direction of the spatial direction by the optical low-pass filter. Image processing method. An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimensional direction among the spatial directions by the optical low-pass filter. A recording medium on which a possible program is recorded. An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of that the optical signal is dispersed and integrated in at least a one-dimensional direction of the spatial direction by the optical low-pass filter. A program characterized by the following. A real-world optical signal is projected onto a plurality of pixels each having a spatial integration effect through an optical low-pass filter, and at least a one-dimensional direction in the spatial direction of image data in which a part of the continuity of the real-world optical signal is missing The pixel values of the pixel of interest corresponding to the position are estimated as the pixel values obtained by integrating at least the one-dimensional direction of the plurality of real world functions corresponding to the optical low-pass filter, and the plurality of real world functions are estimated. An image processing apparatus comprising: a real world estimating unit that estimates a function corresponding to the real world optical signal. Further comprising an image data continuity detecting means for detecting the continuity of the image data,
The real world estimating means is configured to determine, based on the continuity detected by the image data continuity detecting means, a pixel value of a pixel of interest corresponding to a position in at least a one-dimensional direction in a spatial direction of the image data. By estimating the plurality of real-world functions as being pixel values obtained by integration of the plurality of real-world functions corresponding to the low-pass filter in the at least one-dimensional direction, a function corresponding to the real-world optical signal is obtained. The image processing apparatus according to claim 5, wherein the estimation is performed. Pixel value generating means for generating a pixel value corresponding to a pixel of a desired size by integrating the real world function estimated by the real world estimating means in the at least one-dimensional desired unit. The image processing apparatus according to claim 6, wherein: An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of that the optical signal is dispersed and integrated in at least a one-dimensional direction of the spatial direction by the optical low-pass filter. Image processing method. An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of the fact that the optical signal is dispersed and integrated in at least one dimensional direction among the spatial directions by the optical low-pass filter. A recording medium on which a possible program is recorded. An acquisition step of acquiring image data in which a real-world optical signal is projected through an optical low-pass filter to a plurality of pixels each having a spatial integration effect,
Estimating an optical signal incident on the optical low-pass filter in consideration of that the optical signal is dispersed and integrated in at least a one-dimensional direction of the spatial direction by the optical low-pass filter. A program characterized by the following.

Images