JP2005038396A - 画像処理方法および装置、並びにプログラム - Google Patents

Abstract

【課題】 より鮮明な画像を得ることができるようにする。
【解決手段】 デジタルカメラ１において、１画素につき１個の色信号を供給する単板センサで構成される撮像素子４により高速撮像された複数枚の画像は、信号処理回路７のフレームメモリ２２に記憶される。信号処理回路７は、フレームメモリ２２に記憶された複数枚の画像どうしの位置関係を検出し、検出された位置関係に基づき、１画素につき３個の色信号を有する画像を推定する。本発明は、例えば、デジタルカメラに適用できる。
【選択図】 図１

Description

本発明は、画像処理方法および装置、並びにプログラムに関し、特に、例えば、単板センサを採用した撮像装置において、より鮮明な画像を得ることができるようにする画像処理方法および装置、並びにプログラムに関する。

近年、カメラとしてはデジタルカメラが一般的となっている。デジタルカメラにおいて、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子により撮像された画像（以下、撮像画像と称する）は、デジタルカメラに設けられたLCD(Liquid Crystal Display)などのモニタに表示され、ユーザにより確認される。さらに、撮像画像の画像信号がデジタル化され、フラッシュメモリなどの記録媒体を介して、あるいは、ケーブル接続や赤外線通信などの有線または無線通信により、例えば、パーソナルコンピュータ（PC）などの画像処理装置に転送される。そして、転送先であるパーソナルコンピュータでは、デジタルカメラの撮像画像をCRT（Cathode Ray Tube）や液晶ディスプレイ（LCD）などのモニタに表示し、ユーザは撮像画像を確認したり、編集することができる。

さて、デジタルカメラにおいて、例えば、日陰などの十分に太陽光線が当たらない場所や薄暗い部屋などで、十分な明るさが得られない被写体を撮像する場合、デジタルカメラでは、適正な露出を得るためにシャッタ速度を遅くする必要がある（シャッタ時間が長くなる）。

このようなシャッタ時間の長い撮像では、デジタルカメラを三脚などに固定し、デジタルカメラがブレない（揺れない）ようにすればよい。しかしながら、例えば、デジタルカメラを手で持って撮像し、デジタルカメラがブレた場合（いわゆる、手ブレが発生した場合）、シャッタが開いている間（シャッタ時間）のデジタルカメラのブレ（揺れ）により、撮像画像は、被写体がボケた画像となってしまう。このボケた画像は、「手ブレ」した画像、または、「カメラブレ」した画像などと呼ばれる。

シャッタ速度を遅くする（シャッタ時間を長くする）他に、十分な露出を得るための方法として、複数枚の撮像画像を単に累積加算することにより、長時間露出と同等の露出を得られるようにする方法が提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に示される方法では、単純に複数枚の撮像画像を累積加算するため、上述の手ブレが発生した場合には、シャッタ時間を長くする場合と同様に、ボケた画像となる。

手ブレが発生した場合においても画像がボケないようにする（「手ブレ」した画像を回避する）方法として、例えば、キャノン株式会社製のデジタルカメラで採用されている「イメージスタビライザー（略称IS）」と称する方法がある。

イメージスタビライザーでは、光学系レンズ内にプレセンサを設け、そのプレセンサによりデジタルカメラの揺れや振動を検知し、検知したデジタルカメラの揺れや振動を表すデジタル信号に従って、レンズ群の一部（補正光学系）を光軸に対し垂直方向に移動させ、像ブレを打ち消す方向に光線を屈折させる。

イメージスタビライザーによれば、長焦点やシャッタ速度が遅くなる場合において影響が大となる、手持ち撮影や、風などによる撮影台の微妙な振動の揺れに起因する画像のブレを抑え、シャープな（鮮明な）画像をユーザに提供することができる。

しかしながら、イメージスタビライザーでは、ブレを検知する専用のセンサや、レンズ群の一部（補正光学系）を高速に動かす機構が必要となるため、構造が複雑になり、製造コストが高くなるという問題がある。

その他の「カメラブレ」した画像を回避する方法としては、高速シャッタにより連続で複数枚撮像し、撮像された複数枚の画像のうち、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ２枚目以降の撮像画像を補正して１枚目の画像に順次加算する方法がある（例えば、特許文献２，３，４，５，６，７，８参照）。これら従来の方法では、基本的に、２枚目以降の撮像画像のそれぞれから、所定の補正または補間により、1枚目の撮像画像と同様のデータ配列を持つ補正画像が形成され、それらを、1枚目の撮像画像に、画素単位で、単純加算または線形加算する方式が採用されている。

この方法では、高速（連続）撮像された画像の一枚一枚は、シャッタ時間（露出時間）が短いため、ブレの小さい暗い画像となる。そして、１枚目の撮像画像に２枚目以降の撮像画像を加算するため、加算して得られる最終的な画像は、適正露出と同一の明るさの画像とすることができる。

この方法は、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ撮像画像を補正（補間）する際、１画素のＲ（Red）信号（赤色データ）、Ｇ（Green）信号（緑色データ）、Ｂ(Blue)信号（青色データ）のそれぞれの色信号（データ）を、線形補間、バイキュービック補間などの各種の補間関数を用いた補間方法により補間（補正）するものである。

特開平０５−２３６４２２号公報 特開２０００−２１７０３２号公報 特開２０００−２２４４６０号公報 特開２０００−２４４８０３号公報 特開２０００−２４４７９７号公報 特開２０００−０６９３５２号公報 特開平１０−３４１３６７号公報 特開平０９−２６１５２６号公報

しかしながら、撮像素子として単板センサが採用されている撮像装置の場合、１画素からＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１つの色信号しか出力されない。従って、上述したような各種の補間方法では、複数枚の画像のズレ量を補間することができず、また、単板センサの場合に適用可能なその他の補間方法も提案されていない。

本発明は、このような状況に鑑みてなされたものであり、例えば、単板センサを採用した撮像装置において、カメラブレが発生している場合においても、より鮮明な画像を得ることができるようにするものである。

本発明の画像処理方法は、１画素につき所定のｎ個の画素値を有する画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステップと、検出ステップの処理により検出された位置関係に基づき、出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する出力画像を推定する画像推定ステップとを含むことを特徴とする。

画像推定ステップには、検出ステップの処理により検出された位置関係に基づき、出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素値を選択し、選択された観測画素値に基づき、１画素につき（ｎ＋１）個以上の画素値を有する出力画像を推定させることができる。

画像推定ステップには、検出ステップの処理により検出された位置関係に基づき、複数の入力画像から、１画素につき（ｎ＋１）個以上の色信号を有する出力画像を推定させることができる。

画像推定ステップでは、出力画像の各画素位置および／またはその周辺における色相関を考慮して、出力画像が推定されるようにすることができる。

画像推定ステップでは、入力画像の画素の画素値がエッジの急峻度合いに応じた画素値に変更され、変更後の画素値に基づき、出力画像が推定されるようにすることができる。

ｎは１であり、画像推定ステップには、検出ステップの処理により検出された位置関係に基づき、複数の入力画像から、１画素につき３個の画素値を有する出力画像を推定させることができる。

撮像手段は、単板センサであり、観測される色信号が入力画像の位置に応じて変わるようにすることができる。

撮像手段は、複数の入力画像を、適正露出未満で撮像し、複数の入力画像それぞれの画素値のゲインアップを行う露出補正ステップをさらに含むようにすることができる。

画像推定ステップは、複数の入力画像それぞれの各画素に対して、検出ステップの処理により検出された位置関係に応じた各画素の補正位置を求め、補正位置を中心とする所定の領域内の出力画像の光の積分値と、補正位置の画素の画素値との差が、所定の誤差の範囲内であるという光量積分条件式を生成する光量積分条件式生成ステップと、光量積分条件式を演算する演算ステップとを有するようにすることができる。

光量積分条件式を生成する際には、複数の入力画像のゲインアップが行われている場合に、所定の誤差の値をゲインアップの量に依存して変化させるようにすることができる。

画像推定ステップには、複数の入力画像それぞれの各画素に対して、検出ステップの処理により検出された位置関係に応じた各画素の補正位置を求め、補正位置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値と、ゲインアップの量に依存する誤差とを考慮して、出力画像を推定させることができる。

画像推定ステップには、複数の入力画像それぞれの各画素に対して、検出ステップの処理により検出された位置関係に応じた各画素の補正位置を求め、補正位置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値と、補正位置と出力画像の画素の位置との距離と、を考慮して、出力画像を推定させることができる。

画像推定ステップには、複数の入力画像それぞれの各画素に対して、検出ステップの処理により検出された位置関係に応じた各画素の補正位置を求め、補正位置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値に基づいて、バネモデルにより、出力画像を推定させることができる。

画像推定ステップには、複数の入力画像それぞれの各画素に対して、検出ステップの処理により検出された位置関係に応じた各画素の補正位置を求め、補正位置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値を用いた重み付け加算を行うことにより、出力画像を推定させることができる。

画像推定ステップには、出力画像において注目している注目画素の位置と補正位置との距離に対してローパスフィルタの特性を有する関数を用いた重みで、補正位置が注目画素の位置の近傍にある入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定させることができる。

画像推定ステップには、補正位置が注目画素の位置の近傍にある入力画像の画素の画素値を用いた重み付け加算を行う第１の演算処理、または、補正位置が注目画素の周辺の出力画像の画素の位置の近傍にある入力画像の画素の画素値とを用いた重み付け加算を行う第２の演算処理を選択して行うことにより、注目画素の画素値を推定させることができる。

画像推定ステップには、第1の演算処理における重みの総和が０または０に近い値である場合に、第２の演算処理を選択させることができる。

画像推定ステップには、補正位置が注目画素の位置の第１の近傍にある入力画像の画素の画素値を用いた重み付け加算を行う第１の演算処理、または、補正位置が注目画素の位置の、第１の近傍より広い範囲の第２の近傍にある入力画像の画素の画素値を用いた重み付け加算を行う第２の演算処理を選択して行うことにより、注目画素の画素値を推定させることができる。

画像推定ステップには、第1の演算処理における重みの総和が０または０に近い値である場合に、第２の演算処理を選択させることができる。

画像推定ステップには、補正位置が注目画素の位置の近傍にある入力画像の画素の画素値を、第１の重みにより重み付けした重み付け加算を行う第１の演算処理、または、補正位置が注目画素の位置の近傍にある入力画像の画素の画素値を、第２の重みにより重み付けした重み付け加算を行う第２の演算処理を選択して行うことにより、注目画素の画素値を推定させることができる。

画像推定ステップには、第1の演算処理における重みの総和が０または０に近い値である場合に、第２の演算処理を選択させることができる。

検出ステップには、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準として、複数の入力画像どうしの位置関係を検出させることができる。

本発明の画像処理装置は、１画素につき所定のｎ個の画素値を有する複数の入力画像を撮像する撮像手段と、複数の入力画像どうしの位置関係を検出する検出手段と、検出手段により検出された位置関係に基づき、出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定手段とを備えることを特徴とする。

本発明のプログラムは、１画素につき所定のｎ個の画素値を有する画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステップと、検出ステップの処理により検出された位置関係に基づき、出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する出力画像を推定する画像推定ステップとをコンピュータに実行させることを特徴とする。

本発明においては、１画素につき所定のｎ個の画素値を有する複数の入力画像どうしの位置関係が検出され、その検出された位置関係に基づき、出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する出力画像が推定される。

画像処理装置は、独立した装置であっても良いし、１つの装置の画像処理を行うブロックであっても良い。

本発明によれば、より鮮明な画像を得ることができる。

以下に本発明の実施の形態を説明するが、出願当初の請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、出願当初の請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、出願当初の請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の出願当初の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理方法は、複数の入力画像から出力画像を推定する画像処理方法において、１画素につき所定のｎ個の画素値を有する画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップ（例えば、図２のステップＳ３）と、前記検出ステップの処理により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、該特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定ステップ（例えば、図２のステップＳ４）とを含むことを特徴とする。

請求項８に記載の画像処理方法は、前記撮像手段は、前記複数の入力画像を、適正露出未満で撮像し、前記複数の入力画像それぞれの画素値のゲインアップを行う露出補正ステップ（例えば、図２のステップＳ２）をさらに含むことを特徴とする。

請求項９に記載の画像処理方法は、前記画像推定ステップは、前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された前記位置関係に応じた前記各画素の補正位置を求め、前記各画素の補正位置を中心とする所定の領域内の前記出力画像の光の積分値と、前記各画素の画素値との差が、所定の誤差の範囲内であるという光量積分条件式（例えば、式（２０）で表される光量積分条件式）を生成する光量積分条件式生成ステップ（例えば、図６のステップＳ１１）と、前記光量積分条件式を演算する演算ステップ（例えば、図６のステップＳ１４）とを有することを特徴とする。

請求項２３に記載の画像処理装置は、複数の入力画像から出力画像を推定する画像処理装置（例えば、図１のデジタルカメラ１）において、１画素につき所定のｎ個の画素値を有する前記複数の入力画像を撮像する撮像手段（例えば、図１の撮像素子４）と、前記複数の入力画像どうしの位置関係を検出する検出手段（例えば、図４の動き検出回路２３）と、前記検出手段により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、該特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定手段（例えば、図４の演算回路２４）とを備えることを特徴とする。

請求項２４に記載のプログラムの各ステップの具体例も、請求項１に記載の画像処理方法の各ステップの発明の実施の形態における具体例と同様である。

（第１実施の形態）
図１は、本発明を適用したデジタル（スチル）カメラ１の一実施の形態の構成例を示すブロック図である。

図１のデジタルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック（CODEC）１２、メモリ１３、バス１４、CPU（Central Processing Unit）１５、および入力デバイス１６で構成される。また、A/Dコンバータ６は、シフト回路２１を、信号処理回路７は、フレームメモリ２２をそれぞれ有している。

図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。CCDやCMOS等で構成される単板センサの撮像素子４は、所定の画素（撮像素子）数を有している。

撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の時間（シャッタ時間）だけ、入射される被写体の光を受光する。そして、撮像素子４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号を相関２重サンプリング回路５に供給する。撮像素子４は、単板センサとなっているので、相関２重サンプリング回路５に供給する電気信号は、１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個の色信号（データ）である。

ここで、カメラブレが発生していても、より鮮明な画像を出力するために、撮像素子４は、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）複数枚（以下では、Ｎ枚とする）撮像するものとする。従って、撮像素子４で撮像されたＮ枚の画像（入力画像）は、適正露出で撮像された画像より、暗いもの（適正露出未満で撮像されたもの）となっており、適正露出で撮像された画像のＭｋ分の１（＝１／Ｍｋ）（ｋ＝１乃至Ｎ）の明るさであるとする。なお、Ｍｋの値は、例えば、シャッタ速度により決定される。

相関２重サンプリング回路５は、撮像素子４から供給される画像信号（電気信号）のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。A/Dコンバータ６は、相関２重サンプリング回路５から供給される、ノイズ除去された被写体の画像信号をA/D変換、即ち、サンプリングして量子化する。その後、シフト回路２１が、適正露出以下の暗い画像であるA/D変換後のデジタル画像を、例えば、ｎ'ビットシフトすることなどによってＭｋ倍することにより、適正露出と同一の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給する。

相関２重サンプリング回路５では、画像信号のノイズ成分が除去されるが、ノイズ成分のすべてが完全に除去されるわけではない。従って、相関２重サンプリング回路５で除去されないノイズ成分も存在する。この場合、相関２重サンプリング回路５で除去されないノイズ成分は、画像信号の真値に対する誤差となり、シフト回路２１において、画像信号とともにＭｋ倍されることになる。従って、誤差は、シフト回路２１におけるゲインアップの量に依存すると言える。ここで、相関２重サンプリング回路５で除去されないノイズ成分のノイズ量をＥとする。このノイズ量Ｅとしては、撮像素子４の特性に応じて、例えば、考えられる最大値を採用することができる。ここで、A/Dコンバータ６から信号処理回路７に供給される画像信号には、ノイズ量ＥのＭｋ倍（Ｅ×Ｍｋ）程度のノイズが含まれる。また、例えば、Ｍｋ＝８とすると、シフト回路２１では、ｎ'＝３として、ｋ枚目の撮像画像が３ビットシフトされることにより、撮像画像が適正露出の場合と同一の明るさにされる。

Ｍｋ倍の明るさに変換され、適正露出と同一の明るさにゲインアップされた、A/Dコンバータ６から供給されるＮ枚の撮像画像の画像信号は、信号処理回路７のフレームメモリ２２に一時的に格納（記憶）される。

信号処理回路７は、予め設定された各種のプログラムに従い、フレームメモリ２２に記憶されている適正露出と同一の明るさにゲインアップされたＮ枚の撮像画像の画像信号に所定の処理を施す。

即ち、信号処理回路７は、Ｎ枚の撮像画像のうち、１枚目の撮像画像を基準画像、２乃至Ｎ枚目の撮像画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ズレを起こしているか、基準画像とターゲット画像との位置ズレのズレ量（位置関係）を検出する。そして、信号処理回路７は、そのズレ量に基づいて、カメラブレが補正された１枚の鮮明な画像（出力画像）としての、１画素につきＧ信号、Ｒ信号、Ｂ信号のすべてを有する出力画像を求め、その求めた出力画像の画像信号を、D/Aコンバータ９またはコーデック１２、あるいは、その両方に供給する。信号処理回路７は、DSP（Digial Signal Processor）等で構成することができる。なお、以下においては、特に断りがない場合においても、A/Dコンバータ６より後段で処理される画像信号は、適正露出と同一の明るさにゲインアップされたものであるとする。

タイミングジェネレータ８は、所定の間隔でＮ枚の画像の撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。この間隔は、例えば、被写体の明るさなどに合わせて、ユーザが変更することができるようになっている。ユーザが間隔を変更する場合、入力デバイス１６をユーザが操作することによりCPU１５で決定される間隔の変更値が、CPU１５よりバス１４を介して、タイミングジェネレータ８に供給される。

D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができるビデオ信号に変換し、モニタ１１に供給する。モニタ１１は、デジタルカメラ１のファインダ等の役割を果たすもので、LCDやCRTなどで構成され、ビデオエンコーダ１０から供給されるビデオ信号を表示する。これにより、モニタ１１では、鮮明な画像が表示される。

コーデック１２は、信号処理回路７から供給された出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式などの所定の方式に従って符号化し、メモリ１３に供給する。

メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を一時的または永久的に記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３またはメモリ１３の代わりに用いる記録媒体は、デジタルカメラ１に対して着脱可能とすることができる。なお、デジタルカメラ１に内蔵される記録媒体と、デジタルカメラ１に着脱可能な記録媒体の両方を設けるようにすることも可能である。

CPU１５は、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。例えば、ユーザの操作に応じて入力デバイス１６から供給される撮像開始の信号に従い、被写体を撮像し、その画像をメモリ１３に記憶するように、各部に制御信号を供給する。

入力デバイス１６は、デジタルカメラ１本体にあるレリーズボタンなどの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、バス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンの操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。

図２のフローチャートを参照して、デジタルカメラ１の撮像処理について説明する。

初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。即ち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でＮ回連続して、入射される被写体の光を受光することにより、Ｎ回の高速撮像を行う。従って、１回の撮影において、Ｎ枚の撮像画像が得られ、各撮像画像は、適正露出以下の暗い画像となる。受光された被写体の光は、光電変換され、相関２重サンプリング回路５においてノイズ成分が除去された後、A/Dコンバータ６に供給される。そして、ステップＳ２に進む。

ステップＳ２において、A/Dコンバータ６は、相関２重サンプリング回路５から供給される、ノイズ除去された被写体の画像信号をデジタル変換する。その後、シフト回路２１が、適正露出以下の暗い画像を、ｎ'ビットシフトして適正露出と同じ明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３に進む。

ステップＳ３において、信号処理回路７は、１枚目の画像を基準画像とするとともに、２枚目以降の各画像をターゲット画像として、ターゲット画像（２乃至Ｎ枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、即ち、基準画像に対するターゲット画像の位置ズレのズレ量（動き量）を検出して、ステップＳ４に進む。

ステップＳ４において、信号処理回路７は、Ｎ枚の撮像画像と、ステップＳ３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像推定処理を行い、ステップＳ５に進む。画像推定処理の詳細は後述するが、この処理により、信号処理回路７は、カメラブレが補正された１枚の鮮明な画像（出力画像）としての１画素がＧ信号、Ｒ信号、Ｂ信号のすべてを有する出力画像を求め、その求めた出力画像の画像信号を、D/Aコンバータ９またはコーデック１２、あるいは、その両方に供給する。

ステップＳ５では、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号のアナログ信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、画像を表示して、処理を終了する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、ＪＰＥＧやＭＰＥＧ等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。

図３は、撮像素子４の画素の配列を示している。なお、図３では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されているものとする。

ここで、図３において、撮像素子４の左上の角を原点として、横（右）方向をＸ方向、縦（下）方向をＹ方向とするＸ−Ｙ座標系を設定する。また、１画素の縦および横方向の長さ（幅）をそれぞれ１とする。この場合、左からｉ番目で、上からｊ番目の画素の位置（中心位置）は、（ｉ−０．５、ｊ−０．５）と表すことができる。

図３において、撮像素子４の画素の配列は、いわゆる、ベイヤー配列となっている。

即ち、Ｇ信号を取り出すことのできる画素としては、原点からＸ方向に１番目で、Ｙ方向に１番目の画素である画素Ｇ００、原点からＸ方向に３番目で、Ｙ方向に１番目の画素である画素Ｇ０２、原点からＸ方向に５番目で、Ｙ方向に１番目の画素である画素Ｇ０４、原点からＸ方向に２番目で、Ｙ方向に２番目の画素である画素Ｇ１１、以下、同様に、画素Ｇ１３、画素Ｇ１５、画素Ｇ２０、画素Ｇ２２，画素Ｇ２４、画素Ｇ３１、画素Ｇ３３、画素Ｇ３５が配置されている。

また、Ｒ信号を取り出すことのできる画素としては、原点からＸ方向に２番目で、Ｙ方向に１番目の画素である画素Ｒ０１、原点からＸ方向に４番目で、Ｙ方向に１番目の画素である画素Ｒ０３、原点からＸ方向に６番目で、Ｙ方向に１番目の画素である画素Ｒ０５、原点からＸ方向に２番目で、Ｙ方向に３番目の画素である画素Ｒ２１、以下、同様に、画素Ｒ２３、画素Ｒ２５が配置されている。

さらに、Ｂ信号を取り出すことのできる画素としては、原点からＸ方向に１番目で、Ｙ方向に２番目の画素である画素Ｂ１０、原点からＸ方向に３番目で、Ｙ方向に２番目の画素である画素Ｂ１２、原点からＸ方向に５番目で、Ｙ方向に２番目の画素である画素Ｂ１４、原点からＸ方向に１番目で、Ｙ方向に４番目の画素である画素Ｂ３０、以下、同様に、画素Ｂ３２、画素Ｂ３４が配置されている。

ここで、撮像素子４のＸ−Ｙ座標系における所定の位置（ｘ，ｙ）（ｘ，ｙは実数）について、カメラブレがない１枚の鮮明な画像のＧ信号、Ｒ信号、Ｂ信号を、それぞれＬｇ（ｘ，ｙ），Ｌｒ（ｘ，ｙ），Ｌｂ（ｘ，ｙ）とする。さらに、左からｉ番目で、上からｊ番目である「ｉ番目、ｊ番目の画素」について、カメラブレがない１枚の鮮明な画像のＧ信号、Ｒ信号、Ｂ信号を、それぞれＬｇ（ｉ，ｊ），Ｌｒ（ｉ，ｊ），Ｌｂ（ｉ，ｊ）とする。即ち、Ｌｇ（ｘ，ｙ），Ｌｒ（ｘ，ｙ），Ｌｂ（ｘ，ｙ）（Ｌｇ（ｉ，ｊ），Ｌｒ（ｉ，ｊ），Ｌｂ（ｉ，ｊ））それぞれは、所定の位置（ｘ，ｙ）（「ｉ番目、ｊ番目の画素」）における、カメラブレや、ノイズのない、真の緑色、赤色、青色の光量（データ）を表す。従って、以下においては、Ｌｇ（ｘ，ｙ），Ｌｒ（ｘ，ｙ），Ｌｂ（ｘ，ｙ）（Ｌｇ（ｉ，ｊ），Ｌｒ（ｉ，ｊ），Ｌｂ（ｉ，ｊ））それぞれを真の緑色の光量Ｌｇ（ｘ，ｙ）（Ｌｇ（ｉ，ｊ））、真の赤色の光量Ｌｒ（ｘ，ｙ）（Ｌｒ（ｉ，ｊ））、真の青色の光量Ｌｂ（ｘ，ｙ）（Ｌｂ（ｉ，ｊ））と称する。なお、ｘ＝ｉ−０．５，ｙ＝ｊ−０．５である場合、Ｌｇ（ｘ，ｙ）＝Ｌｇ（ｉ，ｊ），Ｌｒ（ｘ，ｙ）＝Ｌｒ（ｉ，ｊ），Ｌｂ（ｘ，ｙ）＝Ｌｂ（ｉ，ｊ）である。

また、本実施の形態においては、撮像素子４の画素の配列は、ベイヤー配列であるものとするが、画素の配列は、ベイヤー配列に限定されるものではなく、その他の配列でもよい。

次に、Ｇ信号、Ｒ信号、Ｂ信号それぞれの画素について使用する変数ｉｇ，ｊｇ，ｉｒ，ｊｒ，ｉｂ，ｊｂを定義する。

変数ｉｇ，ｊｇそれぞれは、Ｇ信号を取り出すことのできる画素についての、Ｘ方向の位置ｉ、Ｙ方向の位置ｊを表す。即ち、変数ｉｇ，ｊｇの組み合わせは、Ｇ信号を取り出すことのできる、変数ｉ，ｊの組み合わせと等しい。ベイヤー配列の場合には、その配列の性質から、変数ｉとｊとの差（ｉ−ｊ）が偶数であるという条件を満たす変数ｉｇ，ｊｇということができる。なお、当然ながら、変数ｉｇとｊｇとの差（ｉｇ−ｊｇ）も偶数となる。従って、「ｉｇ番目，ｊｇ番目の画素」とは、Ｇ信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列の場合には、その配列の性質に応じた変数ｉｇ，ｊｇの条件となる。

変数ｉｒ，ｊｒそれぞれは、Ｒ信号を取り出すことのできる画素についての、Ｘ方向の位置ｉ、Ｙ方向の位置ｊを表す。即ち、変数ｉｒ，ｊｒの組み合わせは、Ｒ信号を取り出すことのできる、変数ｉ，ｊの組み合わせと等しい。ベイヤー配列の場合には、その配列の性質から、変数ｉが偶数、かつ変数ｉとｊとの差（ｉ−ｊ）が奇数であるという条件を満たす変数ｉｒ，ｊｒということができる。なお、当然ながら、変数ｉｒとｊｒとの差（ｉｒ−ｊｒ）も奇数となる。従って、「ｉｒ番目，ｊｒ番目の画素」とは、Ｒ信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列の場合には、その配列の性質に応じた変数ｉｒ，ｊｒの条件となる。

変数ｉｂ，ｊｂそれぞれは、Ｂ信号を取り出すことのできる画素についての、Ｘ方向の位置ｉ、Ｙ方向の位置ｊを表す。即ち、変数ｉｂ，ｊｂの組み合わせは、Ｂ信号を取り出すことのできる、変数ｉ，ｊの組み合わせと等しい。ベイヤー配列の場合には、その配列の性質から、変数ｉが奇数、かつ変数ｉとｊとの差（ｉ−ｊ）が奇数であるという条件を満たす変数ｉｂ，ｊｂということができる。なお、当然ながら、変数ｉｂとｊｂとの差（ｉｂ−ｊｂ）も奇数となる。従って、「ｉｂ番目，ｊｂ番目の画素」とは、Ｂ信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列の場合には、その配列の性質に応じた変数ｉｂ，ｊｂの条件となる。

次に、図３に示した撮像素子４の各画素で受光して得られる色信号（Ｇ信号、Ｒ信号、Ｂ信号）の値（画素値）について定義する。

上述したように、撮像素子４では、Ｎ枚の画像が撮像される。従って、撮像素子４の１つの画素についてＮ個の画素値が得られる。そこで、ｋ枚目（ｋ＝１乃至Ｎ）の「ｉｇ番目，ｊｇ番目の画素」で得られる画素値をＧｏｂｓ（ｋ，ｉｇ，ｊｇ）、ｋ枚目（ｋ＝１乃至Ｎ）の「ｉｒ番目，ｊｒ番目の画素」で得られる画素値をＲｏｂｓ（ｋ，ｉｒ，ｊｒ）、ｋ枚目（ｋ＝１乃至Ｎ）の「ｉｂ番目，ｊｂ番目の画素」で得られる画素値をＢｏｂｓ（ｋ，ｉｂ，ｊｂ）とする。例えば、１枚目の画素Ｇ００で得られる画素値は、Ｇｏｂｓ（１，１，１）で表され、２枚目のＧ０４で得られる画素値は、Ｇｏｂｓ（２，５，１）で表される。なお、以下において、特に断りがない場合、ｋは、１乃至Ｎの整数を表すものとする。

逆に言うと、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）、Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）、Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）をもつ画素は、それぞれ、画素Ｇ（ｊｇ−１）（ｉｇ−１）、Ｒ（ｊｒ−１）（ｉｒ−１）、Ｂ（ｊｂ−１）（ｉｂ−１）である。

図４は、図１の信号処理回路７の一部分についての詳細な構成例を示している。

信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、フレームメモリ２２−１乃至２２−Ｎ、動き検出回路２３は、動き検出回路２３−１乃至２３−（Ｎ−１）で構成されている。

上述したように、A/Dコンバータ６からＮ枚の撮像画像がフレームメモリ２２に供給される。フレームメモリ２２−１は、A/Dコンバータ６から供給される１枚目の撮像画像を記憶（格納）する。フレームメモリ２２−２は、A/Dコンバータ６から供給される２枚目の撮像画像を記憶する。以下同様にして、フレームメモリ２２−ｋは、A/Dコンバータ６から供給されるｋ枚目の撮像画像をフレームメモリ２２−ｋに記憶する（ｋ＝３乃至N）。

フレームメモリ２２−１は、所定のタイミングにおいて、記憶している１枚目の撮像画像を演算回路２４と動き検出回路２３−１乃至２３−（Ｎ−１）に供給する。フレームメモリ２２−２は、所定のタイミングにおいて、記憶している２枚目の撮像画像を演算回路２４と動き検出回路２３−１に供給する。以下、同様にして、フレームメモリ２２−ｋは、所定のタイミングにおいて、記憶しているｋ枚目の撮像画像を演算回路２４と動き検出回路２３−（ｋ−１）に供給する。

動き検出回路２３は、２枚の撮像画像どうしの位置関係を検出する。即ち、動き検出回路２３は、１枚目の撮像画像を基準画像とするとともに、２枚目以降の各撮像画像をターゲット画像として、ターゲット画像（２乃至Ｎ枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、基準画像に対するターゲット画像の位置ズレのズレ量（動き量）を検出する。なお、このズレ量は、例えば、手ブレにより生じるものである。

動き検出回路２３−１には、基準画像としての１枚目の撮像画像がフレームメモリ２２−１から、ターゲット画像としての２枚目の撮像画像がフレームメモリ２２−２から、それぞれ供給される。

動き検出回路２３−１は、２枚目の撮像画像の各画素（あるいは、画面全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、１枚目の撮像画像と２枚目の撮像画像との位置関係が次式（１）で表されるような、回転角度θ２、スケールＳ２、平行移動量（Ｔ２ｘ，Ｔ２ｙ）で構成される変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を求め、演算回路２４に供給する。

・・・（１）

式（１）は、いわゆるアフィン変換の式であり、式（１）において、（Ｘ２，Ｙ２）は２枚目の撮像画像の画素の位置であり、（Ｘ１₍₂₎，Ｙ１₍₂₎）は１枚目の撮像画像上の位置である。下付きの（２）は、２枚目の撮像画像のある位置が位置変換されたことを表している。

この変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）は、２枚目の撮像画像上の位置（Ｘ２，Ｙ２）が、１枚目の撮像画像上の位置（Ｘ１，Ｙ１）に対して、例えば、手持ち撮影のため、角度θ２だけ回転し、被写体方向にデジタルカメラ１が移動したために画像がＳ２倍だけ拡大（Ｓ２＜１のときは、縮小）され、被写体に対して平行方向に（Ｔ２ｘ，Ｔ２ｙ）だけずれたことを意味する。なお、通常手ブレの場合には、撮像素子４の面と平行な横方向のブレ（揺れ）の影響が大きく、デジタルカメラ１から被写体の方向に対するブレ（揺れ）は少ないので、デジタルカメラ１から被写体の方向に対しては影響がないとして、Ｓ２＝１と近似してもよい。

また、動き検出回路２３−２には、基準画像としての１枚目の撮像画像がフレームメモリ２２−１から、ターゲット画像としての３枚目の撮像画像がフレームメモリ２２−３から、それぞれ供給される。

動き検出回路２３−２は、３枚目の撮像画像の各画素（あるいは、画面全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、１枚目の撮像画像と３枚目の撮像画像との位置関係が次式（２）で表されるような、回転角度θ３、スケールＳ３、平行移動量（Ｔ３ｘ，Ｔ３ｙ）で構成される変換パラメータ（θ３，Ｔ３ｘ，Ｔ３ｙ，Ｓ３）を求め、演算回路２４に供給する。

・・・（２）

式（２）は、いわゆるアフィン変換の式であり、式（２）において、（Ｘ３，Ｙ３）は３枚目の撮像画像の画素の位置であり、（Ｘ１₍₃₎，Ｙ１₍₃₎）は１枚目の撮像画像上の位置である。下付きの（３）は、３枚目の撮像画像のある位置が位置変換されたことを表している。

この変換パラメータ（θ３、Ｔ３ｘ、Ｔ３ｙ、Ｓ３）は、３枚目の撮像画像上の位置（Ｘ３，Ｙ３）が、１枚目の撮像画像上の位置（Ｘ１，Ｙ１）に対して、手持ち撮影のため、角度θ３だけ回転し、被写体方向にデジタルカメラ１が移動したために画像がＳ３倍だけ拡大（Ｓ３＜１のときは、縮小）され、被写体に対して平行方向に（Ｔ３ｘ，Ｔ３ｙ）だけずれたことを意味する。なお、通常手ブレの場合には、撮像素子４の面と平行な横方向のブレ（揺れ）の影響が大きく、デジタルカメラ１から被写体の方向に対するブレ（揺れ）は少ないので、デジタルカメラ１から被写体の方向に対しては影響がないとして、Ｓ３＝１と近似してもよい。

以下同様に、動き検出回路２３−（ｋ−１）には、基準画像としての１枚目の撮像画像がフレームメモリ２２−１から、ターゲット画像としてのｋ枚目の撮像画像がフレームメモリ２２−ｋから、それぞれ供給される。

動き検出回路２３−（ｋ−１）は、ｋ枚目の撮像画像の各画素（あるいは、画面全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、１枚目の撮像画像とｋ枚目の撮像画像との位置関係が次式（３）で表されるような、回転角度θｋ、スケールＳｋ、平行移動量（Ｔｋｘ，Ｔｋｙ）で構成される変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）を求め、演算回路２４に供給する。

・・・（３）

式（３）は、いわゆるアフィン変換の式であり、式（３）において、（Ｘｋ，Ｙｋ）はｋ枚目の撮像画像の画素の位置であり、（Ｘ１_(k)，Ｙ１_(k)）は、１枚目の撮像画像上の位置である。下付きの（ｋ）は、ｋ枚目の画像のある位置が位置変換されたことを表している。

この変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）は、ｋ枚目の撮像画像上の位置（Ｘｋ，Ｙｋ）が、１枚目の撮像画像上の位置（Ｘ１，Ｙ１）に対して、手持ち撮影のため、角度θｋだけ回転し、被写体方向にデジタルカメラ１が移動したために画像がＳｋ倍だけ拡大（Ｓｋ＜１のときは、縮小）され、被写体に対して平行方向に（Ｔｋｘ，Ｔｋｙ）だけずれたことを意味する。なお、通常手ブレの場合には、撮像素子４の面と平行な横方向のブレ（揺れ）の影響が大きく、デジタルカメラ１から被写体の方向に対するブレ（揺れ）は少ないので、デジタルカメラ１から被写体の方向に対しては影響がないとして、Ｓｋ＝１と近似してもよい。

変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）は、上述のように、１枚目の撮像画像を基準とする、ｋ枚目の撮像画像の位置関係から求める他、デジタルカメラ１に加速度センサを設け、その加速度センサの出力から、いわば、メカニカル的に求めるようにすることもできる。

演算回路２４には、フレームメモリ２２−１乃至２２−ＮからＮ枚の撮像画像が供給される。また、演算回路２４には、動き検出回路２３−１乃至２３−（Ｎ−１）から１枚目の撮像画像とｋ枚目の撮像画像との位置関係を表す変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）が供給される。

演算回路２４は、動き検出回路２３−１乃至２３−（Ｎ−１）から供給される２乃至Ｎ枚目の撮像画像の、１枚目の撮像画像に対する位置関係に基づき、後述する画像推定処理を行うことにより、カメラブレを補正した１枚の鮮明な出力画像の画像信号（Ｇ信号、Ｒ信号、Ｂ信号）を推定し、D/Aコンバータ９またはコーデック１２に供給する。A/Dコンバータ６から信号処理回路７に供給されるＮ枚の撮像画像それぞれは、１画素がＧ信号、Ｒ信号、Ｂ信号のうちのいずれか１つを有する信号であるのに対して、演算回路２４が推定する画像信号は、１画素につきＧ信号、Ｒ信号、Ｂ信号の３個の色信号を有する信号（データ）である。

コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２−１乃至２２−Ｎ、動き検出回路２３−１乃至２３−（Ｎ−１）、演算回路２４等の制御を行う。なお、CPU１５（図１）が、コントローラ２５に代わって、信号処理回路７内のフレームメモリ２２−１乃至２２−Ｎ、動き検出回路２３−１乃至２３−（Ｎ−１）、演算回路２４等の制御を行うようにすることができ、この場合には、コントローラ２５を省略することができる。

なお、ベイヤー配列等を使った単板センサでは、Ｇ信号の画素数に対して、Ｒ信号やＢ信号の画素数が少なくなっている。そのため、信号処理回路７で得られる出力画像におけるＲ信号やＢ信号は、Ｇ信号に較べて誤差が大となる場合がある。そのような場合には、演算回路２４の後段に、輝度信号はそのままで、色差信号に対してのみ高周波成分の帯域を制限するローパスフィルタを配置することにより、ノイズを除去することができる。

また、演算回路２４を、連続撮像している最中に、撮像画像を順次取り込みながら処理が可能なリアルタイム処理を行う高速演算回路とすることにより、フレームメモリ２２−１乃至２２−Ｎ、および動き検出回路２３−１乃至２３−（Ｎ−１）の数を少なく構成することができる。これにより、信号処理回路７の規模を小さくすることが可能となる。

次に、上述した信号処理回路７における、画像推定処理の第１実施の形態について説明する。

なお、例えば、撮像素子４の各画素（の受光部）の直上には、不図示のオンチップレンズが配置されているものとする。オンチップレンズは、そのオンチップレンズ内に入射した被写体の光すべてを１点に収束する。従って、オンチップレンズの直下にある画素は、オンチップレンズ内に入射した被写体の光すべてを積分値として受光することができる。これにより、各画素の検出感度が良くなるという効果が得られる。

従って、撮像素子４の各画素で受光されるデータ（受光量）は、その画素の、ある１点に入射される被写体の光の値ではなく（即ち、ポイントサンプリングされたデータではなく）、ある有限の面積を持った面（受光面）に入射される被写体の光の積分値である。

第１実施の形態では、このオンチップレンズの特性を正確に定式化することにより、画像推定処理として鮮明な画像（出力画像）を求める。なお、従来では、各画素のデータは、ポイントサンプリングされたデータとして考えることが一般的であった。しかしながら、本来は、上述したように、実際の撮像素子４の各画素の受光量は、ある面積を持った面に入射した光の値（積分値）となるため、正確な画像を推定（復元）しているとは言い難かった。

初めに、フレームメモリ２２−１に記憶されている１枚目の画像について、各画素で得られる画素値とオンチップレンズにより入射される光との関係を定式化する。

例えば、図３の一番左上の「１番目，１番目の画素」である画素Ｇ００については、その画素値Ｇｏｂｓ（１，１，１）と、真の緑色の光量Ｌｇ（ｘ，ｙ）との関係は、次式（４）のように表すことができる。

・・・（４）

単板センサである受光素子４の一番左上の画素Ｇ００には、入射される光のうち、緑色の成分のみを透過するように、緑色のフィルタが装着されている。画素Ｇ００が受光する光は、オンチップレンズの効果のため、図３の座標系において（０，０），（０，１），（１，０），および（１，１）で囲まれる矩形領域に入射する光となる。即ち、（０，０），（０，１），（１，０），および（１，１）で囲まれる矩形領域に入射される被写体の光の全ては、「１番目、１番目の画素」であるＧ００で受光される。

式（４）の左辺は、１枚目の撮像画像の座標系の位置（ｘ，ｙ）における（入射する）真の緑色の光量Ｌｇ（ｘ，ｙ）を、（０，０），（０，１），（１，０），および（１，１）で囲まれる矩形領域、即ち、０≦ｘ＜１および０≦ｙ＜１で積分したものである。また、式（４）の右辺は、そのとき１枚目の「１番目、１番目の画素」で得られる（観測される）画素値Ｇｏｂｓ（１，１，１）である。式（４）は、１枚目の撮像時における画素Ｇ００の受光面に入射する真の緑色の光量Ｌｇ（ｘ，ｙ）の、その受光面での積分値が、画素Ｇ００で観測される画素値Ｇｏｂｓ（１，１，１）に等しいことを表している。

なお、オンチップレンズの性能によっては、各画素の周辺部（いわゆる、「はじ」の部分）に入射される被写体の光を収束させることができない場合もある。その場合、式（４）の左辺で積分される範囲を、例えば、ひとまわり小さくして、例えば（０．１，０．１），（０．１，０．９），（０．９，０．１），および（０．９，０．９）で囲まれる矩形領域とすればよい。

また、デジタルカメラでは、単板センサの欠点である偽色を回避するために、オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、その場合、１画素の矩形領域よりも少し広範囲の光が画素に入力される。そのときには、式（４）の左辺で積分される範囲を、反対に、ひとまわり大きい矩形領域とすればよい。

次に、図３において画素Ｇ００の右隣にある、「２番目，１番目の画素」である画素Ｒ０１について考える。

「２番目，１番目の画素」である画素Ｒ０１については、その画素値Ｒｏｂｓ（１，２，１）と、真の緑色の光量Ｌｇ（ｘ，ｙ）との関係は、次式（５）のように表すことができる。

・・・（５）

単板センサである受光素子４の一番左上の画素Ｒ０１には、入射される光のうち、赤色の成分のみを透過するように、赤色のフィルタが装着されている。画素Ｒ０１が受光する光は、オンチップレンズの効果のため、図３の座標系において（１，０），（１，１），（２，０），および（２，１）で囲まれる矩形領域に入射する光となる。即ち、（１，０），（１，１），（２，０），および（２，１）で囲まれる矩形領域に入射される被写体の光の全ては、「２番目、１番目の画素」であるＲ０１で受光される。

式（５）の左辺は、１枚目の撮像画像の座標系の位置（ｘ，ｙ）における（入射する）真の赤色の光量Ｌｒ（ｘ，ｙ）を、（１，０），（１，１），（２，０），および（２，１）で囲まれる矩形領域、即ち、１≦ｘ＜２および０≦ｙ＜１で積分したものである。また、式（５）の右辺は、そのとき１枚目の「２番目、１番目の画素」で得られる（観測される）画素値Ｒｏｂｓ（１，２，１）である。式（５）は、１枚目の撮像時における画素Ｒ０１の受光面に入射する真の赤色の光量Ｌｒ（ｘ，ｙ）の、その受光面での積分値が、画素Ｒ０１で観測される画素値Ｒｏｂｓ（１，２，１）に等しいことを表している。

なお、オンチップレンズの性能によっては、各画素の周辺部（いわゆる、「はじ」の部分）に入射される被写体の光を収束させることができない場合もある。その場合、式（５）の左辺で積分される範囲を、例えば、ひとまわり小さくして、例えば（１．１，０．１），（１．１，０．９），（１．９，０．１），および（１．９，０．９）で囲まれる矩形領域とすればよい。

また、デジタルカメラでは、単板センサの欠点である偽色を回避するために、オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、その場合、１画素の矩形領域よりも少し広範囲の光が画素に入力される。そのときには、式（５）の左辺で積分される範囲を、反対に、ひとまわり大きい矩形領域とすればよい。

１枚目の撮像画像のその他の画素についても同様に式をたてることができる。

即ち、図３において「ｉｇ番目、ｊｇ番目の画素」である画素Ｇ（ｊｇ−１）（ｉｇ−１）については、その画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）と、真の緑色の光量Ｌｇ（ｘ，ｙ）との関係は、式（６）のように表すことができる。

・・・（６）

式（６）は、真の緑色の光量Ｌｇ（ｘ，ｙ）を、図３の座標系において（ｉｇ−１，ｊｇ−１），（ｉｇ−１，ｊｇ），（ｉｇ，ｊｇ−１），および（ｉｇ，ｊｇ）で囲まれる矩形領域、即ち、１枚目の撮像画像の座標系のｉｇ−１≦ｘ＜ｉｇおよびｊｇ−１≦ｙ＜ｊｇで積分したものが、画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）であることを表している。

また、図３において「ｉｒ番目、ｊｒ番目の画素」であるＲ（ｊｒ−１）（ｉｒ−１）については、その画素値Ｒｏｂｓ（１，ｉｒ，ｊｒ）と、真の赤色の光量Ｌｒ（ｘ，ｙ）との関係は、式（７）のように表すことができる。

・・・（７）

式（７）は、真の赤色の光量Ｌｒ（ｘ，ｙ）を、図３の座標系において（ｉｒ−１，ｊｒ−１），（ｉｒ−１，ｊｒ），（ｉｒ，ｊｒ−１），および（ｉｒ，ｊｒ）で囲まれる矩形領域、即ち、１枚目の撮像画像の座標系のｉｒ−１≦ｘ＜ｉｒおよびｊｒ−１≦ｙ＜ｊｒで積分したものが、画素値Ｒｏｂｓ（１，ｉｒ，ｊｒ）であることを表している。

さらに、図３において「ｉｂ番目、ｊｂ番目の画素」である画素Ｂ（ｊｂ−１）（ｉｂ−１）については、その画素値Ｂｏｂｓ（１，ｉｂ，ｊｂ）と、真の青色の光量Ｌｂ（ｘ，ｙ）との関係は、式（８）のように表すことができる。

・・・（８）

式（８）は、真の青色の光量Ｌｂ（ｘ，ｙ）を、図３の座標系において（ｉｂ−１，ｊｂ−１），（ｉｂ−１，ｊｂ），（ｉｂ，ｊｂ−１），および（ｉｂ，ｊｂ）で囲まれる矩形領域、即ち、１枚目の撮像画像の座標系のｉｂ−１≦ｘ＜ｉｂおよびｊｂ−１≦ｙ＜ｊｂで積分したものが、画素値Ｂｏｂｓ（１，ｉｂ，ｊｂ）であることを表している。

なお、実際には、上述したように、画像信号（観測される画素値）には、ノイズ量Ｅも含まれており、さらに、そのノイズ量ＥはＭｋ倍にゲインアップされている。そこで、（Ｅ×Ｍｋ）のノイズ成分を式（６），（７），（８）に考慮すると、それぞれ、式（９），（１０），（１１）で表される光量積分条件式が得られる。

・・・（９）

・・・（１０）

・・・（１１）

ここで、｜ｘ｜は、ｘの絶対値を表す。

式（９）は、光量Ｌｇ（ｘ，ｙ）の積分値と、観測される画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）との差が、想定し得るノイズ量の最大値Ｍ１×Ｅ以下であることを表している。式（１０）および式（１１）も同様である。

以下の説明では、ｋ枚目の撮像画像のことをｋ枚目画像とも称することにする。

次に、フレームメモリ２２−２に記憶されている２枚目画像について、１枚目画像と同様に、各画素で得られる（観測される）画素値とオンチップレンズにより入射される光との関係を定式化する。

２枚目以降の撮像画像の座標系は、動き検出回路２３により検出された変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）（ｋ＝２乃至Ｎ）を用いて１枚目の撮像画像の座標系に変換される。

２枚目画像の「１番目，１番目の画素」である画素Ｇ００については、その画素値Ｇｏｂｓ（２，１，１）と、緑色の光量Ｌｇ（ｘ，ｙ）との関係は、次式（１２）のように表すことができる。

・・・（１２）

受光素子４の一番左上の画素Ｇ００は、入射される光のうち、緑色の成分のみを吸収するように、緑色のフィルタが装着されている。画素Ｇ００が受光する光は、オンチップレンズの効果のため、２枚目画像の座標系において（０，０），（０，１），（１，０），および（１，１）で囲まれる矩形領域に入射する光となる。

その２枚目画像の座標系における位置（０，０），（０，１），（１，０），および（１，１）を、変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を用いて１枚目画像の座標系に変換した位置が、（０₍₂₎，０₍₂₎），（０₍₂₎，１₍₂₎），（１₍₂₎，０₍₂₎），および（１₍₂₎，１₍₂₎）である。従って、（０₍₂₎，０₍₂₎），（０₍₂₎，１₍₂₎），（１₍₂₎，０₍₂₎），および（１₍₂₎，１₍₂₎）で囲まれる矩形領域に入射される被写体の光の全ては、２枚目の撮像時に「１番目、１番目の画素」である画素Ｇ００で受光される。なお、２枚目画像の位置（ｘ，ｙ）を１枚目の画像の座標に変換した位置をＰ（２，ｘ，ｙ）とも書くことにする。

式（１２）の左辺は、真の緑色の光量Ｌｇ（ｘ，ｙ）を、Ｐ（２，０，０），Ｐ（２，０，１），Ｐ（２，１，０），およびＰ（２，１，１）で囲まれる矩形領域、即ち、１枚目座標系において、（０₍₂₎，０₍₂₎），（０₍₂₎，１₍₂₎），（１₍₂₎，０₍₂₎），および（１₍₂₎，１₍₂₎）で囲まれる矩形領域で積分したものである。また、式（１２）の右辺は、そのとき２枚目画像の「１番目、１番目の画素」で得られる画素値Ｇｏｂｓ（２，１，１）である。式（１２）は、２枚目の画素Ｇ００で観測される画素値Ｇｏｂｓ（２，１，１）が、１枚目の撮像時における座標系において、（０₍₂₎，０₍₂₎），（０₍₂₎，１₍₂₎），（１₍₂₎，０₍₂₎），および（１₍₂₎，１₍₂₎）で囲まれる矩形領域の範囲に入射する真の緑色の光量Ｌｇ（ｘ，ｙ）の積分値に等しいことを表す。式（１２）において、∫∫ｄｘｄｙは、（０₍₂₎，０₍₂₎），（０₍₂₎，１₍₂₎），（１₍₂₎，０₍₂₎），および（１₍₂₎，１₍₂₎）で囲まれる矩形領域の積分を表すものとする。式（１３）以降も同様である。

なお、オンチップレンズの性能によっては、各画素の周辺部（いわゆる、「はじ」の部分）に入射される被写体の光を収束させることができない場合もある。その場合、式（１２）の左辺で積分される範囲を、上述した１枚目の画像の場合と同様に、ひとまわり小さい矩形領域とすればよい。

また、デジタルカメラでは、単板センサの欠点である偽色を回避するために、オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、その場合、１画素の矩形領域よりも少し広範囲の光が画素に入力される。そのときには、式（１２）の左辺で積分される範囲を、反対に、ひとまわり大きい矩形領域とすればよい。

次に、２枚目画像の画素Ｇ００の右隣となる、「２番目，１番目の画素」である画素Ｒ０１について考える。

２枚目画像の「２番目，１番目の画素」である画素Ｒ０１については、その画素値Ｒｏｂｓ（２，２，１）と、真の赤色の光量Ｌｒ（ｘ，ｙ）との関係は、次式（１３）のように表すことができる。

・・・（１３）

受光素子４の一番左上の画素Ｒ０１は、入射される光のうち、赤色の成分のみを吸収するように、赤色のフィルタが装着されている。画素Ｒ０１が受光する部分は、オンチップレンズの効果のため、２枚目画像の座標系において（１，０），（１，１），（２，０），および（２，１）で囲まれる矩形領域に入射する光となる。

その２枚目画像の座標系における位置（１，０），（１，１），（２，０），および（２，１）を、変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を用いて１枚目画像の座標系に変換した位置が、（１₍₂₎，０₍₂₎），（１₍₂₎，１₍₂₎），（２₍₂₎，０₍₂₎），および（２₍₂₎，１₍₂₎）である。従って、（１₍₂₎，０₍₂₎），（１₍₂₎，１₍₂₎），（２₍₂₎，０₍₂₎），および（２₍₂₎，１₍₂₎）で囲まれる矩形領域に入射される被写体の光の全ては、２枚目の撮像時に「２番目、１番目の画素」であるＲ０１で受光される。

式（１３）の左辺は、真の赤色の光量Ｌｒ（ｘ，ｙ）を、Ｐ（２，１，０），Ｐ（２，１，１），Ｐ（２，２，０），およびＰ（２，２，１）で囲まれる矩形領域、即ち、１枚目座標系において、（１₍₂₎，０₍₂₎），（１₍₂₎，１₍₂₎），（２₍₂₎，０₍₂₎），および（２₍₂₎，１₍₂₎）で囲まれる矩形領域で積分したものである。また、式（１３）の右辺は、そのとき２枚目の「２番目、１番目の画素」で得られる画素値Ｒｏｂｓ（２，２，１）である。式（１３）は、２枚目の画素Ｒ０１で観測される画素値Ｒｏｂｓ（２，２，１）が、１枚目の撮像時における座標系において、（１₍₂₎，０₍₂₎），（１₍₂₎，１₍₂₎），（２₍₂₎，０₍₂₎），および（２₍₂₎，１₍₂₎）で囲まれる矩形領域の範囲に入射する真の赤色の光量Ｌｒ（ｘ，ｙ）の積分値に等しいことを表す。

なお、オンチップレンズの性能によっては、各画素の周辺部（いわゆる、「はじ」の部分）に入射される被写体の光を収束させることができない場合もある。その場合、式（１３）の左辺で積分される範囲を、例えば、ひとまわり小さい矩形領域とすればよい。

また、デジタルカメラでは、単板センサの欠点である偽色を回避するために、オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、その場合、１画素の矩形領域よりも少し広範囲の光が画素に入力される。そのときには、式（１３）の左辺で積分される範囲を、反対に、ひとまわり大きい矩形領域とすればよい。

２枚目画像のその他の画素についても同様に式をたてることができる。

即ち、２枚目画像の「ｉｇ番目、ｊｇ番目の画素」であるＧ（ｊｇ−１）（ｉｇ−１）については、その画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）と、真の緑色の光量Ｌｇ（ｘ，ｙ）との関係は、式（１４）のように表すことができる。

・・・（１４）

式（１４）は、真の緑色の光量Ｌｇ（ｘ，ｙ）を、２枚目画像の座標系において（ｉｇ−１，ｊｇ−１），（ｉｇ−１，ｊｇ），（ｉｇ，ｊｇ−１），および（ｉｇ，ｊｇ）で囲まれる矩形領域、即ち、１枚目画像の座標系において、（ｉｇ−１₍₂₎，ｊｇ−１₍₂₎），（ｉｇ−１₍₂₎，ｊｇ₍₂₎），（ｉｇ₍₂₎，ｊｇ−１₍₂₎），および（ｉｇ₍₂₎，ｊｇ₍₂₎）で囲まれる矩形領域で積分したものが、画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）であることを表している。

また、２枚目画像の「ｉｒ番目、ｊｒ番目の画素」であるＲ（ｊｒ−１）（ｉｒ−１）については、その画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）と、真の赤色の光量Ｌｒ（ｘ，ｙ）との関係は、式（１５）のように表すことができる。

・・・（１５）

式（１５）は、真の赤色の光量Ｌｒ（ｘ，ｙ）を、２枚目画像の座標系において（ｉｒ−１，ｊｒ−１），（ｉｒ−１，ｊｒ），（ｉｒ，ｊｒ−１），および（ｉｒ，ｊｒ）で囲まれる矩形領域、即ち、１枚目画像の座標系において、（ｉｒ−１₍₂₎，ｊｒ−１₍₂₎），（ｉｒ−１₍₂₎，ｊｒ₍₂₎），（ｉｒ₍₂₎，ｊｒ−１₍₂₎），および（ｉｒ₍₂₎，ｊｒ₍₂₎）で囲まれる矩形領域で積分したものが、画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）であることを表している。

さらに、２枚目画像の「ｉｂ番目、ｊｂ番目の画素」であるＢ（ｊｂ−１）（ｉｂ−１）については、その画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）と、真の青色の光量Ｌｂ（ｘ，ｙ）との関係は、式（１６）のように表すことができる。

・・・（１６）

式（１６）は、真の青色の光量Ｌｂ（ｘ，ｙ）を、２枚目画像の座標系において（ｉｂ−１，ｊｂ−１），（ｉｂ−１，ｊｂ），（ｉｂ，ｊｂ−１），および（ｉｂ，ｊｂ）で囲まれる矩形領域、即ち、１枚目画像の座標系において、（ｉｂ−１₍₂₎，ｊｂ−１₍₂₎），（ｉｂ−１₍₂₎，ｊｂ₍₂₎），（ｉｂ₍₂₎，ｊｂ−１₍₂₎），および（ｉｂ₍₂₎，ｊｂ₍₂₎）で囲まれる矩形領域で積分したものが、画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）であることを表している。

なお、実際には、上述したように、画像信号（観測される画素値）には、ノイズ量Ｅも含まれており、さらに、そのノイズ量ＥはＭｋ倍にゲインアップされている。（Ｅ×Ｍｋ）のノイズ成分を式（１４），（１５），（１６）に考慮すると、それぞれ、式（１７），（１８），（１９）で表される光量積分条件式が得られる。

・・・（１７）

・・・（１８）

・・・（１９）

ここで、｜ｘ｜は、ｘの絶対値を表す。

式（１７）は、光量Ｌｇ（ｘ，ｙ）の積分値と、観測される画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）との差が、想定し得るノイズ量の最大値Ｍ２×Ｅ以下であることを表している。式（１８）および式（１９）も同様である。

図５を参照して、２枚目画像の位置（ｘ，ｙ）と、その位置（ｘ，ｙ）を１枚目画像の座標に変換した位置Ｐ（２，ｘ，ｙ）との関係について説明する。

図５左側は、２枚目画像の座標系における、所定の４点（ｉ−１，ｊ−１），（ｉ−１，ｊ），（ｉ，ｊ−１），および（ｉ，ｊ）で囲まれる矩形領域のある画素３１を示している。

図５右側は、左側の画素３１を１枚目画像の座標系に変換した後の画素３１'を示している。従って、図５左側の画素３１と図５右側の画素３１'は、同じ被写体（の一部）が映っている（例えば、ある風景）。

ここでは、２枚目以降の撮像画像の各画素の画素値が、基準画像である１枚目の画像の撮像時の光（被写体からの光）の積分値として得られるとして、その積分値を得るときの積分範囲を、１枚目の座標系を基準として設定する。これにより、手ブレにより位置ズレが生じていた１乃至Ｎ枚目の撮像画像の、いわば位置合わせ（１枚目の撮像画像を基準とした位置合わせ）が行われる。

２枚目画像の座標系における位置（ｉ−１，ｊ−１）は、変換パラメ−タ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換することで、１枚目画像の座標系での位置Ｐ（２，ｉ−１，ｊ−１）とすることができる。また、２枚目画像の座標系における位置（ｉ−１，ｊ）は、変換パラメ−タ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換することで、１枚目画像の座標系での位置Ｐ（２，ｉ−１，ｊ）とすることができる。同様に、２枚目画像の座標系における位置（ｉ，ｊ−１）と（ｉ，ｊ）も、変換パラメ−タ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換することで、１枚目画像の座標系での位置Ｐ（２，ｉ，ｊ−１）とＰ（２，ｉ，ｊ）と、それぞれすることができる。なお、Ｘ座標軸またはＹ座標軸が、単にＸまたはＹと表されている場合には、１枚目画像の座標系におけるＸ座標軸またはＹ座標軸を表すものとする。

上述した２枚目画像と同様に、ｋ枚目画像（ｋ＝３乃至Ｎ）の座標系における位置（ｉ−１，ｊ−１），（ｉ−１，ｊ），（ｉ，ｊ−１），および（ｉ，ｊ）も、変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）により変換することで、１枚目画像の座標系での位置Ｐ（ｋ，ｉ−１，ｊ−１），Ｐ（ｋ，ｉ−１，ｊ），Ｐ（ｋ，ｉ，ｊ−１），およびＰ（ｋ，ｉ，ｊ）と、それぞれすることができる。

そして、ｋ枚目画像（ｋ＝３乃至Ｎ）について、Ｍｋ倍にゲインアップされたノイズ量Ｅを考慮すると、式（１７）乃至式（１９）と同様の式（２０）乃至（２２）で表される光量積分条件式が得られる。

・・・（２０）

式（２０）は、真の緑色の光量Ｌｇ（ｘ，ｙ）を、Ｐ（ｋ，ｉｇ−１，ｊｇ−１），Ｐ（ｋ，ｉｇ−１，ｊｇ），Ｐ（ｋ，ｉｇ，ｊｇ−１），およびＰ（ｋ，ｉｇ，ｊｇ）で囲まれる矩形領域、即ち、１枚目座標系において、（ｉｇ−１_(k)，ｊｇ−１_(k)），（ｉｇ−１_(k)，ｊｇ_(k)），（ｉｇ_(k)，ｊｇ−１_(k)），および（ｉｇ_(k)，ｊｇ_(k)）で囲まれる矩形領域で積分したものと、ｋ枚目画像の「ｉｇ番目、ｊｇ番目の画素」で得られる画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とが、Ｍｋ倍にゲインアップされたノイズ量Ｅ（誤差）を考慮して等しいこと、即ち、真の緑色の光量Ｌｇ（ｘ，ｙ）の積分値と、観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との差（絶対値）が、想定し得るノイズ量の最大値以下であることを表している。ここで、｜ｘ｜は、ｘの絶対値を表す。

・・・（２１）

式（２１）は、真の赤色の光量Ｌｒ（ｘ，ｙ）を、Ｐ（ｋ，ｉｒ−１，ｊｒ−１），Ｐ（ｋ，ｉｒ−１，ｊｒ），Ｐ（ｋ，ｉｒ，ｊｒ−１），およびＰ（ｋ，ｉｒ，ｊｒ）で囲まれる矩形領域、即ち、１枚目座標系において、（ｉｒ−１_(k)，ｊｒ−１_(k)），（ｉｒ−１_(k)，ｊｒ_(k)），（ｉｒ_(k)，ｊｒ−１_(k)），および（ｉｒ_(k)，ｊｒ_(k)）で囲まれる矩形領域で積分したものと、ｋ枚目画像の「ｉｒ番目、ｊｒ番目の画素」で得られる画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）とが、Ｍｋ倍にゲインアップされたノイズ量Ｅ（誤差）を考慮して等しいこと、即ち、真の赤色の光量Ｌｒ（ｘ，ｙ）の積分値と、観測される画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）との差（絶対値）が、想定し得るノイズ量の最大値以下であることを表している。ここで、｜ｘ｜は、ｘの絶対値を表す。

・・・（２２）

式（２２）は、真の青色の光量Ｌｂ（ｘ，ｙ）を、Ｐ（ｋ，ｉｂ−１，ｊｂ−１），Ｐ（ｋ，ｉｂ−１，ｊｂ），Ｐ（ｋ，ｉｂ，ｊｂ−１），およびＰ（ｋ，ｉｂ，ｊｂ）で囲まれる矩形領域、即ち、１枚目座標系において、（ｉｂ−１_(k)，ｊｂ−１_(k)），（ｉｂ−１_(k)，ｊｂ_(k)），（ｉｂ_(k)，ｊｂ−１_(k)），および（ｉｂ_(k)，ｊｂ_(k)）で囲まれる矩形領域で積分したものと、ｋ枚目画像の「ｉｂ番目、ｊｂ番目の画素」で得られる画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）とが、Ｍｋ倍にゲインアップされたノイズ量Ｅ（誤差）を考慮して等しいこと、即ち、真の青色の光量Ｌｂ（ｘ，ｙ）の積分値と、観測される画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）との差（絶対値）が、想定し得るノイズ量の最大値以下であることを表している。ここで、｜ｘ｜は、ｘの絶対値を表す。

次に、図６のフローチャートを参照して、図２のステップＳ４における画像推定処理の第１実施の形態について説明する。

初めに、ステップＳ１１において、演算回路２４は、１枚目画像の各画素の画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（９）で表される光量積分条件式を、Ｒｏｂｓ（１，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（１０）で表される光量積分条件式を、Ｂｏｂｓ（１，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（１１）で表される光量積分条件式を生成し、ステップＳ１２に進む。

ステップＳ１２において、演算回路２４は、２枚目画像の各画素の画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（１７）で表される光量積分条件式を、Ｒｏｂｓ（２，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（１８）で表される光量積分条件式を、Ｂｏｂｓ（２，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（１９）で表される光量積分条件式を生成し、ステップＳ１３に進む。ここで、演算回路２４は、２枚目画像の位置を１枚目画像の位置に変換するため、動き検出回路２３−１から供給される変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を使用する。

ステップＳ１３において、演算回路２４は、ｋ枚目画像（ｋ＝３乃至Ｎ）の各画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（２０）で表される光量積分条件式を、Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（２１）で表される光量積分条件式を、Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（２２）で表される光量積分条件式を生成し、ステップＳ１４に進む。ここで、演算回路２４は、ｋ枚目画像の位置を１枚目画像の位置に変換するため、動き検出回路２３−（ｋ−１）から供給される変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）を使用する。

ステップＳ１４において、演算回路２４は、ステップＳ１１乃至Ｓ１３で求めた式（９），（１０），（１１），（１７），（１８），（１９），（２０），（２１），および（２２）の光量積分条件式を満たす解を演算することにより、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を推定して処理を戻る。ここで得られる真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）（の推定値）が、求めるべき１枚の鮮明な画像の画像信号（Ｇ信号、Ｒ信号、Ｂ信号）として、D/Aコンバータ９またはコーデック１２に供給される。

なお、ステップＳ１４における、全ての光量積分条件式を満たす解、即ち、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求める解法としては、複数の条件を満たす画像データを求める解法を用いる。かかる解法としては、例えば、Projection Onto Convex Setsの解法（ＰＯＣＳ法）などがある。ＰＯＣＳ法は、凸射影の繰り返しによって拘束条件に合う最適解を推定する方法であり、例えば、論文「D. C. Youla and H. Webb, “Image Restoration by the Method of Convex Projections: part 1 theory”, IEEE Trans. Med. Image., vol. 1 No. 2, pp81-94, Oct. 1982」などに記載されているので、その説明を省略する。また、ＰＯＣＳ法を使い複数枚の低解像度動画像から高解像度の静止画を作成する方法が特開平8-263639に記載されている。この従来技術の方法では、動きベクトルを使った一画素或いは半画素等の特定精度での動き補正が基本であり、各画素の値を推定する際に考慮される画素の数は、該特定精度によって定まる固定的なものが用いられているものと考えられる。これに対し、本実施の形態では、アナログ的な手法による動き補正を適用することができ、各画素の値を推定する際に考慮される画素の数は、ブレの状況によって任意に適応的に変化し得るように構成されている。

図７のフローチャートを参照して、図２のステップＳ４における画像推定処理の第１実施の形態について再度説明する。

初めに、ステップＳ２１において、演算回路２４は、内部に保持する画像の枚数をカウントする変数ｋを１にセットしてステップＳ２２に進む。

ステップＳ２２において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対して式（２０）で表される光量積分条件式を生成し、ステップＳ２３に進む。

ステップＳ２３において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対して式（２１）で表される光量積分条件式を生成し、ステップＳ２４に進む。

ステップＳ２４において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対して式（２２）で表される光量積分条件式を生成し、ステップＳ２５に進む。

なお、ステップＳ２２乃至Ｓ２４において、光量積分条件式を生成するにあたっては、必要に応じて、動き検出回路２３−１乃至２３−（Ｎ−１）から供給される変換パラメータが用いられる。

ステップＳ２５において、演算回路２４は、内部の変数ｋがフレームメモリ２２−１乃至２２−Ｎから供給される画像の枚数Ｎと等しいか否かを判定する。変数ｋが画像の枚数Ｎと等しくないと判定された場合、演算回路２４は、ステップＳ２６に進み、変数ｋを１だけインクリメントした後、ステップＳ２２に戻る。そして、ステップＳ２２乃至Ｓ２５の処理が繰り返される。

一方、変数ｋが画像の枚数Ｎと等しいと判定された場合、ステップＳ２７に進み、演算回路２４は、ステップＳ２２乃至Ｓ２４で求めたｋ＝１乃至Ｎの式（２０），（２１），および（２２）の光量積分条件式を演算することにより、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を推定して処理を戻る。ここで得られる真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）が、求めるべき１枚の鮮明な画像の画像信号（Ｇ信号、Ｒ信号、Ｂ信号）として、D/Aコンバータ９またはコーデック１２に供給される。

なお、ここで得られる真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）の画像信号は、アナログ信号である。即ち、Ｌｇ（ｘ，ｙ），Ｌｒ（ｘ，ｙ），Ｌｂ（ｘ，ｙ）は、（ｘ，ｙ）の関数として求められるが、変数ｘ，ｙは、上述したように整数ではなく、実数であり、小数部分も含んでいる。その小数部分の桁数は、演算する装置の精度にもよるが、一般的には、２進数表現で２桁から３桁程度と考えられる。従って、このように実数（ｘ，ｙ）を引数とする関数であるＬｇ（ｘ，ｙ），Ｌｒ（ｘ，ｙ），Ｌｂ（ｘ，ｙ）については、必要に応じて、再度（ｘ，ｙ）として整数の位置のみサンプリングし直すリサンプリングを行い、デジタル画像信号に変換してD/Aコンバータ９またはコーデック１２に供給するようにすることができる。

また、高速シャッタによるＮ枚の撮像時間の間に被写体が動いている場合、その動いている部分の、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）は、時間とともに変化することとなるので、上述の方法では、正しい解を得ることが困難なことがあり得る。

そこで、被写体が動いている部分については、例外処理として、単純な重ね合わせで処理することができる。即ち、Ｎ枚の各画像は、ベイヤー配列のデータ（１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個のみのデータ）であるが、このデータから１画素につきＲ信号、Ｇ信号、Ｂ信号の３つの信号を復元するデモザイキング処理を行う。さらに、デモザイキング処理後のＮ枚の画像を、回転、拡大または縮小、あるいは平行移動などを行って位置合わせを行い、平均化する。デモザイキング処理の手法としては、従来の方法を含む任意の方法を採用することができる。

以上のように、第１実施の形態では、各画素の直上にあるオンチップレンズの効果を加味した処理を行うことにより、カメラブレを補正した鮮明な画像を推定することができる。

（第２実施の形態）
次に、信号処理回路７における、画像推定処理の第２実施の形態について説明する。

第２実施の形態は、第１実施の形態における、ｋ＝１乃至Ｎとする式（２０）乃至式（２２）で表される光量積分条件式の他に、Ｒ信号、Ｇ信号、Ｂ信号どうしの相関に関する色相関の条件を付加して、それらすべての条件式を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求めるものである。

画像の局所的な部分に着目すれば、撮像素子４に入射される被写体の光と等価な真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）には、色どうしの相関（色相関）がある。従って、光量積分条件式である式（２０）乃至式（２２）に加えて、色相関の条件をさらに付加することにより、より正確な解、即ち、より本来の光に忠実で鮮明な画像を求める（推定する）ことができる。

図８と図９を参照して、具体的な色相関の条件を求める方法について説明する。図８と図９では、緑色と赤色の色相関の条件を考える。

図８左下側のｋ'枚目画像のｉｇ番目、ｊｇ番目の、ある緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と、図８右下側のｋ”枚目画像のｉｒ番目、ｊｒ番目の、ある赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）に注目する。

演算回路２４は、ｋ'枚目画像の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”枚目画像の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）の位置を、第１実施の形態で説明したように、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と変換パラメータ（θｋ”，Ｔｋ”ｘ，Ｔｋ”ｙ，Ｓｋ”）によりそれぞれ変換することで、図８上側の１枚目画像の座標系における位置を求める。なお、ｋ'やｋ”が１の場合も含み、その場合には、（θ１，Ｔ１ｘ，Ｔ１ｙ，Ｓ１）＝（０，０，０，１）と考える。

そして、演算回路２４は、１枚目画像の座標系に変換されたｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と１枚目画像の座標系に変換されたｋ”枚目の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）との距離を計算する。さらに、演算回路２４は、その距離が、同一の位置とみなす許容値（判定値）delta（例えば、０．２５画素）以内であるかどうかを判定する。

例えば、画素Ｇ（ｊｇ−１）（ｉｇ−１）と画素Ｒ（ｊｒ−１）（ｉｒ−１）の位置を、位置（ｉｇ，ｊｇ）と位置（ｉｒ，ｊｒ）で、それぞれ考えることとして、ｋ'枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）を点Ｇ_cと、ｋ”枚目画像の座標系における画素Ｒ（ｊｇ−１）（ｉｇ−１）の位置（ｉｒ，ｊｒ）を点Ｒ_cと、１枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）をＧ_c(k')と、１枚目画像の座標系における画素Ｒ（ｊｇ−１）（ｉｇ−１）の位置（ｉｒ，ｊｒ）をＲ_c(k”)と、それぞれ表すこととすると、点Ｇ_c(k')と点Ｒ_c(k”)との距離が許容値delta以内であるかを表す式（２３）は、次のように書ける。

・・・（２３）

式（２３）を距離の条件式と称する。ここで、Ｄｉｓ［Ｇ_c(k')，Ｒ_c(k”)］は、点Ｇ_c(k')と点Ｒ_c(k”)との間の距離を表す。また、点Ｇ_c(k')と点Ｒ_c(k”)で表される位置は、位置（ｉｇ，ｊｇ）と位置（ｉｒ，ｊｒ）を、式（１）乃至（３）と同様に、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と（θｋ”，Ｔｋ”ｘ，Ｔｋ”ｙ，Ｓｋ”）でそれぞれアフィン変換したものである。

演算回路２４は、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”枚目の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）とが、ある許容範囲deltaのマージンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、１枚目画像の座標系における、ある位置（ｘ，ｙ）を中心とする（ｘ±ｄＸ，ｙ±ｄＹ）の近傍領域、つまり、（ｘ−ｄＸ，ｙ−ｄＹ），（ｘ−ｄＸ，ｙ＋ｄＹ），（ｘ＋ｄＸ，ｙ−ｄＹ），および（ｘ＋ｄＸ，ｙ＋ｄＹ）で囲まれる領域について求める。ここで、ｄＸとｄＹは、それぞれ、近傍領域を設定する所定の値で、例えば、２画素分のＸ方向とＹ方向の長さなどとすることができる。

逆に言うと、演算回路２４は、１枚目画像の座標系における、ある位置（ｘ，ｙ）を中心とする（ｘ±ｄＸ，ｙ±ｄＹ）の近傍領域、つまり、（ｘ−ｄＸ，ｙ−ｄＹ），（ｘ−ｄＸ，ｙ＋ｄＹ），（ｘ＋ｄＸ，ｙ−ｄＹ），および（ｘ＋ｄＸ，ｙ＋ｄＹ）で囲まれる領域において、上述の式（２３）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）を求める。

そして、演算回路２４は、求められた(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）とを得る。

演算回路２４は、ｋ'，ｋ”それぞれを１乃至Ｎとしたすべての組み合わせについて、上述の式（２３）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とを求める。

一般的には、複数の(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組み合わせが検出されるので、演算回路２４は、検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）とを、図９に示すように、横軸をＧ信号（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)）、縦軸をＲ信号（Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ））とするＧＲ空間にプロットする。

図９は、ＧＲ空間にプロットされた、同一位置にあるとみなすことができる画素の画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）とを模式的に表した図である。

図９のバツ印が、演算回路２４により検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組を表している。

従って、位置（ｘ，ｙ）の近傍領域においては、求めるべき真の緑色の光量Ｌｇ（ｘ，ｙ）、および真の赤色の光量Ｌｒ（ｘ，ｙ）には、図９に示したような相関があると考えられる。

そこで、第２の実施の形態においては、第１実施の形態における式（２０）乃至式（２２）で表される光量積分条件式の他に、さらに、図９に示した緑色と赤色に相関があることを条件として付加する。

即ち、演算回路２４は、演算回路２４により式（２３）の距離の条件式を満たす画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組で表される、図９のＧＲ空間にプロットされた複数の点について、主成分分析を行う。

そして、演算回路２４は、主成分分析の分析結果である主成分（第１主成分）の方向（図９の太線の矢印で示される方向）と直交する成分（例えば、第２主成分）についての分散を求める。さらに、演算回路２４は、位置（ｘ，ｙ）については、ＧＲ空間において主成分の方向と直交する成分の分散の幅を持つ帯状の中に、真の緑色の光量Ｌｇ（ｘ，ｙ）、および真の赤色の光量Ｌｒ（ｘ，ｙ）で表される点が存在するという条件式を、色相関の条件として設定する。

以上の色相関の条件を、緑色と青色についても考える。

演算回路２４は、図８に示した緑色と赤色の画素の場合と同様に、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置を、第１実施の形態で説明したように、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と変換パラメータ（θｋ”'，Ｔｋ”'ｘ，Ｔｋ”'ｙ，Ｓｋ”'）とによりそれぞれ変換することで、１枚目画像の座標系における位置を求める。

そして、演算回路２４は、１枚目画像の座標系に変換されたｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と１枚目画像の座標系に変換されたｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）との距離を計算する。さらに、演算回路２４は、その距離が、同一の位置とみなす許容値（判定値）delta以内であるかどうかを、図８の場合と同様に判定する。

例えば、画素Ｇ（ｊｇ−１）（ｉｇ−１）と画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置を、位置（ｉｇ，ｊｇ）と位置（ｉｂ，ｊｂ）で、それぞれ考えることとして、ｋ'枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）を点Ｇ_cと、ｋ”'枚目画像の座標系における画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置（ｉｂ，ｊｂ）を点Ｂ_cと、１枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）をＧ_c(k')と、１枚目画像の座標系における画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置（ｉｂ，ｊｂ）をＢ_c(k”')と、それぞれ表すこととすると、点Ｇ_c(k')と点Ｂ_c(k”')との距離が許容値delta以内であるかを表す式（２４）は、次のように書ける。

・・・（２４）

式（２４）を距離の条件式と称する。ここで、Ｄｉｓ［Ｇ_c(k')，Ｂ_c(k”')］は、点Ｇ_c(k')と点Ｂ_c(k”')との間の距離を表す。また、点Ｇ_c(k')と点Ｂ_c(k”')で表される位置は、位置（ｉｇ，ｊｇ）と（ｉｂ，ｊｂ）を、式（１）乃至（３）と同様に、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と（θｋ”'，Ｔｋ”'ｘ，Ｔｋ”'ｙ，Ｓｋ”'）でそれぞれアフィン変換したものである。

演算回路２４は、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）とが、ある許容範囲deltaのマージンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、１枚目画像の座標系における、ある位置（ｘ，ｙ）を中心とする（ｘ±ｄＸ，ｙ±ｄＹ）の近傍領域、つまり、（ｘ−ｄＸ，ｙ−ｄＹ），（ｘ−ｄＸ，ｙ＋ｄＹ），（ｘ＋ｄＸ，ｙ−ｄＹ），および（ｘ＋ｄＸ，ｙ＋ｄＹ）で囲まれる領域について求める。ここで、ｄＸ，ｄＹは、それぞれ、近傍領域を設定する所定の値で、例えば、２画素分のＸ方向とＹ方向の長さなどとすることができる。

逆に言うと、演算回路２４は、１枚目画像の座標系における、ある位置（ｘ，ｙ）を中心とする（ｘ±ｄＸ，ｙ±ｄＹ）の近傍領域、つまり、（ｘ−ｄＸ，ｙ−ｄＹ），（ｘ−ｄＸ，ｙ＋ｄＹ），（ｘ＋ｄＸ，ｙ−ｄＹ），および（ｘ＋ｄＸ，ｙ＋ｄＹ）で囲まれる領域において、上述の式（２４）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）を求める。

そして、演算回路２４は、求められた(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）とを得る。

演算回路２４は、ｋ'，ｋ”'それぞれを１乃至Ｎとしたすべての組み合わせについて、上述の式（２４）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｂ，ｊｂ）とを求める。

一般的には、複数の(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組み合わせが検出されるので、演算回路２４は、検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）を、横軸をＧ信号（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)）、縦軸をＢ信号（Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ））とするようなＧＢ空間にプロットする。

そこで、第２の実施の形態においては、第１実施の形態における式（２０）乃至式（２２）で表される光量積分条件式の他に、さらに、図９の緑色と赤色における場合と同様の色相関が、緑色と青色にもあることを条件として付加する。

即ち、演算回路２４は、ＧＢ空間にプロットされた複数の点である、演算回路２４により検出された画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）との各組について、主成分分析を行う。

そして、演算回路２４は、主成分分析の分析結果である主成分（第１主成分）の方向と直交する成分（例えば、第２主成分）についての分散を求める。さらに、演算回路２４は、位置（ｘ，ｙ）については、ＧＢ空間において主成分の方向と直交する成分の分散の幅を持つ帯状の中に、真の緑色の光量Ｌｇ（ｘ，ｙ）、および真の青色の光量Ｌｂ（ｘ，ｙ）で表される点が存在するという条件式を、色相関の条件として設定する。

従って、演算回路２４において、最終的に得られる真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、および真の青色の光量Ｌｂ（ｘ，ｙ）は、位置（ｘ，ｙ）の真の緑色の光量Ｌｇ（ｘ，ｙ）、および真の赤色の光量Ｌｒ（ｘ，ｙ）で表される点が、ＧＲ空間において、主成分の方向と直交する成分の分散の幅を持つ帯状の中に存在し、かつ、位置（ｘ，ｙ）の真の緑色の光量Ｌｇ（ｘ，ｙ）、および真の青色の光量Ｌｂ（ｘ，ｙ）で表される点が、ＧＢ空間において、主成分の方向と直交する成分の分散の幅を持つ帯状の中に存在するものに制限（制約）される。

なお、本実施の形態では、上述のＧＲ、ＧＢ空間の２つの色相関の条件のみ付加することとするが、同様にして、Ｒ信号とＢ信号との（ＲＢ空間の）色相関の条件についても付加するようにしてもよい。

光量積分条件式と色相関の条件式との両方を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求める方法としては、例えば、第１実施の形態と同様に、ＰＯＣＳ法等を採用することができる。

色相関の条件を付加する位置（ｘ，ｙ）は、全ての位置（ｘ，ｙ）としてもよいし、例えば、ｘ，ｙそれぞれが整数となる格子点の位置のみとしてもよい。

図１０のフローチャートを参照して、図２のステップＳ４における画像推定処理の第２実施の形態について説明する。

ステップＳ３１乃至Ｓ３３では、図６に示した第１実施の形態の画像推定処理のステップＳ１１乃至Ｓ１３とそれぞれ同様の処理が行われる。

即ち、ステップＳ３１において、演算回路２４は、１枚目画像の各画素の画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（９）で表される光量積分条件式を、Ｒｏｂｓ（１，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（１０）で表される光量積分条件式を、Ｂｏｂｓ（１，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（１１）で表される光量積分条件式を生成し、ステップＳ３２に進む。

ステップＳ３２において、演算回路２４は、２枚目画像の各画素の画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（１７）で表される光量積分条件式を、Ｒｏｂｓ（２，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（１８）で表される光量積分条件式を、Ｂｏｂｓ（２，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（１９）で表される光量積分条件式を生成し、ステップＳ３３に進む。ここで、演算回路２４は、２枚目画像の位置を１枚目画像の位置に変換するため、動き検出回路２３−１から供給される変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を使用する。

ステップＳ３３において、演算回路２４は、ｋ枚目（ｋ＝３乃至Ｎ）の画像の各画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対する式（２０）で表される光量積分条件式を、Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対する式（２１）で表される光量積分条件式を、Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対する式（２２）で表される光量積分条件式を生成し、ステップＳ３４に進む。ここで、演算回路２４は、ｋ枚目画像の位置を１枚目画像の位置に変換するため、動き検出回路２３−（ｋ−１）から供給される変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）を使用する。

ステップＳ３４において、演算回路２４は、所定の位置（ｘ，ｙ）に対して、その位置（ｘ，ｙ）の近傍領域において、式（２３）の距離の条件式を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組を求めて、ステップＳ３５に進む。

ステップＳ３５において、演算回路２４は、ステップＳ３４で求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）それぞれの画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)とＲｏｂｓ（ｋ”，ｉｒ，ｊｒ）で表される点を、ＧＲ空間にプロットし、主成分分析を行う。そして、演算回路２４は、主成分分析の分析結果である主成分の方向と直交する成分についての分散を求め、その分散の範囲内に、同一画素のＧ信号とＲ信号が存在するという色相関の条件式をたてて、ステップＳ３５からステップＳ３６に進む。

ステップＳ３６において、演算回路２４は、所定の位置（ｘ，ｙ）に対して、位置（ｘ，ｙ）の近傍領域において、式（２４）の距離の条件式を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組を求めて、ステップＳ３７に進む。

ステップＳ３７において、演算回路２４は、ステップＳ３６で求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）それぞれの画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)とＢｏｂｓ（ｋ”'，ｉｂ，ｊｂ）で表される点を、ＧＢ空間にプロットし、主成分分析を行う。そして、演算回路２４は、主成分分析の分析結果である主成分の方向と直交する成分についての分散を求め、その分散の範囲内に、同一画素のＧ信号とＢ信号が存在するという色相関の条件式をたてて、ステップＳ３７からステップＳ３８に進む。

ステップＳ３８において、演算回路２４は、予め設定されたすべての位置（ｘ，ｙ）について、色相関の条件式を求めたか否かを判定する。ステップＳ３８において、まだ、すべての位置（ｘ，ｙ）について色相関の条件式が求められていないと判定された場合、ステップＳ３４に戻り、演算回路２４は、色相関の条件式が求められていない位置（ｘ，ｙ）に注目（選択）し、ステップＳ３４乃至Ｓ３８の処理を繰り返す。

一方、ステップＳ３８において、すべての位置（ｘ，ｙ）について色相関の条件式が求められたと判定された場合、ステップＳ３９に進み、演算回路２４は、ステップＳ３１乃至Ｓ３３，Ｓ３５，Ｓ３７で求められたすべての条件式を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を演算して、処理を戻る。即ち、演算回路２４は、ステップＳ３１乃至Ｓ３３で求められた光量積分条件式と、ステップＳ３５およびＳ３７で求められた色相関の条件式とのすべてを満たす、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を演算する。

図１１と図１２のフローチャートを参照して、図２のステップＳ４における画像推定処理の第２実施の形態について再度説明する。

ステップＳ５１乃至Ｓ５６は、図７に示した第１実施の形態の画像推定処理のステップＳ２１乃至Ｓ２６とそれぞれ同様である。

即ち、ステップＳ５１において、演算回路２４は、内部に保持する画像の枚数をカウントする変数ｋを１にセットしてステップＳ５２に進む。

ステップＳ５２において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から、すべての（ｉｇ，ｊｇ）に対して式（２０）で表される光量積分条件式を生成し、ステップＳ５３に進む。

ステップＳ５３において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）から、すべての（ｉｒ，ｊｒ）に対して式（２１）で表される光量積分条件式を生成し、ステップＳ５４に進む。

ステップＳ５４において、演算回路２４は、ｋ枚目画像の各画素の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）から、すべての（ｉｂ，ｊｂ）に対して式（２２）で表される光量積分条件式を生成し、ステップＳ５５に進む。

なお、ステップＳ５２乃至Ｓ５４において、光量積分条件式を生成するにあたっては、必要に応じて、動き検出回路２３−１乃至２３−（Ｎ−１）から供給される変換パラメータが用いられる。

ステップＳ５５において、演算回路２４は、内部の変数ｋがフレームメモリ２２−１乃至２２−Ｎから供給される画像の枚数Ｎと等しいか否かを判定する。変数ｋが画像の枚数Ｎと等しくないと判定された場合、演算回路２４は、ステップＳ５６に進み、変数ｋを１だけインクリメントした後、ステップＳ５２に戻る。そして、ステップＳ５２乃至Ｓ５６の処理が繰り返される。

一方、ステップＳ５５において、変数ｋが画像の枚数Ｎと等しいと判定された場合、図１２のステップＳ５７に進む。

ステップＳ５７乃至Ｓ６２は、図１０のステップＳ３４乃至Ｓ３９とそれぞれ同様である。

即ち、ステップＳ５７において、演算回路２４は、所定の位置（ｘ，ｙ）に対して、その位置（ｘ，ｙ）の近傍領域において、式（２３）の距離の条件式を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組を求めて、ステップＳ５８に進む。

ステップＳ５８において、演算回路２４は、ステップＳ５７で求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）それぞれの画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)とＲｏｂｓ（ｋ”，ｉｒ，ｊｒ）で表される点を、ＧＲ空間にプロットし、主成分分析を行う。そして、演算回路２４は、主成分分析の分析結果である主成分の方向と直交する成分についての分散を求め、その分散の範囲内に、同一画素のＧ信号とＲ信号が存在するという色相関の条件式をたてて、ステップＳ５８からステップＳ５９に進む。

ステップＳ５９において、演算回路２４は、所定の位置（ｘ，ｙ）に対して、位置（ｘ，ｙ）の近傍領域において、式（２４）の距離の条件式を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組を求めて、ステップＳ６０に進む。

ステップＳ６０において、演算回路２４は、ステップＳ５９求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）それぞれの画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)とＢｏｂｓ（ｋ”'，ｉｂ，ｊｂ）で表される点を、ＧＢ空間にプロットし、主成分分析を行う。そして、演算回路２４は、主成分分析の分析結果である主成分の方向と直交する成分についての分散を求め、その分散の範囲内に、同一画素のＧ信号とＢ信号が存在するという色相関の条件式をたてて、ステップＳ６０からステップＳ６１に進む。

ステップＳ６１において、演算回路２４は、予め設定されたすべての位置（ｘ，ｙ）について、色相関の条件式を求めたか否かを判定する。ステップＳ６１において、まだ、すべての位置（ｘ，ｙ）について色相関の条件式が求められていないと判定された場合、ステップＳ５７に戻り、演算回路２４は、色相関の条件式が求められていない位置（ｘ，ｙ）に注目（選択）し、ステップＳ５７乃至Ｓ６１の処理を繰り返す。

一方、ステップＳ６１において、すべての位置（ｘ，ｙ）について色相関の条件式が求められたと判定された場合、ステップＳ６２に進み、演算回路２４は、ステップＳ５２乃至Ｓ５４，Ｓ５８，Ｓ６０で求められたすべての条件式を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を演算して、処理を戻る。即ち、演算回路２４は、ステップＳ５２乃至Ｓ５４で求められた光量積分条件式と、ステップＳ５８およびＳ６０で求められた色相関の条件式とのすべてを満たす、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を演算する。

以上のように、第１実施の形態における、ｋ＝１乃至Ｎとする式（２０），（２１），（２２）で表される光量積分条件式の他に、Ｒ信号とＧ信号とＢ信号との間の相関に関する色相関の条件を付加して、それらすべての条件式を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求めることにより、より本来の光に忠実で鮮明な画像を求めることができる。

なお、上述の場合には、２次元の色空間での色相関の条件式を用いたが、３次元の色空間での条件式を用いることも可能である。

(第３実施の形態)
次に、信号処理回路７における、画像推定処理の第３実施の形態について説明する。

第１および第２実施の形態では、撮像素子４の各画素の直上にあるオンチップレンズの特性を正確に定式化（適用）して、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を推定し、鮮明な画像を求めた。

第３実施の形態では、オンチップレンズの効果を無視し、撮像素子４の各画素で受光されるデータ（受光量）は、その画素の、ある１点（例えば、画素の重心）に入射される被写体の光の値（ポイントサンプリングされたデータ）とする。

また、第３実施の形態では、後述するバネモデルを適用した方法を採用する。これにより、第１および第２の実施の形態で用いたＰＯＣＳ法などと比較して、真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求める場合の計算量を軽減することができる。第３実施の形態においても、従来と較べて、より鮮明な画像を推定することができるという、第１および第２実施の形態と同様の効果を得ることができる。

さて、第３実施の形態では、上述したように、各画素に受光されるデータをポイントサンプリングされたデータとして考えることとするので、図３の撮像素子４の各画素のうち、「ｉ番目、ｊ番目の画素」で受光されるデータは、例えば、「ｉ番目、ｊ番目の画素」の中央の位置（座標）（ｉ−０．５，ｊ−０．５）において受光されたものとする。

従って、例えば、１枚目画像の「ｉｇ番目、ｊｇ番目の画素」で得られるデータとしての画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）は、１枚目画像の座標系の位置（ｉｇ−０．５，ｊｇ−０．５）において受光される緑色の光量Ｌｇ（ｉｇ−０．５，ｊｇ−０．５）である。同様に、１枚目画像の「ｉｒ番目、ｊｒ番目の画素」で得られるデータとしての画素値Ｒｏｂｓ（１，ｉｒ，ｊｒ）は、１枚目画像の座標系の位置（ｉｒ−０．５，ｊｒ−０．５）において受光される赤色の光量Ｌｒ（ｉｒ−０．５，ｊｒ−０．５）であり、１枚目画像の「ｉｂ番目、ｊｂ番目の画素」で得られるデータとしての画素値Ｂｏｂｓ（１，ｉｂ，ｊｂ）は、１枚目画像の座標系の位置（ｉｂ−０．５，ｊｂ−０．５）において受光される青色の光量Ｌｂ（ｉｂ−０．５，ｊｂ−０．５）である。

図１３は、フレームメモリ２２−１に記憶されている１枚目画像を示している。

図１３において、緑色の成分を受光する画素Ｇ（ｊｇ−１）（ｉｇ−１）については、黒丸で示される位置に、画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）が観測される。赤色の成分を受光する画素Ｒ（ｊｒ−１）（ｉｒ−１）については、黒四角で示される位置に、画素値Ｒｏｂｓ（１，ｉｒ，ｊｒ）が観測される。青色の成分を受光する画素Ｂ（ｊｂ−１）（ｉｂ−１）については、黒三角で示される位置に、画素値Ｂｏｂｓ（１，ｉｂ，ｊｂ）が観測される。以上のように、１枚目画像の画素値は、１枚目画像の座標系上の各画素の中央部（重心）、即ち、ｉ番目、ｊ番目の画素では（ｉ−０．５，ｊ−０．５）の位置において観測される。

図１４は、フレームメモリ２２−２に記憶されている２枚目画像を示している。

図１４において、緑色の成分を受光する画素Ｇ（ｊｇ−１）（ｉｇ−１）については、黒丸で示される位置に、画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）が観測される。赤色の成分を受光する画素Ｒ（ｊｒ−１）（ｉｒ−１）については、黒四角で示される位置に、画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）が観測される。青色の成分を受光する画素Ｂ（ｊｂ−１）（ｉｂ−１）については、黒三角で示される位置に、画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）が観測される。以上のように、２枚目画像の画素値は、２枚目画像の座標系上の各画素の中央部（重心）、即ち、ｉ番目、ｊ番目の画素では（ｉ−０．５，ｊ−０．５）の位置において観測される。

２枚目画像上の点を、第１および第２実施の形態と同様に、１枚目画像の座標系を基準として考える。２枚目画像上の点は、動き検出回路２３−１により検出された変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）を用いて１枚目画像の座標系上の点に変換することができる。

図１４には、その１枚目画像の座標系に変換された２枚目画像上の点の画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）、画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）、画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）も示されている。

即ち、２枚目画像の座標系の画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）は、２枚目画像の座標系上の位置（ｉｇ−０．５，ｊｇ−０．５）を動き検出回路２３−１により検出された変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換した１枚目画像の座標系上の位置（（ｉｇ−０．５）₍₂₎，（ｊｇ−０．５）₍₂₎）で観測される緑色の光量Ｌｇ（ｘ，ｙ）である。図１４では、画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）が観測される１枚目画像の座標系上の位置（（ｉｇ−０．５）₍₂₎，（ｊｇ−０．５）₍₂₎）が、白丸で示されている。

また、２枚目画像の座標系の画素Ｒ（ｊｒ−１）（ｉｒ−１）の画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）は、２枚目画像の座標系上の位置（ｉｒ−０．５，ｊｒ−０．５）を動き検出回路２３−１により検出された変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換した１枚目画像の座標系上の位置（（ｉｒ−０．５）₍₂₎，（ｊｒ−０．５）₍₂₎）で観測される赤色の光量Ｌｒ（ｘ，ｙ）である。図１４では、画素値Ｒｏｂｓ（２，ｉｒ，ｊｒ）が観測される１枚目画像の座標系上の位置（（ｉｒ−０．５）₍₂₎，（ｊｒ−０．５）₍₂₎）が、白四角で示されている。

さらに、２枚目画像の座標系の画素Ｂ（ｊｂ−１）（ｉｂ−１）の画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）は、２枚目画像の座標系上の位置（ｉｂ−０．５，ｊｂ−０．５）を動き検出回路２３−１により検出された変換パラメータ（θ２，Ｔ２ｘ，Ｔ２ｙ，Ｓ２）により変換した１枚目画像の座標系上の位置（（ｉｂ−０．５）₍₂₎，（ｊｂ−０．５）₍₂₎）で観測される青色の光量Ｌｂ（ｘ，ｙ）である。図１４では、画素値Ｂｏｂｓ（２，ｉｂ，ｊｂ）が観測される１枚目画像の座標系上の位置（（ｉｂ−０．５）₍₂₎，（ｊｂ−０．５）₍₂₎）が、白三角で示されている。

図１５は、フレームメモリ２２−３に記憶されている３枚目画像を示している。

図１５において、緑色の成分を受光する画素Ｇ（ｊｇ−１）（ｉｇ−１）については、黒丸で示される位置に、画素値Ｇｏｂｓ（３，ｉｇ，ｊｇ）が観測される。赤色の成分を受光する画素Ｒ（ｊｒ−１）（ｉｒ−１）については、黒四角で示される位置に、画素値Ｒｏｂｓ（３，ｉｒ，ｊｒ）が観測される。青色の成分を受光する画素Ｂ（ｊｂ−１）（ｉｂ−１）については、黒三角で示される位置に、画素値Ｂｏｂｓ（３，ｉｂ，ｊｂ）が観測される。以上のように、３枚目画像の画素値は、３枚目画像の座標系上の各画素の中央部（重心）、即ち、ｉ番目、ｊ番目の画素では（ｉ−０．５，ｊ−０．５）の位置において観測される。

３枚目画像上の点を、第１および第２実施の形態と同様に、１枚目画像の座標系を基準として考える。３枚目画像上の点は、動き検出回路２３−２により検出された変換パラメータ（θ３，Ｔ３ｘ，Ｔ３ｙ，Ｓ３）を用いて１枚目画像の座標系上の点に変換することができる。

図１５には、その１枚目画像の座標系に変換された３枚目画像上の点の画素値Ｇｏｂｓ（３，ｉｇ，ｊｇ）、画素値Ｒｏｂｓ（３，ｉｒ，ｊｒ）、画素値Ｂｏｂｓ（３，ｉｂ，ｊｂ）も示されている。

即ち、３枚目画像の座標系の画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素値Ｇｏｂｓ（３，ｉｇ，ｊｇ）は、３枚目画像の座標系上の位置（ｉｇ−０．５，ｊｇ−０．５）を動き検出回路２３−２により検出された変換パラメータ（θ３，Ｔ３ｘ，Ｔ３ｙ，Ｓ３）により変換した１枚目画像の座標系上の位置（（ｉｇ−０．５）₍₃₎，（ｊｇ−０．５）₍₃₎）で観測される緑色の光量Ｌｇ（ｘ，ｙ）である。図１５では、画素値Ｇｏｂｓ（３，ｉｇ，ｊｇ）が観測される１枚目画像の座標系上の位置（（ｉｇ−０．５）₍₃₎，（ｊｇ−０．５）₍₃₎）が、白丸で示されている。

また、３枚目画像の座標系の画素Ｒ（ｊｒ−１）（ｉｒ−１）の画素値Ｒｏｂｓ（３，ｉｒ，ｊｒ）は、３枚目画像の座標系上の位置（ｉｒ−０．５，ｊｒ−０．５）を動き検出回路２３−２により検出された変換パラメータ（θ３，Ｔ３ｘ，Ｔ３ｙ，Ｓ３）により変換した１枚目画像の座標系上の位置（（ｉｒ−０．５）₍₃₎，（ｊｒ−０．５）₍₃₎）で観測される赤色の光量Ｌｒ（ｘ，ｙ）である。図１５では、画素値Ｒｏｂｓ（３，ｉｒ，ｊｒ）が観測される１枚目画像の座標系上の位置（（ｉｒ−０．５）₍₃₎，（ｊｒ−０．５）₍₃₎）が、白四角で示されている。

さらに、３枚目画像の座標系の画素Ｂ（ｊｂ−１）（ｉｂ−１）の画素値Ｂｏｂｓ（３，ｉｂ，ｊｂ）は、３枚目画像の座標系上の位置（ｉｂ−０．５，ｊｂ−０．５）を動き検出回路２３−２により検出された変換パラメータ（θ３，Ｔ３ｘ，Ｔ３ｙ，Ｓ３）により変換した１枚目画像の座標系上の位置（（ｉｂ−０．５）₍₃₎，（ｊｂ−０．５）₍₃₎）で観測される青色の光量Ｌｂ（ｘ，ｙ）である。図１５では、画素値Ｂｏｂｓ（３，ｉｂ，ｊｂ）が観測される１枚目画像の座標系上の位置（（ｉｂ−０．５）₍₃₎，（ｊｂ−０．５）₍₃₎）が、白三角で示されている。

図１６は、１乃至Ｎ枚目の撮像画像の画素のうちの緑色の成分を受光する所定の画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）乃至Ｇｏｂｓ（Ｎ，ｉｇ，ｊｇ）が観測される１枚目画像の座標系上の位置を示している。

図１６では、１枚目画像の座標系上のｉｇ番目、ｊｇ番目の画素Ｇ（ｊｇ−１）（ｉｇ−１）の中心位置（画素中心）において１枚目画像の画素値Ｇｏｂｓ（１，ｉｇ，ｊｇ）が観測されている。また、画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素中心の左上側に、位置が１枚目画像の座標系上に変換された２枚目画像の画素値Ｇｏｂｓ（２，ｉｇ，ｊｇ）が観測されている。さらに、画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素中心の左下側に、位置が１枚目画像の座標系上に変換された３枚目画像の画素値Ｇｏｂｓ（３，ｉｇ，ｊｇ）が観測されている。また、画素Ｇ（ｊｇ−１）（ｉｇ−１）の画素中心の右上側に、位置が１枚目画像の座標系上に変換された４枚目画像の画素値Ｇｏｂｓ（４，ｉｇ，ｊｇ）が観測されている。なお、５乃至Ｎ枚目画像の画素値Ｇｏｂｓ（ｋ，ｉｇ₎，ｊｇ）（ｋ＝５乃至Ｎ）の図示は、省略されている。

第３実施の形態では、演算回路２４は、１乃至Ｎ枚目画像の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）（ｋ＝１乃至Ｎ）に基づいて、１枚目画像の座標系上の位置（ｉｇ−０．５，ｊｇ−０．５）の真の緑色の光量Ｌｇ（ｉｇ−０．５，ｊｇ−０．５）を求める。

ここで、基準画像である１枚目画像の座標系上において、ｉ番目、ｊ番目の画素の中心位置（ｉ−０．５，ｊ−０．５）を（Ｉ'，Ｊ'）と表すことにする。即ち、Ｉ'＝ｉ−０．５，Ｊ'＝ｊ−０．５とする。求めるべき真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を用いたＬｇ（ｉｇ−０．５，ｊｇ−０．５）で表すことができる。同様に、求めるべき真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）は、赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を用いたＬｒ（ｉｒ−０．５，ｊｒ−０．５）で表すことができ、求めるべき真の青色の光量Ｌｂ（Ｉ'，Ｊ'）は、青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を用いたＬｂ（ｉｂ−０．５，ｊｂ−０．５）で表すことができる。

図１７は、演算回路２４が、鮮明な画像の画像信号として求めるべき真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）の位置を１枚目画像の座標系上に示したものである。

即ち、図１７では、１枚目画像の座標系上の撮像素子４の各画素の中心位置（Ｉ'，Ｊ'）が、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めるべき位置として黒丸で示されている。

図１８乃至図２３を参照し、緑色の成分を受光する画素に注目して、バネモデルについて説明する。図１８以降においては、求めるべき真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）の１枚目画像の座標系上の位置（Ｉ'，Ｊ'）を黒丸で、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ），Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ），Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）（ｋ＝１乃至Ｎ）が観測された１枚目画像の座標系上の位置を白丸で表すものとする。また、以下、適宜、基準画像である１枚目画像の座標系を基準座標系という。

図１８の点Ａの位置（ｘ，ｙ）は、ｋ枚目画像のｉｇ番目、ｊｇ番目の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された位置（ｉｇ−０．５，ｊｇ−０．５）を、動き検出回路２３−（ｋ−１）により検出された変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（（ｉｇ−０．５）_(k)，（ｊｇ−０．５）_(k)）を表している。ｋ＝１の場合は、（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）＝（０，０，０，１）とみなすことができるので、（ｘ，ｙ）＝（ｉｇ−０．５，ｊｇ−０．５）となる。なお、点Ａ（ｘ，ｙ）の画素値は、Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）である。

ここで、点Ａ（ｘ，ｙ）に対して、Ｉ−０．５≦ｘ＜Ｉ＋０．５，Ｊ−０．５≦ｙ＜Ｊ＋０．５を満たす整数Ｉ，Ｊを考えることにする。このときの（Ｉ±０．５，Ｊ±０．５）で囲まれる領域の四隅の各位置、即ち、（Ｉ−０．５，Ｊ−０．５），（Ｉ−０．５，Ｊ＋０．５），（Ｉ＋０．５，Ｊ−０．５），（Ｉ＋０．５，Ｊ＋０．５）の位置は、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める各位置（Ｉ'，Ｊ'）となる。

いま、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）は、点Ａ（ｘ，ｙ）に近い（Ｉ−０．５，Ｊ−０．５），（Ｉ−０．５，Ｊ＋０．５），（Ｉ＋０．５，Ｊ−０．５），（Ｉ＋０．５，Ｊ＋０．５）の位置それぞれにおける真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）それぞれとほぼ等しいとみなすことができる。即ち、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）は、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似することができる。

ところで、点Ａ（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、第１および第２実施の形態で説明したように、誤差（ノイズ量）Ｍｋ×Ｅが含まれる。さらに、ここでは、（Ｉ−０．５，Ｊ−０．５），（Ｉ−０．５，Ｊ＋０．５），（Ｉ＋０．５，Ｊ−０．５），（Ｉ＋０．５，Ｊ＋０．５）の位置それぞれにおける真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）を、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したことによる誤差（以下、適宜、近似誤差と称する）が生ずる。

ここで、例えば、位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）を点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似することは、バネを用いたモデルであるバネモデルに当てはめることができる。

図１９は、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）を近似した状態を表すバネモデルの概念的な図である。

図１９では、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）とが、バネＢＡ１の一端と他端とにそれぞれ接続され、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が引っ張られようとしている状態を示している。図１９のバネモデルでは、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）であることが確からしいほど、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引き寄せられ、逆に、その確からしさの程度が低いほど、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から遠ざかる。

ここで、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）を近似したことによる近似誤差は、点Ａ（ｘ，ｙ）と位置（Ｉ−０．５，Ｊ−０．５）との間の距離が長くなるほど大きくなる。そこで、点（ｘ１，ｙ１）と点（ｘ２，ｙ２）との距離が大となると関数値が増加する増加関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））を導入する。関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））としては、例えば、
Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））＝√｛（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²｝
などを採用することができる。

また、上述したように、点Ａ（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、誤差としてのノイズ量Ｅ×Ｍｋが含まれる。

画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）とが等価（同一）であることの確からしさ、即ち、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）を画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したときの近似精度は、上述の近似誤差とノイズ量Ｅ×Ｍｋの増加または減少に応じて、それぞれ減少または増加する。従って、近似精度（確からしさ）は、例えば、
Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））
の値に対して減少する（反比例する）。即ち、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に等しいことの確からしさは、「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））」の値が小さければ、大であり、また「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））」の値が大きければ、小であるといえる。

いま、この画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が等価であることの確からしさをバネＢＡ１のバネ定数（バネの強さ）で表すことにすると、バネ定数は、例えば、式
｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））｝／（Ｍｋ×Ｅ）
で表すことができる。ここで、分母の（Ｍｋ×Ｅ）は、ノイズ量ＥのＭｋ倍であり、ノイズが大となるほどバネＢＡ１は弱くなって、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、バネＢＡ１によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））｝は、図１８の（Ｉ±０．５，Ｊ±０．５）で囲まれる領域内の任意の２点の距離の最大値である√（１²＋１²）＝√２から、点Ａと（Ｉ−０．５，Ｊ−０．５）との距離Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））を引いた値（差分）であり、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された位置Ａ（ｘ，ｙ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）を求める位置（Ｉ−０．５，Ｊ−０．５）との距離が大きくなるほど、√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））は小さくなって、バネＢＡ１は弱くなる。従って、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、バネＢＡ１によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。なお、バネ定数において、分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））｝の代わりに、Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））の逆数などを用いることもできる。

バネモデルにおいて、バネＢＡ１は、自然長（無負荷の状態でのバネＢＡ１の長さ）が０のバネであるとする。この場合、バネＢＡ１の長さ（伸び）は、光量（画素値）の軸方向を距離として、
｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ−０．５，Ｊ−０．５）｜
と表すことができ、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）が、バネＢＡ１によって点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引っ張られる力は、バネ定数×バネの長さ＝｛｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ−０．５））｝／（Ｍｋ×Ｅ）｝×｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ−０．５，Ｊ−０．５）｜と表すことができる。

図２０は、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、（Ｉ−０．５，Ｊ−０．５），（Ｉ−０．５，Ｊ＋０．５），（Ｉ＋０．５，Ｊ−０．５），（Ｉ＋０．５，Ｊ＋０．５）の位置における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）それぞれとの関係を表すバネモデルを概念的に表した図である。

図１９で説明した点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）との関係を表すバネモデルと同様に、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）それぞれについても、点Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の関係を、バネモデルで表すことができる。

即ち、図２０では、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）とが、バネＢＡ２の一端と他端とにそれぞれ接続され、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が引っ張られようとしている状態を示している。図２０のバネモデルでは、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）であることが確からしいほど、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引き寄せられ、逆に、その確からしさの程度が低いほど、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から遠ざかる。

ここで、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）を近似したことによる近似誤差は、点Ａ（ｘ，ｙ）と位置（Ｉ−０．５，Ｊ＋０．５）との間の距離が長くなるほど大きくなる。そこで、点（ｘ１，ｙ１）と点（ｘ２，ｙ２）との距離が大となると関数値が増加する増加関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））を導入する。関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））としては、例えば、
Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））＝√｛（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²｝
などを採用することができる。

また、上述したように、点Ａ（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、誤差としてのノイズ量Ｅ×Ｍｋが含まれる。

画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）とが等価（同一）であることの確からしさ、即ち、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）を画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したときの近似精度は、上述の近似誤差とノイズ量Ｅ×Ｍｋの増加または減少に応じて、それぞれ減少または増加する。従って、近似精度（確からしさ）は、例えば、
Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））
の値に対して減少する（反比例する）。即ち、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に等しいことの確からしさは、「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））」の値が小さければ、大であり、また「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））」の値が大きければ、小であるといえる。

いま、この画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が等価であることの確からしさをバネＢＡ２のバネ定数（バネの強さ）で表すことにすると、バネ定数は、例えば、式
｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））｝／（Ｍｋ×Ｅ）
で表すことができる。ここで、分母の（Ｍｋ×Ｅ）は、ノイズ量ＥのＭｋ倍であり、ノイズが大となるほどバネＢＡ２は弱くなって、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、バネＢＡ２によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））｝は、図１８の（Ｉ±０．５，Ｊ±０．５）で囲まれる領域内の任意の２点の距離の最大値である√（１²＋１²）＝√２から、点Ａと（Ｉ−０．５，Ｊ＋０．５）との距離Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））を引いた値（差分）であり、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された位置Ａ（ｘ，ｙ）と真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）を求める位置（Ｉ−０．５，Ｊ＋０．５）との距離が大きくなるほど、√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））は小さくなって、バネＢＡ２は弱くなる。従って、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、バネＢＡ２によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。なお、バネ定数において、分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））｝の代わりに、Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））の逆数などを用いることもできる。

バネモデルにおいて、バネＢＡ２は、自然長（無負荷の状態でのバネＢＡ２の長さ）が０のバネであるとする。この場合、バネＢＡ２の長さ（伸び）は、光量（画素値）の軸方向を距離として、
｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ−０．５，Ｊ＋０．５）｜
と表すことができ、真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）が、バネＢＡ２によって点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引っ張られる力は、バネ定数×バネの長さ＝｛｛√２−Ｆ（（ｘ，ｙ），（Ｉ−０．５，Ｊ＋０．５））｝／（Ｍｋ×Ｅ）｝×｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ−０．５，Ｊ＋０．５）｜と表すことができる。

また、図２０では、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）とが、バネＢＡ３の一端と他端とにそれぞれ接続され、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が引っ張られようとしている状態を示している。図２０のバネモデルでは、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）であることが確からしいほど、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引き寄せられ、逆に、その確からしさの程度が低いほど、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から遠ざかる。

ここで、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）を近似したことによる近似誤差は、点Ａ（ｘ，ｙ）と位置（Ｉ＋０．５，Ｊ−０．５）との間の距離が長くなるほど大きくなる。そこで、点（ｘ１，ｙ１）と点（ｘ２，ｙ２）との距離が大となると関数値が増加する増加関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））を導入する。関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））としては、例えば、
Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））＝√｛（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²｝
などを採用することができる。

また、上述したように、点Ａ（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、誤差としてのノイズ量Ｅ×Ｍｋが含まれる。

画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）とが等価（同一）であることの確からしさ、即ち、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）を画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したときの近似精度は、上述の近似誤差とノイズ量Ｅ×Ｍｋの増加または減少に応じて、それぞれ減少または増加する。従って、近似精度（確からしさ）は、例えば、
Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））
の値に対して減少する（反比例する）。即ち、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に等しいことの確からしさは、「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））」の値が小さければ、大であり、また「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））」の値が大きければ、小であるといえる。

いま、この画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が等価であることの確からしさをバネＢＡ３のバネ定数（バネの強さ）で表すことにすると、バネ定数は、例えば、式
｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））｝／（Ｍｋ×Ｅ）
で表すことができる。ここで、分母の（Ｍｋ×Ｅ）は、ノイズ量ＥのＭｋ倍であり、ノイズが大となるほどバネＢＡ３は弱くなって、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、バネＢＡ３によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））｝は、図１８の（Ｉ±０．５，Ｊ±０．５）で囲まれる領域内の任意の２点の距離の最大値である√（１²＋１²）＝√２から、点Ａと（Ｉ＋０．５，Ｊ−０．５）との距離Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））を引いた値（差分）であり、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された位置Ａ（ｘ，ｙ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）を求める位置（Ｉ＋０．５，Ｊ−０．５）との距離が大きくなるほど、√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））は小さくなって、バネＢＡ３は弱くなる。従って、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、バネＢＡ３によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。なお、バネ定数において、分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））｝の代わりに、Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））の逆数などを用いることもできる。

バネモデルにおいて、バネＢＡ３は、自然長（無負荷の状態でのバネＢＡ３の長さ）が０のバネであるとする。この場合、バネＢＡ３の長さ（伸び）は、光量（画素値）の軸方向を距離として、
｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ＋０．５，Ｊ−０．５）｜
と表すことができ、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）が、バネＢＡ３によって点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引っ張られる力は、バネ定数×バネの長さ＝｛｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ−０．５））｝／（Ｍｋ×Ｅ）｝×｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ＋０．５，Ｊ−０．５）｜と表すことができる。

さらに、図２０では、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）とが、バネＢＡ４の一端と他端とにそれぞれ接続され、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が引っ張られようとしている状態を示している。図２０のバネモデルでは、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）であることが確からしいほど、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引き寄せられ、逆に、その確からしさの程度が低いほど、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）から遠ざかる。

ここで、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）を近似したことによる近似誤差は、点Ａ（ｘ，ｙ）と位置（Ｉ＋０．５，Ｊ＋０．５）との間の距離が長くなるほど大きくなる。そこで、点（ｘ１，ｙ１）と点（ｘ２，ｙ２）との距離が大となると関数値が増加する増加関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））を導入する。関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））としては、例えば、
Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））＝√｛（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²｝
などを採用することができる。

また、上述したように、点Ａ（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、誤差としてのノイズ量Ｅ×Ｍｋが含まれる。

画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）とが等価（同一）であることの確からしさ、即ち、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）を画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したときの近似精度は、上述の近似誤差とノイズ量Ｅ×Ｍｋの増加または減少に応じて、それぞれ減少または増加する。従って、近似精度（確からしさ）は、例えば、
Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））
の値に対して減少する（反比例する）。即ち、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に等しいことの確からしさは、「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））」の値が小さければ、大であり、また「Ｍｋ×Ｅ×Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））」の値が大きければ、小であるといえる。

いま、この画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が等価であることの確からしさをバネＢＡ４のバネ定数（バネの強さ）で表すことにすると、バネ定数は、例えば、式
｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））｝／（Ｍｋ×Ｅ）
で表すことができる。ここで、分母の（Ｍｋ×Ｅ）は、ノイズ量ＥのＭｋ倍であり、ノイズが大となるほどバネＢＡ４は弱くなって、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、バネＢＡ４によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））｝は、図１８の（Ｉ±０．５，Ｊ±０．５）で囲まれる領域内の任意の２点の距離の最大値である√（１²＋１²）＝√２から、点Ａと（Ｉ＋０．５，Ｊ＋０．５）との距離Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））を引いた値（差分）であり、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された位置Ａ（ｘ，ｙ）と真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）を求める位置（Ｉ＋０．５，Ｊ＋０．５）との距離が大きくなるほど、√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））は小さくなって、バネＢＡ４は弱くなる。従って、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、バネＢＡ４によって点Ａの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側へ引っ張られる力は小さくなる。なお、バネ定数において、分子の｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））｝の代わりに、Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））の逆数などを用いることもできる。

バネモデルにおいて、バネＢＡ４は、自然長（無負荷の状態でのバネＢＡ４の長さ）が０のバネであるとする。この場合、バネＢＡ４の長さ（伸び）は、光量（画素値）の軸方向を距離として、
｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）｜
と表すことができ、真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）が、バネＢＡ４によって点Ａ（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に引っ張られる力は、バネ定数×バネの長さ＝｛｛√２−Ｆ（（ｘ，ｙ），（Ｉ＋０．５，Ｊ＋０．５））｝／（Ｍｋ×Ｅ）｝×｜Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）−Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）｜と表すことができる。

以上では、基準座標系上の任意の位置Ａ（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に注目して、その位置Ａ（ｘ，ｙ）の周辺、即ち、式Ｉ−０．５≦ｘ＜Ｉ＋０．５と式Ｊ−０．５≦ｙ＜Ｊ＋０．５を満たす整数Ｉ，Ｊで表される任意の真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）との関係を、バネモデルで表したが、今度は、基準座標系上の画素中心となる位置（Ｉ'，Ｊ'）に注目して、その位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）と、その周辺で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との関係をバネモデルで表すことにする。

位置（Ｉ'，Ｊ'）は、そのＩ'，Ｊ'の小数点以下が０．５である各画素の中心位置であるから、例えば、図２０において黒丸で示される（Ｉ−０．５，Ｊ−０．５）等が、位置（I'，J'）となる。

図２０に示したように、点Ａ（ｘ，ｙ）については、その周辺の４つの真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５），Ｌｇ（Ｉ−０．５，Ｊ＋０．５），Ｌｇ（Ｉ＋０．５，Ｊ−０．５），Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）との間に、バネモデルを定義することができる。さらに、点Ａ（ｘ，ｙ）以外の１乃至Ｎ枚目の撮像画像の各画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測される点についても、それぞれ同様に、４つのバネモデルを定義することができる。従って、位置（I'，J'）に注目すると、図２１に示すように、位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）に対して、その周辺にある、例えば、点Ａ乃至点Ｅそれぞれで観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とのバネモデルが定義されることになる。

即ち、ある位置（I'，J'）に対して、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす整数ｋ，ｉｇ，ｊｇの組をすべて求める。例えば、いま、図２１に示すように、位置（I'，J'）に対して、点Ａ乃至点Ｅで観測された５つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を特定する（ｋ，ｉｇ，ｊｇ）の組が得られたとする。

この場合、図２２に示すように、点Ａ乃至点Ｅで観測された５つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）それぞれと、位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）との関係を表すバネモデルを定義することができる。即ち、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるべき位置（I'，J'）について、その真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）と、観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との関係を、バネモデルで表すことができる。

図２３は、位置（I'，J'）に注目したバネモデルによって、その位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を推定する推定方法を説明する図である。なお、図２３における軸は、緑色の光量（Ｇ信号）を表す。

図２３では、質量が０の物体Ｖが、５つのバネそれぞれの一端に繋がっており、５つのバネの他端は、点Ａ乃至点Ｅの５つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）それぞれに接続されている。即ち、点Ａ乃至点Ｅの５つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）は、図２２のある位置（I'，J'）に対して、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組に対応する画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）である。

また、この５つのバネの自然長は０で、点（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に他端が接続されているバネのバネ定数は、上述したように、
｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝／（Ｍｋ×Ｅ）である。

上述の５つのバネそれぞれは、そのバネ定数に比例する力で、５つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）側に物体Ｖを引っ張り合っており、ある位置でつり合うこととなる。その位置を表す光量が、位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）として推定される。このバネのつり合いは、物体Ｖにかかる力の総和が０であることを表す次式によって表すことができる。

・・・（２５）

以下において、式（２５）を緑色の光量のバネ関係式と称する。ここで、式（２５）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組の個数分の和を表す。例えば、図２３の例では、点Ａ乃至点Ｅの５個の（ｋ，ｉｇ，ｊｇ）の組についての和となる。

式（２５）は、Ｌｇ（Ｉ'，Ｊ'）を未知数とする一次方程式であり、式（２５）を解くことにより、位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

位置（I'，J'）における、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）と、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）についても、図１８乃至図２３で説明した緑色の成分を受光する画素の場合と同様に、式（２５）と同様の式（２６）と式（２７）の一次方程式をたてることができる。

・・・（２６）

以下において、式（２６）を赤色の光量のバネ関係式と称する。ここで、式（２６）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組の個数分の和を表す。

・・・（２７）

以下において、式（２７）を青色の光量のバネ関係式と称する。ここで、式（２７）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組の個数分の和を表す。

従って、第３実施の形態では、ある位置（I'，J'）に対して、位置（ｉ−０．５，ｊ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（補正位置）（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組の画素値に基づいて、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）が求められる。

次に、図２４のフローチャートを参照して、図２のステップＳ４における画像推定処理の第３実施の形態について説明する。

初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある位置（Ｉ'，Ｊ'）に注目する（以下、注目位置（Ｉ'，Ｊ'）と称する）。ここで、注目位置（Ｉ'，Ｊ'）は、基準画像である１枚目の撮像画像の「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。

そして、ステップＳ７１からＳ７２に進み、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ７３に進む。

ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて、式（２５）で表される緑色の光量のバネ関係式を生成して、ステップＳ７４に進む。

ステップＳ７４において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ７５に進む。

ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（ｋ，ｉｒ，ｊｒ）の組を用いて、式（２６）で表される赤色の光量のバネ関係式を生成して、ステップＳ７６に進む。

ステップＳ７６において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ７７に進む。

ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（ｋ，ｉｂ，ｊｂ）の組を用いて、式（２７）で表される青色の光量のバネ関係式を生成して、ステップＳ７８に進む。

ステップＳ７８において、演算回路２４は、ステップＳ７３で求めた式（２５）で表される緑色の光量のバネ関係式、ステップＳ７５で求めた式（２６）で表される赤色の光量のバネ関係式、ステップＳ７７で求めた式（２７）で表される青色の光量のバネ関係式を、一次方程式として解くことにより、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求め、ステップＳ７９に進む。

ステップＳ７９において、演算回路２４は、すべての位置（Ｉ'，Ｊ'）を注目位置としたか、即ち、１枚目の撮像画像の画素の中心位置のすべてを注目位置（Ｉ'，Ｊ'）として、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めたか否かを判定する。

ステップＳ７９で、すべての位置（Ｉ'，Ｊ'）をまだ注目位置として求めていないと判定された場合、ステップＳ７１に戻り、ステップＳ７１乃至Ｓ７９の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（Ｉ'，Ｊ'）を次の注目位置（Ｉ'，Ｊ'）として、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求める。

一方、ステップＳ７９で、すべての位置（Ｉ'，Ｊ'）を注目位置としたと判定された場合、ステップＳ８０に進み、演算回路２４は、ステップＳ７８で求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、画像（信号）を推定し、D/Aコンバータ９またはコーデック１２に出力画像として供給し、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ７８で求めた真の緑色の光量Ｌｇ（ｉ−０．５，ｊ−０．５）と、赤色の値（Ｒ信号）としてステップＳ７８で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）と、青色の値（Ｂ信号）としてステップＳ７８で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する（得る）。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）を中心位置とする画素すべてについて行うことにより、出力画像を推定する。

以上のように、第３実施の形態では、撮像素子４の各画素で受光されるデータをポイントサンプリングされたデータとして捉え、各画素中心で観測された画素値とカメラブレのない鮮明な画像としての画像信号との関係をバネモデルで表すことにより、より本来の光に忠実で鮮明な画像を求めることができる。

(第４実施の形態)
次に、画像推定処理の第４実施の形態について説明する。第４実施の形態は、図２４で説明した第３実施の形態の一部を改良したものである。

即ち、図２４の第３実施の形態においては、ステップＳ７２において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求める。そして、ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて、式（２５）で表される緑色の光量のバネ関係式を生成する。また、赤色や青色の成分を受光する画素についても、同様に、注目位置（Ｉ'，Ｊ'）に対して、（ｋ，ｉｇ，ｊｇ）の組を求め、その求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて式（２６）や式（２７）で表されるバネ関係式を生成する。

ところで、１乃至Ｎ枚の画像のうちの特定の画像の、特定の画素のデータが、例えば、撮影ミスなどにより、信頼性のないデータとなってしまう場合がある。図１のデジタルカメラ１では、Ｎ枚の画像が撮像され、フレームメモリ２２に記憶されている。従って、信頼性のないデータを採用しないようにしたとしても、十分なデータを確保することができる。

そこで、第４実施の形態は、信頼性のあるデータのみを採用し（信頼性のないデータを破棄し）、より鮮明な画像を推定するようにするものである。そのため、第４実施の形態では、注目位置（Ｉ'，Ｊ'）に対して、求めたすべての（ｋ，ｉｇ，ｊｇ）の組の中から、信頼性のあるデータとして、予め設定されたＬ個の（ｋ，ｉｇ，ｊｇ）の組を採用するものとする。ここで、Ｌは、例えば、８個などの固定の値とすることもできるし、ユーザの操作に応じて設定される可変の値とすることもできる。演算回路２４は、求めたすべての（ｋ，ｉｇ，ｊｇ）の組の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値を求め、（ｋ，ｉｇ，ｊｇ）の組を、その画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値に近い順にＬ個（Ｌ＝８）だけ選択し、位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるのに採用する。

従って、第３実施の形態において、式（２５），式（２６），および式（２７）で表される緑色、赤色、および青色の光量のバネ関係式は、第４実施の形態では、それぞれ式（２８），式（２９），および式（３０）のように表すことができる。

・・・（２８）

ここで、式（２８）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、求めたすべての（ｋ，ｉｇ，ｊｇ）の組の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値を求め、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が平均値に近い順のＬ個の（ｋ，ｉｇ，ｊｇ）の組の和を表す。

・・・（２９）

ここで、式（２９）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、求めたすべての（ｋ，ｉｒ，ｊｒ）の組の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の平均値を求め、画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が平均値に近い順のＬ個の（ｋ，ｉｒ，ｊｒ）の組の和を表す。

・・・（３０）

ここで、式（３０）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、求めたすべての（ｋ，ｉｂ，ｊｂ）の組の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）の平均値を求め、画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）が平均値に近い順のＬ個の（ｋ，ｉｂ，ｊｂ）の組の和を表す。

図２５のフローチャートを参照して、図２のステップＳ４における画像推定処理の第４実施の形態について説明する。

初めに、ステップＳ９１において、演算回路２４は、基準座標系上のある位置（Ｉ'，Ｊ'）に注目する（以下、注目位置（Ｉ'，Ｊ'）と称する）。ここで、注目位置（Ｉ'，Ｊ'）は、基準画像である１枚目の撮像画像の「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。

そして、ステップＳ９１からＳ９２に進み、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ９３に進む。

ステップＳ９３において、演算回路２４は、ステップＳ９２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値を求め、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が平均値に近い順のＬ個の（ｋ，ｉｇ，ｊｇ）の組を選択し、ステップＳ９４に進む。即ち、ステップＳ９３では、ステップＳ９２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値から遠いものが、信頼性のないデータとして破棄される。なお、ステップＳ９２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｇ，ｊｇ）の組が選択される（破棄されない）。

ステップＳ９４において、演算回路２４は、ステップＳ９３で選択したＬ個の（ｋ，ｉｇ，ｊｇ）の組を用いて、式（２８）で表される緑色の光量のバネ関係式を生成して、ステップＳ９５に進む。

ステップＳ９５において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ９６に進む。

ステップＳ９６において、演算回路２４は、ステップＳ９６で求めたすべての（ｋ，ｉｒ，ｊｒ）の組における画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の平均値を求め、画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が平均値に近い順のＬ個の（ｋ，ｉｒ，ｊｒ）の組を選択し、ステップＳ９７に進む。即ち、ステップＳ９６では、ステップＳ９５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組における画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の平均値から遠いものが、信頼性のないデータとして破棄される。なお、ステップＳ９５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｒ，ｊｒ）の組が選択される（破棄されない）。

ステップＳ９７において、演算回路２４は、ステップＳ９６で選択したＬ個の（ｋ，ｉｒ，ｊｒ）の組を用いて、式（２９）で表される赤色の光量のバネ関係式を生成して、ステップＳ９８に進む。

ステップＳ９８において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ９９に進む。

ステップＳ９９において、演算回路２４は、ステップＳ９８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組における画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）の平均値を求め、画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）が平均値に近い順のＬ個の（ｋ，ｉｂ，ｊｂ）の組を選択し、ステップＳ１００に進む。即ち、ステップＳ９９では、ステップＳ９８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組における画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）の平均値から遠いものが、信頼性のないデータとして破棄される。なお、ステップＳ９８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｂ，ｊｂ）の組が選択される（破棄されない）。

ステップＳ１００において、演算回路２４は、ステップＳ９９で選択したＬ個の（ｋ，ｉｂ，ｊｂ）の組を用いて、式（３０）で表される青色の光量のバネ関係式を生成して、ステップＳ１０１に進む。

ステップＳ１０１において、演算回路２４は、ステップＳ９４で求めた式（２８）で表される緑色の光量のバネ関係式、ステップＳ９７で求めた式（２９）で表される赤色の光量のバネ関係式、ステップＳ１００で求めた式（３０）で表される青色の光量のバネ関係式を、一次方程式として解くことにより、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求め、ステップＳ１０２に進む。

ステップＳ１０２において、演算回路２４は、すべての位置（Ｉ'，Ｊ'）を注目位置としたか、即ち、１枚目の撮像画像の画素の中心位置のすべてを注目位置（Ｉ'，Ｊ'）として、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めたか否かを判定する。

ステップＳ１０２で、すべての位置（Ｉ'，Ｊ'）を、まだ注目位置としていないと判定された場合、ステップＳ９１に戻り、ステップＳ９１乃至Ｓ１０２の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（Ｉ'，Ｊ'）を次の注目位置（Ｉ'，Ｊ'）として、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求める。

一方、ステップＳ１０２で、すべての位置（Ｉ'，Ｊ'）を注目位置としたと判定された場合、ステップＳ１０３に進み、演算回路２４は、ステップＳ１０１で求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、画像（信号）を推定し、D/Aコンバータ９またはコーデック１２に出力画像として供給し、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ１０１で求めた真の緑色の光量Ｌｇ（ｉ−０．５，ｊ−０．５）と、赤色の値（Ｒ信号）としてステップＳ１０１で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）と、青色の値（Ｂ信号）としてステップＳ１０１で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）を中心位置とする画素すべてについて行うことにより、出力画像を推定する。

以上のように、第４実施の形態では、平均値に近い画素値を信頼性の高いデータとして、その信頼性の高いデータにのみ、バネモデルを適用するようにしたので、第３実施の形態より本来の光に忠実で鮮明な画像を求めることが可能となる。

(第５実施の形態)
次に、画像推定処理の第５実施の形態について説明する。第５実施の形態は、第４実施の形態と同様に、注目位置（Ｉ'，Ｊ'）に対して、求めたすべての（ｋ，ｉｇ，ｊｇ）の組の中から、信頼性のあるデータとして、予め設定されたＬ個の（ｋ，ｉｇ，ｊｇ）の組を採用し、Ｌ個で構成された緑色、赤色、および青色の光量のバネ関係式を解くことにより、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めるものである。

但し、第４実施の形態では、演算回路２４において、例えば、緑色の成分を受光する画素については、求めたすべての（ｋ，ｉｇ，ｊｇ）の組の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値を求め、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が平均値に近い順のＬ個の（ｋ，ｉｇ，ｊｇ）の組を選択するようにした。

一方、第５実施の形態では、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短いものから順番にＬ個だけ（ｋ，ｉｇ，ｊｇ）の組を、信頼性の高いデータとして選択する。なぜなら、図１９で説明したように、注目位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、位置（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）で近似したことによる近似誤差は、位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が長くなるほど大きくなる。従って、注目位置（Ｉ'，Ｊ'）からの距離が遠い位置（ｘ，ｙ）で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）ほど信頼性が少なくなる。なお、２点（ｘ１，ｙ１）と（ｘ２，ｙ２）との間の距離を求める関数は、例えば、図１９で説明した関数Ｆ（（ｘ１，ｙ１），（ｘ２，ｙ２））を採用することができる。

第５実施の形態では、第３実施の形態における式（２５），式（２６），および式（２７）に代えて、式（３１）、式（３２）、および式（３３）で表される緑色、赤色、および青色の光量のバネ関係式が用いられる。

・・・（３１）

ここで、式（３１）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短いものから順番に選択したＬ個の（ｋ，ｉｇ，ｊｇ）の組の和を表す。

・・・（３２）

ここで、式（３２）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短いものから順番に選択したＬ個の（ｋ，ｉｒ，ｊｒ）の組の和を表す。

・・・（３３）

ここで、式（３３）におけるΣは、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短いものから順番に選択したＬ個の（ｋ，ｉｂ，ｊｂ）の組の和を表す。

図２６のフローチャートを参照して、図２のステップＳ４における画像推定処理の第５実施の形態について説明する。

初めに、ステップＳ１２１において、演算回路２４は、基準座標系上のある位置（Ｉ'，Ｊ'）に注目する（以下、注目位置（Ｉ'，Ｊ'）と称する）。ここで、注目位置（Ｉ'，Ｊ'）は、基準画像である１枚目の撮像画像の「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。

ステップＳ１２１からＳ１２２に進み、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１２３に進む。

ステップＳ１２３において、演算回路２４は、ステップＳ１２２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組の中から、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短い順にＬ個だけ（ｋ，ｉｇ，ｊｇ）の組を選択し、ステップＳ１２４に進む。即ち、ステップＳ１２３では、ステップＳ１２２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組のうち、位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が長いものが、信頼性のないデータとして破棄される。なお、ステップＳ１２２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｇ，ｊｇ）の組が選択される（破棄されない）。

ステップＳ１２４において、演算回路２４は、ステップＳ１２３で選択したＬ個の（ｋ，ｉｇ，ｊｇ）の組を用いて、式（３１）で表される緑色の光量のバネ関係式を生成して、ステップＳ１２５に進む。

ステップＳ１２５において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１２６に進む。

ステップＳ１２６において、演算回路２４は、ステップＳ１２５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組の中から、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短い順にＬ個だけ（ｋ，ｉｒ，ｊｒ）の組を選択し、ステップＳ１２７に進む。即ち、ステップＳ１２６では、ステップＳ１２５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組のうち、位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が長いものが、信頼性のないデータとして破棄される。なお、ステップＳ１２５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｒ，ｊｒ）の組が選択される（破棄されない）。

ステップＳ１２７において、演算回路２４は、ステップＳ１２６で選択したＬ個の（ｋ，ｉｒ，ｊｒ）の組を用いて、式（３２）で表される赤色の光量のバネ関係式を生成して、ステップＳ１２８に進む。

ステップＳ１２８において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１２９に進む。

ステップＳ１２９において、演算回路２４は、ステップＳ１２８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組の中から、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が短い順にＬ個だけ（ｋ，ｉｂ，ｊｂ）の組を選択し、ステップＳ１３０に進む。即ち、ステップＳ１２９では、ステップＳ１２８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組のうち、位置（ｘ，ｙ）と注目位置（Ｉ'，Ｊ'）との距離が長いものが、信頼性のないデータとして破棄される。なお、ステップＳ１２８で求めたすべての（ｋ，ｉｂ，ｊｂ）の組が、もともとＬ個に達していない場合には、それらすべての（ｋ，ｉｂ，ｊｂ）の組が選択される（破棄されない）。

ステップＳ１３０において、演算回路２４は、ステップＳ１２９で選択したＬ個の（ｋ，ｉｂ，ｊｂ）の組を用いて、式（３３）で表される青色の光量のバネ関係式を生成して、ステップＳ１３１に進む。

ステップＳ１３１において、演算回路２４は、ステップＳ１２４で求めた式（３１）で表される緑色の光量のバネ関係式、ステップＳ１２７で求めた式（３２）で表される赤色の光量のバネ関係式、ステップＳ１３０で求めた式（３３）で表される青色の光量のバネ関係式を、一次方程式として解くことにより、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求め、ステップＳ１３２に進む。

ステップＳ１３２において、演算回路２４は、すべての位置（Ｉ'，Ｊ'）を注目位置としたか、即ち、１枚目の撮像画像の画素の中心位置のすべてを注目位置（Ｉ'，Ｊ'）として、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めたか否かを判定する。

ステップＳ１３２で、すべての位置（Ｉ'，Ｊ'）を、まだ注目位置としていないと判定された場合、ステップＳ１２１に戻り、ステップＳ１２１乃至Ｓ１３２の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（Ｉ'，Ｊ'）を次の注目位置（Ｉ'，Ｊ'）として、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求める。

一方、ステップＳ１３２で、すべての位置（Ｉ'，Ｊ'）を注目位置としたと判定された場合、ステップＳ１３３に進み、演算回路２４は、ステップＳ１３１で求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、画像（信号）を生成し、D/Aコンバータ９またはコーデック１２に出力画像として供給し、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ１３１で求めた真の緑色の光量Ｌｇ（ｉ−０．５，ｊ−０．５）と、赤色の値（Ｒ信号）としてステップＳ１３１で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）と、青色の値（Ｂ信号）としてステップＳ１３１で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）を中心位置とする画素すべてについて行うことにより、出力画像を推定する。

以上のように、第５実施の形態では、注目位置（Ｉ'，Ｊ'）に近い位置で観測された画素値を信頼性の高いデータとして、その信頼性の高いデータにのみ、バネモデルを適用するようにしたので、第３実施の形態より本来の光に忠実で鮮明な画像を求めることが可能となる。

(第６実施の形態)
次に、画像推定処理の第６実施の形態について説明する。

第６実施の形態も、上述した第３実施の形態の一部を改良したものである。即ち、第６実施の形態では、画像のエッジ部分を検出し、検出したエッジ部分にある画素値に対して、第３実施の形態における式（２５），式（２６），および式（２７）で表される緑色、赤色、および青色の光量のバネ関係式を改良する。

図２７は、緑色、赤色、および青色のうちの、例えば、緑色の成分（Ｇ信号）に注目した基準座標系を示している。

図２７では、境界（エッジ）５１を境に、右側に明るい緑色としての画素値が観測されており、左側に暗い緑色としての画素値が観測されている。なお、ここでは、緑色の画素値が、例えば、８ビットで表されるものとして、明るい緑色の画素値を、例えば、２４０程度とするとともに、暗い緑色の画素値を、例えば、１６程度とする。

図２７において、白丸５２−１乃至５２−１０、白丸５３−１乃至５３−９、および白丸５４は、あるｋ枚目画像の「ｉｇ番目、ｊｇ番目の画素」の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置を表し、その位置で緑色の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測されている。ここで、（ｋ，ｉｇ，ｊｇ）の組は、白丸５２−１乃至５２−１０、白丸５３−１乃至５３−９、および白丸５４それぞれにおいて異なるものである。

図２７中の点線で示される格子状の交点に配置される黒丸のそれぞれは、演算回路２４が真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるべき位置（Ｉ'，Ｊ'）を表している。ここで、位置（Ｉ'，Ｊ'）は、上述したように、基準画像である１枚目画像における「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。また、Ｘ方向とＹ方向のＬｇ（Ｉ'，Ｊ'）どうしの間隔は、ともに１であり、従って、画素のＸ方向とＹ方向の大きさも、ともに１である。

さて、図２７の領域６１に含まれる白丸５２−１乃至５２−８で表される位置では、２４０程度の明るい緑色の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測される。

また、図２７の領域６２に含まれる白丸５３−１乃至５３−７で表される位置では、１６程度の暗い緑色の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測される。

さらに、図２７の白丸５４で表される位置は、境界５１上の位置であり、この位置では、オンチップレンズの効果により、画素値２４０の明るい緑色の光と、画素値１６の暗い緑色の光とを同一光量だけ受光した画素値が観測される。従って、白丸５４の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）としては、２４０と１６の平均となる１２８（＝（２４０＋１６）／２）が観測される。

なお、上述の白丸５２−１乃至５２−８、白丸５３−１乃至５３−７、白丸５４で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）には、通常、誤差成分が含まれるため、正確には、約２４０、約１６、約１２８と表現すべきであるが、ここでは、そのような誤差成分を無視して、２４０、１６、１２８と記載することとする。

ここで、例えば、図２７の黒丸７１の位置を注目位置（Ｉ'，Ｊ'）とし、上述の第３の実施の形態の方法により、黒丸７１で表される注目位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める場合について考える。

即ち、黒丸７１の位置を注目位置（Ｉ'，Ｊ'）とすると、その周辺の、白丸５２−３、５２−６、５２−１０、５４などの位置で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が、式（２５）中のＧｏｂｓ（ｋ，ｉｇ，ｊｇ）として採用される。この場合、式（２５）を解くことにより得られる解である真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、白丸５４の位置で観測される画素値である１２８に引っ張られ（影響され）、２４０より小さな値となる。しかしながら、本来であれば、黒丸７１の位置は、画素値２４０の明るい緑色の画素値が観測される、境界５１の右側の位置であるので、式（２５）を解くことにより得られる解である真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、２４０となるのが望ましい。

また、黒丸７２の位置を注目位置（Ｉ'，Ｊ'）とすると、その周辺の、白丸５３−２、５３−３、５３−５、５３−９、５４などの位置で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が、式（２５）中のＧｏｂｓ（ｋ，ｉｇ，ｊｇ）として採用される。この場合、式（２５）を解くことにより得られる解である真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、白丸５４の位置で観測される画素値である１２８に引っ張られ（影響され）、１６より大きな値となる。しかしながら、本来であれば、黒丸７２の位置は、画素値１６の暗い緑色の画素値が観測される、境界５１の左側の位置であるので、式（２５）を解くことにより得られる解である真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、１６となるのが望ましい。

以上のことが、黒丸７３、黒丸７４の位置についても同様に言える。つまり、第３実施の形態の画像推定処理により推定された画像は、図２７の境界５１が存在するエッジ部分では、エッジがなだらかになり（隣接する画素の画素値の差が小さくなり）ボケた画像となってしまうことがあり得る。

そこで、第６実施の形態では、図２７の境界５１が存在するエッジ部分を検出し、そのエッジ部分にある画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に対して特別な処理を行う、即ち、式（２５）で表される緑色の光量のバネ関係式に代入する画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を変更する。

第６実施の形態の具体的な方法について、図２７と同様に、緑色の成分（Ｇ信号）に注目して説明する。

最初に、演算回路２４は、基準座標系上に変換された位置すべての画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いてエッジ部分の検出を行う。即ち、演算回路２４は、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」の４つの方向のエッジそれぞれの有無を判定する。

図２８を参照して、縦方向のエッジがあるかどうか判定する判定方法について説明する。

図２８は、基準座標系を示している。そして、図２８において、白丸８１−１乃至８１−１０、白丸８２−１乃至８２−９、および白丸８３で表される位置は、あるｋ枚目画像の「ｉｇ番目、ｊｇ番目の画素」の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置を表し、その位置で画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測されている。ここで、（ｋ，ｉｇ，ｊｇ）の組は、白丸８１−１乃至８１−１０、白丸８２−１乃至８２−９、および白丸８３それぞれにおいて異なるものである。

図２８中の点線で示される格子状の交点に配置される黒丸のそれぞれは、演算回路２４が真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるべき位置（Ｉ'，Ｊ'）を表している。ここで、位置（Ｉ'，Ｊ'）は、上述したように、基準画像である１枚目画像における「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。また、Ｘ方向とＹ方向のＬｇ（Ｉ'，Ｊ'）どうしの間隔は、図２７と同様に１であり、従って、画素のＸ方向とＹ方向の大きさも、ともに１である。

演算回路２４は、図２８中の白丸８３の位置などに注目し、例えば、図２８に示されるエッジ９４のような、縦方向のエッジがあるかどうかを判定する。白丸８３の位置（ｘ，ｙ）は、式Ｉ−０．５≦ｘ＜Ｉ＋０．５，Ｊ−０．５≦ｙ＜Ｊ＋０．５を満たすもものとする。図２８では、白丸８３の位置（ｘ，ｙ）は、位置（Ｉ＋０．５，Ｊ−０．５）を表す黒丸８４、位置（Ｉ−０．５，Ｊ−０．５）を表す黒丸８５、位置（Ｉ＋０．５，Ｊ＋０．５）を表す黒丸８６、位置（Ｉ−０．５，Ｊ＋０．５）を表す黒丸８７で囲まれる領域Ａ１１内の位置である。ここで、Ｉ，Ｊは、これまでと同様に整数である。

演算回路２４は、注目している白丸８３の位置を含む領域Ａ１１を中心とする、画素の大きさと同じ１ごとの、９つの領域を定義する。即ち、９つの領域は、Ｉ−１．５≦ｘ＜Ｉ−０．５，Ｊ−１．５≦ｙ＜Ｊ−０．５の領域Ａ００、Ｉ−１．５≦ｘ＜Ｉ−０．５，Ｊ−０．５≦ｙ＜Ｊ＋０．５の領域Ａ０１、Ｉ−１．５≦ｘ＜Ｉ−０．５，Ｊ＋０．５≦ｙ＜Ｊ＋１．５の領域Ａ０２、Ｉ−０．５≦ｘ＜Ｉ＋０．５，Ｊ−１．５≦ｙ＜Ｊ−０．５の領域Ａ１０、Ｉ−０．５≦ｘ＜Ｉ＋０．５，Ｊ−０．５≦ｙ＜Ｊ＋０．５の領域Ａ１１、Ｉ−０．５≦ｘ＜Ｉ＋０．５，Ｊ＋０．５≦ｙ＜Ｊ＋１．５の領域Ａ１２、Ｉ＋０．５≦ｘ＜Ｉ＋１．５，Ｊ−１．５≦ｙ＜Ｊ−０．５の領域Ａ２０、Ｉ＋０．５≦ｘ＜Ｉ＋１．５，Ｊ−０．５≦ｙ＜Ｊ＋０．５の領域Ａ２１、Ｉ＋０．５≦ｘ＜Ｉ＋１．５，Ｊ＋０．５≦ｙ＜Ｊ＋１．５の領域Ａ２２、である。いま注目している白丸８３の位置は、領域Ａ１１に含まれている。

ここで、以上のように、注目している白丸８３の位置に対して定義される９つの領域Ａ００乃至Ａ２２の全体を、以下、適宜、エッジ判定領域と称する。

縦方向のエッジ９４があるかどうか判定するため、演算回路２４は、領域Ａ００、領域Ａ０１、領域Ａ０２の１列で構成される、エッジ判定領域の左側の領域９１（以下、左側領域９１と称する）、領域Ａ１０、領域Ａ１１、領域Ａ１２の１列で構成される、エッジ判定領域の中央の領域９２（以下、中央領域９２と称する）、領域Ａ２０、領域Ａ２１、領域Ａ２２の１列で構成される、エッジ判定領域の右側の領域９３（以下、右側領域９３と称する）内それぞれに含まれる白丸の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値と分散を求める。

即ち、演算回路２４は、左側領域９１内の白丸８２−１乃至８２−７の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ０と分散ＳＧ０を求める。また、演算回路２４は、中央領域９２内の白丸８１−９、８１−１０、８２−８乃至８２−９、および８３の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ０”を求める。さらに、演算回路２４は、右側領域９３内の白丸８１−１乃至８１−８の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）平均値ＥＧ０'と分散ＳＧ０'を求める。

仮に、注目している白丸８３の位置付近に、縦方向のエッジ９４がある場合、左側領域９１の平均値ＥＧ０、中央領域９２の平均値ＥＧ０”、および右側領域９３の平均値ＥＧ０'には、次式（ａ）の関係が成り立つ。そこで、演算回路２４は、式（ａ）が成立するときに、縦方向のエッジがあると判定する。

ＥＧ０＜ＥＧ０”＜ＥＧ０'またはＥＧ０'＜ＥＧ０”＜ＥＧ０
・・・（ａ）

なお、実際には、エッジ９４以外の部分でも、例えば、被写体の細かな模様などによるデータのばらつきにより、上述の式（ａ）を満たす場合があり得るため、演算回路２４は、分散ＳＧ０，ＳＧ０'を付加した次式が成り立つかどうか判定することにより、さらに確実に縦方向のエッジ９４があるかどうかを判定する。即ち、演算回路２４は、式（ｂ）が成立するときに、縦方向のエッジがあると判定する。

ＥＧ０＋ＳＧ０＜ＥＧ０”＜ＥＧ０'−ＳＧ０'
またはＥＧ０'＋ＳＧ０'＜ＥＧ０”＜ＥＧ０−ＳＧ０
・・・（ｂ）

式（ｂ）によれば、模様部分のように画素値にばらつきがあり、分散ＳＧ０，ＳＧ０'が大となる部分については、エッジがあると判定され難くなり、誤判定を防止することができる。

図２９を参照して、横方向のエッジがあるかどうか判定する判定方法について説明する。なお、図２８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。

横方向のエッジ１０４があるかどうか判定するため、演算回路２４は、領域Ａ００、領域Ａ１０、領域Ａ２０の１列で構成される、エッジ判定領域の上側の領域１０１（以下、上側領域１０１と称する）、領域Ａ０１、領域Ａ１１、領域Ａ２１の１列で構成されるエッジ判定領域の中央の領域１０２（以下、中央領域１０２と称する）、領域Ａ０２、領域Ａ１２、領域Ａ２２の１列で構成される、エッジ判定領域の下側の領域１０３（以下、下側領域１０３と称する）内それぞれに含まれる白丸の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値と分散を求める。

即ち、演算回路２４は、上側領域１０１内の白丸８１−１乃至８１−３、８１−１０、８２−１、８２−２、８２−９の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ１と分散ＳＧ１を求める。また、演算回路２４は、中央領域１０２内の白丸８１−４乃至８１−６、８２−３乃至８２−５、および８３の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ１”を求める。さらに、演算回路２４は、下側領域１０３内の白丸８１−７乃至８１−９、８２−６乃至８２−８の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）平均値ＥＧ１'と分散ＳＧ１'を求める。

仮に、注目している白丸８３の位置付近に、横方向のエッジ１０４がある場合、上側領域１０１の平均値ＥＧ１、中央領域１０２の平均値ＥＧ１”、および下側領域１０３の平均値ＥＧ１'の関係として、被写体の細かな模様などによるデータのばらつきも考慮した次式（ｃ）をたてる。そして、演算回路２４は、式（ｃ）が成立するときに、横方向のエッジがあると判定する。

ＥＧ１＋ＳＧ１＜ＥＧ１”＜ＥＧ１'−ＳＧ１'
またはＥＧ１'＋ＳＧ１'＜ＥＧ１”＜ＥＧ１−ＳＧ１
・・・（ｃ）

式（ｃ）によれば、模様部分のように画素値にばらつきがあり、分散ＳＧ１，ＳＧ１'が大となる部分については、エッジがあると判定され難くなり、誤判定を防止することができる。なお、上述の式（ａ）における場合と同様に、分散を考慮せずに、平均値のみで、横方向のエッジの有無を判定することも可能である。

図３０を参照して、左上から右下方向のエッジがあるかどうか判定する判定方法について説明する。なお、図２８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。

左上から右下方向のエッジ１１４があるかどうか判定するため、演算回路２４は、領域Ａ０１、領域Ａ０２、領域Ａ１２の１列で構成される、エッジ判定領域の左下側の領域１１１（以下、左下側領域１１１と称する）、領域Ａ００、領域Ａ１１、領域Ａ２２の１列で構成される、エッジ判定領域の中央の領域１１２（以下、中央領域１１２と称する）、領域Ａ１０、領域Ａ２０、領域Ａ２１の１列で構成される、エッジ判定領域の左上側の領域１１３（以下、左上側領域１１３と称する）内それぞれに含まれる白丸の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値と分散を求める。

即ち、演算回路２４は、左下側領域１１１内の白丸８１−９、８２−３乃至８２−８の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ２と分散ＳＧ２を求める。また、演算回路２４は、中央領域１１２内の白丸８１−７、８１−８、８２−１、８２−２、および８３の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ２”を求める。さらに、演算回路２４は、右上側領域１１３内の白丸８１−１乃至８１−６、８１−１０、および８２−９の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）平均値ＥＧ２'と分散ＳＧ２'を求める。

仮に、注目している白丸８３の位置付近に、左上から右下方向のエッジ１１４がある場合、左下側領域１１１の平均値ＥＧ２、中央領域１１２の平均値ＥＧ２”、および右上側領域１１３の平均値ＥＧ２' の関係として、被写体の細かな模様などによるデータのばらつきも考慮した次式（ｄ）をたてる。そして、演算回路２４は、式（ｄ）が成立するときに、左上から右下方向のエッジがあると判定する。

ＥＧ２＋ＳＧ２＜ＥＧ２”＜ＥＧ２'−ＳＧ２'
またはＥＧ２'＋ＳＧ２'＜ＥＧ２”＜ＥＧ２−ＳＧ２
・・・（ｄ）

式（ｄ）によれば、模様部分のように画素値にばらつきがあり、分散ＳＧ２，ＳＧ２'が大となる部分については、エッジがあると判定され難くなり、誤判定を防止することができる。なお、上述の式（ａ）における場合と同様に、分散を考慮せずに、平均値のみで、左上から右下方向のエッジの有無を判定することも可能である。

図３１を参照して、右上から左下方向のエッジがあるかどうか判定する判定方法について説明する。なお、図２８と対応する部分については、同一の符号を付してあり、以下では、その説明は省略する。

右上から左下方向のエッジ１２４があるかどうか判定するため、演算回路２４は、領域Ａ００、領域Ａ０１、領域Ａ１０の１列で構成される、エッジ判定領域の左上側の領域１２１（以下、左上側領域１２１と称する）、領域Ａ０２、領域Ａ１１、領域Ａ２０の１列で構成される、エッジ判定領域の中央の領域１２２（以下、中央領域１２２と称する）、領域Ａ１２、領域Ａ２１、領域Ａ２２の１列で構成される、エッジ判定領域の右下側の領域１２３（以下、右下側領域１２３と称する）内それぞれに含まれる白丸の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値と分散を求める。

即ち、演算回路２４は、左上側領域１２１内の白丸８１−１０、８２−１乃至８２−５、８２−９の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ３と分散ＳＧ３を求める。また、演算回路２４は、中央領域１２２内の白丸８１−１乃至８１−３、８２−６、８２−７、および８３の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の平均値ＥＧ３”を求める。さらに、演算回路２４は、右下側領域１２３内の白丸８１−４乃至８１−９、８２−８の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）平均値ＥＧ３'と分散ＳＧ３'を求める。

仮に、注目している白丸８３の位置付近に、右上から左下方向のエッジ１２４がある場合、左上側領域１２１の平均値ＥＧ３、中央領域１２２の平均値ＥＧ３”、および右下側領域１２３の平均値ＥＧ３' の関係として、被写体の細かな模様などによるデータのばらつきも考慮した次式（ｅ）をたてる。そして、演算回路２４は、式（ｅ）が成立するときに、右上から左下方向のエッジがあると判定する。

ＥＧ３＋ＳＧ３＜ＥＧ３”＜ＥＧ３'−ＳＧ３'
またはＥＧ３'＋ＳＧ３'＜ＥＧ３”＜ＥＧ３−ＳＧ３
・・・（ｅ）

式（ｅ）によれば、模様部分のように画素値にばらつきがあり、分散ＳＧ１，ＳＧ１'が大となる部分については、エッジがあると判定され難くなり、誤判定を防止することができる。なお、上述の式（ａ）における場合と同様に、分散を考慮せずに、平均値のみで、右下から左下方向のエッジの有無を判定することも可能である。

図２８乃至図３１で説明したように、演算回路２４は、「縦方向」、「横方向」、「左上から右下方向」、「右下から左下方向」の４つの方向について、エッジがあるかどうか、即ち、上述の式が成り立つかどうかを判定する。なお、演算回路２４は、緑色のみならず、他の赤色と青色それぞれについても同様に、エッジの有無を判定する。

ここで、４つの方向のエッジのうち、複数の方向のエッジについて、上述の式が成り立つことも考えられる。しかしながら、実際のエッジは１つであるので、その場合、一番顕著な方向のエッジのみを採用し、その他の方向のエッジはないものとする。

具体的には、例えば、演算回路２４は、エッジが検出された複数の方向について、
｜（ＥＧｍ'−ＥＧｍ）÷（ＳＧｍ'＋ＳＧｍ）｜
（ｍ＝０乃至３のいずれか）
を演算し、その演算結果が一番大となるｍを決定する。そして、そのｍが、０であれば「縦方向のエッジ」を、１であれば「横方向のエッジ」を、２であれば「左上から右下方向のエッジ」を、３であれば「右下から左下方向のエッジ」を、それぞれ、一番顕著な方向のエッジとして採用する。ここで、｜ｘ｜は、ｘの絶対値を表す。

次に、注目した位置について検出されたエッジの方向に応じて、そのエッジ部分にある、注目した位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に対して演算回路２４が行う特別な処理について説明する。

特別な処理とは、式（２５）で表される緑色の光量のバネ関係式に画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を代入する場合に、エッジ部分と判定された位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）については、代入する画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を変更する処理である。

代入する画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を変更する処理としては、例えば、以下の第１の処理や第２の処理を採用することができる。

例えば、第１の処理では、注目している、例えば、図２８乃至図３１の白丸８３の位置にエッジが検出された場合、その位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を破棄する。即ち、式（２５）で表される緑色の光量のバネ関係式に、エッジが検出された位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を含ませない。この場合、図２２（図２３）で説明したバネモデルにおいては、間違った方向（光量）に引っ張るバネがなくなることになる。従って、より正確な（鮮明な）Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

第２の処理では、注目している、例えば、図２８乃至図３１の白丸８３の位置の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を、上述したエッジの検出において、注目している位置について定義したエッジ判定領域を構成する９つの領域Ａ００乃至Ａ２２で観測されている画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いて他の値に置き換え、式（２５）で表される緑色の光量のバネ関係式に代入する。

以下に、第２の処理を具体的に説明する。

図３２は、図２８で示した、「縦方向のエッジ」が検出された場合の、注目している白丸８３の位置を含む領域Ａ１１を示している。図中の、１軸は基準座標系におけるＸ方向を、Ｘ方向と垂直な軸が基準座標系におけるＹ方向を、Ｘ方向およびＹ方向と垂直な軸が画素値を、それぞれ表している。

図３２では、エッジ判定領域について求められた平均値ＥＧ０，ＥＧ０'，ＥＧ０”と分散ＳＧ０，ＳＧ０'が、式「ＥＧ０'＋ＳＧ０'＜ＥＧ０”＜ＥＧ０−ＳＧ０」を満たし、従って、「縦方向のエッジ」が存在している。

この場合、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）と、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）とは、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも大きいと考えられる。また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）、または黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）それぞれと、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ０とＥＧ０'との差（ＥＧ０−ＥＧ０'）に依存する。

また、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）と、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）とは、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも小さいと考えられる。また、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）、または黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）それぞれと、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ０とＥＧ０'との差（ＥＧ０−ＥＧ０'）に依存する。

そこで、演算回路２４は、注目している白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通り、Ｘ方向に傾きｐの平面Ｑ１を求める。ここで、ｐ＝（ＥＧ０−ＥＧ０'）÷２である。つまり、傾きｐは、図２８の左側領域９１の画素値の平均値ＥＧ０と右側領域９３の画素値の平均値ＥＧ０'との差を、左側領域９１と右側領域９２とのｘ方向の中心位置どうしの距離である２で除算して求められる。傾きｐは、縦方向のエッジ部分における、そのエッジと垂直な方向の光量（画素値）の変化の度合い、つまり、エッジの傾きを表す。

そして、演算回路２４は、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ１上の値（画素値）を求め、その値を画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）とする。また、演算回路２４は、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ１上の値（画素値）を求め、その値を画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とする。同様に、演算回路２４は、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ１上の値（画素値）と、および黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ１上の値（画素値）を求め、それぞれの値を画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）と、画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とする。

ここで、平面Ｑ１は、Ｘ方向についてのみ傾きｐを有しているので、画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）と画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とは等しく、また、画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）と画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とは等しい。

さて、第３実施の形態では、図２２に示したように、ある位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が、その周辺の位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とつりあっている状態を表すバネモデルを考えることにより、式（２５）をたてる。位置（I'，J'）の周辺の位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とは、ｋ枚目画像の座標系における位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）である。

図３２において、例えば、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、黒丸８４の位置の周辺の位置で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）として、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が含まれる。従って、第３実施の形態では、式（２５）に、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が代入される。

これに対して、第６実施の形態では、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ１上の値（画素値）である画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ１上の値（画素値）である画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

さらに、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ１上の値（画素値）である画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ１上の値（画素値）である画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

以上のように、縦方向のエッジ（緑色の光量の急峻な変化）がある位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）（図３２の白丸８３の位置の画素値）を、そのエッジの傾き（急峻度合い）ｐに応じた画素値（Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）、またはＧｏｂｓ３（ｋ，ｉｇ，ｊｇ））に変更（補正）し、その変更した画素値を式（２５）に代入することにより、バネモデルにおいて、図２３における物体ＶとしてのＬｇ（Ｉ'，Ｊ'）が適切な位置に引っ張られ、より正確な（鮮明な）真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

図３３は、図２９で示した、「横方向のエッジ」が検出された場合の、注目している白丸８３の位置を含む領域Ａ１１を示している。図中の、１軸は基準座標系におけるＸ方向を、Ｘ方向と垂直な軸が基準座標系におけるＹ方向を、Ｘ方向およびＹ方向と垂直な軸が画素値を、それぞれ表している。

図３３では、エッジ判定領域について求められた平均値ＥＧ１，ＥＧ１'，ＥＧ１”と分散ＳＧ１，ＳＧ１'が、式「ＥＧ１'＋ＳＧ１'＜ＥＧ１”＜ＥＧ１−ＳＧ１」を満たし、従って、「横方向のエッジ」が存在している。

この場合、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）と、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）とは、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも大きいと考えられる。また、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）、または黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）と、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ１とＥＧ１'との差（ＥＧ１−ＥＧ１'）に依存する。

また、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）と、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）とは、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも小さいと考えられる。また、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）、または黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）それぞれと、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ１とＥＧ１'との差（ＥＧ１−ＥＧ１'）に依存する。

そこで、演算回路２４は、注目している白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通り、Ｙ方向に傾きｐの平面Ｑ２を求める。ここで、ｐ＝（ＥＧ１−ＥＧ１'）÷２である。つまり、傾きｐは、図２９の上側領域１０１の画素値の平均値ＥＧ１と下側領域１０３の画素値の平均値ＥＧ１'との差を、上側領域１０１と下側領域１０３のｙ方向の中心位置どうしの距離である２で除算して求められる。傾きｐは、横方向のエッジ部分における、そのエッジと垂直な方向の光量（画素値）の変化の度合い、つまり、エッジの傾きを表す。

そして、演算回路２４は、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ２上の値（画素値）を求め、その値を画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）とする。また、演算回路２４は、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ２上の値（画素値）を求め、その値を画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とする。同様に、演算回路２４は、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ２上の値（画素値）と、および黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ２上の値（画素値）を求め、それぞれの値をそれぞれ画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）、画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とする。

ここで、平面Ｑ２は、Ｙ方向についてのみ傾きｐを有しているので、画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）と画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）とは等しく、また、画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）と画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とは等しい。

「横方向のエッジ」においても、図３２の「縦方向のエッジ」の場合と同様に、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ２上の値（画素値）である画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ２上の値（画素値）である画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

さらに、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ２上の値（画素値）である画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を、画素値（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、位置（ｘ，ｙ）の黒丸８７位置（ｘ，ｙ）のにおける平面Ｑ２上の値（画素値）である画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

以上のように、横方向のエッジ（緑色の光量の急峻な変化）がある位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）（図３３の白丸８３の位置の画素値）を、そのエッジの傾き（急峻度合い）ｐに応じた画素値（Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）、またはＧｏｂｓ３（ｋ，ｉｇ，ｊｇ））に変更（補正）し、その変更した画素値を式（２５）に代入することにより、バネモデルにおいて、図２３における物体ＶとしてのＬｇ（Ｉ'，Ｊ'）が適切な位置に引っ張られ、より正確な（鮮明な）真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

図３４は、図３０で示した、「左上から右下方向のエッジ」が検出された場合の、注目している白丸８３の位置を含む領域Ａ１１を示している。図中の、１軸は基準座標系におけるＸ方向を、Ｘ方向と垂直な軸が基準座標系におけるＹ方向を、Ｘ方向およびＹ方向と垂直な軸が画素値を、それぞれ表している。

図３４では、エッジ判定領域について求められた平均値ＥＧ２，ＥＧ２'，ＥＧ２”と分散ＳＧ２，ＳＧ２'が、式「ＥＧ２＋ＳＧ２＜ＥＧ２”＜ＥＧ２'−ＳＧ２'」を満たし、従って、「左上から右下方向のエッジ」が存在している。

この場合、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）は、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも大きいと考えられる。また、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ−０．５）と、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ２'とＥＧ２との差（ＥＧ２'−ＥＧ２）に依存する。

また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）は、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも小さいと考えられる。また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ＋０．５）と、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ２'とＥＧ２との差（ＥＧ２'−ＥＧ２）に依存する。

そこで、演算回路２４は、注目している白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通り、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）と黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向に傾きｐの平面Ｑ３を求める。ここで、ｐ＝（ＥＧ２'−ＥＧ２）÷２√２である。つまり、傾きｐは、図３０の右上側領域１１３の画素値の平均値ＥＧ２'と左下側領域１１１の画素値の平均値ＥＧ２との差を、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）と黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向の、右上側領域１１３の領域Ａ２０と左下側領域１１１の領域Ａ０２との中心位置どうしの距離である２√２で除算して求められる。傾きｐは、左上から右下方向のエッジ部分における、そのエッジと垂直な方向の光量（画素値）の変化の度合い、つまり、エッジの傾きを表す。

そして、演算回路２４は、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ３上の値（画素値）を求め、その値を画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）とする。また、演算回路２４は、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ３上の値（画素値）を求め、その値を画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とする。同様に、演算回路２４は、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ３上の値（画素値）と、および黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ３上の値（画素値）を求め、それらの値をそれぞれ画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）と、画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とする。

ここで、平面Ｑ３は、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）と黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向についてのみ傾きｐを有しているので、画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）と画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とは等しい。

「左上から右下方向のエッジ」においても、図３２の「縦方向のエッジ」の場合と同様に、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ３上の値（画素値）である画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ３上の値（画素値）である画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

さらに、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ３上の値（画素値）である画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ３上の値（画素値）である画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

以上のように、左上から右下方向のエッジ（緑色の光量の急峻な変化）がある位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）（図３４の白丸８３の位置の画素値）を、そのエッジの傾き（急峻度合い）ｐに応じた画素値（Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）、またはＧｏｂｓ３（ｋ，ｉｇ，ｊｇ））に変更（補正）し、その変更した画素値を式（２５）に代入することにより、バネモデルにおいて、図２３における物体ＶとしてのＬｇ（Ｉ'，Ｊ'）が適切な位置に引っ張られ、より正確な（鮮明な）真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

図３５は、図３１で示した、「右上から左下方向のエッジ」が検出された場合の、注目している白丸８３の位置を含む領域Ａ１１を示している。図中の、１軸は基準座標系におけるＸ方向を、Ｘ方向と垂直な軸が基準座標系におけるＹ方向を、Ｘ方向およびＹ方向と垂直な軸が画素値を、それぞれ表している。

図３５では、エッジ判定領域について求められた平均値ＥＧ３，ＥＧ３'，ＥＧ３”と分散ＳＧ３，ＳＧ３'が、式「ＥＧ３'＋ＳＧ３'＜ＥＧ３”＜ＥＧ３−ＳＧ３」を満たし、従って、「右上から左下方向のエッジ」が存在している。

この場合、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）は、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも大きいと考えられる。また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における真の緑色の光量Ｌｇ（Ｉ−０．５，Ｊ−０．５）と、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ３とＥＧ３'との差（ＥＧ３−ＥＧ３'）に依存する。

また、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）は、注目している白丸８３の位置（ｘ，ｙ）で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）よりも小さいと考えられる。また、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における真の緑色の光量Ｌｇ（Ｉ＋０．５，Ｊ＋０．５）と、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）との光量（画素値）の差は、平均値ＥＧ３とＥＧ３'との差（ＥＧ３−ＥＧ３'）に依存する。

そこで、演算回路２４は、注目している白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通り、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）と黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向に傾きｐの平面Ｑ４を求める。ここで、ｐ＝（ＥＧ３−ＥＧ３'）÷２√２である。つまり、傾きｐは、図３１の左上側領域１２１の画素値の平均値ＥＧ３と右下側領域１２３の画素値の平均値ＥＧ３'との差を、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）と黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向の、左上側領域１２１の領域Ａ００と右下側領域１２３の領域Ａ２２との中心位置どうしの距離である２√２で除算して求められる。傾きｐは、右上から左下方向のエッジ部分における、そのエッジと垂直な方向の光量（画素値）の変化の度合い、つまり、エッジの傾きを表す。

そして、演算回路２４は、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ４上の値（画素値）を求め、その値を画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）とする。また、演算回路２４は、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ４上の値（画素値）を求め、その値を画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とする。同様に、演算回路２４は、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ４上の値（画素値）と、および黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ４上の値（画素値）を求め、それらの値をそれぞれ画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）と、画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）とする。

ここで、平面Ｑ４は、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）と黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を結ぶ領域Ａ１１の対角方向についてのみ傾きｐを有しているので、Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）とＧｏｂｓ２（ｋ，ｉｇ，ｊｇ）とは等しい。

「右上から左下方向のエッジ」においても、図３２の「縦方向のエッジ」の場合と同様に、黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８４の位置（Ｉ＋０．５，Ｊ−０．５）における平面Ｑ４上の値（画素値）である画素値Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８５の位置（Ｉ−０．５，Ｊ−０．５）における平面Ｑ４上の値（画素値）である画素値Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

さらに、黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８６の位置（Ｉ＋０．５，Ｊ＋０．５）における平面Ｑ４上の値（画素値）である画素値Ｇｏｂｓ３（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

また、黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）を、位置（I'，J'）として注目した場合、白丸８３の位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、注目している黒丸８７の位置（Ｉ−０．５，Ｊ＋０．５）における平面Ｑ４上の値（画素値）である画素値Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ）が、式（２５）に代入される。

以上のように、右上から左下方向のエッジ（緑色の光量の急峻な変化）がある位置で観測された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）（図３５の白丸８３の位置の画素値）を、そのエッジの傾き（急峻度合い）ｐに応じた画素値（Ｇｏｂｓ０（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ１（ｋ，ｉｇ，ｊｇ），Ｇｏｂｓ２（ｋ，ｉｇ，ｊｇ）、またはＧｏｂｓ３（ｋ，ｉｇ，ｊｇ））に変更（補正）し、その変更した画素値を式（２５）に代入することにより、バネモデルにおいて、図２３における物体ＶとしてのＬｇ（Ｉ'，Ｊ'）が適切な位置に引っ張られ、より正確な（鮮明な）真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めることができる。

以上のことから、第３実施の形態の式（２５）に対応する、第６実施の形態の緑色の光量のバネ関係式は、次のように表すことができる。

なお、緑色以外の真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）と真の青色の光量Ｌｂ（Ｉ'，Ｊ'）も、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）と同様にして求めることができる。

・・・（３４）

ここで、式（３４）におけるΣは、ある位置（I'，J'）に対して、ｋ枚目の撮像画像上の位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組の個数分の和を表す。

但し、式（３４）を構成する（ｋ，ｉｇ，ｊｇ）の組の、ある（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかが検出された場合、式（３４）のＧｏｂｓ'（ｋ，ｉｇ，ｊｇ）には、その（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の代わりに、エッジの傾きｐを有し、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通る平面の、位置（I'，J'）上の値（画素値）が用いられる。また、式（３４）を構成する（ｋ，ｉｇ，ｊｇ）の組の、ある（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のいずれも検出されなかった場合、式（３４）のＧｏｂｓ'（ｋ，ｉｇ，ｊｇ）には、そのまま（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が用いられる。

第３実施の形態の式（２６），（２７）に対応する、第６実施の形態の赤色、青色の光量のバネ関係式も、同様に、式（３５），（３６）のように、それぞれ表すことができる。

・・・（３５）

ここで、式（３５）におけるΣは、ある位置（I'，J'）に対して、ｋ枚目の撮像画像上の位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組の個数分の和を表す。

但し、式（３５）を構成する（ｋ，ｉｒ，ｊｒ）の組の、ある（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかが検出された場合、式（３５）のＲｏｂｓ'（ｋ，ｉｒ，ｊｒ）には、その（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の代わりに、エッジの傾きｐを有し、画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）を通る平面の、位置（I'，J'）上の値（画素値）が用いられる。また、式（３５）を構成する（ｋ，ｉｇ，ｊｇ）の組の、ある（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のいずれも検出されなかった場合、式（３５）のＲｏｂｓ'（ｋ，ｉｒ，ｊｒ）には、そのまま（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が用いられる。

・・・（３６）

ここで、式（３６）におけるΣは、ある位置（I'，J'）に対して、ｋ枚目の撮像画像上の位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組の個数分の和を表す。

但し、式（３６）を構成する（ｋ，ｉｂ，ｊｂ）の組の、ある（ｋ，ｉｂ，ｊｂ）の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかが検出された場合、式（３６）のＢｏｂｓ'（ｋ，ｉｂ，ｊｂ）には、その（ｋ，ｉｂ，ｊｂ）の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）の代わりに、エッジの傾きｐを有し、画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）を通る平面の、位置（I'，J'）上の値（画素値）が用いられる。また、式（３６）を構成する（ｋ，ｉｇ，ｊｇ）の組の、ある（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置に、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のいずれも検出されなかった場合、式（３６）のＢｏｂｓ'（ｋ，ｉｂ，ｊｂ）には、そのまま（ｋ，ｉｂ，ｊｂ）の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）が用いられる。

図３６のフローチャートを参照して、図２のステップＳ４における画像推定処理の第６実施の形態について説明する。

初めに、ステップＳ１４１において、演算回路２４は、基準座標系上のある位置（Ｉ'，Ｊ'）に注目する（以下、注目位置（Ｉ'，Ｊ'）と称する）。ここで、注目位置（Ｉ'，Ｊ'）は、基準画像である１枚目の撮像画像の「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。

そして、ステップＳ１４１からＳ１４２に進み、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１４３に進む。

ステップＳ１４３において、演算回路２４は、ステップＳ１４２で求めた（ｋ，ｉｇ，ｊｇ）の組それぞれに対応する基準座標系上の位置について、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかがあるかどうかを判定する。ステップＳ１４３で、上述の４つの方向のいずれかのエッジがあると判定された場合、ステップＳ１４４に進み、演算回路２４は、エッジがある位置に対応する（ｋ，ｉｇ，ｊｇ）の組それぞれについて、その画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を通り、エッジの傾きｐを有する平面を作成する（求める）。また、演算回路２４は、注目位置（I'，J'）における平面上の値（画素値）を演算し、ステップＳ１４４からＳ１４５に進む。

また、ステップＳ１４３で上述の４つの方向のいずれのエッジもないと判定された場合、または、ステップＳ１４４の処理の後、ステップＳ１４５において、演算回路２４は、ステップＳ１４２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて、式（３４）で表される緑色の光量のバネ関係式を生成して、ステップＳ１４６に進む。ここで、ステップＳ１４３において、ある（ｋ，ｉｇ，ｊｇ）に対応する基準座標系上の位置に、上述の４つの方向のいずれかのエッジがあると判定された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）については、演算回路２４は、ステップＳ１４４で求められた注目位置（I'，J'）における平面上の値（画素値）を、その（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）として、式（３４）のＧｏｂｓ'（ｋ，ｉｇ，ｊｇ）に代入する。また、ステップＳ１４３において、ある（ｋ，ｉｇ，ｊｇ）に対応する基準座標系上の位置に、上述の４つの方向のいずれのエッジもないと判定された画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）については、演算回路２４は、その（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を、そのまま式（３４）のＧｏｂｓ'（ｋ，ｉｇ，ｊｇ）に代入する。

ステップＳ１４６において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１４７に進む。

ステップＳ１４７において、演算回路２４は、ステップＳ１４６で求めた（ｋ，ｉｒ，ｊｒ）の組それぞれに対応する基準座標系上の位置について、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかがあるかどうかを判定する。ステップＳ１４７で、上述の４つの方向のいずれかのエッジがあると判定された場合、ステップＳ１４８に進み、演算回路２４は、エッジがある位置に対応する（ｋ，ｉｒ，ｊｒ）の組それぞれについて、その画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）を通り、エッジの傾きｐを有する平面を作成する（求める）。また、演算回路２４は、注目位置（I'，J'）における平面上の値（画素値）を演算し、ステップＳ１４８からＳ１４９に進む。

また、ステップＳ１４７で上述の４つの方向のいずれのエッジもないと判定された場合、および、ステップＳ１４８の処理の後、ステップＳ１４９において、演算回路２４は、ステップＳ１４６で求めたすべての（ｋ，ｉｒ，ｊｒ）の組を用いて、式（３５）で表される赤色の光量のバネ関係式を生成して、ステップＳ１５０に進む。ここで、ステップＳ１４７において、ある（ｋ，ｉｒ，ｊｒ）に対応する基準座標系上の位置に、上述の４つの方向のいずれかのエッジがあると判定された画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）については、演算回路２４は、ステップＳ１４８で求められた注目位置（I'，J'）における平面上の値（画素値）を、その（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）として、式（３５）のＲｏｂｓ'（ｋ，ｉｒ，ｊｒ）に代入する。また、ステップＳ１４７において、ある（ｋ，ｉｒ，ｊｒ）に対応する基準座標系上の位置に、上述の４つの方向のいずれのエッジもないと判定された画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）については、演算回路２４は、その（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）を、そのまま式（３５）のＲｏｂｓ'（ｋ，ｉｒ，ｊｒ）に代入する。

ステップＳ１５０において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１５１に進む。

ステップＳ１５１において、演算回路２４は、ステップＳ１５２で求めた（ｋ，ｉｂ，ｊｂ）の組それぞれに対応する基準座標系上の位置について、「縦方向のエッジ」、「横方向のエッジ」、「左上から右下方向のエッジ」、「右下から左下方向のエッジ」のうちのいずれかがあるかどうかを判定する。ステップＳ１５１で、上述の４つの方向のいずれかのエッジがあると判定された場合、ステップＳ１５２に進み、演算回路２４は、エッジがある位置に対応する（ｋ，ｉｂ，ｊｂ）の組それぞれについて、その画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）を通り、エッジの傾きｐを有する平面を作成する（求める）。また、演算回路２４は、注目位置（I'，J'）における平面上の値（画素値）を演算し、ステップＳ１５２からＳ１５３に進む。

また、ステップＳ１５１で上述の４つの方向のいずれのエッジもないと判定された場合、および、ステップＳ１５２の処理の後、ステップＳ１５３において、演算回路２４は、ステップＳ１５０で求めたすべての（ｋ，ｉｂ，ｊｂ）の組を用いて、式（３６）で表される青色の光量のバネ関係式を生成して、ステップＳ１５４に進む。ここで、ステップＳ１５１において、ある（ｋ，ｉｂ，ｊｂ）に対応する基準座標系上の位置に、上述の４つの方向のいずれかのエッジがあると判定された画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）については、演算回路２４は、ステップＳ１５２で求められた注目位置（I'，J'）における平面上の値（画素値）を、その（ｋ，ｉｂ，ｊｂ）の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）として、式（３６）のＢｏｂｓ'（ｋ，ｉｂ，ｊｂ）に代入する。また、ステップＳ１５１において、ある（ｋ，ｉｂ，ｊｂ）に対応する基準座標系上の位置に、上述の４つの方向のいずれのエッジもないと判定された画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）については、演算回路２４は、その（ｋ，ｉｂ，ｊｂ）の組の画素値Ｂｏｂｓ（ｋ，ｉｂ，ｊｂ）を、そのまま式（３６）のＢｏｂｓ'（ｋ，ｉｂ，ｊｂ）に代入する。

ステップＳ１５４において、演算回路２４は、ステップＳ１４５で求めた式（３４）で表される緑色の光量のバネ関係式、ステップＳ１４９で求めた式（３５）で表される赤色の光量のバネ関係式、ステップＳ１５３で求めた式（３６）で表される青色の光量のバネ関係式を、一次方程式として解くことにより、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求め、ステップＳ１５５に進む。

ステップＳ１５５において、演算回路２４は、すべての位置（Ｉ'，Ｊ'）を注目位置としたか、即ち、１枚目の撮像画像の画素の中心位置のすべてを注目位置（Ｉ'，Ｊ'）として、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めたか否かを判定する。

ステップＳ１５５で、すべての位置（Ｉ'，Ｊ'）を、まだ注目位置として求めていないと判定された場合、ステップＳ１４１に戻り、ステップＳ１４１乃至Ｓ１５５の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（Ｉ'，Ｊ'）を次の注目位置（Ｉ'，Ｊ'）として、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求める。

一方、ステップＳ１５５で、すべての位置（Ｉ'，Ｊ'）を注目位置としたと判定された場合、ステップＳ１５６に進み、演算回路２４は、ステップＳ１５４で求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、画像（信号）を推定し、D/Aコンバータ９またはコーデック１２に出力画像として供給し、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ１５４で求めた真の緑色の光量Ｌｇ（ｉ−０．５，ｊ−０．５）と、赤色の値（Ｒ信号）としてステップＳ１５４で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）と、青色の値（Ｂ信号）としてステップＳ１５４で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）を中心位置とする画素すべてについて行うことにより、出力画像を推定する。

以上のように、第６実施の形態では、エッジ部分の位置で観測された画素値については、そのエッジの傾き（急峻度合い）に応じて、バネ関係式に代入する画素値を変更することにより、より正確な（鮮明な）画像を求めることができる。

なお、上述した例では、エッジ部分にある画素値をエッジの傾き（急峻度合い）に応じた注目位置（Ｉ'，Ｊ'）上の画素値に変更したが、その他、例えば、エッジ部分にある画素値をそのまま採用するが、注目位置（Ｉ'，Ｊ'）までの距離に応じて重みを付け（変更し）、バネ関係式でのエッジ部分にある画素値の影響を少なくするようにすることもできる。

また、上述の例では、作成される平面Ｑ１乃至Ｑ４の傾きを、基準座標系上のある位置（ｘ，ｙ）を中心とする９の領域（３×３画素幅の領域）内の位置で観測される画素値を用いて求めることとしたが、例えば、１６の領域（４×４画素幅の領域）など、その他の領域の位置で観測される画素値により求めるようにしてもよい。

(第７実施の形態)
次に、信号処理回路７における、画像推定処理の第７実施の形態について説明する。第７実施の形態は、図２４で説明した第３実施の形態を応用したものである。

即ち、第７実施の形態は、第３実施の形態において、式（２５），（２６），（２７）で表されるバネ関係式の他に、Ｒ信号とＧ信号とＢ信号どうしの相関に関する色相関の条件を付加して、それらすべての条件式を満たす真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）を求めるものである。

画像の局所的な部分に着目すれば、撮像素子４に入射される被写体の光と等価な真の緑色の光量Ｌｇ（ｘ，ｙ）、真の赤色の光量Ｌｒ（ｘ，ｙ）、真の青色の光量Ｌｂ（ｘ，ｙ）には、色どうしの相関がある。従って、画像推定処理により推定される画像についても色相関があるとして、その色相関の条件をさらに付加することにより、ノイズ等による誤差を軽減した、より正確な解、即ち、より本来の光に忠実で鮮明な画像を求めることができる。

図３７と図３８を参照して、具体的な色相関の条件を求める方法について説明する。図３７と図３８では、緑色（Ｇ信号）と赤色（Ｒ信号）の色相関の条件を考える。

図３７左下側のｋ'枚目画像のｉｇ番目、ｊｇ番目の、ある緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と、図３７右下側のｋ”枚目画像のｉｒ番目、ｊｒ番目の、ある赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）に注目する。

演算回路２４は、ｋ'枚目画像の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”枚目画像の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）の位置を、第３実施の形態で説明したように、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と変換パラメータ（θｋ”，Ｔｋ”ｘ，Ｔｋ”ｙ，Ｓｋ”）によりそれぞれ変換することで、図３７上側の１枚目画像の座標系における位置を求める。

そして、演算回路２４は、１枚目画像の座標系に変換されたｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と１枚目画像の座標系に変換されたｋ”枚目の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）との距離を計算する。さらに、演算回路２４は、その距離が、同一の位置とみなす許容値（判定値）delta（例えば、０．２５画素）以内であるかどうかを判定する。

例えば、画素Ｇ（ｊｇ−１）（ｉｇ−１）と画素Ｒ（ｊｒ−１）（ｉｒ−１）の位置を、位置（ｉｇ，ｊｇ）と位置（ｉｒ，ｊｒ）で、それぞれ考えることとして、ｋ'枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）を点Ｇ_cと、ｋ”枚目画像の座標系における画素Ｒ（ｊｇ−１）（ｉｇ−１）の位置（ｉｒ，ｊｒ）を点Ｒ_cと、１枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）をＧ_c(k')と、１枚目画像の座標系における画素Ｒ（ｊｇ−１）（ｉｇ−１）の位置（ｉｒ，ｊｒ）をＲ_c(k”)と、それぞれ表すこととすると、点Ｇ_c(k')と点Ｒ_c(k”)との距離が許容値delta以内であるかを表す式（３７）は、次のように書ける。

・・・（３７）

式（３７）を距離の条件式と称する。ここで、Ｄｉｓ［Ｇ_c(k')，Ｒ_c(k”)］は、点Ｇ_c(k')と点Ｒ_c(k”)との間の距離を表す。また、点Ｇ_c(k')と点Ｒ_c(k”)で表される位置は、位置（ｉｇ，ｊｇ）と位置（ｉｒ，ｊｒ）を、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と（θｋ”，Ｔｋ”ｘ，Ｔｋ”ｙ，Ｓｋ”）でそれぞれアフィン変換したものである。

演算回路２４は、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”枚目の赤色の画素Ｒ（ｊｒ−１）（ｉｒ−１）とが、ある許容範囲deltaのマージンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、１枚目画像の座標系における、ある位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ，Ｊ'±ｄＹ）の近傍領域、つまり、（Ｉ'−ｄＸ，Ｊ'−ｄＹ），（Ｉ'−ｄＸ，Ｊ'＋ｄＹ），（Ｉ'＋ｄＸ，Ｊ'−ｄＹ），および（Ｉ'＋ｄＸ，Ｊ'＋ｄＹ）で囲まれる領域について求める。ここで、ｄＸとｄＹは、それぞれ、近傍領域を設定する所定の値で、例えば、２画素分のＸ方向とＹ方向の長さなどとすることができる。

逆に言うと、演算回路２４は、１枚目画像の座標系における、注目位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ，Ｊ'±ｄＹ）の近傍領域、つまり、（Ｉ'−ｄＸ，Ｊ'−ｄＹ），（Ｉ'−ｄＸ，Ｊ'＋ｄＹ），（Ｉ'＋ｄＸ，Ｊ'−ｄＹ），および（Ｉ'＋ｄＸ，Ｊ'＋ｄＹ）で囲まれる領域において、上述の式（３７）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）を求める。

そして、演算回路２４は、求められた(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）とを得る。

演算回路２４は、ｋ'，ｋ”それぞれを１乃至Ｎとしたすべての組み合わせについて、上述の式（３７）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）を求める。

一般的には、複数の(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組み合わせが検出されるので、演算回路２４は、検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組を、図３８に示すように、横軸をＧ信号（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)）、縦軸をＲ信号（Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ））とするＧＲ空間にプロットする。

図３８は、式（３７）を満たす画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）とのセットで表される点をプロットしたＧＲ空間を示している。

図３８のバツ印が、演算回路２４により検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組、即ち、式（３７）を満たす画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組を表している。

注目位置（Ｉ'，Ｊ'）の近傍領域においては、求めるべき真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、および真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）には、図３８に示したような相関があると考えられる。

そこで、第７の実施の形態においては、第３実施の形態における式（２５）乃至式（２７）で表されるバネ関係式の他に、さらに、図３８に示した緑色と赤色に相関があることを条件として付加する。

即ち、演算回路２４は、演算回路２４により式（３７）の距離の条件式を満たす画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ）との組で表される、図３８のＧＲ空間にプロットされた複数の点について、主成分分析を行う。

そして、演算回路２４は、主成分分析の分析結果である主成分の方向を求め、その方向（軸）を表す直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃを求める。ここで、Ｑｇ、Ｑｒ、Ｑｃは、ＧＲ空間上の直線を表す定数であり、ＧとＲは、ＧＲ空間上のＧ信号とＲ信号を表す変数である。また、演算回路２４は、主成分の方向と直交する成分についての分散を求める。

ここで、自然長が０で、バネ定数（バネの強さ）がＨのバネを導入する。バネ定数Ｈは、ＧＲ空間上で求められた主成分の方向と直交する成分についての分散に対して、単調減少する任意の関数とすることができ、例えば、Ｈ＝（１÷分散）などを採用することができる。つまり、分散が小さいほどバネが強く（バネ定数が大きく）なる。

このバネ定数Ｈのバネの両端の一端は、ＧＲ空間上での点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））に接続され、バネの他端は、主成分の方向の直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃ上の任意の点に移動可能なように接続される。これにより、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））は、その点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））から直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃに垂らした垂線の方向へ引っ張られる。つまり、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））は、色相関の一致性（Ｇ信号とＲ信号の色相関の関係）が満たされるように引っ張られる。

ここで、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））と主成分の方向の直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃとの距離をｕと表すと、バネ定数Ｈのバネが、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））を引っ張る力は、Ｈ×ｕ（以下、適宜、ＧＲバネ力という）で表される。このＧＲ空間におけるＧＲバネ力Ｈ×ｕを、Ｇ信号成分とＲ信号成分に分解し、式（２５）と式（２６）それぞれの左辺に加算対象として付加することにより、色相関が考慮されることになる。

以上の色相関の条件を、緑色（Ｇ信号）と青色（Ｂ信号）についても考える。

図３７に示した緑色と赤色の画素の場合と同様に、演算回路２４は、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置を、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と変換パラメータ（θｋ”'，Ｔｋ”'ｘ，Ｔｋ”'ｙ，Ｓｋ”'）によりそれぞれ変換することで、１枚目画像の座標系における位置を求める。

そして、演算回路２４は、１枚目画像の座標系に変換されたｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）と１枚目画像の座標系に変換されたｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）との距離を計算する。さらに、演算回路２４は、その距離が、同一の位置にいるとみなす許容値（判定値）delta以内であるかどうかを判定する。

例えば、画素Ｇ（ｊｇ−１）（ｉｇ−１）と画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置を、位置（ｉｇ，ｊｇ）と位置（ｉｂ，ｊｂ）で、それぞれ考えることとして、ｋ'枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）を点Ｇ_cと、ｋ”'枚目画像の座標系における画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置（ｉｂ，ｊｂ）を点Ｂ_cと、１枚目画像の座標系における画素Ｇ（ｊｇ−１）（ｉｇ−１）の位置（ｉｇ，ｊｇ）をＧ_c(k')と、１枚目画像の座標系における画素Ｂ（ｊｂ−１）（ｉｂ−１）の位置（ｉｂ，ｊｂ）をＢ_c(k”')と、それぞれ表すこととすると、点Ｇ_c(k')と点Ｂ_c(k”')との距離が許容値delta以内であるかを表す式（３８）は、次のように書ける。

・・・（３８）

式（３８）を距離の条件式と称する。ここで、Ｄｉｓ［Ｇ_c(k')，Ｂ_c(k”')］は、点Ｇ_c(k')と点Ｂ_c(k”')との間の距離を表す。また、点Ｇ_c(k')と点Ｂ_c(k”')で表される位置は、位置（ｉｇ，ｊｇ）と位置（ｉｂ，ｊｂ）を、変換パラメータ（θｋ'，Ｔｋ'ｘ，Ｔｋ'ｙ，Ｓｋ'）と（θｋ”'，Ｔｋ”'ｘ，Ｔｋ”'ｙ，Ｓｋ”'）でそれぞれアフィン変換したものである。

演算回路２４は、ｋ'枚目の緑色の画素Ｇ（ｊｇ−１）（ｉｇ−１）とｋ”'枚目の青色の画素Ｂ（ｊｂ−１）（ｉｂ−１）とが、ある許容範囲deltaのマージンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、１枚目画像の座標系における、ある位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ，Ｊ'±ｄＹ）の近傍領域、つまり、（Ｉ'−ｄＸ，Ｊ'−ｄＹ），（Ｉ'−ｄＸ，Ｊ'＋ｄＹ），（Ｉ'＋ｄＸ，Ｊ'−ｄＹ），および（Ｉ'＋ｄＸ，Ｊ'＋ｄＹ）で囲まれる領域について求める。ここで、ｄＸ，ｄＹは、それぞれ、近傍領域を設定する所定の値で、例えば、２画素分のＸ方向とＹ方向の長さなどとすることができる。

逆に言うと、演算回路２４は、１枚目画像の座標系における、注目位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ，Ｊ'±ｄＹ）の近傍領域、つまり、（Ｉ'−ｄＸ，Ｊ'−ｄＹ），（Ｉ'−ｄＸ，Ｊ'＋ｄＹ），（Ｉ'＋ｄＸ，Ｊ'−ｄＹ），および（Ｉ'＋ｄＸ，Ｊ'＋ｄＹ）で囲まれる領域において、上述の式（３８）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）を求める。

そして、演算回路２４は、求められた(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）とを得る。

演算回路２４は、ｋ'，ｋ”'それぞれを１乃至Ｎとしたすべての組み合わせについて、上述の式（３８）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）を求める。

一般的には、複数の(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組み合わせが検出されるので、演算回路２４は、検出された(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）とに対応する画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）との組を、横軸をＧ信号（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)）、縦軸をＢ信号（Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ））とするＧＢ空間にプロットする。

そこで、第７の実施の形態においては、第３実施の形態における式（２５）乃至式（２７）で表されるバネ関係式の他に、さらに、緑色と青色に相関があることを条件として付加する。

即ち、演算回路２４は、演算回路２４により式（３８）の距離の条件式を満たす画素値Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)と画素値Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ）との組で表される、ＧＢ空間にプロットされた複数の点について、主成分分析を行う。

そして、演算回路２４は、主成分分析の分析結果である主成分の方向を求め、その方向（軸）を表す直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'を求める。ここで、Ｑｇ'、Ｑｂ'、Ｑｃ'は、ＧＢ空間上の直線を表す定数であり、ＧとＢは、ＧＢ空間上のＧ信号とＢ信号を表す変数である。また、演算回路２４は、主成分の方向と直交する成分についての分散を求める。

ここで、自然長が０で、バネ定数（バネの強さ）がＨのバネを導入する。バネ定数Ｈは、ＧＢ空間上で求められた主成分の方向と直交する成分についての分散に対して、単調減少する任意の関数とすることができ、例えば、Ｈ＝（１÷分散）などを採用することができる。つまり、分散が小さいほどバネが強く（バネ定数が大きく）なる。

このバネ定数Ｈのバネの両端の一端は、ＧＢ空間上での点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））に接続され、バネの他端は、主成分の方向の直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'上の任意の点に移動可能なように接続される。これにより、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））は、その点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））から直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'に垂らした垂線の方向へ引っ張られる。つまり、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））は、色相関の一致性（Ｇ信号とＢ信号の色相関の関係）が満たされるように引っ張られる。

ここで、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））と主成分の方向の直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'との距離をｕと表すと、バネ定数Ｈのバネが、点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））を引っ張る力は、Ｈ×ｕ（以下、適宜、ＧＢバネ力という）で表される。このＧＢ空間におけるＧＢバネ力Ｈ×ｕを、Ｇ信号成分とＢ信号成分に分解し、式（２５）と式（２７）それぞれの左辺に加算対象として付加することにより、色相関が考慮されることになる。

なお、本実施の形態では、上述のＧＲ、ＧＢ空間の２つの色相関の条件のみ付加することとするが、同様にして、Ｒ信号とＢ信号との（ＲＢ空間の）色相関の条件についても付加するようにしてもよい。

図３９のフローチャートを参照して、図２のステップＳ４における画像推定処理の第７実施の形態について説明する。

ステップＳ１７１乃至Ｓ１７７は、図２４に示した第３実施の形態の画像推定処理のステップＳ７１乃至Ｓ７７と同様である。

即ち、ステップＳ１７１において、演算回路２４は、基準座標系上のある位置（Ｉ'，Ｊ'）に注目する（以下、注目位置（Ｉ'，Ｊ'）と称する）。ここで、注目位置（Ｉ'，Ｊ'）は、基準画像である１枚目の撮像画像の「ｉ番目、ｊ番目の画素」の画素中心（ｉ−０．５，ｊ−０．５）を表している。

そして、ステップＳ１７１からＳ１７２に進み、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１７３に進む。

ステップＳ１７３において、演算回路２４は、ステップＳ１７２で求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて、式（２５）で表される緑色の光量のバネ関係式を生成して、ステップＳ１７４に進む。

ステップＳ１７４において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１７５に進む。

ステップＳ１７５において、演算回路２４は、ステップＳ１７４で求めたすべての（ｋ，ｉｒ，ｊｒ）の組を用いて、式（２６）で表される赤色の光量のバネ関係式を生成して、ステップＳ１７６に進む。

ステップＳ１７６において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ１７７に進む。

ステップＳ１７７において、演算回路２４は、ステップＳ１７６で求めたすべての（ｋ，ｉｂ，ｊｂ）の組を用いて、式（２７）で表される青色の光量のバネ関係式を生成して、ステップＳ１７８に進む。

ステップＳ１７８において、演算回路２４は、注目位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ,Ｊ'±ｄＹ）で規定される領域において、式（３７）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組をすべて求める。さらに、演算回路２４は、その求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”，ｉｒ，ｊｒ）との組で特定されるＧＲ空間上の点（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)，Ｒｏｂｓ（ｋ”，ｉｒ，ｊｒ））をプロットし、主成分分析を行う。また、演算回路２４は、その主成分方向と直交する成分の分散を求め、その分散の逆数をバネ定数Ｈとして求める。そして、演算回路２４は、主成分方向を表す直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃを求め、ＧＲ空間上での点（Ｌｇ（Ｉ'，Ｊ'），Ｌｒ（Ｉ'，Ｊ'））と、直線Ｑｇ×Ｇ＋Ｑｒ×Ｒ＝Ｑｃとの距離ｕを用いて表される未知数としてのＧＲバネ力Ｈ×ｕを得る。さらに、演算回路２４は、ＧＲバネ力Ｈ×ｕのＧ信号成分を式（２５）の左辺の加算対象に加えるとともに、ＧＲバネ力Ｈ×ｕのＲ信号成分を式（２６）の左辺に加算対象として加える。そして、ステップＳ１７８からＳ１７９に進む。

ステップＳ１７９において、演算回路２４は、注目位置（Ｉ'，Ｊ'）を中心とする（Ｉ'±ｄＸ,Ｊ'±ｄＹ）で規定される領域において、式（３８）を満たす(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組をすべて求める。さらに、演算回路２４は、その求めた(ｋ'，ｉｇ，ｊｇ)と（ｋ”'，ｉｂ，ｊｂ）との組で特定されるＧＢ空間上の点（Ｇｏｂｓ(ｋ'，ｉｇ，ｊｇ)，Ｂｏｂｓ（ｋ”'，ｉｂ，ｊｂ））をプロットし、主成分分析を行う。また、演算回路２４は、その主成分方向と直交する成分の分散を求め、その分散の逆数をバネ定数Ｈとして求める。そして、演算回路２４は、主成分方向を表す直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'を求め、ＧＢ空間上での点（Ｌｇ（Ｉ'，Ｊ'），Ｌｂ（Ｉ'，Ｊ'））と、直線Ｑｇ'×Ｇ＋Ｑｂ'×Ｂ＝Ｑｃ'との距離ｕを用いて表される未知数としてのＧＢバネ力Ｈ×ｕを得る。さらに、演算回路２４は、ＧＢバネ力Ｈ×ｕのＧ信号成分を式（２５）の左辺の加算対象に加えるとともに、ＧＢバネ力Ｈ×ｕのＢ信号成分を式（２７）の左辺に加算対象として加える。そして、ステップＳ１７９からＳ１８０に進む。

ステップＳ１８０において、演算回路２４は、ＧＲおよびＧＢ空間における色相関の条件が付加された緑色の光量のバネ関係式、ＧＲ空間における色相関の条件が付加された赤色の光量のバネ関係式、ＧＢ空間における色相関の条件が付加された青色の光量のバネ関係式を、例えば、一次方程式として解くことにより、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求め、ステップＳ１８１に進む。

ステップＳ１８１において、演算回路２４は、すべての位置（Ｉ'，Ｊ'）を注目位置としたか、即ち、１枚目の撮像画像の画素の中心位置のすべてを注目位置（Ｉ'，Ｊ'）として、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めたか否かを判定する。

ステップＳ１８１で、すべての位置（Ｉ'，Ｊ'）をまだ注目位置として求めていないと判定された場合、ステップＳ１７１に戻り、ステップＳ１７１乃至Ｓ１８１の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（Ｉ'，Ｊ'）を次の注目位置（Ｉ'，Ｊ'）として、注目位置（Ｉ'，Ｊ'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）をそれぞれ求める。

一方、ステップＳ１８１で、すべての位置（Ｉ'，Ｊ'）を注目位置としたと判定された場合、ステップＳ１８２に進み、演算回路２４は、ステップＳ１８０で求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、画像（信号）を推定し、D/Aコンバータ９またはコーデック１２に出力画像として供給し、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ１８０で求めた真の緑色の光量Ｌｇ（ｉ−０．５，ｊ−０．５）と、赤色の値（Ｒ信号）としてステップＳ１８０で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）と、青色の値（Ｂ信号）としてステップＳ１８０で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）を中心位置とする画素すべてに行うことにより、出力画像を推定する。

以上のように、第７実施の形態では、色相関の条件をさらに付加することにより、ノイズ等による誤差を軽減した、より正確な解、即ち、より本来の光に忠実で鮮明な画像を求めることができる。

さて、本発明の特徴を明確にするために、再度、本発明と、従来技術の違いを説明する。

図４０は、本発明の方法と従来の方法の処理の流れを示している。

図４０に示したように、従来から、「図中の（ア）：単板センサから出力された画像（例えば、ベイヤー配列の画像：１画素につきＲ信号、Ｇ信号、またはＢ信号のいずれか１つしかない画像）から、通常のカラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）への変換方法」は、いくつも存在している。事実、製品として販売されている単板センサを用いたデジタルスチルカメラには、この変換方法がインプリメントされているものがある。この変換方法は、デモザイキングと呼ばれる処理である。

そして、従来から、「図中の（イ）：複数枚の暗い（あるいはＳＮ比の悪い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）から、鮮明な（あるいはＳＮ比の良い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）を作成する方法」も、知られていた。具体的には、従来の技術のところで述べた特許文献２や特許文献３などの方法である。

従って、これら２つの方法を組み合わせることで、「複数枚の暗い（あるいはＳＮ比の悪い）単板センサから出力された画像（例えば、ベイヤー配列の画像：１画素につきＲ信号、Ｇ信号、またはＢ信号のいずれか１つしかない画像）から、鮮明な（あるいはＳＮ比の良い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）を作成する」ことが出来る。

つまり、複数枚（ｍ枚）の暗い（あるいはＳＮ比の悪い）単板センサから出力された画像（例えば、ベイヤー配列の画像：１画素につきＲ信号、Ｇ信号、またはＢ信号のいずれか１つしかない画像）２０１−ｍのそれぞれに対して、図中の（ア）で示されるようにデモザイキング処理２０２−ｍを行い、暗い（あるいはＳＮ比の悪い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）２０３−ｍを一度作成する。そして、それらカラー画像２０３−ｍに対して、図中の（イ）で示した特許文献２や特許文献３の方法を使って、鮮明な（あるいはＳＮ比の良い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）２０４を作成すればよい。ここで、ｍは、所定の枚数を表す整数とする。

さて、デモザイキングの処理では、当然、補間処理あるいはそれに類似の処理が行われるので、画像の鮮明さは薄れる。そして、特許文献２や特許文献３などにおける処理でも、デジタルサンプリングされたデータの位置合わせを行うため、補間処理が行われるので、ここでも画像の鮮明さは薄れる。このように、図中の（ア）および（イ）において、補間処理が合計で２回行われるので、画像の鮮明さはかなり薄れる。ちなみに、補間処理は、周囲のデータから特定の地点でのデータを復元する際に用いられる処理であり、補間すればするほど画像の鮮明さがなくなるのは明白である。

一方、本発明においては、「複数枚の暗い（あるいはＳＮ比の悪い）単板センサから出力された画像（例えば、ベイヤー配列の画像：１画素につきＲ信号、Ｇ信号、またはＢ信号のいずれか１つしかない画像）から、直接、鮮明な（あるいはＳＮ比の良い）カラー画像（１画素につきＲ信号、Ｇ信号、およびＢ信号の３つのデータが揃った画像）を作成する」ので、補間処理あるいはそれに類似する処理が１箇所しか存在しない。従って、従来の方法よりも鮮明な画像を復元することができる。このように、本発明と従来技術の違い、および、本発明の利点は、明白である。

また、従来の方法では、各画像に対してデモザイキング処理を行うので、例えば、８枚の画像がある場合、８回のデモザイキング処理（図中の（ア））を行わなくてはならない。つまり、計算量が膨大になってしまう欠点もあった。

本発明と従来の方法との差異を別の見方により説明する。

従来の技術のところで述べた特許文献２などに示される方法では、手ぶれの分だけ位置をずらして重ねると良いという事が述べられている。これは、手ぶれの分だけ位置をずらした画像を補間により作成することを意味している。Ｎ枚の画像を重ね合わせるということは、出力画像のすべての画素は、Ｎ個分のデータが重ね合わせられるということになる。従って、重ね合わせた後に、すべての画素に対して、一定の値（つまり、Ｎ、あるいは、「（適正露出における露出時間）÷（実際の撮影における露出時間）÷Ｎ」）で割ることになる。また、ある決まった一定量の画素のずれを起こして、複数枚撮影して、それら画像の位置合わせを行いながら、合成していくことで高精彩な画像を得るという方法も従来からあったが、その場合でも、ずれ量が決まっているので、出力画像の各画素において、常にあらかじめ決められた値で割っていく（正規化していく）ことを行っていた。

それに対して、本発明の第１実施の形態や第２実施の形態では、出力画像の各位置（ｘ，ｙ）における条件の数、すなわち真の値の推定に用いることができる観測値(観測画素)の数は、場合によって変わる。ある人がある場面を撮影したときにおいて、ある位置（ｘ，ｙ）については、その近傍に沢山の入力画素Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）がある可能性がある。その場合、その位置（ｘ，ｙ）が関与する式（２０）は、多くなる。また、その近傍に少しの入力画素Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）しかなければ、その位置（ｘ，ｙ）が関与する式（２０）は、少なくなる。このように、出力画像の各位置（ｘ，ｙ）が関与する条件式の数は可変で、実際に撮影したときの状態（手ぶれによるずれ量）に依存する。このため、各画素位置の真の値の推定では、撮像状態(画像間の動き)に応じて、考慮すべき候補となる観測点およびその数等が適応的に変化し得る。この場合、例えば、観測点の数を固定しておき候補観測点からその数の観測点を選択するという構成、観測点の数と選択される観測点の双方を変動させる構成、或いは、観測点の位置、数や分布等についての所定の条件に応じて両者を使い分ける構成等が可能である。

また、本発明の第３乃至第７実施の形態では、手ぶれの分だけ位置をずらすが、ベイヤー配列のため、すべての出力位置に、なにかしらのデータが必ず加算されるわけではない。ｋ枚目の画像について、図２１に示した２×２画素の中に、位置補正したデータがなければ、その出力画素には、ｋ枚目の画像のどのデータも加味されない。逆に、図２１に示した２×２画素の中に、位置補正したデータが２つあれば、その出力画素には、２つのデータが（重みをつけて）加算される。より具体的に述べると、ある画素は、最終的に、重みの合計が１０であれば、１０で割って、出力画素となる。また、別の画素は、最終的に、重みの合計が３．５であれば、３．５で割って、出力画素となる。つまり、本発明では、式（２５）、式（２６）、式（２７）などに示す式において、Σで加算される総数が、実際に撮影したときの状態（手ぶれによるずれ量）に依存する。このため、各画素位置の真の値の推定では、撮像状態(画像間の動き)に応じて、考慮すべき候補となる観測点およびその数等が適応的に変化し得る。

このように、本発明においては、「単板センサ（ベイヤー配列のセンサ）から出力された複数の画像から、鮮明な画像を復元する場合には、条件式の数が可変、あるいは、重みが可変としなくてはいけない場合がある」ことを考慮しながら、適切な復元方法を提供した点が、従来では出来なかったことである。

上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、デジタルカメラ１は、図４１に示されるようなコンピュータにプログラムを実行させることにより実現することができる。

図４１において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。CPU３０１は、信号処理回路７の動き検出回路２３および演算回路２４等が行う処理を実行する。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。

入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットなどのネットワークを介しての通信処理を行う。撮像部３１１は、図１で示される撮像素子４などを有し、被写体を撮像し、その撮像した被写体の画像データを入出力インタフェース３０５を介してCPU３０１等に供給する。

入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

（第８実施の形態）
次に、信号処理回路７における、画像推定処理の第８実施の形態について説明する。第８実施の形態は、図２４で説明した第３実施の形態の一部を改良したものである。

第３実施の形態では、撮像素子４（図１）の各画素で受光されるデータ（受光量）をポイントサンプリングされたデータとして捉え、各画素中心で観測された画素値とカメラブレのない鮮明な画像としての画像信号との関係をバネモデルで表すことにより、より本来の光に忠実で鮮明な画像を求めた。

例えば、カメラブレのない鮮明な画像としての画像信号を構成するＧ信号、Ｒ信号、およびＢ信号のうちの、Ｇ信号については、第３実施の形態では、各画素中心の位置（Ｉ'，Ｊ'）の求めるべき真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、上述したように、式（２５）の緑色の光量のバネ関係式により表した。

式（２５）のバネ定数｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝／（Ｍｋ×Ｅ）のうちの｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝は、位置（I'，J'）と、位置（I'，J'）の近傍にある位置（ｘ，ｙ）との距離に対して単調減少する、いわば距離に応じた重みを表す。従って、位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）とは、位置（I'，J'）と位置（ｘ，ｙ）との距離が大きくなるほど、バネの引っ張る力が弱くなり、位置（I'，J'）と位置（ｘ，ｙ）との距離が小さくなるほど、バネの引っ張る力が強くなる関係がある。

一方、式（２５）のバネ定数｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝／（Ｍｋ×Ｅ）のうちの（Ｍｋ×Ｅ）は、相関２重サンプリング回路５（図１）で除去されないノイズ成分のノイズ量Ｅがゲインアップにより、Ｍｋ倍（ｋ＝１乃至Ｎ）されたものである。そして、１／（Ｍｋ×Ｅ）は、ノイズ量Ｅに対して単調減少する、いわばノイズによる重みを表す。従って、位置（ｘ，ｙ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）とは、ノイズ量Ｅが大きいほどバネの引っ張る力が弱くなり、ノイズ量Ｅが小さいほどバネの引っ張る力が強くなる関係がある。

第８実施の形態では、式（２５）で｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝とされていた、位置（I'，J'）と画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）がある位置（ｘ，ｙ）との距離に応じた重み（以下、単に、距離重みと称する）として、例えば、キュービック（Cubic）関数を用いたCubic（Ｉ'−ｘ）×Cubic（J'−ｙ）を採用する。即ち、第８実施の形態では、式（２５）の｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝に代えて、Cubic（Ｉ'−ｘ）×Cubic（J'−ｙ）を採用する。

ここで、キュービック関数Cubic(z)は、次式（３９）で表される。

・・・（３９）

なお、式（３９）のａは、予め決められた定数であり、例えば、−１などとされる。

キュービック関数Cubic(z)は、図４２に示すように、変数ｚが、２≦｜ｚ｜、および｜ｚ｜＝１の場合には、０となり、１＜｜ｚ｜＜２の場合には、負の値となる。また、｜ｚ｜＜１の場合には、Cubic(z)は、正の値となり、かつ、｜ｚ｜の値が大きくなるに従い、小さくなる。換言すれば、キュービック関数Cubic（ｚ）は、周波数軸で考えた場合（フーリエ変換した場合）にローパスフィルタの特性を有する関数である。

なお、式（２５）における、サメーション（Σ）の対象のｐ個目の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）をｖ_pと表すとともに、そのｐ個目の画素値ｖ_pに対するバネ定数｛√２−Ｆ（（ｘ，ｙ），（Ｉ'，Ｊ'））｝／（Ｍｋ×Ｅ）を、バネ定数Ｋ_pと表し、さらに、式（２５）を、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）について解くと、式（４０）が得られる。

・・・（４０）

ここで、式（４０）において、Σは、ｐについてのサメーションを表す。

式（４０）から、バネモデルによれば、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、バネ定数Ｋ_pを重みとし、画素値ｖ_pを用いた重み付け加算を行うことにより求められている、ということができる。真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）についても、同様である。

図４３は、位置（I'，J'）に対して、Ｎ枚の撮像画像の位置（ｉｇ−０．５，ｊｇ−０．５）を基準座標系（１枚目の座標系）上に変換した位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす整数ｋ，ｉｇ，ｊｇの組をすべて求め、その画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測された点Ｇ１１乃至Ｇ１９を示したものである。

図４３では、黒丸で示される位置（I'，J'）に対して、白丸で示される点Ｇ１１乃至点Ｇ１９で観測された９つの画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を特定する（ｋ，ｉｇ，ｊｇ）の組が得られている。なお、点Ｇ１１乃至Ｇ１９の整数ｋ，ｉｇ，ｊｇの組は、それぞれ異なるものである。

ここで、第３実施の形態においては、図２１で示したように、位置（I'，J'）に対して、Ｎ枚の撮像画像の位置（ｉｇ−０．５，ｊｇ−０．５）を基準座標系（１枚目の座標系）上に変換された位置（ｘ，ｙ）が、Ｉ'−１≦ｘ＜Ｉ'＋１，Ｊ'−１≦ｙ＜Ｊ'＋１を満たす整数ｋ，ｉｇ，ｊｇの組を求めたのに対して、第８実施の形態では、図４３に示すように、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす整数ｋ，ｉｇ，ｊｇの組を求めている。これは、上述したように、式（３９）で表されるキュービック関数Cubic(z)が、−２≦ｚ≦２の範囲で、引数ｚに応じた値をとるので（｜ｚ｜＞２の範囲では、引数ｚにかかわらず０であるので）、その範囲と対応する範囲、即ち、Ｉ'−２≦ｘ＜Ｉ'＋２、およびＪ'−２≦ｙ＜Ｊ'＋２の範囲で観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いて、位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を推定するためである。

また、第３実施の形態においては、次のようにして、ｋ枚目の撮像画像の位置（ｉｇ−０．５，ｊｇ−０．５）を、基準座標系である１枚目の撮像画像の位置（（ｉｇ−０．５）_(k)，（ｊｇ−０．５）_(k)）に変換していた。即ち、動き検出回路２３−（ｋ−１）は、１枚目の撮像画像とｋ枚目の撮像画像との位置関係から、回転角度θｋ、スケールＳｋ、平行移動量（Ｔｋｘ，Ｔｋｙ）で構成されるアフィン変換の変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）を求め、演算回路２４に供給する。そして、演算回路２４が、動き検出回路２３−（ｋ−１）から供給された変換パラメータ（θｋ，Ｔｋｘ，Ｔｋｙ，Ｓｋ）をアフィン変換の式（３）に用いて、ｋ枚目の撮像画像の位置（ｉｇ−０．５，ｊｇ−０．５）を、基準座標系における位置（（ｉｇ−０．５）_(k)，（ｊｇ−０．５）_(k)）に変換する。

一方、第８実施の形態では、動き検出回路２３−（ｋ−１）は、１枚目の撮像画像とｋ枚目の撮像画像との位置関係が次式（４１）で表されるアフィン変換の変換パラメータを求める。

・・・（４１）

即ち、動き検出回路２３−（ｋ−１）は、１枚目の撮像画像とｋ枚目の撮像画像との位置関係を表す式（４１）の行列（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'）と２次元ベクトル（Ｔｋｘ'，Ｔｋｙ'）を求め、演算回路２４に供給する。ここで、式（４１）の行列（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'）と２次元ベクトル（Ｔｋｘ'，Ｔｋｙ'）で表されるアフィン変換の変換パラメータを、単に、変換パラメータ（ａｋ'，ｂｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）と称する。

なお、ａｋ'＝ｄｋ'＝Ｓｋ×ｃｏｓ（θｋ）とするとともに、−ｂｋ'＝ｃｋ'＝ Ｓｋ×ｓｉｎ（θｋ）とすることにより、式（４１）は、式（３）と一致する。

ここで、式（４１）の（Ｘｋ，Ｙｋ）は、式（３）と同様に、ｋ枚目の撮像画像の画素の位置であり、（Ｘ１_(k)，Ｙ１_(k)）は、位置（Ｘｋ，Ｙｋ）を式（４１）でアフィン変換した１枚目の撮像画像上の位置（基準座標系上の位置）を表している。即ち、下付きの（ｋ）は、ｋ枚目の画像のある位置が基準座標系上に位置変換されたことを表している。なお、１枚目の撮像画像については、変換パラメータ（ａ１'，ｂ１'，ｃ１'，ｄ１'，Ｔ１ｘ'，Ｔ１ｙ'）＝（１，０，０，１，０，０）とみなすことで、ｋ＝１乃至Ｎに対して、式（４１）が成り立つ。

例えば、動き検出回路２３−１では、１枚目の撮像画像と２枚目の撮像画像との位置関係が次式（４２）で表されるような、変換パラメータ（ａ２'，ｂ２'，ｃ２'，ｄ２'，Ｔ２ｘ'，Ｔ２ｙ'）が求められ、演算回路２４に供給される。

・・・（４２）

また、例えば、動き検出回路２３−２では、１枚目の撮像画像と３枚目の撮像画像との位置関係が次式（４３）で表されるような、変換パラメータ（ａ３'，ｂ３'，ｃ３'，ｄ３'，Ｔ３ｘ'，Ｔ３ｙ'）が求められ、演算回路２４に供給される。

・・・（４３）

式（４３）は、３枚目の撮像画像上の位置（Ｘ３，Ｙ３）が、１枚目の撮像画像上の位置（Ｘ１，Ｙ１）に対して、例えば、手持ち撮影のため、変換パラメータ（ａ３'，ｂ３'，ｃ３'，ｄ３'，Ｔ３ｘ'，Ｔ３ｙ'）の分だけ移動したことを意味する。

変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）は、上述のように、１枚目の撮像画像を基準とする、ｋ枚目の撮像画像の位置関係からを求める他、デジタルカメラ１に加速度センサを設け、その加速度センサの出力から、いわば、メカニカル的に求めるようにすることもできる。また、手持ち撮影による手ブレでは、１枚目の撮像画像とｋ枚目の撮像画像との位置関係には、回転成分はほとんど含まれていないと考えることができるので、以下では、変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）の回転成分は、無視することができるもの（回転していないことを表す固定の値）としても良い。

一方、式（２５）のノイズによる重みに関しては、第８実施の形態では、Ｎ枚の撮像画像について、すべて同一のゲインアップ（ｎ'ビットシフト）が行われているものとする。即ち、第８実施の形態では、撮像素子４で撮像されたＮ枚の画像（入力画像）は、いずれも、適正露出で撮像された画像の１／Ｍ＝１／Ｍｋの明るさであるとする。例えば、撮像画像が適正露出で撮像された画像の１／８の明るさである場合、Ｍ＝８となり、シフト回路２１（図１）では、３ビットシフトによりゲインアップを行うことができる。

シフト回路２１において、Ｎ枚の撮像画像に対して、すべて同一のゲインアップを行うことにより、式（２５）のノイズによる重み１／（Ｍｋ×Ｅ）は、第８実施の形態では、１／（Ｍ×Ｅ）と表すことができる。

以上から、第３実施の形態における式（２５）は、第８実施の形態では、次式（４４）のように表すことができる。

・・・（４４）

ここで、式（４４）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｇ，ｊｇ）の組の個数分の和を表す。例えば、図４３に示した例では、点Ｇ１１乃至点Ｇ１９の９個の（ｋ，ｉｇ，ｊｇ）の組についての和となる。

式（４４）は、式（２５）の緑色の光量のバネ関係式に対応する、キュービック関数Cubic(z)を用いた、第８実施の形態の緑色の光量のバネ関係式であるということができる。

式（４４）のノイズによる重みである１／（Ｍ×Ｅ）は、Σの対象となる（ｋ，ｉｇ，ｊｇ）の組に関係なく一定であるから、Σの対象から外すことができ、従って、式（４４）は、次式（４５）に変形することができる。

・・・（４５）

さらに、式（４５）を、求めるべき真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）について解くと、次式（４６）が得られる。

・・・（４６）

第８実施の形態では、式（４６）により、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める。

式（４６）によれば、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、Cubic（Ｉ'−ｘ）×Cubic（J'−ｙ）を重みとして、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いた重み付け加算を行うことにより求められている、ということができる。ここで、重みCubic（Ｉ'−ｘ）×Cubic（J'−ｙ）は、位置（I'，J'）と画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）がある位置（ｘ，ｙ）との距離に対してローパスフィルタの特性を有する。

なお、以下では、式（４６）を緑色の光量の重み加算式と称する。また、式（４６）の緑色の光量の重み加算式の分子と分母を、次のように、式（４７）と式（４８）とする。

・・・（４７）

・・・（４８）

また、画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が、シフト回路２１においてＭ倍にゲインアップされる前のデータ（光量）をＤ_{Gobs(k,ig,jg)}とすると、式（４６）は、式（４９）のように表すことができる。

・・・（４９）

位置（I'，J'）における、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）と、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）も、式（４６）と同様に、式（５０）と式（５１）により、それぞれ表すことができる。

・・・（５０）

以下において、式（５０）を、赤色の光量の重み加算式と称する。ここで、式（５０）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｒ，ｊｒ）の組の個数分の和を表す。

・・・（５１）

以下において、式（５１）を、青色の光量の重み加算式と称する。ここで、式（５１）におけるΣは、ある位置（I'，J'）に対して、位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｂ，ｊｂ）の組の個数分の和を表す。

また、式（５０）の赤色の光量の重み加算式の分子と分母を、それぞれ、式（５２）と式（５３）とする。

・・・（５２）

・・・（５３）

同様に、式（５１）の青色の光量の重み加算式の分子と分母を、それぞれ、式（５４）と式（５５）とする。

・・・（５４）

・・・（５５）

以上の、式（４６）で表される緑色の光量の重み加算式、式（５０）で表される赤色の光量の重み加算式、および式（５１）で表される青色の光量の重み加算式を用いて、演算回路２４が、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求める処理を、後述する例外処理に対比させて、通常処理という。

次に、式（４６）の緑色の光量の重み加算式、式（５０）の赤色の光量の重み加算式、および式（５１）の青色の光量の重み加算式について考察する。

まず、式（４６）の緑色の光量の重み加算式は、位置（ｘ，ｙ）における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と距離重みCubic（Ｉ'−ｘ）×Cubic（J'−ｙ）との積和（距離重みCubic（Ｉ'−ｘ）×Cubic（J'−ｙ）による画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の重み付け加算値）である式（４７）の分子を、距離重みCubic（Ｉ'−ｘ）×Cubic（J'−ｙ）の総和である式（４８）の分母で除算したものである。

しかしながら、式（４６）の分母である式（４８）が０（ほぼ０も含む）となる場合、式（４６）で求められる真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、不安定（不定）な、信頼性のない値となる。換言すれば、式（４６）の分母である式（４８）が０となる位置（I'，J'）では、式（４６）の分子における画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に含まれる僅かなノイズ成分（誤差）が、０である分母で除算されることにより、大きな値に増幅され、その結果、式（４６）で求められる真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、大きなノイズを含む信頼性のない値となる。

分母である式（４８）が０となる場合は、例えば、キュービック関数Cubic（Ｉ'−ｘ）またはCubic（J'−ｙ）のうちの少なくとも一方が、式（４８）のサメーションの全範囲にわたって０となる場合である。そして、キュービック関数Cubic（Ｉ'−ｘ）またはCubic（J'−ｙ）が０となる場合は、図４２で示したキュービック関数の特性から、Ｉ'−ｘ＝±１またはＪ'−ｙ＝±１、即ち、ｘ＝Ｉ'±１またはｙ＝Ｊ'±１となる場合である。

従って、ある位置（I'，J'）に対して、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で基準座標系上に変換した場合に、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の範囲に出現する、すべての（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置（ｘ，ｙ）が、位置（I'，J'）とｘ＝Ｉ'±１またはｙ＝Ｊ'±１の関係があるとき、式（４６）で求められる真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）は、その分母が０（またはほぼ０）となるから、不安定（不定）な、信頼性のない値となる。但し、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の範囲に出現する画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の位置（ｘ，ｙ）すべてが、位置（I'，J'）と、ｘ＝Ｉ'±１またはｙ＝Ｊ'±１の関係となる状態は、極めて特別な、例外的な状態であり、以下、この関係となる状態を例外状態と称する

ここで、ｋ枚目の撮像画像の画素の位置（ｋ，ｉ，ｊ）を、変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で基準座標系上に変換した位置（ｘ，ｙ）を、以下、適宜、変換位置（ｘ，ｙ）（補正位置）ともいう。

図４４は、ある位置（I'，J'）が例外状態となっている場合を示す図である。

図４４では、位置（ｉｇ−０．５，ｊｇ−０．５）が変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換された点（変換位置）Ｇ１１'および点Ｇ１５'が、ｘ＝Ｉ'−１の関係となる位置に、点Ｇ１２'およびＧ１６'が、ｘ＝Ｉ'＋１の関係となる位置に、それぞれ出現している。

また、位置（ｉｇ−０．５，ｊｇ−０．５）が変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換された点Ｇ１３'および点Ｇ１４'が、ｙ＝Ｊ'−１の関係となる位置に、点Ｇ１７'、点Ｇ１８'、および点Ｇ１９'が、ｙ＝Ｊ'＋１の関係となる位置に、それぞれ出現している。

図４４に示す状態においては、基準座標系上のＩ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の範囲に変換された（ｋ，ｉｇ，ｊｇ）の組のすべての変換位置（ｘ，ｙ）が、位置（I'，J'）とｘ＝Ｉ'±１またはｙ＝Ｊ'±１の関係がある。この状態では、位置（I'，J'）を中心とした、およそ（I'±１，Ｊ'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、Ｇ信号のデータ（画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ））が１つも存在していない。

このような状態（例外状態）において、位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、式（４６）によって求めた場合、上述したように、信頼性の低い（不安定な）真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が得られることとなる。

そこで、位置（I'，J'）の画素が、このような例外状態である場合には、演算回路２４は、例外処理を行う。

即ち、例えば、いま、位置（I'，J'）を注目位置として、その注目位置（I'，J'）の出力画像の画素（以下、適宜、注目画素という）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を推定するとして、注目画素（の注目位置（I'，J'））が例外状態となっている場合、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にあるｋ枚目の撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の他に、変換位置（ｘ，ｙ）が注目画素の周辺の出力画像の画素の位置の近傍にあるｋ枚目の撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）をも用いて求める。ここで、注目位置（I'，J'）の注目画素の周辺の画素（以下、適宜、周辺画素という）としては、例えば、図４５に示すような、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１），（I'，J'＋１）それぞれの画素を採用することができる。

本実施の形態のデジタルカメラ１の撮像素子４は、図３を参照して説明したように、ベイヤー配列となっている。ベイヤー配列では、緑色の成分を受光する画素は、Ｘ方向およびＹ方向ともに、１画素おきに配列されている（図３参照）。なお、第８実施の形態では、撮像素子４は、横方向（Ｘ方向）にＷ画素、縦方向（Ｙ方向）にＨ画素の、Ｗ×Ｈの画素数を有しているとする。

いま注目位置（I'，J'）の近傍にＧ信号の観測値（である画素値）Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が存在していない場合、その注目位置（I'，J'）の注目画素は、ベイヤー配列の画素のうちの、緑色の成分を受光する画素ではないといえる。

例えば、注目位置（I'，J'）の注目画素が、図４６に示すように、ベイヤー配列の画素のうちの、青色の成分を受光する画素であり、丸で囲まれている画素Ｂ１２である場合、画素Ｂ１２の上下左右のいずれかには、緑色の成分を受光する画素が存在する。同様に、撮像素子４の赤色または青色の成分のうちのいずれかを受光する各画素に対しては、その画素の上下左右のいずれかに、緑色の成分を受光する画素が存在する。

従って、注目位置（I'，J'）の近傍にＧ信号の観測値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が存在していない場合（変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にある撮像画像の緑色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の上、下、左、または右に隣接する画素（周辺画素）の位置（I'，J'−１），（I'，J'＋１），（I'−１，J'）、または（I'＋１，J'）のうちのいずれかの近傍には、Ｇ信号の観測値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が存在する。そして、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素においては、Ｇ信号の観測値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素については、式（４６）により、信頼性のある真の緑色の光量Ｌｇ（Ｉ’，Ｊ’）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にある画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）の他に、注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）の近傍にある画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）をも用いて求める例外処理を行う。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を、次式（５６）で求める。

・・・（５６）

式（５６）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（４６）の分子の総和、即ち、式（４７）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（４６）の分母の総和、即ち、式（４８）の総和で除算することにより、真の緑色の光量Ｌｇ（Ｉ’，Ｊ’）が求められる。

なお、注目画素が例外状態である場合に、その注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるにあたっては、上述の式（５６）に限定されるものではなく、例えば、次の式（５７）を採用してもよい。

・・・（５７）

式（５７）では、注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）の４点それぞれについて式（４６）で求められる真の緑色の光量Ｌｇ（I'−１，J'），Ｌｇ（I'＋１，J'），Ｌｇ（I'，J'−１）、およびＬｇ（I'，J'＋１）の平均値を、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）と推定している式であるといえる。

次に、式（５０）の赤色の光量の重み加算式について考察する。

式（５０）の赤色の光量の重み加算式で求められる真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）についても、式（４６）の緑色の光量の重み加算式で求められる真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）と同様に、値が不安定となる場合、即ち、注目画素が例外状態となる場合がある。具体的には、ある注目画素の注目位置（I'，J'）に対して、位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で基準座標系上に変換した場合に、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の範囲に出現する、すべての（ｋ，ｉｒ，ｊｒ）の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の変換位置（ｘ，ｙ）が、図４４に示したように、位置（I'，J'）とｘ＝Ｉ'±１またはｙ＝Ｊ'±１の関係となることがある。このような状態（例外状態）においては、位置（I'，J'）を中心とした、およそ（I'±１，Ｊ'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、Ｒ信号のデータ（画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ））が１つも存在していない。

この場合、演算回路２４は、次の例外処理を行う。

即ち、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を、変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にあるｋ枚目の撮像画像の画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の他に、変換位置（ｘ，ｙ）が注目画素の周辺の出力画像の画素の位置の近傍にあるｋ枚目の撮像画像の画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）をも用いて求める。ここで、注目位置（I'，J'）の注目画素の周辺の周辺画素としては、例えば、図４７に示すような、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１），（I'＋１，J'＋１）それぞれの画素を採用することができる。

注目位置（I'，J'）の近傍にＲ信号の観測値（である画素値）Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が存在していない場合、その注目位置（I'，J'）の注目画素は、ベイヤー配列の画素のうちの、赤色の成分を受光する画素ではないといえる。

例えば、注目位置（I'，J'）の注目画素が、図４８に示すように、ベイヤー配列の画素のうちの、緑色の成分を受光する画素であり、丸で囲まれている画素Ｇ１１である場合、画素Ｇ１１の上下のいずれかには、赤色の成分を受光する画素が存在する。

また、例えば、注目位置（I'，J'）の注目画素が、図４８に示すように、ベイヤー配列の画素のうちの、緑色の成分を受光する画素であり、丸で囲まれている画素Ｇ２２である場合、画素Ｇ２２の左右のいずれかには、赤色の成分を受光する画素が存在する。

さらに、例えば、注目位置（I'，J'）の注目画素が、図４８に示すように、ベイヤー配列の画素のうちの、青色の成分を受光する画素であり、丸で囲まれている画素Ｂ１４である場合、画素Ｂ１４の右斜め上、右斜め下、左斜め上、および左斜め下のいずれかには、赤色の成分を受光する画素が存在する。

同様に、撮像素子４の、赤色の成分を受光する画素ではない各画素に対しては、その画素の上下、左右、右斜め上、右斜め下、左斜め上、および左斜め下のいずれかには、赤色の成分を受光する画素が存在する。

従って、注目位置（I'，J'）の近傍にＲ信号の観測値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が存在していない場合（変換位置（ｘ，ｙ）が注目位置（I’，J’）の近傍にある撮像画像の赤色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の左斜め上、上、右斜め上、左、右、左斜め下、下、または右斜め下に隣接する画素（周辺画素）の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの近傍には、Ｒ信号の観測値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が存在する。そして、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素においては、Ｒ信号の観測値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素については、式（５０）により、信頼性のある真の赤色の光量Ｌｒ（Ｉ’，Ｊ’）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を、変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にある画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）の他に、注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）の近傍にある画素の画素値Ｒｏｂｓ（ｋ，ｉｒ，ｊｒ）をも用いて求める。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を、次式（５８）で求める。

・・・（５８）

式（５８）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（５０）の分子の総和、即ち、式（５２）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（５０）の分母の総和、即ち、式（５３）の総和で除算することにより、真の赤色の光量Ｌｒ（Ｉ’，Ｊ’）が求められる。

なお、Ｇ信号の場合における式（５７）と同様に、式（５８）の代わりに、注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）の８点それぞれの真の赤色の光量Ｌｒ（I'−１，J'−１），Ｌｒ（I'，J'−１），Ｌｒ（I'＋１，J'−１），Ｌｒ（I'−１，J'），Ｌｒ（I'＋１，J'），Ｌｒ（I'−１，J'＋１），Ｌｒ（I'，J'＋１）、およびＬｒ（I'＋１，J'＋１）の平均値から、注目位置（I'，J'）の真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を求めてもよい。

さらに、式（５１）の青色の光量の重み加算式で求められる真の青色の光量Ｌｂ（Ｉ'，Ｊ'）についても、式（４６）の緑色の光量の重み加算式で求められる真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）や、式（５０）の赤色の光量の重み加算式で求められる真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）と同様に、値が不安定となる場合、即ち、注目位置（I'，J'）の注目画素が例外状態となる場合がある。

この場合、演算回路２４は、次の例外処理を行う。

即ち、ベイヤー配列では、青色の成分を受光する画素は、上述の赤色の成分を受光する画素と同様の位置関係で配列されている。そこで、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を、式（５８）と同様の、式（５９）で求める例外処理を行う。

・・・（５９）

式（５９）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（５１）の分子の総和、即ち、式（５４）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（５１）の分母の総和、即ち、式（５５）の総和で除算することにより、真の青色の光量Ｌｂ（Ｉ’，Ｊ’）が求められる。

なお、Ｇ信号の場合における式（５７）と同様に、式（５９）の代わりに、注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）の８点それぞれの真の青色の光量Ｌｂ（I'−１，J'−１），Ｌｂ（I'，J'−１），Ｌｂ（I'＋１，J'−１），Ｌｂ（I'−１，J'），Ｌｂ（I'＋１，J'），Ｌｂ（I'−１，J'＋１），Ｌｂ（I'，J'＋１）、およびＬｂ（I'＋１，J'＋１）の平均値から、注目位置（I'，J'）の真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求めてもよい。

次に、図４９と図５０のフローチャートを参照して、図２のステップＳ４における画像推定処理の第８実施の形態について説明する。

初めに、ステップＳ２０１において、演算回路２４は、基準座標系上の画素がある位置（Ｉ'，Ｊ'）のうちのＹ方向の位置を表す変数Ｊ'に１をセットして、ステップＳ２０２に進む。

ステップＳ２０２において、演算回路２４は、基準座標系上の画素がある位置（Ｉ'，Ｊ'）のうちのＸ方向の位置を表す変数Ｉ'に１をセットして、ステップＳ２０３に進む。ここで、変数Ｉ'とＪ'は、それぞれ、出力画像の画素のＸ方向とＹ方向の位置を表す変数でもある。

ステップＳ２０３において、演算回路２４は、位置（I'，J'）を注目位置として、その注目位置（I'，J'）に対して、ｋ枚目画像の緑色の成分を受光する画素の中心位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の変換位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｇ，ｊｇ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ２０４に進む。

ステップＳ２０４において、演算回路２４は、ステップＳ２０３で求めたすべての（ｋ，ｉｇ，ｊｇ）の組を用いて、式（４８）で表される、緑色の光量の重み加算式の分母と、式（４７）で表される、緑色の光量の重み加算式の分子それぞれを演算する。また、演算回路２４は、その演算の結果それぞれを図示せぬメモリに記憶させて、ステップＳ２０５に進む。

ステップＳ２０５において、演算回路２４は、注目位置（I'，J'）に対して、ｋ枚目画像の赤色の成分を受光する画素の中心位置（ｉｒ−０．５，ｊｒ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の変換位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｒ，ｊｒ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ２０６に進む。

ステップＳ２０６において、演算回路２４は、ステップＳ２０５で求めたすべての（ｋ，ｉｒ，ｊｒ）の組を用いて、式（５３）で表される、赤色の光量の重み加算式の分母と、式（５２）で表される、赤色の光量の重み加算式の分子それぞれを演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０７に進む。

ステップＳ２０７において、演算回路２４は、注目位置（I'，J'）に対して、ｋ枚目画像の青色の成分を受光する画素の中心位置（ｉｂ−０．５，ｊｂ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で変換した基準座標系上の変換位置（ｘ，ｙ）が、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２を満たす（ｋ，ｉｂ，ｊｂ）の組を、１乃至Ｎ枚目画像についてすべて求め、ステップＳ２０８に進む。

ステップＳ２０８において、演算回路２４は、ステップＳ２０７で求めたすべての（ｋ，ｉｂ，ｊｂ）の組を用いて、式（５５）で表される、青色の光量の重み加算式の分母と、式（５４）で表される、青色の光量の重み加算式の分子それぞれを演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０９に進む。

ステップＳ２０９において、演算回路２４は、変数Ｉ'がＸ方向の画素数Ｗと等しいか否かを判定する。ステップＳ２０９で、変数Ｉ'が画素数Ｗと等しくないと判定された場合、即ち、現在のＹ＝Ｊ'の画素列のうち、Ｘ方向のすべての画素についてステップＳ２０３乃至Ｓ２０８の処理が行われていない場合、ステップＳ２１０に進み、変数Ｉ'を１だけインクリメントして、ステップＳ２０３に戻る。

一方、ステップＳ２０９で、変数Ｉ'が画素数Ｗと等しいと判定された場合、即ち、現在のＹ＝Ｊ'の画素列のうち、Ｘ方向のすべての画素についてステップＳ２０３乃至Ｓ２０８の処理が行われた場合、ステップＳ２１１に進む。

ステップＳ２１１において、演算回路２４は、変数Ｊ'がＹ方向の画素数Ｈと等しいか否かを判定する。ステップＳ２１１で、変数Ｊ'が画素数Ｈと等しくないと判定された場合、即ち、撮像素子４のＹ方向のすべての列について、ステップＳ２０３乃至Ｓ２０８の処理が行われていない場合、ステップＳ２１２に進み、変数Ｊ'を１だけインクリメントして、ステップＳ２０２に戻る。

一方、ステップＳ２１１で、変数Ｊ'が画素数Ｈと等しいと判定された場合、即ち、撮像素子４のＹ方向のすべての列について、ステップＳ２０３乃至Ｓ２０８の処理が行われた場合、図５０のステップＳ２１３に進む。ここで、画素数ＷとＨは、それぞれ、出力画像のＸ方向とＹ方向の画素数でもある。

ステップＳ２１３において、演算回路２４は、ステップＳ２０１における場合と同様に、変数Ｊ'に１をセットして、ステップＳ２１４に進む。

ステップＳ２１４において、演算回路２４は、ステップＳ２０２における場合と同様に、変数Ｉ'に１をセットして、ステップＳ２１５に進む。

ステップＳ２１５において、演算回路２４は、位置（I’，J’）を注目位置（I’，J’）として、その注目位置（Ｉ'，Ｊ'）に対して、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める演算処理を行って、ステップＳ２１６に進む。即ち、ステップＳ２１５では、後述するように、式（４６）の緑色の光量の重み加算式を用いた通常処理（第１の演算処理）、または、式（５６）を用いた例外処理（第２の演算処理）により、注目位置（Ｉ'，Ｊ'）に対する真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が求められる。

ステップＳ２１６において、演算回路２４は、位置（I’，J’）を注目位置（I’，J’）として、その注目位置（Ｉ'，Ｊ'）に対して、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を求める演算処理を行って、ステップＳ２１７に進む。即ち、ステップＳ２１６では、後述するように、式（５０）の赤色の光量の重み加算式を用いた通常処理（第１の演算処理）、または、式（５８）を用いた例外処理（第２の演算処理）により、注目位置（Ｉ'，Ｊ'）に対する真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）が求められる。

ステップＳ２１７において、演算回路２４は、位置（I’，J’）を注目位置（I’，J’）として、その注目位置（Ｉ'，Ｊ'）に対して、真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求める演算処理を行って、ステップＳ２１８に進む。即ち、ステップＳ２１７では、後述するように、式（５１）の青色の光量の重み加算式を用いた通常処理（第１の演算処理）、または、式（５９）を用いた例外処理（第２の演算処理）により、注目位置（Ｉ'，Ｊ'）に対する真の青色の光量Ｌｇ（Ｉ'，Ｊ'）が求められる。

ステップＳ２１８において、演算回路２４は、変数Ｉ'がＸ方向の画素数Ｗと等しいか否かを判定する。ステップＳ２１８で、変数Ｉ'が画素数Ｗと等しくないと判定された場合、即ち、現在のＹ＝Ｊ'の画素列のうち、Ｘ方向のすべての画素についてステップＳ２１５乃至Ｓ２１７の処理が行われていない場合、ステップＳ２１９に進み、変数Ｉ'を１だけインクリメントして、ステップＳ２１５に戻る。

一方、ステップＳ２１８で、変数Ｉ'が画素数Ｗと等しいと判定された場合、即ち、現在のＹ＝Ｊ'の画素列のうち、Ｘ方向のすべての画素についてステップＳ２１５乃至Ｓ２１７の処理が行われた場合、ステップＳ２２０に進む。

ステップＳ２２０において、演算回路２４は、変数Ｊ'がＹ方向の画素数Ｈと等しいか否かを判定する。ステップＳ２２０で、変数Ｊ'が画素数Ｈと等しくないと判定された場合、即ち、撮像素子４のＹ方向のすべての列について、ステップＳ２１５乃至Ｓ２１７の処理が行われていない場合、ステップＳ２２１に進み、変数Ｊ'を１だけインクリメントして、ステップＳ２１４に戻る。

一方、ステップＳ２２０で、変数Ｊ'が画素数Ｈと等しいと判定された場合、即ち、撮像素子４のＹ方向のすべての列について、ステップＳ２１５乃至Ｓ２１７の処理が行われた場合、ステップＳ２２２に進む。

ステップＳ２２２において、演算回路２４は、ステップＳ２１５，Ｓ２１６、およびＳ２１７でそれぞれ求めた真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）、真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）、および真の青色の光量Ｌｂ（Ｉ'，Ｊ'）から、出力画像（信号）を推定し、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。例えば、「ｉ番目、ｊ番目の画素」においては、演算回路２４は、緑色の値（Ｇ信号）としてステップＳ２１５で求めた真の緑色の光量Ｌｇ（＝Ｌｇ（Ｉ'，Ｊ'））と、赤色の値（Ｒ信号）としてステップＳ２１６で求めた真の赤色の光量Ｌｒ（ｉ−０．５，ｊ−０．５）（＝Ｌｒ（Ｉ'，Ｊ'））と、青色の値（Ｂ信号）としてステップＳ２１７で求めた真の青色の光量Ｌｂ（ｉ−０．５，ｊ−０．５）（＝Ｌｂ（Ｉ'，Ｊ'））とから、「ｉ番目、ｊ番目の画素」の画像信号を推定する。そして、演算回路２４は、その推定を位置（Ｉ'，Ｊ'）（＝（ｉ−０．５，ｊ−０．５））を中心位置とする出力画像の画素すべてについて行うことにより、出力画像を推定する。

次に、図５１のフローチャートを参照して、図５０のステップＳ２１５における、注目位置（Ｉ'，Ｊ'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める演算処理について説明する。

初めに、ステップＳ２５１において、演算回路２４は、注目位置（Ｉ'，Ｊ'）に対して、図４９のステップＳ２０４で演算された、式（４６）の緑色の光量の重み加算式の分母の絶対値、即ち、式（４８）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（４８）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ２５１において、注目位置（Ｉ'，Ｊ'）に対する式（４８）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（Ｉ'，Ｊ'）に対する式（４８）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２５２に進み、演算回路２４は、式（４６）の緑色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、ステップＳ２０４で演算された、式（４６）の緑色の光量の重み加算式の分子の値、即ち、式（４７）の値を、ステップＳ２０４で演算された、式（４６）の緑色の光量の重み加算式の分母の値、即ち、式（４８）の値で除算する演算を行う。これにより、ステップＳ２５２では、注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が求められる。

一方、ステップＳ２５１において、注目位置（Ｉ'，Ｊ'）に対する式（４８）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（４８）の絶対値が０、または０に近い場合、ステップＳ２５３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、式（５６）を演算することにより、注目位置（I'，J'）における真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める。

次に、図５２のフローチャートを参照して、図５０のステップＳ２１６における、注目位置（Ｉ'，Ｊ'）の真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を求める演算処理について説明する。

初めに、ステップＳ２７１において、演算回路２４は、注目位置（Ｉ’，Ｊ’）に対して、図４９のステップＳ２０６で演算された、式（５０）の赤色の光量の重み加算式の分母の絶対値、即ち、式（５３）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（５３）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図５１のステップＳ２５１の閾値と同一でもよいし、異なるものでもよい。

ステップＳ２７１において、注目位置（Ｉ'，Ｊ'）に対する式（５３）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（Ｉ'，Ｊ'）に対する式（５３）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２７２に進み、演算回路２４は、式（５０）の赤色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、ステップＳ２０６で演算された、式（５０）の赤色の光量の重み加算式の分子の値、即ち、式（５２）の値を、ステップＳ２０６で演算された、式（５０）の赤色の光量の重み加算式の分母の値、即ち、式（５３）の値で除算する演算を行う。これにより、ステップＳ２７２では、注目位置（I'，J'）における真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）が求められる。

一方、ステップＳ２７１において、注目位置（Ｉ'，Ｊ'）に対する式（５３）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（５３）の絶対値が０、または０に近い場合、ステップＳ２７３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、式（５８）を演算することにより、注目位置（I'，J'）における真の赤色の光量Ｌｒ（Ｉ'，Ｊ'）を求める。

次に、図５３のフローチャートを参照して、図５０のステップＳ２１７における、注目位置（Ｉ'，Ｊ'）の真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求める演算処理について説明する。

初めに、ステップＳ２９１において、演算回路２４は、注目位置（Ｉ’，Ｊ’）に対して、図４９のステップＳ２０８で演算された、式（５１）の青色の光量の重み加算式の分母の絶対値、即ち、式（５５）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（５５）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図５１のステップＳ２５１および図５２のステップＳ２７１の閾値それぞれと同一でもよいし、異なるものでもよい。

ステップＳ２９１において、注目位置（Ｉ’，Ｊ’）に対する式（５５）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（Ｉ’，Ｊ’）に対する式（５５）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２９２に進み、演算回路２４は、式（５１）の青色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、ステップＳ２０８で演算された、式（５１）の青色の光量の重み加算式の分子の値、即ち、式（５４）の値を、ステップＳ２０８で演算された、式（５１）の青色の光量の重み加算式の分母の値、即ち、式（５５）の値で除算する演算を行う。これにより、ステップＳ２９２では、注目位置（I'，J'）における真の青色の光量Ｌｂ（Ｉ'，Ｊ'）が求められる。

一方、ステップＳ２９１において、注目位置（Ｉ’，Ｊ’）に対する式（５５）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（５５）の絶対値が０、または０に近い場合、ステップＳ２９３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、式（５９）を演算することにより、注目位置（I'，J'）における真の青色の光量Ｌｂ（Ｉ'，Ｊ'）を求める。

以上のように、第８実施の形態では、注目位置（I'，J'）と、注目位置（I'，J'）の近傍にある変換位置（ｘ，ｙ）との距離に応じた重みとして、ローパスフィルタの特性を有するキュービック関数を用いて重み付け加算を行うことにより、真の緑色の光量Ｌｇ（Ｉ’，Ｊ’）、真の赤色の光量Ｌｒ（Ｉ’，Ｊ’）、および真の青色の光量Ｌｂ（Ｉ’，Ｊ’）を求めるようにしたので、より本来の光に忠実で鮮明な画像を求めることができる。

また、第８実施の形態では、位置（ｉｇ−０．５，ｊｇ−０．５）を変換パラメータ（ａｋ'，ｂｋ'，ｃｋ'，ｄｋ'，Ｔｋｘ'，Ｔｋｙ'）で基準座標系上に変換した場合に、注目位置（I'，J'）に対して、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の範囲に出現する、すべての（ｋ，ｉｇ，ｊｇ）の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）、即ち、変換位置（ｘ，ｙ）が、注目位置（I'，J'）の近傍にある画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いた重み付け加算である、式（４６）の緑色の光量の重み加算式で、真の緑色の光量Ｌｇ（Ｉ’，Ｊ’）が求められる（通常処理）。

但し、注目位置（I'，J'）の式（４６）の緑色の光量の重み加算式の分母の式（４８）の絶対値が、所定の閾値未満で０とみなされる場合、即ち、式（４６）の緑色の光量の重み加算式により求められる値が不安定である場合には、変換位置（ｘ，ｙ）が注目位置（I'，J'）の近傍にある画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、注目位置（I'，J'）の注目画素の周辺の周辺画素の位置の近傍にある画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とを用いた重み付け加算である、式（５６）により、真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が求められる（例外処理）。

真の赤色の光量Ｌｒ（Ｉ’，Ｊ’）および真の青色の光量Ｌｂ（Ｉ’，Ｊ’）も同様にして求められる。

従って、ノイズの目立たない良好な出力画像を得ることができる。

なお、通常処理と例外処理とは、次のような見方をすることもできる。

即ち、例えば、緑色に注目すると、上述の場合においては、通常処理では、変換位置（ｘ，ｙ）が注目画素の位置（注目位置）（I’，J’）の近傍にある撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いた重み付け加算を行う。一方、例外処理では、変換位置（ｘ，ｙ）が注目画素の位置（I’，J’）の近傍にある撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）と、変換位置（ｘ，ｙ）が注目画素の周辺の周辺画素の位置の近傍にある撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）とを用いた重み付け加算を行う。

従って、例外処理では、変換位置（ｘ，ｙ）が注目画素の位置（I’，J’）の近傍にある撮像画像の画素の他、周辺画素の位置の近傍にある撮像画像の画素の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）をも用いて重み付け加算が行われる。

以上から、通常処理が、注目位置（I'，J'）の近傍として、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２の領域内に観測される撮像画像の画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いた重み付け加算により、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めるのに対し、例外処理は、注目位置（I'，J'）の近傍として、通常処理の近傍の領域より広いＩ'−３≦ｘ＜Ｉ'＋３，Ｊ'−３≦ｙ＜Ｊ'＋３の領域内に観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）を用いた重み付け加算により、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求めているということができる。

さらに、換言すれば、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）を求める際に、注目位置（I'，J'）の近傍として、予め、Ｉ'−３≦ｘ＜Ｉ'＋３，Ｊ'−３≦ｙ＜Ｊ'＋３の領域が設定されており、通常処理では、その近傍の領域のうちのＩ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２以外の領域に観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に対する重みが０となる式（４６）の緑色の光量の重み加算式により、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が求められているということができる。一方、例外処理では、Ｉ'−２≦ｘ＜Ｉ'＋２，Ｊ'−２≦ｙ＜Ｊ'＋２以外の領域に観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）、即ち、周辺画素の近傍に観測される画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）に対する重みとして、一定の０の重みではなく、その周辺画素の位置を原点とするキュービック関数Cubic（ｚ）によって与えられる値を用いて、式（５６）により、注目位置（I'，J'）の真の緑色の光量Ｌｇ（Ｉ'，Ｊ'）が求められていると言うことができる。

即ち、通常処理と例外処理とでは、異なる重み（第１と第２の重み）を用いた重み付け加算により、真の緑色の光量Ｌｇ（Ｉ’，Ｊ’）が求められるということができる。

なお、第８実施の形態では、注目位置（I'，J'）とその近傍にある画素値Ｇｏｂｓ（ｋ，ｉｇ，ｊｇ）が観測される位置（ｘ，ｙ）との距離ｚに応じた重みを表す関数として、式（３９）のキュービック関数Cubic（ｚ）を採用したが、重みとしては、その他、例えば、sin（ｚ）／ｚなどの、ローパスフィルタの特性を有する任意の関数を採用することができる。

ところで、上述した実施の形態では、１枚目の撮像画像を基準画像とするとともに、２乃至Ｎ枚目の撮像画像それぞれをターゲット画像とすることとしたが、１枚目の撮像画像以外の、２乃至Ｎ枚目の撮像画像のいずれを基準画像としてもよい。

即ち、図５４は、Ｎ回の連続撮像（高速撮像）により撮像されたＮ枚の撮像画像を示している。なお、図５４は、Ｎ＝８の例である。

１乃至８枚目の撮像画像４０１₁乃至４０１₈（ｋ枚目画像４０１_k）は、時系列に撮像された画像であり、時間の経過とともに、図中右上方向に、手ブレによりずれた画像となっている。

図５５は、図５４と同様の８枚の撮像画像４０１₁乃至４０１₈を示している。

信号処理回路７において、撮像画像４０１₁乃至４０１₈のうちの、１枚目画像を基準画像とするとともに、２乃至８枚目画像それぞれをターゲット画像として、出力画像を推定する場合、出力画像は、基準画像である１枚目画像４０１₁の座標系上の画像として得られる。ここで、図５５では、１枚目画像４０１₁、即ち、出力画像を、太線で示してある。

図５５の太線で示される出力画像の領域において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータ（画素値）を使用して光量（画素値）が推定される領域は、点線で示される、出力画像の右上部分の領域４１１である。この領域４１１の画素値は、１乃至８枚目の８枚すべての撮像画像４０１₁乃至４０１₈のデータを使用して推定されるので、より鮮明な画質となる。

しかしながら、出力画像の推定にあたり、図５５の太線で示す出力画像の領域のうちの、領域４１１以外では、１乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、即ち、１乃至８枚目の撮像画像４０１₁乃至４０１₈のすべてのデータを使用することができないため、その分だけ、領域４１１に比較して画質の鮮明さが劣化することになる。上述したように、右上方向の手ブレが生じている場合には、その反対の左下方向の領域ほど、出力画像を推定するのに用いることができるデータが少なくなり、画質の鮮明さが、領域４１１に比較して劣化する。

さらに、ターゲット画像である２乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、図５５の太線で示す出力画像の領域上にない部分４１２のデータは、出力画像の推定に使用することができず、いわば無駄に捨てられることになる。

以上のように、１枚目の撮像画像を基準として、出力画像を推定すると、ある方向の手ブレが生じている場合には、出力画像の中心から、手ブレと同一の方向の領域（例えば、図５５の領域４１１）では、鮮明な画質が得られるが、その反対方向の領域では、画質の鮮明さが劣化する。

ところで、一般に、ユーザが画像を見るときは、その中心部分に注目することが多いので、特に、画像の中心部分の画質は鮮明であることが望ましい。

そこで、信号処理回路７では、Ｎ枚の画像が連続撮像された時間の、中間の時刻またはその近傍の時刻に撮像された撮像画像（以下、中間画像と称する）を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を推定することができる。

例えば、図５６に示すように、信号処理回路７は、８枚の撮像画像４０１₁乃至４０１₈のうちの、太線で示される４枚目の撮像画像を基準画像として、出力画像を推定する。この場合、出力画像の推定にあたり、その中心部分の領域４２１において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータが使用される。

即ち、時系列の複数枚の撮像画像のうちの、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を推定することにより、出力画像の中心部分を、より鮮明な画質とすることができる。

通常の撮影（撮像）では、撮影者は、目的の被写体が画像（画枠）の中心に位置するように撮影を行う。また、上述したように、人が画像を見る場合には、画像の中央部を視点として、その画像を見ることが一般的である。そういう意味では、画像の中心部分が、画像の周辺部よりも、より鮮明な画質となっている方が、良好な画像であると言える。

従って、図５６に示すように、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像とすることにより、出力画像の中心部分が１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して推定されるので、１枚目の撮像画像を基準画像とするよりも、中間画像を基準画像とする方が、良好な出力画像を得ることができる。

なお、手ブレの周波数は、例えば、１０乃至１５Ｈｚ程度である。従って、図５６に示した８枚の撮像画像４０１₁乃至４０１₈を、例えば、１／５０秒以内で撮像するようなシャッタスピードでは、手ブレによるブレ量（手ブレ量）は直線近似することができる。即ち、手ブレは、一定方向への一定の速さでの移動とみなすことができる。従って、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像する場合には、その撮像時間における手ブレ量を直線近似することができ、中間画像、即ち、４枚目の撮像画像４０１₄や、５枚目の撮像画像４０１₅を基準画像とすることにより、図５６で説明したように、出力画像の中心部分の画質を鮮明にすることができる。

また、図４で示した信号処理回路７において、８枚の撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合には、フレームメモリ２２−１に基準画像とする４枚目の撮像画像４０１₄を供給して記憶させ、１乃至３枚目の４０１₁乃至４０１₃、および５乃至８枚目の撮像画像４０１₅乃至４０１₈を、それぞれ、フレームメモリ２２−２乃至２２−８に供給して記憶させるようにすればよい。

ここで、中間画像を基準画像とすることにより、中心部分が鮮明な出力画像を得ることができる他、信号処理回路７の設計の容易化を図ることができる。

即ち、手ブレ量が、上述したように、直線近似することができるとして、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像した場合に、例えば、隣り合う撮像画像間での手ブレ量が１０画素であるとする。この場合、１枚目の撮像画像を基準画像としてしまうと、１枚の画像の撮像が無限小の時間で行うことができるとしても、最大で、７０画素の手ブレが生じることになる。従って、信号処理回路７は、最大で７０画素の手ブレに対応することができるように設計する必要がある。

これに対して、中間画像を基準画像とする場合、即ち、撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合、最大の手ブレ量は４０画素になる。従って、信号処理回路７は、最大で４０画素の手ブレに対応することができるように設計すればよいため、信号処理回路７としてのハードウエアの設計の容易化を図ることができる。

第８実施の形態で説明した一連の処理は、その他の実施の形態と同様に、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。第８実施の形態で説明した一連の処理をソフトウエアにより実行させる場合、他の実施の形態と同様に、例えば、デジタルカメラ１は、図４１で示したコンピュータにプログラムを実行させることにより実現することができる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

上述した例では、デジタルカメラ１の撮像素子４を、単板センサで構成し、撮像素子４が出力する１画素につき１個の色信号から、１画素につき３個の色信号を有する画像を推定するようにしたが、撮像素子４は、単板センサでなくてもよい。即ち、撮像素子４としては、１画素につき所定のｎ個の色信号を出力するものを採用し、画像推定処理では、１画素につきｎ個の色信号から、１画素につき（ｎ＋１）個以上の色信号を有する画像を推定するようにすることができる。

また、上述した例では、１枚目の撮像画像または中間画像を基準画像として、ターゲット画像の基準画像に対する位置関係を検出したが、１枚目の撮像画像および中間画像以外の、任意の撮像画像を基準画像として、ターゲット画像の基準画像に対する位置関係を検出するようにすることも可能である。

さらに、本発明は、上述したように、デジタルスチルカメラに採用することができる他、デジタルビデオカメラ等にも採用することができる。

本発明を適用したデジタルカメラ１の一実施の形態の構成例を示すブロック図である。 図１のデジタルカメラ１の撮像処理について説明するフローチャートである。 図１の撮像素子４の画素の配列を示す図である。 図１の信号処理回路７の詳細な構成例を示すブロック図である。 １枚目画像と２枚目画像との座標の関係について示す図である。 画像推定処理の第１実施の形態について説明するフローチャートである。 画像推定処理の第１実施の形態について説明するフローチャートである。 第２実施の形態における色相関の条件を説明する図である。 第２実施の形態における色相関の条件を説明する図である。 画像推定処理の第２実施の形態について説明するフローチャートである。 画像推定処理の第２実施の形態について説明するフローチャートである。 画像推定処理の第２実施の形態について説明するフローチャートである。 フレームメモリ２２−１に記憶される１枚目画像を示す図である。 フレームメモリ２２−２に記憶される２枚目画像を示す図である。 フレームメモリ２２−３に記憶される３枚目画像を示す図である。 撮像素子４の画素を示す図である。 図１の撮像素子４の画素の配列を示す図である。 バネモデルについて説明する図である。 バネモデルについて説明する図である。 バネモデルについて説明する図である。 バネモデルについて説明する図である。 バネモデルについて説明する図である。 バネモデルについて説明する図である。 画像推定処理の第３実施の形態について説明するフローチャートである。 画像推定処理の第４実施の形態について説明するフローチャートである。 画像推定処理の第５実施の形態について説明するフローチャートである。 撮像素子４の各画素が緑色の成分（Ｇ信号）を受光している状態を示す図である。 縦方向のエッジを説明する図である。 横方向のエッジを説明する図である。 左上から右下方向のエッジを説明する図である。 右上から左下方向のエッジを説明する図である。 縦方向のエッジが検出された場合に作成される平面Ｑ１を説明する図である。 横方向のエッジが検出された場合に作成される平面Ｑ２を説明する図である。 左上から右下方向のエッジが検出された場合に作成される平面Ｑ３を説明する図である。 右上から左下方向のエッジが検出された場合に作成される平面Ｑ４を説明する図である。 画像推定処理の第６実施の形態について説明するフローチャートである。 第７実施の形態における色相関の条件を説明する図である。 第７実施の形態における色相関の条件を説明する図である。 画像推定処理の第７実施の形態について説明するフローチャートである。 本発明と従来の方法の違いを説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 キュービック関数を説明する図である。 注目位置（I'，J'）における、基準座標系上の画素値を説明する図である。 例外状態の、注目位置（I'，J'）における、基準座標系上の画素値を説明する図である。 Ｇ信号の例外処理を説明する図である。 Ｇ信号の例外処理を説明する図である。 Ｒ信号の例外処理を説明する図である。 Ｒ信号の例外処理を説明する図である。 画像推定処理の第８実施の形態について説明するフローチャートである。 画像推定処理の第８実施の形態について説明するフローチャートである。 画像推定処理の第８実施の形態について説明するフローチャートである。 画像推定処理の第８実施の形態について説明するフローチャートである。 画像推定処理の第８実施の形態について説明するフローチャートである。 撮像画像４０１₁乃至４０１₈を示す図である。 １枚目の撮像画像を基準画像とした場合に得られる出力画像を説明する図である。 中間画像を基準画像とした場合に得られる出力画像を説明する図である。

符号の説明

１ デジタルカメラ， ２ レンズ， ３ 絞り， ４ 撮像素子， ５ 相関２重サンプリング回路， ６ A/Dコンバータ， ７ 信号処理回路， ８ タイミングジェネレータ， ９ D/Aコンバータ， １０ ビデオエンコーダ， １１ モニタ， １２ コーデック， １３ メモリ， １４ バス， １５ CPU， １６ 入力デバイス， ２１ シフト回路， ２２−１乃至Ｎ フレームメモリ， ２３−１乃至（Ｎ−１） 動き検出回路， ２４ 演算回路， ２５ コントローラ

Claims (24)

1. 複数の入力画像から出力画像を推定する画像処理方法において、
   １画素につき所定のｎ個の画素値を有する画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップと、
   前記検出ステップの処理により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、該特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定ステップと
   を含むことを特徴とする画像処理方法。
2. 前記画像推定ステップは、前記検出ステップの処理により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素値を選択し、該選択された観測画素値に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記画像推定ステップは、前記検出ステップの処理により検出された前記位置関係に基づき、前記複数の入力画像から、１画素につき（ｎ＋１）個以上の色信号を有する前記出力画像を推定する
   ことを特徴とする請求項１に記載の画像処理方法。
4. 前記画像推定ステップでは、出力画像の各画素位置および／またはその周辺における色相関を考慮して、前記出力画像が推定される
   ことを特徴とする請求項１に記載の画像処理方法。
5. 前記画像推定ステップでは、前記入力画像の画素の画素値がエッジの急峻度合いに応じた画素値に変更され、変更後の画素値に基づき、前記出力画像が推定される
   ことを特徴とする請求項１に記載の画像処理方法。
6. 前記ｎは１であり、
   前記画像推定ステップは、前記検出ステップの処理により検出された前記位置関係に基づき、前記複数の入力画像から、１画素につき３個の画素値を有する前記出力画像を推定する
   ことを特徴とする請求項１に記載の画像処理方法。
7. 前記撮像手段は、単板センサであり、観測される色信号が前記入力画像の位置に応じて変わる
   ことを特徴とする請求項１に記載の画像処理方法。
8. 前記撮像手段は、前記複数の入力画像を、適正露出未満で撮像し、
   前記複数の入力画像それぞれの画素値のゲインアップを行う露出補正ステップをさらに含む
   ことを特徴とする請求項１に記載の画像処理方法。
9. 前記画像推定ステップは、
   前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された前記位置関係に応じた前記各画素の補正位置を求め、
   前記補正位置を中心とする所定の領域内の前記出力画像の光の積分値と、前記補正位置の画素の画素値との差が、所定の誤差の範囲内であるという光量積分条件式を生成する光量積分条件式生成ステップと、
   前記光量積分条件式を演算する演算ステップと
   を有する
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記光量積分条件式を生成する際には、複数の入力画像のゲインアップが行われている場合に、前記所定の誤差の値を該ゲインアップの量に依存して変化させる
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記画像推定ステップは、
    前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された位置関係に応じた前記各画素の補正位置を求め、
    前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素の画素値と、前記ゲインアップの量に依存する誤差とを考慮して、前記出力画像を推定する
    ことを特徴とする請求項８に記載の画像処理方法。
12. 前記画像推定ステップは、
    前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された位置関係に応じた前記各画素の補正位置を求め、
    前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素の画素値と、該補正位置と該出力画像の画素の位置との距離と、を考慮して、前記出力画像を推定する
    ことを特徴とする請求項１に記載の画像処理方法。
13. 前記画像推定ステップは、
    前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された位置関係に応じた前記各画素の補正位置を求め、
    前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素の画素値に基づいて、バネモデルにより、前記出力画像を推定する
    ことを特徴とする請求項１に記載の画像処理方法。
14. 前記画像推定ステップは、
    前記複数の入力画像それぞれの各画素に対して、前記検出ステップの処理により検出された位置関係に応じた前記各画素の補正位置を求め、
    前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記出力画像を推定する
    ことを特徴とする請求項１に記載の画像処理方法。
15. 前記画像推定ステップは、前記出力画像において注目している注目画素の位置と前記補正位置との距離に対してローパスフィルタの特性を有する関数を用いた重みで、前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記注目画素の画素値を推定する
    ことを特徴とする請求項１４に記載の画像処理方法。
16. 前記画像推定ステップは、
    前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行う第１の演算処理、
    または、前記補正位置が前記注目画素の周辺の前記出力画像の画素の位置の近傍にある前記入力画像の画素の画素値とを用いた重み付け加算を行う第２の演算処理
    を選択して行うことにより、前記注目画素の画素値を推定する
    ことを特徴とする請求項１５に記載の画像処理方法。
17. 前記画像推定ステップは、
    前記第1の演算処理における重みの総和が０または０に近い値である場合に、前記第２の演算処理を選択する
    ことを特徴とする請求項１６に記載の画像処理方法。
18. 前記画像推定ステップは、
    前記補正位置が前記注目画素の位置の第１の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行う第１の演算処理、
    または、前記補正位置が前記注目画素の位置の、前記第１の近傍より広い範囲の第２の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行う第２の演算処理
    を選択して行うことにより、前記注目画素の画素値を推定する
    ことを特徴とする請求項１５に記載の画像処理方法。
19. 前記画像推定ステップは、
    前記第1の演算処理における重みの総和が０または０に近い値である場合に、前記第２の演算処理を選択する
    ことを特徴とする請求項１８に記載の画像処理方法。
20. 前記画像推定ステップは、
    前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素値を、第１の重みにより重み付けした重み付け加算を行う第１の演算処理、
    または、前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素値を、第２の重みにより重み付けした重み付け加算を行う第２の演算処理
    を選択して行うことにより、前記注目画素の画素値を推定する
    ことを特徴とする請求項１５に記載の画像処理方法。
21. 前記画像推定ステップは、
    前記第1の演算処理における重みの総和が０または０に近い値である場合に、前記第２の演算処理を選択する
    ことを特徴とする請求項２０に記載の画像処理方法。
22. 前記検出ステップは、
    前記複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準として、前記複数の入力画像どうしの位置関係を検出する
    ことを特徴とする請求項１に記載の画像処理方法。
23. 複数の入力画像から出力画像を推定する画像処理装置において、
    １画素につき所定のｎ個の画素値を有する前記複数の入力画像を撮像する撮像手段と、
    前記複数の入力画像どうしの位置関係を検出する検出手段と、
    前記検出手段により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、該特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定手段と
    を備えることを特徴とする画像処理装置。
24. 複数の入力画像から出力画像を推定する画像処理のプログラムにおいて、
    １画素につき所定のｎ個の画素値を有する画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップと、
    前記検出ステップの処理により検出された前記位置関係に基づき、前記出力画像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、該特定された観測画素成分に基づき、１画素につき（ｎ＋１）個以上の画素値を有する前記出力画像を推定する画像推定ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images