JP2006157168A - 撮影装置の制御方法および制御装置、並びに制御プログラム - Google Patents

Abstract

【課題】より鮮明な画像を得ることができるように、撮影モードを自動的に決定する。
【解決手段】 制御回路１８は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する第１の露出時間が、第１の閾値以下である場合に、第１のモードで撮影を行うことを決定する。また、制御回路１８は、第１の露出時間が第１の閾値以下でない場合に、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する第２の露出時間が、第２の閾値以下であれば、第２のモードで撮影を行うことを決定する。本発明は、例えば、ディジタルカメラに適用できる。
【選択図】図１

Description

本発明は、撮影装置の制御方法および制御装置、並びに制御プログラムに関し、特に、例えば、カメラにおいて、より鮮明な画像を得ることができるように撮影モードを決定する撮影装置の制御方法および制御装置、並びに制御プログラムに関する。

近年、カメラとしてはディジタルカメラが一般的となっている。ディジタルカメラにおいて、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子により撮像された画像（以下、撮像画像と称する）は、ディジタルカメラに設けられたLCD(Liquid Crystal Display)などのモニタに表示され、ユーザにより確認される。さらに、撮像画像の画像信号がディジタル化され、フラッシュメモリなどの記録媒体を介して、あるいは、ケーブル接続や赤外線通信などの有線または無線通信により、例えば、パーソナルコンピュータ（PC）などの画像処理装置に転送される。そして、転送先であるパーソナルコンピュータでは、ディジタルカメラの撮像画像をCRT（Cathode Ray Tube）や液晶ディスプレイ（LCD）などのモニタに表示し、ユーザは撮像画像を確認したり、編集することができる。

さて、ディジタルカメラにおいて、例えば、日陰などの十分に太陽光線が当たらない場所や薄暗い部屋などで、十分な明るさが得られない被写体を撮像する場合、ディジタルカメラでは、適正な露出を得るためにシャッタ速度を遅く（露出時間を長く）する必要がある。

このような露出時間の長い撮像では、例えば、ディジタルカメラを三脚などに固定し、ディジタルカメラがぶれない（揺れない）ようにすることで、ぶれがなく、かつ被写体の明るさに応じた適正露出の撮像画像を得ることができる。しかしながら、例えば、ディジタルカメラを手で持って撮像する場合には、いわゆる手ぶれが発生し、ディジタルカメラがぶれる。そして、シャッタが開いている間（露光が行われている間）のディジタルカメラのぶれ（揺れ）により、撮像画像は、被写体がボケた画像となってしまう。このボケた画像は、「手ぶれ」した画像、または、「カメラぶれ」した画像などと呼ばれる。

シャッタ速度を遅くする（露出時間を長くする）他に、十分な露出を得るための方法として、複数枚の撮像画像を単に累積加算することにより、長時間露出と同等の露出を得られるようにする方法が提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に示される方法では、単純に複数枚の撮像画像を累積加算するため、上述の手ぶれが発生した場合には、露出時間を長くする場合と同様に、ボケた画像となる。

手ぶれが発生した場合においても画像がボケないようにする（「手ぶれ」した画像を回避する）方法として、例えば、キャノン株式会社製のディジタルカメラで採用されている「イメージスタビライザー（略称IS）」と称する方法がある。

イメージスタビライザーでは、光学系レンズ内にプレセンサを設け、そのプレセンサによりディジタルカメラの揺れや振動を検知し、検知したディジタルカメラの揺れや振動を表すディジタル信号に従って、レンズ群の一部（補正光学系）を光軸に対し垂直方向に移動させ、像ぶれを打ち消す方向に光線を屈折させる。

イメージスタビライザーによれば、長焦点やシャッタ速度が遅い場合において影響が大となる、手持ち撮影や、風などによる撮影台の微妙な振動の揺れに起因する画像のぶれを抑え、シャープな（鮮明な）画像をユーザに提供することができる。

しかしながら、イメージスタビライザーでは、ぶれを検知する専用のセンサや、レンズ群の一部（補正光学系）を高速に動かす機構が必要となるため、構造が複雑になり、製造コストが高くなるという問題がある。

その他の「手ぶれ」した画像を回避する方法としては、高速シャッタにより連続で複数枚の撮像画像を高速撮像し、その複数枚の撮像画像のうち、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ２枚目以降の撮像画像を位置補正して１枚目の画像に順次加算する方法がある（例えば、特許文献２，３，４，５，６，７，８参照）。特許文献２乃至８に記載の方法では、位置補正後の２枚目以降の撮像画像のそれぞれから、補間により、1枚目の撮像画像と同様のデータ配列を持つ補間画像が形成され、その補間画像が1枚目の撮像画像に、画素単位で、単純加算される。

特許文献２乃至８に記載の方法では、高速（連続）撮像された撮像画像の一枚一枚は、露出時間が短いため、ぶれは少ないが、暗い画像となる。そこで、１枚目の撮像画像に２枚目以降の撮像画像から形成された補間画像が加算され、最終的に得られる画像は、適正露出の場合と同様の明るさの画像となる。

ここで、特許文献２乃至８に記載の方法において２枚目以降の撮像画像からの補間画像の形成では、１画素のR(Red)信号（赤色データ）、G(Green)信号（緑色データ）、B(Blue)信号（青色データ）のそれぞれの色信号（データ）が、線形補間、バイキュービック補間などの各種の補間関数を用いた補間方法により補間される。

特開平０５−２３６４２２号公報 特開２０００−２１７０３２号公報 特開２０００−２２４４６０号公報 特開２０００−２４４８０３号公報 特開２０００−２４４７９７号公報 特開２０００−０６９３５２号公報 特開平１０−３４１３６７号公報 特開平０９−２６１５２６号公報

ところで、ディジタルカメラにおいて、撮影を行う撮影モードとして、一般的な、１枚の撮像画像を撮像し、その撮像画像をそのまま撮影結果として出力する通常撮影モードの他に、高速シャッタにより連続で複数枚の撮像画像を高速撮像し、その複数枚の撮像画像を用いた加算を行うことにより、適正露出で、または撮影者が希望する露出で、かつ、手ぶれが補正された画像を出力する手ぶれ補正モードが存在する場合に、その通常撮影モードと手ぶれ補正モードとのうちのいずれで撮影を行うのが良いかを判断する方法が、開示されていなかった。

このため、通常撮影モードと手ぶれ補正モードとを、どのような場面（撮影条件）のときに選択するのかは、撮影者の判断に任されることになる。従って、熟練した撮影者でなければ、判断ミスを犯す可能性が高く、どの撮影モードを選択したほうが良いのか判断する自動処理機構を、カメラ内部に具備することが要請されている。

本発明はこのような状況に鑑みてなされたものであり、より鮮明な画像を得ることができるように撮影モードを自動的に決定することができるようにするものである。

本発明の第１の制御方法は、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップと、第１の判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップと、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。

第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップをさらに含み、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が第２の閾値以下であると判定された場合に、第２のモードで撮影を行うことを決定することができる。

第２の判定ステップでは、第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きいほうの閾値以上であるか否かをさらに判定し、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が、第２の閾値以下であると判定され、かつ、適正露出時間に基づく閾値、または撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定することができる。

本発明の第１の制御装置は、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段と、判定手段で、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。

本発明の第１の制御プログラムは、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップと、判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の第２の制御方法は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。

本発明の第２の制御装置は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。

本発明の第２の制御プログラムは、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の第３の制御方法は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含むことを特徴とする。

本発明の第３の制御装置は、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段とを備えることを特徴とする。

本発明の第３の制御プログラムは、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップと、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の第１の制御方法および制御装置、並びに制御プログラムにおいては、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かが判定され、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことが決定され、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことが決定される。

本発明の第２の制御方法および制御装置、並びに制御プログラムにおいては、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かが判定され、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことが決定される。また、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことが決定される。

本発明の第３の制御方法および制御装置、並びに制御プログラムにおいては、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かが判定され、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことが決定される。また、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことが決定される。

本発明によれば、より鮮明な画像を得ることができるように撮影モードを自動的に決定することが可能となる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモード（通常撮影モード）と、複数枚の入力画像（例えば、図２７の撮像画像４０１₁乃至４０１₈）を連続撮像して１枚の出力画像（例えば、図２９の高画質エリア４２２が投影された画像）を生成する第２のモード（手ぶれ補正モード）とを有する撮影装置の制御方法において、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップ（例えば、図４５のステップＳ５２１）と、第１の判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２３）と、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５２６）とを含むことを特徴とする。

請求項４に記載の制御方法は、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップ（例えば、図４５のステップＳ５２４）をさらに含み、第２の決定ステップでは、第２の判定ステップで、第２の露出時間が第２の閾値以下であると判定された場合に、第２のモードで撮影を行うことを決定することを特徴とする。

請求項７に記載の制御方法は、第１の判定ステップで、第１の露出時間が第１の閾値以下でないと判定され、かつ、第２の判定ステップで、第２の露出時間が第２の閾値以下でないと判定された場合に、第１のモードで撮影を行うことを決定する第３の決定ステップ（例えば、図４５のステップＳ５３３）をさらに含むことを特徴とする。

請求項１０に記載の制御方法は、撮影装置（例えば、図１のディジタルカメラ１）は、入力画像を撮像する撮像手段（例えば、図１の撮像素子４）を備え、第２のモードにおいて、撮像手段が撮像した複数枚の入力画像どうしの位置関係を検出（例えば、図２８のステップＳ３０３）し、検出された位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる複数枚の入力画像の画素を特定（例えば、図３０のステップＳ３１３など）し、特定された複数枚の入力画像の画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成（例えば、図４０のステップＳ３４６乃至Ｓ３４８）することを特徴とする。

請求項１６に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置（例えば、図１のディジタルカメラ１）の制御装置（例えば、図１の制御回路１８）において、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段（例えば、図４５のステップＳ５２１の処理を行う図１の制御回路１８）と、判定手段で、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２３の処理を行う図１の制御回路１８）と、判定手段で、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）とを備えることを特徴とする。

請求項１７に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、第１のモードで撮影を行うと仮定した際の、１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップ（例えば、図４５のステップＳ５２１）と、判定ステップで、第１の露出時間が第１の閾値以下であると判定された場合に、第１のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２３）と、判定ステップで、第１の露出時間が第１の閾値以下でないと判定された場合に、第２のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５２６）とを含む処理をコンピュータに実行させることを特徴とする。

請求項１８に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含むことを特徴とする。

請求項１９に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段（例えば、図４７のステップＳ５５１，Ｓ５５２の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５３３の処理を行う図１の制御回路１８）とを備えることを特徴とする。

請求項２０に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御する制御プログラムにおいて、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含む処理をコンピュータに実行させることを特徴とする。

請求項２１に記載の制御方法は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含むことを特徴とする。

請求項２２に記載の制御装置は、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段（例えば、図４７のステップＳ５５１，Ｓ５５２の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定手段（例えば、図４５のステップＳ５２６の処理を行う図１の制御回路１８）と、判定手段で、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定手段（例えば、図４５のステップＳ５３３の処理を行う図１の制御回路１８）とを備えることを特徴とする。

請求項２３に記載の制御プログラムは、１枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御する制御プログラムにおいて、第２のモードで撮影を行うと仮定した際の、複数枚のそれぞれの入力画像を撮像する露出時間が、撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップ（例えば、図４７のステップＳ５５１，Ｓ５５２）と、判定ステップで、露出時間が閾値以上であると判定された場合に、第２のモードで撮影を行うことを決定する第１の決定ステップ（例えば、図４５のステップＳ５２６）と、判定ステップで、露出時間が閾値以上でないと判定された場合に、第１のモードで撮影を行うことを決定する第２の決定ステップ（例えば、図４５のステップＳ５３３）とを含む処理をコンピュータに実行させることを特徴とする。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用したディジタル（スチル）カメラ１の一実施の形態の構成例を示すブロック図である。

図１のディジタルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック（CODEC）１２、メモリ１３、バス１４、CPU（Central Processing Unit）１５、記憶部１５Ａ、インターフェース（Ｉ／Ｆ）１５Ｂ、入力デバイス１６、および露出計１９で構成される。

また、相関２重サンプリング回路５、A/Dコンバータ６、信号処理回路７、D/Aコンバータ９、ビデオエンコーダ１０、およびコーデック１２によって、画像処理回路１７が構成され、タイミングジェネレータ８、CPU１５、記憶部１５Ａ、およびインターフェース１５Ｂによって制御回路１８が構成されている。さらに、A/Dコンバータ６は、シフト回路２１を、信号処理回路７は、フレームメモリ２２をそれぞれ有している。

図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。レンズ２として、焦点距離が固定された短焦点レンズ、または焦点距離が可変であるズームレンズが使用される。レンズ２としてズームレンズを使用する場合、通常、レンズ２は、複数枚のレンズ（レンズ郡）により構成されており、これらのレンズの光軸方向の位置関係を変移させることで、焦点距離の変更が行われる。このような焦点距離の変更を行う制御は、レンズ２を駆動する図示せぬ駆動回路に対して、制御回路１８から供給される制御信号によって行われる。なお、図１において、レンズ２は、１枚のレンズで簡略して図示されている。

絞り３は、レンズ２を通過して入射してくる光の一部を遮光して、撮像素子４への入射光の量を調節する。光量を調節する絞り３の制御は、制御回路１８からの制御信号によって行われる。

撮像素子４は、例えば、CCDやCMOS等でなる単板センサから構成され、所定の数の画素（受光素子）を有している。そして、撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の露出時間だけ、入射される被写体の光を受光する。そして、撮像素子４は、その撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号を相関２重サンプリング回路５に供給する。撮像素子４は、単板センサとなっているので、相関２重サンプリング回路５に供給される電気信号は、１画素につきR信号、G信号、B信号のうちのいずれか１個の色信号（データ）である。

また、撮像素子４としては、光を受光するセンサの内部で、隣接する複数の画素の画素値を加算し、その加算値（画素加算値）を１画素の画素値とする、ビニング（binning）と呼ばれる機能を有する撮像素子（ビニング撮像素子）を使用することができる。ビニングを機能させた場合には、撮像素子４は、複数の画素の画素値を加算し、その加算値を１画素の画素値として出力するので、その画素値により構成される撮像画像の画素数は、撮像素子４が有する画素数より少なく、その画素数の数分の１の画素数となる。

撮像素子４が、例えば、隣接する２×２画素（横方向の２画素と縦方向の２画素）の画素値を加算して出力する場合（以下、適宜、２×２ビニングという）は、撮像画像の画素数は、（横方向の画素数の２分の１）×（縦方向の画素数の２分の１）画素、つまり、撮像素子４の画素数の４分の１となる。また、撮像素子４が、例えば、隣接する３×３画素（横方向の３画素と縦方向の３画素）の画素値を加算して出力する場合（以下、適宜、３×３ビニングという）は、撮像画像の画素数は、（横方向の画素数の３分の１）×（縦方向の画素数の３分の１）画素、つまり、撮像素子４の画素数の９分の１となる。

このように、ビニングを機能させた場合には、撮像素子４が出力する画素数が少なくなることで処理するデータ量も少なくなり、ビニングを機能させない（即ち、撮像素子４の画素数と同じ画素数の画像を出力する）場合と比べて、連続撮像速度を上げることができる。つまり、最速の連続撮像時の画像の撮像間隔を短くすることができる。例えば、ビニングを機能させない場合の連続撮像速度と比べて、２×２ビニングの場合の連続撮像速度は、撮像素子４から出力する画素値の数が１／４になるから４倍となり、３×３ビニングの場合の連続撮像速度は、撮像素子４から出力する画素値の数が１／９になるから９倍となる。

即ち、高速撮像時における撮像素子４の連続撮像間隔の限界値がｔ₀（連続撮像速度が１／ｔ₀）である場合、撮像素子４は、ビニングを機能させないときにはｔ₀秒間隔（あるいは、ｔ₀秒以上の間隔）で連続撮像することができ、２×２ビニングのときにはｔ₀／４間隔（あるいは、ｔ₀／４秒以上の間隔）で連続撮像することができ、３×３ビニングときにはｔ₀／９間隔（あるいは、ｔ₀／９秒以上の間隔）で連続撮像することができる。

なお、ビニングを機能させるか、または機能させないか、さらには、ビニングを機能させる場合に、２×２ビニングまたは３×３ビニングのうちのいずれを採用するかは、制御回路１８から撮像素子４に供給されるビニング制御信号によって制御される。

撮像素子４は、１回の撮影（１回のレリーズボタンの操作）で、適正露出（または、撮影者が希望する露出）におけるシャッタ速度（露出時間）で１枚の撮像画像を撮像したり、適正露出（または、撮影者が希望する露出）におけるシャッタ速度よりも高速に（短い露出時間で）複数枚（以下では、N枚とする）の撮像画像を撮像したりする。

以下において、撮像素子４が撮像した１枚の撮像画像（入力画像）から、１枚の出力画像を生成する撮影、即ち、１枚の撮像画像をそのまま出力画像とする撮影を行う撮影モードを通常撮影モード（第１のモード）といい、撮像素子４が高速で撮像したＮ枚の撮像画像（入力画像）から、１枚の出力画像を生成する撮影を行う撮影モードを手ぶれ補正モード（第２のモード）という。

通常撮影モードでは、撮像素子４で撮像された１枚の撮像画像は、適正露出（または、撮影者が希望する露出）で撮像されるが、手ぶれ補正モードでは、Ｎ枚の撮像画像のそれぞれが適正露出（または、撮影者が希望する露出）時の露出時間よりも短い露出時間で撮像されるので、撮像素子４で撮像されたN枚の撮像画像のそれぞれは、適正露出で撮像された画像より暗く、適正露出で撮像された画像のM_k分の１（＝１／M_k）（k＝１乃至N）の明るさになる。

M_kの値があまりに大きいと、撮像された画像は非常に暗い画像となり、N枚の撮像画像のそれぞれはノイズに埋もれてしまうことになる。そして、このようなＮ枚の撮像画像から出力画像を生成しても、ノイズの多い画像となってしまう。そこで、撮像された画像がノイズに埋もれてしまわない明るさとなるM_kの限界値をＭ_maxと表すこととすると、適正露出で撮像された画像より１／Ｍ_max（暗さの限界値）以上の明るさの画像を撮像した場合には、適切な出力画像（ノイズの少ない出力画像）を得ることができる。

例えば、Ｍ_max＝８である場合、適正露出に対して１／８よりも更に暗い画像をＮ枚連続して撮像しても、即ち、適正露出の露光時間の１／８よりも更に短い時間の露光により撮像画像を撮像しても、その撮像画像は非常に暗いため、適切な出力画像を生成することができない。逆に、適正露出に対して１／８よりも明るい画像をＮ枚連続して撮像すると、即ち、適正露出の露光時間の１／８よりも長い時間の露光により撮像画像を撮像すると、その撮像画像より、鮮明な出力画像を生成することができる。なお、M_kおよびＭ_maxの値は、ディジタルカメラ１の性能により決定される。

画像処理回路１７において、相関２重サンプリング回路５は、撮像素子４から供給される画像信号（電気信号）のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。A/Dコンバータ６は、相関２重サンプリング回路５から供給される、ノイズ除去された画像信号をA/D変換、即ち、サンプリングして量子化する。

通常撮影モードでは、A/Dコンバータ６は、A/D変換後のディジタル信号の撮像画像を、例えば、そのまま、信号処理回路７を介して、D/Aコンバータ９またはコーデック１２に供給する。一方、手ぶれ補正モードでは、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出未満の暗い画像であるA/D変換後のディジタル信号の撮像画像を、例えば、n'ビットシフトすることなどによってM_k倍することにより、適正露出と同様の明るさ（値）の画像信号の撮像画像に変換し（ゲインアップし）、信号処理回路７に供給する。

相関２重サンプリング回路５では、画像信号のノイズ成分が除去されるが、ノイズ成分のすべてが完全に除去されるわけではない。従って、相関２重サンプリング回路５で除去されないノイズ成分も存在する。この場合、相関２重サンプリング回路５で除去されないノイズ成分は、画像信号の真値に対する誤差となり、シフト回路２１において、画像信号とともにM_k倍されることになる。従って、信号処理回路７に供給される撮像画像に含まれる誤差は、シフト回路２１におけるゲインアップの量に依存する。ここで、相関２重サンプリング回路５で除去されないノイズ成分のノイズ量をEとすると、A/Dコンバータ６（のシフト回路２１）から信号処理回路７に供給される画像信号には、ノイズ量EのM_k倍（E×M_k）程度のノイズが含まれる。このノイズ量Eとしては、撮像素子４の特性に応じて、例えば、想定される最大値を採用することができる。また、例えば、M_k＝８とすると、シフト回路２１では、n'＝３として、撮像画像が３ビットシフトされることにより、撮像画像が適正露出の場合と同様の明るさにされる。

A/Dコンバータ６（のシフト回路２１）においてM_k倍されることにより、適正露出と同様の明るさにゲインアップされたN枚の撮像画像の画像信号は、信号処理回路７のフレームメモリ２２に供給されて一時的に格納（記憶）される。

信号処理回路７は、通常撮影モードでは、A/Dコンバータ６から供給される１枚の撮像画像に対して、通常のディジタルカメラにおける場合と同様の画像処理を施し、その画像処理後の撮像画像を、出力画像として、D/Aコンバータ９またはコーデック１２に供給する。

また、信号処理回路７は、手ぶれ補正モードでは、A/Dコンバータ６から供給されるN枚の撮像画像を、フレームメモリ２２に記憶させ、そのN枚の撮像画像の画像信号に所定の画像処理を施す。

即ち、信号処理回路７は、N枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ズレを起こしているか、基準画像とターゲット画像との位置ズレのズレ量（位置関係）を検出する。そして、信号処理回路７は、そのズレ量に基づいて、手ぶれが補正された１枚の鮮明な画像（出力画像）としての、１画素につきG信号、R信号、B信号のすべてを有する出力画像を求め、その求めた出力画像の画像信号を、D/Aコンバータ９またはコーデック１２に供給する。信号処理回路７は、DSP（Digial Signal Processor）等で構成することができる。

タイミングジェネレータ８は、撮影モードが通常撮影モードである場合、１回の撮影において、１枚の撮像画像の撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。また、タイミングジェネレータ８は、撮影モードが手ぶれ補正モードである場合、１回の撮影において、所定の間隔でN枚の撮像画像の高速撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。

D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができるビデオ信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルカメラ１のファインダ等の役割を果たすもので、LCDなどで構成され、ビデオエンコーダ１０から供給されるビデオ信号を表示する。これにより、モニタ１１では、出力画像が表示される。

コーデック１２は、信号処理回路７から供給された出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式などの所定の方式に従って符号化し、メモリ１３に供給する。

メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を一時的または永久的に記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３またはメモリ１３の代わりに用いる記録媒体は、ディジタルカメラ１に対して着脱可能とすることができる。なお、ディジタルカメラ１に内蔵される記録媒体と、ディジタルカメラ１に着脱可能な記録媒体の両方を設けるようにすることも可能である。

制御回路１８において、CPU１５は、例えば、ユーザの操作に応じて入力デバイス１６から供給される信号などに応じ、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。CPU１５が供給する制御信号には、例えば、通常撮影モードまたは手ぶれ補正モードのうちのいずれの撮影モードで撮影を行うかを制御する撮影モード制御信号、ビニングの機能を制御（例えば、ビニングを機能させずに撮像、２×２ビニングで撮像、または３×３ビニングで撮像することを制御）するビニング制御信号、および、１回の撮影において撮像素子４が受光するタイミング（受光開始時刻および受光終了時刻、さらに手ぶれ補正モードでは、Ｎ枚の撮像画像の各撮像の受光開始時刻および受光終了時刻）を制御する露光タイミング信号などがある。

記憶部１５Ａは、フラッシュメモリ（EEPROM）などからなる不揮発性のメモリ、または、不揮発性のメモリと揮発性のメモリとで構成され、CPU１５が実行するプログラムを記憶し、また、CPU１５が処理を行う上で必要なデータを一時記憶する。インターフェース１５Ｂは、USB（Universal Serial Bus）やIEEE１３９４のインターフェースである。ディジタルカメラ１は、インターフェース１５Ｂを介して外部のコンピュータなどと接続することで、記憶部１５Ａに記憶されているプログラムを更新し、あるいは出力画素を含む各種のデータのやりとりをすることができる。

入力デバイス１６は、撮影のトリガを与えるレリーズボタン、撮影時の露出を補正するときに操作される露出補正ダイアル、ズームを調整するときに操作されるズームレンズの焦点距離の設定用ボタンであるズームボタン（ズームレバー）などの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。

露出計１９は、撮影（撮像）の対象である被写体の明るさを計測し、その計測値を制御回路１８に供給する。制御回路１８のCPU１５は、露出計１９が計測した明るさの計測値に基づき、自動露出制御などに用いられる、絞り（アイリス）の値と露出時間とを決定する。

ところで、撮影者が、露出を、いわゆるアンダまたはオーバにした撮影を希望する場合があり、ディジタルカメラ１では、撮影者が、入力デバイス１６の露出補正ダイアルを操作することにより露出補正値を設定することで、適正露出に対して実際に撮影が行われるときの露出が補正されるようになっている。即ち、撮影者が、露出補正ダイアルを操作することにより、適正露出で撮影を行うように露出を設定するか、意図的に暗い出力画像が得られるように露出をアンダ側に設定するか、または、意図的に明るい出力画像が得られるように露出をオーバ側に設定すると、その設定に対応する情報（露出補正値）が入力デバイス１６から制御回路１８（のCPU１５）に供給され、制御回路１８は、その情報に対応した処理を行う。

また、レンズ２がズームレンズである場合、ディジタルカメラ１では、撮影者が、入力デバイス１６のズームボタンを操作することにより、焦点距離の設定が行われるようになっている。即ち、ズームボタンの操作に対応する情報が入力デバイス１６から制御回路１８に供給され、制御回路１８は、その情報に応じて、撮影者によって指定された焦点距離となるように、レンズ２を構成する各レンズの制御を行う。また、制御回路１８は、このとき入力デバイス１６から供給される情報、即ち、撮影時の焦点距離の情報を、後述する撮影処理の撮影モードの決定処理で使用する。

制御回路１８は、露出計１９による被写体の明るさの計測値から、通常のディジタルカメラと同様にして、適正な絞りの値Ｆと、適正な露出時間（以下、適正露出時間という）Ｔ_pとを決定する。さらに、制御回路１８は、露出補正ダイアルによる（露出補正ダイアルの操作により設定された）露出補正値から、実際の露出時間Ｔ_a（シャッタ速度）を決定する。

即ち、露出補正ダイアルによる露出補正値が０である場合、制御回路１８は、適正露出時間Ｔ_pを、そのまま露出時間Ｔ_aに決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が１段アンダを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p／２に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、１段暗めの画像となる。なお、この場合、実際の露出時間を２×Ｔ_aとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が２段アンダを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p／４に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、２段暗めの画像となる。なお、この場合、実際の露出時間を４×Ｔ_aとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が３段アンダを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p／８に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、３段暗めの画像となる。なお、この場合、実際の露出時間を８×Ｔ_aとして、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が１段オーバを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p×２に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、１段明るめの画像となる。なお、この場合、実際の露出時間をＴ_a／２として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が２段オーバを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p×４に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、２段明るめの画像となる。なお、この場合、実際の露出時間をＴ_a／４として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

露出補正ダイアルによる露出補正値が３段オーバを表している場合、制御回路１８は、露出時間Ｔ_aを、例えば、Ｔ_p×８に決定する。この場合、絞りの値Ｆおよび露出時間Ｔ_aで、撮像素子４が１枚の撮像画像を撮像したとき、この撮像によって得られる撮像画像は、３段明るめの画像となる。なお、この場合、実際の露出時間をＴ_a／８として、撮像素子４によって１枚の撮像画像を撮像すれば、この撮像によって得られる撮像画像は、適正な明るさの画像となる。

次に、図２のフローチャートを参照して、ディジタルカメラ１が、手ぶれ補正モードで撮影を行う場合の、ディジタルカメラ１の撮影処理（後述する図４４のステップＳ５０７）について説明する。

初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。即ち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光し、光電変換することにより、N回の高速撮像を行う。従って、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下（未満）の暗い画像となる。撮像素子４での光電変換により得られた画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給される。そして、ステップＳ２に進む。

ステップＳ２において、A/Dコンバータ６は、相関２重サンプリング回路５から供給されるN枚の撮像画像それぞれの画像信号をディジタル変換する。その後、シフト回路２１が、適正露出以下の暗い撮像画像を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３に進む。

ステップＳ３において、信号処理回路７は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２枚目以降の各画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、即ち、基準画像に対するターゲット画像の位置ズレのズレ量（を表す情報（例えば、後述する変換パラメータ））を検出して、ステップＳ４に進む。

ステップＳ４において、信号処理回路７は、N枚の撮像画像と、ステップＳ３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ５に進む。画像生成処理の詳細は後述するが、この画像生成処理により、信号処理回路７は、手ぶれが（ほとんど）なく、適正露出の１枚の鮮明な画像（出力画像）としての１画素がG信号、R信号、B信号のすべてを有する画像が生成される。画像生成処理により得られた出力画像の画像信号は、信号処理回路７からD/Aコンバータ９またはコーデック１２に供給される。

ステップＳ５では、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号のアナログ信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、出力画像を表示して、処理を終了する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。

次に、図３は、図１の撮像素子４の画素の配列を示している。なお、図３では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されているものとする。

ここで、図３において、撮像素子４の左上の画素の中心（重心）を原点として、横（右）方向をX方向、縦（下）方向をY方向とするXY座標系を設定する。また、１画素の縦および横方向の長さ（幅）をそれぞれ１とする。この場合、左からi番目で、上からj番目の画素の位置（中心位置）は、(i-1,j-1)と表すことができる。

図３において、撮像素子４の画素の配列は、いわゆる、ベイヤー配列となっている。なお、撮像素子４の画素の配列は、ベイヤー配列に限定されるものではなく、その他の配列でもよい。

ベイヤー配列の撮像素子４からは、画素の位置に応じた色の画素値を有する画像が出力される。

即ち、ベイヤー配列では、G信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に１番目の画素である画素G00、原点からX方向に３番目で、Y方向に１番目の画素である画素G02、原点からX方向に５番目で、Y方向に１番目の画素である画素G04、原点からX方向に２番目で、Y方向に２番目の画素である画素G11、以下、同様に、画素G13、画素G15、画素G20、画素G22、画素G24、画素G31、画素G33、画素G35が配置されている。

また、R信号を取り出すことのできる画素として、原点からX方向に２番目で、Y方向に１番目の画素である画素R01、原点からX方向に４番目で、Y方向に１番目の画素である画素R03、原点からX方向に６番目で、Y方向に１番目の画素である画素R05、原点からX方向に２番目で、Y方向に３番目の画素である画素R21、以下、同様に、画素R23、画素R25が配置されている。

さらに、B信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に２番目の画素である画素B10、原点からX方向に３番目で、Y方向に２番目の画素である画素B12、原点からX方向に５番目で、Y方向に２番目の画素である画素B14、原点からX方向に１番目で、Y方向に４番目の画素である画素B30、以下、同様に、画素B32、画素B34が配置されている。

ここで、撮像素子４を基準としたXY座標系上の位置（x，y）（x，yは実数）を用いて、撮像素子４上に投影されている被写体（像）のG信号、R信号、B信号（G，R，Bの光量）を、それぞれLg（x，y），Lr（x，y），Lb（x，y）と表すこととする。この場合、手ぶれがない１枚の鮮明な画像としての出力画像において、左からi番目で、上からj番目である「i番目、j番目の画素」のG信号、R信号、B信号は、それぞれLg（i，j），Lr（i，j），Lb（i，j）と表すことができる。但し、x=i-1，y=j-1である。

なお、Lg（x，y），Lr（x，y），Lb（x，y）（Lg（i-1，j-1），Lr（i-1，j-1），Lb（i-1，j-1））それぞれは、位置（x，y）（「i番目、j番目の画素」）における被写体の緑色、赤色、青色の光量（画素値）を表すので、以下においては、Lg（x，y），Lr（x，y），Lb（x，y）それぞれを、緑色の光量Lg（x，y）、赤色の光量Lr（x，y）、青色の光量Lb（x，y）ともいう。

次に、G信号、R信号、B信号それぞれの画素について使用する変数ig，jg，ir，jr，ib，jbを定義する。

変数ig，jgそれぞれは、G信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ig，jgの組み合わせは、G信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ig，jgは、変数iとjとの差（i−j）が偶数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数igとjgとの差（ig−jg）も偶数となる。従って、「ig番目，jg番目の画素」とは、G信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ig，jgとなる変数i，jの条件は異なる。

変数ir，jrそれぞれは、R信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ir，jrの組み合わせは、R信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ir，jrは、変数iが偶数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数irとjrとの差（ir−jr）も奇数となる。従って、「ir番目，jr番目の画素」とは、R信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ir，jrとなる変数i，jの条件とは異なる。

変数ib，jbそれぞれは、B信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ib，jbの組み合わせは、B信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ib，jbは、変数iが奇数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数i，jに、それぞれ等しい。なお、当然ながら、変数ibとjbとの差（ib−jb）も奇数となる。従って、「ib番目，jb番目の画素」とは、B信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ib，jbとなる変数i,jの条件は異なる。

次に、図３に示した撮像素子４の各画素で受光して得られる色信号（G信号、R信号、B信号）の値（画素値）について定義する。

上述したように、撮像素子４では、N枚の撮像画像が撮像される。従って、撮像素子４の１つの画素についてN個の画素値が得られる。そこで、k枚目（k＝１乃至N）の撮像画像の撮像において「ig番目，jg番目の画素」で得られる画素値をGobs（k，ig，jg）と、「ir番目，jr番目の画素」で得られる画素値をRobs（k，ir，jr）と、「ib番目，jb番目の画素」で得られる画素値をBobs（k，ib，jb）と、それぞれ表す。例えば、１枚目の撮像画像の撮像において画素G00で得られる画素値は、Gobs(1,1,1)で表され、２枚目の撮像画像の撮像において画素G04で得られる画素値は、Gobs(2,5,1)で表される。なお、以下において、特に断りがない場合、kは、１乃至Nの整数を表すものとする。

以上のような画素値の定義によれば、画素値Gobs（k，ig，jg）、Robs（k，ir，jr）、Bobs（k，ib，jb）が得られる画素は、それぞれ、画素G(jg-1)(ig-1)，R(jr-1)(ir-1)，B(jb-1)(ib-1)である。

また、画素値Gobs（k，ig，jg）は、k枚目の撮像画像の「ig番目，jg番目」の画素の画素値でもある。同様に、画素値Robs（k，ir，jr）は、k枚目の撮像画像の「ir番目，jr番目」の画素の画素値でもあり、画素値Bobs（k，ib，jb）は、k枚目の撮像画像の「ib番目，jb番目」の画素の画素値でもある。

次に、図４は、図１の信号処理回路７の一部分についての詳細な構成例を示している。

信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、N個のフレームメモリ２２₁乃至２２_Nで構成され、動き検出回路２３は、N-1個の動き検出回路２３₁乃至２３_N-1で構成されている。

上述したように、A/Dコンバータ６からN枚の撮像画像がフレームメモリ２２に供給される。フレームメモリ２２₁は、A/Dコンバータ６から供給される１枚目の撮像画像を記憶（格納）する。フレームメモリ２２₂は、A/Dコンバータ６から供給される２枚目の撮像画像を記憶する。以下同様にして、フレームメモリ２２_kは、A/Dコンバータ６から供給されるk枚目の撮像画像を記憶する（k＝３乃至N）。

フレームメモリ２２₁は、所定のタイミングにおいて、記憶している１枚目の撮像画像を演算回路２４と動き検出回路２３₁乃至２３_N-1に供給する。フレームメモリ２２₂は、所定のタイミングにおいて、記憶している２枚目の撮像画像を演算回路２４と動き検出回路２３₁に供給する。以下、同様にして、フレームメモリ２２_kは、所定のタイミングにおいて、記憶しているk枚目の撮像画像を演算回路２４と動き検出回路２３_k-1に供給する。

動き検出回路２３は、２枚の撮像画像どうしの位置関係を検出する。即ち、動き検出回路２３は、１枚目の撮像画像を、位置関係の検出の基準となる基準画像とするとともに、２枚目以降の各撮像画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、基準画像に対するターゲット画像の位置ズレのズレ量（動き量）を検出する。なお、このズレ量は、例えば、手ぶれにより生じるものである。

動き検出回路２３₁には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としての２枚目の撮像画像がフレームメモリ２２₂から、それぞれ供給される。

動き検出回路２３₁は、２枚目の撮像画像の各画素（あるいは、画像全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、即ち、２枚目の撮像画像のある位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像上の位置を検出し、その検出結果に基づき、１枚目の撮像画像と２枚目の撮像画像との位置関係（ズレ量）を表す式（１）を定義する変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)を求めて、演算回路２４に供給する。

・・・（１）

式（１）は、いわゆるアフィン変換の式である。ここで、画像の座標系として、図３の撮像素子４における場合と同様に、その画像の左上の画素の中心を原点として、水平方向（右方向）をX方向とするとともに、垂直方向（下方向）をY方向とするXY座標系を定義すると、式（１）において、（X₂，Y₂）は、２枚目の撮像画像の画素の、その２枚目の撮像画像の座標系上の位置を表し、（X₁₍₂₎，Y₁₍₂₎）は、２枚目の撮像画像の画素の位置（X₂，Y₂）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X₁₍₂₎，Y₁₍₂₎）における下付きの（２）は、２枚目の撮像画像の座標系上の位置（X₂，Y₂）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。１枚目の撮像画像の座標系上の位置（X₁₍₂₎，Y₁₍₂₎）には、（理想的には）２枚目の撮像画像の画素の位置（X₂，Y₂）に投影されている被写体の部分と同一の部分が投影されている。

ここで、変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)のうちの、a₂,b₂,c₂,d₂を、a₂=d₂=L₂cosθ₂，-b₂=c₂=L₂sinθ₂と定義すると、式（１）のアフィン変換は、回転角度θ₂、スケールL₂、平行移動量(s₂,t₂)で定義される。この場合、式（１）は、１枚目の撮像画像の位置（X₁₍₂₎，Y₁₍₂₎）に投影されている被写体の部分が、その位置（X₁₍₂₎，Y₁₍₂₎）に対応する２枚目の撮像画像の画素の位置（位置（X₁₍₂₎，Y₁₍₂₎）に投影されている被写体の部分と同一の部分が投影されている２枚目の撮像画像の位置）（X₂，Y₂）に投影されている被写体の部分に対して、角度θ₂だけ回転し、L₂倍だけ拡大（L₂＜１のときは、縮小）され、(s₂,t₂)だけ平行移動していることを表す。

なお、手ぶれでは、通常、撮像素子４の受光面と平行な方向のぶれ（揺れ）が大きく、撮像素子４の受光面と垂直な方向のぶれ（揺れ）は少ないので、撮像素子４の受光面と垂直な方向のぶれはないとみなしても良い。この場合、L₂=1となる。

動き検出回路２３₂には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としての３枚目の撮像画像がフレームメモリ２２₃から、それぞれ供給される。

動き検出回路２３₂は、３枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像と３枚目の撮像画像との位置関係を表す式（２）のアフィン変換を定義する変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)を求めて、演算回路２４に供給する。

・・・（２）

式（２）において、（X₃，Y₃）は、３枚目の撮像画像の画素の、その３枚目の撮像画像の座標系上の位置を表し、（X₁₍₃₎，Y₁₍₃₎）は、３枚目の撮像画像の画素の位置（X₃，Y₃）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X₁₍₃₎，Y₁₍₃₎）における下付きの（３）は、式（１）における場合と同様に、３枚目の撮像画像の座標系上の位置（X₃，Y₃）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（２）は、a₃=d₃=L₃cosθ₃，-b₃=c₃=L₃sinθ₃と定義すると、式（１）における場合と同様にして、回転角度θ₃、スケールL₃、平行移動量(s₃,t₃)で定義することができる。

以下同様に、動き検出回路２３_k-1には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としてのk枚目の撮像画像がフレームメモリ２２_kから、それぞれ供給される。

動き検出回路２３_k-1は、k枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像とk枚目の撮像画像との位置関係を表す式（３）のアフィン変換を定義する変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)を求めて、演算回路２４に供給する。

・・・（３）

式（３）において、（X_k，Y_k）は、k枚目の撮像画像の画素の、そのk枚目の撮像画像の座標系上の位置を表し、（X_1(k)，Y_1(k)）は、k枚目の撮像画像の画素の位置（X_k，Y_k）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X_1(k)，Y_1(k)）における下付きの（k）は、式（１）における場合と同様に、k枚目の撮像画像の座標系上の位置（X_k，Y_k）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（３）は、a_k=d_k=L_kcosθ_k，-b_k=c_k=L_ksinθ_kと定義すると、式（１）における場合と同様にして、回転角度θ_k、スケールL_k、平行移動量(s_k,t_k)で定義することができる。

変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)は、上述のように、k枚目の撮像画像の各画素の位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像の位置の検出結果から求める他、ディジタルカメラ１に加速度センサや角速度センサを設け、その加速度センサ等の出力から、いわば、メカニカル的に求めるようにすることもできる。

演算回路２４には、フレームメモリ２２₁乃至２２_NからN枚の撮像画像が供給される。
また、演算回路２４には、動き検出回路２３₁乃至２３_N-1から１枚目の撮像画像とk枚目の撮像画像との位置関係を表す変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)が供給される。

演算回路２４は、動き検出回路２３₁乃至２３_N-1から供給される２乃至N枚目の撮像画像それぞれと、１枚目の撮像画像との位置関係を表す変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)に基づき、後述する画像生成処理における画素値の推定に用いる１乃至N枚目の撮像画像の画素を特定し、さらに、その特定した画素の画素地に基づき、手ぶれを補正した１枚の鮮明な出力画像の画素値（G信号、R信号、B信号）を推定することにより、出力画像を生成する画像生成処理を行い、その結果得られる出力画像を、D/Aコンバータ９またはコーデック１２に供給する。

ここで、A/Dコンバータ６から信号処理回路７に供給されるN枚の撮像画像それぞれは、１画素がG信号、R信号、B信号のうちのいずれか１つの画素値を有する画像であるのに対して、演算回路２４で生成される出力画像は、１画素につきG信号、R信号、B信号の３個の画素値（色信号）を有する画像である。

コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２₁乃至２２_N、動き検出回路２３₁乃至２３_N-1、演算回路２４等の制御を行う。なお、CPU１５（図１）が、コントローラ２５に代わって、信号処理回路７内のフレームメモリ２２₁乃至２２_N、動き検出回路２３₁乃至２３_N-1、演算回路２４等の制御を行うようにすることができ、この場合には、コントローラ２５を省略することができる。

なお、ベイヤー配列を採用する単板センサでは、G信号の画素数に対して、R信号やB信号の画素数が少なくなっている。そのため、信号処理回路７で得られる出力画像におけるR信号やB信号は、G信号に較べて誤差（ノイズ）が大となる場合がある。そのような場合には、演算回路２４の後段に、輝度信号はそのままで、色差信号に対してのみ高周波成分の帯域を制限するローパスフィルタを配置することにより、ノイズを除去（制限）することができる。

次に、図１の信号処理回路７（の演算回路２４（図４））における画像生成処理について説明する。

なお、撮像素子４の各画素で得られる画素値、即ち、撮像画像の画素値は、その画素の、ある１点（例えば、画素の重心（中心））に入射される被写体の光の光量に対応する信号、即ち、画素の重心位置でポイントサンプリングされたデータであるとする。

また、以下では、k枚目の撮像画像のことをk枚目画像とも記述し、さらに、k枚目画像を基準とするXY座標系（k枚目画像の左上の画素の中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系）を、k枚目画像の座標系という。

上述のように、撮像素子４の各画素で得られる画素値を、画素の重心位置でポイントサンプリングされたデータであるとした場合、図３の撮像素子４の各画素のうち、「i番目、j番目の画素」の画素値は、例えば、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に対応する。

例えば、いま、撮像素子４の「i番目、j番目の画素」の画素値が、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に等しいとすると、例えば、１枚目画像の「ig番目、jg番目の画素」の画素値Gobs（１，ig，jg）は、１枚目画像の座標系（１枚目画像を基準とする座標系）の位置(ig-1,jg-1)の緑色の光量Lg(ig-1,jg-1)である。同様に、１枚目画像の「ir番目、jr番目の画素」の画素値Robs（１，ir，jr）は、１枚目画像の座標系の位置(ir-1,jr-1)の赤色の光量Lr(ir-1,jr-1)であり、１枚目画像の「ib番目、jb番目の画素」の画素値Bobs（１，ib，jb）は、１枚目画像の座標系の位置(ib-1,jb-1)の青色の光量Lb(ib-1,jb-1)である。

ここで、図５は、１枚目画像を示している。

図５において、撮像画像の画素を、図３で説明した撮像素子４の画素と同様に表すこととすると、１枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（１，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（１，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（１，ib，jb）が観測される。

以上のように、１枚目画像の画素値は、１枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

図６は、２枚目画像を示している。

図６において、２枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（２，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（２，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（２，ib，jb）が観測される。

以上のように、２枚目画像においても、１枚目画像と同様に、画素値は、２枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

演算回路２４（図４）は、画像生成処理において、N枚の撮像画像から、そのN枚の撮像画像どうしの位置関係を検出するときの基準となった撮像画像、即ち、ここでは、１枚目画像に投影されている被写体の範囲の画像を、出力画像として生成する。即ち、演算回路２４は、N枚の撮像画像の位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いるN枚の撮像画像の画素を特定し、その特定したN枚の撮像画像の画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成する。

演算回路２４は、このように、出力画像の画素の位置ごとに、その画素（の位置）の画素値の推定に用いるN枚の撮像画像の画素を特定するため、N枚の撮像画像それぞれに投影されている被写体の各部が一致（対応）するように、そのN枚の撮像画像の画素（の位置）を、出力画像上の位置、即ち、基準画像である１枚目画像上の位置に変換する。

この変換は、動き検出回路２３_k-1（図４）で求められた、N枚の撮像画像の位置関係を表す式（１）乃至（３）の変換パラメータ(a,b,c,d,s,t)（以下、適宜、変換パラメータを表す変数のサフィックスは省略する）のアフィン変換によって行われる。

即ち、例えば、２枚目画像上の画素（点）は、動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)を用いた式（１）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。

図６には、１枚目画像の座標系上の点に変換された２枚目画像の、画素値がGobs（２，ig，jg），Robs（２，ir，jr），Bobs（２，ib，jb）それぞれの画素（の重心位置）も示されている。

即ち、２枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（２，ig，jg）は、２枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)₍₂₎,(jg-1)₍₂₎)で観測される（はずの）緑色の光量Lg（x，y）でもある。図６では、G信号の画素値Gobs（２，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)₍₂₎,(jg-1)₍₂₎)が、白丸で示されている。

また、２枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（２，ir，jr）は、２枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)により変換した１枚目画像の座標系上の位置((ir-1)₍₂₎,(jr-1)₍₂₎)で観測される（はずの）赤色の光量Lr（x，y）でもある。図６では、R信号の画素値Robs（２，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)₍₂₎,(jr-1)₍₂₎)が、白四角で示されている。

さらに、２枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（２，ib，jb）は、２枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)により変換した１枚目画像の座標系上の位置((ib-1)₍₂₎,(jb-1)₍₂₎)で観測される（はずの）青色の光量Lb（x，y）でもある。図６では、B信号の画素値Bobs（２，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)₍₂₎,(jb-1)₍₂₎)が、白三角で示されている。

次に、図７は、３枚目画像を示している。

図７において、３枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（３，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（３，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される位置に、B信号の画素値Bobs（３，ib，jb）が観測される。

以上のように、３枚目画像の画素値も、３枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

３枚目画像上の画素（点）も、２枚目画像と同様に、動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)を用いた式（２）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。

図７には、その１枚目画像の座標系に変換された３枚目画像上の、画素値がGobs（３，ig，jg），Robs（３，ir，jr），Bobs（３，ib，jb）それぞれの画素（の重心位置）も示されている。

即ち、３枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（３，ig，jg）は、３枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)₍₃₎,(jg-1)₍₃₎)で観測される（はずの）緑色の光量Lg（x，y）でもある。図７では、G信号の画素値Gobs（３，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)₍₃₎,(jg-1)₍₃₎)が、白丸で示されている。

また、３枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（３，ir，jr）は、３枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ir-1)₍₃₎,(jr-1)₍₃₎)で観測される（はずの）赤色の光量Lr（x，y）でもある。図７では、R信号の画素値Robs（３，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)₍₃₎,(jr-1)₍₃₎)が、白四角で示されている。

さらに、３枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（３，ib，jb）は、３枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ib-1)₍₃₎,(jb-1)₍₃₎)で観測される（はずの）青色の光量Lb（x，y）でもある。図７では、B信号の画素値Bobs（３，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)₍₃₎,(jb-1)₍₃₎)が、白三角で示されている。

次に、図８は、基準画像である１枚目の撮像画像を基準として、１乃至N枚目の撮像画像に投影されている被写体の各部が一致するように、１乃至N枚目の撮像画像を位置合わせするアフィン変換を行った場合に、１乃至N枚目の撮像画像それぞれにおける緑色の画素（緑色の光を受光した画素）G(jg-1)(ig-1)の画素値Gobs（１，ig，jg）乃至Gobs（N，ig，jg）が観測される１枚目画像の座標系上の位置を示している。

図８では、１枚目画像の座標系上の(I',J')に着目した場合の、その周辺の位置における１乃至Ｎ枚目画像の緑色の画素（緑色の光を受光した画素）の一例を示している。ig番目、jg番目の画素G(jg-1)(ig-1)の重心位置（画素中心）において１枚目画像の画素値Gobs（１，ig，jg）が観測されている。但し、I'=ig-1，J'=jg-1の場合である。また、画素G(jg-1)(ig-1)の画素中心の左上側に、位置が１枚目画像の座標系上にアフィン変換された２枚目画像の画素値Gobs（２，ig，jg）が観測されている。さらに、画素G(jg-1)(ig-1)の画素中心の左下側に、位置が１枚目画像の座標系上にアフィン変換された３枚目画像の画素値Gobs（３，ig，jg）が観測されている。また、画素G(jg-1)(ig-1)の画素中心の右上側に、位置が１枚目画像の座標系上にアフィン変換された４枚目画像の画素値Gobs（４，ig，jg）が観測されている。なお、５乃至N枚目画像の画素値Gobs（k，ig₎，jg）（k＝５乃至N）の図示は、省略されている。

演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準画像である１枚目画像の座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素の画素値Gobs（k，ig，jg）（k＝１乃至N）に基づいて、１枚目画像の座標系上の位置(i-1,j-1)の緑色の光量Lg(i-1,j-1)を、出力画像の、その位置(i-1,j-1)におけるG信号の画素値として推定する。

ここで、基準画像である１枚目画像の座標系上において、i番目、j番目の画素の中心位置(i-1,j-1)を（I'，J'）と表すことにする。即ち、I'=i-1，J'=j-1とする。なお、I',J'は、０以上の整数である。

図９は、演算回路２４が、真の緑の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）それぞれを、出力画像の画素値として推定すべき、１枚目画像の座標系上の位置を示している。

図９では、出力画像の各画素の中心位置（I'，J'）、即ち、１枚目画像の座標系上の撮像素子４の各画素の中心位置（I'，J'）が、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を推定すべき位置として黒丸で示されている。即ち、黒丸で示された各画素の中心位置（I'，J'）においては、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）のすべてが推定される。

ここで、以下、適宜、基準画像の座標系を、基準座標系という。ここでは、１枚目画像を基準画像としているので、１枚目画像の座標系が基準座標系である。

演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）（k＝１乃至N）を用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の、その位置（I'，J'）におけるG信号の画素値として推定する。

但し、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）のすべてを用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の位置（I'，J'）におけるG信号の画素値として推定したのでは、その推定精度が劣化する。

そこで、演算回路２４は、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置が、緑色の光量Lg（I'，J'）を推定しようとする位置（I'，J'）の近傍にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）、即ち、出力画像の画素値の推定に用いる画素として特定し、その特定した１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、緑色の光量Lg（I'，J'）を推定する。

図１０は、演算回路２４が緑色の光量Lg（I'，J'）の推定に用いる１乃至N枚目画像の画素の位置をプロットした基準座標系を示している。

演算回路２４は、基準座標系上の位置（I'，J'）について、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍の範囲（近傍範囲）として設定し、基準座標系上へのアフィン変換後の位置が、近傍範囲内にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）の推定に用いる画素して特定する。即ち、演算回路２４では、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす整数k，ig，jgの組がすべて求められ、この(k，ig，jg)で表される画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。

図１０では、基準座標系上へのアフィン変換後の位置として、５つの点A，B，C，D，Eが存在し、従って、演算回路２４では、その点A乃至点Eにアフィン変換される１乃至N枚目画像の画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。

そして、演算回路２４では、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）、即ち、位置が点A乃至点Eにアフィン変換される１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される。

図１１は、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される様子を模式的に示している。

演算回路２４は、例えば、次式にしたがって緑色の光量Lg（I'，J'）を推定する。

・・・（４）

ここで、式（４）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組についての総和を表す。
例えば、図１０および図１１の例では、点A乃至点Eの５個の（k，ig，jg）の組についての総和となる。

また、式（４）において、w((x,y),(I',J'))は、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）と、緑色の光量Lg（I'，J'）を推定しようとする位置（画素）（I'，J'）とを引数とする重みを表す。

従って、式（４）によれば、緑色の光量Lg（I'，J'）が、実際に観測されている画素値Gobs（k，ig，jg）を用いた重み付け加算（重み付け平均）によって推定される。そこで、以下、適宜、式（４）を緑色の光量の重み加算式と称する。

重みw((x,y),(I',J'))としては、例えば、位置（x，y）と（I'，J'）との距離に対して単調減少する関数などを用いることができる。位置（x，y）と（I'，J'）との距離を、F((x,y),(I',J'))＝√｛（x-I'）²＋（y-J'）²｝と表すこととすると、位置（x，y）と（I'，J'）との距離に対して単調減少する関数としては、例えば、√２-F((x,y),(I',J'))などを採用することができる。ここで、√２-F((x,y),(I',J'))における√２は、図１０および図１１に示した、位置（I'，J'）の緑色の光量Lg（I'，J'）の推定に用いられる画素値Gobs（k，ig，jg）が存在する（I'±１，J'±１）で囲まれる領域内の中心(I',J')からの最大の距離であり、従って、√２-F((x,y),(I',J'))は、位置（x，y）と（I'，J'）との距離に対して単調減少する非負の関数となる。

重みw((x,y),(I',J'))として、√２-F((x,y),(I',J'))を用いた場合、位置（I'，J'）に対してより近い位置の画素値Gobs（k，ig，jg）の影響をより強く受けるように、緑色の光量Lg（I'，J'）が推定される。

なお、図１で説明したように、相関２重サンプリング回路５が出力する画像信号に含まれるノイズ量をEとすると、その画像信号には、シフト回路２１において、n'ビットシフトによるM_k倍のゲインアップの処理が施されるため、画素値Gobs（k，ig，jg）には、ノイズ量E×M_kのノイズが含まれる。

緑色の光量Lg（I'，J'）の推定にあたっては、画素値Gobs（k，ig，jg）に含まれるノイズの影響を排除すべきであり、かかる観点からは、重みw((x,y),(I',J'))は、画素値Gobs（k，ig，jg）に含まれるノイズのノイズ量E×M_kに対して減少するようにするのが望ましい。そこで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対して減少し、かつノイズ量E×M_kに対しても減少する、例えば、｛√２-F((x,y),(I',J'))｝／（E×M_k）などを採用することができる。

ここで、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数などを採用することもできるが、この点については、後述する。

演算回路２４は、位置（I'，J'）における赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）も、緑色の光量Lg（I'，J'）における場合と同様に推定する。即ち、演算回路２４は、赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）を、式（４）と同様の式（５）と式（６）にしたがってそれぞれ推定する。

・・・（５）

・・・（６）

なお、式（５）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組についての総和を表す。また、式（６）におけるΣは、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組についての総和を表す。

ここで、以下、適宜、式（５）を赤色の光量の重み加算式と、式（６）を青色の光量の重み加算式と、それぞれ称することとする。

以上のように、演算回路２４では、位置（I'，J'）に対して、位置(i-1,j-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，i，j）で表される画素を、位置（I'，J'）の画素値の推定に用いる画素（以下、適宜、特定画素という）として特定し、その特定画素の画素値に基づいて、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）が求められる（推定される）。

次に、図１２のフローチャートを参照して、以上のようにして画素値（緑色、赤色、青色の光量）を推定することにより、出力画像を生成する図２のステップＳ４における画像生成処理について説明する。

初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある位置（I'，J'）に注目する（以下、注目位置（I'，J'）と称する）。ここで、注目位置（I'，J'）は、基準画像である１枚目の撮像画像の「i番目、j番目の画素」の画素中心(i-1,j-1)を表している。

そして、ステップＳ７１からS７２に進み、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の緑色の画素（緑色の画素値Gobs(k,ig,jg)の画素）の中心位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y
）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、その（k，ig，jg）で表される画素を特定画素として特定し、ステップＳ７３に進む。

なお、k枚目画像の画素（の位置）を、基準座標系上の位置（x，y）にアフィン変換するときの変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)は、動き検出回路２３_k-1から演算回路２４に供給される。また、基準画像である１枚目画像については、即ち、ｋ＝１の場合については、変換パラメータ(a₁,b₁,c₁,d₁,s₁,t₁)として、（１，０，０，１，０，０）が用いられる。従って、基準画像は、実質的にアフィン変換されない。

ここで、k枚目画像の画素（の位置）の、基準座標系上へのアフィン変換後の位置（x，y）を、以下、適宜、変換位置（x，y）ともいう。

ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）の組を用いて、式（４）で表される緑色の光量の重み加算式を生成して、ステップＳ７４に進む。即ち、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）で表される特定画素の画素値Gobs（k，ig，jg）と変換位置(x,y)を用いて、式（４）の緑色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を演算する。

ステップＳ７４において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素（赤色の画素値Robs（k，ir，jr）の画素）の中心位置(ir-1,jr-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、その（k，ir，jr）で表される画素を特定画素として特定し、ステップＳ７５に進む。

ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）の組を用いて、式（５）で表される赤色の光量の重み加算式を生成して、ステップＳ７６に進む。即ち、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）で表される特定画素の画素値Robs（k，ir，jr）と変換位置(x,y)を用いて、式（５）の赤色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を演算する。

ステップＳ７６において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素（青色の画素値Bobs（k，ib，jb）の画素）の中心位置(ib-1,jb-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、その（k，ib，jb）で表される画素を特定画素として特定し、ステップＳ７７に進む。

ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）の組を用いて、式（６）で表される青色の光量の重み加算式を生成して、ステップＳ７８に進む。即ち、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）で表される特定画素の画素値Bobs（k，ib，jb）と変換位置(x,y)を用いて、式（６）の青色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を演算する。

ステップＳ７８において、演算回路２４は、ステップＳ７３で求めた式（４）の緑色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める（推定する）。さらに、演算回路２４は、ステップＳ７５で求めた式（５）の赤色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求めるとともに、ステップＳ７７で求めた式（６）の青色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求め、ステップＳ７９に進む。

即ち、ステップＳ７８では、出力画像の位置（I'，J'）の画素について、G信号、R信号、B信号の３個の画素値が求められる。

ステップＳ７９において、演算回路２４は、すべての位置（I'，J'）を注目位置としたか、即ち、基準画像である１枚目の撮像画像の画素、つまり、出力画像の画素の中心位置のすべてを注目位置（I'，J'）として、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めたか否かを判定する。

ステップＳ７９で、すべての位置（I'，J'）をまだ注目位置としていないと判定された場合、ステップＳ７１に戻り、ステップＳ７１乃至S７９の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（I'，J'）を新たな注目位置（I'，J'）として、その新たな注目位置（I'，J'）における緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）をそれぞれ求める。

一方、ステップＳ７９で、すべての位置（I'，J'）を注目位置としたと判定された場合、ステップＳ８０に進み、演算回路２４は、ステップＳ７８で求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、それぞれ、位置（I'，J'）の画素におけるG信号、R信号、B信号の画素値とする出力画像を生成し（得て）、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。

以上のように、高速撮像により得られた複数の撮像画像どうしの位置関係を検出し、その位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる複数の撮像画像の画素を、特定画素として特定し、その特定画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成するので、手ぶれのない鮮明な出力画像を得ることができる。

次に、上述の場合には、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する式（４）乃至式（６）の重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する、例えば、√２-F((x,y),(I',J'))などを採用することとしたが、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数を採用することができる。

位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数としては、例えば、キュービック（Cubic）関数を用いたCubic（I'−x）×Cubic（J'−y）がある。

ここで、キュービック関数Cubic(z)は、次式（７）で表される。

・・・（７）

なお、式（７）のaは、予め決められた定数であり、例えば、−１などとされる。

図１３は、キュービック関数Cubic(z)を示している。

キュービック関数Cubic(z)は、変数zが、２≦｜z｜、および｜z｜＝１の場合には、０となり、１＜｜z｜＜２の場合には、負の値となる。また、｜z｜＜１の場合には、Cubic(z)は、正の値となり、かつ、｜z｜の値が大きくなるに従い、小さくなる。換言すれば、キュービック関数Cubic（z）は、周波数軸で考えた場合（フーリエ変換した場合）にローパスフィルタの特性を有する関数である。

重みw((x,y),(I',J'))として、キュービック関数Cubic（z）を用いる場合、演算回路２４（図４）は、次のようにして、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する。

即ち、図１４は、位置（I'，J'）に対して、N枚の撮像画像の位置(ig-1,jg-1)を基準座標系（ここでは、１枚目の座標系）上にアフィン変換した変換位置（x，y）としての点G11乃至G19を示している。

図１４において、変換位置（x，y）としての点G11乃至G19は、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内の点であり、演算回路２４は、このI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲として、変換位置（x，y）が近傍範囲内にある１乃至N枚目画像の画素を、特定画素として特定する。

即ち、重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する√２-F((x,y),(I',J'))を採用した場合には、図１０および図１１に示したように、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍範囲としたが、重みw((x,y),(I',J'))として、キュービック関数を用いたCubic（I'−x）×Cubic（J'−y）を採用する場合には、図１４に示すように、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲とする。

これは、上述したように、式（７）で表されるキュービック関数Cubic(z)が、−２≦z≦２の範囲で、引数zに応じた値をとるので（｜z｜＞２の範囲では、引数zにかかわらず０であるので）、その範囲と対応する範囲、即ち、I'−２≦x＜I'＋２、およびJ'−２≦y＜J'＋２の範囲に、変換位置（x，y）が存在する画素の画素値を用いて、出力画像における位置（I'，J'）の画素値を推定するためである。

ここで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有し、かつ、さらに、式（４）で説明したように、ノイズ量E×M_kに対して減少する関数を採用することができる。この場合、w((x,y),(I',J'))は、例えば、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M_k）で表される。

なお、シフト回路２１（図１）において、N枚の撮像画像に対して、すべて同一のM倍のゲインアップを行うこととする場合、w((x,y),(I',J'))は、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）で表される。この場合、式（４）乃至式（６）では、w((x,y),(I',J'))における１／（E×M）は、式（４）乃至式（６）の分母と分子で相殺（約分）されるので、式（４）乃至式（６）を計算するにあたって、w((x,y),(I',J'))として、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）を用いることは、w((x,y),(I',J'))として、Cubic（I'−x）×Cubic（J'−y）を用いることと等価である。

式（４）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（４）を書き直すと、式（８）になる。

・・・（８）

ここで、式（８）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組についての総和を表す。例えば、図１４に示した例では、点G11乃至点G19の９個の（k，ig，jg）の組についての総和となる。

なお、式（８）も、式（４）と同様に、緑色の光量の重み加算式と称する。また、式（８）の緑色の光量の重み加算式の分子と分母を、次のように、式（９）と式（１０）とする。

・・・（９）

・・・（１０）

同様に、式（５）と式（６）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（５）と式（６）を書き直すと、それぞれ、式（１１）と式（１２）になる。

・・・（１１）

・・・（１２）

なお、式（１１）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組についての総和を表す。また、式（１２）におけるΣも、式（６）における場合と同様に、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組についての総和を表す。

ここで、式（１１）を、式（５）と同様に、赤色の光量の重み加算式と称し、式（１２）を、式（６）と同様に、青色の光量の重み加算式と称する。

また、式（１１）の赤色の光量の重み加算式の分子と分母を、それぞれ、式（１３）と式（１４）とする。

・・・（１３）

・・・（１４）

同様に、式（１２）の青色の光量の重み加算式の分子と分母を、それぞれ、式（１５）と式（１６）とする。

・・・（１５）

・・・（１６）

演算回路２４では、以上の式（８）で表される緑色の光量の重み加算式、式（１１）で表される赤色の光量の重み加算式、および式（１２）で表される青色の光量の重み加算式を用いて、出力画像の画素値、即ち、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めることができる。

ところで、演算回路２４において、式（８）、式（１１）、および式（１２）によって、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'））を求める場合、出力画像の画素値として、信頼性の低い値が得られることがある。

即ち、式（８）の緑色の光量の重み加算式によれば、変換位置（x，y）における画素値Gobs（k，ig，jg）と重みCubic（I'−x）×Cubic（J'−y）との積和である式（９）で表される式（８）の分子を、重みCubic（I'−x）×Cubic（J'−y）の総和である式（１０）で表される式（８）の分母で除算することにより、位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。

従って、式（８）の分母である式（１０）が０（ほぼ０も含む）となる場合、式（８）で求められる緑色の光量Lg（I'，J'）は、不安定（不定）な、信頼性の低い値となる。換言すれば、式（８）の分母である式（１０）が０となる位置（I'，J'）では、式（８）の分子における画素値Gobs（k，ig，jg）に含まれる僅かなノイズ（誤差）が、０である分母で除算されることにより、大きな値に増幅され、その結果、式（８）で求められる緑色の光量Lg（I'，J'）は、大きなノイズを含む信頼性のない値となる。

式（８）の分母である式（１０）が０となる場合は、例えば、キュービック関数Cubic（I'−x）またはCubic（J'−y）のうちの少なくとも一方が、式（１０）のサメーションの全範囲にわたって０となる場合である。そして、キュービック関数Cubic（I'−x）またはCubic（J'−y）が０となる場合は、図１３で示したキュービック関数の特性から、I'−x＝±１またはJ'−y＝±１、即ち、x＝I'±１またはy＝J'±１となる場合である。

従って、ある位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）の変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係があるとき、式（８）で求められる緑色の光量Lg（I'，J'）は、その分母が０（またはほぼ０）となるから、不安定（不定）な、信頼性のない値となる。但し、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する画素値Gobs（k，ig，jg）の変換位置（x，y）すべてが、位置（I'，J'）と、x＝I'±１またはy＝J'±１の関係となる状態は、極めて特別な、例外的な状態であり、以下、この状態を例外状態と称する。

図１５は、ある位置（I'，J'）が例外状態となっている場合を示している。

図１５では、位置(ig-1,jg-1)が変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換された変換位置G11'およびG15'が、x＝I'−１の関係となる位置に出現し、変換位置G12'およびG16'が、x＝I'＋１の関係となる位置に出現している。

また、位置(ig-1,jg-1)が変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で変換された変換位置G13'およびG14'が、y＝J'−１の関係となる位置に出現し、変換位置G17'，G18'、およびG19'が、y＝J'＋１の関係となる位置に出現している。

図１５に示す状態においては、基準座標系上のI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に変換された（k，ig，jg）の組のすべての変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係がある。この状態では、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないG信号のデータ（画素値Gobs（k，ig，jg））が１つも存在していない。

このような状態（例外状態）において、位置（I'，J'）における緑色の光量Lg（I'，J'）を、式（８）によって求めた場合、上述したように、信頼性の低い（不安定な）緑色の光量Lg（I'，J'）が得られることとなる。

そこで、位置（I'，J'）の画素が、このような例外状態にある場合には、演算回路２４は、式（８）により、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める処理を行うのではなく、次のような例外処理を行うことによって、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。ここで、式（８）、式（１１）または式（１２）により、それぞれ、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、または青色の光量Lb（I'，J'）を求める処理を、以下、適宜、通常処理という。

即ち、例えば、いま、位置（I'，J'）を注目位置とし、その注目位置（I'，J'）の出力画像の画素（以下、適宜、注目画素という）における緑色の光量Lg（I'，J'）を推定するとして、注目画素（の注目位置（I'，J'））が例外状態となっている場合、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素の位置の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて求める。

ここで、例外処理において、緑色の光量Lg（I'，J'）を求める場合には、注目位置（I'，J'）の注目画素の周辺の画素（以下、適宜、周辺画素という）としては、例えば、図１６に示すような、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１），（I'，J'＋１）それぞれの画素を採用することができる。

即ち、ディジタルカメラ１の撮像素子４は、図３を参照して説明したように、ベイヤー配列となっている。ベイヤー配列では、緑色の成分を受光する画素は、X方向およびY方向ともに、１画素おきに配列されている。

ベイヤー配列の撮像素子４において得られるN枚の撮像画像を、基準座標系上にアフィン変換した場合に、注目位置（I'，J'）の近傍にG信号の観測値（である画素値）Gobs（k，ig，jg）が存在していないときは、その注目位置（I'，J'）の基準画像の画素は、緑色の画素ではない。

即ち、図１７は、ベイヤー配列の撮像素子４において得られる基準画像を示している。
なお、図１７において、基準画像は、横方向（X方向）にW個の画素を、縦方向（Y方向）にH個の画素を、それぞれ有しており、W×Hの画素から構成されている。従って、撮像素子４も、W×Hの画素数を有している。

例えば、注目位置（I'，J'）の基準画像の画素が、図１７に示すように、ベイヤー配列の画素のうちの、青色の画素（撮像素子４の画素のうちの青色の成分を受光する画素に対応する基準画像の画素）であり、丸で囲まれている画素B12である場合、画素B12の上下左右のいずれかには、緑色の画素が存在する。同様に、赤色または青色のうちのいずれかの画素については、その画素の上下左右のいずれかに、緑色の画素が存在する。

従って、基準座標系の注目位置（I'，J'）の近傍にG信号の観測値Gobs（k，ig，jg）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の緑色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の上、下、左、または右に隣接する画素（周辺画素）の位置（I'，J'−１），（I'，J'＋１），（I'−１，J'）、または（I'＋１，J'）のうちのいずれかの近傍には、G信号の観測値Gobs（k，ig，jg）が存在する。そして、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素においては、G信号の観測値Gobs（k，ig，jg）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素については、式（８）により、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）の近傍になる画素の画素値Gobs（k，ig，jg）をも用いて求める例外処理を行う。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、次式（１７）で求める。

・・・（１７）

式（１７）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分子の総和、即ち、式（９）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分母の総和、即ち、式（１０）の総和で除算することにより、緑色の光量Lg（I'，J'）が求められる。周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１７）の分母は、ある程度大きな値になるので（０に近い値にはならないので）、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。

式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）と同様に、値が不安定となる場合、即ち、注目画素が例外状態となる場合がある。

具体的には、注目画素の注目位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ir，jr）の画素値Robs（k，ir，jr）の変換位置（x，y）が、図１５で説明した場合と同様に、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係となることがある。このような状態（例外状態）においては、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないR信号のデータ（画素値Robs（k，ir，jr））が１つも存在していない。

この場合、演算回路２４は、次の例外処理を行う。

即ち、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素（周辺画素）の位置の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）をも用いて求める。

ここで、例外処理において、赤色の光量Lr（I'，J'）を求める場合においては、注目位置（I'，J'）の注目画素の周辺画素としては、例えば、図１８に示すような、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１），（I'＋１，J'＋１）それぞれの画素を採用することができる。

注目位置（I'，J'）の近傍にR信号の観測値（である画素値）Robs（k，ir，jr）が存在していない場合、その注目位置（I'，J'）の基準画像の画素は、ベイヤー配列の画素のうちの、赤色の画素ではない。

例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G11である場合、画素G11の上下のいずれかには、赤色の画素が存在する。

また、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G22である場合、画素G22の左右のいずれかには、赤色の画素が存在する。

さらに、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、青色の画素であり、丸で囲まれている画素B14である場合、画素B14の右斜め上、右斜め下、左斜め上、および左斜め下のいずれかには、赤色の画素が存在する。

同様に、基準画像において赤色の画素ではない画素については、その画素の上下、左右、右斜め上、右斜め下、左斜め上、および左斜め下のいずれかに、赤色の画素が存在する。

従って、基準座標系上において、注目位置（I'，J'）の近傍にR信号の観測値Robs（k，ir，jr）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の赤色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の左斜め上、上、右斜め上、左、右、左斜め下、下、または右斜め下に隣接する画素（周辺画素）の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの近傍には、R信号の観測値Robs（k，ir，jr）が存在する。そして、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素においては、R信号の観測値Robs（k，ir，jr）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素については、式（１１）により、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Robs（k，ir，jr）の他に、変換位置(x,y)が注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）の近傍になる画素の画素値Robs（k，ir，jr）をも用いて求める。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、次式（１８）で求める。

・・・（１８）

式（１８）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分子の総和、即ち、式（１３）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分母の総和、即ち、式（１４）の総和で除算することにより、赤色の光量Lr（I'，J'）が求められる。周辺画素の位置のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１８）の分母は、ある程度大きな値になるので、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。

式（１２）の青色の光量の重み加算式で求められる青色の光量Lb（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）や、式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）と同様に、値が不安定となる場合、即ち、注目位置（I'，J'）の注目画素が例外状態となる場合がある。

この場合、演算回路２４は、次の例外処理を行う。

即ち、ベイヤー配列では、青色の画素は、上述の赤色の画素と同様の位置関係で配列されている。そこで、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における青色の光量Lb（I'，J'）を、式（１８）と同様の、式（１９）で求める例外処理を行う。

・・・（１９）

式（１９）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分子の総和、即ち、式（１５）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分母の総和、即ち、式（１６）の総和で除算することにより、青色の光量Lb（I'，J'）が求められる。従って、式（１７）および式（１８）における場合と同様に、信頼性のある青色の光量Lb（I'，J'）を求めることができる。

次に、図２０と図２１のフローチャートを参照して、重みw((x,y),(I',J'))として、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いる場合の、図２のステップＳ４における画像生成処理について説明する。

なお、以下においては、撮像画像は、図１７で説明したように、W×H画素を有し、撮像素子４も、W×H画素を有するものとする。

初めに、ステップＳ２０１において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのY方向の位置を表す変数J'に０をセットして、ステップＳ２０２に進む。

ステップＳ２０２において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのX方向の位置を表す変数I'に０をセットして、ステップＳ２０３に進む。ここで、変数I'とJ'は、それぞれ、出力画像の画素のX方向とY方向の位置を表す変数でもある。

ステップＳ２０３において、演算回路２４は、位置（I'，J'）を注目位置として、その注目位置（I'，J'）に対して、k枚目画像の緑色の画素の中心位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、即ち、緑色の光量Lg（I'，J'）の推定に用いる画素を特定し、ステップＳ２０４に進む。

ステップＳ２０４において、演算回路２４は、ステップＳ２０３で求めたすべての（k，ig，jg）の組を用いて、式（１０）で表される、緑色の光量の重み加算式の分母と、式（９）で表される、緑色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれを図示せぬメモリに記憶させて、ステップＳ２０５に進む。

ステップＳ２０５において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素の中心位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、即ち、赤色の光量Lr（I'，J'）の推定に用いる画素を特定し、ステップＳ２０６に進む。

ステップＳ２０６において、演算回路２４は、ステップＳ２０５で求めたすべての（k，ir，jr）の組を用いて、式（１４）で表される、赤色の光量の重み加算式の分母と、式（１３）で表される、赤色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０７に進む。

ステップＳ２０７において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素の中心位置(ib-1,jb-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、即ち、青色の光量Lb（I'，J'）の推定に用いる画素を特定し、ステップＳ２０８に進む。

ステップＳ２０８において、演算回路２４は、ステップＳ２０７で求めたすべての（k，ib，jb）の組を用いて、式（１６）で表される、青色の光量の重み加算式の分母と、式（１５）で表される、青色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０９に進む。

ステップＳ２０９において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２０９で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１０に進み、変数I'を１だけインクリメントして、ステップＳ２０３に戻る。

一方、ステップＳ２０９で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われた場合、ステップＳ２１１に進む。

ステップＳ２１１において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２１１で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１２に進み、変数J'を１だけインクリメントして、ステップＳ２０２に戻る。

一方、ステップＳ２１１で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われた場合、図２１のステップＳ２１３に進む。

ステップＳ２１３において、演算回路２４は、ステップＳ２０１における場合と同様に、変数J'に０をセットして、ステップＳ２１４に進む。

ステップＳ２１４において、演算回路２４は、ステップＳ２０２における場合と同様に、変数I'に０をセットして、ステップＳ２１５に進む。

ステップＳ２１５において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、緑色の光量Lg（I'，J'）を求める演算処理を行って、ステップＳ２１６に進む。即ち、ステップＳ２１５では、後述するように、式（８）の緑色の光量の重み加算式を用いた通常処理、または、式（１７）を用いた例外処理により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。

ステップＳ２１６において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、赤色の光量Lr（I'，J'）を求める演算処理を行って、ステップＳ２１７に進む。即ち、ステップＳ２１６では、後述するように、式（１１）の赤色の光量の重み加算式を用いた通常処理、または、式（１８）を用いた例外処理により、注目位置（I'，J'）の赤色の光量Lr（I'，J'）が求められる。

ステップＳ２１７において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、青色の光量Lb（I'，J'）を求める演算処理を行って、ステップＳ２１８に進む。即ち、ステップＳ２１７では、後述するように、式（１２）の青色の光量の重み加算式を用いた通常処理、または、式（１９）を用いた例外処理により、注目位置（I'，J'）に対する青色の光量Lb（I'，J'）が求められる。

ステップＳ２１８において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２１８で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２１９に進み、変数I'を１だけインクリメントして、ステップＳ２１５に戻る。

一方、ステップＳ２１８で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２０に進む。

ステップＳ２２０において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２２０で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２２１に進み、変数J'を１だけインクリメントして、ステップＳ２１４に戻る。

一方、ステップＳ２２０で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２２に進む。

ステップＳ２２２において、演算回路２４は、ステップＳ２１５，Ｓ２１６，Ｓ２１７でそれぞれ求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、I'=0乃至W-1，J'=0乃至H-1の各位置（I'，J'）の画素値とした出力画像を生成し、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。

次に、図２２のフローチャートを参照して、図２１のステップＳ２１５における、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２５１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の絶対値、即ち、式（１０）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１０）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２５２に進み、演算回路２４は、式（８）の緑色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分子の値、即ち、式（９）の値を、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の値、即ち、式（１０）の値で除算する演算を行う。これにより、ステップＳ２５２では、注目位置（I'，J'）における緑色の光量Lg（I'，J'）が求められる。

一方、ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１０）の絶対値が０、または０に近い場合、ステップＳ２５３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（８）の分母と分子を用いて、式（１７）を演算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。

次に、図２３のフローチャートを参照して、図２１のステップＳ２１６における、注目位置（I'，J'）の赤色の光量Lr（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２７１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の絶対値、即ち、式（１４）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１４）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１の閾値と同一でもよいし、異なるものでもよい。

ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１４）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２７２に進み、演算回路２４は、式（１１）の赤色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分子の値、即ち、式（１３）の値を、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の値、即ち、式（１４）の値で除算する演算を行う。これにより、ステップＳ２７２では、注目位置（I'，J'）における赤色の光量Lr（I'，J'）が求められる。

一方、ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１４）の絶対値が０、または０に近い場合、ステップＳ２７３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（１１）の分母と分子を用いて、式（１８）を演算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求める。

次に、図２４のフローチャートを参照して、図２１のステップＳ２１７における、注目位置（I'，J'）の青色の光量Lb（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２９１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の絶対値、即ち、式（１６）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１６）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１や図２３のステップＳ２７１の閾値と同一でもよいし、異なるものでもよい。

ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１６）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２９２に進み、演算回路２４は、式（１２）の青色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分子の値、即ち、式（１５）の値を、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の値、即ち、式（１６）の値で除算する演算を行う。これにより、ステップＳ２９２では、注目位置（I'，J'）における青色の光量Lb（I'，J'）が求められる。

一方、ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１６）の絶対値が０、または０に近い場合、ステップＳ２９３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置とその周辺画素について演算された式（１２）の分母と分子を用いて、式（１９）を演算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求める。

以上のように、図２０および図２１のフローチャートにしたがった画像生成処理によれば、注目位置（I'，J'）と、注目位置（I'，J'）の近傍にある変換位置（x，y）との距離に応じた重みとして、ローパスフィルタの特性を有するキュービック関数を用いて重み付け加算を行うことにより、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求められる。

即ち、位置（ig−1，jg−1）を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、注目位置（I'，J'）に対して、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）、即ち、変換位置（x，y）が、注目位置（I'，J'）の近傍になる画素値Gobs（k，ig，jg）を用いた重み付け加算である、式（８）の緑色の光量の重み加算式で、緑色の光量Lg（I'，J'）が求められる（通常処理）。

但し、注目位置（I'，J'）の式（８）の緑色の光量の重み加算式の分母である式（１０）の絶対値が、所定の閾値未満で０とみなされる場合、即ち、式（８）の緑色の光量の重み加算式により求められる値が不安定になる場合には、変換位置（x，y）が注目位置（I'，J'）の近傍にある画素値Gobs（k，ig，jg）と、注目位置（I'，J'）の周辺の周辺画素の位置の近傍になる画素値Gobs（k，ig，jg）とを用いた重み付け加算である、式（１７）により、緑色の光量Lg（I'，J'）が求められる（例外処理）。

赤色の光量Lr（I'，J'）および青色の光量Lb（I'，J'）も同様にして求められる。

従って、ノイズの目立たない鮮明な出力画像を得ることができる。

なお、通常処理と例外処理とは、次のような見方をすることもできる。

即ち、例えば、緑色に注目すると、上述の場合においては、通常処理では、変換位置（x，y）が注目画素の位置（注目位置）（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）を用いた重み付け加算を行う。一方、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）と、変換位置（x，y）が注目画素の周辺の周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）とを用いた重み付け加算を行う。

従って、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の他、周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて重み付け加算が行われる。

以上から、通常処理が、注目位置（I'，J'）の近傍として、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の領域内に観測される撮像画像の画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めるのに対し、例外処理は、注目位置（I'，J'）の近傍として、通常処理の近傍の領域より広いI'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域内に観測される画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めているということができる。

さらに、換言すれば、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める際に、注目位置（I'，J'）の近傍として、予め、I'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域が設定されており、通常処理では、その近傍の領域のうちのI'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）に対する重みが０となる式（８）の緑色の光量の重み加算式により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められているということができる。一方、例外処理では、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）、即ち、周辺画素の近傍に観測される画素値Gobs（k，ig，jg）に対する重みとして、０ではなく、その周辺画素の位置を原点とするキュービック関数Cubic（z）によって与えられる値を用いて、式（１７）により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められていると言うことができる。

即ち、通常処理と例外処理とでは、異なる重みを用いた重み付け加算により、緑色の光量Lg（I'，J'）が求められるということができる。

なお、注目位置（I'，J'）とその近傍にある画素値Gobs（k，ig，jg）が観測される位置（x，y）との距離zに対してローパスフィルタの特性を有する関数としては、式（７）のキュービック関数Cubic（z）の他、例えば、sin（z）／zなどを採用することが可能である。

ところで、上述した実施の形態では、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とすることとしたが、１枚目の撮像画像以外の、２乃至N枚目の撮像画像のいずれを基準画像としてもよい。

即ち、図２５は、N回の連続撮像（高速撮像）により撮像されたN枚の撮像画像を示している。なお、図２５は、N＝８の例である。

１乃至８枚目の撮像画像４０１₁乃至４０１₈（k枚目画像４０１_k）は、時系列に高速撮像された画像であり、時間の経過とともに、図中右上方向に、手ぶれによりずれた画像となっている。

即ち、図２５は（後述する図２６および図２７でも同様）、１乃至８枚目の撮像画像４０１₁乃至４０１₈それぞれに投影された被写体の各部が一致するように位置合わせした状態の１乃至８枚目の撮像画像４０１₁乃至４０１₈を示している。

なお、図２５では、（図２６および図２７でも同様）、手ぶれが生じていることを分かりやすくするために、手ぶれによるずれ量を誇張して、撮像画像４０１₁乃至４０１₈を図示してある。

図２６は、図２５と同様の８枚の撮像画像４０１₁乃至４０１₈を示している。

信号処理回路７において、撮像画像４０１₁乃至４０１₈のうちの、１枚目画像を基準画像とするとともに、２乃至８枚目画像それぞれをターゲット画像として、出力画像を生成する場合、出力画像は、基準画像である１枚目画像４０１₁の座標系上の画像として得られる。ここで、図２６では、１枚目画像４０１₁、即ち、出力画像を、太線で示してある。

図２６の太線で示される出力画像の領域において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータ（画素値）を使用して光量（画素値）が推定される領域は、点線で示される、出力画像の右上部分の領域４１１である。この領域４１１の画素値は、１乃至８枚目の８枚すべての撮像画像４０１₁乃至４０１₈のデータを使用して推定されるので、より鮮明な画質となる。

しかしながら、出力画像の生成にあたり、図２６の太線で示す出力画像の領域のうちの、領域４１１以外では、１乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、即ち、１乃至８枚目の撮像画像４０１₁乃至４０１₈のすべてのデータを使用することができないため、その分だけ、領域４１１に比較して画質の鮮明さが劣化することになる。上述したように、右上方向の手ぶれが生じている場合には、その反対の左下方向の領域ほど、出力画像を生成するのに用いることができるデータが少なくなり、画質の鮮明さが、領域４１１に比較して劣化する。

さらに、ターゲット画像である２乃至８枚目の撮像画像４０１₂乃至４０１₈のうちの、図２６の太線で示す出力画像の領域上にない部分４１２のデータは、出力画像の生成に使用することができず、いわば捨てられることになる。

以上のように、１枚目の撮像画像を基準として、出力画像を生成すると、ある方向の手ぶれが生じている場合には、出力画像の中心から、手ぶれと同一の方向の領域（例えば、図２６の領域４１１）では、鮮明な画質が得られるが、その反対方向の領域では、画質の鮮明さが劣化する。

ところで、一般に、ユーザが画像を見るときは、その中心部分に注目することが多く、また、ディジタルカメラ１による撮像を行う場合にも、注目している被写体が、画像（画枠）の中心部分に位置するように、撮像を行う。従って、ディジタルカメラ１で得られる出力画像の、特に、中心部分の画質は鮮明であることが望ましい。

そこで、信号処理回路７では、N枚の画像が連続撮像された時間の、中間の時刻またはその近傍の時刻に撮像された１枚の撮像画像（以下、中間画像と称する）を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することができる。

例えば、図２７に示すように、信号処理回路７は、８枚の撮像画像４０１₁乃至４０１₈のうちの、太線で示される４枚目の撮像画像を基準画像として、出力画像を生成することができる。この場合、出力画像の生成にあたり、その中心部分の領域４２１において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータが使用される。

即ち、時系列の複数枚の撮像画像のうちの、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することにより、出力画像の中心部分を、より鮮明な画質とすることができる。

上述のように、ディジタルカメラ１による撮影（撮像）では、ユーザは、一般に、注目している被写体が画像（画枠）の中心に位置するように撮影を行う。さらに、上述したように、人が画像を見る場合には、画像の中心部分に注目して、その画像を見ることが一般的である。そういう意味では、画像の中心部分が、画像の周辺部分よりも、より鮮明な画質となっている方が、良好な画像であると言える。

従って、図２７に示すように、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像とすることにより、出力画像の中心部分が１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して推定されるので、１枚目の撮像画像を基準画像とするよりも、良好な出力画像を得ることができる。

なお、手ぶれの周波数は、例えば、１０乃至１５Hz程度である。従って、図２７に示した８枚の撮像画像４０１₁乃至４０１₈を、例えば、１／５０秒以内で撮像するようなシャッタスピードでは、手ぶれによるぶれ量（手ぶれ量）は直線近似することができる。即ち、手ぶれは、一定方向への一定の速さでの移動とみなすことができる。従って、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像する場合には、その撮像時間における手ぶれ量を直線近似することができ、中間画像、即ち、４枚目の撮像画像４０１₄や、５枚目の撮像画像４０１₅を基準画像とすることにより、図２７で説明したように、出力画像の中心部分の画質を鮮明にすることができる。

また、図４で示した信号処理回路７において、８枚の撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合には、フレームメモリ２２₁に基準画像とする４枚目の撮像画像４０１₄を供給して記憶させ、１乃至３枚目の４０１₁乃至４０１₃、および５乃至８枚目の撮像画像４０１₅乃至４０１₈を、それぞれ、フレームメモリ２２₂乃至２２₈に供給して記憶させるようにすればよい。

ここで、中間画像を基準画像とすることにより、中心部分が鮮明な出力画像を得ることができる他、信号処理回路７の設計の容易化を図ることができる。

即ち、手ぶれ量が、上述したように、直線近似することができるとして、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像した場合に、例えば、隣り合う撮像画像間での手ぶれ量が１０画素であるとする。この場合、１枚目の撮像画像を基準画像としてしまうと、１枚の画像の撮像が無限小の時間で行うことができるとしても、最大で、７０画素の手ぶれが生じることになる。従って、信号処理回路７は、最大で７０画素の手ぶれに対応することができるように設計する必要がある。

これに対して、中間画像を基準画像とする場合、即ち、撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合、最大の手ぶれ量は４０画素になる。従って、信号処理回路７は、最大で４０画素の手ぶれに対応することができるように設計すればよいため、信号処理回路７としてのハードウエアの設計の容易化を図ることができる。

なお、上述したように、出力画像を生成するのに、８枚の撮像画像４０１₁乃至４０１₈における中間画像である、例えば、４枚目の撮像画像４０１₄を基準画像とする場合には、出力画像は、基準画像である４枚目の撮像画像４０１₄に投影されている被写体の範囲の画像となる。

ところで、上述のように、８枚の撮像画像４０１₁乃至４０１₈のうちの４枚目の撮像画像などの中間画像を基準画像とすることにより、出力画像の中心部分の生成には、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべての枚数目のデータを使用されるが、出力画像の周辺部分（出力画像のうちの、その画枠に近い部分）の生成には、１乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、出力画像の中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。

出力画像において、このような画質の劣化が生じるのは、基準画像である４枚目の撮像画像４０１₄に投影されている被写体の範囲の「全体」の画像を、出力画像として生成するためであり、８枚の撮像画像４０１₁乃至４０１₈のうちのいずれを基準画像とした場合であっても、基準画像に投影されている被写体の範囲の「全体」の画像を出力画像として生成する限りは、手ぶれが生じていれば、出力画像の画素値の推定にあたって、一部の枚数目の撮像画像のデータしか使用することができない部分（出力画像の部分）が生じ、その部分の画質は劣化する。

そこで、演算回路２４においては、全体の画質が鮮明な出力画像を生成するために、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像であり、かつ、画素の間隔がN枚の撮像画像の画素の間隔より小さい画像を、出力画像として生成するようにすることができる。

即ち、ディジタルカメラ１では、ユーザのレリーズボタンの１回の操作に応じて（１回の撮影において）、N回の撮像が行われ、N枚の撮像画像が得られる。N回の撮像が行われている間の手ぶれは直線近似することができるので、その手ぶれの間に撮像されるN枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分は、（ほぼ、）N枚の撮像画像の中間画像の中心部分に一致する。

具体的には、例えば、図２７に示したように、８枚の撮像画像４０１₁乃至４０１₈の全体に投影されている被写体の範囲（図２７において斜線を付してある部分）の中心部分は、中間画像である４枚目の撮像画像４０１₄の中心部分である領域４２１に（ほぼ）一致する。

従って、鮮明な画像（出力画像）が得られる領域４２１と（ほぼ）一致する、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を、出力画像として生成することにより、全体の画質が鮮明な出力画像を得ることができる。

ところで、図１のディジタルカメラ１においては、上述したように、撮影モードとして、例えば、暗い風景を撮影する場合に適した、N枚の撮像画像を撮像して、そのN枚の撮像画像から、１枚の出力画像を生成する手ぶれ補正モードと、例えば、明るい風景を撮影する場合などに適した、１枚の撮像画像を撮像して、その撮像画像を、そのまま出力画像とする通常撮影モードとがある。この手ぶれ補正モードと通常補正モードとを適切に使い分けることにより、例えば、明るい風景であっても、暗い風景であっても、ブレのない（ブレが低減され）、十分な明るさの出力画像を得ることができる。

以上のように、撮影モードとして、通常撮影モードと手ぶれ補正モードとがある場合に、手ぶれ補正モードにおいて、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を出力画像として生成すると、その出力画像は、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分、即ち、中間画像の中心部分の画像であるから、その画素の数は、中間画像である撮像画像の画素の数、ひいては、撮像素子４（図１）が有する画素の数よりも少なくなる。

従って、手ぶれ補正モードにおいて生成される出力画像の画素の数は、通常撮影モードにおいて生成される出力画像の画素の数よりも少なくなり、このように、手ぶれ補正モードと通常撮影モードそれぞれで得られる出力画像の画素の数（画素数）が異なることは、ユーザに違和感を感じさせることになる。即ち、撮影モードによってディジタルカメラ１から得られる出力画像の画素数が異なるのでは、ユーザにとって不便である。

また、ディジタルカメラの性能を表す指標として、撮像素子の画素数が提示されることがあり、ユーザは、その画素数を考慮して、ディジタルカメラの購入を決定することがある。かかる観点からも、手ぶれ補正モードにおいて得られる出力画像の画素数が、（撮像画像の画素数でもある）撮像素子の画素数よりも少ないのは、好ましくない。

そこで、ディジタルカメラ１では、手ぶれ補正モードにおいて生成する出力画像を、その画素の間隔が撮像画像の画素の間隔より小さい画像とすることで、この不具合を解消するようになっている。

即ち、上述の実施の形態では、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔と同一の１であるとして、出力画像を生成するようにしているため、基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像の画素の数と同一になる。また、中間画像である基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像に投影されている被写体の範囲の中心部分の画像の画素の数と同一になり、その結果、基準画像の画素の数より少なくなる。

そこで、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔より小さい値、即ち、ここでは、１未満の値として、出力画像を生成することにより、出力画像の画素の数を、撮像画像の画素の数と一致させることができる。

以上のことをまとめると、以下のようになる。即ち、手ぶれ補正モードにおいて中間画像を、基準画像として、その基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像において、中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。

つまり、例えば、撮像素子４（図１）の画素（有効画素）の数が、上述したように、W×H画素であるとすると、基準画像の座標系（基準座標系）において、x≒０，x≒W−１，y≒０，y≒H−１である点（画素）（x，y）の出力画像の画質、つまり、出力画像の周辺部分の画質は、その周辺部分以外の部分である中心部分の画質に比較して劣化する。

そこで、基準画像に投影されている被写体の範囲の中心部分、即ち、N枚の撮像画像に投影されている被写体の範囲の中心部分の画像（例えば、図２７の領域４２１内に投影された画像）を、出力画像とすることにより、全体が鮮明な画質の出力画像が得られる。

但し、基準画像に投影されている被写体の範囲の中心部分の画像を、出力画像とする場合には、出力画像に投影される被写体の範囲（視野角度）が狭くなり、出力画像の画素の間隔を、基準画像（撮像画像）の画素の間隔と同一とすると、出力画像の画素数が、撮像画像（基準画像）の画素数、ひいては、撮像素子４の画素数より少なくなる。

そこで、さらに、画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成することにより、全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得ることができる。

次に、図２８のフローチャートを参照して、手ぶれ補正モードにおいて、上述のような全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得る場合の、図１のディジタルカメラ１の撮影処理（後述する図４４のステップＳ５０７）について説明する。

ディジタルカメラ１では、ステップＳ３０１乃至Ｓ３０５において、それぞれ、図２のステップＳ１乃至Ｓ５における場合と基本的に同様の処理が行われる。

但し、ステップＳ３０３では、１枚目乃至N枚目の撮像画像のうちの１枚目の撮像画像ではなく、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。

また、ステップＳ３０４では、基準画像に投影されている被写体の範囲の「全体」の画像ではなく、その被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の全体の、周辺部分を除いた中心部分）の画像であり、かつ画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成する画像生成処理が行われる。

即ち、ステップＳ３０１において、撮像素子４は、被写体を撮像する。即ち、単板センサである撮像素子４は、ユーザによる１回のレリーズボタン（シャッタボタン）の押下による１回の撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光して光電変換することにより、N回の高速撮像を行う。

従って、ディジタルカメラ１では、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下の暗い画像となる。即ち、例えば、いま、１回の撮影において、８回の高速撮像が行われることとすると、撮像画像は、適正露出の画像の１／８の明るさの暗い画像となる。この場合、N=8，M_k=8である。

撮像素子４での光電変換により得られる撮像画像の画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給されて、ステップＳ３０１からＳ３０２に進む。

ステップＳ３０２では、A/Dコンバータ６が、相関２重サンプリング回路５から供給される、ノイズ除去された撮像画像の画像信号をディジタル変換する。その後、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出以下の暗い撮像画像の画像信号を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３０３に進む。

ここで、上述のように、１回の撮影において、８回の高速撮像が行われることとすると、シフト回路２１では、例えば、３ビットシフト（２³（＝８）倍のゲインアップ）が行われる。

ステップＳ３０３では、信号処理回路７の動きベクトル検出回路２３₁乃至２３_N-1（図４）は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量を検出して、ステップＳ３０４に進む。

即ち、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られる場合、中間画像である４枚目の撮像画像が基準画像とされ、４枚目以外の撮像画像、つまり、１乃至３枚目の撮像画像、５乃至８枚目の撮像画像それぞれをターゲット画像として、ターゲット画像（１乃至３枚目の撮像画像、および、５乃至８枚目の撮像画像）が基準画像（４枚目の撮像画像）に対して、どのような位置ずれを起こしているか、つまり、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。

ステップＳ３０４において、信号処理回路７の演算回路２４（図４）は、N枚の撮像画像と、ステップＳ３０３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ３０５に進む。このステップＳ３０４の画像生成処理により、信号処理回路７において、手ぶれが補正された、全体が鮮明で、かつ画素の数が撮像画像と同一で、１画素がG信号、R信号、B信号のすべてを有する１枚の出力画像が生成される。この出力画像（の画像信号）は、D/Aコンバータ９またはコーデック１２に供給される。

その後、ステップＳ３０４からＳ３０５に進み、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からD/Aコンバータ９に供給された出力画像の画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ３０５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給されたアナログの画像信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、画像を表示して、処理を終了する。また、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からコーデック１２に供給された出力画像の画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。

ここで、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られることとすると、ステップＳ３０３では、１枚目画像乃至８枚目画像それぞれを、基準画像である中間画像、即ち、ここでは、例えば、４枚目画像に位置合わせするアフィン変換を行う変換パラメータが求められる。

いま、１枚目画像乃至８枚目画像のうちの、あるk枚目画像（k＝１，２，・・・，８）の座標系上の点（の座標）を、(X_k,Y_k)と表し、その点(X_k,Y_k)に投影されている被写体の部分と同一の部分が投影されている基準画像の座標系（基準座標系）上の点、即ち、ここでは、４枚目画像の座標系上の点を、(X_4k,Y_4k)と表すとともに、点(X_k,Y_k)を、点(X_4k,Y_4k)にアフィン変換する変換パラメータを、(a_4k,b_4k,c_4k,d_4k,s_4k,t_4k)と表すこととする。

ステップＳ３０３では、変換パラメータ(a_4k,b_4k,c_4k,d_4k,s_4k,t_4k)が求められる（k＝１，２，・・・，８）。

この場合、１枚目画像乃至８枚目画像それぞれを、基準画像である４枚目画像に位置合わせするアフィン変換（１枚目画像乃至８枚目画像の点の、４枚目画像の座標系上の対応する点へのアフィン変換）は、式（２０）乃至式（２７）で、それぞれ表される。

・・・（２０）

・・・（２１）

・・・（２２）

・・・（２３）

・・・（２４）

・・・（２５）

・・・（２６）

・・・（２７）

なお、式（２３）のアフィン変換は、４枚目画像の座標系上の点を、同一の４枚目画像の座標系上の点に射影するものであり、その変換パラメータ(a₄₄,b₄₄,c₄₄,d₄₄,s₄₄,t₄₄)は、（１，０，０，１，０，０）である。

次に、図２８のステップＳ３０４における画像生成処理について、さらに説明する。

なお、以下では、撮像素子４が出力する撮像画像の横の画素数をW'と表すとともに、縦の画素数をH'と表す。ここでは、撮像素子４が有する画素の横の画素数Wと、撮像画像の横の画素数をW'とが等しく、かつ、撮像素子４が有する画素の縦の画素数Hと、撮像画像の縦の画素数をH'とが等しいものとする。

但し、撮像素子４は、上述したように、その複数画素を１画素として画素値を出力するビニング機能を有する。撮像素子４が、例えば、２×２画素を１画素として画素値を出力する２×２ビニングを行う場合、H'＝H／２、W'＝W／２となる。撮像素子４がビニングを行う場合の画像生成処理については、後述する。

ここで、撮像素子４が有する画素の横の画素数Wと縦の画素数Hは、例えば、それぞれ数百乃至数千であり、例えば、H＝２０００，W＝３０００である。

また、以下でも、引き続き、撮像画像の座標系を、その撮像画像の左上の画素の画素中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系とし、さらに、基準画像の座標系（基準座標系）において、基準画像の横または縦方向に隣り合う画素どうしの間隔を、いずれも１であるとして説明を行う。

この場合、基準画像の左からi番目で、上からj番目の画素の中心位置（の座標）（x，y）は、(i-１,j-１)となる。即ち、例えば、基準画像の左上の画素の座標（x，y）は（０，０）となり、左から２番目で、上から１番目の画素の座標（x，y）は、（１，０）となる。また、例えば、左から１番目で、上から２番目の画素の座標（x，y）は、（０，１）となり、右下の画素の座標（x，y）は、（W−１，H−１）（＝（W'−１，H'−１））となる。

なお、撮像画像と出力画像において、左からi番目で、上からj番目の画素を、以下、適宜、画素（i，j）とも記述する。

上述の図１２や、図２０および図２１で説明した画像生成処理では、出力画像の画素（i，j）の画素値を、基準座標系上の位置（点）（x，y）＝（i−１，j−１）における画素値として計算（推定）している。即ち、出力画像における隣り合う画素の間（画素ピッチ）の距離が、撮像画像の画素ピッチと同一の１であるとして、出力画像の画素値を求めている。

従って、図２５乃至図２７で説明したように、中間画像を基準画像とした場合においては、出力画像の中心部分については、その画素値の推定に使用することができるデータ（撮像画像）が十分にあるので、ノイズのない良好な画質の画像を得ることができるが、周辺部分、即ち、x≒０，x≒W−１，y≒０，y≒H−１の（x，y）で表される部分については、その画素値の推定に使用することができるデータが少ないため、出力画像の周辺部分、つまり、i≒１，i≒W，j≒１，j≒Hの画素（i，j）では、（中心部分と比較して）ノイズの多い画像となってしまう。

そこで、図２８のステップＳ３０４の画像生成処理では、中間画像を基準画像とし、さらに、その基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の視野角度の狭い画像であって、画素の間隔が撮像画像（基準画像）の画素の間隔より小さい画像が、出力画像として生成される。

即ち、図２８のステップＳ３０４の画像生成処理では、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算される。

ここで、図２９は、α，β，γを説明するための図であり、基準画像である４枚目画像４０１₄を示している。

出力画像の画素（i，j）を表すiは、１乃至Wの範囲の整数値であり、jは、１乃至Hの範囲の整数値であるから、位置（α×（i−１）＋β，α×（j−１）＋γ）は、左上の点（β，γ）、右上の点（α×（W−１）＋β，γ）、右下の点（α×（W−１）＋β，α×（H−１）＋γ）、左下の点（β，α×（H−１）＋γ）の４つの点で囲まれる、αW×αH（横×縦）の矩形の高画質エリア４２２内の位置である。

なお、高画質エリア４２２は、W×Hの基準画像である４枚目画像４０１₄（正確には、４枚目画像４０１₄の左上、右上、右下、左下それぞれの画素中心を頂点とする矩形）と、相似比αで相似な矩形である。

いま、αが、０より大で、１より小の実数であるとすると、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像の画素ピッチが１であるのに対して、出力画像の画素ピッチは、１未満のαとなるが、出力画像の画素数は、基準画像と同一のW×H画素となる。

さらに、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像に投影されている被写体の範囲の中心部分（８枚の撮像画像４０１₁乃至４０１₈に投影されている被写体の範囲の中心部分）の視野角度の狭い画像、即ち、図２９では、高画質エリア４２２の画像（正確には、高画質エリア４２２よりも上下左右それぞれが0.5αだけ広い範囲の画像）が、出力画像となる。

従って、高画質エリア４２２が、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に含まれるように、さらに、望ましくは、高画質エリア４２２の面積が最大となるように、α，β，γを設定することにより、全体が鮮明な画質で、かつ、画素の数が撮像素子４が有する画素数W×H（ここでは、撮像画像の画素数W'×H'でもある）と一致する出力画像を得ることができる。

次に、α，β，γの具体的な値について説明する。

１回の撮影において、１枚目画像４０１₁乃至８枚目画像４０１₈の８枚の撮像画像が撮像される場合に、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。なお、手ぶれ量の最大値が、撮像素子４の画素数の何％となるかは、ある撮像画像と次の撮像画像との撮像の間隔等に基づき、シミュレーション等を行うことによって求め、ディジタルカメラ１に設定しておくことができる。あるいは、手ぶれ量の最大値が、撮像素子４の画素数の何％であるかは、例えば、動き検出回路２３₁乃至２３_N-1（図４）で求められる動きベクトル、またはアフィン変換の変換パラメータから求めるようにすることができる。

上述のように、手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の２％であるとすると、ある撮像画像４０１_kと、その次の撮像画像４０１_k+1との間の横と縦方向の位置ずれは、撮像画像４０１_kの画素数で、それぞれ最大でも、0.02×W画素と0.02×H画素であり、逆に、それを越える位置ずれは生じない。

従って、中間画像である４枚目画像４０１₄を基準画像とする場合、その基準画像に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１₈で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W(=0.02×W×4)画素で、縦方向が0.08×H(=0.02×H×4)画素である。

従って、図２９に示した基準画像である４枚目画像４０１₄において、その上下から0.08×H画素だけ内側で、かつ、その左右から0.08×W画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。

この場合、高画質エリア４２２は、その左上の頂点が、座標（0.08×W，0.08×H）で、横が、基準画像の横Wよりも0.08×W×２だけ短く、かつ、縦が基準画像の縦Hよりも0.08×H×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W，0.08×H）で、横が(1-0.16)×Wで、縦が、(1-0.16)×Hの矩形（長方形）になる。

そして、高画質エリア４２２は、上述したように、左上の点が座標（β，γ）の、αW×αH（横×縦）の矩形の領域であるから、α＝(1-0.16)，β＝0.08×W，γ＝0.08×Hとなる。

図２８のステップＳ３０４の画像生成処理では、演算回路２４（図４）は、手ぶれ量の最大値が撮像素子４の画素数の何％であるかに基づき、上述したようにして、α，β，γを設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値を、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）する。

即ち、α，β，γが、手ぶれ量の最大値に応じた値に設定され、基準画像に投影されている被写体の範囲のうちの高画質エリア４２２に投影されている画像、つまり、基準画像に投影されている被写体の範囲の割合αの範囲（αW×αH）の画像であり、かつ、画素の間隔が、撮像画像の画素の間隔の割合αの画像が、出力画像として生成される。

なお、上述の場合には、手ぶれ量の最大値に基づいてα，β、γを設定するようにしたが、その他、例えば、手ぶれ量の最大値よりも幾分か小さい値に基づいて、α，β、γを設定するようにしても、実用上は問題ない。

次に、図３０乃至図４０のフローチャートを参照して、図２８のステップＳ３０４の画像生成処理について、さらに説明する。

なお、式（４）乃至式（６）の重みw((x,y),(I',J'))としては、ここでは、例えば、図２０および図２１で説明した画像生成処理における場合と同様に、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いることとする。

また、ここでは、１回の撮影において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈が撮像され、さらに、そのうちの中間画像である４枚目の撮像画像４０１₄を基準画像とするものとする。

まず、ステップＳ３１１において、演算回路２４は、出力画像の縦方向の画素をカウントする変数jに、初期値としての１を設定し、ステップＳ３１２に進む。ステップＳ３１２では、演算回路２４は、出力画像の横方向の画素をカウントする変数iに、初期値としての１を設定し、ステップＳ３１３に進む。

ステップＳ３１３では、演算回路２４は、１枚目の撮像画像４０１₁の中のG信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内（図１４で説明した、位置（I'，J'）に対する、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内に相当する）にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのG信号の画素（緑色の画素）を、特定画素として特定して、ステップＳ３１４に進む。

ここで、ステップＳ３１３で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるG信号の値をG₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（G信号）は、G₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１４では、演算回路２４は、２枚目の撮像画像４０１₂の中のG信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのG信号の画素を、特定画素として特定して、図３１のステップＳ３１５に進む。

ここで、ステップＳ３１４で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるG信号の値をG₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（G信号）は、G₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１５では、演算回路２４は、３枚目の撮像画像４０１₃の中のG信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１６に進む。

ここで、ステップＳ３１５で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるG信号の値をG₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（G信号）は、G₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１６では、演算回路２４は、４枚目の撮像画像４０１₄の中のG信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１７に進む。

ここで、ステップＳ３１６で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるG信号の値をG₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（G信号）は、G₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１７では、演算回路２４は、５枚目の撮像画像４０１₅の中のG信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのG信号の画素を、特定画素として特定して、図３２のステップＳ３１８に進む。

ここで、ステップＳ３１７で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるG信号の値をG₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（G信号）は、G₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１８では、演算回路２４は、６枚目の撮像画像４０１₆の中のG信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１９に進む。

ここで、ステップＳ３１８で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるG信号の値をG₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（G信号）は、G₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１９では、演算回路２４は、７枚目の撮像画像４０１₇の中のG信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３２０に進む。

ここで、ステップＳ３１９で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるG信号の値をG₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（G信号）は、G₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２０では、演算回路２４は、８枚目の撮像画像４０１₈の中のG信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのG信号の画素を、特定画素として特定して、図３３のステップＳ３２１に進む。

ここで、ステップＳ３２０で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるG信号の値をG₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（G信号）は、G₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２１では、演算回路２４は、ステップＳ３１３乃至Ｓ３２０で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１０）で表される、式（８）の緑色の光量の重み加算式の分母と、式（９）で表される、式（８）の緑色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（８）の緑色の光量の重み加算式の分母（式（１０））として、式（２８）が演算され、式（８）の緑色の光量の重み加算式の分子（式（９））として、式（２９）が演算される。

・・・（２８）

・・・（２９）

なお、式（２８）および（２９）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（２９）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p),Y_4k(p)）に観測されるG信号の画素の画素値G_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))をかけて加算する重み付け加算を表し、式（２８）は、その重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))の総和を表す。式（２９）を式（２８）で除算することが、式（８）を演算することに相当し、その演算結果は、ステップＳ３１３乃至Ｓ３２０で得られた特定画素の画素値G_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値G_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（２８）と式（２９）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３２２以下に進む。

ステップＳ３２２乃至３３０では、R信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われ、ステップＳ３３１乃至３３９では、B信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われる。

即ち、ステップＳ３２２では、演算回路２４は、１枚目の撮像画像４０１₁の中のR信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２３に進む。

ここで、ステップＳ３２２で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるR信号の値をR₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（R信号）は、R₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２３では、演算回路２４は、２枚目の撮像画像４０１₂の中のR信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのR信号の画素を、特定画素として特定して、図３４のステップＳ３２４に進む。

ここで、ステップＳ３２３で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるR信号の値をR₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（R信号）は、R₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２４では、演算回路２４は、３枚目の撮像画像４０１₃の中のR信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２５に進む。

ここで、ステップＳ３２４で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるR信号の値をR₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（R信号）は、R₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２５では、演算回路２４は、４枚目の撮像画像４０１₄の中のR信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２６に進む。

ここで、ステップＳ３２５で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるR信号の値をR₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（R信号）は、R₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２６では、演算回路２４は、５枚目の撮像画像４０１₅の中のR信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３２７に進む。

ここで、ステップＳ３２６で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるR信号の値をR₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（R信号）は、R₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２７では、演算回路２４は、６枚目の撮像画像４０１₆の中のR信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２８に進む。

ここで、ステップＳ３２７で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるR信号の値をR₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（R信号）は、R₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２８では、演算回路２４は、７枚目の撮像画像４０１₇の中のR信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２９に進む。

ここで、ステップＳ３２８で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるR信号の値をR₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（R信号）は、R₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２９では、演算回路２４は、８枚目の撮像画像４０１₈の中のR信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３３０に進む。

ここで、ステップＳ３２９で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるR信号の値をR₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（R信号）は、R₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３０では、演算回路２４は、ステップＳ３２２乃至Ｓ３２９で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１４）で表される、式（１１）の赤色の光量の重み加算式の分母と、式（１３）で表される、式（１１）の赤色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（１１）の赤色の光量の重み加算式の分母（式（１４））として、式（３０）が演算され、式（１１）の赤色の光量の重み加算式の分子（式（１３））として、式（３１）が演算される。

・・・（３０）

・・・（３１）

なお、式（３０）および（３１）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（３１）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p)，Y_4k(p)）に観測されるR信号の画素の画素値R_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))をかけて加算する重み付け加算を表し、式（３０）は、その重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))の総和を表す。式（３１）を式（３０）で除算することが、式（１１）を演算することに相当し、その演算結果は、ステップＳ３２２乃至Ｓ３２９で得られた特定画素の画素値R_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値R_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（３０）と式（３１）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３３１に進む。

ステップＳ３３１では、演算回路２４は、１枚目の撮像画像４０１₁の中のB信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３２に進む。

ここで、ステップＳ３３１で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるB信号の値をB₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（B信号）は、B₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３２では、演算回路２４は、２枚目の撮像画像４０１₂の中のB信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのB信号の画素を、特定画素として特定して、図３７のステップＳ３３３に進む。

ここで、ステップＳ３３２で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるB信号の値をB₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（B信号）は、B₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３３では、演算回路２４は、３枚目の撮像画像４０１₃の中のB信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３４に進む。

ここで、ステップＳ３３３で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるB信号の値をB₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（B信号）は、B₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３４では、演算回路２４は、４枚目の撮像画像４０１₄の中のB信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３５に進む。

ここで、ステップＳ３３４で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるB信号の値をB₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（B信号）は、B₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３５では、演算回路２４は、５枚目の撮像画像４０１₅の中のB信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのB信号の画素を、特定画素として特定して、図３８のステップＳ３３６に進む。

ここで、ステップＳ３３５で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるB信号の値をB₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（B信号）は、B₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３６では、演算回路２４は、６枚目の撮像画像４０１₆の中のB信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３７に進む。

ここで、ステップＳ３３６で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるB信号の値をB₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（B信号）は、B₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３７では、演算回路２４は、７枚目の撮像画像４０１₇の中のB信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３８に進む。

ここで、ステップＳ３３７で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるB信号の値をB₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（B信号）は、B₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３８では、演算回路２４は、８枚目の撮像画像４０１₈の中のB信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのB信号の画素を、特定画素として特定して、図３９のステップＳ３３９に進む。

ここで、ステップＳ３３８で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるB信号の値をB₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（B信号）は、B₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３９では、演算回路２４は、ステップＳ３３１乃至Ｓ３３８で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１６）で表される、式（１２）の青色の光量の重み加算式の分母と、式（１５）で表される、式（１２）の青色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（１２）の青色の光量の重み加算式の分母（式（１６））として、式（３２）が演算され、式（１２）の青色の光量の重み加算式の分子（式（１５））として、式（３３）が演算される。

・・・（３２）

・・・（３３）

なお、式（３２）および（３３）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（３３）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p)，Y_4k(p)）に観測されるB信号の画素の画素値B_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))をかけて加算する重み付け加算を表し、式（３２）は、その重みCubic(X₀-X_4k(p))×Cubic(Y₀-Y_4k(p))の総和を表す。式（３３）を式（３２）で除算することが、式（１２）を演算することに相当し、その演算結果は、ステップＳ３３１乃至Ｓ３３８で得られた特定画素の画素値B_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値B_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（３２）と式（３３）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３４０に進む。

ステップＳ３４０では、演算回路２４は、変数iが、横方向の画素数Wと等しいか否かを判定する。ステップＳ３４０で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４１に進み、演算回路２４は、変数iを１だけインクリメントして、図３０のステップＳ３１３に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４０で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４２に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３４２で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４３に進み、演算回路２４は、変数jを１だけインクリメントして、図３０のステップＳ３１２に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４２で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４４に進み、演算回路２４は、図３０のステップＳ３１１における場合と同様に、変数jに１をセットして、ステップＳ３４５に進む。ステップＳ３４５では、演算回路２４は、図３０のステップＳ３１２における場合と同様に、変数iに１をセットして、図４０のステップＳ３４６に進む。

ステップＳ３４６では、演算回路２４は、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める演算処理を行って、ステップＳ３４７に進む。即ち、ステップＳ３４６では、後述するように、図３３のステップＳ３２１で求められた緑色の光量の重み加算式の分母である式（２８）の値（演算結果）と、その分子である式（２９）の値とを用いて、式（８）の緑色の光量の重み加算式に相当する式（３４）の演算（通常処理）、または、式（１７）に相当する式（３５）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のG信号の画素値が求められる（推定される）。

・・・（３４）

・・・（３５）

ステップＳ３４７では、演算回路２４は、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める演算処理を行って、ステップＳ３４８に進む。即ち、ステップＳ３４７では、後述するように、図３６のステップＳ３３０で求められた赤色の光量の重み加算式の分母である式（３０）の値（演算結果）と、その分子である式（３１）の値とを用いて、式（１１）の赤色の光量の重み加算式に相当する式（３６）の演算（通常処理）、または、式（１８）に相当する式（３７）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のR信号の画素値が求められる。

・・・（３６）

・・・（３７）

ステップＳ３４８では、演算回路２４は、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める演算処理を行って、ステップＳ３４９に進む。即ち、ステップＳ３４８では、後述するように、図３９のステップＳ３３９で求められた青色の光量の重み加算式の分母である式（３２）の値（演算結果）と、その分子である式（３３）の値とを用いて、式（１２）の青色の光量の重み加算式に相当する式（３８）の演算（通常処理）、または、式（１９）に相当する式（３９）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のB信号の画素値が求められる。

・・・（３８）

・・・（３９）

ステップＳ３４９では、演算回路２４が、変数iが横方向の画素数Wと等しいか否かを判定する。ステップＳ３４９で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５０に進み、演算回路２４は、変数iを１だけインクリメントして、ステップＳ３４６に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４９で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われた場合、ステップＳ３５１に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３５１で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５２に進み、演算回路２４は、変数jを１だけインクリメントして、図３９のステップＳ３４５に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３５１で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われ、W×H画素の出力画像のすべての画素につき、B信号、R信号、およびB信号の画素値が求められた場合、ステップＳ３５３に進み、演算回路２４は、その出力画像の画像信号を、D/Aコンバータ９またはコーデック１２（図１）に供給して、処理を戻る。

次に、図４１のフローチャートを参照して、図４０のステップＳ３４６における、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４０１において、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（２８）の値の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（２８）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４０２に進み、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分子である式（２９）の値を、その分母である式（２８）の値で除算する式（３４）の演算を行うことにより、画素（i，j）のG信号の画素値を求める通常処理を行う。

一方、ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（２８）の値の絶対値が０、または０に近く、式（２９）の値を式（２８）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（２９）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（２８）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４０３に進み、演算回路２４は、式（１７）に相当する式（３５）の演算を行うことにより、画素（i，j）のG信号の画素値を求める例外処理を行う。

即ち、ステップＳ４０３では、式（３５）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j），（i＋１，j），（i，j−１）、および（i，j＋１）との５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分子である式（２９）の値の総和を、その５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分母である式（２８）の値の総和で除算することにより、画素（i，j）のG信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j），（i＋１，j），（i，j−１），（i，j＋１）それぞれにおける式（２８）の値の総和は、図１６および図１７で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のG信号の画素値を求めることができる。

次に、図４２のフローチャートを参照して、図４０のステップＳ３４７における、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４１１において、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３０）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４１２に進み、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分子である式（３１）の値を、その分母である式（３０）の値で除算する式（３６）の演算を行うことにより、画素（i，j）のR信号の画素値を求める通常処理を行う。

一方、ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３０）の値の絶対値が０、または０に近く、式（３１）の値を式（３０）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３１）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３０）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４１３に進み、演算回路２４は、式（１８）に相当する式（３７）の演算を行うことにより、画素（i，j）のR信号の画素値を求める例外処理を行う。

即ち、ステップＳ４１３では、式（３７）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分子である式（３１）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分母である式（３０）の値の総和で除算することにより、画素（i，j）のR信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３０）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のR信号の画素値を求めることができる。

次に、図４３のフローチャートを参照して、図４０のステップＳ３４８における、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４２１において、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３２）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３２）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４２２に進み、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分子である式（３３）の値を、その分母である式（３２）の値で除算する式（３８）の演算を行うことにより、画素（i，j）のB信号の画素値を求める通常処理を行う。

一方、ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３２）の値の絶対値が０、または０に近く、式（３３）の値を式（３２）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３３）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３２）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４２３に進み、演算回路２４は、式（１９）に相当する式（３９）の演算を行うことにより、画素（i，j）のB信号の画素値を求める例外処理を行う。

即ち、ステップＳ４２３では、 式（３９）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分子である式（３３）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分母である式（３２）の値の総和で除算することにより、画素（i，j）のB信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３２）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のB信号の画素値を求めることができる。

以上のように、図２８のステップＳ３０４における画像生成処理では、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像、即ち、N枚の撮像画像を位置合わせした場合に、そのN枚の撮像画像のすべての枚数目の撮像画像の画素が存在する高画質エリア４２２（図２９）内の画像が、出力画像として生成される。

従って、出力画像の各画素の画素値の推定するための式（３４）乃至式（３９）の演算において用いられる撮像画像のデータの数（画素の数）、つまり、式（２８）乃至式（３３）におけるサメーションにおけるN₁，N₂，N₃，N₄，N₅，N₆，N₇，N₈は十分多くなるので、図２５乃至図２７で説明したように、出力画像を生成するのに用いることができるデータが少ないことにより、出力画像において、画質の鮮明さが劣化した部分が生じることを防止すること、即ち、すべての画素についてノイズがない（ノイズが極めて低減された）出力画像を得ることができる。

さらに、出力画像の画素ピッチを、撮像画像、即ち、上述の場合には、撮像素子４（図１）の画素ピッチよりも小さくするようにしたので、具体的には、基準画像に対する高画質エリア４２２（図２９）の相似比αに等しい割合の間隔にしたので、出力画像として、撮像素子４と同一のW×H画素の画像を得ることができる。

なお、上述の場合には、撮像素子４のビニングを機能させず、これにより、撮像素子４が有するW×H画素と同一のW'×H'画素の撮像画像を出力する撮像素子を得るようにしたが、撮像素子４としては、ビニングを機能させ、撮像素子４が有するW×H画素よりも少ないW'×H'画素の撮像画像を得て、画像生成処理を行うようにすることもできる。

ここで、ビニングの方法としては、撮像素子４において、光を受光するセンサの内部で、画素値の加算を行う方法や、センサから出力された画素値としてのディジタルデータをディジタル加算器で加算する方法がある。

撮像素子４のビニングを機能させた場合、複数の画素の画素値が加算され、その加算値が、１画素の画素値として出力されるので、その画素値により構成される撮像画像の画素数は、撮像素子４が有する画素数より少なく、その画素数の数分の１の画素数となる。より具体的には、撮像素子４が、例えば、隣接する２×２画素の画素値を加算して出力する２×２ビニングを行う場合は、撮像画像の画素数は、（W／２）×（H／２）画素となる。また、撮像素子４が、例えば、隣接する３×３画素の画素値を加算して出力する３×３ビニングを行う場合は、撮像画像の画素数は、（W／３）×（H／３）画素となる。

なお、撮像素子４で行うビニングは、その他の画素数の画素値の加算を行うものであっても良い。また、撮像素子４の画素はベイヤー配列になっているが、この場合、撮像素子４においてビニングを行わないときは勿論、ビニングを行うときであっても、画素がベイヤー配列になっている撮像画像が出力される。

撮像素子４のビニングを機能させる場合には、撮像素子４において、画素値の加算が行われることにより、感度アップが図られ、その結果、撮像素子４が出力する画素値（加算画素値）は、ノイズの少ないデータとなるので、例えば、薄暗がりの風景の撮影に効果的である。

ところで、手ぶれ補正モードにおいて、撮像素子４のビニングを機能させ、撮像素子４において、例えば、隣接する２×２画素の画素値を加算して出力する２×２ビニングを行う場合、信号処理回路７（の演算回路２４（図４））に供給される撮像画像の画素数W'×H'は、（W／２）×（H／２）画素となる。

この場合、出力画像として、撮像素子４が有する画素数W×H画素（＝2W'×2H'画素）と同一の画素数の画像を得るためには、図２９で説明したα，β，γを、次のように設定すれば良い。

即ち、例えば、上述したように、１回の撮影によって、８枚の撮像画像が得られ、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。

この場合、４枚目画像４０１₄である基準画像（図２９）に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１₈で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W／２画素で、縦方向が0.08×H／２画素である。

従って、４枚目画像４０１₄である基準画像において、その上下から0.08×H／２画素だけ内側で、かつ、その左右から0.08×W／２画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。

この場合、高画質エリア４２２は、基準座標系において、その左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が、基準画像の横W／２よりも0.08×W／２×２だけ短く、かつ、縦が基準画像の縦H／２よりも0.08×H／２×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が(1-0.16)×W／２で、縦が、(1-0.16)×H／２の矩形になる。但し、（W／２）×（H／２）画素で構成される撮像画像の画素ピッチを１とする。

一方、高画質エリア４２２は、図２９で説明したように、W×H画素の出力画像を基準とすると、左上の点が座標（β，γ）の、αW×αHの矩形の領域である。

以上から、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2となる。

図２８のステップＳ３０４の画像生成処理において、上述のように、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2を設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値を、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）することで、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像であって、全体が鮮明な出力画像を得ることができる。

以上のように、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像を得ることができる。さらに、この場合、図２８のステップＳ３０１乃至Ｓ３０３で扱う撮像画像の画素数は（W／２）×（H／２）画素であるので、撮像素子４がビニングを行わない場合に比較して、処理量を低減することができる。

次に、図１のディジタルカメラ１は、上述したように、撮影モードとして、手ぶれ補正モードと通常撮影モードとを有し、手ぶれ補正モードでは、図２や図２８の撮影処理、即ち、複数枚であるＮ枚の撮像画像を連続撮像し、そのＮ枚の撮像画像から１枚の出力画像を生成する撮影処理が行われる。一方、通常撮影モードでは、１枚の撮像画像を撮像し、その撮像画像を１枚の出力画像として出力（生成）する撮影処理が行われる。

図１のディジタルカメラ１は、撮影モードを決定して撮影を行うのであるが、以下においては、この撮影モードを決定する撮像モードの決定処理を含めたディジタルカメラ１の処理について説明する。

なお、以下では、図１のディジタルカメラ１が、第１撮影処理、第２撮影処理、第３撮影処理、および第４撮影処理の４種類の撮影処理を行うことが可能であるとする。第１撮影処理は、撮影モードが通常撮影モードである場合に行われる撮影処理である。第２乃至第４撮影処理は、撮影モードが手ぶれ補正モードである場合に行われる撮影処理であり、基本的には、図２や図２８で説明した撮影処理である。但し、第２撮影処理は、撮像素子４のビニングを機能させずに行われる。また、第３撮影処理は、撮像素子４の２×２ビニングを機能させて行われ、第４撮影処理は、撮像素子４の３×３ビニングを機能させて行われる。

ここで、第１撮影処理では、１枚の撮像画像が撮像されるが、第２乃至第４撮影処理では、複数枚の撮像画像が撮像される。そこで、第２撮影処理において高速で連続して撮像される撮像画像の枚数をＮ_a枚と、第３撮影処理において高速で連続して撮像される撮像画像の枚数をＮ_b枚と、第４撮影処理において高速で連続して撮像される撮像画像の枚数をＮ_c枚と、それぞれする。

以下で説明する、撮影モードの決定処理では、上記の第１乃至第４撮影処理の、どの撮影処理で撮影を行うかが決定される。さらに、撮影モードの決定処理では、第２撮影処理で撮影を行うと決定した場合には、その第２撮影処理において連続して撮像される撮像画像の撮像枚数Ｎ_aも決定され、第３撮影処理で撮影を行うと決定した場合には、その第３撮影処理において連続して撮像される撮像画像の撮像枚数Ｎ_bも決定される。また、第４撮影処理で撮影を行うと決定した場合には、その第４撮影処理において連続して撮像される撮像画像の撮像枚数Ｎ_cも決定される。

なお、撮影モードの決定処理は、図１のディジタルカメラ１の制御回路１８が行う。

また、制御回路１８には、撮影モードの決定処理を実行する前に、撮影を行おうとしている状態での焦点距離の情報、および露出補正値（補正なし、１段アンダ、２段アンダ、３段アンダ、１段オーバ、２段オーバ、３段オーバなど）が供給されているものとする。

次に、図４４のフローチャートを参照して、撮影モードの決定処理を含めた図１のディジタルカメラ１の処理について説明する。

初めに、ステップＳ５０１において、制御回路１８は、入力デバイス１６のレリーズボタン（シャッタボタン）の状態が半押しの状態であるか否かを判定する判定処理を行う。ステップＳ５０１において、レリーズボタンの状態が半押しの状態でないと判定された場合、ステップＳ５０１に戻り、レリーズボタンの状態が半押しの状態と判定されるまでステップＳ５０１を繰り返す。そして、ステップＳ５０１において、レリーズボタンの状態が半押しの状態と判定されると、ステップＳ５０２に進む。

ステップＳ５０２において、制御回路１８は、絞りの値Ｆおよび適正露出時間Ｔ_pを決定し、さらに、実際に１枚の撮像画像を撮像するとした場合の露出時間Ｔ_aを決定する決定処理を行う。即ち、露出計１９によって計測された被写体の明るさの計測値、および入力デバイス１６の露出補正ダイアルによる露出補正値が制御回路１８に供給されており、ステップＳ５０２では、制御回路１８は、まず、露出計１９による被写体の明るさの計測値を用いて、一般的な自動露出制御における場合と同様にして、絞りの値Ｆを決定する。この絞りの値Ｆと、被写体の明るさの計測値とを用いて、制御回路１８は、露出補正を機能させずに適正露出で撮影するとした場合の露出時間である適正露出時間Ｔ_pを決定する。この適正露出時間Ｔ_pと、露出補正ダイアルによる露出補正値とを用いて、制御回路１８は、実際の露出時間Ｔ_aを決定する。

即ち、例えば、入力デバイス１６による露出補正値が１段アンダを表している場合、Ｔ_a＝Ｔ_p／２に決定され、例えば、入力デバイス１６による露出補正値が２段アンダを表している場合、Ｔ_a＝Ｔ_p／４に決定される。また、例えば、入力デバイス１６による露出補正値が１段オーバを表している場合、Ｔ_a＝Ｔ_p×２に決定され、例えば、入力デバイス１６による露出補正値が２段オーバを表している場合、Ｔ_a＝Ｔ_p×４に決定される。ここで、露出時間Ｔ_aの逆数（１／Ｔ_a）は、シャッタ速度を表す。なお、このような、絞りの値Ｆ、適正露出時間Ｔ_p、および露出時間Ｔ_aを決定する方法は、通常のディジタルカメラにおける絞り優先時での露出決定方法と同様であり、既知の技術であるので、詳細な説明は省略する。ステップＳ５０２での処理が行われた後、ステップＳ５０３に進む。

ステップＳ５０３において、制御回路１８は、入力デバイス１６のレリーズボタンの状態が半押しの状態のままであるか否かを判定する判定処理を行う。ステップＳ５０３において、ステップＳ５０１で半押しの状態と判定されたレリーズボタンの状態が半押しの状態のままであると判定された場合、現在の状態を維持するために、レリーズボタンの状態が半押しの状態でないと判定されるまでステップＳ５０３を繰り返す。そして、ステップＳ５０３において、レリーズボタンの状態が半押しの状態でないと判定された場合、ステップＳ５０４に進み、制御回路１８は、レリーズボタンの状態が全押しの状態（完全に押された状態）となったか否かを判定する判定処理を行う。ステップＳ５０４において、レリーズボタンの状態が全押しの状態でないと判定された場合、即ち、レリーズボタンが開放されている場合、最初のステップであるステップＳ５０１に戻る。つまり、撮影者がレリーズボタンから指を離し、その結果、レリーズボタンの状態が、全押しでも半押しでもない状態になった場合は、ステップＳ５０１に戻って、同様の処理を繰り返す。

一方、ステップＳ５０４において、レリーズボタンの状態が、全押しの状態になったと判定された場合、ステップＳ５０５に進み、制御回路１８は、適正露出時間Ｔ_pを決定する決定処理を行う。即ち、制御回路１８は、露出計１９から直前に供給された被写体の明るさの計測値と、ステップＳ５０２で決定された絞りの値Ｆとを用い、ステップＳ５０２における場合と同様にして適正露出時間Ｔ_pを再度決定する。ここで再度、適正露出時間Ｔ_pが決定されるのは、実際に撮影を行うタイミングに近いタイミングの適正露出時間Ｔ_pを得ていた方が、より適切な画像を得ることができるからである。なお、１／Ｔ_pが、適正露出でのシャッタ速度である。

ステップＳ５０５の後は、ステップＳ５０６に進み、制御回路１８は、ステップＳ５０２で決定された露出時間Ｔ_aとステップＳ５０５で決定された適正露出時間Ｔ_pとを用いて、第１乃至第４撮影処理のうちのいずれの撮影処理により撮影を行うかを決定する、撮影モードの決定処理を行う。つまり、第１撮影処理で撮影を行うか、第２撮影処理で撮影を行うか、第３撮影処理で撮影を行うか、または、第４撮影処理で撮影を行うかの決定が行われる。撮影モードの決定処理の詳細は後述するが、この撮影モードの決定処理により、手ぶれが（ほとんど）ない鮮明な画像（出力画像）を生成することができる撮影処理が決定される。

また、ステップＳ５０６では、第２撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎ_aも決定し、第３撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎ_bも決定する。また、ステップＳ５０６では、第４撮影処理で撮影を行うと決定された場合には、制御回路１８は、撮像枚数Ｎ_cも決定する。ステップＳ５０６での処理が行われた後、ステップＳ５０７に進む。

ステップＳ５０７において、ディジタルカメラ１は、ステップＳ５０６で決定された撮影処理を行う。

即ち、ステップＳ５０６において、第１撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔ_aでの１枚の撮像画像の撮像が行われ、その撮像画像が出力画像とされる（第１撮影処理）。

また、ステップＳ５０６において、第２撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_aでの１枚あたりの撮像画像の撮像を行うＮ_a枚の撮像画像の高速撮像が、撮像素子４のビニングを機能させずに行われる。そして、そのＮ_a枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第２撮影処理）。

さらに、ステップＳ５０６において、第３撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_bでの１枚あたりの撮像画像の撮像を行うＮ_b枚の撮像画像の高速撮像が、撮像素子４の２×２ビニングを機能させて行われる。そして、そのＮ_b枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第３撮影処理）。

また、ステップＳ５０６において、第４撮影処理を行うことが決定された場合には、ステップＳ５０２で決定された絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_cでの１枚あたりの撮像画像の撮像を行うＮ_c枚の撮像画像の高速撮像が、撮像素子４の３×３ビニングを機能させて行われる。そして、そのＮ_c枚の撮像画像を用いた画像生成処理が行われ、１枚の出力画像が生成される（第４撮影処理）。

なお、第１撮影処理では勿論、第２乃至第４撮影処理でも、出力画像としては、上述したようにして、撮像素子４の画素数（Ｗ×Ｈ）と同一の画素数が得られる。

ステップＳ５０７での撮影処理が終了すると、ステップＳ５０８に進み、制御回路１８は、入力デバイス１６のレリーズボタンの状態が半押しまたは全押しのいずれかの状態であるか否かを判定する判定処理を行う。ステップＳ５０８において、レリーズボタンの状態が半押しの状態である、または全押しの状態であると判定された場合、レリーズボタンの状態が半押しおよび全押しのいずれの状態でもでないと判定されるまでステップＳ５０８を繰り返す。そして、ステップＳ５０８において、レリーズボタンの状態が半押しおよび全押しのいずれの状態でもない場合、つまり、撮影者がレリーズボタンから指を離してレリーズボタンが開放されている場合、次の撮影に備えて、最初のステップであるステップＳ５０１に戻る。

上述したステップＳ５０１乃至Ｓ５０８の処理は、ディジタルカメラ１の電源が入っていることが前提であり、電源が切られたときには、これらの処理は中断される。また、露出補正ダイアルの操作は、レリーズボタンが開放されているときに有効であり、ステップＳ５０２での露出時間Ｔ_aの決定には、例えば、その直前のステップＳ５０１でレリーズボタンが半押しされたと判定されたときの露出補正ダイアルによる露出補正値が用いられる。

次に、図４４のステップＳ５０６で行われる撮影モードの決定処理について説明するが、その前に、第１乃至第４撮影処理について、さらに説明する。

第１撮影処理では、撮像素子４が、絞りの値Ｆおよび露出時間Ｔ_a秒で１枚の撮像画像を撮像して、画像処理回路１７に供給し、画像処理回路１７が、その１枚の撮像画像から１枚の出力画像を生成する（撮影画像を出力画像とする）。即ち、第１撮影処理では、撮像素子４は、ビニングを機能させず（画素加算を行わず）に撮像画像を撮像し、撮像素子４の画素数と同一の画素数の撮像画像を画像処理回路１７に供給する。そして、画像処理回路１７は、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第１撮影処理の制御は、制御回路１８が行う。また、１枚の撮像画像から１枚の出力画像を生成する第１撮影処理は、通常のディジタルカメラで行われている撮影処理と同様の処理である。

第２撮影処理では、撮像素子４が、絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_a秒で複数枚であるＮ_a枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎ_a枚の撮像画像から、１枚の出力画像を生成する。

即ち、第２の撮影処理では、撮像素子４は、ビニングを機能させず（画素加算を行わず）に撮像画像を撮像し、撮像素子４の画素数と同一の画素数の撮像画像を、画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮ_a枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第２撮影処理では、Ｔ_a／Ｎ_a秒の露出時間で連続してＮ_a枚の撮像画像を撮像するので、Ｎ_a枚の撮像画像すべてに亘る露出時間は、（Ｔ_a／Ｎ_a）×Ｎ_a（＝Ｔ_a）秒となる。また、第２撮影処理の制御は、制御回路１８が行う。

第３撮影処理では、撮像素子４が、２×２ビニングを機能させて、絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_b秒で複数枚であるＮ_b枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎ_b枚の撮像画像から、１枚の出力画像を生成する。

即ち、第３撮影処理では、撮像素子４は、２×２ビニングを行って撮像画像を撮像し、撮像素子４の画素数の４分の１の画素数の撮像画像を画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮ_b枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第３撮影処理では、Ｔ_a／Ｎ_b秒の露出時間で連続してＮ_b枚の撮像画像を撮像するので、Ｎ_b枚の撮像画像すべてに亘る露出時間は、（Ｔ_a／Ｎ_b）×Ｎ_b（＝Ｔ_a）秒となる。また、第３撮影処理の制御は、制御回路１８が行う。

第４撮影処理では、撮像素子４が、３×３ビニングを機能させて、絞りの値Ｆおよび露出時間Ｔ_a／Ｎ_c秒で複数枚であるＮ_c枚の撮像画像のそれぞれを連続撮像して画像処理回路１７に供給し、画像処理回路１７が、上述の画像生成処理を行うことにより、Ｎ_c枚の撮像画像から、１枚の出力画像を生成する。

即ち、第４撮影処理では、撮像素子４は、３×３ビニングを行って撮像画像を撮像し、撮像素子４の画素数の９分の１の画素数の撮像画像を画像処理回路１７に供給する。画像処理回路１７は、撮像素子４から供給されたＮ_c枚の撮像画像の位置合わせをして、重み付けして加算をする上述の画像生成処理を行い、鮮明で、撮像素子４の画素数と同一の画素数の出力画像を生成する。なお、第４撮影処理では、Ｔ_a／Ｎ_c秒の露出時間で連続してＮ_c枚の撮像画像を撮像するので、Ｎ_c枚の撮像画像すべてに亘る露出時間は、（Ｔ_a／Ｎ_c）×Ｎ_c（＝Ｔ_a）秒となる。また、第４撮影処理の制御は、制御回路１８が行う。

次に、図４５のフローチャートを参照して、図４４のステップＳ５０６で行われる撮影モードの決定処理について説明する。なお、レンズ２の焦点距離の情報（ズームレンズを使用している場合には、撮影を行おうとしている状態における焦点距離の情報）、暗さの限界値１／Ｍ_max、撮像素子４の連続撮像間隔の限界値ｔ₀は、制御回路１８が認識しているものとする。

初めに、ステップＳ５２１において、制御回路１８は、第１撮影処理で撮影を行うと仮定した際に、その第１撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第１判定の処理を行って、ステップＳ５２２に進む。第１判定の処理（図４６）についての詳細は後述する。

ステップＳ５２２において、制御回路１８は、ステップＳ５２１の第１判定の処理の結果を判定する。ステップＳ５２２において、第１判定の処理の結果が、第１撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２３に進み、制御回路１８は、第１撮影処理を行うことを決定して、処理を戻る。

また、ステップＳ５２２において、第１判定の処理の結果が、第１撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５２４に進み、制御回路１８は、第２撮影処理で撮影を行うと仮定した際に、その第２撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第２判定の処理を行って、ステップＳ５２５に進む。第２判定の処理（図４７）についての詳細は後述する。また、第２撮影処理で撮影を行うと判断した場合には、ステップＳ５２４の処理の中で撮像枚数Ｎ_aを決定する。

ステップＳ５２５において、制御回路１８は、ステップＳ５２４の第２判定の処理の結果を判定する。ステップＳ５２５において、第２判定の処理の結果が、第２撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２６に進み、制御回路１８は、第２撮影処理を行うことを決定して、処理を戻る。

また、ステップＳ５２５において、第２判定の処理の結果が、第２撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５２７に進み、制御回路１８は、第３撮影処理で撮影を行うと仮定した際に、その第３撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第３判定の処理を行って、ステップＳ５２８に進む。第３判定の処理（図４８）についての詳細は後述する。また、第３撮影処理で撮影を行うと判断した場合には、ステップＳ５２７の処理の中で撮像枚数Ｎ_bを決定する。

ステップＳ５２８において、制御回路１８は、ステップＳ５２７の第３判定の処理の結果を判定する。ステップＳ５２８において、第３判定の処理の結果が、第３撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５２９に進み、制御回路１８は、第３撮影処理を行うことを決定して、処理を戻る。

また、ステップＳ５２８において、第３判定の処理の結果が、第３撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５３０に進み、制御回路１８は、第４撮影処理で撮影を行うと仮定した際に、その第４撮影処理によって、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第４判定の処理を行って、ステップＳ５３１に進む。第４判定の処理（図４９）についての詳細は後述する。また、第４撮影処理で撮影を行うと判断した場合には、ステップＳ５３０の処理の中で撮像枚数Ｎ_cを決定する。

ステップＳ５３１において、制御回路１８は、ステップＳ５３０の第４判定の処理の結果を判定する。ステップＳ５３１において、第４判定の処理の結果が、第４撮影処理で適切な出力画像を得ることができる旨を表していると判定された場合には、ステップＳ５３２に進み、制御回路１８は、第４撮影処理を行うことを決定して、処理を戻る。

また、ステップＳ５３１において、第４判定の処理の結果が、第４撮影処理で適切な出力画像を得ることができない旨を表していると判定された場合には、ステップＳ５３３に進み、制御回路１８は、第１撮影処理を行うことを決定して、処理を戻る。即ち、この場合は、第１乃至第４撮影処理のいずれの撮影処理でも適切な出力画像を得ることが困難であるため、手ぶれを容認し、通常のディジタルカメラでの撮影処理と同様の第１撮影処理で撮影を行うことを決定する。なお、ステップＳ５３３において、第１撮影処理を行うことが決定された場合には、モニタ１１などに「手ぶれの起きる危険性がある」ことを警告するメッセージを表示してもよい。

また、図４５では、第１乃至第４撮影処理によって適切な出力画像を得ることができるかどうかを、その順番で判定するようにしたが、これは、基本的には、第１乃至第４撮影処理の順で、画質の良い出力画像が得られるからである。即ち、手ぶれ補正モードよりも通常撮影モードの方が画質の良い出力画像が得られ、手ぶれ補正モードでも、ビニングを機能させるよりは、機能させない方が画質の良い出力画像が得られる。また、ビニングを機能させる場合でも、加算する画素が少ない方が画質の良い出力画像が得られる。

なお、入力デバイス１６には、手ぶれ補正モードでの撮影処理（第２乃至第４撮影処理）を行うことを強制的に排除するボタンを設けることができる。そして、このボタンが押されたときには、図４４のステップＳ５０６では、図４５のフローチャートに従った処理は行われず、その代わりに、強制的に、第１撮影処理を行うことが決定される。

また、入力デバイス１６には、第３および第４撮影処理を行うことを強制的に排除し、第１または第２撮影処理のうちのいずれかを行う、つまり、ビニングを強制的に機能させないようにするボタンを設けることができる。

即ち、ビニングを機能させると、撮像素子４から出力される撮像画像は、撮像素子４の画素数より少ない画素数の撮像画像となるので、この撮像画像より生成される出力画像は、ビニングを機能させない場合に得られる出力画像に比較して、多少鮮明さがなくなることがある。従って、強制的に第３および第４撮影処理を排除するか否かを撮影者が選択することができるようにすることにより、ディジタルカメラ１の利便性を向上させることができる。なお、第３および第４撮影処理を排除するボタンが押されたときには、図４５の撮影モードの決定処理において、ステップＳ５２５からステップＳ５２７に進む代わりにステップＳ５３３に進むようにすればよい。

次に、図４５のステップＳ５２１，Ｓ５２４，Ｓ５２７，およびＳ５３０では、第１乃至第４撮影処理で、適切な出力画像を得ることができる条件に基づき、適切な出力画像を得ることができるか否かを判定する第１乃至第４判定の処理がそれぞれ行われるが、この適切な画像を得ることができる条件について説明する。

適切な出力画像であるというには、まず、出力画像に手ぶれによるボケが生じていないことが必要である。

出力画像に手ぶれによるボケが生じないようにするためには、第１撮影処理については、その第１撮影処理で撮像される１枚の撮像画像に、手ぶれによるボケが生じていないようにする必要がある。また、第２乃至第４撮影処理については、その撮影処理で高速撮像されるＮ枚の撮像画像のそれぞれに、手ぶれによるボケが生じていないようにする必要がある。

つまり、仮に、撮像画像のいずれかに手ぶれによるボケがある場合、その撮像画像を使用して出力画像を生成しても、その出力画像には、手ぶれによるボケが生じる。従って、第１乃至第４撮影処理のいずれの撮影処理が行われる場合においても、撮像素子４によって撮像される撮像画像は、手ぶれによるボケのある画像であってはならない。

撮像素子４によって撮像される撮像画像（１枚の撮像画像）に、手ぶれによるボケが生じないようにするためには、１枚の撮像画像を撮像する露出時間が、手ぶれによりディジタルカメラ１がある移動量だけ移動するのに要する時間に比較して小さければ良い。

一般に、手持ち撮影では、３５ｍｍカメラ換算において、「１／焦点距離（単位：ｍｍ）」よりも短い露出時間（単位：秒）であれば、その露出時間で撮像される１枚の撮像画像に、手ぶれによるボケが発生しないと言われている。従って、例えば、３５ｍｍカメラ換算におけるレンズの焦点距離が３０ｍｍの場合、１／３０秒以下の露出時間で１枚の撮像画像を撮像すれば、その撮像画像には、手ぶれによるボケが発生しない。

そこで、ディジタルカメラ１のレンズ２の焦点距離を３５ｍｍカメラ換算におけるレンズの焦点距離に変換して、その逆数（１／焦点距離）を、手ぶれの発生しない限界の露出時間としての閾値Ｔ_blurと表すこととすると、１枚の撮像画像の露出時間が、閾値Ｔ_blur以下であれば、その撮像画像に、手ぶれによるボケは生じない。従って、その撮像画像から生成される出力画像にも、手ぶれによるボケは生じないから、適切な出力画像を得ることができる。ここで、以下、適宜、１枚の撮像画像の露出時間が閾値Ｔ_blur以下であるという条件を、適切な出力画像を得るための第１条件という。

このように閾値Ｔ_blurを、３５ｍｍカメラ換算におけるレンズの焦点距離の逆数に設定することで、実際に撮影を行い、実際に手ぶれが発生しているか否か（あるいは、手ぶれが許容範囲か否か）を確認しなくても、手ぶれのない画像を得られるか否かを判定することができる。つまり、このように設定された閾値Ｔ_blurを用いて、閾値Ｔ_blurよりも長い露出時間（遅いシャッタ速度）で１枚の撮像画像の撮像を行うと、撮像画像は手ぶれによるボケのある画像となると判定することができ、閾値Ｔ_blur以下の露出時間（早いシャッタ速度）で１枚の撮像画像の撮像を行うと、撮像画像は手ぶれによるボケのない画像となると判定することができる。

なお、手ぶれの程度には、個人差があるので、入力デバイス１６の一つとして、閾値Ｔ_blurの値を変更することができるボタンを設け、撮影者が、そのボタンを操作した場合には、その操作に応じて閾値Ｔ_blurを変更することができるようにしてもよい。また、前述したように、入力デバイス１６から制御回路１８には、入力デバイス１６のズームボタンの操作により設定される焦点距離の情報が供給されるようになっており、制御回路１８は、この焦点距離の情報を用いて焦点距離の３５ｍｍカメラ換算や、閾値Ｔ_blurを求めるための逆数の計算などを行う。

次に、手ぶれ補正モード（第２乃至第４撮影処理）において連続撮像される撮像画像が極端に暗すぎ、その撮像画像上の被写体がノイズに埋もれてしまっている場合、その撮像画像を使用して画像生成処理を行って出力画像を生成しても、暗く、ノイズに埋もれた出力画像が生成されてしまい、適切な出力画像（手ぶれによるボケがない鮮明な画像）を得ることができない。

従って、適切な出力画像を得るためには、連続撮像によって得られる複数の撮像画像のそれぞれは、被写体がノイズに埋もれてしまうほど極端に暗すぎてはならない。

そこで、上述したように、適正露出時間Ｔ_pでの１枚の撮像画像の撮像によって得られる、その撮像画像の明るさの１／Ｍ_maxを、撮像画像上の被写体がノイズに埋もれてしまうほど極端に暗くならない暗さの限界値とすると、１枚の撮像画像の露出時間が、適正露出時間Ｔ_pの１／Ｍ_max以上であれば、その露出時間によって撮像される撮像画像は、被写体がノイズに埋もれてしまうほど極端に暗くなることはない。

以上のように、１枚の撮像画像の露出時間が、適正露出時間Ｔ_pと暗さの限界値１／Ｍ_maxとに基づく値（適正露出時間Ｔ_pに基づく値）Ｔ_p／Ｍ_max以上であれば、撮像画像上の被写体がノイズに埋もれてしまうほど暗くなることはなく、その撮像画像から、適切な出力画像を得ることができる。ここで、以下、適宜、１枚の撮像画像の露出時間が、適正露出時間に基づく閾値Ｔ_p／Ｍ_max以上であるという条件を、適切な出力画像を得るための第２条件という。

次に、撮像素子４が１枚の撮像画像の出力の開始から終了までに要する最小の時間、つまり、撮像素子４での最速の連続撮像時の撮像間隔を、出力最小時間ということとすると、手ぶれ補正モード（第２乃至第４撮影処理）において連続撮像される各撮像画像の露出時間（１枚の撮像画像の露出時間）が、出力最小時間よりも短い場合には、複数枚の撮像画像の高速撮像において、ある撮像画像の撮像のための露光の終了後から次の撮像画像の撮像のための露光の開始までに、撮像（露光）が行われていない期間（以下、適宜、ブランキング期間という）が生じる。

ブランキング期間が出力画像に与える影響の詳細は、後述するが、簡単に説明すると、ブランキング期間が生じた場合には、被写体が動いていると、ブランキング期間における被写体の動きが出力画像に反映されず、その結果、被写体の動きが不連続になった、不自然な出力画像が生成され、適切な出力画像（手ぶれによるボケがない鮮明な画像）を得ることができない。

従って、適切な出力画像を得るためには、高速撮像時における１枚の撮像画像の露出時間が、出力最小時間以上でなければならず、この、１枚の撮像画像の露出時間が、閾値としての出力最小時間以上であるという条件を、以下、適宜、適切な出力画像を得るための第３条件という。

なお、撮像素子４のビニングを機能させない場合、出力最小時間は、撮像素子４の連続撮像間隔の限界値ｔ₀に等しい。また、撮像素子４において、２×２ビニングを行う場合、出力最小時間はｔ₀／４となり、撮像素子４において、３×３ビニングを行う場合、出力最小時間はｔ₀／９となる。

次に、図４６のフローチャートを参照して、図４５のステップＳ５２１における、第１撮影処理で適切な出力画像を得ることができるか否かを判定する第１判定の処理について説明する。なお、第１判定の処理は、制御回路１８が行う。

初めに、ステップＳ５４１において、制御回路１８は、第１条件が満たされているか否か、即ち、露出時間Ｔ_aが閾値Ｔ_blur以下であるか否か判定する。ここで、露出時間Ｔ_aは、既に、図４４のステップＳ５０２で決定されている。また、閾値Ｔ_blurは、上述したようにして、制御回路１８が焦点距離の情報から求める。

ステップＳ５４１において、露出時間Ｔ_aが、閾値Ｔ_blur以下であると判定された場合には、ステップＳ５４２に進み、制御回路１８は、第１撮影処理で適切な出力画像を得ることができるという第１判定の処理の結果を得て、処理を戻る。

また、ステップＳ５４１において、露出時間Ｔ_aが、閾値Ｔ_blurを越えると判定された場合には、ステップＳ５４３に進み、制御回路１８は、第１撮影処理で適切な出力画像を得ることができないという第１判定の処理の結果を得て、処理を戻る。

ここで、露出時間Ｔ_aが閾値Ｔ_blur以下である場合には、露出時間Ｔ_a秒での撮像によって得られる撮像画像は、手ぶれによるボケのない画像となり、その撮像画像から、鮮明な出力画像を得ることができる。逆に、露出時間Ｔ_aが閾値Ｔ_blurを越える場合には長時間露光となって、手ぶれによるボケのある撮像画像が得られ、その撮像画像から得られる出力画像は鮮明にならない可能性が十分あることになる。

次に、図４７のフローチャートを参照して、図４５のステップＳ５２４における、ビニングを機能させないで複数枚数の撮像画像が撮像される第２撮影処理で適切な出力画像を得ることができるか否かを判定する第２判定の処理について説明する。なお、第２判定の処理は、制御回路１８が行う。

初めに、ステップＳ５５１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴ_tmpとして、適正露出時間Ｔ_pに基づく閾値Ｔ_p／Ｍ_maxと、ビニングを機能させない場合の出力最小時間である閾値（最速の連続撮像時の撮像間隔に基づく閾値）ｔ₀との２つの閾値の大きい方の値を露出時間Ｔ_tmpに設定する。なお、上述したように、閾値Ｔ_p／Ｍ_maxを求めるのに用いられる暗さの限界値１／Ｍ_maxと連続撮像間隔の限界値ｔ₀とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、閾値Ｔ_p／Ｍ_maxを求めるのに用いられる適正露出時間Ｔ_pは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。

ここで、閾値Ｔ_p／Ｍ_maxと閾値ｔ₀との２つの閾値の大きい方の値をＴ_tmpに設定するということは、１枚の撮像画像の撮像に要する露出時間Ｔ_tmpについて、上述の第２条件（Ｔ_tmpがＴ_p／Ｍ_max以上であるという条件）および第３条件（Ｔ_tmpが出力最小時間ｔ₀以上であるという条件）が同時に満たされる。即ち、いまの場合、第２条件は、式Ｔ_tmp≧Ｔ_p／Ｍ_maxで表され、第３の条件は、式Ｔ_tmp≧ｔ₀で表される。

そして、例えば、ｔ₀＜Ｔ_p／Ｍ_maxの場合、ステップＳ５５１では、Ｔ_tmp＝Ｔ_p／Ｍ_maxと設定され、露出時間Ｔ_tmpは、第２条件を表す式Ｔ_tmp≧Ｔ_p／Ｍ_maxおよび第３条件を表す式Ｔ_tmp≧ｔ₀を同時に満たす。また、例えば、Ｔ_p／Ｍ_max＜ｔ₀の場合、ステップＳ５５１では、Ｔ_tmp＝ｔ₀と設定され、露出時間Ｔ_tmpは、やはり、第２条件を表す式Ｔ_tmp≧Ｔ_p／Ｍ_maxおよび第３条件を表す式Ｔ_tmp≧ｔ₀を同時に満たす。

ステップＳ５５１での処理後、ステップＳ５５２に進み、制御回路１８は、露出時間Ｔ_tmpが閾値Ｔ_blur以下であるか否か判定する。ここで、露出時間Ｔ_tmpが、閾値Ｔ_blur以下である場合には、露出時間Ｔ_tmpについて、上述の第１条件が満たされ、露出時間Ｔ_tmpが、閾値Ｔ_blur以下でない場合には、第１条件が満たされないことになる。

なお、ここでは、露出時間Ｔ_tmpとして、ステップＳ５５１において、閾値Ｔ_p／Ｍ_maxと閾値ｔ₀とのうちの大きい方、つまり、第２および第３条件の両方を満たす最小値を設定（採用）し、ステップＳ５５２では、その露出時間Ｔ_tmpが、閾値Ｔ_blur以下であるか否か、即ち、第１条件としての式Ｔ_tmp≦Ｔ_blurを満たすか否かの判定を行っている。この場合、露出時間Ｔ_tmpについて、第１条件が満たされないということは、仮に、露出時間Ｔ_tmpとして、第１条件を満たす時間を採用すると、第２または第３条件が満たされないということになる。このことから、ステップＳ５５１において、閾値Ｔ_p／Ｍ_maxと閾値ｔ₀とのうちの大きい方を、露出時間Ｔ_tmpに設定し、さらに、ステップＳ５５２において、その露出時間Ｔ_tmpについて、第１条件が満たされるか否かの判定を行うということは、見方を変えれば、第１条件を満たす露出時間Ｔ_tmpについて、第２または第３条件が満たされるか否かの判定を行っていることになる。

ステップＳ５５２において、露出時間Ｔ_tmpが閾値Ｔ_blur以下であると判定された場合には、ステップＳ５５３に進み、制御回路１８は、実際の露出時間（通常撮影モードで撮影を行うとした場合の露出時間）Ｔ_aを、１枚の撮像画像の露出時間Ｔ_tmpで除算する式Ｔ_a／Ｔ_tmpを計算し、その計算結果を、第２撮影処理での高速撮像の撮像枚数Ｎ_aに設定する。つまり、ステップＳ５５１，Ｓ５５２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔ_tmpを使って、撮像枚数Ｎ_aが決定（Ｎ_a＝Ｔ_a／Ｔ_tmp）される。従って、第２撮影処理で高速撮像されるＮ_a枚の撮像画像のそれぞれの露出時間Ｔ_tmpは、Ｔ_a／Ｎ_aと表すことができ、この露出時間Ｔ_a／Ｎ_aは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎ_aは、露出時間Ｔ_aによって変わる値である。なお、撮像枚数Ｎ_aの計算において、小数点以下は、例えば、切り捨てられる。

ステップＳ５５３での処理が行われた後、ステップＳ５５４に進み、制御回路１８は、第２撮影処理で適切な画像を得ることができるという第２判定の処理の結果を得て、処理を戻る。

一方、ステップＳ５５２において、露出時間Ｔ_tmpが閾値Ｔ_blurを越えると判定された場合には、ステップＳ５５５に進み、制御回路１８は、第２撮影処理で適切な画像を得ることができないという第２判定の処理の結果を得て、処理を戻る。

次に、図４８のフローチャートを参照して、図４５のステップＳ５２７における、２×２ビニングを行って複数枚の撮像画像が撮像される第３撮影処理で適切な出力画像を得ることができるか否かを判定する、第３判定の処理について説明する。なお、第３判定の処理は、制御回路１８が行う。

初めに、ステップＳ５６１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴ_tmpとして、適正露出時間Ｔ_pに基づく閾値Ｔ_p／Ｍ_maxと２×２ビニングを行う場合の出力最小時間である閾値ｔ₀／４との２つの閾値の大きい方の値を露出時間Ｔ_tmpに設定する。なお、上述したように、暗さの限界値１／Ｍ_maxと連続撮像間隔の限界値ｔ₀とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、適正露出時間Ｔ_pは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。

ステップＳ５６１での処理後、ステップＳ５６２に進み、制御回路１８は、露出時間Ｔ_tmpが閾値Ｔ_blur以下であるか否か判定する。

ここで、露出時間Ｔ_tmpが、閾値Ｔ_blur以下である場合には、露出時間Ｔ_tmpについて、上述の第１条件が満たされ、露出時間Ｔ_tmpが、露出時間Ｔ_tmp以下でない場合には、第１条件が満たされないことになる。

また、ステップＳ５６１において、閾値Ｔ_p／Ｍ_maxと閾値ｔ₀／４との２つの閾値の大きい方の値をＴ_tmpに設定し、ステップＳ５６２において、その露出時間Ｔ_tmpについて、第１条件が満たされるか否かの判定を行うということは、図４７で説明した場合と同様に、第１条件を満たす露出時間Ｔ_tmpについて、第２または第３条件が満たされるか否かの判定を行っていることと、いわば等価である。

ステップＳ５６２において、露出時間Ｔ_tmpが閾値Ｔ_blur以下であると判定された場合には、ステップＳ５６３に進み、制御回路１８は、実際の露出時間Ｔ_aを、１枚の撮像画像の露出時間Ｔ_tmpで除算する式Ｔ_a／Ｔ_tmpを計算し、その計算結果を、第３撮影処理での高速撮像の撮像枚数Ｎ_bに設定する。つまり、ステップＳ５６１，Ｓ５６２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔ_tmpを使って、撮像枚数Ｎ_bが決定（Ｎ_b＝Ｔ_a／Ｔ_tmp）される。従って、第３撮影処理で高速撮像されるＮ_b枚の撮像画像のそれぞれの露出時間Ｔ_tmpは、Ｔ_a／Ｎ_bと表すことができ、この露出時間Ｔ_a／Ｎ_bは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎ_bは、露出時間Ｔ_aによって変わる値である。なお、撮像枚数Ｎ_bの計算において、小数点以下は、例えば、切り捨てられる。

ステップＳ５６３での処理が行われた後、ステップＳ５６４に進み、制御回路１８は、第３撮影処理で適切な画像を得ることができるという第３判定の処理の結果を得て、処理を戻る。

一方、ステップＳ５６２において、露出時間Ｔ_tmpが閾値Ｔ_blurを越えると判定された場合には、ステップＳ５６５に進み、制御回路１８は、第３撮影処理で適切な画像を得ることができないという第３判定の処理の結果を得て、処理を戻る。

次に、図４９のフローチャートを参照して、図４５のステップＳ５３０における、３×３ビニングを行って複数枚の撮像画像が撮像される第４撮影処理で適切な画像を得ることができるか否かを判定する、第４判定の処理について説明する。なお、第４判定の処理は、制御回路１８が行う。

初めに、ステップＳ５７１において、制御回路１８は、高速撮像時の１枚の撮像画像の露出時間をＴ_tmpとして、適正露出時間Ｔ_pに基づく閾値Ｔ_p／Ｍ_maxと３×３ビニングを行う場合の出力最小時間である閾値ｔ₀／９との２つの閾値の大きい方の値を露出時間Ｔ_tmpに設定する。なお、上述したように、暗さの限界値１／Ｍ_maxと連続撮像間隔の限界値ｔ₀とは、ディジタルカメラ１の性能により決定される値であり、制御回路１８が認識しているものとする。また、適正露出時間Ｔ_pは、図４４のステップＳ５０５で決定されており、制御回路１８が認識しているものとする。

ステップＳ５７１での処理後、ステップＳ５７２に進み、制御回路１８は、露出時間Ｔ_tmpが閾値Ｔ_blur以下であるか否か判定する。

ここで、露出時間Ｔ_tmpが、閾値Ｔ_blur以下である場合には、露出時間Ｔ_tmpについて、上述の第１条件が満たされ、露出時間Ｔ_tmpが、露出時間Ｔ_tmp以下でない場合には、第１条件が満たされないことになる。

また、ステップＳ５７１において、閾値Ｔ_p／Ｍ_maxと閾値ｔ₀／９との２つの閾値の大きい方の値をＴ_tmpに設定し、ステップＳ５７２において、その露出時間Ｔ_tmpについて、第１条件が満たされるか否かの判定を行うということは、図４７で説明した場合と同様に、第１条件を満たす露出時間Ｔ_tmpについて、第２または第３条件が満たされるか否かの判定を行っていることと、いわば等価である。

ステップＳ５７２において、露出時間Ｔ_tmpが閾値Ｔ_blur以下であると判定された場合には、ステップＳ５７３に進み、制御回路１８は、実際の露出時間Ｔ_aを、１枚の撮像画像の露出時間Ｔ_tmpで除算する式Ｔ_a／Ｔ_tmpを計算し、その計算結果を、第４撮影処理での高速撮像の撮像枚数Ｎ_cに設定する。つまり、ステップＳ５７１，S５７２の処理で、第１乃至第３条件を満たす値として求められた露出時間Ｔ_tmpを使って、撮像枚数Ｎ_cが決定（Ｎ_c＝Ｔ_a／Ｔ_tmp）される。従って、第４撮影処理で高速撮像されるＮ_c枚の撮像画像のそれぞれの露出時間Ｔ_tmpは、Ｔ_a／Ｎ_cと表すことができ、この露出時間Ｔ_a／Ｎ_cは、第１乃至第３条件を満たすことになる。この様に、撮像枚数Ｎ_cは、露出時間Ｔ_aによって変わる値である。なお、撮像枚数Ｎ_cの計算において、小数点以下は、例えば、切り捨てられる。

ステップＳ５７３での処理が行われた後、ステップＳ５７４に進み、制御回路１８は、第４撮影処理で適切な画像を得ることができるという第４判定の処理の結果を得て、処理を戻る。

一方、ステップＳ５７２において、露出時間Ｔ_tmpが閾値Ｔ_blurを越えると判定された場合には、ステップＳ５７５に進み、制御回路１８は、第４撮影処理で適切な画像を得ることができないという第４判定の処理の結果を得て、処理を戻る。

以上の図４６乃至図４９のフローチャートを参照して説明したような、制御回路１８による第１乃至第４判定の処理に基づき、適切な出力画像を得ることができる撮影処理を決定（ステップ５０６）し、その撮影処理を行うことによって、鮮明な出力画像を得ることができる。

ここで、第１乃至第３条件について、さらに、述べておく。

まず、１枚の撮像画像の露出時間Ｔ_tmp（Ｔ_a，Ｔ_a／Ｎ_a，Ｔ_a／Ｎ_b，Ｔ_a／Ｎ_c）について、第１条件、つまり式Ｔ_tmp≦Ｔ_blurが満たされることにより、高速撮像によって得られる各撮像画像は暗い（露出がアンダな）画像となるが、手ぶれのない撮像画像を得ることができ、その撮像画像から鮮明な出力画像を得ることができる。

つまり、撮像画像に手ぶれ（によるボケ）があると、その撮像画像から生成される出力画像も手ぶれのある画像となってしまうが、第１条件を満たすことで、撮像画像は手ぶれのない画像となり、その撮像画像から、鮮明な出力画像を生成することができる。

即ち、第１撮影処理を行うと仮定した際における撮像画像の露出時間Ｔ_a、第２撮影処理を行うと仮定した際におけるＮ_a枚の撮像画像の各露出時間Ｔ_a／Ｎ_a、第３撮影処理を行うと仮定した際におけるＮ_b枚の撮像画像の各露出時間Ｔ_a／Ｎ_b、または、第４撮影処理を行うと仮定した際におけるＮ_c枚の撮像画像の各露出時間Ｔ_a／Ｎ_cが、手ぶれが発生しない限界の露出時間としての閾値Ｔ_blur以下であるか否かを判定することで、手ぶれの発生しない撮像画像を撮像することのできる撮影処理を選択（決定）することができる。

また、１枚の撮像画像の露出時間Ｔ_tmp（Ｔ_a／Ｎ_a，Ｔ_a／Ｎ_b，Ｔ_a／Ｎ_c）について、第２条件、つまり式Ｔ_tmp≧Ｔ_p／Ｍ_maxが満たされることにより、高速撮像によって得られる各撮像画像は暗い（露出がアンダな）画像となるが、ノイズに埋もれるほど暗くない撮像画像を得ることができ、その撮像画像から鮮明な出力画像を得ることができる。

つまり、各撮像画像が極端に暗すぎると、各撮像画像の画素値はノイズに埋もれてしまい、その撮像画像から生成される出力画像もノイズの多い画像となってしまうが、第２条件を満たすことで、撮像画像は暗すぎない画像となり、その撮像画像から、鮮明な出力画像を生成することができる。

即ち、第２撮影処理を行うと仮定した際におけるＮ_a枚の撮像画像の各露出時間Ｔ_a／Ｎ_a、第３撮影処理を行うと仮定した際におけるＮ_b枚の撮像画像の各露出時間Ｔ_a／Ｎ_b、または、第４撮影処理を行うと仮定した際におけるＮ_c枚の撮像画像の各露出時間Ｔ_a／Ｎ_cが、ノイズで埋もれない限界の露出時間としての適正露出時間Ｔ_pに基づく閾値Ｔ_p／Ｍ_max（適正露出時間Ｔ_pで撮像される画像に対して１／Ｍ_maxの暗さになる露出時間）以上であるか否かを判定することで、暗すぎない撮像画像を撮像することのできる撮影処理を選択（決定）することができる。

そして、第３条件としての式Ｔ_a／Ｎ_a≧ｔ₀，Ｔ_a／Ｎ_b≧ｔ₀／４，またはＴ_a／Ｎ_c≧ｔ₀／９が満たされることにより、高速撮像時にブランキング期間が発生すること防止することができ、適切な（自然な）出力画像を生成することができる。

つまり、高速撮像時の１枚の撮像画像の露出時間Ｔ_tmp（Ｔ_a／Ｎ_a，Ｔ_a／Ｎ_b，Ｔ_a／Ｎ_c）が、撮像素子４が１枚の撮像画像を出力することができる最小の時間（出力最小時間）を超えている場合、ある撮像画像から次の撮像画像の撮像の間に、露光が行われていない期間であるブランキング期間が発生する。具体的には、撮像素子４でビニングが行われない場合には｛ｔ₀−（Ｔ_a／Ｎ_a）｝秒のブランキング期間が、撮像素子４で２×２ビニングが行われる場合には、｛（ｔ₀／４）−（Ｔ_a／Ｎ_b）｝秒のブランキング期間が、撮像素子４で３×３ビニングが行われる場合には、｛ｔ₀／９−（Ｔ_a／Ｎ_c）｝秒のブランキング期間が、それぞれ発生する。被写体が動いている場合、ブランキング期間における被写体の動きはまったく撮像画像には表れないので、このような撮像画像から出力画像を生成すると、その出力画像は不連続性のある画像となってしまうが、第３条件を満たすことで、連続性のある適切な出力画像を得ることができる。

即ち、第２撮影処理を行うと仮定した際におけるＮ_a枚の撮像画像の各露出時間Ｔ_a／Ｎ_a、第３撮影処理を行うと仮定した際におけるＮ_b枚の撮像画像の各露出時間Ｔ_a／Ｎ_b、または、第４撮影処理を行うと仮定した際におけるＮ_c枚の撮像画像の各露出時間Ｔ_a／Ｎ_cが、撮像素子４の連続撮像間隔の限界値ｔ₀に基づく閾値としての出力最小時間ｔ₀，ｔ₀／４，またはｔ₀／９以上であるか否かを、それぞれ判定することで、高速撮像時にブランキング期間が発生しない、適切な出力画像を生成することのできる撮影処理を選択（決定）することができる。

ここで、図５０を参照して、ブランキング期間が出力画像に与える影響について説明する。

図５０は、垂直方向（上から下方向）に一定の速度Ｖで移動している被写体を、露出時間Ｔ_tmp＝Ｔ_a／４で、高速撮像し、その結果得られる４枚の撮像画像から出力画像を生成する場合を示している。なお、高速撮像の開始時を、時刻０として、時刻０における被写体の位置を０とする。この場合、時刻ｔの被写体の位置はｔ×Ｖと表すことができる。

例えば、仮に、上述のように速度Ｖで移動している被写体を、露出時間Ｔ_aで撮像し、その撮像によって得られる１枚の撮像画像を出力画像とする場合、被写体は、撮像画像、ひいては出力画像上の位置０乃至Ｔ_a×Ｖの範囲のボケ（動きボケ）を生じた形で撮像される。このように、動いている被写体を撮影した場合、被写体が、その動きによってボケて、いわば尾を引いた感じの画像となるのは、撮影者の予想の範囲であり、このような動きボケは、手ぶれによるボケとは異質なものである。

図５０において、撮像画像５００_A乃至５００_Dは、ブランキング期間が発生していない状態で、つまり、第３条件が満たされた状態で撮像された４枚の撮像画像であり、出力画像５００_Eは、撮像画像５００_A乃至５００_Dを用いて画像生成処理を行うことにより生成された出力画像である。一方、撮像画像５０１_A乃至５０１_Dは、時間δのブランキング期間が発生している状態で、つまり、第３条件が満たされない状態で撮像された４枚の撮像画像であり、出力画像５０１_Eは、撮像画像５０１_A乃至５０１_Dを用いて画像生成処理を行うことにより生成された出力画像である。

まず、ブランキング期間が発生していない場合について説明する。１枚目の撮像画像５００_Aは、時刻０乃至Ｔ_a／４の間の露出により撮像され、２枚目の撮像画像５００_Bは、時刻Ｔ_a／４乃至２×Ｔ_a／４の間の露出により撮像される。同様に、３枚目の撮像画像５００_Cは、時刻２×Ｔ_a／４乃至３×Ｔ_a／４の間の露出により撮像され、４枚目の撮像画像５００_Dは、時刻３×Ｔ_a／４乃至Ｔ_aの間の露出により撮像される。

このような連続撮像により得られる撮像画像５００_A乃至５００_Dのそれぞれの画像上では、移動している被写体が、図５０において太線で示したように尾を引いた感じになる動きボケが生じる。図５０において、撮像画像５００_Aでは、被写体が、位置０乃至Ｔ_a×Ｖ／４の範囲の動きボケを生じた形で撮像され、撮像画像５００_Bでは、被写体が、位置Ｔ_a×Ｖ／４乃至２×Ｔ_a×Ｖ／４の範囲の動きボケを生じた形で撮像されている。同様に、撮像画像５００_Cでは、被写体が、位置２×Ｔ_a×Ｖ／４乃至３×Ｔ_a×Ｖ／４の範囲の動きボケを生じた形で撮像され、撮像画像５００_Dでは、被写体が、位置３×Ｔ_a×Ｖ／４乃至Ｔ_a×Ｖの範囲の動きボケを生じた形で撮像されている。

これらの撮像画像５００_A乃至５００_Dの撮像画像から得られる出力画像５００_Eには、被写体が位置０乃至Ｔ_a×Ｖの範囲の連続した動きボケを生じた形で表示される。このような尾を引いた感じの動きボケが生じた出力画像となるのは、上述したように撮影者の予想の範囲である。

次に、時間δのブランキング期間が発生している場合について説明する。１枚目の撮像画像５０１_Aは、時刻０乃至Ｔ_a／４の間の露出により撮像され、撮像画像５０１_Aの撮像終了から２枚目の撮像画像５０１_Bの撮像開始までの時間δのブランキング期間が発生している。２枚目の撮像画像５０１_Bは、時刻Ｔ_a／４＋δ乃至２×Ｔ_a／４＋δの間の露出により撮像され、撮像画像５０１_Bの撮像終了から３枚目の撮像画像５０１_Cの撮像開始までの時間δのブランキング期間が発生している。３枚目の撮像画像５０１_Cは、時刻２×Ｔ_a／４＋２×δ乃至３×Ｔ_a／４＋２×δの間の露出により撮像され、撮像画像５０１_Cの撮像終了から４枚目の撮像画像５０１_Dの撮像開始までの時間δのブランキング期間が発生している。４枚目の撮像画像５０１_Dは、時刻３×Ｔ_a／４＋３×δ乃至Ｔ_a＋３×δの間の露出により撮像される。

このような連続撮像により得られる撮像画像５０１_A乃至５０１_Dのそれぞれの画像上でも、移動している被写体が、図５０において太線で示したように尾を引いた感じになる動きボケが生じる。図５０において、撮像画像５０１_Aでは、位置０乃至Ｔ_a×Ｖ／４までの動きボケを生じた形で撮像され、撮像画像５０１_Bでは、被写体が、位置（Ｔ_a／４＋δ）×Ｖ乃至（２×Ｔ_a／４＋δ）×Ｖ乃至の範囲の動きボケを生じた形で撮像され、撮像画像５０１_Cでは、被写体が、位置（２×Ｔ_a／４＋２×δ）×Ｖ乃至（３×Ｔ_a／４＋２×δ）×Ｖの範囲の動きボケを生じた形で撮像され、撮像画像５０１_Dでは、被写体が、位置（３×Ｔ_a／４＋３×δ）×Ｖ乃至（Ｔ_a＋３×δ）×Ｖの範囲の動きボケを生じた形で撮像されている。

これらの撮像画像５０１_A乃至５０１_Dから得られる出力画像５０１_Eには、被写体が位置０乃至（Ｔ_a＋３×δ）×Ｖの範囲で、図５０に示すような不連続な動きボケを生じた形で表示される。このように、動きボケが不連続な出力画像５０１_Eは、不自然な画像であり、このような不自然な出力画像は、撮影者に違和感を感じさせることになる。

以上のように、ブランキング期間が生じると、出力画像は不自然な画像となるため、本実施の形態では、ブランキング期間が発生しないように、上述の第３条件を満たす撮影処理を選択（決定）し、これにより、適正な（自然な）出力画像を得ることができるようにしている。なお、移動する被写体が存在しなければ、動きボケは生じないので、第３条件を満たしているか否かは判定しなくてもよい。移動する被写体が存在するか否かは、例えば、撮像素子４で撮像され、モニタ１１に表示されるいわゆるスルー画を対象として動き検出を行うことにより認識することができる。

なお、上記の説明においては、絞りの値Ｆを固定して、適正露出時間Ｔ_pから、入力デバイス１６の露出補正ダイアルによる露出補正値に基づき、露出時間Ｔ_aを求めるようにしたが、露出時間Ｔ_aを適正露出時間Ｔ_pに固定して、露出補正ダイアルによる露出補正値に基づき、絞りの値Ｆを変更するようにしてもよい。

つまり、上記においては、絞りの値Ｆを固定して露出時間Ｔ_a（シャッタ速度）を変更することで露出補正を行う、一般に絞り優先モードといわれる方法で露出補正を行うようにしたが、この他、例えば、シャッタ速度優先モードといわれる方法で露出補正を行うことができる。シャッタ速度優先モードでは、露出補正ダイアルを操作して露出補正値を設定すると、露出時間Ｔ_a（シャッタ速度）は適正露出時間Ｔ_pで固定されて変更されず、絞りの値Ｆが、露出補正値に基づいて変更される。

このように、露出時間Ｔ_aを適正露出時間Ｔ_pに固定とするシャッタ速度優先モードは、一見すると、露出時間Ｔ_aが適正露出時間Ｔ_pとは異なる値に設定されうる図１のディジタルカメラ１には、適用できないように思われる。しかしながら、以下に説明するように、図１のディジタルカメラ１には、シャッタ速度優先モードを適用することができる。

即ち、例えば、シャッタ速度優先モードにおいて、露出計１９によって計測された被写体の明るさの計測値から求められた絞りの値がＦ’で、適正露出時間がＴ_p’であったとする。

まず、露出補正ダイアルでの露出補正値が０である場合には、撮影モードの決定処理のステップＳ５０５（図４４）において、絞りの値ＦをＦ’に、適正露出時間Ｔ_pをＴ_p’に、露出時間Ｔ_aをＴ_p’に、それぞれ決定すればよい。

次に、露出補正ダイアルでの露出補正値が１段アンダを表している場合には、ステップＳ５０５（図４４）において、絞りの値ＦをＦ’より１段絞った値に、適正露出時間Ｔ_pを２Ｔ_p’に、露出時間Ｔ_aをＴ_p’に、それぞれ決定すればよい。

即ち、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」と、「絞りの値FがＦ’より１段絞った値で、適正露出時間Ｔ_pがＴ_p’の２倍の長時間露光での撮像」とでは、撮像素子４に入射される光量は同一量である。そこで、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」の１段アンダとして、「絞りの値FがＦ’より１段絞った値で、適正露出時間Ｔ_pがＴ_p’の２倍の長時間露光での撮像」の１段アンダを考えると、「絞りの値FがＦ’より１段絞った値で、適正露出時間Ｔ_pがＴ_p’の２倍の長時間露光での撮像」の１段アンダは、「絞りの値ＦがＦ’より１段絞った値で、露出時間Ｔ_aが１／２Ｔ_p、つまりＴ_p’での撮像」である。

「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」の１段アンダは、「絞りの値FがＦ’より１段絞った値で、適正露出時間Ｔ_pがＴ_p’の２倍の長時間露光での撮像」の１段アンダである「絞りの値ＦがＦ’より１段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」と等価であり、このときの適正露出時間Ｔ_pは２Ｔ_p’である。そして、「絞りの値ＦがＦ’より１段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」は、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」に対して、シャッタ速度優先モードの１段アンダでの撮像となっている。

従って、露出補正ダイアルによる露出補正値が１段アンダを表している場合、シャッタ速度優先モードでは、「絞りの値FがＦ’より１段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」を行い、撮影モードの決定処理では、絞りの値FをＦ’より１段絞った値に、露出時間Ｔ_aをＴ_p’に固定した値に、適正露出時間Ｔ_pを２Ｔ_p’に、それぞれ決定して処理を行えば良い。

次に、露出補正ダイアルでの露出補正値が２段アンダを表している場合には、ステップＳ５０５（図４４）において、絞りの値ＦをＦ’より２段絞った値に、適正露出時間Ｔ_pを４Ｔ_p’に、露出時間Ｔ_aをＴ_p’に、それぞれ決定すればよい。

即ち、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」と、「絞りの値FがＦ’より２段絞った値で、適正露出時間Ｔ_pがＴ_p’の４倍の長時間露光での撮像」とでは、撮像素子４に入射される光量は同一量である。そこで、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」の２段アンダとして、「絞りの値FがＦ’より１段絞った値で、適正露出時間Ｔ_pがＴ_p’の４倍の長時間露光での撮像」の２段アンダを考えると、「絞りの値FがＦ’より２段絞った値で、適正露出時間Ｔ_pがＴ_p’の４倍の長時間露光での撮像」の２段アンダは、「絞りの値ＦがＦ’より２段絞った値で、露出時間Ｔ_aが１／４Ｔ_p、つまりＴ_p’での撮像」である。

「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」の２段アンダは、「絞りの値FがＦ’より２段絞った値で、適正露出時間Ｔ_pがＴ_p’の４倍の長時間露光での撮像」の２段アンダである「絞りの値ＦがＦ’より２段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」と等価であり、このときの適正露出時間Ｔ_pは４Ｔ_p’である。そして、「絞りの値ＦがＦ’より２段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」は、「絞りの値FがＦ’で、適正露出時間Ｔ_pがＴ_p’の適正露出での撮像」に対して、シャッタ速度優先モードの２段アンダでの撮像となっている。

従って、露出補正ダイアルによる露出補正値が２段アンダを表している場合、シャッタ速度優先モードでは、「絞りの値FがＦ’より２段絞った値で、露出時間Ｔ_aがＴ_p’での撮像」を行い、撮影モードの決定処理では、絞りの値FをＦ’より２段絞った値に、露出時間Ｔ_aをＴ_p’に固定した値に、適正露出時間Ｔ_pを４Ｔ_p’に、それぞれ決定して処理を行えば良い。

３段アンダ、あるいは、１段オーバ、２段オーバ、および３段オーバなどについても上述の１段アンダ、２段アンダと同様にして、シャッタ速度優先モードにおいて、撮影モードの決定処理を行うことができる。

なお、ビニングを機能させる場合には、画素加算が行われることにより撮像素子４から出力される画素値が、ビニングを機能させない場合より大きく（明るく）なるので、撮像画像において被写体がノイズに埋もれてしまわない暗さの限界値１／Ｍ_maxは、更に小さな値（Ｍ_maxを大きな値とする）とすることができる。つまり、ビニングを機能させる場合には、機能させない場合よりも更に暗めに撮像しても、撮像画像がノイズに埋もれにくいので、第２条件の閾値Ｔ_p／Ｍ_maxを、ビニングを機能させない場合に比較して小さな値に設定することができる。

また、図４４では、ステップＳ５０５で適正露出時間Ｔ_pを決定し、この適正露出時間Ｔ_pを使用して以降の処理を行っているが、ステップＳ５０５の処理を行わず、ステップＳ５０２で決定されている適正露出時間Ｔ_pを使用して以降の処理を行ってもよい。

また、本実施の形態では、図１のディジタルカメラ１が、半押しの機能のあるレリーズボタンを備えていることとしたが、ディジタルカメラ１は、半押し機能のないレリーズボタンを備えたディジタルカメラであってもよい。その場合は、初めに、レリーズボタンの全押しを検出する処理を行い、次に、絞りの値Ｆ、適正露出時間Ｔ_p、および露出時間Ｔ_aを決定する処理（ステップＳ５０２と同様の処理）を行って、撮影モードの決定処理（ステップＳ５０６）を行うようにすればよい。

なお、上述した例では、ディジタルカメラ１の撮像素子４を、単板センサで構成し、撮像素子４が出力する１画素につき１個の色信号から、１画素につき３個の色信号を有する出力画像を生成するようにしたが、撮像素子４は、単板センサでなくてもよく、１画素につき、例えば、R，G，Bの３色を出力する３板式の撮像素子などを採用することができる。

また、本発明は、上述したように、ディジタルスチルカメラに採用することができる他、処理の高速化を図ることによって、ディジタルビデオカメラ等にも採用することができる。

なお、本明細書において、フローチャートで説明した各ステップの処理は、記載された順序に沿って時系列的に実行されることはもちろん、必ずしも時系列的に実行されなくとも、並列的あるいは個別に実行されることもあり得る。また、フローチャートで説明した処理の一部または全部は、コンピュータ（CPU１５）にプログラムを実行させることによって行わせることができる他、専用のハードウエアにより実行することも可能である。

さて、最後に、本発明の訴求している範囲について述べておく。本発明は、図４４のステップＳ５０６における、撮影モードの決定処理に関するものである。撮影モードの決定処理（ステップＳ５０６）は、図４４から明らかなように、ステップＳ５０６での処理に入る前に、適正露出時間Ｔ_p、実際の露出時間Ｔ_a、および、手ぶれが発生しない限界の露出時間としての閾値Ｔ_blurを求めるために必要な焦点距離の情報が得られていれば実行することができる。

適正露出時間Ｔ_p、実際の露出時間Ｔ_a、および、手ぶれが発生しない限界の露出時間としての閾値Ｔ_blurを求めるために必要な焦点距離の情報を得る方法（露出決定方法）は従来から沢山あるが、それらのいずれの方法を使用して、適正露出時間Ｔ_p、実際の露出時間Ｔ_a、および、焦点距離の情報を得てもよい。つまり、適正露出時間Ｔ_p、実際の露出時間Ｔ_a、および、焦点距離の情報を得る方法は限定されるものではない。

また、本発明は、通常のディジタルカメラで行われる撮影処理と同様の通常撮影モードの撮影処理（第１撮影処理）と、高速に連続撮像を行うことにより、複数の撮像画像（適正露出で撮像された画像よりも暗い画像）を得て、その複数の撮像画像の重ね合わせ、あるいは補間などによって１枚の鮮明な出力画像を生成する手ぶれ補正モードの撮影処理（第２乃至第４撮影処理）のうちのいずれの撮影処理で撮影をするべきかを自動で設定（決定）する処理（撮影モードの決定処理）に関するものである。

つまり、図４５のステップＳ５２１における第１判定の処理が、本発明において重要である。即ち、通常撮影モードの撮影処理（第１撮影処理）で撮影を行うと仮定した際に、出力画像に手ぶれによるボケを生じる可能性があるか否かの判定が重要であり、この判定を行う第１判定の処理により、「通常撮影モードの撮影処理（第１撮影処理）」で撮影を行うか、「高速に連続撮像を行うことにより、複数の撮像画像（適正露出で撮像された画像よりも暗い画像）を得て、その複数の撮像画像の重ね合わせ、あるいは補間などによって1枚の鮮明な出力画像を生成する手ぶれ補正モードの撮影処理（第２乃至第４撮影処理）」で撮影を行うかを選択（決定）している。この点が、本発明のポイントである。

従って、高速に連続撮像を行うことにより、複数枚の撮像画像（適正露出で撮像された画像よりも暗い画像）から１枚の鮮明な出力画像を生成する方法（処理）は、上述の画像生成処理に限定するものではなく、その他、従来からある方法を含め、任意の方法を採用することができる。

本発明を適用したディジタルカメラ１の一実施の形態の構成例を示すブロック図である。 図１のディジタルカメラ１の撮影処理を説明するフローチャートである。 図１の撮像素子４の画素の配列を示す図である。 図１の信号処理回路７の詳細な構成例を示すブロック図である。 １枚目画像を示す図である。 ２枚目画像を示す図である。 ３枚目画像を示す図である。 １枚目画像の座標系上で観測される画素値を説明する図である。 出力画像を示す図である。 画素の位置をプロットした基準座標系を示す図である。 位置（I'，J'）の緑色の光量Lg（I'，J'）の推定を説明する図である。 画像生成処理を説明するフローチャートである。 キュービック関数を示す波形図である。 基準座標系上の位置の画素値を説明する図である。 例外状態を説明する図である。 G信号の例外処理を説明する図である。 G信号の例外処理を説明する図である。 R信号の例外処理を説明する図である。 R信号の例外処理を説明する図である。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 緑色の光量Lg（I'，J'）を求める演算処理を説明するフローチャートである。 赤色の光量Lr（I'，J'）を求める演算処理を説明するフローチャートである。 青色の光量Lb（I'，J'）を求める演算処理を説明するフローチャートである。 撮像画像４０１₁乃至４０１₈を示す図である。 １枚目の撮像画像を基準画像とした場合に得られる出力画像を説明する図である。 中間画像を基準画像とした場合に得られる出力画像を説明する図である。 図１のディジタルカメラ１の処理を説明するフローチャートである。 基準画像を示す平面図である。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 G信号の画素値（緑色の光量）を推定する演算処理を説明するフローチャートである。 R信号の画素値（赤色の光量）を推定する演算処理を説明するフローチャートである。 B信号の画素値（青色の光量）を推定する演算処理を説明するフローチャートである。 図１ディジタルカメラ１の撮影処理を説明するフローチャートである。 撮影モードの決定処理を説明するフローチャートである。 第１判定の処理を説明するフローチャートである。 第２判定の処理を説明するフローチャートである。 第３判定の処理を説明するフローチャートである。 第４判定の処理を説明するフローチャートである。 ブランキング期間が出力画像に与える影響について説明する図である。

符号の説明

１ ディジタルカメラ， ２ レンズ， ３ 絞り， ４ 撮像素子， ５ 相関２重サンプリング回路， ６ A/Dコンバータ， ７ 信号処理回路， ８ タイミングジェネレータ， ９ D/Aコンバータ， １０ ビデオエンコーダ， １１ モニタ， １２ コーデック， １３ メモリ， １４ バス， １５ CPU， １６ 入力デバイス， １７ 画像処理回路， １８ 制御回路， １９ 露出計， ２１ シフト回路， ２２₁乃至２２_N フレームメモリ， ２３₁乃至２３_N-1 動き検出回路， ２４ 演算回路， ２５ コントローラ

Claims (23)

1. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
   前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する第１の判定ステップと、
   前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定ステップと、
   前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定ステップと
   を含むことを特徴とする撮影装置の制御方法。
2. 前記第１の閾値は、前記第１のモードで撮影を行う際の前記１枚の入力画像に、手ブレが起きない限界の露出時間である
   ことを特徴とする請求項１に記載の撮影装置の制御方法。
3. 前記第１の閾値は、前記入力画像の撮像時の焦点距離に基づく値である
   ことを特徴とする請求項１に記載の撮影装置の制御方法。
4. 前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間である第２の露出時間が、第２の閾値以下であるか否かを判定する第２の判定ステップをさらに含み、
   前記第２の決定ステップでは、前記第２の判定ステップで、前記第２の露出時間が前記第２の閾値以下であると判定された場合に、前記第２のモードで撮影を行うことを決定する
   ことを特徴とする請求項１に記載の撮影装置の制御方法。
5. 前記第２の閾値は、前記第２のモードで撮影を行う際の前記複数枚の入力画像のそれぞれに、手ブレが起きない限界の露出時間である
   ことを特徴とする請求項４に記載の撮影装置の制御方法。
6. 前記第２の閾値は、前記入力画像の撮像時の焦点距離に基づく値である
   ことを特徴とする請求項４に記載の撮影装置の制御方法。
7. 前記第１の判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定され、かつ、前記第２の判定ステップで、前記第２の露出時間が前記第２の閾値以下でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第３の決定ステップをさらに含む
   ことを特徴とする請求項４に記載の撮影装置の制御方法。
8. 前記第２の判定ステップでは、前記第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であるか否かをさらに判定し、
   前記第２の決定ステップでは、前記第２の判定ステップで、前記第２の露出時間が、前記第２の閾値以下であると判定され、かつ、前記適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する
   ことを特徴とする請求項４に記載の撮影装置の制御方法。
9. 前記第２の判定ステップでは、前記第２の露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値、または前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値のうちの大きい方の閾値に等しいとして、前記第２の露出時間が、前記第２の閾値以下であるか否かを判定する
   ことを特徴とする請求項４に記載の撮影装置の制御方法。
10. 前記撮影装置は、
    前記入力画像を撮像する撮像手段を備え、
    前記第２のモードにおいて、
    前記撮像手段が撮像した前記複数枚の入力画像どうしの位置関係を検出し、
    検出された前記位置関係に基づき、前記出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる前記複数枚の入力画像の画素を特定し、
    特定された前記複数枚の入力画像の画素の画素値に基づき、前記出力画像の各画素の位置の画素値を推定することにより、前記出力画像を生成する
    ことを特徴とする請求項１に記載の撮影装置の制御方法。
11. 前記撮影装置は、前記第２のモードにおいて、前記複数枚の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準として、前記複数枚の入力画像どうしの位置関係を検出する
    ことを特徴とする請求項１０に記載の撮影装置の制御方法。
12. 前記撮影装置は、前記第２のモードにおいて、前記複数枚の入力画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像であり、かつ、画素の間隔が前記複数枚の入力画像の画素の間隔より小さい画像を、前記出力画像として生成する
    ことを特徴とする請求項１０に記載の撮影装置の制御方法。
13. 前記撮影装置は、前記第２のモードにおいて、前記撮像手段が有する画素の数に等しい数の画素を有する前記出力画像を生成する
    ことを特徴とする請求項１２に記載の撮影装置の制御方法。
14. 前記撮影装置の前記撮像手段は、前記第２のモードにおいて、前記撮像手段が有する画素の複数をまとめて扱うことにより、前記撮像手段が有する画素の数よりも少ない数の画素を有する前記入力画像を出力する
    ことを特徴とする請求項１０に記載の撮影装置の制御方法。
15. 前記撮影装置は、前記第２のモードにおいて、１画素につき１個の画素値を有する前記複数枚の入力画像の画素の画素値に基づき、１画素につき３個の画素値を有する前記出力画像の各画素の位置の前記３個の画素値を推定する
    ことを特徴とする請求項１０に記載の撮影装置の制御方法。
16. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、
    前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定手段と、
    前記判定手段で、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定手段と、
    前記判定手段で、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定手段と
    を備えることを特徴とする撮影装置の制御装置。
17. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
    前記第１のモードで撮影を行うと仮定した際の、前記１枚の入力画像を撮像する露出時間である第１の露出時間が、第１の閾値以下であるか否かを判定する判定ステップと、
    前記判定ステップで、前記第１の露出時間が前記第１の閾値以下であると判定された場合に、前記第１のモードで撮影を行うことを決定する第１の決定ステップと、
    前記判定ステップで、前記第１の露出時間が前記第１の閾値以下でないと判定された場合に、前記第２のモードで撮影を行うことを決定する第２の決定ステップと
    を含む処理をコンピュータに実行させることを特徴とする制御プログラム。
18. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
    を含むことを特徴とする撮影装置の制御方法。
19. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定手段と、
    前記判定手段で、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定手段と、
    前記判定手段で、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定手段と
    を備えることを特徴とする撮影装置の制御装置。
20. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、被写体の明るさから求められる適正露出時間に基づく閾値以上であるか否かを判定する判定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
    を含む処理をコンピュータに実行させることを特徴とする制御プログラム。
21. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御方法において、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
    を含むことを特徴とする撮影装置の制御方法。
22. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置の制御装置において、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定手段と、
    前記判定手段で、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定手段と、
    前記判定手段で、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定手段と
    を備えることを特徴とする撮影装置の制御装置。
23. １枚の入力画像を撮像して１枚の出力画像を生成する第１のモードと、複数枚の入力画像を連続撮像して１枚の出力画像を生成する第２のモードとを有する撮影装置を制御するコンピュータに実行させる制御プログラムにおいて、
    前記第２のモードで撮影を行うと仮定した際の、前記複数枚のそれぞれの入力画像を撮像する露出時間が、前記撮影装置での最速の連続撮像時の撮像間隔に基づく閾値以上であるか否かを判定する判定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上であると判定された場合に、前記第２のモードで撮影を行うことを決定する第１の決定ステップと、
    前記判定ステップで、前記露出時間が前記閾値以上でないと判定された場合に、前記第１のモードで撮影を行うことを決定する第２の決定ステップと
    を含む処理をコンピュータに実行させることを特徴とする制御プログラム。

Images