JP2011097568A - 撮像装置 - Google Patents

Abstract

【課題】解像度及びＳＮ比のバランスのとれた動画像を取得する。
【解決手段】撮像素子に設けられた受光画素の一部を間引きつつ信号を読み出す間引き読み出しと、複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、撮影感度又は被写体の明るさに応じて切り替え実行する。ＩＳＯ感度等の撮影感度が低い場合（被写体の明るさが高い）場合には間引き読み出しを行って折り返し歪みを比較的多く含む入力画像を取得し、折り返し歪みの除去によって解像度向上を図る解像度向上処理の結果（解像度向上画像）を出力画像に強く反映させる。逆に、撮影感度が高い場合（被写体の明るさが低い）場合には加算読み出しによって入力画像を取得し、ノイズ低減処理後の入力画像（ノイズ低減画像）を出力画像に強く反映させる。
【選択図】図８

Description

本発明は、デジタルビデオカメラ等の撮像装置に関する。

多数の受光画素から成る撮像素子（ＣＣＤ等）を有するデジタルカメラにおいて、撮像素子から動画像用の画像信号を読み出す際、動画像に適したフレームレート（例えば、６０フレーム／秒）にて全受光画素から画像信号を読み出すことは困難である（高価な撮像素子や多チャンネル読み出しが可能な特殊な撮像素子の利用時は除く）。

従って、複数の受光画素信号を加算しながら読み出す加算読み出し方式又は幾つかの受光画素信号を間引いて読み出す間引き読み出し方式を用いて、信号が読み出される画素数を減らし、これによって高フレームレートの動画像の取得を実現するという方法が一般的にとられている。また、撮像素子上の限定領域（例えば、中央領域）の受光画素信号のみを読み出す領域読み出し方式が利用されることもある。

これらの中で、加算読み出し方式は、信号対雑音比（以下、ＳＮ比という）を比較的高くすることができるという利点から良く利用されている。しかしながら、当然ではあるが、加算読み出し方式を利用すると、全受光画素を個別に読み出す方式と比べて解像度が低下する。このため、近年、解像度改善策として、動画像生成処理に超解像技術などの高解像化技術を適用することが提案されている。超解像技術では、撮像素子における標本化によって生じた折り返し歪みを除去することで解像度の向上が図られる。

超解像技術の適用を考えた場合には、加算読み出し方式よりも間引き読み出し方式の方に利点がある。加算読み出し方式と比べて間引き読み出し方式にて得られた画像データには折り返し歪みが多く発生するが、その分、超解像技術による解像度向上効果は大きくなるからである。しかしながら、一方で、加算読み出し方式よりも間引き読み出し方式の利用時の方がＳＮ比は低くなり、特に低照度時にはＳＮ比の劣化が目立ちすぎることもある。解像度とＳＮ比のバランスが重要であることは言うまでもない。

また、解像度を向上させるための画像処理とノイズを低減するための画像処理を併用して動画像の生成を試みる場合においても、当然、解像度とＳＮ比のバランスが重要である。

尚、下記特許文献１には、間引き読み出し方式による間引き信号と加算読み出し方式による加算信号を同時に読み出し、それら２種類の信号を用いて広ダイナミックレンジ画像や超解像画像を生成する方法が記載されている。しかしながら、この方法では、撮像素子から通常の２倍の信号を読み出す必要があるため、高フレームレートの実現が困難であり動画像生成には不適である。また、撮像素子から通常の２倍の信号量を高速に読み出すためには、信号読み出し用の出力ピンを増加させる必要が生じる。これは、撮像素子の大型化及び高コスト化を招くため、実用的ではない。

特開２００７−１９６４１号公報

そこで本発明は、解像度とＳＮ比のバランスの良好化に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体の光学像を光電変換する受光画素群から成る撮像素子と、前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部と、を備えて画像の撮影を行う撮像装置において、前記読出制御部は、１つの動画像の撮影中に前記間引き読み出し及び前記加算読み出し間の切り替えを行うことを特徴とする。

これにより、必要に応じて間引き読み出し及び加算読み出し間の切り替えを行うことができるようになり、結果、解像度とＳＮ比のバランスをとることが可能となる。

具体的には例えば、前記読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、前記間引き読み出し及び前記加算読み出し間の切り替えを行う。

撮影の感度が比較的低い状態又は被写体の明るさが比較的高い状態では、後段処理において高い解像度向上効果をもたらし得る間引き読み出しを行っても、ノイズの影響は少ない。逆に、撮影の感度が比較的高い状態又は被写体の明るさが比較的低い状態において間引き読み出しを行うとノイズの影響が大きくなるため、そのような状態においては加算読み出しの利用が好適である。これらを考慮し、読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、間引き読み出し及び加算読み出し間の切り替えを行う。これにより、解像度とＳＮ比のバランスをとることが可能となる。

即ち具体的には例えば、前記読出制御部は、前記感度が比較的低いときには前記間引き読み出しが行われるように且つ前記感度が比較的高いときには前記加算読み出しが行われるように前記切り替えを行う、或いは、前記明るさが比較的高いときには前記間引き読み出しが行われるように且つ前記明るさが比較的低いときには前記加算読み出しが行われるように前記切り替えを行う。

また例えば、前記読出制御部は、前記感度が比較的低い状態から比較的高い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記感度が比較的高い状態から比較的低い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設けるようにしてもよい。又は、前記読出制御部は、前記明るさが比較的高い状態から比較的低い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記明るさが比較的低い状態から比較的高い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設けるようにしてもよい。

間引き読み出しにて得た画像と加算読み出しにて得た画像との間には、読み出し方式の相違に起因する画質の相違が生じることがあるが、上記のような制御を行うことにより、読み出し方式の切り替え時に発生しうる画質の急激な変化を軽減することが可能となる。

また例えば、前記撮像素子を用いて得た撮影画像の解像度を向上させる第１画像処理及び前記撮影画像のノイズを低減する第２画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を当該撮像装置に更に設けるようにしても良い。そして、例えば、前記画像処理部は、前記加算読み出しにて前記撮影画像が取得された場合において、前記感度が比較的低いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う、或いは、前記明るさが比較的高いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行い、前記第２画像処理を前記出力画像へ寄与させずに前記第１画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように前記出力画像を生成するようにしてもよい。

これにより、解像度向上とノイズ低減をバランス良く両立させることが可能となる。

また例えば、前記読出制御部は、前記動画像の撮影中に静止画像の取得が指示された場合、前記間引き読み出しを用いて前記静止画像が取得されるように前記切り替えを行うようにしても良い。

これにより、解像度の高い静止画像を得ることが可能となる。

また例えば、前記読出制御部は、前記間引き読み出しの実行の際、間引きの対象となる受光画素が互いに異なる複数の間引きパターンを用いて複数の撮影画像を取得させる、或いは、前記加算読み出しの実行の際、加算の対象となる受光画素の組み合わせが互いに異なる複数の加算パターンを用いて複数の撮影画像を取得させる。

複数画像に基づく解像度向上処理等を行う場合、複数画像間にはサブピクセル精度の位置ずれが存在している必要があるが、上述の如く複数の間引きパターン又は複数の加算パターンを用いることで、撮像装置が三脚等で固定されている場合においてもサブピクセル精度の位置ずれを発生させることが可能となる。

本発明に係る他の撮像装置は、撮像素子を用いて得た撮影画像の解像度を向上させる第１画像処理及び前記撮影画像のノイズを低減する第２画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を備えた撮像装置において、前記画像処理部は、撮影の感度が比較的低いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う、或いは、被写体の明るさが比較的高いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行うことを特徴とする。

これにより、解像度向上とノイズ低減をバランス良く両立させることが可能となる。

また例えば、上記他の撮像装置において、前記撮像素子は、被写体の光学像を光電変換する受光画素群から成り、前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部を当該撮像装置は更に備えて、前記撮影画像を前記間引き読み出し又は前記加算読み出しにて取得し、前記画像処理部は、前記加算読み出しにて前記撮影画像が取得された場合において、前記感度が比較的低いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う、或いは、前記明るさが比較的高いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行い、前記間引き読み出しにて前記撮影画像が取得された場合においては、前記第２画像処理を前記出力画像へ寄与させずに前記第１画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように前記出力画像を生成するようにしてもよい。

本発明によれば、解像度とＳＮ比のバランスの良好化に寄与する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 本発明の実施形態に係る撮像素子の有効画素領域内の受光画素配列を示す図（ａ）と、該有効画素領域を示す図（ｂ）である。 本発明の実施形態に係る撮像素子のカラーフィルタ配列を示す図である。 全画素読み出しにて原画像の画素信号が生成される様子を示す図である。 加算読み出しにて原画像の画素信号が生成される様子を示す図である。 間引き読み出しにて原画像の画素信号が生成される様子を示す図である。 図１の撮像装置に内在する、入力画像から出力画像を生成する機能を担う部位のブロック図である。 時刻列と入力画像列との関係を示す図である。 ３枚の入力画像から１枚の解像度向上画像が生成される様子を示す図である。 本発明の第１実施例に係り、信号増幅率（ｇ_{ＴＯＴＡＬ}）と撮像素子の駆動方式との関係を示す図（ａ）と、該信号増幅率と重み係数（ｋ_Ｗ）との関係を示す図（ｂ）である。 本発明の第２実施例に係り、明るさ制御値（Ｂ_ＣＯＮＴ）と撮像素子の駆動方式との関係を示す図（ａ）と、該明るさ制御値と重み係数（ｋ_Ｗ）との関係を示す図（ｂ）である。 本発明の第３実施例に係り、信号増幅率（ｇ_{ＴＯＴＡＬ}）と撮像素子の駆動方式との関係を示す図である。 本発明の第３実施例に係り、信号増幅率（ｇ_{ＴＯＴＡＬ}）の変化に伴って撮像素子の駆動方式が変化していく様子を示す図である。 本発明の第４実施例に係る画像合成方法を説明するための図である。 本発明の第６実施例に係り、無効フレームが介在した入力画像列を示す図である。 本発明の第６実施例に係り、無効フレームの発生時に解像度向上画像列が生成される様子を示す図である。 本発明の第６実施例に係り、無効フレームの発生時に無効フレームに対応する画像が補間によって生成される様子を示す図である。 本発明の第６実施例に係り、入力画像から出力画像を生成する機能を担う部位の第１変形ブロック図である。 本発明の第７実施例に係り、入力画像から出力画像を生成する機能を担う部位の第２変形ブロック図である。 本発明の第７実施例に係り、入力画像の全体画像領域がエッジ領域と平坦領域に分類される様子を示す図である。 本発明の第８実施例にて利用される第１〜第４の間引きパターンを示す図である。 本発明の第８実施例にて利用される第１及び第２の加算パターンを示す図である。 本発明の第８実施例にて利用される第３及び第４の加算パターンを示す図である。 本発明の第１０実施例に係る入力画像列を示す図である。 本発明の第１０実施例に係り、複数の入力画像から静止画像が生成される様子を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈するようにしても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御されることによって、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅率はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＴＧ２２は、更に、ＣＰＵ２３の制御の下、撮像素子３３の駆動パルスを生成して撮像素子３３に供給する。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、規定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。周知の如く、フレーム周期の逆数は、フレームレートと呼ばれる。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種である。１つのフレーム周期分の画像データによって１枚分の画像が表現される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、ＡＦＥ１２の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、１つのフレーム周期分の、ＡＦＥ１２の出力信号によって、１枚の原画像が表現される。

［撮像素子の受光画素配列］
図３（ａ）は、撮像素子３３の有効画素領域内の受光画素配列を示している。撮像素子３３の有効画素領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が撮像素子３３の有効画素領域の左上隅に位置するものとする。図３（ｂ）に示す如く、撮像素子３３の水平方向における有効画素数Ｍと垂直方向における有効画素数Ｎとの積（Ｍ×Ｎ）に相当する個数の受光画素が二次元配列されることによって、撮像素子３３の有効画素領域が形成される。撮像素子３３の有効画素領域内の各受光画素をＰ_Ｓ［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数であり、１≦ｘ≦Ｍ且つ１≦ｙ≦Ｎを満たす。Ｍ及びＮは、２以上の整数であり、例えば、数１００〜数１０００の範囲内の値をとる。撮像素子３３の原点から見て、右側に位置する受光画素ほど、対応する変数ｘの値が大きくなり、下側に位置する受光画素ほど、対応する変数ｙの値が大きくなるものとする。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

図３（ａ）には、不等式「１≦ｘ≦１０」及び「１≦ｙ≦１０」を満たす合計１００個の受光画素Ｐ_Ｓ［ｘ，ｙ］が示されている。図３（ａ）に示される受光画素群の内、受光画素Ｐ_Ｓ［１，１］の配置位置が最も撮像素子３３の原点に近く、受光画素Ｐ_Ｓ［１０，１０］の配置位置が最も撮像素子３３の原点から遠い。

撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図４は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図４に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ］の前面に配置され、青フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ−１］の前面に配置され、緑フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］又はＰ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］の前面に配置される。ここで、ｎ_Ａ及びｎ_Ｂは整数である。尚、図４並びに後述の図５〜図７及び図２２（ａ）〜（ｄ）において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。

赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。

［受光画素信号の読み出し方式］
撮像素子３３から受光画素信号を読み出す方式には、撮像素子３３の有効画素領域内に位置する全ての受光画素からの受光画素信号を個別に読み出す全画素読み出し方式と、複数の受光画素信号を加算しながら読み出す加算読み出し方式と、幾つかの受光画素信号を間引いて読み出す間引き読み出し方式と、がある。

・全画素読み出し方式
全画素読み出し方式について説明する。全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効画素領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。

従って、全画素読み出し方式を用いた場合、図５に示す如く、４×４受光画素についての（４×４）個の受光画素信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上における４×４画素についての（４×４）個の画素信号となる。尚、４×４受光画素とは、水平方向に４つの受光画素、垂直方向に４つの受光画素がマトリクス状に配列された計１６個の受光画素を指す。４×４画素についても同様である。

全画素読み出し方式を用いた場合、図５に示す如く、受光画素Ｐ_Ｓ［ｘ，ｙ］の受光画素信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上の画素位置［ｘ，ｙ］における画素の画素信号となる。原画像を含む任意の着目画像において、画素が配置される着目画像上の位置を、画素位置と呼ぶと共に記号［ｘ，ｙ］にて表す。便宜上、着目画像上の原点は、撮像素子３３と同様、着目画像の左上隅に位置すると考える。着目画像上の原点から見て、右側に位置する着目画像上の画素ほど、対応する変数ｘの値が大きくなり、下側に位置する着目画像上の画素ほど、対応する変数ｙの値が大きくなるものとする。着目画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。

原画像では、１つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの１つの色成分のみの画素信号が存在している。原画像を含む任意の着目画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、Ｒ信号、Ｇ信号及びＢ信号と呼ぶ。

全画素読み出し方式を用いた場合、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ］に配置される画素の画素信号はＲ信号であり、原画像上の画素位置［２ｎ_Ａ，２ｎ_Ｂ−１］に配置される画素の画素信号はＢ信号であり、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ−１］又は［２ｎ_Ａ，２ｎ_Ｂ］に配置される画素の画素信号はＧ信号である。

・加算読み出し方式
加算読み出し方式について説明する。加算読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、複数の受光画素信号を加算することによって得た加算信号が撮像素子３３からＡＦＥ１２を介して映像信号処理部１３に与えられ、１つの加算信号によって、原画像上の１つの画素の画素信号が形成される。

受光画素信号の加算の方法には様々な方法が存在するが、一例として、図６に、加算読み出し方式を用いた原画像の取得の様子を示す。図６に示す例では、１つの加算信号を生成するために、４つの受光画素信号が足し合わされる。この加算読み出し方式を用いる場合、撮像素子３３の有効画素領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は４×４受光画素から形成され、１つの小受光画素領域から４つの加算信号が生成される。小受光画素領域ごとに生成された４つの加算信号の夫々は、原画像上の画素の画素信号として読み出される。

例えば、受光画素Ｐ_Ｓ［１，１］〜Ｐ_Ｓ［４，４］から成る小受光画素領域に着目した場合、受光画素Ｐ_Ｓ［１，１］、Ｐ_Ｓ［３，１］、Ｐ_Ｓ［１，３］及びＰ_Ｓ［３，３］の受光画素信号を足し合わせて得た加算信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上の画素位置［１，１］における画素信号（Ｇ信号）となり、受光画素Ｐ_Ｓ［２，１］、Ｐ_Ｓ［４，１］、Ｐ_Ｓ［２，３］及びＰ_Ｓ［４，３］の受光画素信号を足し合わせて得た加算信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上の画素位置［２，１］における画素信号（Ｂ信号）となり、受光画素Ｐ_Ｓ［１，２］、Ｐ_Ｓ［３，２］、Ｐ_Ｓ［１，４］及びＰ_Ｓ［３，４］の受光画素信号を足し合わせて得た加算信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上の画素位置［１，２］における画素信号（Ｒ信号）となり、受光画素Ｐ_Ｓ［２，２］、Ｐ_Ｓ［４，２］、Ｐ_Ｓ［２，４］及びＰ_Ｓ［４，４］の受光画素信号を足し合わせて得た加算信号をＡＦＥ１２にて増幅及びデジタル化したものが、原画像上の画素位置［２，２］における画素信号（Ｇ信号）となる。

このような加算読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ］に配置される画素の画素信号はＲ信号となり、原画像上の画素位置［２ｎ_Ａ，２ｎ_Ｂ−１］に配置される画素の画素信号はＢ信号となり、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ−１］又は［２ｎ_Ａ，２ｎ_Ｂ］に配置される画素の画素信号はＧ信号となる。

・間引き読み出し方式
間引き読み出し方式について説明する。間引き読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、幾つかの受光画素信号が間引かれる。即ち、撮像素子３３の有効画素領域内の全受光画素の内、一部の受光画素についての受光画素信号のみが撮像素子３３からＡＦＥ１２を介して映像信号処理部１３に与えられ、映像信号処理部１３に与えられた１つの受光画素信号によって、原画像上の１つの画素の画素信号が形成される。

受光画素信号の間引きの方法には様々な方法が存在するが、一例として、図７に、間引き読み出し方式を用いた原画像の取得の様子を示す。この例では、撮像素子３３の有効画素領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は４×４受光画素から形成される。１つの小受光画素領域から４つの受光画素信号のみが原画像上の画素の画素信号として読み出される。

例えば、受光画素Ｐ_Ｓ［１，１］〜Ｐ_Ｓ［４，４］から成る小受光画素領域に着目した場合、受光画素Ｐ_Ｓ［２，２］、Ｐ_Ｓ［３，２］、Ｐ_Ｓ［２，３］及びＰ_Ｓ［３，３］の受光画素信号をＡＦＥ１２にて増幅及びデジタル化したものが、夫々、原画像上の画素位置［１，１］、［２，１］、［１，２］及び［２，２］における画素信号となる。原画像上の画素位置［１，１］、［２，１］、［１，２］及び［２，２］における画素信号は、夫々、Ｇ信号、Ｒ信号、Ｂ信号及びＧ信号である。

このような間引き読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ］に配置される画素の画素信号はＢ信号となり、原画像上の画素位置［２ｎ_Ａ，２ｎ_Ｂ−１］に配置される画素の画素信号はＲ信号となり、原画像上の画素位置［２ｎ_Ａ−１，２ｎ_Ｂ−１］又は［２ｎ_Ａ，２ｎ_Ｂ］に配置される画素の画素信号はＧ信号となる。

以下、全画素読み出し方式、加算読み出し方式及び間引き読み出し方式による信号読み出しを、夫々、全画素読み出し、加算読み出し及び間引き読み出しと呼ぶ。全画素読み出し方式、加算読み出し方式及び間引き読み出し方式を、総称して駆動方式と呼ぶ。また、以下の説明において、単に加算読み出し方式又は加算読み出しと言った場合、それは図６を参照して説明した上記の加算読み出し方式又は加算読み出しを指し、単に間引き読み出し方式又は間引き読み出しと言った場合、それは図７を参照して説明した上記の間引き読み出し方式又は間引き読み出しを指すものとする。

全画素読み出しによって取得した原画像と、加算読み出し又は間引き読み出しによって取得した原画像は、同一の画角を有している。即ち、両原画像の撮影期間中において撮像装置１及び被写体が静止しているとすれば、両原画像は、同一の被写体の像を表している。

但し、全画素読み出しによって取得した原画像の画像サイズは（Ｍ×Ｎ）である一方で、加算読み出し又は間引き読み出しによって取得した原画像の画像サイズは（Ｍ／２×Ｎ／２）である。即ち、全画素読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれＭ及びＮである一方で、加算読み出し又は間引き読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれＭ／２及びＮ／２である。

何れの読み出し方式を利用した場合も、原画像上において、Ｒ信号はモザイク状に配置されている。Ｂ及びＧ信号についても同様である。図１の映像信号処理部１３は、このような原画像に対してデモザイキング処理と呼ばれる色補間処理を施すことにより原画像から色補間画像を生成することが可能である。色補間画像では、１つの画素位置に対して、Ｒ、Ｇ及びＢ信号が全て存在する、或いは、輝度信号Ｙ及び色差信号Ｕ及びＶが全て存在する。

撮像装置１は、シャッタボタン２６ｂの押下操作に伴う静止画像の撮影時には、全画素読み出しにて原画像を生成することができる。録画ボタン２６ａの押下操作に伴う動画像の撮影時においても全画素読み出しにて原画像列を生成することができるが、撮像装置１は、動画像の撮影時において、加算読み出し又は間引き読み出しを切り替えつつ原画像列を生成する特徴的機能を備える。以下の説明は、特に記述なき限り、該特徴的機能が実現される場合における撮像装置１の動作説明である。

図８に、この特徴的機能を主として担う部位のブロック図を示す。主制御部５１を、ＴＧ２２及びＣＰＵ２３によって、或いは、映像信号処理部１３、ＴＧ２２及びＣＰＵ２３によって実現することができる。フレームメモリ５２を、内部メモリ１７に設けておくことができる。位置ずれ検出部５３、解像度向上処理部５４、ノイズ低減処理部５５及び加重加算部５６を、映像信号処理部１３に設けておくことができる。

主制御部５１は、主制御情報に基づいて、撮像素子３３の駆動方式の制御、ＡＦＥ１２における信号増幅の増幅率の制御を行う（主制御情報については後述）。主制御部５１の制御に従い、加算読み出し方式及び間引き読み出し方式の何れかにて撮像素子３３から信号が読み出される。ＡＦＥ１２は、主制御部５１の制御に従った増幅率ｇａにて撮像素子３３の出力信号を増幅し、増幅後の信号をデジタル信号に変換する。尚、主制御部５１は、主制御情報に基づいて重み係数ｋ_Ｗの設定も行うが、その設定方法は後述される。

フレームメモリ５２は、ＡＦＥ１２の出力信号に基づく入力画像の画像データを必要枚数分だけ一時記憶する。ここで、入力画像とは、上述した原画像又は色補間画像である。フレームメモリ５２に記憶された画像データは、適宜、解像度向上処理部５４及びノイズ低減処理部５５に送られる。撮影によって得られた動画像に、図９に示されるような入力画像ＩＮ_１、ＩＮ_２、ＩＮ_３、・・・が含まれているものとする。ＩＮ_ｉは、時刻ｔ_ｉの撮影によって得られた１枚の入力画像を指す（ｉは整数）。時刻ｔ_ｉ＋１は時刻ｔ_ｉよりも後に訪れる時刻であり、時刻ｔ_ｉ及び時刻ｔ_ｉ＋１間の時間長さは、フレーム周期と一致する。従って、入力画像ＩＮ_ｉ＋１は入力画像ＩＮ_ｉの次に取得される入力画像である。

位置ずれ検出部５３は、入力画像ＩＮ_ｉ及びＩＮ_ｉ＋１の画像データに基づいて、入力画像ＩＮ_ｉ及びＩＮ_ｉ＋１間の位置ずれ量を算出し、位置ずれ量を表す位置ずれ情報を生成する。位置ずれ量は、水平及び垂直成分を有する二次元量である。但し、位置ずれ検出部５３にて算出される位置ずれ量は、画像の回転や拡大又は縮小等を更に含んだ幾何変換パラメータであっても良い。入力画像ＩＮ_ｉを基準にして考えると、入力画像ＩＮ_ｉ＋１は、入力画像ＩＮ_ｉを入力画像ＩＮ_ｉ及びＩＮ_ｉ＋１の位置ずれ量だけ位置ずれさせた画像であるとみなすことができる。位置ずれ量の導出に当たり、代表点マッチング法、ブロックマッチング法、勾配法などを利用した位置ずれ量推定アルゴリズムを用いることができる。ここで求められる位置ずれ量は、入力画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、入力画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。

解像度向上処理部５４は、位置ずれ情報に基づいて時間的に連続する複数枚の入力画像を合成することにより、撮像素子３３の標本化によって生じる折り返し歪みを低減し、これによって入力画像の解像度を向上させる。撮像素子３３では受光画素を用いてアナログ画像信号の標本化が行われるが、この標本化によって折り返し歪みが発生し、該折り返し歪みが各入力画像に混入する。解像度向上処理部５４は、位置ずれ情報を用いた解像度向上処理によって、時間的に連続する複数枚の入力画像から折り返し歪みが低減された画像に相当する１枚の解像度向上画像を生成する。

解像度向上処理では、最新の入力画像を基準にして、最新の入力画像とそれ以前の１又は数フレーム分の入力画像を合成する。１枚の解像度向上画像を生成するために利用される入力画像の枚数は２以上であれば何枚でも良いが、説明の具体化上、原則として３枚の入力画像から１枚の解像度向上画像が生成されることを想定する。この場合、図１０に示す如く、解像度向上処理では、入力画像ＩＮ_ｉ−２及びＩＮ_ｉ−１間の位置ずれ量及び入力画像ＩＮ_ｉ−１及びＩＮ_ｉ間の位置ずれ量に基づき、入力画像ＩＮ_ｉ−２〜ＩＮ_ｉを合成することにより、入力画像ＩＮ_ｉ−２〜ＩＮ_ｉよりも高い解像度を有する解像度向上画像２１０を生成する。解像度向上画像２１０にて表現される最大空間周波数は、入力画像ＩＮ_ｉ−２〜ＩＮ_ｉのそれよりも大きい。入力画像ＩＮ_ｉ−２〜ＩＮ_ｉに基づく解像度向上画像を、時刻ｔ_ｉの解像度向上画像と呼ぶ。上記解像度向上処理の方法として、公知の方法を含む任意の方法を利用可能である。尚、この種の解像度向上処理は、超解像処理とも呼ばれる。

ノイズ低減処理部５５は、位置ずれ情報に基づいて、入力画像を含む複数枚の画像を合成することにより各入力画像に含まれるノイズを低減する。ここで低減されるノイズは、主として、入力画像ごとにランダムに発生するノイズ（所謂ランダムノイズ）である。ノイズ低減処理部５５にて実行される、ノイズを低減するための画像処理を、ノイズ低減処理と呼び、ノイズ低減処理によって得られる画像をノイズ低減画像と呼ぶ。

ノイズ低減処理では、最新の入力画像を基準にして、最新の入力画像とそれ以前の１又は数フレーム分の入力画像（或いはノイズ低減画像）を合成する。ノイズ低減処理として、三次元ノイズ低減処理とも呼ばれる巡回型ノイズ低減処理を利用することができる。巡回型ノイズ低減処理では、入力画像ＩＮ_ｉが最新の入力画像として得られたとき、時刻ｔ_ｉ−１及び時刻ｔ_ｉ−１以前の入力画像に基づくノイズ低減画像（時刻ｔ_ｉ−１のノイズ低減画像という）と、入力画像ＩＮ_ｉと、が合成されることで時刻ｔ_ｉのノイズ低減画像が生成される。この生成に際し、合成される各画像間の位置ずれ量が利用される。巡回型ノイズ低減処理を用いる場合、ノイズ低減処理部５５から出力されるノイズ低減画像の画像データは、フレームメモリ５２を介してノイズ低減処理部５５に再入力される。時刻ｔ_ｉのノイズ低減画像は、ノイズ低減後の時刻ｔ_ｉの入力画像に相当する。

ノイズ低減処理部５５におけるノイズ低減処理として、ＦＩＲ型ノイズ低減処理を利用することもできる。ＦＩＲ型ノイズ低減処理では、入力画像ＩＮ_ｉが最新の入力画像として得られたとき、例えば、入力画像ＩＮ_ｉ−２及びＩＮ_ｉ−１間の位置ずれ量及び入力画像ＩＮ_ｉ−１及びＩＮ_ｉ間の位置ずれ量に基づき入力画像ＩＮ_ｉ−２〜ＩＮ_ｉを合成することで（即ち、入力画像ＩＮ_ｉ−２〜ＩＮ_ｉ間の位置ずれが打ち消されるように入力画像ＩＮ_ｉ−２〜ＩＮ_ｉを位置合わせしつつ入力画像ＩＮ_ｉ−２〜ＩＮ_ｉの対応画素信号を重み付け加算することで）時刻ｔ_ｉのノイズ低減画像を生成する。尚、ＦＩＲ型ノイズ低減処理を用いる場合、ノイズ低減処理部５５の出力データをフレームメモリ５２に送る必要はない。

解像度向上処理及びノイズ低減処理の何れにおいても、動きが有ると判断される画像領域に対しては、多重像発生防止のため、最新の入力画像の画像データがそのまま最新の解像度向上画像及び最新のノイズ低減画像に含められる。動きが有ると判断される画像領域には動物体領域が含まれる。動物体領域とは、入力画像列から形成される動画像上で移動する動物体の画像データが存在する画像領域を指す。

加重加算部５６は、主制御部５１から送られてくる重み係数ｋ_Ｗに従って、解像度向上画像とノイズ低減画像を合成することにより出力画像を生成する。時刻ｔ_ｉの解像度向上画像に対しては、時刻ｔ_ｉのノイズ低減画像が合成される。時刻ｔ_ｉの解像度向上画像及びノイズ低減画像に基づく出力画像を時刻ｔ_ｉの出力画像と呼ぶ。

時刻ｔ_ｉの解像度向上画像上の画素位置［ｘ，ｙ］における画素信号、時刻ｔ_ｉのノイズ低減画像上の画素位置［ｘ，ｙ］における画素信号及び時刻ｔ_ｉの出力画像上の画素位置［ｘ，ｙ］における画素信号を、夫々、Ｖ_Ａ［ｘ，ｙ］、Ｖ_Ｂ［ｘ，ｙ］及びＶ_ＯＵＴ［ｘ，ｙ］にて表した場合、次式に従ってＶ_ＯＵＴ［ｘ，ｙ］が求められる。
Ｖ_ＯＵＴ［ｘ，ｙ］＝ｋ_Ｗ×Ｖ_Ａ［ｘ，ｙ］＋（１−ｋ_Ｗ）×Ｖ_Ｂ［ｘ，ｙ］

出力画像列の画像データを、録画ボタン２６ａの押下操作に従って得られた動画像の画像データとして外部メモリ１８に記録することができる。但し、入力画像列の画像データ、解像度向上画像列の画像データ及び／又はノイズ低減画像列の画像データを、外部メモリ１８に記録することも可能である。

以下、主制御情報に基づく駆動方式の制御動作等の詳細を、第１〜第１０実施例の中で説明する。矛盾が生じない限り、第１〜第１０実施例の内、複数の実施例を組み合わせて実施することも可能であり、或る実施例に記載した事項を他の実施例に適用することも可能である。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例において、図８の主制御部５１に与えられる主制御情報は、撮影の感度に応じた感度情報（換言すれば、撮像装置１の感度に応じた感度情報）である。感度情報によって撮像装置全体の信号増幅率ｇ_{ＴＯＴＡＬ}が規定される（感度情報は信号増幅率ｇ_{ＴＯＴＡＬ}そのものである、と考えても良い）。或る基準状態から見て、撮影の感度がｋ_１倍になれば信号増幅率ｇ_{ＴＯＴＡＬ}もｋ_１倍になり、信号増幅率ｇ_{ＴＯＴＡＬ}がｋ_１倍になれば撮影の感度もｋ_１倍になる（ｋ_１は任意の正の数）。

撮像装置全体の信号増幅率ｇ_{ＴＯＴＡＬ}とは、信号処理の段階にて画素信号を増幅する時の増幅率と、撮像素子３３の駆動方式に依存する増幅率ｇｏとの積である。前者の増幅率はＡＦＥ１２における信号の増幅率ｇａである。後者の増幅率ｇｏは、間引き読み出し方式を基準として定められる。即ち、間引き読み出しの実行時における増幅率ｇｏは１である。或る一定条件下において、加算読み出しの実行時におけるＡＦＥ１２の入力信号レベルが間引き読み出しの実行時におけるそれのｋ_２倍である時、加算読み出しの実行時における増幅率ｇｏはｋ_２である（ｋ_２＞１）。図６に対応する加算読み出しが行われる場合には、４つの受光画素信号が足し合わされるため、加算読み出しの実行時における増幅率ｇｏは４である。即ち、間引き読み出しの実行時におけるＡＦＥ１２の入力信号に比べて加算読み出しの実行時におけるＡＦＥ１２の入力信号の方が、感度が４倍高いと言える。勿論、増幅率ｇｏについての数値「４」は、第１実施例を含む本実施形態で想定した具体的数値例に過ぎず、撮像素子３３の特性や加算読み出しの加算方法に依存して、その数値は４以外となりうる。

上述の説明から明らかなように、撮像装置全体の信号増幅率ｇ_{ＴＯＴＡＬ}は、
「ｇ_{ＴＯＴＡＬ}＝ｇａ×ｇｏ」
によって表される。

信号増幅率ｇ_{ＴＯＴＡＬ}は、基本的に、入力画像の画像データに基づくＡＥ評価値から決定される。ＡＥ評価値は、ＣＰＵ２３又は映像信号処理部１３に内在するＡＥ制御部（不図示）によって、入力画像ごとに算出される。注目入力画像のＡＥ評価値は、注目入力画像内に設定されたＡＥ評価領域内の画像の平均輝度である。注目入力画像についてのＡＥ評価領域は、注目入力画像の全体画像領域であっても良いし、その一部であっても良い。ＡＥ制御部は、入力画像ごとに算出されるＡＥ評価値に基づき、各入力画像の明るさが所望の明るさに保たれるように信号増幅率ｇ_{ＴＯＴＡＬ}を決定する。

例えば、時刻ｔ_ｉの入力画像についてのＡＥ評価値がＡＥ_ｉであると共に所望の明るさを実現するために設定された基準ＡＥ評価値がＡＥ_ＲＥＦである場合において、「ＡＥ_ＲＥＦ＝ＡＥ_ｉ×２」である時、時刻ｔ_ｉ＋ｊの入力画像の取得時における信号増幅率ｇ_{ＴＯＴＡＬ}が時刻ｔ_ｉの入力画像の取得時におけるそれの２倍になるように、ＡＥ制御部（又は主制御部５１）は時刻ｔ_ｉ以降の入力画像の取得時における信号増幅率ｇ_{ＴＯＴＡＬ}を設定する。ｊは通常は２以上であって、信号増幅率ｇ_{ＴＯＴＡＬ}は数フレームに亘り目標値に向かって徐々に変化せしめられるが、ｊは１であっても良い。逆に、「ＡＥ_ＲＥＦ＝ＡＥ_ｉ／２」であるならば、時刻ｔ_ｉ＋ｊの入力画像の取得時における信号増幅率ｇ_{ＴＯＴＡＬ}が時刻ｔ_ｉの入力画像の取得時におけるそれの１／２倍になるように、ＡＥ制御部（又は主制御部５１）は時刻ｔ_ｉ以降の入力画像の取得時における信号増幅率ｇ_{ＴＯＴＡＬ}を設定する。

尚、信号増幅率ｇ_{ＴＯＴＡＬ}を、ユーザの指示に従って決定するようにしても良い。信号増幅率ｇ_{ＴＯＴＡＬ}を指定するユーザ指示があった場合には、ＡＥ評価値に関係なく、ユーザ指示に従い信号増幅率ｇ_{ＴＯＴＡＬ}が決定される。例えば、ユーザは操作部２６を用いて信号増幅率ｇ_{ＴＯＴＡＬ}を直接指定することができる。また例えば、ユーザは操作部２６を用いてＩＳＯ感度を指定することで信号増幅率ｇ_{ＴＯＴＡＬ}を指定することもできる。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を指し、ユーザはＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）、ひいては出力画像の明るさを調節することができる。ＩＳＯ感度が定まれば信号増幅率ｇ_{ＴＯＴＡＬ}は一意に定まり、或る状態を起点としてＩＳＯ感度が２倍になれば信号増幅率ｇ_{ＴＯＴＡＬ}も２倍になる。

図１１（ａ）に、各種増幅率ｇ_{ＴＯＴＡＬ}、ｇａ及びｇｏと駆動方式との関係を示し、図１１（ｂ）に、信号増幅率ｇ_{ＴＯＴＡＬ}と重み係数ｋ_Ｗとの関係を示す。基本的に、被写体の明るさが高ければ撮影感度が低く設定されて信号増幅率ｇ_{ＴＯＴＡＬ}は低くなり、被写体の明るさが低ければ撮影感度が高く設定されて信号増幅率ｇ_{ＴＯＴＡＬ}は高くなる。

図１１（ａ）に示す如く、第１実施例では、加算読み出し実行時における増幅率ｇｏが４であることに基づき、ｇ_{ＴＯＴＡＬ}が４未満である時、間引き読み出しにて入力画像の生成を行い、ｇ_{ＴＯＴＡＬ}が４以上である時、加算読み出しにて入力画像の生成を行う。また、図１１（ｂ）に示す如く、第１不等式「ｇ_{ＴＯＴＡＬ}＜ＴＨ１」の成立時には重み係数ｋ_Ｗは１に設定され、第２不等式「ＴＨ１≦ｇ_{ＴＯＴＡＬ}＜ＴＨ２」の成立時にはｇ_{ＴＯＴＡＬ}がＴＨ１からＴＨ２に向かって増大するにつれて重み係数ｋ_Ｗは１から０に向かって線形的に（又は非線形的に）減少せしめられ、第３不等式「ＴＨ２≦ｇ_{ＴＯＴＡＬ}」の成立時には重み係数ｋ_Ｗは０に設定される。

このため、第１不等式「ｇ_{ＴＯＴＡＬ}＜ＴＨ１」の成立時には、出力画像に対してノイズ低減画像は全く寄与せず解像度向上画像そのものが出力画像となり、第３不等式「ＴＨ２≦ｇ_{ＴＯＴＡＬ}」の成立時には、出力画像に対して解像度向上画像は全く寄与せずノイズ低減画像そのものが出力画像となる。第２不等式「ＴＨ１≦ｇ_{ＴＯＴＡＬ}＜ＴＨ２」の成立時には、解像度向上画像及びノイズ低減画像が出力画像の生成に寄与するが、第２不等式「ＴＨ１≦ｇ_{ＴＯＴＡＬ}＜ＴＨ２」が満たされる範囲内において、ｇ_{ＴＯＴＡＬ}がＴＨ１に近いほど出力画像に対する解像度向上画像の寄与度合いがノイズ低減画像よりも相対的に強くなり、ｇ_{ＴＯＴＡＬ}がＴＨ２に近いほど出力画像に対するノイズ低減画像の寄与度合いが解像度向上画像よりも相対的に強くなる。尚、重み係数ｋ_Ｗが１の場合においても、出力画像に対する解像度向上画像の寄与度合い（即ち１００％）がノイズ低減画像の寄与度合い（即ち０％）よりも相対的に強い、と言えるし、重み係数ｋ_Ｗが０の場合においても、出力画像に対するノイズ低減画像の寄与度合い（即ち１００％）が解像度向上画像の寄与度合い（即ち０％）よりも相対的に強い、と言える。

ＴＨ１及びＴＨ２は、不等式「４≦ＴＨ１＜ＴＨ２」を満たす所定の閾値である。従って、間引き読み出しにて撮像素子３３が駆動される時においては、ｋ_Ｗ＝１とされる。間引き読み出しの実行時においてｇａが４になるまでｋ_Ｗ＝１とされることに対応して、加算読み出しの実行時においてもｇａが４になるまでｋ_Ｗ＝１とするべく、閾値ＴＨ１は１６に設定される。勿論、閾値ＴＨ１を１６以外に設定することも可能である（例えばＴＨ１は４でも良い）。

上述したように、間引き読み出し方式により得た画像データには折り返し歪みが多く発生するが、複数枚画像に基づく解像度向上処理の効果は、間引き読み出しの実行時の方が加算読み出し方式の実行時よりも大きい。しかし、低照度等に起因して信号増幅率ｇ_{ＴＯＴＡＬ}が高い場合に間引き読み出しを行うとノイズがかなり大きくなるため、そのような場合には、加算読み出しによってＳＮ比（信号対雑音比）の低減を図った方が、動画像の全体画質の向上にとって有益である。これを考慮し、第１実施例では、高照度等に起因して信号増幅率ｇ_{ＴＯＴＡＬ}が低い場合には間引き読み出しを行うと共に解像度向上処理を出力画像に強く寄与させる一方、低照度等に起因して信号増幅率ｇ_{ＴＯＴＡＬ}が高い場合には加算読み出しを行うと共にノイズ低減処理を出力画像に強く寄与させる。これにより、解像度向上とノイズ低減の効果がバランス良く両立した出力画像列を生成することが可能となる。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例において、図８の主制御部５１に与えられる主制御情報は、撮像装置１の被写体の明るさに応じた明るさ情報である。撮像装置１の被写体の明るさを、撮像装置１の被写体を照らす照度と読み替えることもできる。

上記明るさ情報によって明るさ制御値Ｂ_ＣＯＮＴが規定される。明るさ制御値Ｂ_ＣＯＮＴと、ＡＦＥ１２における増幅率ｇａ及び撮像素子３３の駆動方式に依存する増幅率ｇｏとの関係は、
「Ｂ_ＣＯＮＴ＝ｇａ×ｇｏ」
によって表される。

明るさ制御値Ｂ_ＣＯＮＴは、上述のＡＥ評価値から決定することができる。時刻ｔ_ｉの入力画像についてのＡＥ評価値を積「ｇａ×ｇｏ」にて割って得た商は、時刻ｔ_ｉにおける被写体の明るさが増大するにつれて増大し、時刻ｔ_ｉにおける被写体の明るさが減少するにつれて減少する。

便宜上、被写体の明るさが増大するにつれて明るさ制御値Ｂ_ＣＯＮＴが減少するように、明るさ制御値Ｂ_ＣＯＮＴは決定されるものとする。例えば、上記商の逆数そのもの又は該逆数に依存する値を明るさ制御値Ｂ_ＣＯＮＴとして用いることができる。更に、明るさ制御値Ｂ_ＣＯＮＴの取り得る値の最小値が１となるように正規化を行う。そうすると、Ｂ_ＣＯＮＴ、ｇａ及びｇｏと駆動方式との関係は図１２（ａ）のようになり、Ｂ_ＣＯＮＴとｋ_Ｗとの関係は図１２（ｂ）のようになる。即ち、Ｂ_ＣＯＮＴ、ｇａ及びｇｏと駆動方式との関係並びにＢ_ＣＯＮＴとｋ_Ｗとの関係は、図１１（ａ）及び（ｂ）を参照して上述したｇ_{ＴＯＴＡＬ}、ｇａ及びｇｏと駆動方式との関係並びにｇ_{ＴＯＴＡＬ}とｋ_Ｗとの関係と同じとなる。

第１実施例の記載を第２実施例に適用する場合、第１実施例における信号増幅率ｇ_{ＴＯＴＡＬ}を明るさ制御値Ｂ_ＣＯＮＴに読み替えれば足る。つまり、第２実施例では、被写体の明るさが比較的高いことに起因してＢ_ＣＯＮＴが４未満である時、間引き読み出しにて入力画像の生成が行われ、被写体の明るさが比較的低いことに起因してＢ_ＣＯＮＴが４以上である時、加算読み出しにて入力画像の生成が行われる。また、第１不等式「Ｂ_ＣＯＮＴ＜ＴＨ１」の成立時には重み係数ｋ_Ｗは１に設定され、第２不等式「ＴＨ１≦Ｂ_ＣＯＮＴ＜ＴＨ２」の成立時にはＢ_ＣＯＮＴがＴＨ１からＴＨ２に向かって増大するにつれて重み係数ｋ_Ｗは１から０に向かって線形的に（又は非線形的に）減少せしめられ、第３不等式「ＴＨ２≦Ｂ_ＣＯＮＴ」の成立時には重み係数ｋ_Ｗは０に設定される。

このため、第１不等式「Ｂ_ＣＯＮＴ＜ＴＨ１」の成立時には、出力画像に対してノイズ低減画像は全く寄与せず解像度向上画像そのものが出力画像となり、第３不等式「ＴＨ２≦Ｂ_ＣＯＮＴ」の成立時には、出力画像に対して解像度向上画像は全く寄与せずノイズ低減画像そのものが出力画像となる。第２不等式「ＴＨ１≦Ｂ_ＣＯＮＴ＜ＴＨ２」の成立時には、解像度向上画像及びノイズ低減画像が出力画像の生成に寄与するが、第２不等式「ＴＨ１≦Ｂ_ＣＯＮＴ＜ＴＨ２」が満たされる範囲内において、Ｂ_ＣＯＮＴがＴＨ１に近いほど出力画像に対する解像度向上画像の寄与度合いがノイズ低減画像よりも相対的に強くなり、Ｂ_ＣＯＮＴがＴＨ２に近いほど出力画像に対するノイズ低減画像の寄与度合いが解像度向上画像よりも相対的に強くなる。

また、被写体の明るさを測定する測光センサ（不図示）が撮像装置１に設けられている場合には、測光センサの出力信号に基づく値を明るさ評価値Ｂ_ＣＯＮＴとして用いるようにしてもよい。測光センサは、単位時間当たりの撮像素子３３への入射光量を検出することによって被写体の明るさを測定し、その測定結果を表す信号を出力する。測光センサの出力信号から明るさ評価値Ｂ_ＣＯＮＴを決定する場合においても、上述したように、被写体の明るさが増大するにつれて明るさ制御値Ｂ_ＣＯＮＴが減少するように明るさ制御値Ｂ_ＣＯＮＴは決定され、且つ、明るさ制御値Ｂ_ＣＯＮＴの取り得る値の最小値が１となるように正規化が行われる。

第２実施例においても、高照度等に起因して明るさ制御値Ｂ_ＣＯＮＴが低い場合には間引き読み出しを行うと共に解像度向上処理を出力画像に強く寄与させる一方、低照度等に起因して明るさ制御値Ｂ_ＣＯＮＴが高い場合には加算読み出しを行うと共にノイズ低減処理を出力画像に強く寄与させる。これにより、第１実施例と同様、解像度向上とノイズ低減の効果がバランス良く両立した出力画像列を生成することが可能となる。

尚、「被写体の明るさが増大するにつれて明るさ制御値Ｂ_ＣＯＮＴが減少する」という明るさ制御値Ｂ_ＣＯＮＴの設定方法は、第１実施例との整合を考慮した一例に過ぎず、増減関係を逆にすることも可能である。

＜＜第３実施例＞＞
第３実施例を説明する。上述の第１又は第２実施例では、或る一定の撮影感度を境に又は被写体に関する或る一定の明るさを境に、撮像素子３３の駆動方式が間引き読み出し方式及び加算読み出し方式間で単純に切り替えられているが、それらの境界付近において、間引き読み出し方式及び加算読み出し方式を時分割で併用するようにしても良い。第３実施例では、この併用を実現する。第３実施例において特に述べられない事項に関しては、第１又は第２実施例の記載が第３実施例にも適用される。

説明の具体化のため、主制御情報として、第１実施例に係る感度情報が用いられる場合の動作を説明する。図１３は、第３実施例に係る、ｇ_{ＴＯＴＡＬ}と駆動方式との関係を示している。

図１３に示す如く、ｇ_{ＴＯＴＡＬ}が４未満である時、間引き読み出しにて入力画像の生成が行われ、ｇ_{ＴＯＴＡＬ}が所定の閾値ｇ_ＴＨ以上である時、加算読み出しにて入力画像の生成が行われ、ｇ_{ＴＯＴＡＬ}が不等式「４≦ｇ_{ＴＯＴＡＬ}＜ｇ_ＴＨ」を満たす時、併用読み出しにて入力画像の生成が行われる。ｇ_ＴＨは４より大きな所定の閾値である。第１実施例では特に意識して述べなかったが、或る区間においてｇ_{ＴＯＴＡＬ}が４未満に維持されている時、その区間中で撮影される各入力画像は全て間引き読み出しにて生成される。同様に、或る区間においてｇ_{ＴＯＴＡＬ}がｇ_ＴＨ以上に維持されている時、その区間中で撮影される各入力画像は全て加算読み出しにて生成される。

併用読み出しとは、間引き読み出しと加算読み出しとを混合した状態で行う読み出しである。但し、ここにおける混合とは、１枚の入力画像の生成に際して間引き読み出しと加算読み出しを同時に（或いは組み合わせて）行うという意味ではなく、間引き読み出しと加算読み出しを時分割で行うという意味である。例えば、併用読み出しでは、間引き読み出しと加算読み出しを交互に行う。

図１４は、撮像素子３３の駆動方式が変化する様子のイメージ図である。図１４の横軸は、ｇ_{ＴＯＴＡＬ}である。今、ｇ_{ＴＯＴＡＬ}が時間の経過と共に１を起点として増加していく状態を想定する（ｇ_{ＴＯＴＡＬ}が時間の経過と共に１へ向かって減少していく状態を想定しても良い）。この場合、図１４の横軸は時間軸でもある。図１４に示す如く、「ｇ_{ＴＯＴＡＬ}＜４」を満たす第１区間では間引き読み出しが連続的に行われ、間引き読み出しに基づく入力画像列が得られる。「４≦ｇ_{ＴＯＴＡＬ}＜ｇ_ＴＨ」を満たす第２区間では併用読み出しが行われる。図１４に示す例では、第２区間において間引き読み出しと加算読み出しが交互に行われ、結果、間引き読み出しに基づく入力画像と加算読み出しに基づく入力画像が交互に得られる。「ｇ_ＴＨ≦ｇ_{ＴＯＴＡＬ}」を満たす第３区間では加算読み出しが連続的に行われ、加算読み出しに基づく入力画像列が得られる。

第１実施例にて述べたように、ｇ_{ＴＯＴＡＬ}は、「ｇ_{ＴＯＴＡＬ}＝ｇａ×ｇｏ」を満たす。一方、駆動方式に依存する増幅率ｇｏは、間引き読み出しの実行時において１であり、加算読み出しの実行時において４である。従って、併用読み出しが行われる第２区間では、ｇｏが１と４との間で変化し、これに伴ってＡＦＥ１２の増幅率ｇａは非連続に増減する。

第１実施例に係る感度情報が用いられる場合の動作を説明したが、第２実施例に係る明るさ情報が用いられる場合の動作も同様である。即ち、第３実施例にて上述した説明文中のｇ_{ＴＯＴＡＬ}をＢ_ＣＯＮＴに読み替えるようにしても良い。

尚、上述の説明では、併用読み出しが行われる第２区間において間引き読み出しと加算読み出しを交互に行っている、即ち、間引き読み出しと加算読み出しを１：１の比率で行っているが、その比率は１：１でなくても良い。例えば、その比率を２：１にした場合、第２区間において、間引き読み出しによる入力画像の取得を２回連続して行った後に加算読み出しによる入力画像の取得を１回行うという動作が繰り返し実行され、その比率を１：２にした場合、第２区間において、間引き読み出しによる入力画像の取得を１回行った後に加算読み出しによる入力画像の取得を２回連続して行うという動作が繰り返し実行される。上記比率をｇ_{ＴＯＴＡＬ}又はＢ_ＣＯＮＴに応じて変化させるようにしても良い。例えば、第２区間において、ｇ_{ＴＯＴＡＬ}又はＢ_ＣＯＮＴが増大するにつれて、上記比率を、２：１から１：１を介して１：２へと変化させても良い。

間引き読み出しにて得られた画像と加算読み出しにて得られた画像との間には、画質の違いが生じうる。上述のような併用読み出しを用いることにより、間引き読み出しの連続駆動と加算読み出しの連続駆動との切り替えの際に発生しうる、画質の急激な変化が軽減される。

＜＜第４実施例＞＞
第４実施例を説明する。合成の対象となる入力画像が、間引き読み出しに基づく入力画像のみを含むのか、或いは、加算読み出しに基づく入力画像のみを含むのか、或いは、それらが混在しているのか、を考慮することなく解像度向上処理及びノイズ低減処理を行うことも可能ではある。即ち例えば、合成の対象となる３枚の入力画像ＩＮ_ｉ−２〜ＩＮ_ｉの内、２枚が間引き読み出しに基づく入力画像であって且つ残りの１枚が加算読み出しに基づく入力画像であったとしても、それらが全て間引き読み出しに基づく入力画像である場合と同様の解像度向上処理及びノイズ低減処理を行うようにしても良い。但し、この方法によると、駆動方式の切り替え部分において、画質の変化が目立つ恐れがある。第４実施例では、合成対象を工夫することによって、該画質の変化を抑制する方法を説明する。

今、図１５に示すような６枚の入力画像３０１〜３０６が連続的に得られた場合を想定した上で、第４実施例に係る解像度向上処理を説明する。入力画像３０１〜３０３は間引き読み出しによって得られた入力画像であり、入力画像３０４〜３０６は加算読み出しによって得られた入力画像である。入力画像３０１、３０２、３０３、３０４、３０５及び３０６は、夫々、時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３、ｔ_ｉ＋４、ｔ_ｉ＋５及びｔ_ｉ＋６の入力画像に相当する。

この場合、解像度向上処理部５４は、
入力画像３０１及び３０２間の位置ずれ量及び入力画像３０２及び３０３間の位置ずれ量に基づく解像度向上処理によって、合成対象画像（３０１〜３０３）内の折り返し歪みが低減されるように入力画像３０１〜３０３を合成することで合成画像３１３を生成し、
合成画像３１３及び入力画像３０４間の位置ずれ量に基づく解像度向上処理によって、合成対象画像（３１３及び３０４）内の折り返し歪みが低減されるように合成画像３１３及び入力画像３０４を合成することで合成画像３１４を生成し、
合成画像３１４及び入力画像３０５間の位置ずれ量に基づく解像度向上処理によって、合成対象画像（３１４及び３０５）内の折り返し歪みが低減されるように合成画像３１４及び入力画像３０５を合成することで合成画像３１５を生成し、
入力画像３０４及び３０５間の位置ずれ量及び入力画像３０５及び３０６間の位置ずれ量に基づく解像度向上処理によって、合成対象画像（３０４〜３０６）内の折り返し歪みが低減されるように入力画像３０４〜３０６を合成することで合成画像３１６を生成する。そして、合成画像３１３、３１４、３１５及び３１６を、夫々、時刻ｔ_ｉ＋３、ｔ_ｉ＋４、ｔ_ｉ＋５及びｔ_ｉ＋６の解像度向上画像として出力する。

尚、入力画像３０１〜３０３の合成は、最新の入力画像である入力画像３０３を基準にして行われるため、合成画像３１３及び入力画像３０４間の位置ずれ量として入力画像３０３及び３０４間の位置ずれ量を用いることができる。同様に、合成画像３１４と入力画像３０５の合成は最新の入力画像である入力画像３０５を基準にして行われるため、合成画像３１４及び入力画像３０５間の位置ずれ量として入力画像３０４及び３０５間の位置ずれ量を用いることができる。

解像度向上処理に適用される複数画像の合成方法を説明したが、同様の合成方法を、ノイズ低減処理部５５におけるノイズ低減処理に適用することができる。

第４実施例に係る合成方法によれば、駆動方式の切り替え部分において、解像度向上画像及びノイズ低減画像、ひいては出力画像の画質変化（駆動方式の切り替えに伴う画質変化）を軽減することができる。

＜＜第５実施例＞＞
第５実施例を説明する。第５実施例では、駆動方式の切り替え部分における画質変化を軽減する、他の方法を説明する。

図１５に示すような６枚の入力画像３０１〜３０６が連続的に得られた場合を想定した上で、第５実施例に係る解像度向上処理を説明する。第４実施例で述べたように、入力画像３０１〜３０３は間引き読み出しによって得られた入力画像であり、入力画像３０４〜３０６は加算読み出しによって得られた入力画像である。

３枚の入力画像に基づく解像度向上処理では、３枚の入力画像間の位置ずれ量に基づく混合比率にて３枚の入力画像の対応画素信号を混合することにより、解像度向上画像の各画素信号が生成される。例えば、合成対象画像が入力画像３０１〜３０３である場合において、入力画像３０１、３０２及び３０３間の位置ずれ量に基づき入力画像３０１、３０２及び３０３の混合比率が１：１：８であると決定された時、解像度向上画像の画素位置［ｘ，ｙ］に対応する入力画像３０１の画素信号、入力画像３０２の画素信号及び入力画像３０３の画素信号を、混合比率１：１：８にて混合することで解像度向上画像の画素位置［ｘ，ｙ］における画素信号を生成する。入力画像３０１、３０２及び３０３に基づく解像度向上画像は、時刻ｔ_ｉ＋３の解像度向上画像である。入力画像３０１、３０２及び３０３は全て間引き読み出しに基づく入力画像であるため、この例において、時刻ｔ_ｉ＋３の解像度向上画像に対する間引き読み出しの寄与率は１００％である。

更に、解像度向上処理において、入力画像３０２、３０３及び３０４間の位置ずれ量に基づき入力画像３０２、３０３及び３０４の混合比率が１：１：８であると決定された場合を考える。仮に、解像度向上画像の画素位置［ｘ，ｙ］に対応する入力画像３０２の画素信号、入力画像３０３の画素信号及び入力画像３０４の画素信号を、混合比率１：１：８にて混合したならば、時刻ｔ_ｉ＋４の解像度向上画像として生成される合成画像に対する間引き読み出しの寄与率は２０％となり加算読み出しの寄与率は８０％となる。そうすると、時刻ｔ_ｉ＋４の解像度向上画像は加算読み出しの性質を強く持つようになり、結果、駆動方式の切り替え部分において、画質の変化が急激になる恐れがある。

これを回避すべく、第５実施例では、駆動方式が間引き読み出しから加算読み出しへと変化する過程において、解像度向上画像に対する間引き読み出しの寄与率が徐々に変化するようにする（駆動方式が加算読み出しから間引き読み出しへと変化する過程においても同様）。

例えば、時刻ｔ_ｉ＋４の解像度向上画像に対する間引き読み出しの寄与率が下限値Ｌ_ＬＩＭ１未満とならないように合成処理を行うと良い。より具体的には例えば、入力画像３０２、３０３及び３０４間の位置ずれ量に基づき入力画像３０２、３０３及び３０４の混合比率が１：１：８であると決定された場合において、Ｌ_ＬＩＭ１が０．６に設定されているならば、上記混合比率を３：３：４へと修正し、解像度向上画像の画素位置［ｘ，ｙ］に対応する入力画像３０２の画素信号、入力画像３０３の画素信号及び入力画像３０４の画素信号を混合比率３：３：４にて混合することで、時刻ｔ_ｉ＋４の解像度向上画像における画素位置［ｘ，ｙ］の画素信号を生成すると良い。

同様に、時刻ｔ_ｉ＋５の解像度向上画像に対する間引き読み出しの寄与率が下限値Ｌ_ＬＩＭ２未満とならないように合成処理を行うと良い。より具体的には例えば、入力画像３０３、３０４及び３０５間の位置ずれ量に基づき入力画像３０３、３０４及び３０５の混合比率が１：５：５であると決定された場合において、Ｌ_ＬＩＭ２が０．２に設定されているならば、上記混合比率を２：４：４へと修正し、解像度向上画像の画素位置［ｘ，ｙ］に対応する入力画像３０３の画素信号、入力画像３０４の画素信号及び入力画像３０５の画素信号を混合比率２：４：４にて混合することで、時刻ｔ_ｉ＋５の解像度向上画像における画素位置［ｘ，ｙ］の画素信号を生成すると良い。

下限値Ｌ_ＬＩＭ１及びＬ_ＬＩＭ２は、０よりも大きく且つ１よりも小さい。このため、駆動方式切り替え直後の解像度向上画像（本例において、時刻ｔ_ｉ＋４及びｔ_ｉ＋５の解像度向上画像）に対する駆動方式切り替え前の入力画像（本例において、間引き読み出しに基づく入力画像）の寄与率が、一定比率以上確保される。下限値Ｌ_ＬＩＭ１及びＬ_ＬＩＭ２は同じ値であっても良いが、滑らかな比率変更を実現するため、「０＜Ｌ_ＬＩＭ２＜Ｌ_ＬＩＭ１＜１」を満たすように下限値Ｌ_ＬＩＭ１及びＬ_ＬＩＭ２を設定することが望ましい。

解像度向上処理に適用される複数画像の合成方法を説明したが、同様の合成方法を、ノイズ低減処理部５５におけるノイズ低減処理に適用することができる。

第５実施例に係る合成方法によれば、駆動方式の切り替え部分において、解像度向上画像及びノイズ低減画像、ひいては出力画像の画質変化（駆動方式の切り替えに伴う画質変化）を軽減することができる。

＜＜第６実施例＞＞
第６実施例を説明する。上述の各説明では、駆動方式の切り替え時に無効フレームが発生しないことが想定されている。無効フレームとは、駆動方式の切り替え時において、一時的に撮像素子３３から有効な受光画素信号が取得できないフレームを指す。撮像素子３３の特性に応じて、無効フレームが発生する場合と発生しない場合とがある。第６実施例では、図１６に示す如く、駆動方式の切り替え時において無効フレームが発生する場合を想定する。

図１６に示すような入力画像３３１、３３２、３３３、３３５及び３３６が連続的に得られた場合を想定した上で、第６実施例に係る解像度向上処理を説明する。入力画像３３１〜３３３は間引き読み出しによって得られた入力画像であり、入力画像３３５及び３３６は加算読み出しによって得られた入力画像である。入力画像３３１、３３２、３３３、３３５及び３３６は、夫々、時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３、ｔ_ｉ＋５及びｔ_ｉ＋６の入力画像に相当する。符号３３４は無効フレームを表している。本来、時刻ｔ_ｉ＋４における撮影によって、加算読み出しによる時刻ｔ_ｉ＋４の入力画像が得られるべきであるが、駆動方式の切り替えに一定の時間が必要なことに起因して時刻ｔ_ｉ＋４の入力画像が欠落し、無効フレーム３３４が発生している。

上述したように、解像度向上処理部５４は、原則として、時間的に連続する３枚の入力画像から１枚の解像度向上画像を生成するが、無効フレーム３３４が発生した場合においては、以下に示す第１〜第３の無効フレーム対応方法の何れかにて、時刻ｔ_ｉ＋４〜時刻ｔ_ｉ＋６の解像度向上画像を生成することができる。

第１の無効フレーム対応方法を説明する。図１７は、第１の無効フレーム対応方法のイメージ図である。第１の無効フレーム対応方法では、無効フレームを除いた比較的少数の入力画像を用いて解像度向上処理を行う。即ち、図１７に示す如く、入力画像３３２及び３３３間の位置ずれ量に基づく解像度向上処理にて入力画像３３２及び３３３を合成することにより得た合成画像を時刻ｔ_ｉ＋４の解像度向上画像として生成し、入力画像３３３及び３３５間の位置ずれ量に基づく解像度向上処理にて入力画像３３３及び３３５を合成することにより得た合成画像を時刻ｔ_ｉ＋５の解像度向上画像として生成し、入力画像３３５及び３３６間の位置ずれ量に基づく解像度向上処理にて入力画像３３５及び３３６を合成することにより得た合成画像を時刻ｔ_ｉ＋６の解像度向上画像として生成する。

第１の無効フレーム対応方法に、第５実施例に係る方法を適用することもできる。この場合、例えば、時刻ｔ_ｉ＋５の解像度向上画像に対する間引き読み出しの寄与率が所定の下限値Ｌ_ＬＩＭ３未満とならないように合成処理が行われる（０＜Ｌ_ＬＩＭ３＜１）。即ち、入力画像３３３及び３３５間の位置ずれ量に基づき入力画像３３３及び３３５の混合比率が１：４であると決定された場合において、Ｌ_ＬＩＭ３が０．５に設定されているならば、上記混合比率を１：１へと修正し、時刻ｔ_ｉ＋５の解像度向上画像の画素位置［ｘ，ｙ］に対応する入力画像３３３の画素信号及び入力画像３３５の画素信号を混合比率１：１にて混合することで、時刻ｔ_ｉ＋５の解像度向上画像における画素位置［ｘ，ｙ］の画素信号を生成するようにしても良い。

第２の無効フレーム対応方法を説明する。第２の無効フレーム対応方法では、無効フレームが解像度向上処理の基準画像として取り扱われるタイミングにおいて、直前に生成された合成画像を繰り返し出力するようにする。無効フレームが解像度向上処理の基準画像として取り扱われるタイミングとは、無効フレームが最新のフレームとなるタイミングであり、図１６又は図１７に示す例では、時刻ｔ_ｉ＋４である。従って、第２の無効フレーム対応方法では、入力画像３３１〜３３３に基づく時刻ｔ_ｉ＋３の解像度向上画像が、そのまま時刻ｔ_ｉ＋４の解像度向上画像として、再度、加重加算部５６に出力される。時刻ｔ_ｉ＋５及びｔ_ｉ＋６の解像度向上画像の生成方法は、第１の無効フレーム対応方法で述べたそれと同じとすることができる。

第３の無効フレーム対応方法を説明する。図１８は、第３の無効フレーム対応方法のイメージ図である。第３の無効フレーム対応方法では、無効フレームの前及び／又は後フレームを用いて、無効フレームに対応する入力画像を補間する。第３の無効フレーム対応方法を採用する場合、図８に示すブロック図は、図１９のブロック図に変更される。図１９のブロック図は、図８のブロック図に対してフレーム補間部５７を追加したものに等しい。フレーム補間部５７を、図１の映像信号処理部１３に設けておくことができる。フレーム補間部５７は、無効フレームの直前のフレームにおける入力画像及び／又は無効フレームの直後のフレームにおける入力画像から、無効フレームに対応する入力画像を補間によって生成する。

具体的には、時刻ｔ_ｉ＋４において無効フレーム３３４が発生した場合、フレーム補間部５７は、入力画像３３３そのもの又は入力画像３３５そのものを、補間画像３３４’として生成する。或いは、入力画像３３３及び３３５の合成画像を補間画像３３４’として生成する。補間画像３３４’は、時刻ｔ_ｉ＋４の入力画像として取り扱われた上で解像度向上処理部５４等に与えられる。

入力画像３３３及び３３５を合成することによって補間画像３３４’を生成する際、単純平均合成又は動き補償合成を利用することができる。単純平均合成では、入力画像３３３の画素信号と入力画像３３５の画素信号を単純平均することで補間画像３３４’の対応画素信号を生成する。動き補償合成では、入力画像３３３及び３３５間のオプティカルフローより無効フレーム３３４のタイミングにおける画像を推定する処理を介して、動き補償の成された画像を補間画像３３４’として入力画像３３３及び３３５から生成する。動き補償の方法は公知であるため、それの詳細な説明は割愛する。

解像度向上処理に適用される無効フレーム対応方法を説明したが、同様の方法を、ノイズ低減処理部５５におけるノイズ低減処理に適用することができる。

第６実施例によれば、無効フレームが発生するような場合においても、妥当な解像度向上画像、ノイズ低減画像及び出力画像を生成することが可能となる。

＜＜第７実施例＞＞
第７実施例を説明する。上述の説明では、１枚の出力画像を生成するに当たり１つの重み係数ｋ_Ｗを画像全体に共通して用いることを想定しているが、第７実施例では、１枚の出力画像を生成するに当たり、値の異なる複数の重み係数（以下、領域別重み係数という）を用いる。

図２０は、第７実施例に係る、撮像装置１の一部のブロック図である。図２０のブロック図は、図８のブロック図に対してエッジ判定部５８を追加したものに等しい。エッジ判定部５８を、図１の映像信号処理部１３に設けておくことができる。

エッジ判定部５８には、各時刻における入力画像の画像データが与えられる。エッジ判定部５８は、入力画像ごとに、入力画像の画像データに基づいて入力画像の全体画像領域をエッジ領域と平坦領域に切り分ける。エッジ領域とは、空間領域（spatial domain）上における濃淡変化が比較的大きな画像領域であり、平坦領域とは、該濃淡変化が比較的小さな画像領域である。エッジ領域と平坦領域の分類方法として公知の任意の方法を利用可能である。

具体的には例えば、入力画像の全体画像領域を複数の小ブロックに分割し、小ブロックごとにエッジ評価値を算出する。注目小ブロック内の各画素位置に対して微分フィルタ等のエッジ抽出フィルタを用いた空間フィルタリングを行い、注目小ブロック内の各画素位置に対するエッジ抽出フィルタの出力値の絶対値を積算し、得られた積算値を注目小ブロックについてのエッジ評価値とすることができる。そして、エッジ評価値が所定の基準評価値以上の小ブロックがエッジ領域に属するように且つエッジ評価値が該基準評価値未満の小ブロックが平坦領域に属するように各小フブロックを分類することで、入力画像の全体画像領域をエッジ領域と平坦領域に切り分けることができる。

エッジ判定部５８は、入力画像ごとに、重み係数ｋ_Ｗからエッジ領域に対する領域別重み係数ｋ_ＷＡと平坦領域に対する領域別重み係数ｋ_ＷＢを生成する。例えば、図２１の入力画像３５０の全体画像領域が、ドット領域に対応するエッジ領域３５１と斜線領域に対応する平坦領域３５２に分類された場合を考える。この際、エッジ判定部５８は、入力画像３５０に対する重み係数ｋ_Ｗから、エッジ領域３５１に対する領域別重み係数ｋ_ＷＡと平坦領域３５２に対する領域別重み係数ｋ_ＷＢを、「ｋ_ＷＡ＞ｋ_ＷＢ」となるように生成する。例えば、ｋ_ＷＡ及びｋ_ＷＢが共に０以上１以下となるという制限の下で、「ｋ_ＷＡ＝ｋ_Ｗ」且つ「ｋ_ＷＢ＝ｋ_Ｗ−Δｋ_Ｗ」となるように、或いは、「ｋ_ＷＡ＝ｋ_Ｗ＋Δｋ_Ｗ」且つ「ｋ_ＷＢ＝ｋ_Ｗ−Δｋ_Ｗ」となるようにｋ_ＷＡ及びｋ_ＷＢを決定する（ここで、Δｋ_Ｗは０以上の所定値）。

入力画像３５０が時刻ｔ_ｉの入力画像であるとする。そうすると、図２０の加重加算部５６は、時刻ｔ_ｉの出力画像を生成する際、エッジ領域３５０に対応する画像領域に対しては「Ｖ_ＯＵＴ［ｘ，ｙ］＝ｋ_ＷＡ×Ｖ_Ａ［ｘ，ｙ］＋（１−ｋ_ＷＡ）×Ｖ_Ｂ［ｘ，ｙ］」に従って出力画像の画素信号を生成し、平坦領域３５１に対応する画像領域に対しては「Ｖ_ＯＵＴ［ｘ，ｙ］＝ｋ_ＷＢ×Ｖ_Ａ［ｘ，ｙ］＋（１−ｋ_ＷＢ）×Ｖ_Ｂ［ｘ，ｙ］」に従って出力画像の画素信号を生成する。上述したように、Ｖ_Ａ［ｘ，ｙ］、Ｖ_Ｂ［ｘ，ｙ］及びＶ_ＯＵＴ［ｘ，ｙ］は、夫々、時刻ｔ_ｉの解像度向上画像上の画素位置［ｘ，ｙ］における画素信号、時刻ｔ_ｉのノイズ低減画像上の画素位置［ｘ，ｙ］における画素信号及び時刻ｔ_ｉの出力画像上の画素位置［ｘ，ｙ］における画素信号を表している。

ノイズはエッジ部分よりも平坦部分において視覚的に目立つことから、エッジ領域と比べて平坦領域に対するノイズ低減効果を強めた方が望ましい。第７実施例は、この要望に応える。

尚、エッジ領域におけるエッジ度合いに応じて（例えば、エッジ領域におけるエッジ評価値の平均値に応じて）又は平坦領域における平坦度合いに応じて（例えば、平坦領域におけるエッジ評価値の平均値に応じて）、ｋ_ＷＡ及び／又はｋ_ＷＢを変化させてもよい。

また、上述の例では、入力画像３５０の全体画像領域を２つの画像領域に分割し、分割によって得られた各画像領域に対して互いに異なる領域別重み係数を割り当てるようにしているが、入力画像３５０の全体画像領域を３つ以上の画像領域に分割し、分割によって得られた各画像領域に対して互いに異なる領域別重み係数を割り当てるようにしても良い。上記３つ以上の画像領域の１つは、人物の顔の画像データが存在する顔領域であっても良い。

また、画素単位で重み係数を設定するようにしても良い。画素単位で設定される重み係数を、便宜上、画素重み係数と呼ぶ。画素単位で重み係数を設定する場合、入力画像の画素位置ごとにエッジ量を求める。画素位置のエッジ量とは、当該画素位置を中心とした局所領域内画像の濃淡変化の強さを表す。入力画像において、注目画素位置に対して微分フィルタ等のエッジ抽出フィルタを用いた空間フィルタリングを行い、注目画素位置に対するエッジ抽出フィルタの出力値の絶対値を注目画素位置におけるエッジ量として求めることができる。

注目画素位置［ｘ，ｙ］に対するエッジ量及び画素重み係数を夫々Ｖ_ＥＤＧＥ［ｘ，ｙ］及びｋ［ｘ，ｙ］にて表すと共に、注目画素位置［ｘ，ｙ］に対して重み用ゲインｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］を定義する。重み用ゲインｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］は、不等式「ｇａｉｎ_Ｌ≦ｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］≦ｇａｉｎ_Ｈ」を満たす範囲内で、エッジ量Ｖ_ＥＤＧＥ［ｘ，ｙ］に応じて設定される。ここで、ｇａｉｎ_Ｌ＜１、且つ、ｇａｉｎ_Ｈ＞１、である。

エッジ判定部５８は、注目画素位置［ｘ，ｙ］に対するエッジ量Ｖ_ＥＤＧＥ［ｘ，ｙ］が増大するにつれて、注目画素位置［ｘ，ｙ］に対する重み用ゲインｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］をｇａｉｎ_Ｌからｇａｉｎ_Ｈに向けて増大させる。つまり、Ｖ_ＥＤＧＥ［ｘ，ｙ］が大きいほどｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］をｇａｉｎ_Ｈに近づけ、Ｖ_ＥＤＧＥ［ｘ，ｙ］が小さいほどｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］をｇａｉｎ_Ｌに近づける。そして、エッジ判定部５８は、注目画素位置［ｘ，ｙ］に対する画素重み係数ｋ［ｘ，ｙ］を、次式に従って決定する。
ｋ［ｘ，ｙ］＝ｋ_Ｗ×ｇａｉｎ_ＥＤＧＥ［ｘ，ｙ］

画素重み係数は入力画像の画素位置ごとに求められる。画素重み係数が求められた場合、加重加算部５６は、時刻ｔ_ｉの出力画像を生成する際において、画素位置ごとに値が異なり得る画素重み係数を用い、「Ｖ_ＯＵＴ［ｘ，ｙ］＝ｋ［ｘ，ｙ］×Ｖ_Ａ［ｘ，ｙ］＋（１−ｋ［ｘ，ｙ］）×Ｖ_Ｂ［ｘ，ｙ］」に従って出力画像の画素信号を生成するようにする。これにより、エッジ量が比較的大きな画素位置に対しては画素重み係数が比較的大きくなって出力画像に対する解像度向上画像の寄与度合いが相対的に強くなり、エッジ量が比較的小さな画素位置に対しては画素重み係数が比較的小さくなって出力画像に対するノイズ低減画像の寄与度合いが相対的に強くなる。

＜＜第８実施例＞＞
第８実施例を説明する。上述の各説明では、間引き読み出しにて用いられる間引きパターンが常に同じであることを想定しているが、フレーム毎に、間引きパターンを変更するようにしても良い。間引きパターンとは、受光画素信号の読み出し時に間引きの対象となる受光画素のパターンを指す。

具体的には例えば、図２２（ａ）〜（ｄ）に示す第１、第２、第３及び第４の間引きパターンを利用することができる。図２２（ａ）〜（ｄ）の夫々において、丸枠内の受光画素の画素信号が読み出され、丸枠外の受光画素が間引かれる。第１、第２、第３及び第４の間引きパターン間で、間引きの対象となる受光画素は異なる。

１６個の受光画素Ｐ_Ｓ［４ｐ＋１，４ｑ＋１］〜Ｐ_Ｓ［４ｐ＋４，４ｑ＋４］から成る小受光画素領域に着目した場合（ｐ及びｑは自然数）、
第１の間引きパターンでは、受光画素Ｐ_Ｓ［４ｐ＋１，４ｑ＋１］、Ｐ_Ｓ［４ｐ＋２，４ｑ＋１］、Ｐ_Ｓ［４ｐ＋１，４ｑ＋２］及びＰ_Ｓ［４ｐ＋２，４ｑ＋２］の画素信号のみが読み出され、
第２の間引きパターンでは、受光画素Ｐ_Ｓ［４ｐ＋３，４ｑ＋１］、Ｐ_Ｓ［４ｐ＋４，４ｑ＋１］、Ｐ_Ｓ［４ｐ＋３，４ｑ＋２］及びＰ_Ｓ［４ｐ＋４，４ｑ＋２］の画素信号のみが読み出され、
第３の間引きパターンでは、受光画素Ｐ_Ｓ［４ｐ＋１，４ｑ＋３］、Ｐ_Ｓ［４ｐ＋２，４ｑ＋３］、Ｐ_Ｓ［４ｐ＋１，４ｑ＋４］及びＰ_Ｓ［４ｐ＋２，４ｑ＋４］の画素信号のみが読み出され、
第４の間引きパターンでは、受光画素Ｐ_Ｓ［４ｐ＋３，４ｑ＋３］、Ｐ_Ｓ［４ｐ＋４，４ｑ＋３］、Ｐ_Ｓ［４ｐ＋３，４ｑ＋４］及びＰ_Ｓ［４ｐ＋４，４ｑ＋４］の画素信号のみが読み出される。

間引き読み出しを行うべき区間において、用いる間引きパターンを上記の４つの間引きパターンの間で順次変更しながら間引き読み出しを行い、間引きパターンの異なる４枚の入力画像を用いた解像度向上処理により１枚の解像度向上画像を生成することができる。例えば、間引き読み出しを行うべき区間に時刻ｔ_ｉ＋１〜ｔ_ｉ＋４が含まれている場合、時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３及びｔ_ｉ＋４において、夫々、第１、第２、第３及び第４の間引きパターンによる間引き読み出しを行って時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３及びｔ_ｉ＋４の入力画像を取得し、時刻ｔ_ｉ＋１〜ｔ_ｉ＋４の入力画像間の位置ずれ量に基づく解像度向上処理によって時刻ｔ_ｉ＋４の解像度向上画像を生成することができる。

アナログの光学像を撮像素子３３にて標本化する時の標本化位置は、第１、第２、第３及び第４の間引きパターン間で異なる。従って、時刻ｔ_ｉ＋１〜ｔ_ｉ＋４の入力画像間の位置ずれ量は、第１、第２、第３及び第４の間引きパターン間における標本化位置の相違を考慮した上で求められる。互いに異なる複数の間引きパターンを用いて得た複数の画像に基づく解像度向上処理として、公知の方法（例えば、特開２００９−１２４６２１号公報に記載の超解像処理方法）を利用することが可能である。

尚、ノイズ低減処理部５５では、上記標本化位置の相違を解消する処理を行ってからノイズ低減処理を行えば良い、或いは、上記標本化位置の相違を考慮した上でノイズ低減処理を行えば良い。また、上述の例では、用いる間引きパターンを４種類の間引きパターンの間で順次変更しながら間引き読み出しを行っているが、用いる間引きパターンの種類の総数は、２以上であれば幾つでもよい。例えば、間引き読み出しを行うべき区間において、第１の間引きパターンによる間引き読み出しと第４の間引きパターンによる間引き読み出しを交互に行うようにしても良い。

解像度向上処理において、複数枚の画像を用いた超解像処理を用いる場合、隣接フレーム間でサブピクセル単位の位置ずれが発生している必要がある。撮像装置１の筐体（不図示）を手で保持する場合には、手ぶれによってサブピクセル単位の位置ずれの発生が期待される。但し、撮像装置１の筐体が三脚等で固定されている場合には、そのような位置ずれが得られないこともある。しかしながら、第８実施例によれば、隣接フレーム間で標本化位置が変化するため、撮像装置１の筐体が三脚等で固定されている場合においても、良好な解像度向上効果を得ることができる。

間引き読み出しが行われるべき区間において、フレーム毎に間引きパターンを変更する方法を説明したが、同様の方法を加算読み出しにも適用することができる。即ち、加算読み出しが行われるべき区間において、フレーム毎に加算パターンを変更するようにしても良い。加算パターンとは、加算信号の生成時に加算の対象となる受光画素の組み合わせパターンを指す。例えば、特開２００９−１２４６２１号公報に記載された複数の加算パターンを利用することができる（但し、本願実施形態と特開２００９−１２４６２１号公報の実施形態との間で、赤フィルタと青フィルタの位置関係が逆になっていることに留意すべきである）。図２３（ａ）及び（ｂ）並びに図２４（ａ）及び（ｂ）に、第８実施例にて利用可能な第１〜第４の加算パターンを示す。図２３（ａ）等において、黒丸を囲む４つの矢印の根元に位置する４つの受光画素の画素信号が足しあわされる様子が示されている。

第１、第２、第３及び第４の加算パターン間で、加算の対象となる受光画素の組み合わせは異なる。例えば、原画像上の画素位置［１，１］における画素信号は、
第１の加算パターンの利用時においては受光画素Ｐ_Ｓ［１，１］、Ｐ_Ｓ［３，１］、Ｐ_Ｓ［１，３］及びＰ_Ｓ［３，３］の受光画素信号の加算信号から生成され、
第２の加算パターンの利用時においては受光画素Ｐ_Ｓ［３，１］、Ｐ_Ｓ［５，１］、Ｐ_Ｓ［３，３］及びＰ_Ｓ［５，３］の受光画素信号の加算信号から生成され、
第３の加算パターンの利用時においては受光画素Ｐ_Ｓ［１，３］、Ｐ_Ｓ［３，３］、Ｐ_Ｓ［１，５］及びＰ_Ｓ［３，５］の受光画素信号の加算信号から生成され、
第４の加算パターンの利用時においては受光画素Ｐ_Ｓ［３，３］、Ｐ_Ｓ［５，３］、Ｐ_Ｓ［３，５］及びＰ_Ｓ［５，５］の受光画素信号の加算信号から生成される。

加算読み出しを行うべき区間において、用いる加算パターンを上記の４つの加算パターンの間で順次変更しながら加算読み出しを行い、加算パターンの異なる４枚の入力画像を用いた解像度向上処理により１枚の解像度向上画像を生成することができる。例えば、加算読み出しを行うべき区間に時刻ｔ_ｉ＋１〜ｔ_ｉ＋４が含まれている場合、時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３及びｔ_ｉ＋４において、夫々、第１、第２、第３及び第４の加算パターンによる加算読み出しを行って時刻ｔ_ｉ＋１、ｔ_ｉ＋２、ｔ_ｉ＋３及びｔ_ｉ＋４の入力画像を取得し、時刻ｔ_ｉ＋１〜ｔ_ｉ＋４の入力画像間の位置ずれ量に基づく解像度向上処理によって時刻ｔ_ｉ＋４の解像度向上画像を生成することができる。

この際、時刻ｔ_ｉ＋１〜ｔ_ｉ＋４の入力画像間の位置ずれ量は、第１、第２、第３及び第４の加算パターン間における標本化位置の相違を考慮した上で求められる。互いに異なる複数の加算パターンを用いて得た複数の画像に基づく解像度向上処理として、公知の方法（例えば、特開２００９−１２４６２１号公報に記載の超解像処理方法）を利用することが可能である。尚、ノイズ低減処理部５５では、上記標本化位置の相違を解消する処理を行ってからノイズ低減処理を行えば良い、或いは、上記標本化位置の相違を考慮した上でノイズ低減処理を行えば良い。また、上述の例では、用いる加算パターンを４種類の加算パターンの間で順次変更しながら加算読み出しを行っているが、用いる加算パターンの種類の総数は、２以上であれば幾つでもよい。

＜＜第９実施例＞＞
第９実施例を説明する。上述の説明では、間引き読み出しにて得られた入力画像に基づいて出力画像を生成する場合には、重み係数ｋ_Ｗを１に設定することで出力画像にノイズ低減処理を寄与させないことを想定しているが（図１１（ａ）及び（ｂ）並びに図１２（ａ）及び（ｂ）参照）、その場合において、出力画像にノイズ低減処理を寄与させることも可能である。

これを実現するために、上述の他の実施例で述べた内容とは異なるが、第９実施例では、閾値ＴＨ１を４未満に設定する（図１１（ｂ）及び図１２（ｂ）参照）。究極的には、ＴＨ１を１に設定することも可能である。閾値ＴＨ１を４未満に設定することにより、間引き読み出しにて得られた入力画像に基づいて出力画像を生成する場合においても、重み係数ｋ_Ｗが１未満に設定されることがあり、重み係数ｋ_Ｗが１未満に設定されたならば、出力画像に解像度向上画像及びノイズ低減画像が寄与するようになる。

但し、間引き読み出しが実行される区間においては、出力画像に対してノイズ低減処理よりも解像度向上処理の方が相対的に強く寄与するように、閾値ＴＨ１を設定しておくと良い（又は、閾値ＴＨ１及びＴＨ２を設定しておくと良い）。つまり、間引き読み出しが実行される区間においては、常に重み係数ｋ_Ｗを０．５よりも大きく設定することで、出力画像に対してノイズ低減処理よりも解像度向上処理の方を相対的に強く寄与させると良い。この場合、間引き読み出しが実行される区間において、ｇ_{ＴＯＴＡＬ}又はＢ_ＣＯＮＴが大きくなるほど重み係数ｋ_Ｗが小さくなるように、不等式「０．５＜ｋ_Ｗ≦１」が満たされる範囲内で、重み係数ｋ_Ｗがｇ_{ＴＯＴＡＬ}又はＢ_ＣＯＮＴに応じて変化することになる。但し、間引き読み出しが実行される区間において、ｇ_{ＴＯＴＡＬ}又はＢ_ＣＯＮＴに関わらず、不等式「０．５＜ｋ_Ｗ≦１」が満たされる範囲内で重み係数ｋ_Ｗを一定値に固定するようにしても良い。

尚、図１１（ｂ）及び図１２（ｂ）に示した重み係数設定方法によれば、間引き読み出しの実行区間において設定される重み係数ｋ_Ｗは、加算読み出しの実行区間において設定される重み係数ｋ_Ｗよりも常に大きくなるが、加算読み出しの実行そのものによって元々ノイズ低減効果がもたらされることを考慮し、間引き読み出しの実行区間において設定される重み係数ｋ_Ｗが、加算読み出しの実行区間において設定される重み係数ｋ_Ｗよりも小さくなるように、上述してきた重み係数ｋ_Ｗの設定方法を変形することも可能である（そのような変形は、特に、撮像素子３３の駆動方式を間引き読み出し及び加算読み出し間で切り替えるタイミングの周辺区間において有益となりうる）。

＜＜第１０実施例＞＞
第１０実施例を説明する。１つの動画像の撮影中において（換言すれば、１つの動画像の撮影区間中において）、感度情報又は明るさ情報に基づき撮像素子３３の駆動方式を加算読み出し方式及び間引き読み出し方式間で切り替える方法を上述の何れかの実施例において説明した。１つの動画像の撮影（換言すれば、１つの動画像の撮影区間）は、当該動画像の撮影開始指示がなされた時点から始まり、当該動画像の撮影終了指示がなされた時点で終了する。例えば、ユーザによる録画ボタン２６ａ（図１参照）を１回目に押し下げる操作を動画像の撮影開始指示に割り当てることができ、ユーザによる録画ボタン２６ａを２回目に押し下げる操作を動画像の撮影終了指示に割り当てることができる。

１つの動画像の撮影中において（換言すれば、１つの動画像の撮影区間中において）、撮像素子３３の駆動方式を切り替える方法は、上述した方法に限定されない。例えば、動画像の撮影中においては、原則として、上述の何れかの実施例にて述べたように感度情報又は明るさ情報に基づき撮像素子３３の駆動方式を加算読み出し方式及び間引き読み出し方式間で切り替えるようにし、動画像の撮影中において静止画像撮影指示が成された場合に撮像素子３３の駆動方式を間引き読み出し方式に設定するようにして良い。或いは例えば、動画像の撮影中においては、原則として撮像素子３３の駆動方式を加算読み出し方式に設定し、動画像の撮影中において静止画像撮影指示が成された場合に撮像素子３３の駆動方式を間引き読み出し方式に設定するようにして良い。

今、図２５に示すような入力画像４０１〜４０８が連続的に得られた場合を想定した上で、第１０実施例に係る駆動方式の設定方法を説明する。動画像の撮影開始指示及び撮影終了指示に従って取得されるべき動画像４００は、入力画像４０１〜４０８又は入力画像４０１〜４０８に基づく複数の出力画像をフレームとして包含する。時刻ｔ_ｉ＋１〜ｔ_ｉ＋８は動画像４００の撮影区間中の時刻である。入力画像４０１〜４０８は、それぞれ時刻ｔ_ｉ＋１〜ｔ_ｉ＋８の入力画像に相当する（上述したようにｉは整数）。

図２５に示す例では、時刻ｔ_ｉ＋３と時刻ｔ_ｉ＋４との間に静止画像撮影トリガが発生している。静止画像撮影トリガは、ユーザが静止画像撮影指示を撮像装置１に与えたときに撮像装置１内で発生する。静止画像撮影指示は、例えば、ユーザがシャッタボタン２６ｂ（図１参照）を押し下げることによって実現される。時刻ｔ_ｉ＋３及びｔ_ｉ＋４間に静止画像撮影トリガが発生した場合、図８等に示される主制御部５１は、時刻ｔ_ｉ＋３以降に静止画像用の特定区間を設定する。この特定区間は、２枚以上の入力画像を撮影するための区間である。動画像４００の撮影区間中、特定区間以外の区間においては、感度情報又は明るさ情報に基づき撮像素子３３の駆動方式が加算読み出し方式及び間引き読み出し方式間で切り替えられる。或いは、動画像４００の撮影区間中、特定区間以外の区間においては、撮像素子３３の駆動方式を加算読み出し方式に固定するようにしても良い。一方、特定区間に撮影される各入力画像は、間引き読み出しによって取得される。

図２５に示す例では、時刻ｔ_ｉ＋４及びｔ_ｉ＋５が特定区間に含められており、結果、特定区間内の入力画像としての入力画像４０４及び４０５が間引き読み出しによって取得されている。他方、特定区間外の入力画像である入力画像４０１〜４０３及び４０６〜４０８は、感度情報又は明るさ情報に基づき加算読み出し又は間引き読み出しを選択的に用いて取得される、或いは、加算読み出しを固定的に用いて取得される。図２５の例では、入力画像４０１〜４０３及び４０６〜４０８が加算読み出しを用いて取得されている。

図８等を参照して上述してきた方法に従って、８枚の入力画像４０１〜４０８から８枚の出力画像を生成することができ、生成した８枚の出力画像の夫々を動画像４００のフレームとして取り扱うことができる。入力画像４０１〜４０８から動画像４００のフレームとなるべき出力画像を生成する際、第４〜第６実施例で述べた方法を適用して、駆動方式の切り替えを目立ちにくくするようにしても良い。

一方において、撮像装置１は、解像度向上処理部５４（図８等参照）を用いて入力画像４０４及び４０５から１枚の静止画像４２０を生成することができる（図２６参照）。
例えば、入力画像４０４及び４０５に基づく解像度向上画像を静止画像４２０として生成するようにしても良い。即ち例えば、入力画像４０４及び４０５間の位置ずれ量に基づき入力画像４０４及び４０５を合成することで解像度向上画像を生成し、この解像度向上画像を静止画像４２０として取り扱うようにしても良い。
或いは例えば、入力画像４０４及び４０５に基づく解像度向上画像と入力画像４０４及び４０５に基づくノイズ低減画像を生成し、生成した解像度向上画像及びノイズ低減画像を合成することで得た出力画像を静止画像４２０として取り扱うようにしても良い。この場合には、出力画像（静止画像４２０）に対してノイズ低減処理よりも解像度向上処理の方が相対的に強く寄与するように上述の重み係数ｋ_ｗを設定すると良い（即ち、０．５＜ｋ_ｗ＜１にすると良い）。
また、間引き読み出しを用いて入力画像４０４及び４０５を取得する際、第８実施例にて述べた方法を適用するようにしても良い。即ち、入力画像４０４及び４０５の取得時に利用する間引きパターンを互いに異ならせるようにしても良い。また、静止画像４２０を動画像４００のフレームとして流用することも可能である。

尚、図２５の例では、特定区間中に間引き読み出しを用いて取得される入力画像の枚数が２となっているが、その枚数は３以上であっても良い。この場合、特定区間中に間引き読み出しを用いて取得された３枚以上の入力画像から、静止画像４２０に対応する静止画像が生成される。

静止画像撮影指示前の駆動方式が加算読み出し方式である場合、駆動方式を間引き読み出し方式に切り替えることによって入力画像のノイズが増加するものの、図２５に示す如く、特定区間において入力画像を間引き読み出しによって取得することにより、解像度の高い静止画像を得ることが可能となる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
増幅率ｇａは、信号処理の段階で画素信号を増幅する時の増幅率である。上述の説明では、説明の簡略化上、信号処理の段階における画素信号の増幅がＡＦＥ１２においてのみ実行されると仮定し、増幅率ｇａはＡＦＥ１２の増幅率そのものであると考えたが、ＡＦＥ１２の後段（即ち映像信号処理部１３）においても画素信号の増幅が行われるのであれば、その増幅をも考慮した増幅率が増幅率ｇａとなる。即ち、ＡＦＥ１２の後段（即ち映像信号処理部１３）においても画素信号の増幅が行われるのであれば、ＡＦＥ１２の増幅率とＡＦＥ１２の後段（即ち映像信号処理部１３）における増幅率との積を、増幅率ｇａとみなせばよい。

［注釈２］
上述した受光画素の間引きの具体的方法は例示であり、それを様々に変更することができる。例えば、上述の間引き読み出しでは、４×４受光画素から４つの受光画素が読み出されるように間引きが行われるが、６×６受光画素から４つの受光画素が読み出されるように間引きを行っても良い。

上述した受光画素信号の加算の具体的方法は例示であり、それを様々に変更することができる。例えば、上述の加算読み出しでは、４つの受光画素信号を加算することで原画像上の１つ画素の画素信号を生成しているが、４つ以外の受光画素信号（例えば、９又は１６個の受光画素信号）を加算することで原画像上の１つ画素の画素信号を生成してもよい。加算される受光画素信号の個数に応じて、加算読み出し時における上述の増幅率ｇｏは変化しうる。

［注釈３］
上述の実施形態では、主制御情報に応じて間引き読み出しと加算読み出しを切り替え実行するという発明と、解像度向上画像とノイズ低減画像を合成する際の重み係数ｋ_Ｗを主制御情報に応じて決定するという発明を同時に実施しているが、前者の発明のみを実施することも可能であるし、後者の発明のみを実施することも可能である。

［注釈４］
撮像素子３３において、１枚のイメージセンサのみを用いる単板方式が採用されていることを前提として上述の実施形態を説明したが、３枚のイメージセンサを用いる三板方式を撮像素子３３に適用しても良い。三板方式を利用する場合、上述のデモザイキング処理は不要となる。

［注釈５］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい

［注釈６］
例えば、以下のように考えることができる。図８等に示される主制御部５１は、撮像素子３３の駆動方式（信号読み出し方式）を制御する読出制御部としての機能を備えている。更に、主制御部５１は、重み係数ｋ_Ｗを設定することによって出力画像に対する解像度向上処理とノイズ低減処理の寄与度を制御する機能も備える。撮像装置１には、解像度向上処理及びノイズ低減処理を用いて入力画像から出力画像を生成する画像処理部が設けられている。該画像処理部は、少なくとも解像度向上処理部５４、ノイズ低減処理部５５及び加重加算部５６を備え、更に、位置ずれ検出部５３、フレーム補間部５７及びエッジ判定部５８の一部又は全部を備えうる。主制御部５１も、画像処理部の構成要素に含まれると考えることも可能である。

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
３３ 撮像素子
５１ 主制御部
５２ フレームメモリ
５３ 位置ずれ検出部
５４ 解像度向上処理部
５５ ノイズ低減処理部
５６ 加重加算部
５７ フレーム補間部
５８ エッジ判定部
Ｐ_Ｓ［ｘ，ｙ］ 受光画素

Claims (8)

1. 被写体の光学像を光電変換する受光画素群から成る撮像素子と、
   前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部と、を備えて画像の撮影を行う撮像装置において、
   前記読出制御部は、１つの動画像の撮影中に前記間引き読み出し及び前記加算読み出し間の切り替えを行う
   ことを特徴とする撮像装置。
2. 前記読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、前記間引き読み出し及び前記加算読み出し間の切り替えを行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記読出制御部は、
   前記感度が比較的低いときには前記間引き読み出しが行われるように且つ前記感度が比較的高いときには前記加算読み出しが行われるように前記切り替えを行う、或いは、
   前記明るさが比較的高いときには前記間引き読み出しが行われるように且つ前記明るさが比較的低いときには前記加算読み出しが行われるように前記切り替えを行う
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記読出制御部は、
   前記感度が比較的低い状態から比較的高い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記感度が比較的高い状態から比較的低い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、又は、
   前記明るさが比較的高い状態から比較的低い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記明るさが比較的低い状態から比較的高い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像素子を用いて得た撮影画像の解像度を向上させる第１画像処理及び前記撮影画像のノイズを低減する第２画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を更に備え、
   前記画像処理部は、
   前記加算読み出しにて前記撮影画像が取得された場合において、
   前記感度が比較的低いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う、或いは、
   前記明るさが比較的高いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行い、
   前記間引き読み出しにて前記撮影画像が取得された場合においては、
   前記第２画像処理を前記出力画像へ寄与させずに前記第１画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように前記出力画像を生成する
   ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
6. 前記読出制御部は、前記動画像の撮影中に静止画像の取得が指示された場合、前記間引き読み出しを用いて前記静止画像が取得されるように前記切り替えを行う
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記読出制御部は、
   前記間引き読み出しの実行の際、間引きの対象となる受光画素が互いに異なる複数の間引きパターンを用いて複数の撮影画像を取得させる、或いは、
   前記加算読み出しの実行の際、加算の対象となる受光画素の組み合わせが互いに異なる複数の加算パターンを用いて複数の撮影画像を取得させる
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
8. 撮像素子を用いて得た撮影画像の解像度を向上させる第１画像処理及び前記撮影画像のノイズを低減する第２画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を備えた撮像装置において、
   前記画像処理部は、
   撮影の感度が比較的低いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う、或いは、
   被写体の明るさが比較的高いときには前記出力画像に対して前記第２画像処理よりも前記第１画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第１画像処理よりも前記第２画像処理が強く寄与するように前記出力画像の生成を行う
   ことを特徴とする撮像装置。

Images