JP2010062785A - 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム - Google Patents

Abstract

【課題】カメラブレを適切に補正した高ダイナミックレンジ画像を生成する。
【解決手段】固体撮像素子１３には、一定期間内に連続した露光により長時間露光画像を生成するための画素と、一定期間内に断続した露光により複数の短時間露光画像を生成するための画素とが撮像面に並べて配置されている。カメラブレ推定部２１３は、生成された複数の短時間露光画像に基づいて一定期間内のブレ情報を推定する。短時間露光カメラブレ補正部２１６は、推定されたブレ情報に基づいて短時間露光画像のブレを補正する。長時間露光カメラブレ補正部２１８は、推定されたブレ情報に基づいて長時間露光画像のブレを補正する。高ダイナミックレンジ画像合成部２２１は、補正された短時間露光画像と、補正された長時間露光画像とを合成して、高ダイナミックレンジ画像を生成する。
【選択図】図１０

Description

本発明は、画像処理装置に関し、特に、画像データに画像処理を施す画像処理装置、撮像装置、個体撮像素子、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、被写体を撮像して画像データを生成する固体撮像素子として、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等が普及している。これらの固体撮像素子の入射光に対するダイナミックレンジ（すなわち、フロアノイズに埋もれて信号が取り出せないレベルから飽和レベルまでの輝度範囲）は、半導体技術の進歩により着々と向上しつつある。しかしながら、実際に固体撮像素子が利用される状況において、予め設定されているダイナミックレンジを超えた入射光が発生することはそれほど珍しいことではない。このため、ダイナミックレンジを拡大するための技術が盛んに研究されている。

高ダイナミックレンジ画像を取得する手法としては、例えば、異なる露光により撮像された複数の画像を１つに合成する手法が提案されている。しかしながら、このような手法では、複数の画像の撮像にかかる露光時間が長くなるため、動被写体ブレやカメラブレが発生し易いという問題がある。この問題を解決する手法として、例えば、感度の異なる複数の画素を単一の画像センサの撮像面に配置することにより一度に多段階露光を行い、高ダイナミックレンジ画像を生成する撮像技術が提案されている（例えば、特許文献１参照。）。この撮像技術を用いることにより、異なる感度の撮像を同時に行うことができるため、全体の露光期間を比較的短くすることが可能である。しかしながら、この撮像技術は、固体撮像素子の感度自体が向上していない点は従来の他の撮像技術と同様である。このため、低輝度被写体があると、この低輝度被写体に合わせて露光期間が長くなり、カメラブレの発生を低減させることができない。

一方、カメラブレが生じた画像を補正する技術としては、例えば、短い露光の画像（短時間露光画像）と長い露光の画像（長時間露光画像）とを用いて、長時間露光画像に生じたカメラブレを補正する技術が提案されている（例えば、非特許文献１参照。）。このカメラブレ補正技術は、短時間露光画像を用いて、長時間露光画像のカメラブレ関数ＰＳＦ（Point Spread Function）を推定し、その逆補正をかけることにより長時間露光画像に生じたカメラブレを補正するものである。すなわち、長時間露光画像のカメラブレＰＳＦを推定するための参考データとして短時間露光画像を用いる。

また、例えば、撮像装置自体の動作を測定することが可能な撮像装置を利用したカメラブレ補正技術が提案されている。例えば、長い露光により撮像を行う高解像度画像センサと、短く連続的な露光によりカメラブレを計測する低解像度画像センサとを組み合わせた撮像装置が提案されている（例えば、非特許文献２参照。）。このカメラブレ補正技術は、短時間露光画像を用いた計測により、長時間露光画像のカメラブレＰＳＦを推定し、その逆補正をかけることにより長時間露光画像に生じたカメラブレを補正するカメラブレ補正技術である。すなわち、長時間露光画像のカメラブレＰＳＦを推定するため、低解像度画像センサにより生成された短時間露光画像が用いられる。
国際公開第２００２／０５６６０３号パンフレット（図１） L. Yuan, J. Sun, L. Quan, H.-Y. Shum:"Image Deblurring with Blurred/Noisy Image Pairs", Proceedings of ACM SIGGRAPH 2007, Article 1, 2007. M. Ben-Ezra, S. K. Nayar:"Motion Deblurring Using Hybrid Imaging", Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, Vol.I, pp.657-664, 2003.

上述の従来技術によれば、短時間露光画像を利用して長時間露光画像のカメラブレを補正することができる。しかしながら、長時間露光画像のカメラブレを補正するために短時間露光画像を利用する場合には、露光タイミングが全く異なる短時間露光画像から、長時間露光画像の飽和領域の復元を正しく補うことは困難である。すなわち、カメラブレを適切に補正した高ダイナミックレンジ画像を生成することが困難である。

本発明はこのような状況に鑑みてなされたものであり、カメラブレを適切に補正した高ダイナミックレンジ画像を生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、所定期間内に生成された画像のブレ情報を推定するブレ推定部と、上記推定されたブレ情報に基づいて上記所定期間内に断続した露光により生成された複数の短時間露光画像のブレを補正する短時間露光ブレ補正部と、上記推定されたブレ情報に基づいて上記所定期間内に連続した露光により生成された長時間露光画像のブレを補正する長時間露光ブレ補正部と、上記補正された短時間露光画像と上記補正された長時間露光画像とを合成する画像合成部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、ブレ情報に基づいてブレが補正された短時間露光画像と長時間露光画像とを合成し、ブレが補正された高ダイナミックレンジ画像が生成されるという作用をもたらす。

また、この第１の側面において、上記ブレ推定部は、上記所定期間内の撮像装置の動きによる画像座標の時間変化を表すパラメトリック曲線を上記ブレ情報として算出するようにしてもよい。これにより、画像面内の併進運動だけでなく回転運動も含めたカメラブレを補正するという作用をもたらす。

また、この第１の側面において、上記ブレ推定部は、上記複数の短時間露光画像を構成する各画像間の座標変換行列の各要素の離散的な時間変化を算出する算出部と、上記座標変換行列の各要素の離散的な時間変化を上記パラメトリック曲線にフィッティングする曲線フィッティング部とを具備するようにしてもよい。これにより、所定期間内に断続的に撮像された短時間露光画像に基づいてブレ情報を算出するという作用をもたらす。

また、この第１の側面において、上記ブレ推定部は、上記複数の短時間露光画像を構成する各画像について連続する画像間の座標変換行列を画像間ブレ情報として算出する画像間ブレ情報算出部と、上記算出された画像間ブレ情報に基づいてその各要素の時間変化を表すパラメトリック曲線を上記ブレ情報として算出するブレ情報算出部と、上記算出されたブレ情報に基づいて上記複数の短時間露光画像の画素位置を合わせて合成することにより上記短時間露光画像のブレを補正する画像ブレ補正部と、上記算出されたブレ情報に基づいて上記長時間露光画像上の複数の対象位置における点ボケ関数画像を生成するレンダリング部と、上記補正された短時間露光画像における上記対象位置の近傍の画像と上記長時間露光画像における上記対象位置の近傍の画像とに基づいて上記点ボケ関数画像を上記対象位置毎に補正する点ボケ関数画像補正部と、上記算出された画像間ブレ情報と上記補正された点ボケ関数画像と上記算出されたブレ情報とに基づいて当該ブレ情報を更新するブレ情報更新部とを備えるようにしてもよい。これにより、所定期間内に断続的に撮像された短時間露光画像を用いるとともに、所定期間内に連続的に撮像された長時間露光画像の点ボケ関数を用いて、ブレ情報を算出するという作用をもたらす。

また、この第１の側面において、上記画像間ブレ情報算出部は、上記複数の短時間露光画像の各画像間の対応点を算出することにより上記画像間ブレ情報を算出し、上記ブレ推定部は、上記各対応点のうち上記複数の短時間露光画像において最も多くの短時間露光画像に亘って対応が得られた対応点を信頼点として抽出する信頼点抽出部を備え、上記画像ブレ補正部は、上記抽出された信頼点の近傍の領域について上記算出されたブレ情報に基づいて上記複数の短時間露光画像の画素位置を合わせて合成することにより上記短時間露光画像のブレを補正し、上記レンダリング部は、上記算出されたブレ情報に基づいて上記長時間露光画像上の上記信頼点の位置における点ボケ関数画像を生成し、上記点ボケ関数画像補正部は、上記補正された短時間露光画像における上記信頼点の近傍の画像と上記長時間露光画像における上記信頼点の近傍の画像とに基づいて上記点ボケ関数画像を補正するようにしてもよい。これにより、所定期間内で最も長い期間に亘って対応が得られた信頼することができる領域を利用し、さらに信頼性の高いブレ情報を算出するという作用をもたらす。

また、この第１の側面において、上記短時間露光ブレ補正部は、上記推定されたブレ情報に基づいて上記複数の短時間露光画像を構成する各画像の画素位置を合わせて上記複数の短時間露光画像を合成することにより上記短時間露光画像のブレを補正するようにしてもよい。これにより、推定されたブレ情報に基づいて各短時間露光画像の画素位置を合わせて、複数の短時間露光画像を合成することにより、短時間露光画像のブレを補正するという作用をもたらす。

また、この第１の側面において、上記長時間露光ブレ補正部は、上記推定されたブレ情報に基づいて上記長時間露光画像上の複数の対象位置における点ボケ関数画像を生成するレンダリング部と、上記生成された各点ボケ関数画像に基づいて上記対象位置毎に上記長時間露光画像にデコンボリューション処理を行うデコンボリューション部とを備えるようにしてもよい。これにより、推定されたブレ情報に基づいて長時間露光画像上の複数の対象位置における点ボケ関数画像を生成し、これらの各点ボケ関数画像に基づいて対象位置毎に長時間露光画像にデコンボリューション処理を行うという作用をもたらす。

また、この第１の側面において、上記画像合成部は、上記補正された短時間露光画像の画素値と上記補正された長時間露光画像の画素値とを画素毎に加算し、短時間露光に係る入射光強度および画素値応答特性と長時間露光に係る入射光強度および画素値応答特性との合成特性の逆特性を用いて上記画素毎に加算された画素値を補正して上記補正された短時間露光画像と上記補正された長時間露光画像との合成画像を生成するようにしてもよい。これにより、補正された短時間露光画像の画素値と、補正された長時間露光画像の画素値とを画素毎に加算し、画素毎に加算された画素値を合成特性の逆特性を用いて補正し、合成画像を生成するという作用をもたらす。

また、この第１の側面において、上記短時間露光画像は、固体撮像素子から出力されたモザイク画像であり、上記長時間露光画像は、上記固体撮像素子から出力されたモザイク画像であり、上記画像合成部は、上記補正された短時間露光画像の画素と上記補正された長時間露光画像の画素とを上記固体撮像素子から出力されたモザイク画像と同じ画素配列のモザイク画像となるように配置して当該モザイク画像についてデモザイク処理を行うようにしてもよい。これにより、補正された短時間露光画像の画素と、補正された長時間露光画像の画素とを並べ直したモザイク画像と同じ画素配列の画像についてデモザイク処理を行うという作用をもたらす。

また、本発明の第２の側面は、所定期間内に連続した露光により長時間露光画像を生成するための第一画素と上記所定期間内に断続した露光により複数の短時間露光画像を生成するための第二画素とが撮像面に並べて配置されている固体撮像素子と、上記第二画素を用いて生成された複数の短時間露光画像に基づいて上記所定期間内のブレ情報を推定するブレ推定部と、上記推定されたブレ情報に基づいて上記短時間露光画像のブレを補正する短時間露光ブレ補正部と、上記推定されたブレ情報に基づいて上記第一画素を用いて生成された長時間露光画像のブレを補正する長時間露光ブレ補正部と、上記補正された短時間露光画像と上記補正された長時間露光画像とを合成する画像合成部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、ブレ情報に基づいてブレが補正された短時間露光画像と長時間露光画像とを合成し、ブレが補正された高ダイナミックレンジ画像が生成されるという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、水平方向に上記第一画素が並べて配列されている第一画素ラインと上記水平方向に上記第二画素が並べて配列されている第二画素ラインとが垂直方向に交互に配置されるようにしてもよい。これにより、第一画素ラインおよび第二画素ラインが垂直方向に交互に配置されている固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、第１の分光感度の画素が市松状に配置されるように上記第一画素ラインおよび上記第二画素ラインには上記第１の分光感度の画素が１つおきに配置され、上記第一画素ラインおよび上記第二画素ラインにおける上記第１の分光感度の画素の間に第２の分光感度の画素および第３の分光感度の画素が交互に配置されるように、上記第一画素に係る上記第２の分光感度の画素および上記第二画素に係る上記第２の分光感度の画素が斜め方向に交互に並べて配置されるとともに、上記第一画素に係る上記第３の分光感度の画素および上記第二画素に係る上記第３の分光感度の画素が上記斜め方向に交互に並べて配置されるようにしてもよい。これにより、第１の分光感度の画素が市松状に配置されるように第一画素ラインおよび第二画素ラインには第１の分光感度の画素が１つおきに配置され、これらの第１の分光感度の画素の間に第２の分光感度の画素および第３の分光感度の画素が交互に配置されるように、第一画素に係る第２の分光感度の画素および第二画素に係る第２の分光感度の画素が斜め方向に交互に並べて配置されるとともに、第一画素に係る第３の分光感度の画素および第二画素に係る第３の分光感度の画素が斜め方向に交互に並べて配置されている固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、上記第一画素と上記第二画素とが市松状に配置されるようにしてもよい。これにより、第一画素および第二画素が市松状に配置されている固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、上記第一画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列とし、上記第二画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列とするようにしてもよい。これにより、第一画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列とし、第二画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列とする固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、水平方向に交互に配列されている上記第一画素および上記第二画素により構成される水平ラインの上側には上記水平方向に上記所定期間内に連続した露光による読み出しを行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて上記水平ラインに含まれる上記第一画素に接続され、上記水平ラインの下側には上記水平方向に上記所定期間内に断続した露光による読み出しを順次行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて上記水平ラインに含まれる上記第二画素に接続されるようにしてもよい。これにより、水平ラインの上側には所定期間内に連続した露光による読み出しを行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて水平ラインに含まれる第一画素に接続され、水平ラインの下側には所定期間内に断続した露光による読み出しを順次行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて水平ラインに含まれる第二画素に接続されている固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、水平方向に３つ並べて配置されている上記第一画素と垂直方向に３つ並べて配置されている上記第一画素とが階段状に連結される第一画素群と、上記水平方向に３つ並べて配置されている上記第二画素と上記垂直方向に３つ並べて配置されている上記第二画素とが階段状に連結される第二画素群とが上記水平方向において交互に配置されるようにしてもよい。これにより、第一画素群および第二画素群が水平方向において交互に配置されている固体撮像素子により撮像を行うという作用をもたらす。

また、この第２の側面において、上記固体撮像素子は、第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列がベイヤー配列とするようにしてもよい。これにより、第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列がベイヤー配列とされている固体撮像素子により撮像を行うという作用をもたらす。

また、本発明の第３の側面は、所定期間内に連続した露光により長時間露光画像を生成するための画素と上記所定期間内に断続した露光により複数の短時間露光画像を生成するための画素とが撮像面に並べて配置されている固体撮像素子である。これにより、所定期間内に連続した露光により長時間露光画像を生成するための画素と、所定期間内に断続した露光により複数の短時間露光画像を生成するための画素とが撮像面に並べて配置されている固体撮像素子により撮像を行うという作用をもたらす。

本発明によれば、カメラブレを適切に補正した高ダイナミックレンジ画像を生成することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。撮像装置１００は、レンズ１１と、絞り１２と、固体撮像素子１３と、サンプリング回路２１と、Ａ／Ｄ（Analog/Digital）変換回路２２と、画像処理回路２３と、符号化／復号器３１と、メモリ３２とを備える。また、撮像装置１００は、表示ドライバ４１と、表示部４２と、タイミング生成器５１と、操作受付部５２と、制御部５３と、バス５９とを備える。なお、画像処理回路２３と、符号化／復号器３１と、メモリ３２と、表示ドライバ４１と、タイミング生成器５１と、操作受付部５２と、制御部５３とは、バス５９を介して相互に接続されている。撮像装置１００は、例えば、被写体を撮像して動画を生成するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）により実現することができる。

レンズ１１は、被写体からの光を集光するためのレンズである。絞り１２は、レンズ１１により集光された光の光量を調整するものである。このように、レンズ１１により集光され、絞り１２により光量が調整された被写体からの光が、固体撮像素子１３に供給される。

固体撮像素子１３は、タイミング生成器５１により駆動され、レンズ１１および絞り１２を介して入射された被写体からの光を光電変換により電気信号（画像信号）に変換する画像センサであり、この変換された電気信号をサンプリング回路２１に出力する。すなわち、レンズ１１および絞り１２を介して入射された被写体からの光が、固体撮像素子１３のセンサ撮像面上の各受光素子に到達すると、これらの受光素子により光電変換が行われ、電気信号が生成される。ここで、固体撮像素子１３は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等により実現される。また、撮像装置１００は、固体撮像素子１３を用いることにより、通常よりも広いダイナミックレンジを実現し、暗い被写体から明るい被写体までノイズや飽和がなく撮像することができるものである。また、なお、固体撮像素子１３における画素の配列および読み出し制御等については、図２乃至図８を参照して詳細に説明する。

サンプリング回路２１は、タイミング生成器５１により駆動され、固体撮像素子１３から供給された電気信号をサンプリングしてノイズ成分を除去する等のアナログ処理を施すものであり、これらの処理が施されたアナログ信号をＡ／Ｄ変換回路２２に供給する。なお、サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）により実現される。これにより、固体撮像素子１３で発生するノイズが軽減される。

Ａ／Ｄ変換回路２２は、タイミング生成器５１により駆動され、サンプリング回路２１から供給されたアナログ信号をデジタル信号に変換するものであり、この変換されたデジタル信号を画像処理回路２３に供給する。

画像処理回路２３は、画像メモリ（画像用ＲＡＭ（Random Access Memory））および信号処理用プロセッサを備える。この画像処理回路２３は、Ａ／Ｄ変換回路２２から供給されたデジタル信号（画像データ）に所定の画像処理を施すものであり、この画像処理が施された画像データを表示ドライバ４１および符号化／復号器３１に供給する。具体的には、画像処理回路２３に供給されたデジタル信号は、画像処理回路２３の画像メモリに一時格納される。そして、画像処理回路２３の信号処理用プロセッサが画像メモリに格納されたデジタル信号に対して予めプログラムされた画像処理を施す。すなわち、画像処理回路２３は、固体撮像素子１３の出力を高ダイナミックレンジのＲＧＢ画像に変換する信号処理を行う。なお、画像処理回路２３の信号処理用プロセッサは、例えば、ＤＳＰ（Digital Signal Processor）により実現される。なお、画像処理回路２３により実行される処理の詳細については、図９乃至図１２を参照して詳細に説明する。

符号化／復号器３１は、画像処理回路２３から供給された画像データを符号化し、符号化された画像データをメモリ３２に供給して記録させるものである。また、符号化／復号器３１は、メモリ３２に記憶されている画像データを表示する際に、メモリ３２から画像データを読み出して復号し、画像処理回路２３に供給する。

メモリ３２は、符号化／復号器３１により符号化された画像データを記憶するメモリである。また、メモリ３２は、記憶されている画像データを符号化／復号器３１に供給する。なお、メモリ３２は、例えば、半導体メモリ、磁気記録媒体、光磁気記録媒体、光記録媒体等を用いた記録装置により実現される。

表示ドライバ４１は、画像処理回路２３から供給されたデジタル信号をアナログ信号に変換し、この変換されたアナログ信号に対応する画像を表示部４２に表示させるものである。

表示部４２は、表示ドライバ４１により変換されたアナログ信号に対応する画像を表示するものである。なお、通常の状態では、タイミング生成器５１による制御により、画像処理回路２３に内蔵されている画像メモリには、一定のフレームレートで絶えずデジタル信号（画像データ）が上書きされる。そして、画像処理回路２３に内蔵されている画像メモリの画像データが、表示ドライバ４１を介して表示部４２に出力され、その画像データに対応する画像が表示部４２に表示される。表示部４２は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

タイミング生成器５１は、固体撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器（タイミングジェネレータ）である。例えば、ユーザによるシャッタボタンの押下により発生された信号がタイミング生成器５１に供給されると、タイミング生成器５１は、固体撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、画像処理回路２３を適切に駆動させる。これにより、撮像画像の取込み（capture）が行われる。

操作受付部５２は、ユーザによるシャッタ操作やその他のコマンド入力等の操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容を制御部５３に供給する。例えば、操作受付部５２には、撮像装置１００本体にあるシャッタボタン等の操作ボタン類が備えられている。

制御部５３は、撮像装置１００全体を制御する制御部であり、ドライバ（図示せず）に記憶されている制御用プログラムを読み出し、この制御用プログラムや操作受付部５２から受け付けられたユーザからのコマンド等に基づいて各種の制御を行う。制御部５３は、例えば、ＣＰＵ（Central Processing Unit）により実現される。

図２は、本発明の第１の実施の形態における固体撮像素子１３に備えられている画素の等価回路を示す図である。固体撮像素子１３に備えられている画素は、受光部であるフォトダイオード（ＰＤ）６１と、フローティングディフュージョン（ＦＤ）６２と、４つのＭＯＳ−ＦＥＴ（Ｍ１乃至Ｍ４）７１乃至７４とにより構成されている。

画素に照射された光は、ＰＤ６１において電子に変換され、光量に応じた電荷がＰＤ６１に蓄積される。ＭＯＳ−ＦＥＴ（Ｍ１）７１は、ＰＤ６１とＦＤ６２との間の電荷転送を制御する。ＭＯＳ−ＦＥＴ（Ｍ１）７１のゲート電極に転送信号（ＴＲ）８１が印加されることにより、ＰＤ６１に蓄積された電荷が、ＦＤ６２に転送される。ＦＤ６２は、ＭＯＳ−ＦＥＴ（Ｍ３）７３のゲート電極と繋がっている。ＭＯＳ−ＦＥＴ（Ｍ４）７４のゲート電極にロウセレクト信号（ＲＳ）８２が印加されていると、読み出し線（ＲＤ）８３からＦＤ６２に蓄積された電荷に応じた電圧を信号として読み出すことができる。ＭＯＳ−ＦＥＴ（Ｍ２）７２のゲート電極にリセット信号（ＲＳＴ）８４が印加されると、ＦＤ６２に蓄積された電荷は、ＭＯＳ−ＦＥＴ（Ｍ２）７２を通じて流れるため、電荷蓄積状態がリセットされる。

図３は、本発明の第１の実施の形態における固体撮像素子１３の画素配線を概略的に示す図である。固体撮像素子１３には、図２に示す構造を備える画素＃１乃至＃２５が２次元正方格子状に配置されている。また、垂直カラム方向に読み出し線（ＲＤ）１１８乃至１２２が配線されており、同じ垂直カラム上にある画素が１つの読み出し線を共有する。また、読み出し線（ＲＤ）１１８乃至１２２は、カラムセレクタ１３２により排他的に出力端子１１７と接続される。ここで、画素（＃１）、（＃３）、（＃５）等（奇数番号が付された画素）は、一定の露光期間内に連続して露光（長時間露光）し最後に読み出す画素である。また、画素（＃２）、（＃４）、（＃６）等（偶数番号が付された画素）は、一定の露光期間内に断続的に露光（短時間露光）しその都度読み出しを行う画素である。

ロウセレクタ１３１により制御されるロウセレクト信号と、カラムセレクタ１３２により制御される読み出し線の選択により、ある１つの画素を出力端子１１７と接続させることができる。このため、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。

また、固体撮像素子１３には、水平ライン方向から転送信号線（ＴＲ）１０１、１０４、１０７、１１０、１１３、１１６と、リセット信号線（ＲＳＴ）１０２、１０５、１０８、１１１、１１４、１１７とが配線されている。ここで、同一水平ライン上の画素の上下には、異なる信号を供給する信号線が配置されており、各画素は、上下の転送信号線（ＴＲ）およびリセット信号線（ＲＳＴ）に、１画素毎に交互に接続されている。例えば、画素（＃１１）乃至（＃１５）の水平ラインの上側には、リセット信号線（ＲＳＴ）１０８および転送信号線（ＴＲ）１０７が配置され、これらの信号線に画素（＃１１）が接続されている。また、同じ水平ラインの下側には、リセット信号線（ＲＳＴ）１１１および転送信号線（ＴＲ）１１０が配置され、これらの信号線に画素（＃１２）が接続されている。なお、同図では、供給される制御信号の種類に応じて、リセット信号線（ＲＳＴ）および転送信号線（ＴＲ）の名称に、長時間露光を意味する添え字Ｌ（Long）または短時間露光を意味する添え字Ｓ（Short）を付す。このように、本発明の第１の実施の形態では、異なる制御信号が１水平ラインおきに交互に配置され、同一水平ラインの画素は交互に上下の信号線と連結するため、異なる制御がなされる２種類の画素が市松状に配置される構成となる。これにより、固体撮像素子１３は、異なる制御を受ける２種類の画素を利用して、明輝度の被写体も暗輝度の被写体もツブレることなく撮像することができる。

図４は、図３に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。なお、図３では、画素（＃１１）１４１、（＃１２）１４２、（＃１６）１４３、（＃１７）１４４を破線の矩形１４５で囲んで示す。ここで、図４に示す横軸は時間軸であるが、説明に不要な時間帯については破線表示で省略して示す。また、図４に示す各波形には、対応する図３に示す信号線と同一の符号を付して説明する。また、露光期間Ｅ１およびＥ３が、長時間露光に対応する期間であり、露光期間Ｅ２が、短時間露光に対応する期間である。なお、図３では、露光期間Ｅ１乃至Ｅ３が大きく異なっているが、実際の露光期間Ｅ１乃至Ｅ３は略同一となる。

図４に示す各波形は、上から順に、画素（＃１１）乃至（＃１５）の水平ラインへのロウセレクト信号（ＲＳ）１０９、画素（＃１６）乃至（＃２０）の水平ラインへのロウセレクト信号（ＲＳ）１１２を示す。同様に、画素（＃１２）、画素（＃１６）等へのリセット信号（ＲＳＴ）１１１および転送信号（ＴＲ）１１０を示す。また、画素（＃１１）等へのリセット信号（ＲＳＴ）１０８および転送信号（ＴＲ）１０７、画素（＃１７）等へのリセット信号（ＲＳＴ）１１４および転送信号（ＴＲ）１１３を示す。同様に、画素（＃１１）の蓄積電荷（ＣＨＧ）１５１、画素（＃１２）の蓄積電荷（ＣＨＧ）１５２、画素（＃１６）の蓄積電荷（ＣＨＧ）１５３、画素（＃１７）の蓄積電荷（ＣＨＧ）１５４を示す。

最初に、画素（＃１１）について説明する。画素（＃１１）は、ロウセレクト信号（ＲＳ）１０９、リセット信号線（ＲＳＴ）１０８および転送信号線（ＴＲ）１０７と接続されているため、これらの制御信号に合わせて動作する。具体的には、画素（＃１１）は、露光期間Ｅ１の最初に、リセット信号線（ＲＳＴ）１０８および転送信号線（ＴＲ）１０７の信号を受け、ＰＤおよびＦＤの電荷がリセットされた後に、露光によるＰＤの電荷蓄積が開始される。ここで、露光期間Ｅ１の途中で、ロウセレクト信号（ＲＳ）１０９が何度か画素（＃１１）に印加された場合でも、リセット信号線（ＲＳＴ）１０８および転送信号線（ＴＲ）１０７の信号が同時に与えられなければ、画素（＃１１）は電荷蓄積を継続する。そして、露光期間Ｅ１の終了時において、ロウセレクト信号（ＲＳ）１０９が印加され、リセット信号線（ＲＳＴ）１０８の信号が印加されることにより、読み出し線（ＲＤ）１１８にＦＤリセット時の電位が出力される。この直後に転送信号線（ＴＲ）１０７の信号が印加されると、ＰＤに蓄積された電荷がＦＤに転送され、同時に読み出し線（ＲＤ）１１８には蓄積電荷相当の信号電位が出力される。

次に、画素（＃１２）について説明する。画素（＃１２）は、ロウセレクト信号（ＲＳ）１０９、リセット信号線（ＲＳＴ）１１１および転送信号線（ＴＲ）１１０と接続されているため、これらの制御信号に合わせて動作する。具体的には、画素（＃１２）は、露光期間Ｅ２の最初に、リセット信号線（ＲＳＴ）１１１および転送信号線（ＴＲ）１１０の信号を受け、ＰＤおよびＦＤの電荷がリセットされた後に、露光によるＰＤの電荷蓄積が開始される。その後、露光期間Ｅ２の途中で、何度かロウセレクト信号（ＲＳ）１０９が印加され、直後にリセット信号線（ＲＳＴ）１１１の信号が印加されることにより、読み出し線（ＲＤ）にＦＤリセット時の電位が出力される。その直後に、転送信号線（ＴＲ）１１０の信号が印加されると、ＰＤに蓄積された電荷がＦＤに転送され、同時に読み出し線（ＲＤ）１１９には蓄積電荷相当の信号電位が出力される。電荷が転送されたＰＤは電荷０の状態となり、この時点から電荷蓄積を再開する。そして、露光期間Ｅ２中にこの動作が複数回繰り返される。また、露光期間Ｅ２の最後にもう一度蓄積電荷が読み出され、露光動作を終了する。

次に、画素（＃１６）について説明する。画素（＃１６）は、ロウセレクト信号（ＲＳ）１１２、リセット信号線（ＲＳＴ）１１１および転送信号線（ＴＲ）１１０と接続されているため、これらの制御信号に合わせて動作する。ここで、画素（＃１６）については、ロウセレクト信号（ＲＳ）１１２が異なる以外は、画素（＃１２）と同じである。また、ロウセレクト信号（ＲＳ）１０９およびロウセレクト信号（ＲＳ）１１２の露光期間Ｅ２の信号波形は、露光期間Ｅ２の後半部分を除いてほとんど同じである。また、露光期間Ｅ２の終了時についても、ロウセレクト信号（ＲＳ）１０９およびロウセレクト信号（ＲＳ）１１２の信号がオーバーラップしたタイミングで、リセット信号線（ＲＳＴ）１１１および転送信号線（ＴＲ）１１０からの信号の印加がある。このため、画素（＃１６）は、画素（＃１２）と同じ動作となる。

次に、画素（＃１７）について説明する。画素（＃１７）は、ロウセレクト信号（ＲＳ）１１２、リセット信号線（ＲＳＴ）１１４および転送信号線（ＴＲ）１１３と接続されているため、これらの制御信号に合わせて動作する。ここで、ロウセレクト信号（ＲＳ）１１２、リセット信号線（ＲＳＴ）１１４および転送信号線（ＴＲ）１１３の波形は、ロウセレクト信号（ＲＳ）１０９、リセット信号線（ＲＳＴ）１０８および転送信号線（ＴＲ）１０７をずらしただけの違いとなる。このため、露光期間Ｅ３の画素（＃１７）は、露光期間Ｅ１の画素（＃１１）の動作時間をずらしたような動作となる。

以上をまとめると、画素（＃１１）および画素（＃１７）は、露光期間中には連続的に電荷を蓄積し、露光期間終了時に蓄積した電荷を読み出し線（ＲＤ）１１８および１１９に出力するように動作する。これに対して、画素（＃１２）および画素（＃１６）は、露光期間中には断続的に電荷蓄積と出力とを繰り返すように動作する。このように、固体撮像素子１３は、連続的に長時間露光を行う画素と、断続的に短時間露光を繰り返しその都度出力する画素とが市松状に配置されているという特徴がある。

次に、固体撮像素子１３が高ダイナミックレンジのシーン情報を取得する取得方法について図面を参照して詳細に説明する。

図５は、本発明の第１の実施の形態における固体撮像素子１３の露光期間Ｅ１１内のＰＤの電荷蓄積の時間変化を示す図である。図５（ａ）には、明輝度の被写体を露光する場合の一例を示し、図５（ｂ）には、暗輝度の被写体を露光する場合の一例を示す。また、図５（ａ）および（ｂ）に示す横軸は時間軸であり、縦軸はＰＤの電荷量を示す軸である。

最初に、図５（ａ）を参照して、明輝度の被写体を露光する場合について説明する。固体撮像素子１３における２種類の画素のうち、連続して長時間露光を行う画素は、露光期間Ｅ１１に連続して露光し、露光期間Ｅ１１の終了時に矢印１７７に示すタイミングでＰＤからＦＤへの電荷転送を１回行う。この画素のＰＤの電荷量の変化を破線１７８で示す。被写体輝度が高い状況では、このように長時間露光を行う画素は、露光期間中にＰＤ電荷量が飽和レベルＳＬに到達する。この結果、電荷転送時に転送される電荷量Ｑ１は飽和レベルＳＬと等しくなる。

一方、断続的に短時間露光を行う画素は、露光期間Ｅ１１中に、短い露光期間Ｅ１２で断続的に複数回の露光を行う。この複数回の露光毎に、矢印１７０乃至１７７に示すタイミングで、ＰＤからＦＤへの電荷転送が行われ、転送電荷量Ｑ２に相当する信号が、固体撮像素子１３から出力される。このように、短時間露光を行う画素は、明被写体の状況でも飽和しない。

次に、図５（ｂ）を参照して、暗輝度の被写体を露光する場合について説明する。図５（ｂ）に示す時間軸は、図５（ａ）と同じ露光期間を示すものとする。また、長時間露光画素の露光期間Ｅ１１と、短時間露光画素の露光期間Ｅ１２とは、図５（ａ）と同じである。さらに、長時間露光および短時間露光の転送タイミング（矢印１７０乃至１７７で示す）は、図５（ａ）と同じである。

ここで、被写体輝度が低い状況では、破線１８１に示すように、長時間露光画素のＰＤの蓄積電荷の変化が遅いため、転送電荷量Ｑ３は飽和レベルＳＬに到達しない。一方、短時間露光画素では、実線１８０に示すように、ＰＤの電荷蓄積は十分な蓄積が行われないうちに、ＦＤへの転送タイミング１７０乃至１７７を迎えるため、各露光での転送電荷量Ｑ４は非常に小さくなる。このため、ノイズに埋もれてしまうおそれがある。

以上で示したように、２種類の画素を制御して、略同一期間内に、連続して長時間露光を行う画素と、断続的な短時間露光を行う画素とを用いることができるため、明被写体または暗被写体の場合でも、少なくとも何れかの有効な信号を出力することができる。このように、固体撮像素子１３から出力された２種類の信号を用いて画像を生成することにより、明部および暗部の輝度差が大きい高ダイナミックレンジ画像を生成することができる。また、明部および暗部の輝度差が大きい高ダイナミックレンジシーンを白ツブレや黒ツブレを起こすことなく撮像することができる。

図６は、本発明の第１の実施の形態における固体撮像素子１３の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。図６において、各正方形は画素を模式的に表すものである。本発明の第１の実施の形態では、Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）からなるＲＧＢ３色のカラーフィルタを例にして示す。ここで、内部に斜線が付されていない正方形は長時間露光画素を示し、内部に斜線を付された正方形は短時間露光画素を示す。また、各正方形の内部には、カラーフィルタの種類を示す記号を示す。例えば、Ｇ画素のうちの長時間露光画素には「Ｇ_Ｌ」を付し、短時間露光画素には「Ｇ_Ｓ」を付す。また、Ｒ画素のうちの長時間露光画素には「Ｒ_Ｌ」を付し、短時間露光画素には「Ｒ_Ｓ」を付す。さらに、Ｂ画素のうちの長時間露光画素には「Ｂ_Ｌ」を付し、短時間露光画素には「Ｂ_Ｓ」を付す。なお、Ｇ画素は、特許請求の範囲に記載の第１の分光感度の画素の一例である。また、Ｒ画素は、特許請求の範囲に記載の第２の分光感度の画素の一例である。さらに、Ｂ画素は、特許請求の範囲に記載の第３の分光感度の画素の一例である。

同図では、長時間露光画素と短時間露光画素とが市松状に配置される例を示している。そして、長時間露光画素および短時間露光画素ともに、ＲＧＢ３色のカラーフィルタは斜め４５度傾いたベイヤー（Bayer）配列で配置されている。同図に示す例では、画素の露光制御の空間的配置と色の空間的配置とについて、露光制御の空間的配置の密度および等方性を色の空間的配置よりも優先する。これにより、高ダイナミックレンジ撮像において露光制御の空間的配置に有利な画素配置とすることができる。

図７は、本発明の第１の実施の形態における固体撮像素子１３により短時間露光で断続的に撮像される短時間露光モザイク画像の画素配列の一例を模式的に示す図である。同図に示す短時間露光モザイク画像の画素配列は、図６に示す固体撮像素子１３の画素配列に対応するものである。この短時間露光モザイク画像は、図６に示す固体撮像素子１３の画素配列から、長時間露光画素位置の情報を除外したデータである。

図８は、本発明の第１の実施の形態における固体撮像素子１３により長時間露光で撮像される長時間露光モザイク画像の画素配列の一例を模式的に示す図である。同図に示す長時間露光モザイク画像の画素配列は、図６に示す固体撮像素子１３の画素配列に対応するものである。この長時間露光モザイク画像は、図６に示す固体撮像素子１３の画素配列から、短時間露光画素位置の情報を除外したデータである。

次に、画像処理回路２３により行われる信号処理について図面を参照して詳細に説明する。ここで、本発明の各実施の形態で示す信号処理は、画像処理回路２３に入力されたデジタル信号（画像データ）に対して、画像処理回路２３内部の演算ユニットが所定のプログラムコードに記述された演算を実行することにより実現される。そこで、以下では、そのプログラム中の各処理単位を機能ブロックとして説明し、各処理により実行される順序をフローチャートで説明する。なお、本発明の各実施の形態で説明するプログラムによる実施形態以外にも、以下で示す機能ブロックと同等の処理を実現するハードウェア回路を実装する構成にしてもよい。

図９は、本発明の第１の実施の形態における画像処理回路２３の機能構成例を示すブロック図である。なお、図９では、画像処理回路２３により行われる信号処理全体の構成を示す。画像処理回路２３は、ホワイトバランス処理部２０１と、ホワイトバランス処理部２０２と、ＲＧＢ画像合成部２０３と、ガンマ補正部２０４と、ＹＣ変換部２０５とを備える。

ホワイトバランス処理部２０１は、固体撮像素子１３により短時間露光で断続的に撮像された短時間露光モザイク画像（図７参照）にホワイトバランス処理を施すものであり、ホワイトバランス処理が施された画像データをＲＧＢ画像合成部２０３に出力する。ホワイトバランス処理部２０２は、固体撮像素子１３により長時間露光で撮像された長時間露光モザイク画像（図８参照）にホワイトバランス処理を施すものであり、ホワイトバランス処理が施された画像データをＲＧＢ画像合成部２０３に出力する。これらのホワイトバランス処理は、例えば、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理である。

ＲＧＢ画像合成部２０３は、ホワイトバランス処理が施された短時間露光モザイク画像と長時間露光モザイク画像を合成し、高ダイナミックレンジのＲＧＢ画像を合成するものであり、合成されたＲＧＢ画像をガンマ補正部２０４に出力する。なお、ＲＧＢ画像合成部２０３については、図１０等を参照して詳細に説明する。

ガンマ補正部２０４は、ＲＧＢ画像合成部２０３により合成されたＲＧＢ画像にガンマ補正を施すものであり、ガンマ補正が施されたＲＧＢ画像をＹＣ変換部２０５に出力する。

ＹＣ変換部２０５は、ガンマ補正部２０４によりガンマ補正が施されたＲＧＢ画像をＹ画像およびＣ画像に変換するＹＣマトリックス部である。そして、変換されたＹ画像およびＣ画像が、表示ドライバ４１および符号化／復号器３１に供給される。

このように、画像処理回路２３は、短時間露光で断続的に撮像された複数のモザイク画像と、長時間露光で撮像されたモザイク画像との２種類の画像データを入力し、この２種類の画像データに基づいて高ダイナミックレンジのＹ画像およびＣ画像を出力する。

図１０は、本発明の第１の実施の形態におけるＲＧＢ画像合成部２０３の機能構成例を示すブロック図である。ＲＧＢ画像合成部２０３は、第１のデモザイク処理部２１１と、第２のデモザイク処理部２１２と、カメラブレ推定部２１３と、短時間露光カメラブレ補正部２１６と、長時間露光カメラブレ補正部２１８と、高ダイナミックレンジ画像合成部２２１とを備える。

第１のデモザイク処理部２１１は、ホワイトバランス処理部２０１によりホワイトバランス処理が施された複数の短時間露光モザイク画像のそれぞれに対してデモザイク処理を施して、複数の短時間露光ＲＧＢ画像を生成するものである。そして、生成された各短時間露光ＲＧＢ画像をカメラブレ推定部２１３および短時間露光カメラブレ補正部２１６に出力する。なお、短時間露光ＲＧＢ画像は、各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃った画像である。

第２のデモザイク処理部２１２は、ホワイトバランス処理部２０２によりホワイトバランス処理が施された長時間露光モザイク画像に対してデモザイク処理を施して、長時間露光ＲＧＢ画像を生成するものである。そして、生成された長時間露光ＲＧＢ画像を長時間露光カメラブレ補正部２１８に出力する。なお、長時間露光ＲＧＢ画像は、各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃った画像である。

ここで、第１および第２のデモザイク処理部２１１および２１２によるデモザイク処理は、画素情報が欠落した画素位置も含め、全画素位置でのＲＧＢの値を算出し、各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように行われる補間処理である。例えば、図７および図８に示すように、短時間露光モザイク画像および長時間露光モザイク画像の何れのモザイク画像も、画素配列を４５度回転させると、ベイヤー配列となる。そこで、例えば、第１および第２のデモザイク処理部２１１および２１２は、各モザイク画像を斜めに傾けたベイヤー配列に対して、通常のベイヤー配列に対するデモザイク処理を適用することができる。そして、欠落した画素位置のＲＧＢ値を周囲画素からバイリニア補間することにより、各モザイク画像のデモザイク処理を行う。なお、ここでは、各モザイク画像を斜めに傾けて、デモザイク処理を施す例について説明したが、他のデモザイク処理を適用するようにしてもよい。

カメラブレ推定部２１３は、動き推定部２１４および曲線フィッティング部２１５を備え、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像に基づいて、露光期間中のカメラの動き（カメラブレ情報）を算出するものである。なお、カメラブレ推定部２１３は、特許請求の範囲に記載のブレ推定部の一例である。

動き推定部２１４は、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像について、時間軸上で隣接するフレーム間のカメラブレ情報であるフレーム間カメラブレ情報を算出するものである。そして、算出されたフレーム間カメラブレ情報を曲線フィッティング部２１５に出力する。本発明の第１の実施の形態では、このフレーム間カメラブレ情報として、画像間におけるカメラ運動行列を用いる例について説明する。ここで、本発明の第１の実施の形態では、カメラ運動行列として、式１に示すように、画像上の点ｍ１を画像上の点ｍ２に座標変換するアフィン行列Ｈを用いる例について説明する。このアフィン行列Ｈは、３×３の行列であり、６自由度を有する変換行列である。

ここで、動き推定部２１４によるアフィン行列の算出方法について説明する。

例えば、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像について、時間軸上で隣接する２つの画像（フレーム）が取得される。この２つの画像のうち、時間軸上における時刻の早い画像を画像１とし、時刻の遅い画像を画像２とする。続いて、画像１および画像２における特徴点の抽出が行われる。例えば、エッジ検出技術を用いて、縦方向かつ横方向にエッジの勾配が強い点（例えば、コーナー点）を特徴点として抽出することができる。また、画像間の対応点探査を行うことが可能な特徴点を抽出する他の特徴点抽出処理を用いることができる。

続いて、画像１において抽出された特徴点と、画像２において抽出された特徴点との対応付けが行われる。この特徴点の対応付けは、画像１および画像２について、同じ被写体とみなされる特徴点の対を抽出することである。この特徴点の対応付け方法として、例えば、特徴点の周囲の矩形画像同士の正規化相関等の指標に基づいて、類似する特徴点の対を抽出する手法を用いることができる。また、カメラ運動行列を正しく計算することが可能であれば、他の対応点付け方法を用いてもよい。例えば、勾配法やブロックマッチング方法等を用いることができる。

続いて、抽出された対応点対（対応付けされた特徴点の対）を用いてアフィン行列が算出される。このアフィン行列算出方法として、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）を用いたアフィン行列算出方法を用いることができる。具体的には、抽出された対応点対の中からランダムに対応点対を選択し、この選択された対応点対を用いてアフィン行列を最小２乗推定する操作を繰り返す。そして、算出されたアフィン行列により説明できない対応点対がなるべく少なくなるものを推定結果として選択する。この例では、ＲＡＮＳＡＣを用いたアフィン行列算出方法を例にして説明したが、他のアフィン行列算出方法を用いるようにしてもよい。

このように、算出されたアフィン行列が動き推定部２１４内のメモリに書き込まれる。また、第１のデモザイク処理部２１１から出力された他の短時間露光ＲＧＢ画像についても同様に、時間軸上で隣接する２つの画像間のアフィン行列が順次算出され、メモリに書き込まれる。このように、動き推定部２１４は、複数の短時間露光画像を構成する各画像間の座標変換行列の各要素の離散的な時間変化を算出するものであり、特許請求の範囲に記載の算出部の一例である。

曲線フィッティング部２１５は、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像について、一定区間（長時間露光区間）内のカメラブレ情報を算出するものである。すなわち、曲線フィッティング部２１５は、動き推定部２１４から出力されたフレーム間カメラブレ情報（アフィン行列）に基づいて、各画像間のカメラブレを滑らかにつなぐスプライン曲線の制御点（スプライン制御点）を、カメラブレ情報として算出する。そして、算出されたスプライン制御点を短時間露光カメラブレ補正部２１６および長時間露光カメラブレ補正部２１８に出力する。ここで、本発明の第１の実施の形態では、カメラの動きを表す運動行列の各要素の時間変化を示すスプライン曲線を特定するスプライン制御点をカメラブレ情報として説明する。このスプライン制御点の算出方法について、次図を参照して詳細に説明する。

図１１は、本発明の第１の実施の形態における曲線フィッティング部２１５により算出されるスプライン制御点と、これを算出する際に用いられるアフィン行列（フレーム間カメラブレ情報）とを示す図である。図１１（ａ）には、動き推定部２１４から出力されたアフィン行列の一要素の変化を時系列で表すグラフを示し、図１１（ｂ）には、そのアフィン行列の一要素の変化に基づいて算出されたスプライン制御点を表すグラフを示す。ここで、図１１（ａ）および（ｂ）に示すグラフにおいて、横軸は時間軸であり、縦軸はアフィン行列の一要素の値を示す軸である。なお、時間経過に沿って各画像が順次露光されるため、図１１（ａ）および（ｂ）に示すグラフの横軸には、複数の短時間露光ＲＧＢ画像のフレームを単位とする目盛を付す。例えば、最初（０番目）の短時間露光については、ｔ＝０で開始され、ｔ＝１で終了となる。また、図１１では、アフィン行列の要素として、式１に示すアフィン行列の１番目の要素ａを例にして説明する。また、図１１に示す例では、１つの長時間露光画像が生成される間（長時間露光区間）に、８つの短時間露光画像が生成される場合を例にして示す。

ここで、動き推定部２１４により算出されたアフィン行列は、１つの短時間露光画像の露光時刻から次の短時間露光画像の露光時刻までの時間変化に相当するものである。また、各短時間露光画像の露光の長さは、図１１に示すグラフの横軸上の１区間であるが、露光時刻としてはその区間の中心位置で代表させることが適切である。そこで、各短時間露光画像間のアフィン行列の一要素の時間変化は、図１１（ａ）に示すように、横軸上の「ｉ−０．５」を始点とし、「ｉ＋０．５」を終点とする矢印３１１乃至３１７で表すことができる（ｉは整数（１≦ｉ≦７））。なお、図１１（ａ）では、矢印３１１乃至３１７の始点または終点を点３０１乃至３０８で示す。

ここで、アフィン行列は、２つの画像間の相対的な運動を示す行列である。このため、図１１（ａ）に示すグラフ上にスプライン曲線を描くためには、アフィン行列の各要素に関する縦軸上の基準となる位置を設定する必要がある。そこで、図１１（ａ）に示すグラフにおいて、カメラ位置の基準となる時刻の位置を横軸上の何れかの位置に設定する。例えば、カメラ位置の基準となる時刻の位置をｔ＝０とし、この場合における縦軸の値をａ＝１とする。以下では、カメラ位置の基準となる時刻の位置をｔ＝０とした場合について説明するが、横軸上の他の位置をカメラ位置の基準として設定するようにしてもよい。また、横軸上の何れの位置を設定した場合でも、以下で説明するスプライン曲線の計算方法は成り立つ。

曲線フィッティング部２１５は、例えば、図１１（ａ）に示す矢印３１１乃至３１７の始点・終点３０１乃至３０８を繋げたような曲線をスプライン曲線として算出する。このスプライン曲線は、例えば、図１１（ａ）および（ｂ）に示すグラフにおいて、時刻ｔ＝０からｔ＝８までの滑らかなパラメトリック曲線（グラフ上に破線で示す曲線３３０）であり、式１に示すアフィン行列Ｈの要素ａの時間変化に基づいて算出される。このように算出されたスプライン曲線を、図１１（ａ）および（ｂ）に示すグラフでは破線３３０で示す。具体的に、スプライン曲線は、式２に示す３次Ｂ−スプライン関数ａ（ｔ）を用いて算出することができる。なお、式２の右辺のＮは、式３を用いて表すことができる。

ここで、ｘ_ｊ（ｊ＝０，…，１２）はスプラインのノットであり、この例では、｛０，０，０，１，…，７，８，８，８｝の１３個の整数を用いる。また、図１１（ｂ）に示すスプライン制御点（Ａ_０）３２０乃至（Ａ_８）３２８は、アフィン行列の要素ａを用いて、式４に示す連立方程式を解くことにより算出することができる。ここで、式４の各連立方程式の右辺に登場するΔａ_ｉ→ｊは、画像間（ｉ，ｊ）のアフィン行列の要素ａを表す。図１１（ｂ）に示すように、９個のスプライン制御点（Ａ_０）３２０乃至（Ａ_８）３２８に対して、１０個の方程式（式４）が得られるため、最小２乗法で解くことができる。なお、式４に示す連立方程式は、アフィン行列の要素ａに関する連立方程式である。アフィン行列の他の要素の場合には、式４に示す第１の方程式の右辺値がそれぞれ異なる。具体的には、要素ａと要素ｅについては、式４の右辺値は「１」であるが、他の要素（ｂ、ｃ、ｄ、ｆ）については、式４の右辺値は「０」となる（ただし、基準がｔ＝０の場合）。これは、単位行列の要素に対応させるためである。なお、図１１（ｂ）では、算出されたスプライン制御点（Ａ_０）３２０乃至（Ａ_８）３２８を、黒塗りの四角で示す。また、算出されたスプライン制御点（Ａ_０）３２０乃至（Ａ_８）３２８により、スプライン曲線の形状が決定される。

図１０において、短時間露光カメラブレ補正部２１６は、曲線フィッティング部２１５から出力されたカメラブレ情報に基づいて、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像のカメラブレを補正するものである。そして、補正された短時間露光ＲＧＢ画像を高ダイナミックレンジ画像合成部２２１に出力する。すなわち、短時間露光カメラブレ補正部２１６は、動き補償部２１７を備え、この動き補償部２１７が、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像の各フレームについてカメラブレ補償を行う。この補償により、複数の短時間露光ＲＧＢ画像の各画素が同一の位置に重ね合わせられて、平均化される。

具体的には、動き補償部２１７は、複数の短時間露光ＲＧＢ画像のうち、カメラ位置の基準となる１つのフレーム（例えば、図１１（ａ）のｔ＝０．５に対応する画像）を基準フレームとして決定する。そして、この基準フレームに対応する画像（基準画像）の画素位置のうちの１つの画素位置を基準画素位置とし、基準画像以外の各画像（対象画像）について、基準画素位置に対応する位置の画素値を順次算出する。ここで、基準画像から時刻ｔ＝０へのアフィン行列および時刻ｔ＝０から対象画像へのアフィン行列は、カメラブレ情報（スプライン制御点）を用いることにより算出することができる。そこで、このように算出されたアフィン行列を用いて、基準画素位置に対応する対象画像の位置を求める。そして、求められた基準画素位置に対応する対象画像の位置の画素値を順次算出する。なお、動き推定部２１４により算出されたアフィン行列を動き補償部２１７が保持しておき、このアフィン行列を用いるようにしてもよい。

このように算出された各対象画像の画素値を、動き補償部２１７は基準画像の基準画素位置の画素値に順次加算する。そして、基準画像以外の全対象画像の基準画素位置の画素値の加算が終了した場合には、基準画素位置に関する加算後の画素値を、画素値の加算の対象となった画像数で除算して平均値を算出する。そして、除算後の画素値（平均値）を基準画素位置のカメラブレ補正結果として動き補償部２１７内のメモリ（図示せず）に書き込む。続いて、基準画像における基準画素位置を順次変更して、上記と同様に、基準画像の全画素位置について平均値の算出を順次行い、その平均値を基準画素位置のカメラブレ補正結果として動き補償部２１７内のメモリに書き込む。そして、基準画像の全画素位置について、平均値の算出と動き補償部２１７内のメモリへの書き込みが終了するまで繰り返す。なお、短時間露光カメラブレ補正部２１６は、特許請求の範囲に記載の短時間露光ブレ補正部の一例である。

長時間露光カメラブレ補正部２１８は、曲線フィッティング部２１５から出力されたカメラブレ情報に基づいて、第２のデモザイク処理部２１２から出力された長時間露光ＲＧＢ画像のカメラブレを補正するものである。具体的には、長時間露光カメラブレ補正部２１８は、局所ＰＳＦレンダリング部２１９と、デコンボリューション部２２０とを備える。なお、長時間露光カメラブレ補正部２１８は、特許請求の範囲に記載の長時間露光ブレ補正部の一例である。

局所ＰＳＦレンダリング部２１９は、曲線フィッティング部２１５から出力されたカメラブレ情報に基づいて、画像の各局所領域における局所ＰＳＦ画像を生成するものであり、生成された各局所ＰＳＦ画像をデコンボリューション部２２０に出力する。なお、ＰＳＦ（点広がり関数、点ボケ関数）は、入力として点光源を与えたときに、出力としてどれだけボケた像が現れるかを示す関数である。このＰＳＦを用いて画像を補正するためのＰＳＦ画像が算出される。すなわち、局所ＰＳＦレンダリング部２１９は、長時間露光ＲＧＢ画像を分割した矩形の小領域（ｉ，ｊ）についてそれぞれ局所ＰＳＦ画像を算出する。具体的には、局所ＰＳＦレンダリング部２１９は、予めデータとして記憶されている最小ＰＳＦ画像を読み出す。ここで、最小ＰＳＦ画像は、カメラブレが全く存在しない場合のその撮像系のＰＳＦを表す画像データである。そして、時刻を表す変数ｔを「０」に初期化する。続いて、適切な刻み幅で刻んだ各時刻ｔについて、時刻ｔにおける小領域の中心画素位置のカメラブレによる移動位置をカメラブレ情報から算出する。具体的には、式１を用いて、ｔ＝０の場合における小領域の中心画素位置（ｘ（０），ｙ（０））からの移動位置（ｘ（ｔ），ｙ（ｔ））を算出する。ここで、式１に示すアフィン行列Ｈは、アフィン行列Ｈの時間変化を示す式２に、時刻ｔを代入することにより算出することができる。続いて、算出された時刻ｔにおける移動位置（ｘ（ｔ），ｙ（ｔ））に最小ＰＳＦ画像を描画する。この描画の際に、時刻ｔ以前に描画された結果と描画領域が重なる場合には、上書きでなく、これまでの値に描画値を積分する。続いて、時刻ｔを微小刻み幅Δｔだけ進める。新しい時刻ｔが露光終了時刻を経過している場合には、これまでの描画結果を局所ＰＳＦ画像として局所ＰＳＦレンダリング部２１９内のメモリに書き込む。なお、局所ＰＳＦレンダリング部２１９は、特許請求の範囲に記載のレンダリング部の一例である。

デコンボリューション部２２０は、局所ＰＳＦレンダリング部２１９から出力された局所ＰＳＦ画像に基づいて、第２のデモザイク処理部２１２から出力された長時間露光ＲＧＢ画像について、局所毎にボケ補正処理を行うものである。このボケ補正処理により、カメラブレ補正済みの長時間露光ＲＧＢ画像を生成し、生成された長時間露光ＲＧＢ画像を高ダイナミックレンジ画像合成部２２１に出力する。具体的には、デコンボリューション部２２０は、長時間露光カメラブレ補正を行うための暫定結果画像Ｘを生成し、この暫定結果画像Ｘを、第２のデモザイク処理部２１２から出力された長時間露光ＲＧＢ画像で初期化する。すなわち、暫定結果画像Ｘを長時間露光ＲＧＢ画像で置き換える。続いて、長時間露光ＲＧＢ画像を矩形の小領域に分割し、この分割後の各小領域について、局所ＰＳＦレンダリング部２１９により生成された小領域（ｉ，ｊ）に対応する局所ＰＳＦ画像の値を行列の形式に変換して行列Ａ（ｉ，ｊ）を作成する。ここで、小領域（ｉ，ｊ）の大きさを（ｍ×ｎ）とすると、行列Ａ（ｉ，ｊ）は、（（ｍ×ｎ）×（ｍ×ｎ））の行列であり、行列Ａ（ｉ，ｊ）の各行は、小領域（ｉ，ｊ）の各画素位置における局所ＰＳＦの係数（局所ＰＳＦ画像の画素値）を表す。また、局所ＰＳＦレンダリング部２１９により生成された各小領域（ｉ，ｊ）の局所ＰＳＦ画像の大きさを（ｐ×ｑ）とする。この場合には、行列Ａ（ｉ，ｊ）の各行の（ｍ×ｎ）個の要素のうち、（ｐ×ｑ）個に局所ＰＳＦの係数が当てはめられ、残りの（（ｍ×ｎ）−（ｐ×ｑ））個の要素には０が入る。なお、局所ＰＳＦの係数が入る要素がどの位置であるかは、その行が小領域（ｉ，ｊ）のどの画素位置に対応するかによって決まる。また、デコンボリューション部２２０は、長時間露光ＲＧＢ画像における分割後の各小領域（ｉ，ｊ）の画素値をベクトルの形式に変換してベクトルｂ（ｉ，ｊ）を作成する。ここで、長時間露光ＲＧＢ画像における分割後の小領域（ｉ，ｊ）の大きさを（ｍ×ｎ）とすると、ベクトルｂ（ｉ，ｊ）は、その画素値を順に一列に並べた（（ｍ×ｎ）×１）の列ベクトルである。そして、デコンボリューション部２２０は、全ての小領域（ｉ，ｊ）について、行列Ａ（ｉ，ｊ）およびベクトルｂ（ｉ，ｊ）を作成する。

また、デコンボリューション部２２０は、全ての小領域（ｉ，ｊ）について行列Ａ（ｉ，ｊ）およびベクトルｂ（ｉ，ｊ）が作成された後に、暫定結果画像Ｘの各小領域（ｉ，ｊ）について、小領域（ｉ，ｊ）に対応する部分をベクトルの形式に変換する。この変換によりベクトルｘ（ｉ，ｊ）を作成する。ここで、小領域（ｉ，ｊ）の大きさをｍ×ｎとすると、ベクトルｘ（ｉ、ｊ）は、その小領域（ｉ，ｊ）の画素値を順に一列に並べた（ｍ×ｎ）×１の列ベクトルである。続いて、デコンボリューション部２２０は、式５に基づいてベクトルｘ（ｉ，ｊ）（更新後のベクトルｘには、式５では波線符号（チルダ）を付す）を更新し、ベクトルｘ（ｉ，ｊ）と更新後のベクトルｘ（チルダ付ｘ）（ｉ，ｊ）との差分Δｘ（ｉ，ｊ）を算出する。この式５において、λは予め設定されている定数である。ここで、更新後のベクトルｘ（チルダ付ｘ）（ｉ，ｊ）および更新前後の差分Δｘ（ｉ，ｊ）も（ｍ×ｎ）×１の列ベクトルとなる。なお、式５に示す単位行列Ｉは、（（ｍ×ｎ）×（ｍ×ｎ））の行列である。

続いて、デコンボリューション部２２０は、全小領域について、差分Δｘ（ｉ，ｊ）が算出された場合には、各小領域の更新後のベクトルｘ（ｉ，ｊ）に基づいて暫定結果画像Ｘを更新する。続いて、デコンボリューション部２２０は、評価値ｍｉｎ（Δｘ（ｉ，ｊ））を算出する。ここで、評価値ｍｉｎ（Δｘ（ｉ，ｊ））は、差分Δｘ（ｉ，ｊ）の絶対値のうちの最小値を表す最小値関数を示す。続いて、デコンボリューション部２２０は、評価値ｍｉｎ（Δｘ（ｉ，ｊ））が予め定められた基準ε１よりも小さくなったか否かを判断する。そして、評価値ｍｉｎ（Δｘ（ｉ，ｊ））が基準ε１よりも小さくなるまで、ベクトルｘ（ｉ，ｊ）の作成および差分Δｘ（ｉ，ｊ）の算出の処理を繰り返す。また、評価値ｍｉｎ（Δｘ（ｉ，ｊ））が基準ε１よりも小さくなった場合には、その時点における暫定結果画像Ｘを、カメラブレ補正済みの長時間露光ＲＧＢ画像として出力する。

高ダイナミックレンジ画像合成部２２１は、短時間露光カメラブレ補正部２１６によりカメラブレ補正が施された短時間露光ＲＧＢ画像と、長時間露光カメラブレ補正部２１８によりカメラブレ補正が施された長時間露光ＲＧＢ画像とを合成するものである。そして、高ダイナミックレンジ画像を生成し、ガンマ補正部２０４に出力する。具体的には、高ダイナミックレンジ画像合成部２２１は、加算応答逆特性ＬＵＴ保持部２２２と、画素値加算部２２３と、画素値変換部２２４とを備える。なお、高ダイナミックレンジ画像合成部２２１は、特許請求の範囲に記載の画像合成部の一例である。

加算応答逆特性ＬＵＴ保持部２２２は、加算応答逆特性ＬＵＴ（Look up Table）を保持するものであり、保持されている加算応答逆特性ＬＵＴを画素値変換部２２４に供給する。なお、加算応答逆特性ＬＵＴについては、図１２を参照して詳細に説明する。

画素値加算部２２３は、短時間露光カメラブレ補正部２１６および長時間露光カメラブレ補正部２１８から出力された２つの画像の画素値を画素毎に加算するものであり、加算結果である加算画素値を画素値変換部２２４に出力する。具体的には、画素値加算部２２３は、カメラブレ補正が施された短時間露光ＲＧＢ画像と、カメラブレ補正が施された長時間露光ＲＧＢ画像とについて、同一の画素位置（対象画素位置）の画素値を画素毎に加算する。

画素値変換部２２４は、加算応答逆特性ＬＵＴ保持部２２２に保持されている加算応答逆特性ＬＵＴを用いて、画素値加算部２２３から出力された加算画素値を変換するものである。具体的には、画素値変換部２２４は、加算応答逆特性ＬＵＴを用いて、加算画素値を補正し、補正された加算画素値を、対象画素位置における合成結果の画素値としてメモリに書き込む。そして、カメラブレ補正が施された短時間露光ＲＧＢ画像と、カメラブレ補正が施された長時間露光ＲＧＢ画像との全ての画素位置について、合成結果の画素値の書込みが終了すると、高ダイナミックレンジ画像として出力される。

ここで、高ダイナミックレンジ画像を生成する際に用いられる加算応答逆特性ＬＵＴについて、図１２を参照して詳細に説明する。

図１２は、本発明の第１の実施の形態における固体撮像素子１３への入射光強度と、出力される画素値の応答特性との関係を示す図である。図１２（ａ）には、横軸を固体撮像素子１３への入射光強度の値を示す軸とし、縦軸を画素値を示す軸とするグラフを示す。

固体撮像素子（画像センサ）は、通常は入射光強度に対して線形な特性を有するため、短時間露光画像の応答特性は、例えば、図１２（ａ）に示す破線３４１のようになる。これに対して、長時間露光画像は短時間露光よりも露出が大きいため、長時間露光画像の応答特性は、例えば、図１２（ａ）に示す点線３４２のようになる。したがって、短時間露光画像および長時間露光画像を加算した画像の応答特性は、図１２（ａ）に示す実線３４３のようになる。この加算応答特性については、撮像装置に備えられている画像センサの特性と、短時間露光と長時間露光との露出の比率が判っている場合には予め算出しておくことができる。

加算応答逆特性ＬＵＴは、上述の加算応答の逆特性をテーブル化したデータであり、固体撮像素子の特性を考慮した加算画素値を逆引きするためのものである。この加算応答逆特性ＬＵＴは、例えば、図１２（ｂ）のグラフ上における実線３４４で示すような形状となる。なお、図１２（ｂ）に示すグラフは、横軸を加算画素値を示す軸とし、縦軸を出力画素値を示す軸とするグラフである。図１２（ｂ）に示すグラフを用いて、画素値変換部２２４が、画素値加算部２２３から出力された加算画素値を出力画素値に変換する。このように、加算応答逆特性ＬＵＴを利用して、短時間露光画像と長時間露光画像との画素値を加算した値を変換することにより、適切な高ダイナミックレンジ画像を生成することができる。また、この画像合成の際には、短時間露光画像および長時間露光画像の何れかに明るさを合わせなくてもよいため、ノイズの増加を防止することができる。このため、Ｓ／Ｎ比を良好にすることができる。

次に本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１３は、本発明の第１の実施の形態におけるＲＧＢ画像合成部２０３の処理手順を示すフローチャートである。

最初に、ループＬ９００では、第１のデモザイク処理部２１１が、ホワイトバランス処理部２０１から出力された短時間露光モザイク画像をデモザイク処理し、短時間露光ＲＧＢ画像を生成する（ステップＳ９０１）。ホワイトバランス処理部２０１から出力された長時間露光区間内の短時間露光モザイク画像について、デモザイク処理が実行されると、ループＬ９００は終了して、ステップＳ９０２に移行する。

続いて、第２のデモザイク処理部２１２が、ホワイトバランス処理部２０２から出力された長時間露光モザイク画像をデモザイク処理し、長時間露光ＲＧＢ画像を生成する（ステップＳ９０２）。

続いて、カメラブレ推定部２１３が、カメラブレ推定処理を行う（ステップＳ９１０）。このカメラブレ推定処理については、図１４乃至図１６を参照して詳細に説明する。なお、ステップＳ９１０は、特許請求の範囲に記載のブレ推定手順の一例である。

続いて、短時間露光カメラブレ補正部２１６が、短時間露光ＲＧＢ画像のカメラブレ補正処理を行う（ステップＳ９５０）。ステップＳ９５０のカメラブレ補正処理については、図１７を参照して詳細に説明する。なお、ステップＳ９５０は、特許請求の範囲に記載の短時間露光ブレ補正手順の一例である。

続いて、長時間露光カメラブレ補正部２１８が、長時間露光ＲＧＢ画像のカメラブレ補正処理を行う（ステップＳ９６０）。ステップＳ９６０のカメラブレ補正処理については、図１８および図１９を参照して詳細に説明する。なお、ステップＳ９６０は、特許請求の範囲に記載の長時間露光ブレ補正手順の一例である。

続いて、高ダイナミックレンジ画像合成部２２１が、高ダイナミックレンジ画像の合成処理を行い（ステップＳ９９０）、ＲＧＢ画像合成部２０３の処理を終了する。この高ダイナミックレンジ画像の合成処理については、図２０を参照して詳細に説明する。なお、ステップＳ９９０は、特許請求の範囲に記載の画像合成手順の一例である。

図１４は、本発明の第１の実施の形態におけるカメラブレ推定部２１３によるカメラブレ推定処理（図１３のステップＳ９１０）の処理手順を示すフローチャートである。

最初に、ループＬ９１１では、動き推定部２１４が、第１のデモザイク処理部２１１から出力された各短時間露光ＲＧＢ画像について、時間的に隣接するフレーム間のアフィン行列を算出する動き推定処理を行う（ステップＳ９２０）。この動き推定処理については、図１５を参照して詳細に説明する。第１のデモザイク処理部２１１から出力された長時間露光区間内の短時間露光ＲＧＢ画像について動き推定処理が実行されると、ループＬ９１１は終了して、ステップＳ９３０に移行する。

続いて、曲線フィッティング部２１５が、各画像間のカメラブレを滑らかにつなぐスプライン曲線の制御点（すなわち、カメラブレ情報）を算出する曲線フィッティング処理を行い（ステップＳ９３０）、カメラブレ推定処理の動作を終了する。この曲線フィッティング処理については、図１６を参照して詳細に説明する。

図１５は、本発明の第１の実施の形態における動き推定部２１４による動き推定処理（図１４のステップＳ９２０）の処理手順を示すフローチャートである。

動き推定部２１４は、複数の短時間露光ＲＧＢ画像について、時間軸上で隣接する２つの画像のうち、時間軸上における時刻の早い画像（画像１）を取得し（ステップＳ９２１）、その２つの画像のうち、時刻の遅い画像（画像２）を取得する（ステップＳ９２２）。

続いて、動き推定部２１４は、画像１における特徴点を抽出し（ステップＳ９２３）、画像２における特徴点を抽出する（ステップＳ９２４）。続いて、動き推定部２１４は、画像１において抽出された特徴点と、画像２において抽出された特徴点との対応付けを行い、対応点対を抽出する（ステップＳ９２５）。

続いて、動き推定部２１４は、抽出された対応点対を用いてアフィン行列を算出する（ステップＳ９２６）。続いて、動き推定部２１４は、算出されたアフィン行列をメモリに書き込み（ステップＳ９２７）、動き推定部２１４の処理を終了する。

図１６は、本発明の第１の実施の形態における曲線フィッティング部２１５による曲線フィッティング処理（図１４のステップＳ９３０）の処理手順を示すフローチャートである。

曲線フィッティング部２１５は、動き推定部２１４により算出された各アフィン行列をメモリから読み出す（ステップＳ９３１）。続いて、ループＬ９３２では、曲線フィッティング部２１５が、各アフィン行列の６つの要素について、各要素の時間変化であるスプライン曲線を決定するスプライン制御点を、式４を用いて算出する（ステップＳ９３３）。各アフィン行列の６つの要素の全てについて、スプライン制御点を算出する処理が実行されると、ループＬ９３２は終了して、ステップＳ９３４に移行する。

続いて、曲線フィッティング部２１５は、算出された全てのスプライン制御点をカメラブレ情報としてメモリに書き込み（ステップＳ９３４）、曲線フィッティング部２１５の処理を終了する。

図１７は、本発明の第１の実施の形態における短時間露光カメラブレ補正部２１６による短時間露光ＲＧＢ画像のカメラブレ補正処理（図１３のステップＳ９５０）の処理手順を示すフローチャートである。

短時間露光カメラブレ補正部２１６は、第１のデモザイク処理部２１１によりデモザイク処理が施された短時間露光ＲＧＢ画像を取得する（ステップＳ９５１）。続いて、短時間露光カメラブレ補正部２１６は、カメラブレ情報（すなわち、スプライン制御点）を読み出す（ステップＳ９５２）。

続いて、ループＬ９５３では、複数の短時間露光ＲＧＢ画像のうち、１つの基準画像を決定し、この基準画像の各画素位置について、ループＬ９５４とステップＳ９５７乃至Ｓ９５８の処理を行う。すなわち、基準画像における１つの画素位置を基準画素位置とし、この基準画素位置について、ループＬ９５４とステップＳ９５７乃至Ｓ９５８の処理を行う。

ループＬ９５４では、基準画像以外の対象画像のうちの１つの対象画像を順次決定し、この１つの対象画像について、基準画素位置に対応する画素位置を算出し、この基準画素位置に対応する画素位置の画素値を算出する（ステップＳ９５５）。続いて、算出された対象画像の画素値を基準画像の基準画素位置の画素値に加算する（ステップＳ９５６）。ループＬ９５４では、全ての対象画像について、基準画素位置の画素値の加算が終了するまで繰り返す。

全ての対象画像について、基準画素位置の画素値の加算が終了した場合には、ループＬ９５４は終了して、ステップＳ９５７に移行する。そして、基準画素位置に関する加算後の画素値を、画素値の加算の対象となった画像数で除算して平均値を算出する（ステップＳ９５７）。続いて、除算後の画素値（平均値）を基準画素位置のカメラブレ補正結果としてメモリに書き込む（ステップＳ９５８）。そして、基準画像の全画素位置について、平均値の算出と、カメラブレ補正結果のメモリへの書き込みが終了した場合には、ループＬ９５３は終了して、短時間露光ＲＧＢ画像のカメラブレ補正処理の動作を終了する。

図１８は、本発明の第１の実施の形態における長時間露光カメラブレ補正部２１８による長時間露光ＲＧＢ画像のカメラブレ補正処理（図１３のステップＳ９６０）の処理手順を示すフローチャートである。

長時間露光カメラブレ補正部２１８が、第２のデモザイク処理部２１２によりデモザイク処理が施された長時間露光ＲＧＢ画像を取得する（ステップＳ９６１）。続いて、デコンボリューション部２２０が、暫定結果画像Ｘを生成し、長時間露光ＲＧＢ画像で初期化する（ステップＳ９６２）。

ループＬ９６３では、長時間露光ＲＧＢ画像が矩形の小領域に分割され、この分割された各領域において、ステップＳ９８０、Ｓ９６４およびＳ９６５の各処理を行う。

最初に、局所ＰＳＦレンダリング部２１９が、局所ＰＳＦ画像生成処理を行う（ステップＳ９８０）。この局所ＰＳＦ画像生成処理については、図１９を参照して詳細に説明する。続いて、デコンボリューション部２２０が、小領域（ｉ，ｊ）に対応する局所ＰＳＦ画像の値を行列の形式に変換して行列Ａ（ｉ，ｊ）を作成する（ステップＳ９６４）。続いて、デコンボリューション部２２０が、小領域（ｉ，ｊ）の画素値をベクトルの形式に変換してベクトルｂ（ｉ，ｊ）を作成する（ステップＳ９６５）。そして、長時間露光ＲＧＢ画像における分割後の各小領域について、ステップＳ９６４、Ｓ９６５、Ｓ９８０の各処理が終了すれば、ループＬ９６３を終了して、ループＬ９６６へ移行する。

ループＬ９６６では、ループＬ９６７およびステップＳ９７０の各処理を、評価値ｍｉｎ（Δｘ（ｉ，ｊ））が予め定められた基準ε１よりも小さくなるまで繰り返す。ループＬ９６７では、暫定結果画像Ｘの各小領域についてステップＳ９６８およびＳ９６９の各処理を行う。

デコンボリューション部２２０が、暫定結果画像Ｘの小領域（ｉ，ｊ）に対応する部分をベクトルの形式に変換してベクトルｘ（ｉ，ｊ）を作成する（ステップＳ９６８）。続いて、デコンボリューション部２２０が、式５に基づいてベクトルｘ（ｉ，ｊ）を更新し、差分Δｘ（ｉ，ｊ）を算出する（ステップＳ９６９）。暫定結果画像Ｘの各小領域について、ステップＳ９６８およびＳ９６９の処理が終了したら、ループＬ９６７を終了して、ステップＳ９７０へ移行する。

そして、デコンボリューション部２２０が、全小領域について算出された更新後のベクトルｘ（ｉ，ｊ）に基づいて暫定結果画像Ｘを更新する（ステップＳ９７０）。そして、評価値ｍｉｎ（Δｘ（ｉ，ｊ））が予め定められた基準ε１よりも小さくなった場合には、ループＬ９６６を終了して、ステップＳ９７１へ移行する。そして、デコンボリューション部２２０が、その時点における暫定結果画像Ｘを、カメラブレ補正済みの長時間露光ＲＧＢ画像として出力する（ステップＳ９７１）。

図１９は、本発明の第１の実施の形態における局所ＰＳＦレンダリング部２１９による局所ＰＳＦ画像生成処理（図１８のステップＳ９８０）の処理手順を示すフローチャートである。

局所ＰＳＦレンダリング部２１９は、カメラブレ情報（すなわち、スプライン制御点）を読み出す（ステップＳ９８１）。続いて、局所ＰＳＦレンダリング部２１９は、予めデータとして記憶されている最小ＰＳＦ画像を読み出す（ステップＳ９８２）。続いて、時刻を表す変数ｔを０に初期化する（ステップＳ９８３）。

続いて、ループＬ９８４では、適切な刻み幅で刻んだ各時刻ｔについて、時刻ｔにおける小領域の中心画素位置のカメラブレによる移動位置（ｘ（ｔ），ｙ（ｔ））をカメラブレ情報から算出する（ステップＳ９８５）。続いて、局所ＰＳＦレンダリング部２１９は、算出された時刻ｔにおける位置（ｘ（ｔ），ｙ（ｔ））に最小ＰＳＦ画像を描画する（ステップＳ９８６）。続いて、時刻ｔを微小刻み幅Δｔだけ進める（ステップＳ９８７）。そして、新しい時刻ｔが露光終了時刻を経過していない場合には、ステップＳ９８５乃至Ｓ９８７の処理を繰り返す。一方、新しい時刻ｔが露光終了時刻を経過していた場合には、ループＬ９８４は終了して、これまでの描画結果を局所ＰＳＦ画像としてメモリに書き込む（ステップＳ９８８）。

図２０は、本発明の第１の実施の形態における高ダイナミックレンジ画像合成部２２１による高ダイナミックレンジ画像の合成処理（図１３のステップＳ９９０）の処理手順を示すフローチャートである。

高ダイナミックレンジ画像合成部２２１は、カメラブレ補正済みの短時間露光ＲＧＢ画像を取得し（ステップＳ９９１）、カメラブレ補正済みの長時間露光ＲＧＢ画像を取得する（ステップＳ９９２）。続いて、画素値変換部２２４は、加算応答逆特性ＬＵＴ保持部２２２に保持されている加算応答逆特性ＬＵＴを読み出す（ステップＳ９９３）。

続いて、ループＬ９９４では、短時間露光ＲＧＢ画像および長時間露光ＲＧＢ画像の各画素位置について、ステップＳ９９５乃至Ｓ９９７の処理を繰り返す。最初に、画素値加算部２２３は、両方の画像の対象画素位置の画素値を加算する（ステップＳ９９５）。続いて、画素値変換部２２４は、加算応答逆特性ＬＵＴを用いて、算出された加算画素値を補正する（ステップＳ９９６）。続いて、画素値変換部２２４は、補正された加算画素値を合成結果の当該画素値としてメモリに書き込む（ステップＳ９９７）。

短時間露光画像および長時間露光画像の全ての画素位置について、ステップＳ９９５乃至Ｓ９９７の処理が終了した場合には、ループＬ９９４を終了して、高ダイナミックレンジ画像の合成処理の動作を終了する。

第１の実施の形態では、短時間露光ＲＧＢ画像に基づいてカメラブレ情報を算出する例を示したが、短時間露光ＲＧＢ画像と長時間露光ＲＧＢ画像との両方を利用し、カメラブレ情報を推定するようにしてもよい。このように、短時間露光ＲＧＢ画像と長時間露光ＲＧＢ画像との両方を利用して、カメラブレ情報を推定する処理を複数回繰り返すことにより、さらに精度の高いカメラブレ情報を取得することができる。そこで、次に示す第２の実施の形態では、短時間露光ＲＧＢ画像と長時間露光ＲＧＢ画像との両方を利用して、カメラブレ情報を推定する例について説明する。

＜第２の実施の形態＞
図２１は、本発明の第２の実施の形態におけるＲＧＢ画像合成部４００の機能構成例を示すブロック図である。ＲＧＢ画像合成部４００は、図１０に示すＲＧＢ画像合成部２０３の変形例であり、カメラブレ推定部２１３の代わりに、カメラブレ推定部４１０を設けた点がＲＧＢ画像合成部２０３とは異なる。このため、カメラブレ推定部４１０を中心にして説明し、図１０に示すＲＧＢ画像合成部２０３と共通する点についての説明を省略する。

カメラブレ推定部４１０は、動き推定部４１１と、曲線フィッティング部４１２と、局所ＰＳＦレンダリング部４１３と、動き補償部４１４と、局所ＰＳＦ更新部４１５と、カメラブレ情報更新部４１６とを備える。なお、カメラブレ推定部４１０は、特許請求の範囲に記載のブレ推定部の一例である。

動き推定部４１１は、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像のフレーム間カメラブレ情報を算出するとともに、短時間露光ＲＧＢ画像の複数のフレームに亘って信頼性が高い対応点対のリストを抽出するものである。なお、以下では、この信頼性が高い対応点を信頼点と称し、この信頼性が高い対応点対のリストを信頼点リストと称する。また、動き推定部４１１は、算出されたフレーム間カメラブレ情報を曲線フィッティング部４１２およびカメラブレ情報更新部４１６に出力する。そして、抽出された信頼点リストを局所ＰＳＦレンダリング部４１３、動き補償部４１４および局所ＰＳＦ更新部４１５に出力する。具体的には、動き推定部４１１は、上述したアフィン行列の算出方法により、複数の短時間露光ＲＧＢ画像について、時間軸上で隣接するフレーム間のアフィン行列を順次算出する。また、アフィン行列の算出の際に抽出された対応点対の中から、実際にアフィン行列の算出に寄与した対応点対を抽出し、この対応点対の情報（対応点対情報）を保持する。そして、アフィン行列の算出の対象となった全てのフレーム対について、保持された対応点対情報の中から、全フレームで連結可能な対応点を抽出する。続いて、抽出された全フレームで連結可能な対応点を、信頼点として信頼点リストに書き出す。なお、動き推定部４１１は、特許請求の範囲に記載の画像間ブレ情報算出部および信頼点抽出部の一例である。

曲線フィッティング部４１２は、動き推定部４１１から出力されたフレーム間カメラブレ情報（アフィン行列）に基づいてカメラブレ情報（スプライン制御点）を算出するものである。そして、算出されたカメラブレ情報を局所ＰＳＦレンダリング部４１３および動き補償部４１４に出力する。なお、スプライン制御点の算出方法は、曲線フィッティング部２１５による算出方法と同様であるため、ここでの説明を省略する。また、曲線フィッティング部４１２は、特許請求の範囲に記載のブレ情報算出部の一例である。

局所ＰＳＦレンダリング部４１３は、現時点における最新のカメラブレ情報に基づいて、動き推定部４１１から出力された信頼点リストに含まれる各信頼点の周囲の小領域における局所ＰＳＦ画像を算出するものである。そして、算出された局所ＰＳＦ画像を局所ＰＳＦ更新部４１５に出力する。ここで、現時点における最新のカメラブレ情報としては、カメラブレ情報更新部４１６から更新カメラブレ情報が出力された場合には、この更新カメラブレ情報が用いられる。この更新カメラブレ情報は、カメラブレ情報更新部４１６によりカメラブレ情報が更新されたものである。また、この更新カメラブレ情報が出力されていない場合には、曲線フィッティング部４１２から出力されたカメラブレ情報が用いられる。なお、局所ＰＳＦ画像の算出方法は、局所ＰＳＦレンダリング部４１３による算出方法と同様であるため、ここでの説明を省略する。また、局所ＰＳＦレンダリング部４１３は、特許請求の範囲に記載のレンダリング部の一例である。

動き補償部４１４は、第１のデモザイク処理部２１１から出力された複数の短時間露光ＲＧＢ画像における信頼点の周囲の小領域についてカメラブレを補正し、このカメラブレが補正された短時間露光ＲＧＢ画像を生成するものである。そして、カメラブレ補正後の短時間露光ＲＧＢ画像を局所ＰＳＦ更新部４１５に出力する。なお、複数の短時間露光ＲＧＢ画像における信頼点は、動き推定部４１１から出力された信頼点リストに含まれる各信頼点である。また、このカメラブレの補正には、局所ＰＳＦレンダリング部４１３と同様に、現時点における最新のカメラブレ情報が用いられる。なお、このカメラブレの補正方法については、動き補償部２１７による補正方法と同様であるため、ここでの説明を省略する。また、動き補償部４１４は、特許請求の範囲に記載の画像ブレ補正部の一例である。

局所ＰＳＦ更新部４１５は、局所ＰＳＦレンダリング部４１３から出力された局所ＰＳＦ画像について、動き推定部４１１から出力された信頼点リストに含まれる信頼点の周囲の小領域の画像を更新し、更新局所ＰＳＦ画像を生成するものである。そして、生成された更新局所ＰＳＦ画像をカメラブレ情報更新部４１６に出力する。具体的には、局所ＰＳＦ更新部４１５は、動き補償部４１４から出力されたカメラブレ補正後の短時間露光ＲＧＢ画像と、第２のデモザイク処理部２１２から出力された長時間露光ＲＧＢ画像とに基づいて、信頼点の周囲の小領域の局所ＰＳＦ画像を更新する。

具体的には、局所ＰＳＦ更新部４１５は、信頼点の周囲の小領域に対応する局所ＰＳＦ画像の値を行列の形式に変換して行列Ａを生成する。この行列Ａは、（ｍ×ｎ）×（ｍ×ｎ）の行列であり、行列Ａ（ｉ，ｊ）の各行はその小領域（ｉ，ｊ）の各画素位置における局所ＰＳＦの係数を表す。また、局所ＰＳＦレンダリング部４１３により生成された小領域（ｉ，ｊ）の局所ＰＳＦ画像の大きさを（ｐ×ｑ）とする。この場合には、行列Ａ（ｉ，ｊ）の各行の（ｍ×ｎ）個の要素のうち、（ｐ×ｑ）個に局所ＰＳＦ画像の画素値（すなわち、局所ＰＳＦの係数）が当てはめられ、残りの（（ｍ×ｎ）−（ｐ×ｑ））個の要素には０が入る。なお、局所ＰＳＦの係数が入る要素がどの位置であるかは、その行が小領域（ｉ，ｊ）のどの画素位置に対応するかによって決まる。続いて、その小領域の長時間露光ＲＧＢ画像の画素値をベクトルの形式に変換してベクトルｂを生成する。このベクトルｂは、その小領域（ｉ，ｊ）の大きさを（ｍ×ｎ）とすると、その画素値を順に一列に並べた（ｍ×ｎ）×１の列ベクトルである。続いて、その小領域のカメラブレ補正後の短時間露光ＲＧＢ画像の画素値をベクトルの形式に変換してベクトルｘを生成する。このベクトルｘは、その画素値を順に一列に並べた（（ｍ×ｎ）×１）の列ベクトルである。ここで用いるカメラブレ補正後の短時間露光ＲＧＢ画像の画素値は、長時間露光ＲＧＢ画像との露光比に合わせたスケーリング係数をかけることにより、同じ明るさとなるようにする。続いて、式６を用いて、行列Ａを更新した行列Ａ（この行列Ａは、式６では波線符号（チルダ）を付したＡ）を算出する。ここで、式６においてλは予め設定されている定数である。そして、更新された行列Ａ（チルダを付したＡ）を更新局所ＰＳＦ画像としてカメラブレ情報更新部４１６に出力する。なお、式６に示す単位行列Ｉは、（（ｍ×ｎ）×（ｍ×ｎ））の行列である。また、局所ＰＳＦ更新部４１５は、特許請求の範囲に記載の点ボケ関数画像補正部の一例である。

カメラブレ情報更新部４１６は、曲線フィッティング部４１２から出力されたカメラブレ情報（スプライン制御点）を更新するものである。そして、更新されたカメラブレ情報（更新カメラブレ情報）を短時間露光カメラブレ補正部２１６および長時間露光カメラブレ補正部２１８に出力する。具体的には、動き推定部４１１から出力されたフレーム間カメラブレ情報と、曲線フィッティング部４１２から出力されたカメラブレ情報と、局所ＰＳＦ更新部４１５から出力された更新局所ＰＳＦ画像とに基づいてカメラブレ情報を更新する。なお、更新されたカメラブレ情報の修正量が、予め設定されている閾値よりも大きい場合には、更新カメラブレ情報が局所ＰＳＦレンダリング部４１３および動き補償部４１４に出力される。このカメラブレ情報更新処理については、図２２乃至図２５を参照して詳細に説明する。なお、カメラブレ情報更新部４１６は、特許請求の範囲に記載のブレ情報更新部の一例である。

図２２乃至図２４は、本発明の第２の実施の形態におけるカメラブレ情報更新部４１６が極大点探索を行う際に用いられる更新局所ＰＳＦ画像の一例である濃淡画像を示す図である。また、図２５は、本発明の第２の実施の形態におけるカメラブレ情報更新部４１６がエッジ検出処理を行う際に用いられる１次微分オペレータの例を示す図である。図２５（ａ）には、水平方向のエッジ検出処理を行う際に用いられる３×３の係数の組を有するＳｏｂｅｌオペレータを示し、図２５（ｂ）には、垂直方向のエッジ検出処理を行う際に用いられる３×３の係数の組を有するＳｏｂｅｌオペレータを示す。

最初に、カメラブレ情報更新部４１６が、曲線フィッティング部４１２から出力された現時点における最新のカメラブレ情報を取得する。続いて、カメラブレ情報更新部４１６が、信頼点リストに含まれる各信頼点の位置に対応する更新局所ＰＳＦ画像を局所ＰＳＦ更新部４１５から取得する。続いて、時刻を表す変数ｔを０に初期化する（信頼点（ｘ（０），ｙ（０）））。続いて、現時刻ｔにおける信頼点の移動位置（ｘ（ｔ），ｙ（ｔ））を、取得されたカメラブレ情報から算出する。すなわち、式７において、右辺についてｘ_ｐ（０）＝ｘ（０）、ｙ_ｐ（０）＝ｙ（０）とし、現在時刻ｔを代入した結果を算出した左辺値（ｘ_ｐ（ｔ），ｙ_ｐ（ｔ））が移動位置となる。ここで、式７に示すＡ_ｉ等の値は、式２に示すものに対応する。また、Ｂ_ｉ、Ｃ_ｉ、Ｄ_ｉ、Ｅ_ｉ、Ｆ_ｉについては、アフィン行列の要素ｂ、ｃ、ｄ、ｅ、ｆについて算出された値である。ここで、図２２には、適当な時間間隔Δｔで算出された、対象となる小領域の更新前のカメラブレ情報により特定されるカメラブレ軌跡上の点の位置（移動位置）を、白抜きの丸４５１乃至４５９で示す。

続いて、カメラブレ情報更新部４１６が、位置（ｘ（ｔ），ｙ（ｔ））における局所ＰＳＦ画像の勾配が最大になる方向（最大勾配方向）を算出する。この最大勾配方向は、例えば、図２５に示すＳｏｂｅｌオペレータを利用したエッジ検出処理により算出することができる。局所ＰＳＦ画像の位置（ｘ（ｔ），ｙ（ｔ））の近傍３×３の画像に、図２５に示すＳｏｂｅｌオペレータを適用すると、水平方向と垂直方向の１次微係数が算出される。この算出された１次微係数からなる２次元ベクトルの向きとして、最大勾配方向を求めることができる。ここで、図２３には、カメラブレ軌跡上の各点４５１乃至４５９について算出された局所ＰＳＦ画像の最大勾配方向を、実線４６１乃至４６９で示す。

続いて、カメラブレ情報更新部４１６が、位置（ｘ（ｔ），ｙ（ｔ））を基点として、算出された最大勾配方向に沿って局所ＰＳＦ画像の輝度値を抽出し、輝度値が極大（peak）となる位置（極大点）を探査する。ここで、図２４には、最大勾配方向（実線４６１乃至４６９）において抽出された輝度値が極大（peak）となる極大点の位置を、白抜きの丸４７１乃至４７９で示す。このように、新しいカメラブレ情報は、これらの極大点をなるべく通過するようにスプライン曲線を算出することにより求めることができる。

続いて、カメラブレ情報更新部４１６が、時刻ｔ、信頼点の位置（ｘ（０），ｙ（０））および探査された極大点に基づいて、式７に示す方程式を計算する。すなわち、式７において、ｘ_ｐ（０）＝ｘ（０）、ｙ_ｐ（０）＝ｙ（０）とし、左辺には探査された極大点を代入する。例えば、信頼点ｐ（ｐ＝１，…，Ｐ）が抽出された場合には、時刻ｔにおける信頼点ｐの位置を式７の方程式で表すことができる。このため、更新局所ＰＳＦ画像で検出された極大点毎に、式７の方程式を１組求めることができる。続いて、予め設定された適当な刻み幅Δｔ分だけ時刻ｔを進め、時刻ｔが露光終了時刻を経過するまで繰り返す。

続いて、カメラブレ情報更新部４１６がスプライン制御点を算出する。具体的には、動き推定部４１１から出力されたフレーム間カメラブレ情報から得られる方程式（すなわち、式４に示す方程式）と、信頼点における局所ＰＳＦ画像の更新から得られる方程式（すなわち、式７に示す方程式）とを連立させる。そして、これらの連立方程式を解くことによりスプライン制御点を算出する。続いて、算出されたスプライン制御点を更新カメラブレ情報として出力する。なお、更新カメラブレ情報の修正量が、予め設定されている閾値よりも大きい場合には、更新カメラブレ情報が局所ＰＳＦレンダリング部４１３および動き補償部４１４に出力されて、カメラブレ情報更新処理が繰り返し行われる。一方、更新カメラブレ情報の修正量が、予め設定されている閾値以下である場合には、更新カメラブレ情報が短時間露光カメラブレ補正部２１６および長時間露光カメラブレ補正部２１８に出力される。

このように、各信頼点周囲の小領域で局所ＰＳＦ更新部４１５により算出された更新局所ＰＳＦ画像を用いて、その更新された分をカメラブレ情報に反映させることができる。つまり、生成された全ての更新局所ＰＳＦ画像に最もフィットするスプライン曲線を求めるようにして、さらに最適なカメラブレ情報を算出することができる。

次に本発明の第２の実施の形態における撮像装置１００の動作について図面を参照して説明する。なお、以下で示す動作は、ＲＧＢ画像合成部２０３の処理手順の一部を変形したものであるため、異なる部分のみを説明し、共通する部分についての説明を省略する。

図２６は、本発明の第２の実施の形態におけるカメラブレ推定部４１０によるカメラブレ推定処理の処理手順を示すフローチャートである。この処理手順は、図１３に示す処理手順におけるステップＳ９１０の代わりに行う処理手順である。

最初に、動き推定部４１１が複数の短時間露光ＲＧＢ画像のフレーム間カメラブレ情報（アフィン行列）の算出と、信頼点リストの抽出とを行う第２動き推定処理が行われる（ステップＳ１０１０）。この第２動き推定処理については、図２７を参照して詳細に説明する。

続いて、曲線フィッティング部４１２がフレーム間カメラブレ情報（アフィン行列）に基づいてカメラブレ情報を算出する曲線フィッティング処理が行われる（ステップＳ１０２０）。この曲線フィッティング処理については、図１６に示す処理手順（ステップＳ９３０）と同じであるため、ここでの説明を省略する。

続いて、ループＬ１００１では、ループＬ１００２およびステップＳ１０６０の処理を繰り返す。ループＬ１００２では、抽出された信頼点リストに含まれる各信頼点の周囲の小領域について、ステップＳ１０３０乃至Ｓ１０５０の処理を行う。すなわち、動き補償部４１４が、各小領域について、短時間露光ＲＧＢ画像のカメラブレ補正処理を行う（ステップＳ１０３０）。この短時間露光ＲＧＢ画像のカメラブレ補正処理については、図１７に示す処理手順（ステップＳ９５０）と同じであるため、ここでの説明を省略する。

続いて、局所ＰＳＦレンダリング部４１３が各小領域における局所ＰＳＦ画像を生成する局所ＰＳＦ画像生成処理が行われる（ステップＳ１０４０）。この局所ＰＳＦ画像生成処理については、図１８に示す処理手順（ステップＳ９８０）と同じであるため、ここでの説明を省略する。

続いて、局所ＰＳＦ更新部４１５が各小領域の局所ＰＳＦ画像を更新する局所ＰＳＦ画像更新処理が行われる（ステップＳ１０５０）。この局所ＰＳＦ画像更新処理については、図２８を参照して詳細に説明する。

そして、抽出された信頼点リストに含まれる各信頼点の周囲の小領域について、ステップＳ１０３０乃至Ｓ１０５０の処理が終了した場合には、ループＬ１００２を終了して、ステップＳ１０６０に移行する。

続いて、カメラブレ情報更新部４１６がフレーム間カメラブレ情報と現時点のカメラブレ情報と更新局所ＰＳＦ画像とに基づいてカメラブレ情報を更新するカメラブレ情報更新処理が行われる（ステップＳ１０６０）。そして、更新カメラブレ情報の修正量が、予め設定されている閾値ε２よりも大きい場合には、ループＬ１００２およびステップＳ１０６０の処理を繰り返す。一方、更新カメラブレ情報の修正量が、予め設定されている閾値ε２以下である場合には、ループＬ１００１を終了して、カメラブレ推定処理の動作を終了する。

図２７は、本発明の第２の実施の形態における動き推定部４１１による第２動き推定処理（図２６のステップＳ１０１０）の処理手順を示すフローチャートである。

ループＬ１０１１では、動き推定部４１１が、複数の短時間露光ＲＧＢ画像の各画像対について、ステップＳ９２０（図１５に示す）およびＳ１０１２の処理を行う。すなわち、ステップＳ９２０でアフィン行列の算出の際に抽出された対応点対の中から、実際にアフィン行列算出に寄与した対応点対が抽出され、この抽出された対応点対の情報が保持される（ステップＳ１０１２）。そして、全ての画像対に対して、ステップＳ９２０およびＳ１０１２の処理が終了した場合には、ループＬ１０１１を終了して、ステップＳ１０１３に移行する。

続いて、動き推定部４１１が、保持された対応点対情報の中から、全フレームで連結可能な対応点を抽出し（ステップＳ１０１３）、抽出された全フレームに連結可能な対応点を信頼点として信頼点リストに書き込む（ステップＳ１０１４）。

図２８は、本発明の第２の実施の形態における局所ＰＳＦ更新部４１５による局所ＰＳＦ画像更新処理（図２６のステップＳ１０５０）の処理手順を示すフローチャートである。

最初に、局所ＰＳＦ更新部４１５が、信頼点リストに含まれる各信頼点の周囲の小領域に対応する局所ＰＳＦ画像の値を行列の形式に変換して行列Ａを作成する（ステップＳ１０５１）。

続いて、局所ＰＳＦ更新部４１５が、その小領域の長時間露光画像の画素値をベクトルの形式に変換してベクトルｂを作成する（ステップＳ１０５２）。続いて、局所ＰＳＦ更新部４１５が、その小領域のカメラブレ補正後の短時間露光ＲＧＢ画像の画素値をベクトルの形式に変換してベクトルｘを作成する（ステップＳ１０５３）。

続いて、局所ＰＳＦ更新部４１５が、式６を用いて、行列Ａを更新した行列Ａ（式６でチルダを付したＡ）を算出する（ステップＳ１０５４）。続いて、局所ＰＳＦ更新部４１５が、更新された行列Ａ（チルダを付したＡ）を更新局所ＰＳＦ画像としてカメラブレ情報更新部４１６に出力する（ステップＳ１０５５）。

図２９は、本発明の第２の実施の形態におけるカメラブレ情報更新部４１６によるカメラブレ情報更新処理（図２６のステップＳ１０６０）の処理手順を示すフローチャートである。

最初に、カメラブレ情報更新部４１６が、現時点におけるカメラブレ情報を取得する（ステップＳ１０６１）。続いて、ループＬ１０６２では、信頼点リストに含まれる各信頼点の位置について、ステップＳ１０６３、Ｓ１０６４、ループＬ１０６５の処理を繰り返す。

ループＬ１０６２では、カメラブレ情報更新部４１６が、信頼点リストに含まれる各信頼点の位置に対応する更新局所ＰＳＦ画像を局所ＰＳＦ更新部４１５から取得する（ステップＳ１０６３）。続いて、カメラブレ情報更新部４１６が、時刻を表す変数ｔを０に初期化する（ステップＳ１０６４）。続いて、カメラブレ情報更新部４１６が、現時刻ｔにおける信頼点（ｘ（０），ｙ（０））の移動位置（ｘ（ｔ），ｙ（ｔ））をカメラブレ情報から算出する（ステップＳ１０６６）。

続いて、カメラブレ情報更新部４１６が、位置（ｘ（ｔ），ｙ（ｔ））における局所ＰＳＦ画像の勾配が最大になる方向（最大勾配方向）を算出する（ステップｓ１０６７）。続いて、カメラブレ情報更新部４１６が、位置（ｘ（ｔ），ｙ（ｔ））を基点として、算出された最大勾配方向に沿って局所ＰＳＦ画像の輝度値を抽出し、輝度値が極大（peak）となる位置（極大点）を探査する（ステップＳ１０６８）。

続いて、カメラブレ情報更新部４１６が、時刻ｔ、信頼点の位置（ｘ（０），ｙ（０））および探査された極大位置に基づいて、式７に示す方程式を生成する（ステップＳ１０６９）。そして、ループＬ１０６５では、予め設定された適当な刻み幅Δｔ分だけ時刻ｔを進め、時刻ｔが露光終了時刻を経過するまで繰り返す。

続いて、カメラブレ情報更新部４１６が、動き推定部４１１により算出されたアフィン行列を取得する（ステップＳ１０７１）。続いて、カメラブレ情報更新部４１６が、取得されたアフィン行列から得られる方程式（すなわち、式４に示す方程式）と、信頼点における局所ＰＳＦ画像の更新から得られる方程式（すなわち、式７に示す方程式）とを全て連立させる。そして、これらの連立方程式を解くことにより、アフィン行列の各要素の時間変化を示すスプライン制御点を算出する（ステップＳ１０７２）。

続いて、算出されたスプライン制御点を更新カメラブレ情報として出力する（ステップＳ１０７３）。

ここで、図２１に示すカメラブレ推定部４１０の動き補償部４１４は、信頼点の周囲の小領域画像を対象として動作する以外は、短時間露光カメラブレ補正部２１６の動き補償部２１７と同じ動作を行う。そこで、カメラブレ推定部４１０に動き補償部４１４を設ける代わりに、短時間露光カメラブレ補正部２１６の動き補償部２１７を流用することができる。次に示す第３の実施の形態では、短時間露光カメラブレ補正部の動き補償部を流用する構成例について説明する。

＜第３の実施の形態＞
図３０は、本発明の第３の実施の形態におけるＲＧＢ画像合成部５００の機能構成例を示すブロック図である。ＲＧＢ画像合成部５００は、図２１に示すＲＧＢ画像合成部４００の変形例であり、カメラブレ推定部４１０の動き補償部４１４の代わりに、短時間露光カメラブレ補正部５２０の動き補償部５２１を用いる点がＲＧＢ画像合成部４００とは異なる。なお、その他の構成については、図２１に示すＲＧＢ画像合成部４００と同様であるため、ここでの説明を省略する。なお、カメラブレ推定部５１０は、特許請求の範囲に記載のブレ推定部の一例である。また、短時間露光カメラブレ補正部５２０は、特許請求の範囲に記載の短時間露光ブレ補正部の一例である。

ここで、図１０に示すＲＧＢ画像合成部２０３と、図２１に示すＲＧＢ画像合成部４００とは、第１のデモザイク処理部２１１および第２のデモザイク処理部２１２を備える。すなわち、ＲＧＢ画像合成部２０３およびＲＧＢ画像合成部４００は、複数の短時間露光モザイク画像および長時間露光モザイク画像をそれぞれ独立にデモザイクするものである。このように、単一の固体撮像素子の画素を短時間露光と長時間露光とに分配して撮像するシステムでは、分配後にデモザイクし易い色配列（例えば、図６に示す配列）を採用することが好ましい。しかしながら、単一の固体撮像素子の画素配列については、必ずしも分配後にデモザイクし易い色配列としなくても、本発明の第１、第２の実施の形態を適用することができる。例えば、モザイク画像の画素を単純に分配して並べ替えるのみで、各色のプレーン（２次元格子状に配列したデータ）を取得することができる場合には、高ダイナミックレンジ画像合成部において、デモザイク処理を行う構成とすることができる。次に示す第４の実施の形態では、高ダイナミックレンジ画像合成部において、デモザイク処理を行う構成例について説明する。

＜第４の実施の形態＞
図３１は、本発明の第４の実施の形態におけるＲＧＢ画像合成部６００の機能構成例を示すブロック図である。ＲＧＢ画像合成部６００は、図１０に示すＲＧＢ画像合成部２０３の変形例であり、第１のデモザイク処理部２１１および第２のデモザイク処理部２１２の代わりに、デモザイク処理＆画像融合部６１２を用いる点がＲＧＢ画像合成部２０３とは異なる。なお、その他の構成については、図１０に示すＲＧＢ画像合成部２０３と同様であるため、ここでの説明を省略する。デモザイク処理＆画像融合部６１２は、カメラブレ補正された短時間露光画像の画素と、カメラブレ補正された長時間露光画像の画素とを、固体撮像素子１３から出力されるモザイク画像と同じ画素配列に並べ直してモザイク画像を生成する。そして、生成されたモザイク画像についてデモザイク処理を行う。なお、ＲＧＢ画像合成部６００が、デモザイクし易い色配列の例については、図３２および図３３を参照して説明する。なお、高ダイナミックレンジ画像合成部６１０は、特許請求の範囲に記載の画像合成部の一例である。

図３２および図３３は、本発明の第４の実施の形態における固体撮像素子１３の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。図３２および図３３では、モザイク画像の画素を単純に分配して並べ替えるのみで、各色のプレーンを取得することが可能であり、ＲＧＢ画像合成部６００がデモザイクし易い色配列の例を示す。なお、各正方形の内部に示す記号は、図６に示す記号と同様であり、カラーフィルタの種類を示す記号である。また、図３２および図３３に示す画素配列の固体撮像素子の何れについても、図２に示す画素構造を利用して実現することができる。

ここで、図３２および図３３に示す画素配列の何れも、ある色と露光時間とに着目すれば格子状または斜め格子状の配列となっている。このため、画素を並び替えるのみで、露光時間毎に、各色とも等しい画素間隔の４プレーン（Ｒ、Ｇ×２、Ｂ）を作ることができる。そして、これらを入力としたカメラブレ推定、短時間露光カメラブレ補正、長時間露光カメラブレ補正の各処理が可能である。この場合には、例えば、デモザイク処理を含めて短時間露光画像と長時間露光画像を合成する処理（例えば、国際公開第２００２／０５６６０４号参照。）を用いることができる。ここで、図３２に示す例では、画素の露光制御の空間的配置と色の空間的配置について、露光制御の空間的配置を水平ライン順次とすることにより、固体撮像素子の製造を行うことが容易となる画素配置とすることができる。また、図３３に示す例では、画素の露光制御の空間的配置と色の空間的配置について、色の空間的配置の密度および等方性を露光制御の空間的配置よりも優先することにより、通常のダイナミックレンジ撮像において解像度性能に有利な画素配置とすることができる。

図３４は、図３２に示す画素配列を実現するための固体撮像素子の画素配線を概略的に示す図である。また、図３５は、図３４に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。

図３６は、図３３に示す画素配列を実現するための固体撮像素子の画素配線を概略的に示す図である。また、図３７は、図３６に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。なお、図３４および図３５の関係と、図３６および図３７の関係とについては、図３および図４に示す関係と同様である。なお、図３４および図３６は、短時間露光および長時間露光を行う画素の配置が図３とは異なるため、画素を制御するための配線が若干変更されている。特に、図３６に示す画素配列については、同じ列の複数の画素から同じタイミングで信号読み出しがなされることを防ぐため、２水平ラインで制御信号線を共有しない配置としている。

なお、ここで説明した図３１のＲＧＢ画像合成部６００は、図１０に示すＲＧＢ画像合成部２０３の変形例であるが、ＲＧＢ画像合成部４００または５００についても同様に、各デモザイク処理部の配置を変更するようにしてもよい。

また、本発明の各実施の形態におけるＲＧＢ画像合成部２０３、４００、５００、６００の構成を実施する場合には、固体撮像素子の色および露光時間の配列は、図６、図３２、図３３に示すものに限定されることはなく、これら以外の配列についても適用可能である。また、短時間露光と長時間露光の画素は同じ分光特性を備える必要はなく、異なる分光特性の組合せとなっているものでもよい。この場合には、デモザイク後にリニアマトリクス変換等により色空間を一致させるようにすることにより、本発明の各実施の形態における画像処理を適用することができる。

また、本発明の各実施の形態におけるＲＧＢ画像合成部を用いる場合には、単一の固体撮像素子（画像センサ）により生成された短時間露光画像および長時間露光画像でなくても、本発明の各実施の形態における画像処理を適用することができる。例えば、異なる２つの画像センサを用いて、それぞれに短時間露光および長時間露光を生成させ、この生成された各画像について、ＲＧＢ画像合成部の処理を実施することができる。すなわち、同一期間の長時間露光画像と複数の短時間露光画像とを取得するため、複数の画像センサを用いる構成とした撮像装置に、本発明の各実施の形態における画像処理を適用することができる。

以上で示したように、本発明の各実施の形態では、一定の露光期間内に連続して露光し最後に読み出す画素と、一定の露光期間内に断続的に露光しその都度読み出しを行う画素とを、固体撮像素子１３の撮像面内に並べて配置する。これにより、異なる感度の露光期間を一致させて、長時間露光画像と短時間露光画像とを合成して高ダイナミックレンジ画像を生成することができる。また、輝度のダイナミックレンジが大きいシーンを撮像する場合でも、暗い被写体をノイズなく撮像するために必要な露光期間よりも短い露光期間を設定することができる。さらに、明るい被写体を撮像するための短時間露光画素は、万遍なく断続的な撮像を繰り返すため、一定の露光期間内の動被写体の情報が正確に取得される。このように、異なる感度による撮像により高ダイナミックレンジ画像を生成することができるため、異なる感度の画像の時間ずれによる動被写体領域のアーチファクトの発生や長時間露光によるカメラブレを低減することができる。

また、固体撮像素子１３の画素の水平ラインに対して、連続して露光し最後に読み出す画素の制御信号と、断続的に露光しその都度読み出しを行う画素の制御信号との両方を供給する構造とすることができる。この構造により、２種類の露光制御と、色の空間的配置の設計自由度を高めることができる。また、動作時には２種類の制御線に同じ制御信号を供給することにより、通常の画像センサと同じ動作をさせることが可能となる。

また、本発明の各実施の形態では、長時間露光画像と、短時間露光画像とを合成して高ダイナミックレンジ画像を生成する前に、露光期間中のカメラブレを推定し、このカメラブレに基づいて、長時間露光画像と短時間露光画像のそれぞれのカメラブレを補正する。このようにカメラブレを補正することにより、高ダイナミックレンジの撮像時における露光時間の長さを短縮させることができる。

また、本発明の各実施の形態では、カメラブレ（例えば、露光期間中のアフィン行列の時間変化）をパラメトリック曲線の形式で推定する。このパラメトリック曲線の形式を用いることにより、回転成分により画像の場所毎にＰＳＦ形状が異なる場合にも容易に対応できる。すなわち、カメラブレをＰＳＦ（点ボケ関数）画像の形式で扱う従来技術では困難であった問題を解決することができる。

また、本発明の各実施の形態では、断続的な短時間露光により生成される複数の画像について動き補償を行った後に、重ね合わせる処理を行うため、短時間露光画像のカメラブレが補正されると同時にノイズを低減させることができる。これにより、高ダイナミックレンジ画像を合成する際の階調連続性を改善することができる。

このように、本発明の各実施の形態によれば、短時間露光画像および長時間露光画像を１枚に合成する前にカメラブレの補正を行い、この補正後の両画像を合成するため、カメラブレのない高ダイナミックレンジ画像を生成することができる。

また、本発明の第２の実施の形態では、パラメトリック曲線表現からＰＳＦ画像表現に一旦変換し、そこで従来の画像ベースのボケ推定およびボケ復元手法を適用した後に、ＰＳＦ画像表現からパラメトリック曲線表現に戻す処理を行う。これにより、さらに正確なカメラブレ推定およびカメラブレ補正を実現することができる。

なお、本発明の各実施の形態におけるカメラブレ推定およびカメラブレ補正処理を固体撮像素子のＲＡＷデータの出力であるモザイク画像に適用することができる。また、短時間露光画像および長時間露光画像を合成する合成方法として、双方の画像の明るさを合わせた後に合成する合成方法等を用いるようにしてもよい。

また、本発明の各実施の形態では、固体撮像素子（画像センサ）の画素の分光感度がＲＧＢ３原色である場合を例にして説明したが、ＲＧＢ３原色以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系の分光感度を有する画素を用いることができる。

また、本発明の各実施の形態では、デジタルビデオカメラ等の撮像装置を例にして説明したが、撮像装置により生成された動画等を入力して画像処理を行うパーソナルコンピュータ等の画像処理装置に本発明の各実施の形態を適用するようにしてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。 本発明の第１の実施の形態における固体撮像素子１３に備えられている画素の等価回路を示す図である。 本発明の第１の実施の形態における固体撮像素子１３の画素配線を概略的に示す図である。 図３に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。 本発明の第１の実施の形態における固体撮像素子１３の露光期間中Ｅ１１のＰＤの電荷蓄積の時間変化を示す図である。 本発明の第１の実施の形態における固体撮像素子１３の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。 本発明の第１の実施の形態における固体撮像素子１３により短時間露光で断続的に撮像される短時間露光モザイク画像の画素配列の一例を模式的に示す図である。 本発明の第１の実施の形態における固体撮像素子１３により長時間露光で撮像される長時間露光モザイク画像の画素配列の一例を模式的に示す図である。 本発明の第１の実施の形態における画像処理回路２３の機能構成例を示すブロック図である。 本発明の第１の実施の形態におけるＲＧＢ画像合成部２０３の機能構成例を示すブロック図である。 本発明の第１の実施の形態における曲線フィッティング部２１５により算出されるスプライン制御点と、これを算出する際に用いられるアフィン行列（フレーム間カメラブレ情報）とを示す図である。 本発明の第１の実施の形態における固体撮像素子１３への入射光強度と、出力される画素値の応答特性との関係を示す図である。 本発明の第１の実施の形態におけるＲＧＢ画像合成部２０３の処理手順を示すフローチャートである。 本発明の第１の実施の形態におけるカメラブレ推定部２１３によるカメラブレ推定処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における動き推定部２１４による動き推定処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における曲線フィッティング部２１５による曲線フィッティング処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における短時間露光カメラブレ補正部２１６による短時間露光ＲＧＢ画像のカメラブレ補正処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における長時間露光カメラブレ補正部２１８による長時間露光ＲＧＢ画像のカメラブレ補正処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における局所ＰＳＦレンダリング部２１９による局所ＰＳＦ画像生成処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における高ダイナミックレンジ画像合成部２２１による高ダイナミックレンジ画像の合成処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるＲＧＢ画像合成部４００の機能構成例を示すブロック図である。 本発明の第２の実施の形態におけるカメラブレ情報更新部４１６が極大点探索を行う際に用いられる更新局所ＰＳＦ画像にカメラブレ軌跡上の点を描画した図である。 本発明の第２の実施の形態におけるカメラブレ情報更新部４１６が極大点探索を行う際に用いられる更新局所ＰＳＦ画像に最大勾配方向を描画した図である。 本発明の第２の実施の形態におけるカメラブレ情報更新部４１６が極大点探索を行う際に用いられる更新局所ＰＳＦ画像に極大点を描画した図である。 本発明の第２の実施の形態におけるカメラブレ情報更新部４１６がエッジ検出処理を行う際に用いられるオペレータを示す図である。 本発明の第２の実施の形態におけるカメラブレ推定部４１０によるカメラブレ推定処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における動き推定部４１１による第２動き推定処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における局所ＰＳＦ更新部４１５による局所ＰＳＦ画像更新処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるカメラブレ情報更新部４１６によるカメラブレ情報更新処理の処理手順を示すフローチャートである。 本発明の第３の実施の形態におけるＲＧＢ画像合成部５００の機能構成例を示すブロック図である。 本発明の第４の実施の形態におけるＲＧＢ画像合成部６００の機能構成例を示すブロック図である。 本発明の第４の実施の形態における固体撮像素子１３の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。 本発明の第４の実施の形態における固体撮像素子１３の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。 図３２に示す画素配列を実現するための固体撮像素子の画素配線を概略的に示す図である。 図３４に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。 図３３に示す画素配列を実現するための固体撮像素子の画素配線を概略的に示す図である。 図３６に示す画素（＃１１）、（＃１２）、（＃１６）、（＃１７）の４画素への制御信号と、これらの各画素の電荷蓄積の様子を模式的に表すタイミングチャートである。

符号の説明

１１ レンズ
１２ 絞り
１３ 固体撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ 表示ドライバ
４２ 表示部
５１ タイミング生成器
５２ 操作受付部
５３ 制御部
５９ バス
１００ 撮像装置
２０１、２０２ ホワイトバランス処理部
２０３、４００ ＲＧＢ画像合成部
２０４ ガンマ補正部
２０５ ＹＣ変換部
２１１ 第１のデモザイク処理部
２１２ 第２のデモザイク処理部
２１３、４１０ カメラブレ推定部
２１４、４１１ 動き推定部
２１５、４１２ 曲線フィッティング部
２１６ 短時間露光カメラブレ補正部
２１７、４１４ 動き補償部
２１８ 長時間露光カメラブレ補正部
２１９、４１３ 局所ＰＳＦレンダリング部
２２０ デコンボリューション部
２２１ 高ダイナミックレンジ画像合成部
２２２ 加算応答逆特性ＬＵＴ保持部
２２３ 画素値加算部
２２４ 画素値変換部
４００ ＲＧＢ画像合成部
４１５ 局所ＰＳＦ更新部
４１６ カメラブレ情報更新部

Claims (20)

1. 所定期間内に生成された画像のブレ情報を推定するブレ推定部と、
   前記推定されたブレ情報に基づいて前記所定期間内に断続した露光により生成された複数の短時間露光画像のブレを補正する短時間露光ブレ補正部と、
   前記推定されたブレ情報に基づいて前記所定期間内に連続した露光により生成された長時間露光画像のブレを補正する長時間露光ブレ補正部と、
   前記補正された短時間露光画像と前記補正された長時間露光画像とを合成する画像合成部と
   を具備する画像処理装置。
2. 前記ブレ推定部は、前記所定期間内の撮像装置の動きによる画像座標の時間変化を表すパラメトリック曲線を前記ブレ情報として算出する請求項１記載の画像処理装置。
3. 前記ブレ推定部は、
   前記複数の短時間露光画像を構成する各画像間の座標変換行列の各要素の離散的な時間変化を算出する算出部と、
   前記座標変換行列の各要素の離散的な時間変化を前記パラメトリック曲線にフィッティングする曲線フィッティング部と
   を具備する請求項２記載の画像処理装置。
4. 前記ブレ推定部は、
   前記複数の短時間露光画像を構成する各画像について連続する画像間の座標変換行列を画像間ブレ情報として算出する画像間ブレ情報算出部と、
   前記算出された画像間ブレ情報に基づいてその各要素の時間変化を表すパラメトリック曲線を前記ブレ情報として算出するブレ情報算出部と、
   前記算出されたブレ情報に基づいて前記複数の短時間露光画像の画素位置を合わせて合成することにより前記短時間露光画像のブレを補正する画像ブレ補正部と、
   前記算出されたブレ情報に基づいて前記長時間露光画像上の複数の対象位置における点ボケ関数画像を生成するレンダリング部と、
   前記補正された短時間露光画像における前記対象位置の近傍の画像と前記長時間露光画像における前記対象位置の近傍の画像とに基づいて前記点ボケ関数画像を前記対象位置毎に補正する点ボケ関数画像補正部と、
   前記算出された画像間ブレ情報と前記補正された点ボケ関数画像と前記算出されたブレ情報とに基づいて当該ブレ情報を更新するブレ情報更新部とを備える
   請求項１記載の画像処理装置。
5. 前記画像間ブレ情報算出部は、前記複数の短時間露光画像の各画像間の対応点を算出することにより前記画像間ブレ情報を算出し、
   前記ブレ推定部は、前記各対応点のうち前記複数の短時間露光画像において最も多くの短時間露光画像に亘って対応が得られた対応点を信頼点として抽出する信頼点抽出部を備え、
   前記画像ブレ補正部は、前記抽出された信頼点の近傍の領域について前記算出されたブレ情報に基づいて前記複数の短時間露光画像の画素位置を合わせて合成することにより前記短時間露光画像のブレを補正し、
   前記レンダリング部は、前記算出されたブレ情報に基づいて前記長時間露光画像上の前記信頼点の位置における点ボケ関数画像を生成し、
   前記点ボケ関数画像補正部は、前記補正された短時間露光画像における前記信頼点の近傍の画像と前記長時間露光画像における前記信頼点の近傍の画像とに基づいて前記点ボケ関数画像を補正する
   請求項４記載の画像処理装置。
6. 前記短時間露光ブレ補正部は、前記推定されたブレ情報に基づいて前記複数の短時間露光画像を構成する各画像の画素位置を合わせて前記複数の短時間露光画像を合成することにより前記短時間露光画像のブレを補正する請求項１記載の画像処理装置。
7. 前記長時間露光ブレ補正部は、
   前記推定されたブレ情報に基づいて前記長時間露光画像上の複数の対象位置における点ボケ関数画像を生成するレンダリング部と、
   前記生成された各点ボケ関数画像に基づいて前記対象位置毎に前記長時間露光画像にデコンボリューション処理を行うデコンボリューション部とを備える
   請求項１記載の画像処理装置。
8. 前記画像合成部は、前記補正された短時間露光画像の画素値と前記補正された長時間露光画像の画素値とを画素毎に加算し、短時間露光に係る入射光強度および画素値応答特性と長時間露光に係る入射光強度および画素値応答特性との合成特性の逆特性を用いて前記画素毎に加算された画素値を補正して前記補正された短時間露光画像と前記補正された長時間露光画像との合成画像を生成する請求項１記載の画像処理装置。
9. 前記短時間露光画像は、固体撮像素子から出力されたモザイク画像であり、
   前記長時間露光画像は、前記固体撮像素子から出力されたモザイク画像であり、
   前記画像合成部は、前記補正された短時間露光画像の画素と前記補正された長時間露光画像の画素とを前記固体撮像素子から出力されたモザイク画像と同じ画素配列のモザイク画像となるように配置して当該モザイク画像についてデモザイク処理を行う
   請求項１記載の画像処理装置。
10. 所定期間内に連続した露光により長時間露光画像を生成するための第一画素と前記所定期間内に断続した露光により複数の短時間露光画像を生成するための第二画素とが撮像面に並べて配置されている固体撮像素子と、
    前記第二画素を用いて生成された複数の短時間露光画像に基づいて前記所定期間内のブレ情報を推定するブレ推定部と、
    前記推定されたブレ情報に基づいて前記短時間露光画像のブレを補正する短時間露光ブレ補正部と、
    前記推定されたブレ情報に基づいて前記第一画素を用いて生成された長時間露光画像のブレを補正する長時間露光ブレ補正部と、
    前記補正された短時間露光画像と前記補正された長時間露光画像とを合成する画像合成部と
    を具備する撮像装置。
11. 前記固体撮像素子は、水平方向に前記第一画素が並べて配列されている第一画素ラインと前記水平方向に前記第二画素が並べて配列されている第二画素ラインとが垂直方向に交互に配置されている請求項１０記載の撮像装置。
12. 前記固体撮像素子は、第１の分光感度の画素が市松状に配置されるように前記第一画素ラインおよび前記第二画素ラインには前記第１の分光感度の画素が１つおきに配置され、前記第一画素ラインおよび前記第二画素ラインにおける前記第１の分光感度の画素の間に第２の分光感度の画素および第３の分光感度の画素が交互に配置されるように、前記第一画素に係る前記第２の分光感度の画素および前記第二画素に係る前記第２の分光感度の画素が斜め方向に交互に並べて配置されるとともに、前記第一画素に係る前記第３の分光感度の画素および前記第二画素に係る前記第３の分光感度の画素が前記斜め方向に交互に並べて配置されている請求項１１記載の撮像装置。
13. 前記固体撮像素子は、前記第一画素と前記第二画素とが市松状に配置されている請求項１０記載の撮像装置。
14. 前記固体撮像素子は、前記第一画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列であり、前記第二画素に係る第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列が斜めに傾いたベイヤー配列である請求項１３記載の撮像装置。
15. 前記固体撮像素子は、水平方向に交互に配列されている前記第一画素および前記第二画素により構成される水平ラインの上側には前記水平方向に前記所定期間内に連続した露光による読み出しを行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて前記水平ラインに含まれる前記第一画素に接続され、前記水平ラインの下側には前記水平方向に前記所定期間内に断続した露光による読み出しを順次行うための制御信号を供給する行転送信号線および行リセット信号線が配置されて前記水平ラインに含まれる前記第二画素に接続されている請求項１３記載の撮像装置。
16. 前記固体撮像素子は、水平方向に３つ並べて配置されている前記第一画素と垂直方向に３つ並べて配置されている前記第一画素とが階段状に連結される第一画素群と、前記水平方向に３つ並べて配置されている前記第二画素と前記垂直方向に３つ並べて配置されている前記第二画素とが階段状に連結される第二画素群とが前記水平方向において交互に配置されている請求項１０記載の撮像装置。
17. 前記固体撮像素子は、第１の分光感度の画素と第２の分光感度の画素と第３の分光感度の画素との配列がベイヤー配列である請求項１６記載の撮像装置。
18. 所定期間内に連続した露光により長時間露光画像を生成するための画素と前記所定期間内に断続した露光により複数の短時間露光画像を生成するための画素とが撮像面に並べて配置されている固体撮像素子。
19. 所定期間内に生成された画像のブレ情報を推定するブレ推定手順と、
    前記推定されたブレ情報に基づいて前記所定期間内に断続した露光により生成された複数の短時間露光画像のブレを補正する短時間露光ブレ補正手順と、
    前記推定されたブレ情報に基づいて前記所定期間内に連続した露光により生成された長時間露光画像のブレを補正する長時間露光ブレ補正手順と、
    前記補正された短時間露光画像と前記補正された長時間露光画像とを合成する画像合成手順と
    を具備する画像処理方法。
20. 所定期間内に生成された画像のブレ情報を推定するブレ推定手順と、
    前記推定されたブレ情報に基づいて前記所定期間内に断続した露光により生成された複数の短時間露光画像のブレを補正する短時間露光ブレ補正手順と、
    前記推定されたブレ情報に基づいて前記所定期間内に連続した露光により生成された長時間露光画像のブレを補正する長時間露光ブレ補正手順と、
    前記補正された短時間露光画像と前記補正された長時間露光画像とを合成する画像合成手順と
    をコンピュータに実行させるプログラム。