JP2012175621A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】被写体動き等に基づいて発生するフォーカルプレーン動作等に起因する歪みを抑制した画像生成を実現する装置、方法を提供する。
【解決手段】フォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する。例えば各行単位で、所定の露光時間のタイミング画像のみを選択して合成することで、歪みのない画像を生成することが可能となる。
【選択図】図９

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、撮影画像の画素値読み出しを行順次読み出し処理として実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

以下、背景技術として、露光制御処理の以下の２つの技術の概要について順次、説明する。
（１）フォーカルプレーンシャッタ動作と歪みの発生について
（２）領域単位の異なる露光時間を設定する露光時間制御（シャッタ制御）について

（１）フォーカルプレーンシャッタ動作と歪みの発生について
まず、フォーカルプレーンシャッタ動作と歪みの発生について説明する。
撮像装置における画像撮影処理のシャッタ動作方式として、撮像素子面の一方向から露光開始や露光終了を制御するシャッタ動作がある。このシャッタ動作は、フォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれる。例えば撮像素子の上位行から下位行に向けて露光開始や露光終了を制御すると、行間での露光時間が少しずつずれるという特徴を持つ。

図１を参照して、フォーカルプレーンシャッタ動作機能を持つ撮像素子の一例としてＣＭＯＳイメージセンサの構成と撮影処理例について説明する。
図１は、撮像素子（ＣＭＯＳイメージセンサ）１０１の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）１０１は、垂直走査回路１０２、水平走査回路１０３、および、アレイ状に配置された複数の画素１０４から構成される。

画素１０４の内部では、被写体撮影に伴う露光処理によってフォトダイオードに電荷が蓄積される。
各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線１１３に出力される。垂直信号線１１３に出力された信号電流は、さらに水平走査回路１０３に供給されて、所定の信号処理が実行された後、信号出力線１１４を介して外部へ出力される。

垂直信号線１１３には、縦に並んだ各画素が共通に接続されているので、それぞれの画素の信号を独立に読み出すためには、垂直信号線１１３に対して、１度に１個の画素分の信号のみを出力するようにしなければならない。

すなわち、撮像素子（ＣＭＯＳイメージセンサ）１０１においては、図２（Ａ）に示されるように、例えば、一番下の行に並んだ画素１０４ｄのそれぞれから、最初に信号を読出し、次に、図２（Ｂ）に示されるように画素１０４ｃの行からの読み出しを行い、その後、順次、読み出しの行を変更して信号の読み出しを行うことで、各画素の信号を独立して読み出すことができるようになされている。これらの画素読み出しの制御信号は、例えば図１に示される垂直走査回路１０２に接続された水平リセット線１１１、水平選択線１１２から出力される。

撮像素子（ＣＭＯＳイメージセンサ）の構成画素１０４の各々は、蓄積された電荷の読み出し処理直後から、再び露光を開始する。すなわち、次の画像フレーム用の露光処理が開始される。

このように読み出し処理を行単位で順次、実行し、その直後から露光処理を開始すると、先頭行のフォトダイオード１０４ａと最終行のフォトダイオード１０４ｄとでは、露光の開始時刻および終了時刻が異なる、すなわち露光時間（または露光期間）にずれが発生する。
これが、いわゆるフォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれるシャッタ動作の特徴である。
なお、図には１０４ａ〜１０４ｄの４行のみ示しているが、これは撮像素子の一部を示しているのみであり、実際の撮像素子には数１００〜数１０００行等、多数の行が設定され、各行単位で順次読み出しが実行される。

図３、および、図４を参照して、各行の露光の開始および終了タイミングと、電荷の読み出し開始タイミングの一例について説明する。
図３、図４とも時間軸を横軸、行を縦軸として示している。
例えば図３において、電荷読み出しのタイミングは、図に示す点線ライン１５１ａ，ａ、１５１ｂで示すように、行単位で時間ずれが発生する。

図３に示す複数の矩形ブロックは、ある１つの撮影画像フレームの露光時間を示しており、行または複数行からなる行ブロック単位の露光時間である。
先行撮影された画像フレームの読み出しライン１５１ａに示すタイミングの直後から露光処理が開始される。読み出しライン１５１ａに示すように、露光開始時間は、行単位で少しずつずれた時間となる。図に示すグラフにおいて、上側の行が先行して露光開始され、下側の行ほど遅れて露光が開始される。
最上行は時間（ｔ１）が露光開始時間であり、最下行は時間（ｔ２）が露光開始時間である。

図３に示す複数の矩形ブロックの右端が、露光画像の読み出し処理が実行されるタイミングであり、読み出しライン１５１ｂに示すタイミングで各行の画素の蓄積電荷が読み取られる。
この例では、露光終了時間≒読み出し処理時間であり、図３の読み出しライン１５１ｂに示すように、先頭行から順次、行ごとに各画素の読み出し処理が行われる。
最上行は時間（ｔ２）が露光終了時間であり、最下行は時間（ｔ３）が露光終了時間である。
なお、この例では、各行の露光開始と露光終了は、行単位で同じタイミングのずれが発生しているため、各行の露光時間は全て同じとなる。

図４には、動画撮影時の２つの連続撮影フレームの画像に対応する露光処理と読み出しタイミングを示している。
図４に示すように先行撮影フレームＮは、読み出しライン１５２ａ〜読み出しライン１５２ｂの期間が露光時間であり、読み出しライン１５２ｂに示すタイミングで、各行からの画素値読み出しが実行される。
後続撮影フレームＮ＋１は、読み出しライン１５２ｂ〜読み出しライン１５２ｃの期間が露光時間であり、読み出しライン１５２ｃに示すタイミングで、各行からの画素値読み出しが実行される。

図４に示す例では、先行撮影フレームＮは、
露光開始時間が、最上行は時間（ｔ１ａ）であり、最下行は時間（ｔ１ｂ）である。
露光終了時間が、最上行は時間（ｔ１ｂ）であり、最下行は時間（ｔ１ｃ）である。
後続撮影フレームＮ＋１は、
露光開始時間が、最上行は時間（ｔ２ａ）であり、最下行は時間（ｔ２ｂ）である。
露光終了時間が、最上行は時間（ｔ２ｂ）であり、最下行は時間（ｔ２ｃ）である。

図４に示す例では、例えば先行撮影フレームＮの最下行の露光時間と、後続撮影フレームＮ＋１の最上行の露光時間がほぼ同じ時間帯となってしまっている。すなわち、先行する画像フレームの下側の画像データと、後続フレームの上側の画像データがほぼ同じ時間帯の画像になってしまうという現象が発生する。

この結果、例えば、動きのある被写体を撮像した場合、あるいは、カメラ自体を露光中に移動して撮影するなどの撮影処理を行う場合、フォーカルプレーンシャッタ動作に起因する行間の露光時間のずれにより、画像に歪みが発生する。

画像歪みの例について図５を参照して説明する。
図５（Ａ）はカメラが停止している状態で撮影した場合の撮影例である。
図５（Ｂ）はカメラを横方向に移動させながら撮影した場合の撮影例である。
図５（Ａ）の画像には歪みが発生していないが、図５（Ｂ）に示す画像には歪みが発生している。
同様に、
図５（Ｃ）は車が停止している状態で撮影した場合の撮影例である。
図５（Ｄ）は車が動いている状態で撮影した場合の撮影例である。
図５（Ｃ）の画像には歪みが発生していないが、図５（Ｄ）に示す画像には歪みが発生している。

このような歪みは、図３、図４を参照して説明した撮像素子の露光時間のずれ、すなわち、上端行から下端行で少しずつ露光時間が異なっているために発生する。この歪みの発生現象は、フォーカルプレーンシャッタ現象、または、ローリングシャッタ現象と称されている。

こうしたフォーカルプレーン動作による歪みを軽減するための従来技術について説明する。
例えば、特許文献１では、撮像素子におけるリセット動作や読み出し動作を高速で行ない、高速で読み出した画像データを記録装置に一時格納し、格納データを、フレームレートを遅くして読み出して後段に出力することにより、動きのある被写体の歪みを軽減する方法を開示している。

特許文献１の記載の方法は、歪みを軽減するために高速読み出し動作を行うことを必要としている。しかし、実際には、高速な動作には限界があるため、歪みを完全に解消することは不可能である。さらに、高速動作によって消費電力増加やノイズの増加が発生するという二次的な問題が発生してしまう。

また、特許文献２は、画素内にグローバルシャッタ動作に必要なトランジスタを追加する技術を開示している。しかし、この特許文献２の開示技術は、トランジスタを追加することが必要であり撮像素子の画素サイズが大きくなり、小型なイメージセンサや高画素のイメージセンサには適用できないという制約がある。

また、特許文献３は、イメージセンサからの出力信号を記憶装置に取り込み、複数のフレームから１枚の画像を生成することで歪みを軽減する構成を開示している。
特許文献３の手法について、図６を用いて説明する。
図６には、動画撮影時の３つの連続撮影フレームとして、
フレームＮ−１、
フレームＮ、
フレームＮ＋１、
これらの３フレームの行単位の露光時間を示している。

図６に示すように撮像素子（ＣＭＯＳイメージセンサ）はフォーカルプレーンシャッタ動作による撮影が実行され、行ごとに露光タイミングが異なる。したがって、先に図５を参照して説明したような歪み、すなわち、物体やカメラ自体の動きに起因した画像歪みが発生する。そこで、前後の時間に撮影された画像を利用し、時間を考慮した補間を行うことで、１つの画像フレームのすべての行の画像がある１つの時間に同時に撮影されたと同等の画像を生成して出力する。

例えば、図６の設定でフレームＮ−１〜Ｎ＋１の３画像が撮影された場合、フレームＮの画像の補正を行って、撮影時間の中央位置であるタイミングＴ０で同時撮影されたと同様の補正画像を生成する。この際、フレームＮ−１の画像とフレームＮ＋１の画像を参照して補正処理を行う。

この特許文献３に記載の技術は、フレーム間を線形補間によって画像を生成するため、演算が容易であるという利点がある。しかしながら、フレームバッファとしての記憶装置（メモリ）が必要となる。また、歪みを解消するのではなく、歪みをぼかすことによって歪みを目立たなくする処理であるため、物体やカメラが大きく動いたときには、画面が大きくぼけることがあるという問題点がある。

例えば、図６の設定で撮影される画像の場合、
フレームＮの補正画像の生成処理において、画像の上端の行はフレームＮの画像とフレームＮ＋１の画像それぞれに同程度の重みを使って補間して作ることになり、画面の下端の行もフレームＮの画像とフレームＮ−１の画像それぞれに同程度の重みを使って補間して作ることになる。このような処理を行うことで画面の上端および下端では、物体の動きによるぼける量が大きくなる。しかし、画面の中央部はほぼフレームＮの画像によって補間されるため、画面の中央では従来通りのぼける量で済むため、画面の位置によってぼける量が大きく変化してしまうという問題がある。

また、特許文献４は、撮像素子の出力信号を一旦、メモリに取り込み、メモリに格納した複数の連続撮影画像の分割領域ごとに動きベクトルを検出し、位置補正を行ないながら１枚の補正画像を生成して歪みを軽減する構成を開示している。

この特許文献４の方法では、前述の特許文献３の様に補正処理によってぼけることはないものの、動きベクトルの検出の演算が複雑であることや、動きベクトルの演算に失敗した場合、画に目に見える破綻が発生することがあるという問題点がある。

さらに、特許文献５は、例えば、撮像素子の高速動作により、連続撮影された多くの画像をメモリに取り込んで、これらの画像から１枚の補正画像を生成してフォーカルプレーン動作による歪みを軽減する構成を開示している。
この特許文献５の手法は、特許文献３の手法と同じように線形補間によって画像を生成する構成であるが、撮像素子の高速動作により画面全体でのぼける量のムラなどが軽微であるという利点があり、また良好に歪みを補正することができる。

しかしながら、特許文献５の手法では、撮像素子の高速動作が前提であるため、前述の特許文献１の構成と同様、消費電力の増加やノイズの増加という問題が発生する。

（２）領域単位の異なる露光時間を設定する露光時間制御（シャッタ制御）について
次に、領域単位の異なる露光時間を設定する露光時間制御（シャッタ制御）について説明する。
撮像素子の各画素に対する露光時間を制御して、撮影画像のダイナミックレンジを拡大することができる。
明るい被写体領域では露光時間を長くすると画素の蓄積電荷が飽和してしまい、正確な画素値が得られない。
一方、暗い被写体領域では、露光時間を長くした方が被写体輝度に対応する正確な画素値を得やすい。

そこで、被写体が明るい領域では露光時間を短く設定した画素の画素値を有効画素値として取得する。一方、被写体が暗い領域では、露光時間を長くした画素の画素値を有効画素値として取得する。これらを組み合わせて出力画像を生成するものである。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理が実行される。

特許文献６〜８には、撮像素子の領域単位で異なる露光時間を設定して、撮影画像のダイナミックレンジを拡大する技術を開示している。例えば撮像素子の画素行の１行おきに短時間露光行と長時間露光行を設定する構成である。

例えば、特許文献６には、ＣＭＯＳイメージセンサの電子シャッタ動作を偶数行と奇数行で異なる動作をさせることによって高感度画素（長時間露光画素）と低感度画素（短時間露光画素）を設定し、被写体輝度に応じた画素値の組み合わせにより高ダイナミックレンジ画像の撮像を可能にした構成を開示している。
特許文献７は、特許文献６の構成に、さらに読み出しタイミングについても行単位で変更可能とした構成を開示している。

特許文献８は、ベイヤー配列のカラーフィルタを持つ撮像素子において、２パターンの露光時間を１行ごと、あるいは、それ以上の複数行で設定し、電子シャッタ動作により変化させる構成を開示している。

これらの特許文献６〜８の構成は、電子シャッタを用いた構成によって領域単位の露光時間制御を実行するものである。

（３）従来技術のまとめ
上述したように、フォーカルプレーンシャッタを利用した構成では、例えば行単位で露光期間のずれが発生し、このずれに起因する歪みが発生するという根本的な問題が解決されていない。
また、領域単位の露光期間制御を行ってダイナミックレンジを拡大しようとする技術が知られているが、この構成においても、フォーカルプレーンシャッタを利用した場合には行単位の露光期間のずれを防止できず、このずれに起因する歪みが発生してしまうという問題は解決されない。

特開２００４−１４０４７９号公報 特開２００４−１４０１４９号公報 特開２００６−１４８４９６号公報 特願２００７−２０８５８０号公報 特開２００７−３３６３１４号公報 特開２００６−２５３８７６号公報 特願２００８−１４７８１８号公報 特開２００６−５４２３３７号公報

上述したように、フォーカルプレーン動作を行う撮像素子では、動きのある被写体の撮影時などに撮影画像の歪みが発生してしまう。
本発明は例えば、このような状況に鑑みてなされたものであり、フォーカルプレーン動作を行う撮像素子において、撮影画像の歪みを抑制可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、
前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、フォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記入力画像より短い露光時間の複数のタイミング画像を生成し、前記歪み補正処理部は、前記入力画像より短い露光時間の複数のタイミング画像を合成して前記補正画像を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に全ての露光時間を持つタイミング画像については、当該タイミング画像の画素値を、補正画像の画素値にすべて反映させる処理を行い、生成予定の補正画像の露光時間に一部の露光時間重なり部分を持つタイミング画像については、当該タイミング画像の画素値を、前記重なり部分の割合に応じて補正画像の画素値に反映させる処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、前記歪み補正処理部は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記タイミング画像を、前記入力画像より短い露光時間の連続撮影画像として生成し、前記中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、連続撮影された複数の画像に対する処理を並列に実行する複数の中間画像生成部によって構成され、前記歪み補正部は、前記複数の中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素のいずれかである。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、入力画像の領域単位の動き検出を実行する動き検出部を有し、動きの検出された領域についてのみ前記歪み補正処理部の出力を適用して出力画像を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、撮像素子と、前記撮像素子の領域単位の露光時間制御を実行する制御部を有する。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
中間画像生成部が、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成ステップと、
歪み補正処理部が、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理ステップを実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行するプログラムであり、
中間画像生成部に、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成させる中間画像生成ステップと、
歪み補正処理部に、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成させる歪み補正処理ステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、被写体動き等に基づいて発生するフォーカルプレーン動作等に起因する歪みを抑制した画像を生成可能となる。
具体的には、例えばフォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する。
例えば各行単位で、所定の露光時間のタイミング画像のみを選択して合成することで、歪みのない画像を生成することが可能となる。

撮像素子の構成と撮像処理について説明する図である。 撮像素子の構成と撮像処理について説明する図である。 フォーカルプレーン動作による撮像処理シーケンスについて説明する図である。 フォーカルプレーン動作による撮像処理シーケンスについて説明する図である。 フォーカルプレーン動作による撮像処理における問題点としての画像歪みの発生例について説明する図である。 複数のフレームから１枚の画像を生成することで歪みを軽減する構成について説明する図である。 画像処理装置としての撮像装置の構成例について説明する図である。 露光パターンの設定例について説明する図である。 歪み補正部の構成と処理例について説明する図である。 中間画像生成部の構成と処理例について説明する図である。 中間画像生成部の実行する処理の具体例について説明する図である。 歪み補正処理部の実行する処理の具体例について説明する図である。 歪み補正処理部の実行する処理の具体例について説明する図である。 露光制御パターンの例について説明する図である。 露光制御パターンの例について説明する図である。 露光制御パターンと、露光時間およびタイミング画像の設定例について説明する図である。 露光時間制御の処理例について説明する図である。 歪み補正部の構成例について説明する図である。 図１８に示す歪み補正部の構成において実行する歪み補正処理例について説明する図である。 歪み補正部の構成例について説明する図である。 図２０に示す歪み補正部の構成において実行する歪み補正処理例について説明する図である。 フレームバッファを持たない歪み補正部の実行するコウソクフレームレート画像の出力処理について説明する図である。 歪み補正部の構成例について説明する図である。 フォーカルプレーン歪みの発生例について説明する図である。 従来のフォーカルプレーン歪みの補正処理に適用する画像例について説明する図である。 従来のフォーカルプレーン歪みの補正処理例について説明する図である。 本発明の一実施例に従ったフォーカルプレーン歪みの補正処理に適用する画像例について説明する図である。 本発明の一実施例に従ったフォーカルプレーン歪みの補正処理例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．画像処理装置の構成例について
２．歪み補正部の構成と処理の詳細について
２−１．歪み補正部の全体構成と処理について
２−２．中間画像生成部の処理について
２−３．歪み補正処理部の処理について
３．その他の実施例について
３−１．露光制御パターンの変形例について
３−２．露光時間制御の変形例について
３−３．フレームバッファ設定の変形例について
３−４．歪み補正処理の変形例について
４．その他の画像処理との併用構成例について
５．本発明の処理による効果の説明

［１．画像処理装置の構成例について］

まず、画像処理装置の一実施例としての撮像装置の構成例について、図７を参照して説明する。
図７に示すように、撮像装置は、光学レンズ２０１、ＣＭＯＳイメージセンサ等によって構成される撮像素子２０２、主にフォーカルプレーン動作に起因する画像歪みを補正する歪み補正部２０３、信号処理部２０５、制御部２０７を有する。

光学レンズ２０１を介した入射光は、撮像素子（ＣＭＯＳイメージセンサ）２０３に入射する。撮像素子２０２は、フォーカルプレーン動作に従った領域単位、例えば行単位の順次読み出し処理が実行される撮像素子である。
撮像素子２０２は、入射光に応じて撮像素子の各画素において電荷を蓄積し、蓄積電荷に基づく光電変換信号を画像データとして歪み補正部２０３に出力する。

歪み補正部２０３は、撮像素子２０２からの出力画像信号を入力し、フォーカルプレーン動作に起因する画像歪みを補正する。この処理については後段で詳細に説明する。歪み補正部２０３は、歪み補正により生成した補正画像２０４を信号処理部２０５に出力する。

信号処理部２０５では、歪み補正のなされた補正画像２０４を入力し、入力画像に所定の画像処理、例えばホワイトバランス調整処理や、ガンマ補正処理などの画像処理を施して出力画像２０６を生成して出力する。

撮像装置は、動画や静止画を撮影可能な撮像装置であり、撮像素子（ＣＭＯＳイメージセンサ）２０２は、先に図１を参照して説明したと同様の構成を有する。なお、撮像素子（ＣＭＯＳイメージセンサ）２０２は、制御部２０７の制御によって領域単位の露光時間制御を可能とした撮像素子である。
例えば先に説明した特許文献６〜８に記載のある構成、あるいはその他の既存構成によって画像領域単位の露光時間制御を実行する。

なお、以下に説明する実施例では、撮像素子２０２の一例として、図８に示す構成を持つ撮像素子を用いた例について説明する。
撮像素子２０２は図８（Ａ）に示すようにＲＧＢ配列を有し、４画素単位で異なる露光時間（露光パターン１〜４）が設定される。
図８（Ａ），（Ｂ）に示すように、
（ａ）最も長い露光時間の画素ブロック（露光パターン１）
（ｂ）２番目に長い露光時間の画素ブロック（露光パターン２）
（ｃ）３番目に長い露光時間の画素ブロック（露光パターン３）
（ｄ）最も短い露光時間の画素ブロック（露光パターン４）
このような４パターンの露光時間の画素ブロックが図８（Ａ）に示すように隣接して設定され、周期的に配置される。

露光パターン１〜４の露光時間比は４：３：２：１で、図８（Ｂ）に示すように、各パターンにおいて露光開始時間が異なり、読み出し時間は等しいものとする。

［２．歪み補正部の構成と処理の詳細について］
（２−１．歪み補正部の全体構成と処理について）
次に、歪み補正部２０３の構成と処理の詳細について図９を参照して説明する。
図９に示すように、歪み補正部２０３には、撮像素子２０２からの出力画像であるセンサ出力画像２１１が入力される。
このセンサ出力画像２１１は、フレームバッファ２１２および２１３に、順次格納される。
例えば動画撮影時には連続撮影フレームが各フレームバッファ２１２，２１３に順次格納されることになる。
なお、静止画撮影時にも連続撮影した画像を利用して１つの画像を出力する処理を行うことが可能であり、静止画、動画いずれの撮影時にも適用可能である。

３枚の連続撮影画像をフレームＮ−１，Ｎ，Ｎ＋１とし、最新の撮影画像であるセンサ出力画像２１１＝フレームＮ＋１としたとき、
フレームバッファ２１２にはフレームＮ、
フレームバッファ２１３にはフレームＮ−１、
これらの各フレーム画像が格納される。

センサ出力画像２１１およびフレームバッファ２１２，２１３の各格納画像に対して中間画像生成部２１４〜２１６は、各々複数の中間画像を生成する。この中間画像生成処理については後述する。
中間画像生成部２１４〜２１６の生成した複数の中間画像は歪み補正処理部２１８に入力される。

歪み補正処理部２１８は、中間画像生成部２１４〜２１６の生成した複数の中間画像を入力し、さらに制御部２０７から入力する走査線位置情報２１７を入力し、フォーカルプレーンシャッタによる画像歪みを補正して、補正出力画像２１９を生成する。この処理については後述する。

（２−２．中間画像生成部の処理について）
次に図９に示す歪み補正部２０３内に構成される中間画像生成部の処理について図１０を参照して説明する。
図９を参照して説明したように歪み補正部２０３は、３つの中間画像生成部２１４〜２１６を有している。
中間画像生成部２１４〜２１６は、それぞれ連続撮影された画像に対する処理を行う。
具体的には、
中間画像生成部２１４は、センサ出力画像（フレームＮ＋１）に対する処理、
中間画像生成部２１５は、フレームバッファ２１２の格納画像（フレームＮ）に対する処理、
中間画像生成部２１６は、フレームバッファ２１３の格納画像（フレームＮ−１）に対する処理、
これらの処理をそれぞれ実行する。
これら３つの中間画像生成部２１４〜２１６の実行する処理は、処理対象画像が異なるのみであり、基本的に同様の処理である。従って、以下では、中間画像生成部２１４の処理を代表例として説明する。

中間画像生成部２１４には、センサ出力画像２１１が入力される。
このセンサ出力画像２１１は、先に図８を参照して説明したように、画素領域ごとに異なる露光パターン（露光パターン１〜４）、すなわち４種類の異なる露光時間を設定して撮影された画像である。

まず、図１０に示す補間処理部２２２は、４つの露光時間の設定されたセンサ出力画像２２１を入力する。図１０に示すセンサ出力画像２２１は、図９のセンサ出力画像２１１に対応する。

補間処理部２２２は、全画素について各露光パターンが揃うように補間処理を行う。
すなわち、センサ出力画像２２１の全画素について４つの露光時間の各々で、均一に露光処理を行って撮影した画像と同等の４つの露光パターン画像２２３〜２２６を生成する。
具体的には以下の４つの露光パターン画像を生成する。
（ａ）最も長い露光時間である露光パターン１で撮影した画像に相当する露光パターン画像２２３、
（ｂ）２番目に長い露光時間である露光パターン２で撮影した画像に相当する露光パターン画像２２４、
（ｃ）３番目に長い露光時間である露光パターン３で撮影した画像に相当する露光パターン画像２２５、
（ｄ）最も短い露光時間である露光パターン４で撮影した画像に相当する露光パターン画像２２６、
これらの４つの露光パターン画像を生成する。

補間処理部２２２における露光パターン画像生成において実行する補間処理は、線形補間などのフィルタによる補間方法や、エッジの方向の検出を行ないそれに基づいて補間する方法などである。
補間処理部２２２の生成した４つの露光パターン画像２２３〜２２６は、露光時間の差分の少ないペアを１組として、３つの差分画像生成部２２７〜２２９に各々入力する。

差分画像生成部２２７〜２２９の処理について図１１を参照して説明する。
図１０に示す補間処理部２２２の生成した４つの異なる露光時間の下で撮影された画像に相当する各露光パターン画像２２３〜２２６は、図１１に示すように、４つの異なる露光時間（４Ｔ，３Ｔ，２Ｔ，１Ｔ）の下での撮影画像に相当する。

差分画像生成部２２７〜２２９では、これら４つの露光パターン画像から、露光時間の差分の少ないペアをそれぞれ入力して対応画素の差分画素値を算出し、その差分画素値から構成される画像をタイミング画像２３０〜２３２として生成する。

差分画像生成部２２７は、以下の第１タイミング画像２３０を生成する。
第１タイミング画像２３０は、
最も長い露光時間である露光パターン１で撮影した画像に相当する第１露光パターン画像２２３の画素値と、２番目に長い露光時間である露光パターン２で撮影した画像に相当する第２露光パターン画像２２４の画素値との差分からなる画像である。

差分画像生成部２２８は、以下の第２タイミング画像２３１を生成する。
第２タイミング画像２３１は、
２番目に長い露光時間である露光パターン２で撮影した画像に相当する第２露光パターン画像２２４の画素値と、３番目に長い露光時間である露光パターン３で撮影した画像に相当する第３露光パターン画像２２５の画素値との差分からなる画像である。

差分画像生成部２２９は、以下の第３タイミング画像２３２を生成する。
第３タイミング画像２３２は、
３番目に長い露光時間である露光パターン３で撮影した画像に相当する第３露光パターン画像２２５の画素値と、最も短い露光時間である露光パターン４で撮影した画像に相当する第４露光パターン画像２２６の画素値との差分からなる画像である。

また、第４タイミング画像２３３は、
最も短い露光時間である露光パターン４で撮影した画像に相当する第４露光パターン画像２２６がそのまま利用される。

これらの４つの差分画像は、図１１に示すような露光時間の設定で撮影された画像に対応する。すなわち、
（１）第１タイミング画像２３０は、露光時間Ｔ（ｔ０〜ｔ１）の撮影画像、
（２）第２タイミング画像２３１は、露光時間Ｔ（ｔ１〜ｔ２）の撮影画像、
（３）第３タイミング画像２３２は、露光時間Ｔ（ｔ２〜ｔ３）の撮影画像、
（４）第４タイミング画像２３３は、露光時間Ｔ（ｔ３〜ｔ４）の撮影画像、
このように４つのタイミング画像（差分画像）２３０〜２３３は、撮影タイミングがＴずつずれた、同じ露光時間（Ｔ）の４つの連続撮影画像に相当する。

このように、図９に示す中間画像生成部２１４〜２１６の各々は、入力画像に対して４つの異なるタイミングで撮影された４つのタイミング画像を生成する。
すなわち、
中間画像生成部２１４は、センサ出力画像（フレームＮ＋１）に基づく４つのタイミング画像を生成する。
中間画像生成部２１５は、フレームバッファ２１２の格納画像（フレームＮ）に基づく４つのタイミング画像を生成する。
中間画像生成部２１６は、フレームバッファ２１３の格納画像（フレームＮ−１）に基づく４つのタイミング画像を生成する。

（２−３．歪み補正処理部の処理について）
次に図９に示す歪み補正部２０３内に構成される歪み補正処理部２１８の処理について図１２を参照して説明する。

歪み補正処理部２１８では、各中間画像生成部２１４〜２１６の生成するタイミング画像を入力して、フォーカルプレーンシャッタ動作による歪みを補正する。
この歪み補正処理について、図１２を参照して説明する。

図１２（Ａ）は、３枚の連続撮影画像の露光時間を示す図である。
縦軸が行、横軸が時間である。先に図６を参照して説明したようにフォーカルプレーン動作による撮影処理を行う場合、撮像素子の行単位で順次露光時間がずれてしまう。
図１２（Ａ）には３枚の連続撮影画像であるフレームＮ−１，Ｎ，Ｎ＋１の各画像の行単位の露光時間の設定例を示している。

この３枚の連続撮影画像であるフレームＮ−１，Ｎ，Ｎ＋１の各画像は、図９に示す歪み補正部２０３の３つの中間画像生成部２１４〜２１６において処理対象とする画像、すなわちタイミング画像の生成対象とする３枚の画像に対応する。すなわち、
中間画像生成部２１４は、センサ出力画像（フレームＮ＋１）に基づく４つのタイミング画像を生成する。
中間画像生成部２１５は、フレームバッファ２１２の格納画像（フレームＮ）に基づく４つのタイミング画像を生成する。
中間画像生成部２１６は、フレームバッファ２１３の格納画像（フレームＮ−１）に基づく４つのタイミング画像を生成する。

図１２（Ｂ）は、歪み補正部２０３の３つの中間画像生成部２１４〜２１６がそれぞれフレームＮ＋１〜Ｎ−１の各画像に基づいて生成する４つのタイミング画像を識別可能な設定で示した図である。

図１２（Ｂ）に示すように、
フレームＮ−１の４つのタイミング画像は、中間画像生成部２１６が、フレームバッファ２１３の格納画像（フレームＮ−１）に基づいて生成する。
フレームＮの４つのタイミング画像は、中間画像生成部２１５が、フレームバッファ２１２の格納画像（フレームＮ−１）に基づいて生成する。
フレームＮ＋１の４つのタイミング画像は、中間画像生成部２１４が、センサ出力画像（フレームＮ＋１）に基づいて生成する。

図１２（Ａ）では、行単位で３つの画像（フレームＮ−１〜フレームＮ＋１）が得られるが、図１２（Ｂ）では、行単位で、３×４＝１２の１２個の画像（タイミング画像）が得られる。
この１２この画像は、露光期間（Ｔ）として異なる連続時間に撮影された１２枚の画像に相当する。

このようにタイミング画像を生成することで、より細かい間隔でデータを取得できる。この細かさにより、従来よりも精度の高いフォーカルプレーンシャッタによる歪みの軽減処理を行うことが可能になる。

歪み補正処理部２１８において実行する処理の一例について、図１３を参照して説明する。
図１３は、図１２（Ｂ）に示す図と同様の図である。歪み補正部２０３の３つの中間画像生成部２１４〜２１６がそれぞれフレームＮ＋１〜Ｎ−１の各画像に基づいて生成する４つのタイミング画像を識別可能な設定で示した図である。

例えば、図１３に示す出力タイミング（Ｔｘ）の画像を生成する処理、すなわち露光時間をｔ１〜ｔ２＝Ｔｘとして撮影した画像を生成する場合の処理例について説明する。

この図１３に示す出力タイミング（Ｔｘ）の画像を構成する上端の行の画素の画素値を算出する処理について説明する。
画像生成処理に際して、図１３に示すタイミング画像Ａ，Ｂ，Ｃ，Ｄ，Ｅを利用する。
タイミング画像Ｂ，Ｃ，Ｄの撮影タイミングは、生成予定の画像の出力タイミング（Ｔｘ）の範囲内に全期間が含まれている。従ってこれらのタイミング画像Ｂ，Ｃ，Ｄは、そのまま利用する。
一方、タイミング画像Ａ，Ｅの撮影タイミングは、生成予定の画像の出力タイミング（Ｔｘ）に一部重なっているが一部は外れた状態にある。したがって、これらについては、所定の重み係数を乗算したブレンド処理を行う。

図１３に示す出力タイミング（Ｔｘ）の画像を構成する上端の行の画素の画素値（ＯＵＴ）は以下の（式１）で算出する。
ＯＵＴ＝ａ×Ａ＋Ｂ＋Ｃ＋Ｄ＋（１−ａ）×Ｅ
・・・（式１）
Ａ〜Ｅは、各タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。
ａは重み係数である。
なお、重み係数ａは、例えば図１３に示す出力タイミング（Ｔｘ）と各タイミング画像との重複率に相当する値を設定する。
なお、重み例数ａは、各行の露光タイミングによって変わるため、走査線位置情報２１７を必要とする。

上記（式１）では、タイミング画像Ｂ，Ｃ，Ｄについてはブレンドせずにそのまま１００％の画素値を使用するため、補間処理によってぼけることを最小限にとどめられる。

図１３に示すように、中間画像生成部２１４〜２１６の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、歪み補正処理部２１８は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。

以上では、上端の行についての画素値算出処理について説明したが、例えば下端の行について、図１３に示す出力タイミング（Ｔｘ）の画像の画素値を算出する場合、図１３に示すタイミング画像Ｐ，Ｑ，Ｒ，Ｓを利用した処理を行う。
下端の行の画像の画素値（ＯＵＴ）は以下の（式２）で求めることができる。
ＯＵＴ＝Ｐ＋Ｑ＋Ｒ＋Ｓ
・・・（式２）
Ｐ〜Ｓは、各タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。
この場合、出力タイミング（Ｔｘ）に４つのタイミング画像の露光タイミングの総計がちょうど一致し、出力タイミング（Ｔｘ）にまたがるタイミング画像を利用する必要がない。
他の行についても同様の画素値（ＯＵＴ）算出式によって複数のタイミング画像の画素値加算処理によって出力画像の画素値を算出することができる。

このようにして、歪み補正処理部２１８は、複数のタイミング画像を合成して補正画像の画素値を算出して、補正画像２０４を生成して出力する。

この図１３を参照して説明した処理から理解されるように、歪み補正処理部２１８は、複数の画像（タイミング画像）の合成処理によって補正画像２０４を生成する。タイミング画像の露光時間は、元の撮影画像の１／４の露光時間の画像であり、これらを組み合わせる合成処理によって補正画像２０４を生成する。すなわち、上端行〜下端行に至るまで、ほぼ同じ露光時間（Ｔｘ）に含まれるタイミング画像を利用した補正画像２０４を生成することが可能となる。
この結果、出力画像は、上端行〜下端行に至るまで全ての行がほぼ同じ露光時間（Ｔｘ）の設定で撮影された画像として生成できる。

従って、本方法で生成する出力画像には、先に図５を参照して説明したようなフォーカルプレーン動作に起因した画像歪みはほとんど発生しない。フォーカルプレーン動作に起因した画像歪みは、上端行と下端行とでの露光時間のずれに起因するものであるが、上述したように図１３に示すタイミング画像の合成処理を行うことで、上端行〜下端行に至るまで全ての行がほぼ同じ露光時間（Ｔｘ）の設定で撮影された画像の生成が可能となる。
結果として、歪み補正部２０４の生成する補正画像２０４は、画像歪みの抑制された画像となる。

図７に示すように歪み補正部２０３の出力した補正画像２０４は、その後、信号処理部２０５に出力されホワイトバランス調整、γ補正等の所定の信号処理が施された後、出力画像２０６として出力される。

［３．その他の実施例について］
次に、その他の実施例について説明する。
（３−１．露光制御パターンの変形例について）
上述した実施例では、撮像素子の露光制御パターンとして図８を参照して矩形領域の画素ブロック単位で４つの露光時間の設定を行った例を説明した。
露光領域や露光時間の設定パターンはこのような設定に限らず、その他の様々な設定が可能である。入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素など、様々な設定が可能である。

なお、先に説明した実施例では、露光制御パターン数を４通りとしていたが、２通り以上であれば本発明は実施可能である。２通りで露光パターンを変化させる一例を、図１４に示す。

図１４（Ａ）は２行ごとに電子シャッタ動作を変えて、２行単位で２つの露光時間を交互に設定した例である。
図１４（Ｂ）は２ｘ２画素毎に電子シャッタ動作を変えて、２ｘ２画素毎に２つの露光時間を設定した例である。
図１４（Ｃ）はさらに異なる単位で電子シャッタ動作を変えて駆動する方法である。縦方向に３画素、横方向に３画素を交互に選択して領域を設定して、各領域２つの露光時間を交互に設定した例である。
このような様々な露光パターンの設定が可能である。

また、先に図８を参照して説明した画素配列も、図１４に示す画素配列も画素のカラーフィルタはベイヤー（Ｂａｙｅｒ）配列であるが、例えば図１５に示すような非Ｂａｙｅｒ配列の画素配列における画素配列についても適用することができる。
図１５に示す画素配列はＲＧＢの他Ｗ（ホワイト）画素を持つ構成である。

なお、露光パターンを２通りとした場合には、例えば露光時間を図１６に示すように、露光パターン１の露光時間と、露光パターン２の露光時間の露光時間比を２：１に設定する。
歪み補正部２０３は、図１６に示すように、
（１）第１タイミング画像＝露光パターン１−露光パターン２
（２）第２タイミング画像＝露光パターン２
これらの２つのタイミング画像を生成して、先に図１３を参照して説明した画像生成処理と同様のタイミング画像の合成処理によって歪みを軽減した補正画像を生成することができる。

（３−２．露光時間制御の変形例について）
前述した実施例では、露光時間の異なる撮像画像を取得する場合の撮影処理として、露光開始を領域単位でずらして、読み出しタイミングを揃えた設定例について説明したが、領域単位の露光時間制御は、様々な設定が可能である。

例えば図１７に示すように、読み出しタイミングをずらして画像を取得することもできる。その他、先に説明した特許文献６〜特許文献８に記載された領域単位の露光時間制御や、別の制御によって、行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングの制御を行う設定として画像を撮影することも可能であり、このような様々な制御で撮影した画像に対する処理が可能である。

（３−３．フレームバッファ設定の変形例について）
先に図９を参照して説明した構成では、フレームバッファを２つ用いる例を示したが、図１８に示すようにフレームバッファを１つ用い、２つの連続撮影画像のみを利用した構成としてもよい。この構成により、記憶装置の容量や読み書きの帯域を減らすことが可能になる。
なお、この構成を用いる場合、歪み補正処理部２１８は、図１３に示すように３つのフレーム：フレームＮ−１〜フレームＮ＋１を適用した処理ではなく、図１９に示すように連続する２つのフレームのみを適用して生成したタイミング画像を用いた歪み補正画像を生成することになる。

さらに、本発明は、図２０に示すようにフレームバッファを使用しない構成とすることも可能である。
なお、この構成を用いる場合、歪み補正処理部２１８は、図１３に示すように３つのフレーム：フレームＮ−１〜フレームＮ＋１を適用した処理ではなく、図２１に示すように１つのフレームのみを適用して生成した複数のタイミング画像を用いた歪み補正画像を生成することになる。

この場合、図２１に示すように出力する画像の露光期間の設定は、入力画像のフレームレートよりも短時間になるため、ノイズの影響が発生することがある。また、図２１に示すように、例えば上端行については出力画像タイミングの後半部分のデータの露光期間を含むタイミング画像が存在しない。同様に、下端行については出力タイミングの前半部分のデータの露光期間を含むタイミング画像が存在しない。結果として、近傍のタイミング画像のみから画像を生成することになるため、上下端でわずかにフォーカルプレーンシャッタ動作による歪みの軽減効果が薄まってしまうことがある。しかしながら、フレームバッファを使うことなく歪を補正することができるというメリットがある。

さらに、歪み補正部２０３は入力画像のフレームレートよりも高速なフレームレートの信号を生成することも可能である。

すなわち、中間画像生成部は、タイミング画像を、入力画像より短い露光時間の連続撮影画像として生成し、中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を構成することで入力画像のフレームレートよりも高速なフレームレートの信号を生成して出力することが可能となる。

具体的には、例えば、図２２に示すように、入力画像（フレームＮ，Ｎ＋１，…）に対して、フォーカルプレーン歪みを削減する補正を行いながら任意のタイミングの画像を生成することで出力画像（Ｍ，Ｍ＋１，Ｍ＋２，Ｍ＋３，…）の高フレームレートの画像出力を行なうことができる。なお、画像出力を行う場合には、輝度補正等の所定の画像補正を行って出力することが好ましい。

（３−４．歪み補正処理の変形例について）
先に説明した実施例では、歪み補正部２０３で行う補正処理として、図１３や（式１）を用いた例を説明したが、このような線形補間以外の方法を用いた補正方法を適用することも可能である。

例えば、図１３に示す２つの隣り合うタイミング画像である画像Ａと画像Ｂから動きを検出し、
画像Ａに対する動き補償によって、画像Ｂと同様のタイミングで撮影したと仮定した動き補償タイミング画像Ａ'を生成する。
同様に、画像Ｄと画像Ｅから動きを検出し、動き補償タイミング画像Ｅ'を生成する。
これらの画像を用いて以下に示す（式２）に従って補正画像の画素値（ＯＵＴ）を算出する。
ＯＵＴ＝ａ×Ａ'＋Ｂ＋Ｃ＋Ｄ＋（１−ａ）×Ｅ'
・・・（２）
ただし、
上記式において、
Ａ'，Ｂ，Ｃ，Ｄ，Ｅ'は、各タイミング画像または動き補償タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。
ａは重み係数である。
なお、重み係数ａは、例えば図１３に示す出力タイミング（Ｔｘ）と各タイミング画像との重複率に相当する値を設定する。
なお、重み例数ａは、各行の露光タイミングによって変わるため、走査線位置情報２１７を必要とする。

［４．その他の画像処理との併用構成例について］
本発明は、フォーカルプレーンシャッタ動作による歪みを軽減する方法についてのものであるが、同時に他の処理を併用することによって、さらに画質を向上させることができる。そのような構成例のいくつかを示す。

先に説明した実施例では、中間画像生成部において、図１０に示したようにフォーカルプレーン歪みを補正するために、異なる露光制御の画素配列をそれぞれ補間して、全画素位置に各露光パターンの画像（第１露光パターン画像２２３〜第４露光パターン画像２２６）を生成する処理を行っていた。

このような処理は、歪みが起こるような動きによってぶれている画像については問題にはならないが、ぴったりと静止した被写体を撮影しているときには解像度が劣化してしまうという問題を発生させる。

このような解像度劣化を防ぎながらフォーカルプレーン歪みを軽減する歪み補正部２０３の構成例について図２３を参照して説明する。

センサ出力画像２１１は、画素ごとに露光時間の異なる画像である。ゲイン補償処理部２４１は、センサ出力画像２１１の領域単位で露光時間に応じたゲインを各画素値に乗ずる処理を行う。

このケイン補償処理を実行することで、静止画については通常のＢａｙｅｒ配列と同じ解像度劣化のない画像を取得することができる。ゲイン補償処理部２４１の出力は、歪みをもち、また露光制御パターンごとに動きのぶれ量が異なるため、動きのある場合には、画が破綻してしまう。

そのため、動き検出部２４２にて画素ごとあるいはエリアごとに動きを検出し、動き適応処理部２４３において、動きのある画素領域については、歪み補正処理部２１８の出力画像、動きのない場所においては、ゲイン補償処理部２４１の出力画像を使うように選択処理、あるいは、動き量に応じたブレンド処理を行う。このようにして動きのない画像については解像度は従来通りであり、動きのある箇所については、歪みを軽減することが可能になる。

さらに、動きのない部分についてはフレームメモリを使用して、時間方向のノイズリダクション処理（３次元ＮＲや３ＤＮＲともいう）を施すことにより、静止画部分についてのノイズを低減することができる。

さらに画素値飽和対策処理を追加する構成も可能である。
先に説明した図１１において、各タイミング画像２３０〜２３３を生成するために差分画像生成部２２７〜２２９において異なる露光パターン画像の差分を計算しているが、例えば差分計算対象の片方の画像の画素値が飽和している場合、正確な差分値が得られない。

例えば、タイミング画像（差分画像）の生成に適用する２つの画像の対応画素値が本来１２００と８００である場合、
差分画像画素値＝１２００−８００＝４００
となる。しかし、センサの出力が１０ｂｉｔであるような場合、センサ出力は（０〜１０２３の画素値しか出力できない。この場合上記の画素値２０００は画素値１０２３として出力され、
差分画像画素値＝１０２３―８００＝２２３
となり、実際よりも小さな画素値のタイミング画像（差分画像）を生成してしまうことがある。

この飽和対策として最も単純なものは、露光パターンに応じて異なる値でクリップ処理を施すことである。
図１１に示すように露光パターン１，２，３，４の露光比が４：３：２：１であり、撮像素子の画素値出力が１０ｂｉｔの場合、
・露光パターン１の画素は１０２３，
・露光パターン２の画素は７６８，
・露光パターン３の画素は５１２，
・露光パターン４の画素は２５６，
で、クリップしたあとに、差分画像生成をすることで飽和にする問題を解消できる。
また、別の手法では、飽和を検出し、飽和している部分については、差分画像を生成しない、この飽和部分については、例えば特許文献３に記載されたダイナミックレンジ拡大手法によって画素値設定を行う。例えばこのような処理によって歪みの軽減効果は弱まるもののダイナミックレンジを拡大することが可能である。

［５．本発明の処理による効果の説明］
次に、本発明間の処理による効果について説明する。
本発明の効果を示すために、フォーカルプレーン歪みについて図２４を参照して説明する。
図２４（Ａ）は静止している物体を撮像した時の画像例であり、図２４（Ｂ），（Ｃ）は左から右に横方向に移動している物体を撮像した時の画像例である。
図２４（Ｂ）はグローバルシャッタ（フォーカルプレーン歪みの発生しない）により撮像した時の画像例であり、
図２４（Ｃ）はフォーカルプレーンシャッタによる撮像した時の画像例である。
図２４（Ｃ）に示すように、フォーカルプレーンシャッタ動作により、物体の歪みが発生する。

従来技術との比較のため、特許文献３（あるいは図１２（Ａ））に示される方法によるフォーカルプレーン歪み軽減効果を示す。
特許文献３の方法では、図２５に示す３枚の画像を利用してフォーカルプレーン歪みを軽減する。行ごとの読み出し時間の違いを考慮して、ブレンド係数を算出し、３枚画像から１枚の画像を生成する。
特許文献３による歪み軽減処理結果を図２６に示す。図２６では、物体の重心位置は調整されたものの、画面の上下端が大きくブレてしまい、また全体の軽減効果も大きくない。

本発明によるフォーカルプレーン歪み軽減効果を示す。図１１、図１２（Ｂ）、図１３を参照しはて説明したように、４通りの露光時間からなる１枚の画像から、まず、４枚の露光パターン画像を生成し、さらに４枚の露光パターン画像の差分画像として、４つの異なるタイミングで撮影された画像に相当する４つのタイミング画像を生成する。歪み補正処理部は、これらのタイミング画像の合成処理によってフォーカルプレーン歪みを補正した補正画像を生成する。

例えば、複数のタイミング画像（差分画像）の具体例は、図２７のような画像となる。各タイミング画像は、複数の露光パターン画像の差分画像として生成するため、タイミング画像各々の露光期間は短期間となり、暗い画像を取得することになるが、ブレの少なく時間間隔の短い画像を大量に入手することができる。図２７の画像を利用した画像合成処理、例えば先に図１３を参照して説明した画素値算出処理に基づいて算出した画素値からなる補正画像は、図２８に示すような画像となる。すなわち、フォーカルプレーン歪みの軽減処理を行うことで図２８を得ることができる。

従来の手法における結果である図２６に示す画像と比較し、本発明による結果である図２８に示す画像は画面の位置による歪み軽減のムラが極めて少なく、また歪み軽減効果としても大きいことが確認できる。

以上のように、本発明では撮像素子において、領域単位で異なる露光時間に設定した画像を撮影し、この撮影画像を適用した処理によって、フォーカルプレーン歪み補正を行った画像を生成することが可能となる。
従来手法で同等の効果を得るためには、センサを高速動作させる必要があったが、本発明ではそのような必要がないため、撮像素子の動作速度の増大に伴う消費電力増加といったデメリットを発生させることがない。また、同様の理由により、フレームバッファとしての記憶装置の高速動作の必要性もなく、消費電力、装置コストの低減も可能となる。

さらに、動きベクトルの算出処理等、複雑な演算を必要としないため、演算負荷の低減、高速処理が実現される。なお、本発明と動きベクトルを算出処理の併用構成とした場合でも、動きベクトル算出対象とするタイミング画像間の時間差が少なく、動きベクトル算出処理を高精度に実行できるため、高精度な歪み軽減効果を得ることが可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例によれば、被写体動き等に基づいて発生するフォーカルプレーン動作等に起因する歪みを抑制した画像を生成可能となる。
具体的には、例えばフォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する。
例えば各行単位で、所定の露光時間のタイミング画像のみを選択して合成することで、歪みのない画像を生成することが可能となる。

１０１ 撮像素子
１０２ 垂直走査回路
１０３ 水平走査回路
１０４ 画素
１１１ 水平リセット線
１１２ 水平選択線
１１３ 垂直信号線
１１４ 信号出力線
２０１ 光学レンズ
２０２ 撮像素子
２０３ 歪み補正部
２０４ 補正画像
２０５ 信号処理部
２０６ 出力画像
２０７ 制御部
２１１ センサ出力画像
２１２，２１３ フレームバッファ
２１４〜２１６ 中間画像生成部
２１７ 走査線位置情報
２１８ 歪み補正処理部
２２１ センサ出力画像
２２２ 補間処理部
２２３〜２２６ 露光パターン画像
２２７〜２２９ 差分画像生成部
２３０〜２３３ タイミング画像（差分画像）
２４１ ゲイン補償処理部
２４２ 動き検出部
２４３ 動き適応処理部

Claims (13)

1. 領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、
   前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する画像処理装置。
2. 前記中間画像生成部は、
   フォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する構成である請求項１に記載の画像処理装置。
3. 前記中間画像生成部は、前記入力画像より短い露光時間の複数のタイミング画像を生成し、
   前記歪み補正処理部は、
   前記入力画像より短い露光時間の複数のタイミング画像を合成して前記補正画像を生成する請求項１に記載の画像処理装置。
4. 前記歪み補正処理部は、
   前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する請求項１に記載の画像処理装置。
5. 前記歪み補正処理部は、
   前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に全ての露光時間を持つタイミング画像については、当該タイミング画像の画素値を、補正画像の画素値にすべて反映させる処理を行い、
   生成予定の補正画像の露光時間に一部の露光時間重なり部分を持つタイミング画像については、当該タイミング画像の画素値を、前記重なり部分の割合に応じて補正画像の画素値に反映させる処理を行う請求項１に記載の画像処理装置。
6. 前記中間画像生成部の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、
   前記歪み補正処理部は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する請求項１に記載の画像処理装置。
7. 前記中間画像生成部は、前記タイミング画像を、前記入力画像より短い露光時間の連続撮影画像として生成し、
   前記中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を有する請求項１に記載の画像処理装置。
8. 前記中間画像生成部は、連続撮影された複数の画像に対する処理を並列に実行する複数の中間画像生成部によって構成され、
   前記歪み補正部は、
   前記複数の中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する請求項１に記載の画像処理装置。
9. 前記入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素のいずれかである請求項１に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    入力画像の領域単位の動き検出を実行する動き検出部を有し、
    動きの検出された領域についてのみ前記歪み補正処理部の出力を適用して出力画像を生成する請求項１に記載の画像処理装置。
11. 前記画像処理装置は、さらに、
    撮像素子と、
    前記撮像素子の領域単位の露光時間制御を実行する制御部を有する請求項１に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    中間画像生成部が、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成ステップと、
    歪み補正処理部が、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理ステップを実行する画像処理方法。
13. 画像処理装置において画像処理を実行するプログラムであり、
    中間画像生成部に、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成させる中間画像生成ステップと、
    歪み補正処理部に、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成させる歪み補正処理ステップを実行させるプログラム。