JP2008022485A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】暗部の信号対雑音比（Ｓ／Ｎ比）を向上させながら、連続する複数の露光の時間差を低減して動体のぶれを抑制しつつ、画面内の被写体輝度のダイナミックレンジを拡大させることができる画像処理装置及び画像処理方法を提供する。
【解決手段】第１サブフレームの露光及び蓄積を開始し（ステップＳ１）、予め定められている蓄積時間に到達すると（ステップＳ２）、第１サブフレームの撮影（露光及び蓄積）を終了すると共に、第１サブフレームの撮影が終了したことをトリガとして第２サブフレームの露光及び蓄積を直ちに開始する（ステップＳ３）。更に、イメージセンサから第１サブフレームの撮影結果を読み出す（ステップＳ４）。次いで、第１サブフレームの撮影結果に基づいて第２サブフレームの蓄積時間を演算し決定する（ステップＳ５）。そして、この蓄積時間に到達すると（ステップＳ６）、第２サブフレームの露光及び蓄積を終了する。
【選択図】図２

Description

本発明は、複数の露光時間に基づいて撮影された複数の画像を合成して１フレームの画像を得る画像処理装置及び画像処理方法に関する。

従来、多重露光を用いて１枚のダイナミックレンジの広い画像を撮影する技術がある（特許文献１）。この技術では、高輝度部を撮影する撮影と、低輝度部を撮影する撮影とを２度行う撮像装置において、高輝度部と低輝度部とで相異なる露光条件で撮影を行うこととしている。

また、露光量を決定する方法としては、段階露光（非特許文献１）及び最適露光（特許文献２）が挙げられる。段階露光では、図７に示すように、例えば露光量を１：１０：１００・・・と、規定の段階的な比で変化させ、固定の露光量で幅広いダイナミックレンジをカバーする。一方、最適露光では、図８に示すように、先行撮影を元に最適な露光決定する。

つまり、特許文献２に記載の最適露光では、先ず、３種類のシャッタタイミング信号を読み込み（ステップＳ１０１）、これらのシャッタタイミング信号に基づきプリ撮影を実施する（ステップＳ１０２）。そして、相異なる露光による３画面の画像信号（輝度信号）を取得する（ステップＳ１０３）。なお、ステップＳ２でのプリ撮影の実施は、例えばレリーズを半押しすることにより行う。

次に、各画像の輝度信号をプリ撮影時の露出レベルに合わせて合成し、広ダイナミックレンジの輝度情報を算出する（ステップＳ１０４）。

次いで、この輝度情報に基づいて明るさレベルによるヒストグラムを算出する（ステップＳ１０５）。

その後、このヒストグラムから、ピーク部分を検出してその輝度を求める（ステップＳ１０６）。即ち、例えばヒストグラムのピーク検出間隔を予め設定し、そのピーク検出間隔におけるヒストグラム度数値（両端の値）の傾きが正から負に変化する部分をピーク値として検出して、その輝度を求める。

続いて、この輝度に対応するシャッタタイミング信号を算出し（ステップＳ１０７）、その算出したシャッタタイミング信号を本撮影におけるシャッタタイミング信号として設定する（ステップＳ１０８）。そして、そのシャッタタイミング信号に基づいて、例えばレリーズ押し込みによる本撮影を行う（ステップＳ１０９）。

特開平７−２９８１４２号公報 特開２００２−１３５６４８号公報 Mase et al., Digest of Technical Paper, International Solid State Circuits Conference, pp350-351, 2005

しかしながら、特許文献１に記載の技術では、多重露光による撮像装置を実現する際、動体のぶれを抑制し、かつ暗部の信号対雑音比（Ｓ／Ｎ比）を向上させながら、画面内の被写体輝度のダイナミックレンジを拡大させる際に様々な問題が生じる。

また、非特許文献１に記載の技術（段階露光）では、画面に暗い被写体輝度しか存在しない場合でも、短い時間で蓄積を行うこととなる。つまり、本来ならば暗い被写体の露光に割り当てられることができたであろう時間が消費されて、暗部のＳ／Ｎの向上に問題が生じる。更に、その短い時間で撮影する必要のある被写体がなく、無駄な撮影を行う可能性もある。

また、特許文献２に記載の技術（最適露光）では、暗部のＳ／Ｎは向上させることができるが、最適露光においては、露光データ取得の撮影から本撮影までの間、又は先行撮影から次撮影までの間の遅延がある。このため、動画のフレームレート向上又は静止画のレリーズタイムラグの低減に難がある。また、例えば１フレームの構成要素である、サブフレームの蓄積時刻が大幅にずれてしまうと、動体の撮影においては被写体ぶれが目立ってしまう。

本発明は、暗部の信号対雑音比（Ｓ／Ｎ比）を向上させながら、連続する複数の露光の時間差を低減して動体のぶれを抑制しつつ、画面内の被写体輝度のダイナミックレンジを拡大させることができる画像処理装置及び画像処理方法を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る画像処理装置は、複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理装置において、撮像手段と、前記複数回の撮影のうちの任意の撮影における前記撮像手段の露光時間を決定する露光時間決定手段を有し、前記任意の撮影を、その直近の撮影が終了したことをトリガとして開始し、前記露光時間決定手段は、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定することを特徴とする。

本発明に係る画像処理方法は、撮像手段を用いて複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理方法において、前記複数回の撮影のうちの任意の撮影を、その直近の撮影が終了したことをトリガとして開始する撮影開始ステップと、前記任意の撮影における前記撮像手段の露光時間を決定する露光時間決定ステップと、を有し、前記露光時間決定ステップにおいて、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定することを特徴とする。

本発明に係るプログラムは、撮像手段を用いて複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理用のプログラムにおいて、コンピュータに、前記複数回の撮影のうちの任意の撮影を、その直近の撮影が終了したことをトリガとして開始する撮影開始手順と、前記任意の撮影における前記撮像手段の露光時間を決定する露光時間決定手順と、を実行させ、前記露光時間決定手順において、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定させることを特徴とする。

本発明によれば、最適露光を採用した多重露光により、暗部の信号対雑音比（Ｓ／Ｎ比）を向上させながら、画面内の被写体輝度のダイナミックレンジを拡大させることができる。また、任意の撮影をその直近の撮影が終了したことをトリガとして開始するため、連続する複数の露光の時間差を低減して動体のぶれを抑制することができる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。

本実施形態には、多重露光の結果である１フレームの構成要素となるサブフレームを、パス１０２を介して出力するイメージセンサ１０１が設けられている。また、サブフレームの結果を取り込み、この結果に基づいてパス１０３を介して露光の終了時刻をイメージセンサ１０１に指示する最適露光時間決定部１０４が設けられている。サブフレームの合成及び階調変換の方法としては、一般的な方法を採用することができる。

次に、上述のように構成された画像処理装置の動作について説明する。図２は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである。また、図３は、第１の実施形態に係る画像処理装置の動作を示すタイミングチャートである。図３の横軸は、時間の経過を示しており、イメージセンサ１０１によるサブフレームの画像データの蓄積及び読み出し並びに最適露光時間決定部１０４による最適露光時間の決定等の処理タイミングを示している。なお、ここでは、各フレームが第１及び第２サブフレームから構成されるものとする。

任意の第Ｎフレームにおいて、先ず、第１サブフレームの露光及び蓄積を開始する（ステップＳ１）。予め定められている蓄積時間（露光時間）に到達すると（ステップＳ２）、第１サブフレームの撮影（露光及び蓄積）を終了すると共に、第１サブフレームの撮影が終了したことをトリガとして第２サブフレームの露光及び蓄積を直ちに開始する（ステップＳ３）。更に、最適露光時間決定部１０４がイメージセンサ１０１から第１サブフレームの撮影結果を読み出す（ステップＳ４）。次いで、最適露光時間決定部１０４が、第１サブフレームの撮影結果に基づいて第２サブフレームの蓄積時間（露光時間）を演算し決定する（ステップＳ５）。そして、この蓄積時間に到達すると（ステップＳ６）、第２サブフレームの露光及び蓄積を終了する。その後、次の第Ｎ＋１フレームの撮影を行う。

このような多重露光によれば、第１サブフレームの露光及び蓄積が終了した後に、第１サブフレームの読み出し及び第２サブフレームの露光時間の演算処理を待つことなく第２サブフレームの露光及び蓄積を開始することができる。従って、無駄な待機時間を排除することができる。更に、第１及び第２サブフレーム間の蓄積時間（露光時間）の重心の時刻差は、この方法では原理的に最短となるので、最適露光方式において実現可能な最小の被写体ぶれに収めることが可能となる。

なお、この実施形態では、第１サブフレームの蓄積時間を予め設定されたものとしている。これは、蓄積時間制御の簡略化のためである。但し、より高精度な蓄積時間制御が要求される場合には、直前のフレームの第２サブフレームの結果に基づいて当該第１サブフレームの蓄積時間を決定してもよい。この場合、図４に示すように、直前のフレームの第２サブフレームの露光及び蓄積が終了した後に、速やかに当該第１サブフレームの露光及び蓄積を開始してもよい。任意のサブフレームの露光及び蓄積を、直前のサブフレームの露光及び蓄積が終了した後に速やかに開始すると共に、当該任意のサブフレームの蓄積時間の演算及び決定を行って、当該任意のサブフレームの蓄積を終了することにより、待機時間がより短縮される。また、第２サブフレームの蓄積時間を予め設定されたものとすると共に、第１サブフレームの蓄積時間を直前のフレームの第２サブフレームの結果に基づいて決定してもよい。

また、第１の実施形態では、第２サブフレームの蓄積時間（露光時間）をその直前の第１サブフレームの結果に基づいて決定しているが、第１サブフレームよりも前のサブフレームの結果に基づいて総合的に蓄積時間（露光時間）を決定してもよい。また、第２サブフレームの蓄積時間（露光時間）を当該フレームよりも前のフレームの結果に基づいて総合的に決定してもよい。このような方法を採用しても、サブフレーム間の遅延時間に伴うセンサが蓄積できない時間を低減することが可能であり、本発明の目的を達成することができる。

また、第１の実施形態では、各フレームが２つのサブフレームから構成されるとしているが、各フレームが３つ以上のサブフレームから構成されていても、本発明の効果を得ることができる。また、各フレームを構成するサブフレームの数を多くすることにより、最長蓄積時間が犠牲になるが、最適露光方式の多重露光においても、より広いダイナミックレンジの撮影を行うことが可能となる。

また、イメージセンサ１０１としては、ＣＣＤ及びＣＭＯＳセンサ等の読み出しながら次のフレームの蓄積を行うことが可能なイメージセンサを用いることが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。

本実施形態には、多重露光の結果である１フレームの構成要素となるサブフレームを、パス１０２を介して出力するイメージセンサ１０１が設けられている。また、サブフレームの結果を取り込み、この結果に基づいてパス１０６を介して露光の終了時刻をイメージセンサ１０１に指示する最適露光時間決定部１０５が設けられている。本実施形態では、最適露光時間決定部１０５は、更に、追加のサブフレーム蓄積指示をイメージセンサ１０１に対して行う。

次に、上述のように構成された画像処理装置の動作について説明する。図６は、第２の実施形態に係る画像処理装置の動作を示すタイミングチャートである。ここでは、主に第１の実施形態と相違する点について説明する。

第２の実施形態では、第１の実施形態と同様にして、最適露光時間決定部１０５が、第１サブフレームの撮影結果に基づいて第２サブフレームの蓄積時間（露光時間）を演算し決定する。この際、最適露光時間決定部１０５は、新たな第３サブフレームの必要性を判断し、必要がある場合には、第２サブフレームの蓄積が終了すると、速やかにイメージセンサ１０１に第３サブフレームの露光及び蓄積を開始させる。更に、最適露光時間決定部１０４は、イメージセンサ１０１から第２サブフレームの撮影結果を読み出し、第２サブフレームの撮影結果に基づいて、次のフレームにおける第１サブフレームの蓄積時間（露光時間）を演算し決定する。

第３サブフレームが必要な場合としては、例えば次のような場合が挙げられる。即ち、１フレームに割り当てられた時間が限定されている動画撮影等において、第１サブフレームで短い露光を行い、第２サブフレームで長い露光を行い、第１サブフレームを処理したところ、第１サブフレームよりも短い時間の露光が必要と判断された場合である。このような場合に、無駄な待機時間を省略しながら、リアルタイムに多重露光の回数を増やすことにより、より広いダイナミックレンジをもった画像を取得することができるようになる。

なお、蓄積の無駄な待機時間を省略しながら、リアルタイムに多重露光の回数を制御することが可能であれば、最適露光時間決定部１０５の動作は特に限定されない。

また、これらの本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る画像処理装置の動作を示すフローチャートである。 第１の実施形態に係る画像処理装置の動作を示すタイミングチャートである。 第１の実施形態の変形例の動作を示すタイミングチャートである。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 第２の実施形態に係る画像処理装置の動作を示すタイミングチャートである。 従来の段階露光の方法を示す図である。 従来の最適露光の方法を示す図である。

符号の説明

１０１：イメージセンサ
１０２、１０３、１０６：パス
１０４、１０５：最適露光時間決定部

Claims (8)

1. 複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理装置において、
   撮像手段と、
   前記複数回の撮影のうちの任意の撮影における前記撮像手段の露光時間を決定する露光時間決定手段を有し、
   前記任意の撮影を、その直近の撮影が終了したことをトリガとして開始し、
   前記露光時間決定手段は、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定することを特徴とする画像処理装置。
2. 前記露光時間決定手段は、前記撮影の蓄積の終了タイミングを前記撮像手段に指示することを特徴とする請求項１に記載の画像処理装置。
3. 前記露光時間決定手段は、前記１フレームを得るための総撮影回数を動的に変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記１フレームの画像を、２回の撮影によって取得した２つの画像データを互いに合成して得ることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記２回の撮影の一方の露光時間が予め定められていることを特徴とする請求項４に記載の画像処理装置。
6. 前記露光時間決定手段は、前記一方の撮影によって取得した画像データを用いて他方の撮影における露光時間を決定することを特徴とする請求項５に記載の画像処理装置。
7. 撮像手段を用いて複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理方法において、
   前記複数回の撮影のうちの任意の撮影を、その直近の撮影が終了したことをトリガとして開始する撮影開始ステップと、
   前記任意の撮影における前記撮像手段の露光時間を決定する露光時間決定ステップと、
   を有し、
   前記露光時間決定ステップにおいて、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定することを特徴とする画像処理方法。
8. 撮像手段を用いて複数回の撮影を複数種の露光時間で行い、これらの撮影によって取得した複数の画像データを互いに合成して１フレームの画像を得る画像処理用のプログラムにおいて、
   コンピュータに、
   前記複数回の撮影のうちの任意の撮影を、その直近の撮影が終了したことをトリガとして開始する撮影開始手順と、
   前記任意の撮影における前記撮像手段の露光時間を決定する露光時間決定手順と、
   を実行させ、
   前記露光時間決定手順において、前記任意の撮影における露光時間を、当該撮影以前の撮影によって取得した画像データを用いて決定させることを特徴とするプログラム。

Images