JP2015035786A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 ピークホールド及びミニマムホールド合成画像撮影を実施しながら、適切なＯＢレベルで撮影途中の画像のレビュー表示を提供すること。
【解決手段】 複数の画素からそれぞれ第１の画素信号を出力する撮像素子（１０２）と、少なくとも第１のメモリ領域と第２のメモリ領域とを有するＲＡＭ（１０６）と、撮像素子から出力された第１の画素信号と、第１のメモリ領域に記憶され第１の画素信号に対応する画素の第２の画素信号とを比較し、第１の画素信号が予め決められた条件を満たす場合に、第１の画素信号を第２の画素信号として第１のメモリ領域に記憶するように制御するとともに、第２の画素信号のオフセットを修正することで第３の画素信号を生成し、該第３の画素信号を第２のメモリ領域に記憶するように制御し、その後、第３の画素信号を出力するように制御するＣＰＵ（１０４）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、特に複数画像をピークホールドまたはミニマムホールド合成する撮像装置及びその制御方法に関するものである。

従来、連写によって得られた複数の画像を用いて合成画像を作成する場合、被写体を所定の時間間隔で連続的に撮影して得られた所定枚の画像を時系列順に保持し、時系列的な合成範囲を指定した合成処理が行われている（例えば、特許文献１参照）。

特許第０４０８２３１８号明細書

しかしながら、上述の特許文献に開示された従来技術では、最大値を保持していくピークホールドや、最小値を保持していくミニマムホールド合成処理を実施した場合に、ＯＢレベル変動による色相及び輝度の変化への対処をしていない。

本発明は上記問題点を鑑みてなされたものであり、ピークホールドまたはミニマムホールド合成画像撮影を実施しながら、適切なＯＢレベルに補正された撮影画像をレビュー表示させることができるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素からそれぞれ第１の画素信号を出力する撮像手段と、少なくとも第１のメモリ領域と第２のメモリ領域とを有するメモリ手段と、前記撮像手段から出力された前記第１の画素信号と、前記第１のメモリ領域に記憶され前記第２の画素信号に対応する画素の第２の画素信号とを比較し、前記第１の画素信号が予め決められた条件を満たす場合に、前記第１の画素信号を前記第２の画素信号として前記第１のメモリ領域に記憶するように制御するとともに、前記第１のメモリ領域に記憶された前記第２の画素信号のオフセットを修正することで第３の画素信号を生成し、生成された前記第３の画素信号を前記第２のメモリ領域に記憶するように制御し、その後、前記第２のメモリ領域に記憶された前記第３の画素信号を出力するように制御する制御手段とを有する。

本発明によれば複数枚のピークホールドまたはミニマムホールド合成画像撮影を実施しながら、適切なＯＢレベルに補正された撮影画像をレビュー表示させることができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。 第１及び第２の実施形態に係る撮像素子の画素構成を示す図。 第１の実施形態に係る撮像装置の画像合成方法を示すフローチャート。 第２の実施形態に係る撮像装置の画像合成方法を示すフローチャート。 第２の実施形態に係るＯＢレベル変動量の計算原理を示す図。 第２の実施形態に係るＯＢレベル変動量の計算原理を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、第１の実施形態における撮像装置１の構成を示すブロック図である。図１において、光学部１０１を介して入射した被写体像は、撮像素子１０２の受光部に結像され、撮像素子１０２は結像された被写体像を電気信号に変換する。また、撮像素子１０２は、ＯＢ（オプティカルブラック）クランプ、Ａ／Ｄ変換を行い、デジタル撮像信号を生成してＤＳＰ１０７に出力する。

ＣＰＵ１０４は、撮像装置１全体の制御を行い、ＲＯＭ１０５は、撮像装置１を駆動するためのファームウェアなどの情報を記憶する。ＲＡＭ１０６は、撮像素子１０２から出力された１画面分の撮像信号を記録できる容量を有する第１のメモリ領域と、第１のメモリ領域と同程度の容量を有する第２のメモリ領域を有する。ＣＰＵ１０４は、ＲＯＭ１０５及びＲＡＭ１０６を用いて、撮像装置１の各部に指示を送る。

ＤＳＰ１０７は、撮像素子１０２から出力される撮像信号に対して、各種の信号処理を行うことにより、所定のフォーマットによる静止画または動画の映像信号（例えばＹＵＶ信号等）を生成する。さらに、ＤＳＰ１０７は、ライブビュー駆動時の撮像素子１０２からの撮像信号を基に、露出制御動作や、主被写体の検出及び撮像装置１から主被写体までの距離の検出も行う。

外部インターフェース１０８には、各種エンコーダーやＤ／Ａ変換器が設けられ、外部機器（第１の実施形態では、ディスプレイ１１２、メモリ媒体１０９、操作パネル１１１）との間で、各種制御信号やデータをやり取りする。

メモリ媒体１０９は、各種メモリカード等であって、撮影された画像を適宜保存しておくことができる。メモリ媒体コントローラ１１０は、メモリ媒体１０９を交換可能にしている。なお、メモリ媒体１０９としては、各種メモリカードの他に、磁気や光を用いたディスク媒体等を用いることができる。

操作パネル１１１は、撮像装置１における撮影に際し、ユーザが各種の指示を行うための入力キーを設けている。ＣＰＵ１０４は、操作パネル１１１からの入力信号を監視し、その入力内容に基づいて各種の動作制御を実行する。ディスプレイ１１２は、撮像装置１に組み込まれ、撮像した画像を表示する。なお、撮像装置１に組み込まれた表示装置に加えて、外部の表示装置に画像データを伝送し、表示できる構成とすることも勿論可能である。

次に、図２（ａ）を参照して、第１の実施形態に係る撮像素子１０２の画素構成について説明する。受光画素部２０１は、光学部１０１からの光を受けて光電変換を行う（非遮光画素）。遮光画素部２０２は、光学部１０１からの光を受けないように遮光構造が設けられている。ＶＯＢ領域２０３は、遮光画素部２０２のうち、撮像素子１０２から出力される撮像信号からＤＳＰ１０７がＯＢレベルを参照するための領域である。ＨＯＢ領域２０４は、遮光画素部２０２のうち、ＤＳＰ１０７でピークホールドまたはミニマムホールド合成された画像からＯＢレベルを参照するための領域である。

次に、図３を参照して、第１の実施形態の撮像装置１における画像合成方法について説明する。操作パネル１１１の入力信号を受けて撮影を開始すると、Ｓ３０１において、ＲＡＭ１０６内の第１及び第２のメモリ領域を０ＬＳＢにリセットする。

Ｓ３０２では撮像素子１０２の露光を開始し、Ｓ３０３において露光を終了して、撮像素子１０２から、ＤＳＰ１０７へ撮像信号の読み出しを開始する。ここで、読み出しは、図２（ａ）の上部から行うものとする。従って、受光画素部２０１よりも先にＶＯＢ領域２０３から撮像信号が読み出される。

Ｓ３０４では、撮像素子１０２からの出力がＶＯＢ領域２０３の画素信号であるかどうかを判断し、ＶＯＢ領域２０３の画素から出力された画素信号であればＳ３０５へと進み、ＶＯＢ領域２０３の画素以外から出力された画素信号であればＳ３０６へと進む。Ｓ３０５では、得られた画素信号を用いてＤＳＰ１０７においてＯＢレベルを演算し、Ｓ３１０へと進む。Ｓ３０６では、Ｓ３０５で得られたＯＢレベルを用いて、読み出された撮像信号に対してＯＢクランプ処理を施し、Ｓ３０７に進む。

Ｓ３０７では、撮像素子１０２から読み出され、Ｓ３０６でＯＢクランプ処理を施された各画素の画素信号（第１の画素信号）の信号値（ｑ１）と、第１のメモリ領域の読み出した画素に対応するアドレスに記憶された画素信号（第２の画素信号）の信号値（ｑ２）とを比較する。ｑ１＞ｑ２であればＳ３０９へと進み、それ以外の場合はＳ３０８へと進む。Ｓ３０８では、第１のメモリ領域に記憶された画素信号値（ｑ２）をそのまま保持する。Ｓ３０９では、第１のメモリ領域に記憶された画素信号値（ｑ２）を撮像素子１０２の画素信号値（ｑ１）の値で上書きする。このＳ３０７からＳ３０９の動作は、撮像素子１０２の画素信号値（ｑ１）と第１のメモリ領域に記憶された画素信号値（ｑ２）とのピークホールド合成となる。１枚目の画像の撮影時には、第１のメモリ領域は０ＬＳＢにリセットされているためｑ１＞ｑ２となり、撮像素子１０２から読み出した画素信号値ｑ１がｑ２として第１のメモリ領域に記憶されていくことになる。

Ｓ３１０では、撮像素子１０２の撮像信号をすべて読み終えたかの確認を行い、読み終えていなければ、Ｓ３１１へ進んで撮像素子１０２から次の画素の信号値の読み出しを行いＳ３０５に戻る。一方、撮像素子１０２の撮像信号を読み終えていれば、Ｓ３１２へ進む。

Ｓ３１２では、第１のメモリ領域に記憶された画素信号（第２の画素信号）のうち、ＨＯＢ領域２０４から出力された画素信号に基づいて、受光画素部２０１から出力された画素信号のオフセットを修正する。そして、オフセットを修正することで生成された画素信号（第３の画素信号）を第２のメモリ領域に記憶する。そして、Ｓ３１３では、第２のメモリ領域に記憶された画素信号に基づいて、ＤＳＰ１０７によりカラー画像を生成し、ディスプレイ１１２への表示出力及びメモリ媒体１０９への記録が行われる。

Ｓ３１４では、撮影が終了したかの判定を行い、終了していない場合にはＳ３０３に戻って次の露光を開始する。撮影が終了した場合には、通常のライブビュー表示等に戻る。

ここで、Ｓ３１２にてオフセットを修正した結果を第２のメモリ領域に記憶する理由を以下に述べる。ピークホールド後の画像に対してオフセットを修正した場合、各露光後のピークホールド合成の度にオフセットの修正が行われる。このオフセットの修正は、第１のメモリ領域に記憶された信号値を、撮像素子１０２の出力信号のＨＯＢ領域２０４の信号値と、第１のメモリ領域に記憶されているＨＯＢ領域２０４の信号値との差分だけ引き下げることに相当する。

一方、複数画像のピークホールド合成を実施する場合、Ｓ３０３からＳ３１０の処理によりピークホールド合成を行うと、暗信号に含まれるランダムノイズによりＯＢレベルは上昇する。これは、２枚の画像のランダムノイズ成分のうち、高いほうの値を選択的に抽出しつつメモリの更新を行うためである。

このため、露光の度に第１のメモリ領域の信号値に対してオフセットの修正を施して信号値を上書きしてしまうと、上書きのたびに受光画素部２０１で露光して得られた画素信号値が低下する。この結果、複数画像のピークホールド合成に対して、第１のメモリ領域の画素信号に対してオフセットの修正を施した場合では、正常なカラー画像が得られない。

そこで、上記のように２つのメモリ領域を用い、撮像素子１０２から読み出された直後の画像に対しては、ＶＯＢ領域２０３の信号値を基にＯＢクランプ処理を施して第１のメモリ領域に保持する。そして、第１のメモリ領域に保持されたＯＢクランプ処理後の画像に対してＨＯＢ領域２０４の信号値を基にオフセットを修正し、処理後の信号値を第２のメモリ領域に記憶する。このように２段回のＯＢレベル修正を行うことで、ピークホールド合成画像撮影を実施しながら、適切なＯＢレベルで撮影途中画像のレビュー表示を行うことができる。

なお、図３に示す処理を次のように変更することで、ミニマムホールド合成を行うことができる。まず、Ｓ３０１で第１及び第２のメモリ領域を最大値にリセットし、Ｓ３０７においてｑ１＜ｑ２であるかどうかを判断する。そして、ｑ１＜ｑ２であればＳ３０９へと進み、それ以外の場合にはＳ３０８へと進むようにする。

また、上述したような第２のメモリ領域を用いたオフセットの修正は、ピークホールド合成及びミニマムホールド合成と黒レベルに重畳されるランダムノイズが組み合されることにより必要となるものである。このため、上記機能を有する撮像装置においても、通常の１枚画像の撮影を行う際には、上記のような第２のメモリ領域を用いたＯＢレベルの修正は不要である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、撮像装置１の構成は図１に示すものと同様であるため、ここでは説明を省略する。上述した第１の実施形態とは、撮像素子１０２の動作が異なる。以下、相違点について詳しく説明する。

図２（ｂ）は、第２の実施形態に係る撮像素子１０２において、図２（ａ）に示す構成のうち、信号を出力する領域を示す図である。本第２の実施形態にかかる撮像素子１０２は、第１の実施形態と異なり、ＶＯＢ領域２０３及びＨＯＢ領域２０４の画素信号値を撮像素子１０２の外部に出力しない構成となっている。これは、撮像素子１０２のデジタル化に伴い、第１の実施形態に示す構成では撮像素子１０２の外で行っていたＯＢクランプ処理を撮像素子１０２の内部で行うことが可能となったためである。これにより、主にＯＢクランプされた受光画素部２０１の出力信号（第１の画素信号）をＤＳＰ１０７に送信することで、撮像素子１０２からの出力信号数を減らし、連写速度を向上することが可能となる。

しかし、このような撮像素子１０２を用いた場合では、ＯＢレベルを参照可能な領域からの信号が撮像素子１０２から出力されないため、第１の実施形態と同様の方法ではＤＳＰ１０７においてオフセットを修正することができない。そこで第２の実施形態では、以下で説明する数式に従いＯＢレベルを計算から求め、計算値に応じたシフトを行うことにより正常なＯＢレベルを得ることを特徴とする。

次に、図４を用いて、第２の実施形態の撮像装置１における画像合成方法について説明する。上述した第１の実施形態で図３を参照して説明した処理とは、Ｓ３０４からＳ３０６の処理が無い点、及び、Ｓ３１２の代わりに、Ｓ４１２の処理が行われる点が異なる。それ以外は図３を参照して説明した処理と同様であるので同じ参照番号を付し、説明を省略する。

Ｓ４１２では、オフセットの修正に用いる理論値を求め、求めた理論値を基にオフセット修正処理を実施する。以下、この理論値の算出方法について説明する。

まず、図５を参照して、本第２の実施形態のＯＢレベル変動量の計算原理について説明する。撮像素子１０２の出力のうち、遮光された画素が取り得る値の確率密度関数をｆ（ｎ，ｘ）で定義する。ここで、画像枚数をｎと定義し、遮光された画素が取り得る値をｘと定義する。光の入らない画素には、画素の暗電流などに起因するランダム成分が含まれており、この影響により信号分布は正規分布となる。まず、ピークホールド合成なし（ｎ＝１）のときには、その信号値の確率密度関数は、式（１）となる。

次に、ピークホールド合成及びミニマムホールド合成で、遮光された画素の信号値がどのように変化するかについて、図５を用いて説明する。図５（ａ）は、２枚の画像のピークホールド後の信号値の組み合わせ表である。ここでは、２枚目の画像に当たる、撮像素子１０２からの出力と、第１のメモリ領域に記録されている１枚目の画像の画素出力の組み合わせに応じた、ピークホールド合成後の画素出力を表している。

ピークホールド合成を行った際の、２枚目以降のピークホールド合成後の理論値ｇ（ｎ，ｘ）は、式（２）に示す確率密度関数により表すことができる。

式（２）において、右辺第１項は、最小の画素信号値から合成中の２枚の画像のうち大きい方の値までの分布確率の第１の和、右辺第２項は、最小の画素信号値から合成中の２枚の画像のうち大きい方の値より１小さい値までの分布確率の第２の和である。そして、理論値ｇ（ｎ，ｘ）は、第１の和から第２の和を引いて求めた確率分布から得られる期待値である。

また、図５（ｂ）は２枚の画像のミニマムホールド後に取り得る値の組み合わせ表である。ここでは、２枚目の画像に当たる、撮像素子１０２からの出力と、第１のメモリ領域に記録されている１枚目の画像の画素出力の組み合わせに応じた、ミニマムホールド合成後の画素出力を表している。

次に、露光した画像枚数をｎとした場合、ミニマムホールド合成なし（ｎ＝１）のときには、その信号値の確率密度関数は、式（３）となる。

また、ミニマムホールド合成を行った際の、２枚目以降のミニマムホールド合成後の理論値ｅ（ｎ，ｘ）は、式（４）に示す確率密度関数により表すことができる。

式（４）において、右辺第１項は、最大の画素信号値から合成中の２枚の画像のうち小さい方の値までの分布確率の第３の和、右辺第２項は、最大の画素信号値から合成中の２枚の画像のうち小さい方の値より１大きい値までの分布確率の第４の和である。そして、理論値ｅ（ｎ，ｘ）は、第３の和から第４の和を引いて求めた確率分布から得られる期待値である。

次に、式（２）に示すピークホールド合成後に遮光された画素の信号値分布がどのように変化するかを図６（ａ）に示す。ここでは、ピークホールド合成も用いた１〜４回目の撮影結果について示している。ここでは、遮光された画素の平均レベル（ＯＢレベル）を５１２ＬＳＢとし、ランダムノイズによるばらつき（標準偏差）を３２とした。なお、ピークホールド合成１回目の結果は、最初の第１のメモリ領域の内部と完全に置き換わるため、撮像素子１０２から出力された一枚画像と等しい。

図６（ａ）に示す通り、ピークホールド合成を繰り返していくに従い、信号値分布が高出力側にシフトする。この際の平均値を図６（ｂ）に示す。図６（ｂ）は信号値分布より、遮光された画素の平均値を求めた結果である。ここでは、横軸にピークホールド枚数を取っているが、ピークホールド枚数が増えるほど、ＯＢレベルが高くなる。

実際の画像では、ＩＳＯ感度などの撮影条件により、ＯＢレベルのランダムノイズ量は設計段階で予測することが可能であるため、このように初期の平均値と標準偏差値を基にピークホールド後のＯＢレベルの修正量を求めることが可能となる。そこで、上記のように撮像素子１０２の出力にＯＢレベルを参照する領域が無くとも、ＯＢレベルを計算により求め、ピークホールド画像合成を含んだ撮影を実施することで、撮影途中画像のレビュー表示を行うことが可能となる。

撮像素子１０２からＨＯＢ領域からの画素信号出力が無い場合には、上記のようにして得られたＯＢレベルの信号値を撮像装置のＩＳＯ感度や撮影時の露光時間や撮像素子１０２の温度などを変数としたテーブルとして、ＲＯＭ１０５に記憶しておく。そして、ピークホールド合成を含む撮影時には、記憶されたテーブルに基づいて、ＩＳＯ感度や撮影時の露光時間や撮像素子１０２の温度に応じたオフセット修正を行う。

なお、第１の実施形態と同様にＳ３０１で第１及び第２のメモリ領域を最大値にリセットし、Ｓ３０７においてｑ１＜ｑ２であるかどうかを判断し、ｑ１＜ｑ２であればＳ３０９へと進みそれ以外の場合にはＳ３０８へと進むことで、ミニマムホールド合成となる。

なお、本第２の実施形態では、撮像素子１０２の画素部が第１の実施形態と同様の構成を有し、出力される領域が異なる場合ついて説明した。しかしながら本発明はこれに限るものではなく、図２（ｂ）に示す画素配列、即ち、ＶＯＢ領域２０３及びＨＯＢ領域２０４を有さない撮像素子１０２を用いた場合にも、本願発明を適用することが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (12)

1. 複数の画素からそれぞれ第１の画素信号を出力する撮像手段と、
   少なくとも第１のメモリ領域と第２のメモリ領域とを有するメモリ手段と、
   前記撮像手段から出力された前記第１の画素信号と、前記第１のメモリ領域に記憶され前記第１の画素信号に対応する画素の第２の画素信号とを比較し、前記第１の画素信号が予め決められた条件を満たす場合に、前記第１の画素信号を前記第２の画素信号として前記第１のメモリ領域に記憶するように制御するとともに、前記第１のメモリ領域に記憶された前記第２の画素信号のオフセットを修正することで第３の画素信号を生成し、生成された前記第３の画素信号を前記第２のメモリ領域に記憶するように制御し、その後、前記第２のメモリ領域に記憶された前記第３の画素信号を出力するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記予め決められた条件は、前記第１の画素信号が第２の画素信号よりも大きいことであることを特徴とする請求項１に記載の撮像装置。
3. 前記予め決められた条件は、前記第１の画素信号が第２の画素信号よりも小さいことであることを特徴とする請求項１に記載の撮像装置。
4. 前記撮像手段から出力された前記第１の画素信号にＯＢクランプ処理を施すＯＢクランプ手段を更に有し、
   前記制御手段は、前記ＯＢクランプ手段によりＯＢクランプ処理を施された前記第１の画素信号を前記第２の画素信号と比較することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像手段はＯＢクランプ手段を含み、ＯＢクランプ処理を施した第１の画素信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記複数の画素は、遮光された遮光画素と、遮光されていない非遮光画素とを含み、
   前記制御手段は、前記第１のメモリ領域に記憶された前記第２の画素信号のうち、前記遮光画素の第２の画素信号に基づいて、前記非遮光画素の第２の画素信号のオフセットを修正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記制御手段は、撮影条件に応じて、オフセットを修正するための理論値を求めることを特徴とする請求項１乃至３及び５のいずれか１項に記載の撮像装置。
8. 前記撮影条件は、ＩＳＯ感度、露光時間、温度の少なくとも１つを含むことを特徴とする請求項７に記載の撮像装置。
9. 前記撮影条件に応じた理論値をテーブルとして記録していることを特徴とする請求項７または８に記載の撮像装置。
10. 前記撮影条件に応じた理論値は、合成中の画像の画素信号値の組み合わせについて、各組み合わせの分布確率をそれぞれ求め、最小の画素信号値から合成中の画像のうち大きい方の値までの分布確率の第１の和を取り、最小の画素信号値から合成中の画像のうち大きいほうの値より１小さい値までの分布確率の第２の和を取り、第１の和から第２の和を引いて求めた確率分布から得られる期待値であることを特徴とする請求項７に記載の撮像装置。
11. 前記撮影条件に応じた理論値は、合成中の画像の画素出力の組み合わせについて、各組み合わせの分布確率をそれぞれ求め、最大の画素信号値から合成中の画像のうち小さい方の値までの分布確率の第３の和を取り、最大の画素信号値から合成中の画像のうち小さい方の値より１大きい値までの分布確率の第４の和を取り、第３の和から第４の和を引いて求めた確率分布から得られる期待値であることを特徴とする請求項７に記載の撮像装置。
12. 複数の画素からそれぞれ第１の画素信号を出力する撮像手段と、少なくとも第１のメモリ領域と第２のメモリ領域とを有するメモリ手段とを有する撮像装置の制御方法であって、
    制御手段が、前記撮像手段から出力された前記第１の画素信号と、前記第１のメモリ領域に記憶され前記第１の画素信号に対応する画素の第２の画素信号とを比較し、前記第１の画素信号が予め決められた条件を満たす場合に、前記第１の画素信号を前記第２の画素信号として前記第１のメモリ領域に記憶するように制御するとともに、前記第１のメモリ領域に記憶された前記第２の画素信号のオフセットを修正することで第３の画素信号を生成し、生成された前記第３の画素信号を前記第２のメモリ領域に記憶するように制御し、その後、前記第２のメモリ領域に記憶された前記第３の画素信号を出力するように制御する制御工程と
    を有することを特徴とする撮像装置の制御方法。

Images