JP2010141730A

JP2010141730A - 撮像装置及びその制御方法

Info

Publication number: JP2010141730A
Application number: JP2008317540A
Authority: JP
Inventors: Keisuke Uchida; 敬介内田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-12-12
Filing date: 2008-12-12
Publication date: 2010-06-24

Abstract

【課題】一度の撮影で露出優先の撮像データとブレ抑止優先の撮像データをユーザに提供する。
【解決手段】Ａ面の受光素子とＢ面の受光素子とが交互に配置されたＣＣＤにおいて、Ａ面／Ｂ面の読み出しを個別に制御可能な構成とする。Ａ面とＢ面の露光を同時に開始し、露光開始からｔ２経過後にＢ面の電荷の読み出しを行い、露光開始からｔ１経過後にＡ面の電荷の読み出しを行う。その後読み出した電荷を転送し、それぞれの露光量に応じたゲインで増幅し、露光時間の異なる２枚の画像を取得する。
【選択図】図４

Description

本発明は撮像装置及びその制御方法に係り、特に、複数のＣＣＤイメージセンサを用いることなく高速露光画像と最適露光画像を同時に撮像する撮像装置及びその制御方法に関する。

ＣＣＤイメージセンサを用いた撮像において手振れ、被写体ブレを軽減するためには、露光時間を短縮することが解決方法の１つである。特許文献１には、単一のＣＣＤイメージセンサを用いた撮像装置において、シャッタ速度優先のブレ抑制モードにユーザがモードを切り替え、ブレが発生しないように露光時間を短くした撮像データを複数フレーム取得し、その画像データを合成することで、ブレの無い画像を取得する方法が提案されている。

しかしながら、単一のＣＣＤイメージセンサで複数枚の撮像を行う場合や、露光条件を変えて撮像する場合には、撮像枚数分や撮像条件分の撮像期間が必要となり、総撮像期間の長期化が問題であった。また、同時性が原理的に確保できないため、複数フレームの撮像データの合成による被写体のズレ等による画質劣化も問題となっていた。さらに、ブレ軽減モードに設定した場合、露出優先に最適化した場合の露光条件の画像が取得できないため、被写体の動きが予想より少なかった場合であっても、高速シャッタを使用した画質の劣る画像を適用しなければならなかった。

また、撮像条件が異なる撮像を同時に行う手法としては、イメージセンサを複数使用し、異なる条件にて同時に露光を行う方法も提案されている。特許文献２には、この方法を用いて撮像した画像を用いてダイナミックレンジ拡大を行う技術が開示されている。
特開平９−２６１５２６号公報特開平１０−１９１１３５号公報

しかしながら、ＣＣＤイメージセンサは高コストの部品であり、複数使用することはコストアップの観点から好ましくない。また、複数使用することにより、装置が大型化するという欠点もある。

本発明はこのような事情に鑑みてなされたもので、複数のＣＣＤイメージセンサを用いることなく高速露光画像と最適露光画像を同時に撮像する撮像装置及びその制御方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の撮像装置は、所定の配列形態にしたがって配列された第１の画素群と、所定の配列形態にしたがって前記第１の画素群と交互に配列された第２の画素群とからなる単一の撮像素子を有し、一度の撮影において前記第１の画素群の露光時間と前記第２の画素群の露光時間とを異なるように制御可能な撮像手段と、被写体輝度を測光する手段と、前記測光した被写体輝度に応じた絞り及び第１の露光時間を算出する手段と、前記算出した第１の露光時間よりも短い第２の露光時間を算出する手段と、本撮影指示にしたがって、前記算出した絞りにおいて前記第１の画素群に前記第１の露光時間だけ露光させ、前記第２の画素群に前記第２の露光時間だけ露光させるように前記撮像手段を制御する手段と、前記撮像手段から取得した前記第１の画素群の信号及び前記第２の画素群の信号を、それぞれの露光時間に応じたゲインで増幅して、第１の画像及び第２の画像を取得する手段とを備えたことを特徴とする。

本発明によれば、第１の画素群に適正露光時間である第１の露光時間だけ露光させ、第２の画素群に第１の露光時間よりも短い第２の露光時間だけ露光させるように撮像手段を制御し、それぞれ取り出した第１の画素群の信号及び第２の画素群の信号を、それぞれの露光時間に応じたゲインで増幅し、増幅された第１の画素群の信号に基づいて第１の画像を取得し、増幅された第２の画素群の信号に基づいて第２の画像を取得するようにしたので、複数のＣＣＤセンサを用いることなく同時刻の標準画像とブレ抑止画像とを撮影することができる。

請求項２に示すように請求項１に記載の撮像装置において、前記第２の露光時間をユーザが設定する手段を備えたことを特徴とする。

これにより、ブレ抑止条件をユーザが任意に設定することができる。

請求項３に示すように請求項１または２に記載の撮像装置において、前記第１の画像及び第２の画像をそれぞれ記録する手段を備えたことを特徴とする。

これにより、標準画像とブレ抑止画像とを記録することができる。

請求項４に示すように請求項１または２に記載の撮像装置において、前記第１の画像及び第２の画像について前記被写体のブレの程度を評価するブレ評価手段と、前記第１の画像及び第２の画像について画像内のノイズの程度を評価するノイズ評価手段と、前記評価したブレの程度とノイズの程度に基づいて、前記第１の画像及び第２の画像のうちいずれの画像の画質が優れているかを判断する判断手段とを備えたことを特徴とする。

これにより、適切に画質の優れている画像を選択することができる。。

請求項５に示すように請求項４に記載の撮像装置において、前記判断手段が画質が優れていると判断した画像を記録する手段を備えたことを特徴とする。

これにより、最適な画像をユーザに意識させることなく提供することができる。

請求項６に示すように請求項４または５に記載の撮像装置において、前記ブレ評価手段は、前記被写体に対するエッジ評価に基づいて前記被写体のブレの程度を評価することを特徴とする。

これにより、適切に被写体のブレの程度を評価することができる。

請求項７に示すように請求項４から６のいずれかに記載の撮像装置において、前記ノイズ評価手段は、前記第１の画像及び第２の画像に共通した所定の領域における輝度のばらつき評価に基づいて前記画像内のノイズの程度を評価することを特徴とする。

これにより、適切に画像内のノイズの程度を評価することができる。

前記目的を達成するために請求項８に記載の撮像装置の制御方法は、所定の配列形態にしたがって配列された第１の画素群と、所定の配列形態にしたがって前記第１の画素群と交互に配列された第２の画素群とからなる単一の撮像素子を有し、一度の撮影において前記第１の画素群の露光時間と前記第２の画素群の露光時間とを異なるように制御可能な撮像手段を備えた撮像装置の制御方法であって、被写体輝度を測光する工程と、前記測光した被写体輝度に応じた絞り及び第１の露光時間を算出する工程と、前記算出した第１の露光時間よりも短い第２の露光時間を算出する工程と、本撮影指示にしたがって、前記算出した絞りにおいて前記第１の画素群に前記第１の露光時間だけ露光させ、前記第２の画素群に前記第２の露光時間だけ露光させるように前記撮像手段を制御する工程と、前記撮像手段から取得した前記第１の画素群の信号及び前記第２の画素群の信号を、それぞれの露光時間に応じたゲインで増幅して、第１の画像及び第２の画像を取得する工程とを備えたことを特徴とする。

以下に、本発明を実施するための最良の形態について説明する。

図１は、デジタルカメラ１０の電気的構成の一例を示す図である。同図に示すように、デジタルカメラ１０は、ＣＣＤ１１、ＣＤＳ部１２、ＡＭＰ部１３、Ａ／Ｄ変換器１４、デジタル信号処理部１５、Ａ／Ｂ面ＡＭＰゲイン制御部１６、Ａ／Ｂ面画像記録装置（メモリ部）１７、ＣＣＤ駆動制御部１８、Ａ面露光期間制御部１９、ＣＰＵ２０、Ｂ面露光期間制御部２１、ユーザ操作部２２、及び画像表示部／画像表示制御部２３等を備えて構成される。

各部はＣＰＵ２０に制御されて動作し、ＣＰＵ２０は、ユーザ操作部２２からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１０の各部を制御する。

デジタルカメラ１０は図示しないＲＯＭを備えており、ＲＯＭにはＣＰＵ２０が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ２０は、ＲＯＭに記録された制御プログラムを図示しないメインメモリに読み出し、逐次実行することにより、デジタルカメラ１０の各部を制御する。

ユーザ操作部２２は、図示しない電源ボタン、シャッタレリーズボタン、撮影モード／再生モード切替スイッチ等を備え、それぞれの操作に応じた信号をＣＰＵ２０に出力する。

ＣＣＤ１１は、図示しないズームレンズ、フォーカスレンズ、絞り、メカシャッタの後段に配置されており、これらはそれぞれズーミング、フォーカシング、絞りの開口量（Ｆ値）変更、及びメカシャッタの開閉を行い、ＣＣＤ１１へ入射する被写体１００からの被写体光の制御を行う。

ＣＣＤ１１は、上記のレンズ等を透過した被写体光を受光する。図２は、ＣＣＤ１１の受光面の概略図である。同図に示すように、ＣＣＤ１１の受光面は、Ａ面の受光素子（フォトダイオード）１１ａの列とＢ面の受光素子１１ｂの列が交互に配列され、Ａ面１１ａの列がＢ面１１ｂの列に対して１／２ピッチずつずらして配置された所謂ハニカム画素配列を構成している。なお、ＣＣＤ１１の受光素子の配列は、この例に限定されるものではなく、例えば所謂ベイヤー画素配列を用いてもよい。

また、各受光素子の上には三原色のカラーフィルタ（Ｒ＝赤，Ｇ＝緑，Ｂ＝青）が備えられており、Ａ面１１ａの各列は、Ｒ画素とＧ画素が交互に配置された列と、Ｂ画素とＧ画素が交互に配置された列とが交互に配列されている。同様に、Ｂ面１１ｂの各列についても、Ｒ画素とＧ画素が交互に配置された列と、Ｂ画素とＧ画素が交互に配置された列とが交互に配列されている。このように、ＣＣＤ１１には、ＧＲＧＢの全ての色のカラーフィルタが同じ数だけ配置されている。

Ａ面１１ａ及びＢ面１１ｂの各列は、それぞれ列毎に１つのＶＣＣＤを備えており、各ＶＣＣＤはＶ１〜Ｖ８の転送電極を備え、ＣＣＤ駆動制御部１８から供給される８相の垂直転送パルスにより駆動される。また、Ａ面のＶＣＣＤ１１ｃへの読み出しはＣＣＤ駆動制御部１８からＶ２／Ｖ６電極に読み出しパルスを印加することにより行われ、Ｂ面のＶＣＣＤ１１ｄへの読み出しはＣＣＤ駆動制御部１８からＶ４／Ｖ８電極に読み出しパルスを印加することにより行われる。このように、Ａ面のＶＣＣＤ１１ｃへの読み出しとＢ面のＶＣＣＤ１１ｄへの読み出しは、個別の読み出しパルスによって独立して行うことが可能となっている。

また、ＣＣＤ１１は、オーバーフロードレイン構造を有しており、水平同期信号に同期して印加される電子シャッタパルスにより、Ａ面１１ａ及びＢ面１１ｂの全ての受光素子内の残留電荷をＣＣＤ１１の基板側に排出することが可能となっている。

なお、Ａ面１１ａとＢ面１１ｂのＶＣＣＤへの読み出しが独立に制御可能であれば、Ａ面１１ａとＢ面１１ｂとが共通のＶＣＣＤへ読み出されるように構成されていてもよい。例えば、図３に示すように、Ａ面１１ａ、Ｂ面１１ｂ、及び共通ＶＣＣＤ１１ｅから構成されていてもよい。

ＣＣＤ１１の受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。このとき、Ａ面露光期間制御部１９及びＢ面露光期間制御部２１は、Ａ面１１ａ及びＢ面１１ｂの露光期間が、ＣＰＵ２０において設定された露光期間になるように、ＣＣＤ駆動制御部１８を介して読み出しパルスを制御する。したがって、Ａ面１１ａ及びＢ面１１ｂの露光期間を同じ露光時間に設定した場合は、２倍の画素数を持つ画像を撮影することができ、異なる露光時間を設定した場合は、異なる露光時間の画像を同時に２枚撮影することができる。

Ａ面１１ａ及びＢ面１１ｂの各受光素子に蓄積された電気信号は、ＣＣＤ駆動制御部１８から供給される読み出しパルスによって、それぞれＶＣＣＤ１１ｃ、１１ｄに独立して読み出される。ＶＣＣＤ１１ｃ、１１ｄは、この信号をＣＣＤ駆動制御部１８から供給される垂直転送パルスに同期して、１ラインずつ図示しない水平転送路（ＨＣＣＤ）に転送する。さらにＨＣＣＤは、ＶＣＣＤ１１ｃ、１１ｄから転送された１ライン分の信号を、ＣＣＤ駆動制御部１８から供給される水平転送パルスに同期してＣＤＳ部１２へ出力する。

ＣＤＳ部１２は、画像信号に含まれているノイズの除去を行う。Ａ／Ｂ面ＡＭＰゲイン制御部１６には、Ａ面１１ａ、Ｂ面１１ｂの撮影感度（ＩＳＯ感度）に応じた所定のゲインが設定されており、ＡＭＰ部１３は、ノイズ成分が除去されたＡ面１１ａ、Ｂ面１１ｂそれぞれの画像信号を、この設定されたゲインで増幅する。

所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器１４において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。このデジタルの画像信号は、デジタル信号処理部１５に出力され、メモリ部１７に格納される。なお、Ａ面１１ａとＢ面１１ｂの露光期間が異なるように撮影を行った場合は、２枚の画像として処理を行い、２枚の画像がメモリ部１７に格納される。

デジタル信号処理部１５は、メモリ部１７に格納されたＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

また、デジタル信号処理部１５は、ＣＰＵ２０からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。生成されたデータは、メモリ部１７に記録される。

また、画像表示部／画像表示制御部２３は、ＣＰＵ２０からの指令に従い、画像表示部への表示を制御する。画像表示部は、動画（スルー画像）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（ポストビュー画像）やメモリ部１７から読み出した再生画像等を表示することができる液晶モニタである。

次に、図４、図５を用いて、デジタルカメラ１０のブレ抑制２枚撮りの動作について説明する。図４は、ブレ抑制２枚撮りの動作を示すフローチャートであり、図５は、ＣＣＤ１１のＡ面１１ａとＢ面１１ｂの露光タイミングを示すタイミングチャートである。ブレ抑制２枚撮りは、ＣＣＤ１１のＡ面１１ａとＢ面１１ｂを用いて、一度の撮影で露光時間が異なる２枚の画像を取得する撮影モードである。

ブレ抑制２枚撮りモードに設定され、図示しないシャッタレリーズボタンにより本撮影指示が入力されると、まず、ＣＰＵ２０が輝度情報を取得する（ステップＳ１）。輝度情報は、ＣＣＤ１１により被写体１００を事前撮影することにより取得する。

次に、取得した輝度情報に基づいて、適正露出となる絞り及びシャッタスピード（露光期間）を算出し、これをＣＣＤ１１のＡ面１１ａの露光量（露光期間ｔ１）とする。すなわち、Ａ面１１ａは、露出優先に最適化した露光条件での撮影を行う。Ａ面１１ａの最適な露光量が算出されるまで、ステップＳ１に戻り、輝度情報の取得を繰り返す。

Ａ面１１ａの最適な露光量が算出されたと判断すると（ステップＳ３）、次に、Ｂ面１１ｂの露光量を算出する（ステップＳ４）。Ｂ面１１ｂは、ブレ抑止優先に最適化した露光条件での撮影を行うため、Ｂ面１１ｂの露光量は、Ａ面１１ａの露光量に対してβ％（β＝０〜１００）となるように決定する。βは、ユーザ操作部２２を介してユーザが自由に設定できる変数であり、ここでは、β＝５０％とする。Ａ面１１ａとＢ面１１ｂとは被写体光の通過する絞りが共通であるので、露光量を５０％とするためには、Ｂ面１１ｂの露光期間ｔ２は、Ａ面１１ａの露光期間ｔ１の半分となる。また、このβの値はＡ／Ｂ面ＡＭＰゲイン制御部１６に入力され、Ａ面１１ａの画像信号のゲインとＢ面１１ｂの画像信号のゲインが決定される。

露光量の算出が終了すると、図示しないメカシャッタを開放状態とし、ＣＣＤ１１への露光を開始する。このとき、ＣＣＤ１１のＡ面１１ａとＢ面１１ｂには、周期的に電子シャッタパルスが印加されているため、Ａ面１１ａとＢ面１１ｂに蓄積された電荷が周期的にリセットされる（タイミングＴ_１以前）。

その後、ＣＰＵ２０の指令に基づいて、ＣＣＤ駆動制御部１８が電子シャッタパルスの印加を停止すると、最後に電子シャッタパルスが印加された時点（タイミングＴ_１）から、Ａ面１１ａとＢ面１１ｂに電荷の蓄積を開始し、本露光開始となる（ステップＳ５）。

また、本露光を開始すると同時に、Ａ面露光期間制御部１９及びＢ面露光期間制御部２１は、タイミングＴ_１からの経時を開始し（ステップＳ６）、Ｂ面露光期間制御部２１は、タイミングＴ_１からＢ面１１ｂの露光期間である期間ｔ２が経過したか否かを判定する（ステップＳ７）。

ここで、期間ｔ２が経過したと判断すると、Ｂ面１１ｂに蓄積された電荷の読み出しを行う（ステップＳ８、タイミングＴ_２）。Ｂ面１１ｂの電荷の読み出しは、ＣＣＤ駆動制御部１８を介してＢ面のＶＣＣＤ１１ｄのＶ４、Ｖ８電極に読み出しパルスを印加することにより行う。したがって、ＶＣＣＤ１１ｄには、期間ｔ２の間にＢ面１１ｂに蓄積された電荷が読み出される。このときＶ転送パルスの印加は停止し（タイミングＴ_２〜Ｔ_３）、読み出した電荷の垂直転送は行わない。また、Ａ面１１ａについては、露光を継続する。

Ａ面露光期間制御部１９は、さらに経時を継続し（ステップＳ９）、タイミングＴ_１からＡ面１１ａの露光期間である期間ｔ１が経過したか否かを判定する（ステップＳ１０）。期間ｔ１が経過したと判断すると、Ａ面１１ａに蓄積された電荷の読み出しを行う（ステップＳ１１、タイミングＴ_３）。Ａ面１１ａの電荷の読み出しは、ＣＣＤ駆動制御部１８を介してＡ面のＶＣＣＤ１１ｃのＶ２、Ｖ６電極に読み出しパルスを印加することにより行う。したがって、ＶＣＣＤ１１ｃには、期間ｔ１の間にＡ面１１ａに蓄積された電荷が読み出される。

その後、図示しないメカシャッタを閉じ、ＶＣＣＤ１１ｃ及びＶＣＣＤ１１ｄに読み出されたＡ面１１ａ、Ｂ面１１ｂの電荷の転送を行う（ステップＳ１２）。また、電子シャッタパルスの印加が再開される。

ＣＣＤ１１から出力されたＡ面１１ａ、Ｂ面１１ｂの信号は、ＣＤＳ部１２においてノイズが除去された後（ステップＳ１３）、ＡＭＰ部１３に入力される。ＡＭＰ部１３は、予め設定されているＡ面１１ａの撮影感度からＡ面１１ａのゲイン値αを算出し、Ａ面１１ａの画像信号をゲイン値αで増幅処理する（ステップＳ１４）。さらに、Ｂ面１１ｂの画像信号をゲイン値α÷βで増幅処理する（ステップＳ１５）。ここでは、β＝５０％であるので、Ｂ面１１ｂのゲイン値は、αの２倍となる。

それぞれのゲイン値で増幅されたＡ面１１ａ及びＢ面１１ｂの信号は、Ａ／Ｄ変換器１４において所定ビットの階調幅を持ったデジタルの画像信号に変換され（ステップＳ１６）、さらに、デジタル信号処理部１５において所定の信号処理が施され、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）が生成される（ステップＳ１７）。この２枚の画像のＹ／Ｃ信号をメモリ部１７に関連付けて保存し、撮影が終了する（ステップＳ１８）。

このように、ＣＣＤ１１のＡ面１１ａとＢ面１１ｂを用いて、露光期間が異なる（ｔ１、ｔ２）２枚の画像を同時に撮影することができる。なお、図３に示すような、Ａ面１１ａとＢ面１１ｂとが共通のＶＣＣＤへ読み出される構成のＣＣＤであっても、同様の制御で露光期間が異なる２枚の画像を撮影することができる。

図６は、一度の撮影でＡ面１１ａ、Ｂ面１１ｂによって同時に取得した露光期間ｔ１及びｔ２の画像の一例を示す図であり、図６（ａ）がＡ面１１ａによる露光期間ｔ１の画像（Ａ面画像）、図６（ｂ）がＢ面１１ｂによる露光期間ｔ２の画像（Ｂ面画像）を示す。図６（ａ）の画像は、十分な露光期間で撮影されているために高画質な画像となっているが、露光期間ｔ１が長いため、被写体ブレが発生している。また、図６（ｂ）の画像は、露光期間が短いために被写体ブレは発生していないが、輝度が下がる分をＡＭＰ部１３において高いゲインで補正するために、画質が低下している。

以上説明したように、一度の撮影で露出優先の撮像データとブレ抑止優先の撮像データをユーザに提供することができ、ユーザは、撮影後に好ましい画像を選択することが可能となる。一度の撮影で２枚の画像を取得するため、シャッタチャンスを逃すこともない。

なお、本実施の形態では、Ａ面１１ａとＢ面１１ｂへの露光を同時に開始し、Ｂ面１１ｂに蓄積された電荷を先にＶＣＣＤ１１ｄに読み出すことによりＡ面１１ａとＢ面１１ｂとの露光時間を異ならせたが、Ａ面１１ａとＢ面１１ｂへの露光を異なる時間に開始し、同時に終了することによって露光時間を異ならせてもよい。

この露光制御について、図７、図８を用いて説明する。図７は、Ａ面１１ａとＢ面１１ｂへの露光を異なる時間に開始して同時に終了する場合のブレ抑制２枚撮りの動作を示すフローチャートであり、図８は、Ａ面１１ａとＢ面１１ｂの露光タイミングを示すタイミングチャートである。なお、図４、図５と共通する部分には同一の符号を付し、その詳細な説明は省略する。

また、本露光を開始すると同時に、Ａ面露光期間制御部１９及びＢ面露光期間制御部２１は、タイミングＴ_１からの経時を開始し（ステップＳ６）、Ｂ面露光期間制御部２１は、タイミングＴ_１から期間ｔ１−ｔ２が経過したか否かを判定する（ステップＳ１９）。

ここで、期間ｔ１−ｔ２が経過したと判断すると、Ｂ面１１ｂに蓄積された電荷をＶＣＣＤ１１ｄに読み出すことにより、Ｂ面１１ｂの本露光を開始する（ステップＳ２０、タイミングＴ_２）。その後ＣＰＵ２０は、タイミングＴ_２においてＶＣＣＤ１１ｄに読み出された不要電荷を排除するため、タイミングＴ_２〜Ｔ_３の間にＣＣＤ駆動制御部１８を介して高速のＶ転送パルスを印加する。

Ａ面露光期間制御部１９は、さらに経時を継続し（ステップＳ９）、タイミングＴ_１からＡ面１１ａの露光期間である期間ｔ１が経過したか否かを判定する（ステップＳ１０）。期間ｔ１が経過したと判断すると、Ａ面１１ａ及びＢ面１１ｂに蓄積された電荷の読み出しを行う（ステップＳ１１、タイミングＴ_３）。したがって、ＶＣＣＤ１１ｃには、期間ｔ１の間にＡ面１１ａに蓄積された電荷と期間ｔ２の間にＢ面１１ｂに蓄積された電荷が読み出される。

このように、Ａ面１１ａとＢ面１１ｂへの露光を異なる時間に開始し、同時に終了することによって露光時間を異ならせることも可能である。

また、Ａ面１１ａ専用の電子シャッタとＢ面１１ｂ専用の電子シャッタを備えることにより、Ａ面１１ａとＢ面１１ｂとの露光時間を異ならせるように制御してもよい。さらに、撮像素子としてＣＣＤイメージセンサではなく、ＣＭＯＳイメージセンサを用いてもよい。

次に、デジタルカメラ１０の高画質画像選択の動作について、図９を用いて説明する。図４のフローチャートに示したブレ抑制２枚撮りの動作では、Ａ面画像とＢ面画像の両方をメモリ部１７に保存したが、デジタルカメラ１０は、２枚の画像から高画質の画像を選択し、選択した高画質画像だけを保存することも可能である。

まず、ブレ抑制２枚撮りで撮影したＡ面画像とＢ面画像の２枚の画像について、エッジ検出を行う（ステップＳ２１）。前述のように、Ａ面画像は露出が最適化された低速露光画像であり、Ｂ面画像はゲイン調整によりＡ面１１ａ相当の明るさに調整した高速露光画像である。したがって、Ａ面画像はＢ面画像より低ノイズだがブレが大きい傾向があり、Ｂ面画像はＡ面画像よりもノイズが多いがブレが小さい傾向を持つ。

この２枚の画像から検出したエッジについて、ＣＰＵ２０はエッジ評価を行い、ブレを数値化（ブレ指数）する。ここでは、ブレ指数は０〜１００［％］の値をとり、ブレが大きいほど評価値が低くなるように規定する。ＣＰＵ２０は、検出したエッジに基づいて、Ａ面画像のブレ指数ａ［％］及びＢ面画像のブレ指数ｂ［％］を算出する（ステップＳ２２）。Ａ面画像とＢ面画像は、同時刻に同一被写体を撮影した画像であり、エッジ検出の結果が弱い箇所のみがブレと判断され、Ａ面画像とＢ面画像との差分となる。

次に、Ａ面画像とＢ面画像のノイズ成分の評価をするために、最も低輝度で最も均一となる同一の領域を抽出する（ステップＳ２３）。抽出する領域は、画像全体の５％以上とする。なお、ここでは、均一な領域とは、エッジ検出された領域を含まず、領域内の輝度差が１０％未満の領域と規定する。したがって、抽出した領域がエッジ検出した部分を含んでいる場合（ステップＳ２４）には、ステップＳ２３に戻り、再抽出を行う。

最も低輝度で最も均一となる同一の領域の抽出が終了すると、次に、抽出した均一領域からＡ面画像のＳ／Ｎ指数ｃ［％］及びＢ面画像のＳ／Ｎ指数ｄ［％］を算出する（ステップＳ２５）。Ｓ／Ｎ指数についても、０〜１００［％］の値をとり、ブレが大きいほど評価値が低くなるように規定する。Ｓ／Ｎ指数は、抽出した均一領域から算出したＲＭＳ（Root Mean Square）ばらつきに基づいて、Ａ面画像、Ｂ面画像の比をベースとして正規化し、算出する。

さらに、算出したブレ指数とＳ／Ｎ指数から、それぞれの画像の画質評価値を算出する（ステップＳ２６）。ここでは、ブレ指数とＳ／Ｎ指数の積を画質評価値とする。すなわち、Ａ面画像の画質評価値をａ×ｃ［％］、Ｂ面画像の画質評価値をｂ×ｄ［％］とする。

最後に、算出した画質評価値の比較を行う（ステップＳ２７、Ｓ３０）。Ａ面画像の画質評価値とＢ面画像の画質評価値がほぼ同じ場合、及びＡ面画像の画質評価値の方が高い場合は、Ａ面画像の方が高画質と判断し（ステップＳ２８）、Ａ面画像をメモリ部１７に保存する（ステップＳ２９）。また、Ｂ面画像の画質評価値のほうが高い場合は、Ｂ面画像の方が高画質と判断し（ステップＳ３１）、Ｂ面画像をメモリ部１７に保存する（ステップＳ３２）。

例えば、図６（ａ）に示すＡ面画像のブレ指数がａ＝７０［％］、Ｓ／Ｎ指数がｃ＝９５［％］、図６（ｂ）に示すＢ面画像のブレ指数がｂ＝９０［％］、Ｓ／Ｎ指数がｄ＝８５［％］であるとすると、Ａ面画像の画質評価値は、７０［％］×９５［％］＝６６．５［％］、Ｂ面画像の画質評価値は、９０［％］×８５［％］＝７６．５［％］となり、Ｂ面画像の方が高画質と判断される。

このように、同時に撮影した露出優先画像とブレ抑止画像のうち、それぞれの画像のブレ指数とＳ／Ｎ指数から画質指数を算出することにより、ブレが少ない場合は低ゲイン設定で撮影した露出優先画像を提供し、被写体がブレている場合にはブレを抑制した画像を提供することで、最適な画像をユーザに提供することが可能となる。

本実施の形態では、ブレ指数とＳ／Ｎ指数の積を画質評価値としたが、一方に比重を置くような算出式にしてもよい。

図１は、デジタルカメラ１０の電気的構成の一例を示す図である。図２は、ＣＣＤ１１の受光面の概略図である。図３は、Ａ面１１ａとＢ面１１ｂとが共通のＶＣＣＤへ読み出されるように構成されたＣＣＤ１１の受光面の概略図である。図４は、デジタルカメラ１０のブレ抑制２枚撮りの動作を示すフローチャートである。図５は、ＣＣＤ１１のＡ面１１ａとＢ面１１ｂの露光タイミングを示すタイミングチャートである。図６は、Ａ面１１ａ、Ｂ面１１ｂによって撮影された露光期間ｔ１及びｔ２の画像の一例を示す図である。図７は、Ａ面１１ａとＢ面１１ｂへの露光を異なる時間に開始して同時に終了する場合のブレ抑制２枚撮りの動作を示すフローチャートである。図８は、Ａ面１１ａとＢ面１１ｂの露光タイミングを示すタイミングチャートである。図９は、デジタルカメラ１０の高画質画像選択の動作を示すフローチャートである。

符号の説明

１０…デジタルカメラ、１１…ＣＣＤ、１１ａ…Ａ面の受光素子、１１ｂ…Ｂ面の受光素子、１１ｃ…Ａ面ＶＣＣＤ、１１ｄ…Ｂ面ＶＣＣＤ、１１ｅ…共通ＶＣＣＤ、１３…ＡＭＰ部、１５…デジタル信号処理部、１６…Ａ／Ｂ面ＡＭＰゲイン制御部、１７…メモリ部、１８…ＣＣＤ駆動制御部、１９…Ａ面露光期間制御部、２０…ＣＰＵ、２１…Ｂ面露光期間制御部、１００…被写体

Claims

所定の配列形態にしたがって配列された第１の画素群と、所定の配列形態にしたがって前記第１の画素群と交互に配列された第２の画素群とからなる単一の撮像素子を有し、一度の撮影において前記第１の画素群の露光時間と前記第２の画素群の露光時間とを異なるように制御可能な撮像手段と、
被写体輝度を測光する手段と、
前記測光した被写体輝度に応じた絞り及び第１の露光時間を算出する手段と、
前記算出した第１の露光時間よりも短い第２の露光時間を算出する手段と、
本撮影指示にしたがって、前記算出した絞りにおいて前記第１の画素群に前記第１の露光時間だけ露光させ、前記第２の画素群に前記第２の露光時間だけ露光させるように前記撮像手段を制御する手段と、
前記撮像手段から取得した前記第１の画素群の信号及び前記第２の画素群の信号を、それぞれの露光時間に応じたゲインで増幅して、第１の画像及び第２の画像を取得する手段と、
を備えたことを特徴とする撮像装置。
前記第２の露光時間をユーザが設定する手段を備えたことを特徴とする請求項１に記載の撮像装置。
前記第１の画像及び第２の画像をそれぞれ記録する手段を備えたことを特徴とする請求項１または２に記載の撮像装置。
前記第１の画像及び第２の画像について前記被写体のブレの程度を評価するブレ評価手段と、
前記第１の画像及び第２の画像について画像内のノイズの程度を評価するノイズ評価手段と、
前記評価したブレの程度とノイズの程度に基づいて、前記第１の画像及び第２の画像のうちいずれの画像の画質が優れているかを判断する判断手段と、
を備えたことを特徴とする請求項１または２に記載の撮像装置。
前記判断手段が画質が優れていると判断した画像を記録する手段を備えたことを特徴とする請求項４に記載の撮像装置。
前記ブレ評価手段は、前記被写体に対するエッジ評価に基づいて前記被写体のブレの程度を評価することを特徴とする請求項４または５に記載の撮像装置。
前記ノイズ評価手段は、前記第１の画像及び第２の画像に共通した所定の領域における輝度のばらつき評価に基づいて前記画像内のノイズの程度を評価することを特徴とする請求項４から６のいずれかに記載の撮像装置。
所定の配列形態にしたがって配列された第１の画素群と、所定の配列形態にしたがって前記第１の画素群と交互に配列された第２の画素群とからなる単一の撮像素子を有し、一度の撮影において前記第１の画素群の露光時間と前記第２の画素群の露光時間とを異なるように制御可能な撮像手段を備えた撮像装置の制御方法であって、
被写体輝度を測光する工程と、
前記測光した被写体輝度に応じた絞り及び第１の露光時間を算出する工程と、
前記算出した第１の露光時間よりも短い第２の露光時間を算出する工程と、
本撮影指示にしたがって、前記算出した絞りにおいて前記第１の画素群に前記第１の露光時間だけ露光させ、前記第２の画素群に前記第２の露光時間だけ露光させるように前記撮像手段を制御する工程と、
前記撮像手段から取得した前記第１の画素群の信号及び前記第２の画素群の信号を、それぞれの露光時間に応じたゲインで増幅して、第１の画像及び第２の画像を取得する工程と、
を備えたことを特徴とする撮像装置の制御方法。