JP2012156838A - 撮像装置、撮像制御方法、およびプログラム - Google Patents

Abstract

【課題】被写体からの入射光が偏光状態の偏った光である場合に、二つの撮像素子で得られる画像の明るさの差を抑制することができるようにする。
【解決手段】ハーフミラー２２は、被写体からの入射光を２つの光路に分離する。第１撮像素子２４は、ハーフミラー２２で分離された入射光の一方を受光する。第２撮像素子２５は、ハーフミラー２２で分離された入射光の他方を受光する。第１被写体輝度算出部２６は、第１撮像素子２４の出力から、第１の被写体輝度情報を算出する。第２被写体輝度算出部２９は、第２撮像素子２５の出力から、第２の被写体輝度情報を算出する。露出補正値算出部３２は、第１の被写体輝度情報と第２の被写体輝度情報とを比較する。この開示の技術は、例えば、撮像装置に適用できる。
【選択図】図１

Description

本技術は、撮像装置、撮像制御方法、およびプログラムに関し、特に、被写体からの入射光が偏光状態の偏った光である場合に、二つの撮像素子で得られる画像の明るさの差を抑制することができるようにする撮像装置、撮像制御方法、およびプログラムに関する。

ライブビュー画表示用と静止画撮影用の二つの撮像素子を備え、被写体からの光を、ハーフミラーによってライブビュー画表示用の撮像素子と静止画撮影用の撮像素子へと分岐する構成とした撮像装置がある。（例えば、特許文献１参照）。

特開２００７−９７０９８号公報

しかしながら、そのような構成の従来の撮像装置では、例えば、液晶画面（に表示された画像）や水面を被写体として撮影し、その反射光が入射光とされる場合など、入射光が偏光状態の偏った光である場合に、以下のような問題が発生していた。

図１は、偏光状態の違いによる反射率の違いを説明する図である。

図１Bは、図１Aに示されるように、入射面２に平行な偏光であるｐ偏光と、入射面２に垂直な偏光であるｓ偏光が、ガラス１の表面に所定の入射角で入射されたときの、入射角と反射率との関係を示している。

ｓ偏光は入射角の角度が増えていくにしたがって反射率が増えていくのに対して、ｐ偏光は入射角の角度が増えていくにしたがって徐々に反射率が下がっていき、ある角度で反射率が０となる。この反射率が０となる角度は、一般的に、ブリュースター角と呼ばれている。そして、ｐ偏光の入射角の角度がブリュースター角よりも大きくなると、そこからは反射率も上昇していくこととなる。なお、自然光は、光の偏光方向が定まったものではないので、その反射率はｓ偏光とｐ偏光の反射率のグラフの間を通る。

例えば、上述した従来の撮像装置で、図２Aに示される、液晶画面に表示された画像全体を画角内に収めるように撮像するシーンを考える。被写体としての液晶画面から反射されて、撮像装置に入射される入射光はｐ偏光であるとする。また、ハーフミラーで反射された入射光は、ライブビュー画表示用の撮像素子に入射され、ハーフミラーを透過した入射光は、静止画撮影用の撮像素子に入射されるものとする。

図１Bを参照して説明したように、ｐ偏光はブリュースター角に近づくにつれて反射率が低くなる。そのため、入射光がｐ偏光である場合、自然光である場合よりもライブビュー画表示用の撮像素子へ向かう光量が減少する。

従って、ライブビュー画表示用の撮像素子で決定した露出値を、静止画撮影用の撮像素子にも使用するような露出制御を行った場合、自然光より光量の少ない状態の画像に基づいて露出値を決定することになる。その結果、静止画撮影用の撮像素子で撮影して得られる静止画像は、図２Bに示されるように、本来より露出がオーバーになった画像となってしまう。つまり、図２Bに示される静止画撮影用の撮像素子で撮影された静止画は、ライブビュー画表示用の撮像素子で撮像されたライブビュー画よりも明るい画像となってしまう。

このように、本来、ライブビュー画と静止画は同じように撮影されるのが望ましいところ、従来の撮像装置では、入射光が偏光状態の偏った光である場合に、ライブビュー画と静止画で画像の明るさ（輝度）に差が生じてしまう。

本技術は、このような状況に鑑みてなされたものであり、被写体からの入射光が偏光状態の偏った光である場合に、二つの撮像素子で得られる画像の明るさの差を抑制することができるようにするものである。

本技術の一側面の撮像装置は、被写体からの入射光を２つの光路に分離するハーフミラーと、前記ハーフミラーで分離された前記入射光の一方を受光する第１撮像素子と、前記ハーフミラーで分離された前記入射光の他方を受光する第２撮像素子と、前記第１撮像素子の出力から、第１の被写体輝度情報を算出する第１被写体輝度情報算出部と、前記第２撮像素子の出力から、第２の被写体輝度情報を算出する第２被写体輝度情報算出部と、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する被写体輝度情報比較部とを備える。

本技術の一側面の撮像制御方法は、被写体からの入射光を２つの光路に分離するハーフミラーと、前記ハーフミラーで分離された前記入射光の一方を受光する第１撮像素子と、前記ハーフミラーで分離された前記入射光の他方を受光する第２撮像素子を備える撮像装置の、第１被写体輝度情報算出部が、前記第１撮像素子の出力から、第１の被写体輝度情報を算出し、第２被写体輝度情報算出部が、前記第２撮像素子の出力から、第２の被写体輝度情報を算出し、被写体輝度情報比較部が、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較するステップを含む。

本技術の一側面のプログラムは、コンピュータに、被写体からの入射光がハーフミラーで２つの光路に分離されて、その分離された前記入射光の一方を受光した第１撮像素子の出力から、第１の被写体輝度情報を算出する第１被写体輝度情報算出部と、前記分離された前記入射光の他方を受光した第２撮像素子の出力から、第２の被写体輝度情報を算出する第２被写体輝度情報算出部と、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する被写体輝度情報比較部として機能させるものである。

本技術の一側面においては、被写体からの入射光がハーフミラーで２つの光路に分離されて、その分離された入射光の一方を受光した第１撮像素子の出力から、第１の被写体輝度情報が算出され、分離された入射光の他方を受光した第２撮像素子の出力から、第２の被写体輝度情報が算出される。そして、第１の被写体輝度情報と第２の被写体輝度情報とが比較される。

プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の一側面によれば、被写体からの入射光が偏光状態の偏った光である場合に、二つの撮像素子で得られる画像の明るさの差を抑制することができる。

偏光状態の違いによる反射率の違いを説明する図である。 偏光状態の偏りの影響について説明する図である。 本技術が適用された撮像装置の一実施の形態の構成例を示すブロック図である。 撮像素子の詳細構成例を示すブロック図である。 撮像対象の例を示す図である。 偏光状態の偏りの影響について説明する図である。 撮像装置による露出制御処理を説明するフローチャートである。 撮像装置による露出制御処理を説明する図である。 閾値Ｔｈのその他の例について説明する図である。 閾値Ｔｈのその他の例について説明する図である。 警告表示の例を示す図である。 撮像装置によるその他の露出制御処理を説明するフローチャートである。 分割処理の詳細を説明するフローチャートである。 分割エリアについて説明する図である。 本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。

［撮像装置の構成例］
図３は、本技術が適用された撮像装置の一実施の形態の構成例を示すブロック図である。

撮像装置１１は、光学レンズ部２１、ハーフミラー２２、メカニカルシャッタ２３、第１撮像素子２４、および第２撮像素子２５を有している。

被写体１２で反射された光は、光学レンズ部２１を通って、ハーフミラー２２に入射される。ハーフミラー２２は、入射された入射光を、反射光と透過光の２つの光路に分離する。反射光と透過光の光量の比は、１対１である。従って、被写体１２で反射された光の５０％が、ハーフミラー２２で反射されて第１撮像素子で受光され、残りの５０％が、ハーフミラー２２を透過して第２撮像素子２５で受光される。ハーフミラー２２は、誘電体多層膜がコーティングされた誘電体多層膜鏡であり、図１Bを参照して説明したように、ｐ偏光とｓ偏光で異なる反射率となる性質を有している。

なお、ハーフミラー２２は、固定式としてもよし、図中矢印の示すように可動する可動式としてもよい。可動式にした場合には、ハーフミラー２２を介さず、被写体１２の光を第２撮像素子２５に入射させることができる。また、ハーフミラー２２は、反射光と透過光を、１対１以外の所定の比率で分離するものでもよい。

第１撮像素子２４および第２撮像素子２５は、所定の露光時間に受光した光を光電変換し、電気信号として出力する。第１撮像素子２４は、ライブビュー画表示用の撮像素子であり、第２撮像素子２５は、静止画撮影用の撮像素子である。ただし、第１撮像素子２４と第２撮像素子２５の構成および役割は、この例に限定されるものではなく、例えば、第１撮像素子２４と第２撮像素子２５は、それぞれ反対の構成および役割でもよい。

第１撮像素子２４と第２撮像素子２５は、全画素出力だけではなく、所定の画素数を間引いての間引き出力、一部の領域のみを切り出して出力する切り出し出力など、各種の出力モードを備えている。また、第１撮像素子２４と第２撮像素子２５の画素数は、同一でもよいし、異なっていてもよい。第１撮像素子２４と第２撮像素子２５の画素数が異なる場合には、一般的には、ライブビュー画の撮像として利用される第１撮像素子２４の画素数が、第２撮像素子２５の画素数より少なく構成される。第１撮像素子２４の画素数が第２撮像素子２５より少なく構成される場合、第１撮像素子２４では、画素間引き動作や画素加算動作は行わないようにしてもよい。

図４は、第１撮像素子２４または第２撮像素子２５として使用される撮像素子の詳細構成例を示している。

撮像素子は、フォトダイオード部５１、AFE部５２、ADC部５３、およびタイミングジェネレータ部５４により構成される。

フォトダイオード部５１は、各画素の光信号を電気信号（画素信号）に光電変換し、AFE部５２に供給する。AFE部５２は、フォトダイオード部５１からの電気信号の増幅やノイズリダクション等の所定の信号処理を行う。ADC部５３は、AFE部５２から出力されるアナログの画像信号をデジタル信号に変換して出力する。タイミングジェネレータ部５４は、マスタクロックに基づいてタイミング信号を、フォトダイオード部５１、AFE部５２、ADC部５３に供給し、各部の動作タイミングを制御する。例えば、タイミングジェネレータ部５４は、フォトダイオード部５１に対し、画素信号の出力タイミングや蓄積時間を制御し、AFE部５２に対し、駆動タイミングを制御する。

図３に戻り、撮像装置１１では、第１撮像素子２４に対応して、第１被写体輝度算出部２６、第１露出制御部２７、および第１画像信号処理部２８が設けられている。また、第２撮像素子２５に対応して、第２被写体輝度算出部２９、第２露出制御部３０、および第２画像信号処理部３１が設けられている。

第１被写体輝度算出部２６は、第１撮像素子２４からの出力を受けて、その出力である第１出力画像を所定数のエリアに分割する。本実施の形態では、第１被写体輝度算出部２６は、ｘ方向に８個、ｙ方向に６個に分割し、４８個のエリアに第１出力画像を分割する。なお、この第１出力画像は、ライブビュー画として表示されるものと同一である。

そして、第１被写体輝度算出部２６は、第１撮像素子２４により得られた第１出力画像の被写体輝度情報Ｉ１をエリアごとに算出する。各エリアに対して算出された第１出力画像の被写体輝度情報Ｉ１を、被写体輝度情報Ｉ１（ｉ，ｊ）と記述する（ｉ＝１乃至８，ｊ＝１乃至６）。算出された被写体輝度情報Ｉ１（ｉ，ｊ）は、第１露出制御部２７と露出補正値算出部３２に供給される。

第１露出制御部２７は、第１被写体輝度算出部２６から供給される被写体輝度情報Ｉ１に基づいて、露出値ＥＶ１を算出する。そして、第１露出制御部２７は、算出した露出値ＥＶ１に基づいて、光学レンズ部２１の絞り値、第１撮像素子２４のフォトダイオード部５１の蓄積時間、および、AFE部５２の増幅率などを決定し、制御する。

第１画像信号処理部２８は、第１出力画像の画像信号に対して、例えば、ホワイトバランスの調整、欠陥画素の補間などの所定の画像処理を適用する。そして、第１画像信号処理部２８は、画像処理適用後の画像信号を、電子ビューファインダ３３および液晶パネル３４の入力方式である、例えば、RGB（Red, Green, Blue）信号に変換して、電子ビューファインダ３３および液晶パネル３４に供給する。電子ビューファインダ３３および液晶パネル３４は、第１画像信号処理部２８より供給されたRGB信号に対応する画像（ライブビュー画）を表示する。ユーザ（撮影者）は、電子ビューファインダ３３または液晶パネル３４に表示されたライブビュー画を見て、撮影前のフレーミングや、画像の明るさ・色合いを確認したりすることができる。

また、第１画像信号処理部２８は、ライブビュー画を動画として記録する場合には、画像処理適用後の画像信号を、MPEG（Moving Picture Experts Group）方式等で圧縮符号化し、画像記録部３５に供給する。

第２被写体輝度算出部２９は、第２撮像素子２５からの出力を受けて、その出力である第２出力画像の被写体輝度情報Ｉ２をエリアごとに算出する。エリアの分割数は第１出力画像と同一であり、各エリアの被写体輝度情報Ｉ２を、被写体輝度情報Ｉ１と同様に、被写体輝度情報Ｉ２（ｉ，ｊ）と記述する。算出された被写体輝度情報Ｉ２（ｉ，ｊ）は、露出補正値算出部３２に供給される。

なお、第２出力画像の画素数は、第２撮像素子２５が静止画として撮影する際の画素数よりも、間引き出力により少なくされている。第２出力画像は、後述するように、被写体輝度情報の比較をするためのものであり、静止画として記録されるものではないため、高解像度である必要はないからである。勿論、第２出力画像の画素数を、静止画として撮影する際の画素数と同一としてもよい。

露出補正値算出部３２は、第１被写体輝度算出部２６からの被写体輝度情報Ｉ１と、第２被写体輝度算出部２９からの被写体輝度情報Ｉ２とを比較し、比較結果に基づいて第２撮像素子２５で静止画を撮影する際の露出補正値deltaIを算出する。露出補正値deltaIは、入射光が偏光状態の偏った光である場合に、ライブビュー画と静止画で異なる明るさ（輝度）となるのを防止するための、第１撮像素子２４と第２撮像素子２５との間の露出補正値である。算出された露出補正値deltaIは、第１被写体輝度算出部２６から供給された被写体輝度情報Ｉ１とともに、第２露出制御部３０に供給される。

第２露出制御部３０は、露出補正値算出部３２からの被写体輝度情報Ｉ１と露出補正値deltaIに基づいて、露出値ＥＶ２を算出する。より具体的には、ライブビュー画と比較して、静止画に対し、露出の補正が必要である場合、露出補正値算出部３２から、被写体輝度情報Ｉ１と露出補正値deltaIが供給される。第２露出制御部３０は、被写体輝度情報Ｉ１と露出補正値deltaIを加算することにより、補正後の被写体輝度情報Ｉ２’（＝Ｉ１＋deltaI）を算出する。第２露出制御部３０は、補正後の被写体輝度情報Ｉ２’に基づいて、露出値ＥＶ２を算出する。

一方、ライブビュー画と比較して、静止画に対し、露出の補正が必要ではない場合、露出補正値算出部３２からは、被写体輝度情報Ｉ１のみが供給される。この場合、第２露出制御部３０は、露出補正値算出部３２からの被写体輝度情報Ｉ１を、そのまま、被写体輝度情報Ｉ２’（＝Ｉ１）とする。そして、第２露出制御部３０は、被写体輝度情報Ｉ２’に基づいて、露出値ＥＶ２を算出する。

そして、第２露出制御部３０は、算出した露出値ＥＶ２に基づいて、光学レンズ部２１の絞り値、第２撮像素子２５のフォトダイオード部５１の蓄積時間、AFE部５２の増幅率、および、メカニカルシャッタ２３の開放時間などを決定し、制御する。

なお、ライブビュー画と比較して、撮影される静止画に対し露出の補正が必要ではない場合、第２露出制御部３０は、第２被写体輝度算出部２９で算出された被写体輝度情報Ｉ２を取得して、被写体輝度情報Ｉ２に基づいて、露出値ＥＶ２を算出するようにしてもよい。

第２画像信号処理部３１には、レリーズボタン（不図示）が押下されたとき、静止画として記録される画像の画像信号が、第２撮像素子２５から供給される。第２画像信号処理部３１は、供給された画像信号に対して、例えば、ホワイトバランスの調整、欠陥画素の補間などの所定の画像処理を適用する。そして、第２画像信号処理部３１は、画像処理適用後の静止画の画像信号を、例えば、JPEG(Joint Photographic Experts Group）方式等で圧縮符号化し、画像記録部３５に供給する。

画像記録部３５は、第１の画像信号処理部２８または第２の画像信号処理部３１から供給される、MPEG、JPEG等の所定の符号化方式で符号化された画像信号を、磁気ディスク（ハードディスク）、光ディスク、光磁気ディスク、若しくは半導体メモリ等の所定の記録媒体にファイルとして記録する。記録媒体に記録された画像のファイルは、図示せぬ入出力部を介して、または、着脱可能な記録媒体を取り外すことにより、他の装置に移動またはコピーすることができる。

［撮像対象（被写体）の例］
図５は、本実施の形態において撮像装置１１が撮像する撮像対象（被写体）の例を示している。

撮像装置１１は、図５に示されるような、室内に配置されたテーブルと、その上に置かれた果物と液晶表示装置（液晶テレビジョン受像機）を被写体として撮像する。この場合、液晶表示装置の液晶画面からの入射光は、偏光状態の偏った光となる。従って、撮像装置１１が、ライブビュー画と静止画で異なる明るさ（輝度）となるのを防止する露出補正を行わない場合、撮像された静止画における液晶画面の領域は、図２Bに示したように、ライブビュー画より露出がオーバーになった画像となってしまう。

図６は、図５に示した撮像対象を、ｘ方向に８個、ｙ方向に６個の計４８個のエリアに分割した様子を示している。

例えば、液晶画面の領域以外のエリア（１，１）やエリア（８，６）などでは、被写体輝度情報Ｉ１と被写体輝度情報Ｉ２は同じになる。即ち、被写体輝度情報Ｉ１（１，１）＝Ｉ２（１，１）、被写体輝度情報Ｉ１（８，６）＝Ｉ２（８，６）となる。

しかし、液晶画面の領域のエリア（５，２）では、撮像素子が受ける光量の比が、第１撮像素子２４：第２撮像素子２５＝１：√２となる。従って、例えば、被写体輝度情報Ｉ１（５，２）が７EVであるとすると、被写体輝度情報Ｉ２（５，２）は７．５EVとなる。そのため、露出補正を行わない場合、撮像された静止画における液晶画面の領域は、ライブビュー画より露出がオーバーになった画像となってしまう。

［露出制御処理のフローチャート］
そこで、撮像装置１１では、図７のフローチャートに示される露出制御処理が行われている。

この露出制御処理では、初めに、ステップＳ１において、第１被写体輝度算出部２６は、第１撮像素子２４により得られた第１出力画像の被写体輝度情報Ｉ１をエリアごとに算出する。算出されたエリアごとの被写体輝度情報Ｉ１（ｉ，ｊ）は、第１露出制御部２７と露出補正値算出部３２に供給される。

ステップＳ２において、第１露出制御部２７は、第１被写体輝度算出部２６から供給された第１出力画像の被写体輝度情報Ｉ１に基づいて、露出値ＥＶ１を算出する。

ステップＳ３において、第１露出制御部２７は、算出した露出値ＥＶ１に基づいて、光学レンズ部２１の絞り値、第１撮像素子２４のフォトダイオード部５１の蓄積時間、および、AFE部５２の増幅率などを決定し、制御する。

ステップＳ４において、第２被写体輝度算出部２９は、第２撮像素子２５により得られた第２出力画像の被写体輝度情報Ｉ２をエリアごとに算出する。算出されたエリアごとの被写体輝度情報Ｉ２（ｉ，ｊ）は、露出補正値算出部３２に供給される。

ステップＳ５において、露出補正値算出部３２は、４８個に分割して得られたエリアの１つを注目エリアに決定する。換言すれば、露出補正値算出部３２は、４８個のうちのいずれか１つを特定する変数ｉおよびｊを決定する。

ステップＳ６において、露出補正値算出部３２は、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が、予め定めた所定の閾値Ｔｈより大であるか否かを判定する。即ち、注目エリアの第１撮像素子２４と第２撮像素子２５の出力画像に明るさの差があるか否かを判定する。被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値は、注目エリアに入射された光が偏光状態の偏った光である場合に大となり、偏光状態に偏りがないほど小さくなる。所定の閾値Ｔｈは、例えば、１／８ＥＶとすることができる。

ステップＳ６で、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が閾値Ｔｈより大であると判定された場合、処理はステップＳ７に進み、露出補正値算出部３２は、輝度差が大きいと判定されたエリアの総数をカウントするためのカウンタＮｕｍに１を加算する。なお、初期状態では、カウンタＮｕｍには”０”が設定されている。

そして、ステップＳ８において、露出補正値算出部３２は、輝度差が大きいと判定されたエリアの輝度値の総和Ｓｕｍを被写体輝度情報Ｉ１と被写体輝度情報Ｉ２ごとに計算するための演算を行う。具体的には、露出補正値算出部３２は、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）を、第１出力画像の輝度値の総和ＳｕｍＩ１に加算し、注目エリアの被写体輝度情報Ｉ２（ｉ，ｊ）を、第２出力画像の輝度値の総和ＳｕｍＩ２に加算する。総和ＳｕｍＩ１及びＳｕｍＩ２も、初期状態では”０”が設定されている。

一方、ステップＳ６で、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が閾値Ｔｈ以下であると判定された場合には、上述したステップＳ７およびＳ８がスキップされる。

そして、ステップＳ９において、露出補正値算出部３２は、全エリアについて被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較が終了したかを判定する。

ステップＳ９で、全エリアについて、被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較がまだ終了していないと判定された場合、処理はステップＳ５に戻り、ステップＳ５乃至Ｓ９の処理が繰り返される。即ち、まだ注目エリアとされていない所定のエリアが注目エリアに決定され、被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が閾値Ｔｈより大であるかが判定される。

一方、ステップＳ９で、全エリアについて被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較が終了したと判定された場合、処理はステップＳ１０に進む。

ステップＳ１０では、露出補正値算出部３２は、輝度差が大きいと判定されたエリアの総数Ｎｕｍが、エリアの総数（４８個＝６×８）に所定の比率Ratioを乗算した個数よりも大であるかを判定する。即ち、輝度差が大きいと判定されたエリアと画像全体との面積比が、所定の比率Ratioよりも大きいかどうかが判定される。所定の比率Ratioは、０．５以上とすることが望ましい。

面積比が所定の比率Ratio以下である場合には、偏光状態の偏りが与える影響が小さく、第２撮像素子２５による静止画の撮影の際に露出補正は必要ないと考えられる。一方、面積比が所定の比率Ratioよりも大きい場合には、偏光状態の偏りが与える影響が大きく、第２撮像素子２５による静止画の撮影の際に露出補正が必要であると考えられる。それは、以下の理由による。

例えば、面積比が所定の比率Ratioより大きい場合の例として、図２Aのように、液晶画面の範囲が撮影範囲である場合、露出補正を行わないと、上述したように、撮影された静止画は露出オーバーとなる。

これに対して、例えば、図８Aのように、液晶画面の範囲が撮影範囲の一部であり、面積比が所定の比率Ratioより小さい場合、露出補正を行わないと、図８Bに示されるように、液晶画面の部分は、図２Bと同様、露出オーバーとなる。そこで、露出補正を行うようにすると、図８Cに示されるように、液晶画面の部分は適正な露出となるが、それ以外の領域は、露出補正の影響で暗くなる。即ち、液晶画面の部分は適正な露出であっても、暗い画像となっているその他の部分の面積が大きいので、相対的に、液晶画面の部分が露出オーバーに感じ、違和感を生じてしまう。従って、画像全体に対して、輝度差が大きいと判定されたエリアの面積比が小さい場合は、露出補正を行わない方がよい。

ステップＳ１０で、輝度差が大きいと判定されたエリアと画像全体との面積比が、所定の比率Ratio以下であると判定された場合、処理はステップＳ１１に進み、露出補正値算出部３２は、被写体輝度情報Ｉ１のみを第２露出制御部３０に供給する。そして、第２露出制御部３０は、露出補正値算出部３２からの被写体輝度情報Ｉ１を、そのまま、補正後の被写体輝度情報Ｉ２’（＝Ｉ１）とする。

一方、ステップＳ１０で、輝度差が大きいと判定されたエリアと画像全体との面積比が、所定の比率Ratioより大きいと判定された場合、処理はステップＳ１２に進み、露出補正値算出部３２は、露出補正値deltaIを算出する。具体的には、露出補正値算出部３２は、輝度値の総和の差の平均｛deltaI＝（ＳｕｍＩ１−ＳｕｍＩ２）／Ｎｕｍ｝を計算することにより、偏光状態の偏りにより生じるエリア単位の輝度差を計算し、それを露出補正値deltaIとする。

なお、輝度差が大きいと判定されたエリアと画像全体との面積比｛Ｎｕｍ×（８×６）｝を勘案して、露出補正値deltaIを算出するようにしてもよい。即ち、deltaI＝｛（ＳｕｍＩ１−ＳｕｍＩ２）／Ｎｕｍ｝×｛Ｎｕｍ×（８×６）｝により、露出補正値deltaIを算出してもよい。

算出された露出補正値deltaIは、被写体輝度情報Ｉ１とともに、第２露出制御部３０に供給される。

ステップＳ１３において、第２露出制御部３０は、露出補正値算出部３２からの被写体輝度情報Ｉ１と露出補正値deltaIを加算することにより、補正後の被写体輝度情報Ｉ２’（＝Ｉ１＋deltaI）を算出する。

ステップＳ１４において、第２露出制御部３０は、被写体輝度情報Ｉ２’に基づいて、露出値ＥＶ２を算出する。

なお、画像全体に対する輝度差が大きいエリアの面積比が所定の比率Ratioより大きい場合で、特に、全エリアが偏光の影響を受けている場合には、第２露出制御部３０が、第２被写体輝度算出部２９から被写体輝度情報Ｉ２を取得して、被写体輝度情報Ｉ２に基づいて露出値ＥＶ２を算出するようにしてもよい。

ステップＳ１５において、第２露出制御部３０は、算出した露出値ＥＶ２に基づいて、光学レンズ部２１の絞り値、第２撮像素子２５のフォトダイオード部５１の蓄積時間、AFE部５２の増幅率、および、メカニカルシャッタ２３の開放時間などを決定し、制御して、処理を終了する。

以上のように、撮像装置１１の露出制御処理によれば、複数に分割されたエリアの対応するエリアどうしで、被写体輝度情報が比較される。そして、画像全体に対して偏光の与える影響が小さい場合には、即ち、全エリアに対する輝度差が大きいエリアの面積比が所定の比率Ratio以下である場合には、露出補正値算出部３２からの被写体輝度情報Ｉ１が、そのまま、補正後の被写体輝度情報Ｉ２’（＝Ｉ１）とされる。

一方、偏光の与える影響が大きい場合には、即ち、全エリアに対する輝度差が大きいエリアの面積比が所定の比率Ratioより大きい場合には、被写体輝度情報Ｉ１と露出補正値deltaIの加算結果が、補正後の被写体輝度情報Ｉ２’（＝Ｉ１＋deltaI）とされる。

これにより、入射光の偏光状態に偏りがある場合に、第１撮像素子２４と第２撮像素子２５とで得られる画像の明るさの差を抑制し、撮影者の違和感を軽減した静止画を撮影することができる。

撮像装置１１は、出力画像を複数のエリアに分割し、分割したエリアごとに輝度差を比較して、偏光の与える影響が大きい場合に、露出補正を行うようにした。これにより、入射光の偏光状態の偏りによる輝度差が、撮像範囲全部ではなく、一部の領域で発生している場合であっても、撮影者の違和感を軽減した静止画を撮影することができる。

上述した露出制御処理においては、被写体輝度情報Ｉ１から露出値ＥＶ１を算出する際、輝度差の大きいエリアを除外した領域の被写体輝度情報Ｉ１を用いて露出値ＥＶ１を算出するようにしてもよい。これにより、露出値ＥＶ１の算出に、偏光の影響を軽減することができる。なお、この場合には、第１露出制御部２７は、各エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値そのものか、または、輝度差が大きいエリアを特定する情報を、露出補正値算出部３２から取得する必要がある。

上述した例では、被写体輝度情報Ｉ１を用いて露出値ＥＶ１を算出した。しかし、被写体輝度情報Ｉ２と露出補正値deltaIとから、露出値ＥＶ１を算出してもよい。その場合は、次のような手順となる。

初めに、第２被写体輝度算出部２９で算出された被写体輝度情報Ｉ２が第２露出制御部３０に供給され、第２露出制御部３０において、被写体輝度情報Ｉ２に基づいて、露出値ＥＶ２が算出される。

次に、第１撮像素子２４により得られた第１出力画像の被写体輝度情報Ｉ１がエリアごとに算出され、エリアごとに被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が計算され、露出補正値deltaIが算出される。

そして、画像全体に対する輝度差の大きいエリアの面積比が所定の比率Ratioより大きいと判定された場合、被写体輝度情報Ｉ２と露出補正値deltaIの加算結果が、補正後の被写体輝度情報Ｉ１’（＝Ｉ２＋deltaI）とされる。画像全体に対する輝度差の大きいエリアの面積比が所定の比率Ratio以下である場合には、被写体輝度情報Ｉ２が、そのまま、補正後の被写体輝度情報Ｉ１’（＝Ｉ２）とされる。そして、被写体輝度情報Ｉ１’に基づいて露出値ＥＶ１が算出される。

算出された露出値ＥＶ１およびＥＶ２に基づいて光学レンズ部２１の絞り値などを決定し、制御する点は同様である。

［閾値Ｔｈのその他の例］
図７の処理では、ステップＳ６の処理で使用される、輝度差が大きいか否かを判定する閾値Ｔｈを固定値としたが、閾値Ｔｈは、輝度に応じて適応的に変更されるようにしてもよい。

例えば、出力画像の大部分を占める輝度値にライブビュー画と静止画で輝度差がある場合ほど、撮影者が感じる違和感も強くなると考えられる。そこで、被写体輝度情報Ｉ１の分布が、図９に示されるように、中間的な輝度値で平均Iavgとなり、かつ、頻度も最も高いような場合に、平均Iavgに近いほど注目エリアの閾値Ｔｈを低く設定してもよい。

即ち、閾値Ｔｈは、以下の式により決定することができる。
Ｔｈ＝Ｔｈ０＋ｋ×｜Iavg − I12avg｜
ここで、Ｔｈ０およびｋは所定の定数、Iavgは被写体輝度情報Ｉ１の平均、I12avgは、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の平均値（I12avg＝（Ｉ１（ｉ，ｊ）＋Ｉ２（ｉ，ｊ））／２）である。

これにより、図９の輝度分布の例では、中間的な輝度値に対しては閾値を低くして補正がされやすくし、低い輝度値や高い輝度値に対しては積極的には補正をしないという処理がなされる。なお、Iavgは被写体輝度情報Ｉ２の平均、または、被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の平均としてもよい。

例えば、Ｔｈ０＝１／８、ｋ＝１／３２と設定すると、図１０に示すように、注目エリアの輝度値の平均値I12avgが、被写体輝度情報Ｉ１の平均Iavgと等しいとき、閾値Ｔｈ＝１／８となり、平均Iavgから離れていくにしたがって閾値Ｔｈが大きくなる。｜Iavg − I12avg｜＝４のときは、例えば、１／４となる。

また、被写体輝度情報Ｉ１の平均Iavgの輝度値と頻度の高い輝度値が一致しない場合もある。例えば、頻度がどの輝度値でも同程度である場合などである。このような場合には、風景画や人物画など、シーンモードに対応する所定の輝度値を基準とし、上述のIavgと置き換えて、基準に近いほど閾値Ｔｈが低くなるよう可変にしてもよい。

さらに、画像の中心ほど撮影者の目にとまりやすいとも考えられるので、画像の中心からの距離に応じて閾値Ｔｈが設定されるようにしてもよい。この場合、上述の｜Iavg − I12avg｜の部分が、画像中心と注目エリア中心との距離に置き換えられる。

［警告表示の例］
図７のステップＳ６の処理で、輝度差が大きいと判定されたエリアが少なくとも１つはある場合、換言すれば、撮影後の静止画がライブビュー画と異なるとユーザ（撮影者）が感じるエリアがある場合、撮像装置１１は、その旨をユーザに警告するようにしてもよい。

図１１は、警告表示の例を示している。

警告表示としては、例えば、図１１に示されるように、所定の記号（マーク）、または、「輝度差発生！！」のようなメッセージ（文字）とすることができる。また、輝度差の大きいエリアを白黒のゼブラパターンとして示すような警告表示でも良い。輝度差の大きいエリアの表示方法を変えて警告表示を行う場合には、ゼブラパターン以外のパターン表示や、第１出力画像の輝度の反転表示や点滅表示などでもよい。また、表示以外の、「輝度差発生！！」や所定の音を出力する音声出力による警告でもよい。

また、警告を行った場合には、ユーザに、露出補正をするか否かを選択させるようにすることができる。あるいは、露出補正を行うか否かは動作設定画面等でユーザが指定できるようにして、警告表示とは別に、動作設定画面の設定情報に基づいて露出補正をする（またはしない）ようにしてもよい。

［露出制御処理のその他の例］
露出制御処理のその他の例について説明する。

上述した露出制御処理において、エリアの分割数を大きくすると、輝度差の演算をより細かい単位で行うことができるので高精度となる。しかし、エリアの分割数を単純に大きくすると、処理負荷が増大し、演算時間も長くなる。

そこで、撮像装置１１は、図１２のフローチャートに示される露出制御処理を行うようにすることができる。

図１２の露出制御処理では、ステップＳ２７の分割処理が、図７のステップＳ７およびＳ８の処理にとって代わり、それ以外は図７の露出制御処理と同様であるので、ステップＳ２７以外の処理の説明は省略する。

図１２の露出制御処理では、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が閾値Ｔｈより大であると判定された場合、注目エリアをさらに複数のエリアに分割し、分割されたエリアどうしで、さらに被写体輝度情報が比較される。

即ち、ステップＳ２６で、注目エリアの被写体輝度情報Ｉ１（ｉ，ｊ）と被写体輝度情報Ｉ２（ｉ，ｊ）の差の絶対値が閾値Ｔｈより大であると判定された場合、ステップＳ２７として、注目エリアに対して分割処理が実行される。

分割処理では、予め、注目エリアをいくつに設定するかが決められており、本実施の形態では、注目エリアを２×２の４分割にする設定がされているとする。

図１３は、ステップＳ２７の分割処理の詳細を示すフローチャートである。

分割処理では、初めにステップＳ４１として、露出補正値算出部３２は、注目エリアを４分割した分割エリアの１つを選択する。

ステップＳ４２において、露出補正値算出部３２は、選択した分割エリアについて、輝度差が所定の閾値Ｔｈ’より大であるか否かを判定する。即ち、注目エリアを４分割した分割エリアの１つを（ｉ，ｊ）_ｋとすると（ｋ＝１乃至４のいずれか）、被写体輝度情報Ｉ１（ｉ，ｊ）_ｋと被写体輝度情報Ｉ２（ｉ，ｊ）_ｋの差の絶対値が、所定の閾値Ｔｈ’より大であるか否かを判定する。この閾値Ｔｈ’は、ステップＳ２６の閾値Ｔｈと同一でもよいが、閾値Ｔｈより大きい方がなおよい。

ステップＳ４２で、選択した分割エリアの輝度差が閾値Ｔｈ’より大であると判定された場合、ステップＳ４３とＳ４４の処理が行われ、閾値Ｔｈ’以下であると判定された場合、ステップＳ４３とＳ４４の処理がスキップされる。ステップＳ４３とＳ４４の処理は、選択した分割エリアについての、図７のステップＳ７およびＳ８に対応する処理である。

即ち、ステップＳ４３では、露出補正値算出部３２は、輝度差が大きいと判定されたエリアの総数をカウントするためのカウンタＮｕｍに、選択した分割エリア分に相当する１／４を加算する。

ステップＳ４４では、露出補正値算出部３２は、選択した分割エリアの被写体輝度情報Ｉ１（ｉ，ｊ）_ｋを、第１出力画像の輝度値の総和ＳｕｍＩ１に加算し、選択した分割エリアの被写体輝度情報Ｉ２（ｉ，ｊ）_ｋを、第２出力画像の輝度値の総和ＳｕｍＩ２に加算する。

そして、ステップＳ４５において、露出補正値算出部３２は、全ての分割エリアについて被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較が終了したかを判定する。

ステップＳ４５で、全ての分割エリアについて、被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較がまだ終了していないと判定された場合、処理はステップＳ４１に戻り、ステップＳ４１乃至Ｓ４５の処理が繰り返される。即ち、注目エリア内の、まだ選択されていない分割エリアについて、輝度値の差が閾値Ｔｈ’より大であるかが判定される。

一方、ステップＳ４５で、全ての分割エリアについて、被写体輝度情報Ｉ１と被写体輝度情報Ｉ２の比較が終了したと判定された場合、処理は図１２に戻り、次のステップＳ２８に進む。

以上の処理により、例えば、図１４のエリアＩ（８，２）のような、偏光状態の偏りがある領域と偏りがない領域の両方が含まれる場合に、輝度差が発生しているエリアの検出精度を向上させることができる。分割数は予め決定されているので、ステップＳ２６の処理（注目エリア単位の輝度差の演算）を行うときに、分割エリア単位の輝度値も記憶しておくようにすれば、演算量もさほど増えない。従って、単純に、細かくエリア分割する場合より、データ量を減らすことが可能となり、演算時間、メモリ容量の節約が可能となる。

なお、ステップＳ４２で、選択した分割エリアについて輝度差が発生していると判定された場合に、その分割エリアをさらに一定数に分割し、分割した孫分割エリア単位で、ステップＳ４３とＳ４４と同様の処理を行うことも可能である。即ち、輝度差が発生しているエリアについてだけ、分割処理を段階的に行うことで、輝度差が発生しているエリアの検出精度をさらに向上させることができる。

上述した露出制御処理において、第２撮像素子２５の被写体輝度情報Ｉ２を求める測光動作は、静止画の画像出力には関係しない。従って、被写体輝度情報Ｉ２を求める場合の第２出力画像の画素数は、画素間引きや、領域切り出しを適宜行い、静止画の撮影時よりも少なくしてもよい。例えば、第２出力画像の画素数は、第２出力画像の画素数と同一の画素数とすることができる。これにより、消費電力を抑えて動作させることができる。また、第２出力画像のフレームレートを遅くすることで、消費電力を抑えてもよい。勿論、第１撮像素子２４についても、画素間引きや領域切り出し、フレームレートの変更を行ってもよい。さらには、第２撮像素子２５による測光動作は継続的に行う必要はなく、静止画撮影を行う直前にのみ行うようにすれば、さらに消費電力を抑えることができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， １２ 被写体， ２２ ハーフミラー， ２４ 第１撮像素子， ２５ 第２撮像素子， ２６ 第１被写体輝度算出部， ２７ 第１露出制御部， ２８ 第１画像信号処理部， ２９ 第２被写体輝度算出部， ３０ 第２露出制御部， ３２ 露出補正値算出部， ３３ 電子ビューファインダ， ３４ 液晶パネル

Claims (13)

1. 被写体からの入射光を２つの光路に分離するハーフミラーと、
   前記ハーフミラーで分離された前記入射光の一方を受光する第１撮像素子と、
   前記ハーフミラーで分離された前記入射光の他方を受光する第２撮像素子と、
   前記第１撮像素子の出力から、第１の被写体輝度情報を算出する第１被写体輝度情報算出部と、
   前記第２撮像素子の出力から、第２の被写体輝度情報を算出する第２被写体輝度情報算出部と、
   前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する被写体輝度情報比較部と
   を備える撮像装置。
2. 前記被写体輝度情報比較部は、前記第１の被写体輝度情報と前記第２の被写体輝度情報の比較結果に基づいて、前記第１撮像素子と前記第２撮像素子との間の露出補正値を算出する
   請求項１に記載の撮像装置。
3. 前記第１撮像素子と前記第２撮像素子の出力それぞれが、複数のエリアに分割され、
   前記第１被写体輝度情報算出部は、前記第１の被写体輝度情報を前記エリアごとに算出し、
   前記第２被写体輝度情報算出部は、前記第２の被写体輝度情報を前記エリアごとに算出し、
   前記被写体輝度情報比較部は、対応する前記エリアどうしで、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する
   請求項１に記載の撮像装置。
4. 前記被写体輝度情報比較部は、全エリアに対する輝度差の大きいエリアの面積比が所定の比率より大きい場合に、前記第１撮像素子と前記第２撮像素子との間の露出補正値を算出する
   請求項３に記載の撮像装置。
5. 前記第１の被写体輝度情報と前記第２の被写体輝度情報の差が大きい前記エリアを除外した領域の前記第１の被写体輝度情報を用いて、前記第１撮像素子で撮像する際の露出値を算出する露出制御手段をさらに備える
   請求項３に記載の撮像装置。
6. 前記被写体輝度情報比較部は、対応する前記エリアどうしの前記第１の被写体輝度情報と前記第２の被写体輝度情報の差を、所定の閾値と比較し、
   前記所定の閾値は、被写体輝度情報に応じて適応的に変更される
   請求項３に記載の撮像装置。
7. 前記被写体輝度情報比較部は、前記第１の被写体輝度情報と前記第２の被写体輝度情報の差が大きいと判定されたエリアについて、さらに、複数のエリアに分割し、分割されたエリアどうしで、さらに、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する
   請求項３に記載の撮像装置。
8. 前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較した結果、すくなくとも一部の領域に、前記第１の被写体輝度情報と前記第２の被写体輝度情報の差が生じている場合に、警告を提示する警告手段をさらに備える
   請求項１に記載の撮像装置。
9. 前記第１撮像素子の出力または前記第２撮像素子の出力の少なくとも１つは、間引き動作による出力である
   請求項１に記載の撮像装置。
10. 前記第１撮像素子は、ライブビュー画表示用の撮像素子であり、
    前記第２撮像素子は、静止画撮影用の撮像素子である
    請求項１に記載の撮像装置。
11. 前記第２撮像素子は、静止画の撮影を行う直前にのみ、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較するための出力を行う
    請求項１０に記載の撮像装置。
12. 被写体からの入射光を２つの光路に分離するハーフミラーと、前記ハーフミラーで分離された前記入射光の一方を受光する第１撮像素子と、前記ハーフミラーで分離された前記入射光の他方を受光する第２撮像素子を備える撮像装置の、
    第１被写体輝度情報算出部が、前記第１撮像素子の出力から、第１の被写体輝度情報を算出し、
    第２被写体輝度情報算出部が、前記第２撮像素子の出力から、第２の被写体輝度情報を算出し、
    被写体輝度情報比較部が、前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する
    ステップを含む撮像制御方法。
13. コンピュータに、
    被写体からの入射光がハーフミラーで２つの光路に分離されて、その分離された前記入射光の一方を受光した第１撮像素子の出力から、第１の被写体輝度情報を算出する第１被写体輝度情報算出部と、
    前記分離された前記入射光の他方を受光した第２撮像素子の出力から、第２の被写体輝度情報を算出する第２被写体輝度情報算出部と、
    前記第１の被写体輝度情報と前記第２の被写体輝度情報とを比較する被写体輝度情報比較部
    として機能させるプログラム。

Images