以下に本発明の実施例を詳細に説明する。各実施例では、瞳分割された焦点検出画素を有する撮像素子を備え、被写体に焦点を合せながら連続撮影(AF連写)を行う撮像装置を説明する。連続撮影において、静止画撮影時に絞り値が変化した場合でも、ライブビュー撮影時の絞り値との間で差が小さくなるように絞り制御を行うことにより、表示品質を維持しつつ、フレーミング中の追従性の低下を抑えることができる。
[第1実施例]
図1は、本発明の第1実施例における撮像素子の構成例を示す概略ブロック図である。撮像素子306は多数の画素部101を2次元アレイ状に配置した構成を有する。各画素部101に対して、垂直出力線102、転送信号線103、リセット信号線104、行選択信号線105がそれぞれ接続されている。カラムADCブロック111は、画素部101に接続された垂直出力線102から出力される信号に対し、A(アナログ)/D(デジタル)変換した信号を出力する。行走査回路112は転送信号線103、リセット信号線104、行選択信号線105により画素部101に接続される。複数の列走査回路113は、水平信号線115−a,115−bにより、複数のカラムADCブロック111に接続される。タイミング制御回路114は、カラムADCブロック111、列走査回路113にそれぞれタイミング制御信号を出力して制御を行う。
切り替え部116は、水平信号線115−aと115−bによる各信号を切り替えて、パラレル・シリアル変換部(以下、P/S変換部と表記する)117に出力する。P/S変換部117は切り替え部116の出力を取得し、パラレル・シリアル変換を行う。P/S変換部117は変換した信号を外部に出力する。
本実施例の撮像素子306は、複数の画素部101が水平方向(行方向)において転送信号線103、リセット信号線104、および行選択信号線105に接続され、垂直方向(列方向)において垂直出力線102に接続されている。垂直出力線102の各々は読み出し行単位に応じて接続先が異なる。画素部101から読み出される信号はカラムADCブロック111を介して、チャンネル毎の水平信号線115−a、水平信号線115−bから出力され、切り替え部116に送られる。切り替え部116で選択された画像信号は、タイミング制御回路114のタイミングに合わせてP/S変換部117がパラレル・シリアル変換を行い、撮像素子306の外部に出力する。
画素信号の読み出し方式としては、全画素を読み出す方式、垂直方向にて画素を間引いて読み出す方式、水平方向にて画素を加算して読み出す方式、垂直間引き水平加算方式等を適宜に選択可能である。垂直間引き水平加算方式は、垂直方向にて間引き読み出しを行い水平方向にて画素を加算して読み出す方式である。本実施例では、静止画読み出しの方式に全画素を読み出す方式を採用する。第1の読み出しモードでは、第1の画素数の画素部として撮像素子のすべての画素部から画素信号が読み出される。読み出し画素数が多いため、所定時間内に限られた枚数の画像しか取得できないので、動体である被写体が高速で移動する場合、正確に被写体を画角内に捉え難くなる。一方、ライブビュー読み出しの方式には垂直間引き水平加算方式を採用する。第2の読み出しモードでは、第1の画素数よりも少ない第2の画素数の画素部から画素信号が読み出される。読み出し画素数が少ないため、処理の高速化に適している。
図2は本実施例における撮像面位相差AFで使用する撮像素子306の画素配列を模式的に示す。撮像素子306はオンチップマイクロレンズ201に対応する複数の光電変換部が配置された構成である。カラーフィルタにはベイヤー配列が適用され、R/G行で示す奇数行の画素には、左から順に赤(RED)と緑(GREEN)のカラーフィルタが交互に設けられる。また、G/B行で示す偶数行の画素には、左から順に緑(GREEN)と青(BLUE)のカラーフィルタが交互に設けられる。オンチップマイクロレンズ201はカラーフィルタの上に構成されている。オンチップマイクロレンズ201の内側に配置された複数の光電変換部を複数の矩形で示す。瞳分割型撮像素子にて対をなす光電変換部を、それぞれA画素101a、B画素101bと表記する。第1の画素群に含まれるA画素101aからの出力によって第1の視点画像であるA画像が生成される。第2の画素群に含まれるB画素101bからの出力によって第2の視点画像であるB画像が生成される。演算部はA画像とB画像の相対的な像ずれ量を相関演算により検出し、所定領域のデフォーカス量を算出する。デフォーカス量に基づいてフォーカスレンズが移動してレンズ部301の焦点調節動作が行われる。また、A画像の信号とB画像の信号は撮像素子内で加算処理が行われ、表示用および記録用の画像信号が生成される。なお、図2に示したように複数の光電変換部を設ける画素構成とせずに、光電変換部の受光面の一部を遮光する形態であってもよい。
図3は、撮像素子306を用いた撮像システムの概要を示すブロック図である。本実施例の撮像システムは、一例として動画像または静止画像を取得するデジタルカメラであるが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等の移動体にも適用可能である。
レンズ部301は、撮像光学系を構成する複数のレンズを備える。レンズ部301はカメラ本体部に装着可能な交換レンズ、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部302は、撮像光学系を構成する可動レンズ(ズームレンズ、フォーカスレンズ等)を駆動する。メカニカルシャッタ(図にはメカシャッタと表記する)303は露光時間の制御に用いられ、絞り304は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部(図にはシャッタ・絞り駆動部と表記する)305は、メカニカルシャッタ303および絞り304を駆動することによって撮像素子306の露出状態を制御する。なお、露光量を制御するための手段としてNDフィルタ等の光学フィルタを設ける構成にしてもよい。
撮像素子306は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。積層型構成の撮像素子の場合、撮像層と回路層を有する。撮像信号処理回路307は撮像素子306の出力信号を処理し、処理後の画像信号を出力する。第1のメモリ部(図にはメモリ部Iと表記する)308は、撮像信号処理回路307が処理した画像信号等を記憶する。
全体制御演算部309は撮像システム全体の制御を司る中枢部であり、CPU(中央演算処理部)を備える。CPUは第2のメモリ部(図にはメモリ部IIと表記する)314から読み出したプログラムを実行することにより、各部の動作を制御する。第2のメモリ部314はCPUの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等も記憶する。記録媒体制御インターフェース(I/F)部310は、全体制御演算部309の制御指令にしたがって、画像信号等を記録媒体312に記録し、また記録媒体312から情報を読み出す処理を行う。記録媒体312は撮像装置の本体部に着脱可能である。表示部311は液晶表示パネル等の表示デバイスを備え、全体制御演算部309の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース(I/F)部313は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。本実施例では撮像装置が表示部311を備えるが、表示手段のない撮像装置の場合には画像情報や関連情報が外部I/F部313を介して外部の表示装置に出力される。例えば、AF連写時の静止画像とライブビュー画像を交互に出力する処理と、ライブビュー画像だけを出力する処理が実行される。操作部315はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部309に出力する。全体制御演算部309は、操作部315によってユーザが設定した撮像システムの撮像モードや露出条件等に関する情報に基づいて撮像システム全体を制御する。
レンズ部301を通った被写体からの光は絞り304にて適切な光量に調整され、撮像素子306の撮像面上に結像される。撮像素子306の画素部101を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号はさらにゲイン制御が行われ、A/D変換によってアナログ信号からデジタル信号へ変換された上でR、Gr、Gb、Bの信号として取り込まれ、撮像信号処理回路307に送られる。
撮像信号処理回路307は、撮像された画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて全体制御演算部309が露光制御および測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。また、撮像信号処理回路307は、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。この他、撮像信号処理回路307は、ノイズを低減するローパスフィルタ処理や、シェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。
撮影中のレンズ部301は、レンズ駆動部302によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ303と絞り304はそれぞれ、全体制御演算部309の制御指令にしたがってメカニカルシャッタ・絞り駆動部305により駆動される。第1のメモリ部308は撮像後の画像信号を一時的に記憶する。記録媒体制御I/F部310は、記録媒体312に画像信号を記録する処理と、記録媒体312から信号を読み出す処理を行う。表示部311は撮像された画像を画面に表示する。
次に図4を参照して、本実施例における合焦判定について説明する。図4は本実施例におけるA画素およびB画素の各出力信号が撮像信号処理回路307へ送られた場合の焦点検出用信号を示す図である。図4において、横軸Xは連結された信号の画素並び方向における位置を示し、縦軸Yは信号の強度を示す。焦点検出用信号401aはA画像の信号に相当し、焦点検出用信号401bはB画像の信号に相当する。これらの信号は、焦点検出用画像信号であるA画像信号とB画像信号としてそれぞれ形成される信号である。図4に示す例は、レンズ部301が撮像素子306に対してデフォーカス状態であるため、焦点検出用信号401aが左側にずれ、焦点検出用信号401bが右側にずれた状態となっている。A画像とB画像の信号のずれ量を撮像信号処理回路307が算出することにより、像ずれ量からデフォーカス量が算出される。すなわちレンズ部301が合焦状態からどれだけずれているかを検出することができる。
具体的には、撮像信号処理回路307はA画像信号とB画像信号との位相差を求める相関演算を行い、位相差から被写体距離を算出するための測距演算を行う。被写体距離は撮像装置から被写体までの距離であり、デフォーカス量に対応する量として算出される。A画像とB画像との一致の程度を表す量Uとして、(1)式を用いることができる。
ただし、a
jはj番目のA画素の信号であり、b
jはB画素の信号である。(1)式の量Uは合焦時に最小値となる。
さらに、B画像に対してA画像を相対的にp画素分だけシフトしてUの値を計算する処理が行われる。(2)式で算出される量をPと表記する。
合焦時のシフト量においてPは最小値となる。このシフト量に基づいて、どの程度合焦位置からずれているかを示すデフォーカス量が算出される。
デフォーカス量がゼロとなった場合、つまり合焦した場合にA画像とB画像は一致するはずであるが、A画像とB画像に違いがある場合には撮像面位相差AFの精度が低下してしまう。そこで、例えば2つの画像の共通領域の面積を求め、求めた面積に応じて信頼性を判断する処理が行われる。面積が大きいほど、合焦の信頼性は高いと判断され、面積が小さいほど、合焦の信頼性は低いと判断される。
次に撮像信号処理回路307は、図4の焦点検出用信号401a、401bのエッジの急峻度を算出する。エッジの急峻度(Eと記す)は、(3)式を用いて算出される。
(3)式において、E値が大きな値である場合、合焦の信頼性が高いと判断され、E値が小さな値である場合には合焦の信頼性が低いと判断される。
図5は、本実施例の合焦判定テーブルを例示した図である。合焦判定テーブルは、相関演算結果の信頼性と、エッジ急峻度Eによる信頼性に応じて、以下の4段階の状態値AからDを有する。相関演算結果の信頼性に関して、「大」、「中」、「小」の3段階とし、相関演算結果(U値)が小さいほど、信頼性が高いものとする。また、エッジ急峻度Eによる信頼性に関して、「高」、「中」、「低」の3段階とし、E値が高いほど信頼性が高いものとする。
A:合焦している状態。
B:合焦していない状態。撮影条件を少し変化させれば、合焦可能である。
C:合焦していない状態。撮影条件をBよりも大きく変化させれば、合焦可能である。
D:全く合焦していない状態。撮影条件を大きく変化させないと、合焦しない。
例えば、相関演算結果が「小」で、エッジ急峻度Eが「高」である場合にAとなり、これは合焦時の状態値である。本実施例では説明の便宜上、4段階の合焦判定を説明するが、もちろん、4段階未満または5段階以上の合焦判定も可能である。
図6および図7を参照して、本実施例におけるAF連写時の処理例を説明する。図6および図7は、合焦判定テーブルを用いたAF連写を説明するフローチャートである。
連写開始時に全体制御演算部309は静止画撮影の絞りF値を決定する(S601)。次に静止画撮影用の撮像素子306の露光が開始する(S602)。露光終了後、撮像素子306から静止画像の画像信号が読み出される(S603)。次に、全体制御演算部309は図5の合焦判定テーブルに従い、合焦判定の結果を判断する。状態値Aに該当するかどうかが判断され(S604)。Aに該当する場合(合焦した場合)、S605に進み、A以外の場合にはS606に移行する。
S605で全体制御演算部309は、ライブビュー(LV)撮影の絞りF値を静止画撮影と同じF値に設定し、S610へ進む。S606で全体制御演算部309は、合焦判定の結果が状態値Bに該当するかどうかを判断する。Bに該当する場合、S607に進み、Bでない場合にはS608に移行する。S607で全体制御演算部309は、ライブビュー撮影の絞りF値を静止画撮影時より1段分開放側に変更し、S610へ進む。
S608で全体制御演算部309は、合焦判定の結果が状態値Cに該当するかどうかを判断する。Cに該当する場合、S609に進み、Cでない場合、つまりDの場合にはS611へ移行する。S609で全体制御演算部309は、ライブビュー撮影の絞りF値を静止画撮影時より2段分開放側に変更し、S610へ進む。
合焦判定結果が状態値A、B、Cのいずれかに該当する場合にはS610にて、撮像後の静止画像を表示部311の画面に表示する処理が実行された後、図7のS612に進む。一方、合焦判定結果が状態値Dに該当する場合にはS611にて、全体制御演算部309はライブビュー撮影の絞りF値を開放にする。そして図7のS612へ進む。
S612で全体制御演算部309は、ライブビュー撮影用の撮像素子306の露光を開始する。そして、撮像素子306からライブビュー画像の信号が読み出され(S613)、ライブビュー画像が表示部311の画面に表示される(S614)。全体制御演算部309はAF制御を行う(S615)。その後、全体制御演算部309は、ユーザが操作部315により行った操作指示に基づき、連写を終了するかどうかを判断する(S616)。連写を続行すると判断された場合、S601へ戻る。S616で連写終了と判断された場合には一連の処理を終了する。
本実施例では、合焦判定結果が状態値BまたはCに該当する場合、ライブビュー撮影時の絞り値が変化する。その分、画像の明るさを静止画像に合わせるために露光時間とISO感度の制御を行う必要がある。このとき全体制御演算部309は、エッジの急峻度の判定結果に応じて、露光時間とISO感度のどちらを優先的に変更するかを決定する。例えば、エッジの急峻度の値が低い場合には、被写体ブレが発生している可能性がある。この場合、全体制御演算部309は露光時間を短く設定し、ISO感度を静止画像の場合と同じ値に設定する。逆にエッジの急峻度の値が高い場合に全体制御演算部309は、露光時間を静止画像の場合と同じに時間に設定し、ISO感度を下げる設定にする。こうすることで、ライブビュー撮影時の位相差AFの合焦判定精度を高くすることが可能となる。
図8は、静止画表示とライブビュー表示を交互に行う場合のタイミングチャートを示す。期間T1〜T4はそれぞれ露光期間を示す。期間S1、S3は図6のS603の静止画読み出し期間をそれぞれ示し、期間S2、S4は図7のS613のライブビュー(LV)読み出し期間をそれぞれ示す。タイミングチャートには、シャッタの開閉状態を示す。表示期間には、図6のS610の静止画表示と図7のS614のライブビュー表示が交互に行われることを示す。期間D1,D3は、図6のS610の静止画表示期間であり、期間D2、D4は図7のS614のライブビュー表示期間である。合焦判定、絞り制御およびAF制御のタイミングを黒塗り長方形の記号でそれぞれ示す。静止画像の合焦判定およびライブビューの合焦判定のタイミングはそれぞれ、読み出し期間S1〜S4の終了後である。静止画像の合焦判定後に絞り制御が行われ、ライブビューの合焦判定後に絞り制御およびAF制御が行われる。
露光期間T1の終了後、静止画読み出し期間S1にて静止画像の信号が取得される。そして、静止画像の合焦判定処理が行われ、合焦判定結果が図5の状態値A、B、Cのいずれかに該当する場合には期間D1にて静止画表示が行われる。そして、絞り制御が行われる。露光期間T2の終了後、ライブビュー読み出し期間S2にてライブビュー画像の信号が読み出される。期間D2でライブビュー表示が行われる。ライブビューの合焦判定後に絞り制御とAF制御が行われる。
図9は、静止画表示とライブビュー表示を交互に表示しない場合のタイミングチャートを示す。各項目は図8と同じであるが、静止画表示は行われない。露光期間T1の終了後、静止画読み出し期間S1にて信号が読み出される。そして、静止画像の合焦判定が行われる。合焦判定結果が図5の状態値Dに該当する場合、静止画表示は行わない。そして、絞りが開放に設定されて、露光期間T2の終了後、ライブビュー読み出し期間S2でライブビュー画像の信号が読み出される。期間D2でライブビュー表示が行われる。ライブビューの合焦判定後に絞り制御とAF制御が行われる。
本実施例では、ライブビュー撮影時の絞り制御に関し、図5の合焦判定テーブルと、静止画撮影時の絞りの状態によって判断する。静止画撮影時の画像とライブビュー撮影時の画像とを交互に表示させる場合に露出条件(絞り値)の差を小さくする制御が行われる。これにより、AF連写中の静止画撮影時に絞りを絞った場合においても、表示品質の維持とフレーミング中の追従性を両立させることができる。
なお、第1実施例において露出条件として絞り値の差を小さくする制御を示したが、露出条件としては絞り値以外にも露光時間や感度(ISO感度)等の差も小さくするように制御してもよい。つまり、静止画撮影時のプログラム線図とライブビュー撮影時のプログラム線図とを同様の構成とするようにしてもよい。
また、合焦の判定に関しては静止画撮影時およびライブビュー撮影時の両方で行う場合には、それぞれに対して重みづけを行ってもよい。これはライブビュー撮影時の解像度は静止画の解像度と比較して低いために、合焦判定精度としては低い場合がるためで、ライブビュー撮影時の合焦の判定結果の重みを低く設定することが好ましい。
[第2実施例]
次に本発明の第2実施例を説明する。本実施例では、静止画撮影時の絞りの状態以外に、レンズ部301の焦点距離や被写体距離の違いに応じて、ライブビュー撮影時の絞りを制御する構成について説明する。なお、本実施例において第1実施例と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
レンズ部301の焦点距離の違いによって、絞り値が変更された場合の画像の見え方が大きく異なる。例えば、焦点距離の短い広角時に絞り値を2段変更した場合の画像の見え方の変化は小さいが、焦点距離の長い望遠時に絞り値を2段変更した場合には画像の見え方の変化が大きくなる。そこで、本実施例では、レンズ部301の焦点距離に応じて以下の制御を行う。
・焦点距離が短い広角側の場合(例えば50mm以下)
全体制御演算部309は、図5の合焦判定結果が状態値Bであると判定したときに、図6のS607のライブビューの絞り制御における絞り値を静止画像の場合よりも2段分開放側に変更する。また全体制御演算部309は、図5の合焦判定結果が状態値Cである判定したときに、図6のS609のライブビューの絞り制御における絞り値を静止画像の場合よりも4段分開放側に変更にする。
・焦点距離の長い望遠側の場合
全体制御演算部309は、ライブビューの絞り制御にて第1実施例と同じ処理を行う。
次に被写体距離の違いについて説明する。撮像装置から被写体までの距離によって、絞り値が変更された場合の画像の見え方が大きく異なる。例えば、被写体距離が大きい場合に絞り値を2段変更した場合の画像の見え方の変化は小さいが、被写体距離が小さい場合に絞り値を2段変更した場合には画像の見え方の変化が大きくなる。そこで本実施例では、被写体距離に応じて以下の制御を行う。
・被写体距離が大きい場合(例えば3m以上)
全体制御演算部309は、図5の合焦判定結果が状態値Bであると判定したとき、図6のS607のライブビューの絞り制御における絞り値を静止画像の場合よりも2段分開放側に変更する。また全体制御演算部309は、図5の合焦判定結果が状態値Cであると判定したとき、図6のS609のライブビューの絞り制御における絞り値を静止画像の場合よりも4段分開放側に変更する。
・被写体距離が小さい場合
全体制御演算部309は、ライブビューの絞り制御にて第1実施例と同じ処理を行う。
また本実施例では、レンズ部301の焦点距離および被写体距離に応じて以下の制御を行う。
・焦点距離が閾値より長く、かつ、被写体距離が閾値より大きい場合
全体制御演算部309は、図5の合焦判定結果が状態値Bであると判定したとき、図6のS607のライブビューの絞り制御における絞り値を静止画像の場合よりも2段分開放側に変更する。また全体制御演算部309は、図5の合焦判定結果が状態値Cであると判定したとき、図6のS609のライブビューの絞り制御における絞り値を静止画像の場合よりも4段分開放側に変更する。
・焦点距離が閾値より長く、かつ、被写体距離が閾値以下である場合
全体制御演算部309は、ライブビューの絞り制御にて第1実施例と同じ処理を行う。
次に図10を参照してモードに応じた合焦判定について説明する。図10Aはフレーミング中の追従性を優先する第1の合焦判定モードにおける合焦判定テーブルを例示する。第1の合焦判定モードは、AFの合焦精度よりも表示更新を優先させるモードである。図10Bはフレーミング中のAF精度を優先する第2の合焦判定モードにおける合焦判定テーブルを例示する。第2の合焦判定モードは、表示更新よりもAFの合焦精度を優先させるモードである。全体制御演算部309は、モードごとに合焦判定テーブルを切り替える。各信頼性の段階や状態値AからDについては図5で説明した通りである。
図10Aに示す第1の合焦判定モードの場合、可能な限り静止画像とライブビュー画像の交互表示が行われるようにするために、図5に比べて合焦判定テーブルにて状態値Dの数が少なくなっている。つまり、相関演算結果が「大」であって、かつエッジの急峻度が「中」である場合と、相関演算結果が「中」であって、かつエッジの急峻度が「低」である場合に、状態値Cと判定される。よって、静止画像とライブビュー画像が交互に表示される頻度が相対的に高くなる。
図10Bに示す第2の合焦判定モードの場合、AF精度を優先させるために、図5に比べて合焦判定テーブルにて状態値Dの数が多くなっている。つまり、相関演算結果が「大」であって、かつエッジの急峻度が「高」である場合と、相関演算結果とエッジの急峻度が「中」である場合と、相関演算結果が「小」であって、かつエッジの急峻度が「低」である場合に、状態値Dと判定される。よって、ライブビュー画像が表示される頻度が相対的に高くなる。
本実施例では、レンズ部301の焦点距離や被写体距離に応じた絞り制御によって撮像素子306の露出状態が変更される。これにより、AF連写中の静止画撮影時に絞りを絞った場合においても、撮影条件や撮影モードに応じて表示品質の維持とフレーミング中の追従性を両立させることが可能である。
[第3実施例]
図11は、本発明の第3実施例に係る複数の撮影レンズを交換可能なカメラ本体と撮影レンズとからなるカメラシステムの形態を持つ撮像装置の構成を示すブロック図である。本実施例のカメラシステム(撮像装置)はレンズ交換式一眼レフカメラであり、撮影レンズからなるレンズユニット1100とカメラ本体1120とを有する。レンズユニット1100は、図中央の点線で示されるマウントMを介して、カメラ本体1120に装着される。
レンズユニット1100は、結像光学系(第1レンズ群1101、絞り1102、第2レンズ群1103、第3レンズ群(フォーカスレンズ1104))、および駆動/制御系を有する。第1レンズ群1101は、レンズユニット1100の先端に配置され、光軸方向OAに移動可能に保持される。絞り1102は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッターとしての機能を有する。絞り1102および第2レンズ群1103は、一体で光軸方向OAに移動可能であり、第1レンズ群1101と連動して移動することによりズーム機能を実現する。フォーカスレンズ1104も光軸方向OAに移動可能であり、位置に応じてレンズユニット1100が合焦する被写体距離(合焦距離)が変化する。フォーカスレンズ1104の光軸方向OAにおける位置を制御することにより、レンズユニット1100の合焦距離を調節する焦点調節を行うことができる。
駆動/制御系は、ズームアクチュエータ1111、絞りアクチュエータ1112、フォーカスアクチュエータ1113、ズーム駆動回路1114、絞り駆動回路1115、フォーカス駆動回路1116、レンズMPU1117(プロセッサ)、レンズメモリ1118を有する。
ズーム駆動回路1114は、ズームアクチュエータ1111を用いて第1レンズ群1101および第2レンズ群1103を光軸方向OAに駆動し、レンズユニット1100の光学系の画角を制御する。絞り駆動回路1115は、絞りアクチュエータ1112を用いて絞り1102を駆動し、絞り1102の開口径や開閉動作を制御する。フォーカス駆動回路1116は、フォーカスアクチュエータ1113を用いてフォーカスレンズ1104を光軸方向OAに駆動し、レンズユニット1100の光学系の合焦距離を制御する。また、フォーカス駆動回路1116は、フォーカスアクチュエータ1113を用いてフォーカスレンズ1104の現在位置を検出する。
レンズMPU1117は、レンズユニット1100に係る全体的な演算、制御を行い、ズーム駆動回路1114、絞り駆動回路1115、フォーカス駆動回路1116を制御する。また、レンズMPU1117は、マウントMを通じてカメラMPU1125と接続され、コマンドやデータを通信する。例えば、レンズMPU1117は、フォーカスレンズ1104の位置を検出し、カメラMPU1125からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ1104の光軸方向OAにおける位置、光学系が移動していない状態の射出瞳の光軸方向OAにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向OAにおける位置および直径などの情報を含む。また、レンズMPU1117は、カメラMPU1125からの要求に応じて、ズーム駆動回路1114、絞り駆動回路1115、フォーカス駆動回路1116を制御する。レンズメモリ1118には、撮像面位相差AFに必要な光学情報が予め記憶されている。レンズMPU1117は、例えば内蔵する不揮発性メモリやレンズメモリ1118に記憶されているプログラムを実行することで、レンズユニット1100の動作を制御する。
カメラ本体1120は、光学系(光学ローパスフィルタ1121および撮像素子1122)と、駆動/制御系とを有する。光学ローパスフィルタ1121は、撮像画像の偽色やモアレを軽減する。撮像素子1122は、CMOSイメージセンサと周辺回路で構成され、横方向m画素、縦方向n画素(n,mは2以上の整数)が配置される。本実施例の撮像素子1122は、瞳分割機能を有し、視差を持つ画像データを用いた撮像面位相差AFが可能である。
駆動/制御系は、撮像素子駆動回路1123、画像処理回路1124、カメラMPU1125(プロセッサ)、表示部1126、操作スイッチ群1127、メモリ1128、撮像面位相差焦点検出部1129を有する。画像処理回路1124は、撮像素子1122が出力する画像データから、焦点検出信号と、表示・記録用の画像データを生成する。
撮像素子駆動回路1123は、撮像素子1122の動作を制御すると共に、取得した画像データをA/D変換してカメラMPU1125に送信する。画像処理回路1124は、撮像素子1122が取得した画像データに対して、γ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。
カメラMPU1125は、カメラ本体1120に係る全体的な演算、制御を行い、撮像素子駆動回路1123、画像処理回路1124、表示部1126、操作スイッチ群1127、メモリ1128、撮像面位相差焦点検出部1129を制御する。カメラMPU1125は、マウントMを介してレンズMPU1117と接続され、レンズMPU1117とコマンドやデータを通信する。カメラMPU1125は、レンズMPU1117に対し、レンズ位置の取得要求や、所定の駆動量での絞り、フォーカスレンズ、ズーム駆動要求や、レンズユニット1100に固有の光学情報の取得要求などを発行する。カメラMPU1125には、カメラ本体1120の動作を制御するプログラムを格納したROM1125a、変数を記憶するRAM1125b、諸パラメータを記憶するEEPROM1125cが内蔵されている。
表示部1126は、LCDなどから構成され、カメラ本体1120の撮影モードに関する情報、撮影前のプレビュー画像および撮影後の確認用画像、焦点検出時の合焦状態画像などを表示する。操作スイッチ群1127は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ1128は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
撮像面位相差焦点検出部1129は、画像処理回路1124により得られる撮像面位相差AF信号に基づき、撮像面位相差AFによる焦点検出処理を行う。具体的には、画像処理回路1124が撮像面位相差AF信号として撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを生成し、撮像面位相差焦点検出部1129がこの一対の像データのずれ量に基づいて焦点ずれ量(デフォーカス量)を検出する。このように、本実施例の撮像面位相差焦点検出部1129は、専用のAFセンサを用いず、撮像素子1122の出力に基づく撮像面位相差AFを行う。
図12を参照して、撮像面位相差焦点検出部1129の動作について詳細に説明する。図12は、本実施例に係る撮像素子1122の画素配列を示す図であり、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)8列の範囲を、レンズユニット1100側から観察した状態を示している。撮像素子1122には、ベイヤー配列のカラーフィルタが設けられている。本実施例のベイヤー配列は、例えば、奇数行の画素には、左から順に緑(G)と赤(R)のカラーフィルタがX方向に交互に配置され、偶数行の画素には、左から順に青(B)と緑(G)のカラーフィルタがX方向に交互に配置されている。画素1211において、符号1211iが指す円はオンチップマイクロレンズを表し、オンチップマイクロレンズ1211iの内側に配置された複数の矩形(符号1211a,1211b)はそれぞれ光電変換部を表している。
本実施例の撮像素子1122は、撮影光学系の異なる瞳部分領域を各々通過する光束を受光する第1と第2の焦点検出画素を有する。なお、本実施例では、撮像素子1122中のすべての画素の光電変換部はX方向に2分割され、分割された一方の領域の光電変換信号と、2つの光電変換信号の和とは、独立して読み出しできる構成となっている。しかしながら、X方向、Y方向に複数分割された構成であってもよい。そして、独立して読み出しされた信号に関して、2つの光電変換信号の和と分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。これらの分割された領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される3D(3−Dimensional)画像を生成することもできる。一方で、2つの光電変換信号の和は、通常の撮影画像として用いられる。
ここで、撮像面位相差AF信号について説明する。本実施例においては、図12のオンチップマイクロレンズ1211iと、分割された光電変換部1211a,1211bで撮影光学系の射出光束を瞳分割する。そして、同一画素行に配置された所定範囲内の複数の画素1211について、光電変換部1211aの出力をつなぎ合わせて編成したものを撮像面位相差AF用のA像(AF用A像)とする。また、光電変換部1211bの出力をつなぎ合わせて編成したものを撮像面位相差AF用のB像(AF用B像)とする。光電変換部1211a,1211bの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の出力を加算して算出した疑似的な輝度(Y)信号を用いる。但し、赤、青、緑の色ごとに、AF用A像、AF用B像を編成してもよい。このように生成したAF用A像とAF用B像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量(デフォーカス量)を検出することができる。本実施例では、一方の光電変換部の出力と全光電変換部の出力の和を撮像素子1122から読み出すものとする。例えば光電変換部1211aの出力と、光電変換部1211a,1211bの出力の和とが読み出される場合、光電変換部1211bの出力は、和から光電変換部1211aの出力を減じることで取得される。これにより、AF用A像とAF用B像の両方を得ることができ、撮像面位相差AFが実現できる。このような撮像素子は、例えば特開2004−134867号公報に開示されるように公知であるため、これ以上の詳細な説明は省略する。
なお、ここでは一例として水平方向に射出瞳を2分割する構成を説明したが、撮像素子1122中の一部の画素については垂直方向に射出瞳を2分割する構成としてもよい。また、水平および垂直の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した撮像面位相差AFが可能となる。
以上説明したように、撮像素子1122は、撮像の機能だけではなく、焦点検出装置としての機能も有している。なお、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、撮像面位相差AFを行うことが可能である。
図13は、本発明の第3実施例に係るカメラ本体1120が実行する焦点検出処理、撮像処理、および表示処理を説明するフローチャートである。本フローチャートにおいて、各ステップの処理は、特に断らない限り、カメラMPU1125がROM1125aに格納されたプログラムに従ってカメラ本体1120の各部を制御したりレンズMPU1117と通信したりすることにより実現される。なお、以降の説明では、撮像装置が表示部1126に表示用の画像データを逐次表示するライブビュー(LV)状態から撮像を行うLV撮影を実行する際の動作について説明する。
S701で、カメラMPU1125は、撮像素子駆動回路1123および撮像素子1122の駆動を制御し、被写体を撮像することで撮像データを取得する。ここでは、LV表示用の動画撮影のための駆動動作であるため、LV表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。このLV表示としては、撮影者(ユーザ)が撮像範囲や撮影条件の確認を行うことを主たる目的としており、例えば、30フレーム/秒(撮像間隔33.3ms)や60フレーム/秒(撮像間隔16.6ms)であればよい。なお、S701の処理において、初期値設定動作として、後述する交互表示フラグを0として初期化する。
次に、S702で、カメラMPU1125は、S701で得られた撮像データのうち、撮像素子の焦点検出領域に含まれる第1焦点検出画素と第2焦点検出画素から得られる焦点検出データを取得する。また、カメラMPU1125は、撮像信号を生成し、画像処理回路1124で色補間処理などを適用して得られる画像データを取得する。このように、1回の撮像により、画像データ(画像信号)と、焦点検出データ(焦点検出信号)とを取得することができる。なお、撮像画素と、第1焦点検出画素、第2焦点検出画素を個別の画素構成とした場合には、焦点検出用画素の補完処理などを行って画像データを取得する。なおカメラMPU1125は、S702の処理で得られた画像信号(第2の画像信号)を用いて、設定された撮影条件においてフリッカの発生有無を検出するフリッカ検知を実施する。本実施例では、カメラ本体1120の電源起動時やユーザによる手動操作に応じて実行されるフリッカ検知結果をメモリ1128に記録しておき、当該フリッカ検知結果に応じて、後述する交互表示の実行有無を判定する。なお、フリッカ検知の方法は公知の方法であればどのようなものを採用してもよい。例えば、本実施例では、フリッカの光量変化周期と特徴点の位置を検出することでフリッカ検知を実行する(例えば、特開2015−220673号公報を参照)が、これに限定されるものではない。例えば、画像信号に対応した画面全体に発生している明暗差を抽出し、抽出した明暗差に関する情報とカメラ本体1120の内部に予め格納されているフリッカ情報とを比較することで、フリッカ検知を実行する構成であればよい。
次に、S800で、カメラMPU1125は、画像処理回路1124を制御して、S702の処理で得られた画像信号(第2の画像信号)に基づいてLV表示用の画像(LV画像)を生成し、表示部1126に表示する。なお、LV表示用の画像は、例えば表示部1126の解像度に合わせた縮小画像であり、S702の処理で画像データを生成する際に画像処理回路1124で縮小処理を実施する。そして、カメラMPU1125は、当該縮小処理後のLV画像(第2の画像)を表示部1126に表示させる。上述の通り、LV表示中は所定のフレームレートで被写体の撮像と逐次表示が行われるため、表示部1126を通じてユーザは撮影時の構図や露出条件の調整などを行うことができる。
なお、S800で、カメラMPU1125は、S702で取得した画像信号(第2の画像信号)からLV画像(第2の画像)を生成する際に、後述する交互表示用の静止画像(第3の画像)と交互表示を行うか否かに応じて異なる処理を実行する。交互表示を行う場合は、第2の画像と第3の画像との差が少なくなるような処理を実行して、第2の画像信号を生成する。これにより、異なる露出条件や信号読出し条件で取得した第3の画像と第2の画像を用いた表示を行う際に、違和感の少ない表示が可能となる。S800の処理の詳細については後述する。なお、以降の説明では、後述する第1の画像信号に基づいて記録用の静止画像(第1の画像)と交互表示用の静止画像(第3の画像)を生成し、第2の画像信号に基づいてLV画像(第2の画像)を生成する。
次に、S703で、カメラMPU1125は、S702で取得した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施例では、カメラMPU1125が焦点検出用の像信号の生成と、焦点検出用信号のずれ量(位相差)の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施する。カメラMPU1125は、焦点検出用の像信号を生成する際に、第2の画像信号を生成する際に行う信号処理とは異なる処理(例えばゲイン調整、ローパス処理など)を行う。
表示に用いる第2の画像の元データである第2の画像信号は、表示部1126で撮像範囲の構図、色、明るさ、ボケ具合などの確認が可能であることが求められるため、ゲイン処理により一部の信号が飽和してしまう場合がある。一方で、焦点検出用の像信号は、飽和信号を含まない方が、高精度な焦点検出を行うことができる。また、第2の画像は、後述する交互表示に用いる静止画像に対応させた画像処理を行うため、焦点検出を行うために十分なコントラストが確保できない、あるいは、ローパス処理などにより高周波成分の信号を取得できない場合がある。そこで、S703の処理でカメラMPU1125は、第2の画像を生成する際とは異なる処理を第2の画像信号に対して施すことにより、コントラストや高周波成分の信号を取得可能にし、焦点検出に適した焦点検出用の像信号を生成する。
次に、S704でカメラMPU1125は、撮影準備開始を示すスイッチであるSW1のオン/オフを検出する。操作スイッチ群1127の一つであるレリーズ(撮像トリガ)スイッチは、当該レリーズスイッチの押し込み量に応じて、2段階のオン/オフを検出することが可能である。上述のSW1のオン/オフは、レリーズ(撮像トリガ)スイッチの1段階目のオン/オフに相当し、撮影準備開始を示す。
次に、S704で、SW1のオンが検出されない(あるいはオフが検出された)場合に、カメラMPU1125は、処理をS709に進め、操作スイッチ群1127に含まれるメインスイッチがオフされたか否かを判別する。一方、S704でSW1のオンが検出されると、カメラMPU1125は、処理をS705に進め、合焦させる焦点検出領域を設定(選択)する。ここでは、ユーザが指示した焦点検出領域を設定してもよいし、S704の処理で得られた複数の焦点検出領域のデフォーカス量の情報や焦点検出領域の撮像範囲中心からの距離などの情報に基づいて、カメラMPU1125が自動的に設定してもよい。なお、一般的に、ユーザが撮影を意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮像範囲の中央付近に存在する確率が高い。カメラMPU1125は、例えば複数の被写体が存在する場合に、これらの条件を考慮して適切と考えられる焦点検出領域を自動的に設定する。また、カメラMPU1125は、例えば、主被写体を判定できる被写体と背景とを判別できる場合に、当該主被写体が存在する領域を焦点領域として設定する。
次に、S706でカメラMPU1125は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。なお、検出されたデフォーカス量が所定の閾値よりも小さい場合は、必ずしもレンズ駆動を行わない構成であれば、頻繁に必要がないレンズ駆動がされることを抑制することが出来る。
次に、S707で、カメラMPU1125は、撮像開始指示を示すスイッチであるSW2のオン/オフを検出する。前述したように、レリーズ(撮像トリガ)スイッチは、押し込み量に応じて、2段階のオン/オフを検出することが可能である。上述のSW2は、レリーズ(撮像トリガ)スイッチの2段階目のオン/オフに相当し撮像開始を示す。カメラMPU1125は、S707でSW2のオンが検出されない場合はS702の処理に戻り、前述したLV表示、焦点検出を繰り返す。
S707でSW2のオンが検出された場合はS900の処理に進み、カメラMPU1125は、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。S900で撮影サブルーチンが実行されるとS1000に進む。
次に、S1000で、第3の画像(交互表示用の静止画像)の表示判定を行い、その後、S708で第3の画像を表示部1126に表示するか否かを判断する。なお、第3の画像は、S900で得られた記録用の静止画像(第1の画像)に対応する交互表示用の静止画像である。
次に、S708の処理で第3の画像を表示部1126に表示すると判断されると、S1100に進み、カメラMPU1125は、第3の画像の生成し、第3の画像を表示部1126に表示させる。一方で、S708で、第3の画像の表示を行わないと判断されると、第3の画像は生成せずに、S702に戻る。S1000の処理で行う第3の画像表示判定についての詳細は後述する。
S1100でカメラMPU1125は、S900の処理で得られた記録用の静止画像(第1の画像)とLV画像(第2の画像)に基づいて交互表示用の静止画像(第3の画像)を生成する。上述のとおり、事前に交互表示用の静止画像との差が小さくなるようにLV画像を生成しているため、交互表示用の静止画像(第3の画像)を生成する際は、必要最低限の処理を施す。なお、撮像動作の容易化を優先し、交互表示の静止画像(第3の画像)をLV画像(第2の画像)に対応させて生成する構成であってもよい。S1100で行う処理の詳細については後述する。
S1100の処理を終えると、S709に進む。S709でカメラMPU1125は、メインスイッチのオフが検出された場合に一連の撮影動作(焦点検出および表示制御を含む)を終了する。一方、S709でメインスイッチのオフが検出されない場合、S702に戻り前述した各種の処理を繰り返す。例えば、S709の処理においてメインスイッチのオフが検出されず、S704の処理でSW1が検出され、さらにS707の処理でSW2が継続して検出された場合、一連の撮影動作が繰り返し行われる、いわゆる連写(連続撮影)が行われる。本実施例のカメラ本体1120は、LV表示の有無に関わらず、連写撮影を行う場合は所定の間隔で記録用の静止画像(第1の画像)を複数回取得される。そして、LV表示中に連続撮影が指示された場合は、記録用の静止画像を取得している間(すなわち連続撮影中)に、少なくともLV画像を表示部1126に表示することができる。
次に、上述したS800で示すLV画像(第2の画像)の生成、表示処理の詳細について図14を参照して説明する。図14は、本発明の第3実施例に係るLV画像の生成・表示処理について説明するフローチャートである。なお、図14に示すフローチャートは連続撮影における2回目以降の撮像動作において実行される処理を示しており、当該2回目以降の撮像処理をn回目(nは自然数)と想定して説明する。以降の説明では、対応する撮像動作の回数(例えばn回目)を、括弧内に示す。
まず、S801で、カメラMPU1125は、S702で取得した画像データ(n)を取得する際の撮影条件と、S900で取得された交互表示用の静止画像である第3の画像(n−1)の撮影条件を取得する。
ここで、撮影条件としては、露光時間(電荷蓄積時間)、絞り開口径に係る絞り値(F値)、ISO感度調整などによる信号に施されたゲイン情報などの露出パラメータに関する露出条件が該当する。また、撮影条件としては、不図示のジャイロセンサーなどから出力された被写体のぶれ情報、画像の主被写体部のコントラスト情報などから得られるボケ情報などが該当する。
次に、S802で、カメラMPU1125は、S801の処理で取得した情報に基づいて、第2の画像と第3の画像の交互表示を行うか否かに関する情報を示す交互表示フラグ=1であるかを判定する。交互表示フラグの設定については、図16を参照して後述する。
S802の処理で交互表示フラグ=1であると判定された場合、S803に進み、カメラMPU1125は、交互表示に用いるLV画像である第2の画像(n)の編集設定を行う。具体的に、交互表示を実行する場合は、S801で得た撮影条件を用いて、直前に取得(生成)された第3の画像(n−1)と第2の画像(n)の差が小さくなるように、LV画像(第2の画像(n))の編集設定を行う。この編集設定としては、S702の処理で取得された画像データに対して、ゲイン調整、シャープネス(ボケ)調整、ローパス処理(空間周波数フィルタリング)などを行う。この構成により、交互表示する画像間でユーザに与える違和感を軽減することが出来る。
ここで、上述したS803におけるゲイン調整に関して具体的に説明する。カメラMPU1125は、第3の画像(n−1)とS702の処理で取得された画像データ(n)との間でゲインや露光時間が異なる場合、LV画像(n)は第3の画像(n−1)に合わせたゲイン調整となるような編集設定とする。例えば、第3の画像(n−1)に係る露光時間が1/30秒でゲインが2倍である場合を想定する。この場合、S702の処理で取得した画像データ(n)に係る露光時間が1/15秒でゲインが4倍であると、LV画像である第2の画像(n)はS702の処理で取得された画像データ(n)に対して、ゲインが1/4倍となるような編集設定とする。
なお、後述する露出シミュレーションの設定によって、第1の画像(記録用の静止画像)と第2の画像(LV画像)とでゲインが異なる場合に、第3の画像(表示用の静止画像)の編集設定として、第2の画像に合わせたゲイン調整量を設定してもよい。
また、シャープネス処理やローパス処理について、第3の画像(n−1)とS702の処理で取得した画像データ(n)のフォーカス状態やぶれ状態は、露出条件をそろえたとしても、取得期間の違いにより両画像を一致させるのは困難である。そこで、本実施例では、主被写体の近傍のボケ状態を解析して、第3の画像(n−1)と第2の画像(n)の差を低減する。例えば、第3の画像(n−1)の方がS702で取得した画像(n)よりもボケていると判断できる場合には、当該画像(n)にローパス処理を施して、第2の画像(n)のボケ状態を第3の画像(n−1)に揃える。そこで、S803の処理では、ローパス処理のフィルタ設定を行う。ローパス処理やシャープネス処理の強弱は、主被写体の近傍のコントラスト情報や空間周波数成分情報などを取得して設定すればよい。もしくは、露光時の手振れ情報を用いて設定してもよい。なお、S803で実行する処理としては、画像処理またはゲイン調整の何れか一方のみであってもよい。
以上説明したように、本実施例では、第3の画像と第2の画像を交互に表示する際に、第3の画像の次に表示される第2の画像が、当該第3の画像に対して差が小さくなるように生成される構成である。この構成により、LV画像と静止画像の両方を交互で表示する際に、両画像間の差によりユーザに与える違和感を低減することが出来る。
一方、S802で交互表示フラグ=1ではない(すなわち、交互表示フラグ=0)の場合、S804に進み、カメラMPU1125は、表示部1126に第2の画像のみを表示するための編集設定を行う。この場合、第3の画像(n−1)と第2の画像(n)の差を小さくする必要がないため、表示用として適切な明るさやコントラストとなるような編集設定とすればよい。
S803およびS804の処理で種々の編集設定が完了すると、S805でカメラMPU1125は、S702の処理で取得された画像(n)に対して、設定された編集設定を適用させてn回目の撮像動作に対応したLV画像(第2の画像)を生成する。そして、S805で第2の画像(n)の生成が完了すると、S806に進み、カメラMPU1125は、第3の画像(n−1)と第2の画像(n)との間で、ゲイン調整、シャープネス処理、ローパス処理を実行しても調整が不可能な差があるか否かを判定する。例えば、上述した2画像間で、F値が大きく異なる場合やピント状態が大きく異なる場合は、シャープネス処理やローパス処理では両者の差を調整しきれないことがある。
S806において調整不可能な差があると判断された場合、S807で、カメラMPU1125は、第3の画像(n−1)と第2の画像(n)を合成して、新たに第2の画像(n)を生成する。2つの画像の合成は、例えば、2つの画像の平均値(例えば、画像信号の出力値や輝度値など)を用いる。なお、後述する第3の画像(n)を生成する際も同様の処理を行うため、2つの画像に対して時系列で移動平均処理を施すことになる。これにより、2つの画像間の差を低減することができる。一方で、被写体の移動やパンニング動作などが行われている場合に、2つの画像の平均処理を行うと、画像内の移動している部分がずれて重なった不自然な表示となる。このような場合には、この合成処理は行わないようにすればよい。
次に、S808でカメラMPU1125は、第2の画像(n)を表示部1126に表示する。なお、上述した各処理は、画像データとして出力された各画像に対して施す構成ではなく、画像データに変換する前の画像信号を用いて実行する構成であってもよい。例えば、S807の処理では、第3の画像(n−1)に対応する画像信号と、第2の画像(n)に対応する画像信号を合成する構成であってもよい。
次に、上述したS900で示す撮像サブルーチン処理の詳細について図15を参照して説明する。図15は、本発明の第3実施例に係る撮像サブルーチン処理について説明するフローチャートである。なお、例えば、図14に図示するフローチャートにおいてn回目の撮像動作に関するLV画像の生成および表示に関する処理の次に行われる撮像サブルーチンでは、n回目の撮像動作に対応した記録用の静止画像(第1の画像)が生成される。
S901でカメラMPU1125は、露出制御処理を開始し、撮影条件(露光時間、F値、ゲイン(撮影感度))を設定する。この露出制御処理は、カメラMPU1125が画像データの輝度情報に基づいて行うことができるが、その方法としては任意の公知技術を用いればよい。本実施例では、例えば、n回目の撮像動作においてはn−1回目の撮像動作で取得された記録用の静止画像に基づいて上述した輝度情報を取得する。あるいは、n回目の撮像動作において取得されたLV画像に基づいて輝度情報を取得する構成であってもよい。
また、S901でカメラMPU1125は、設定したF値と露光時間に基づいて絞りアクチュエータ1112を制御し、絞りを兼用するシャッタ1102の動作を制御する。また、カメラMPU1125は、設定された露光時間に基づいて撮像素子駆動回路1123の駆動を制御して電荷蓄積を実行する。
当該電荷蓄積が終了すると、S902でカメラMPU1125は、撮像素子駆動回路1123の動作を制御して、先の蓄積電荷を読み出すことで静止画像に対応する画像データ(第1の画像信号)を取得する。そして、カメラMPU1125は、当該第1の画像信号に基づいて記録用の静止画像(第1の画像)を取得する。なお、第1の画像信号の読み出しは、所謂全画素の読み出しであるが、記録用の静止画像として高画素な画像データを取得できるように、撮像素子1122の読み出しラインを設定すればよい。また、本実施例のカメラ本体1120としては、表示用の静止画像(第3の画像)を、記録用の静止画像(第1の画像)に基づいて生成してもよいし、記録用の静止画像と同時に第1の画像信号に基づいて生成してもよい。この場合、第1の画像信号に基づいて、記録用の静止画像と表示用の静止画像がそれぞれ生成される。なお、本実施例にお代えるLV画像と静止画像は、上述したように読み出しを行う撮像素子の画素数が異なる、互いに異なる種類の画像である。
次に、S903でカメラMPU1125は、読み出された画像データに対して画像処理回路1124を介して欠陥画素補正処理を実施する。S904でカメラMPU1125は、欠陥画素補正後の画像データに対して画像処理回路1124を介してデモザイク(色補間)処理やホワイトバランス処理、γ補正(階調補正)処理、色変換処理、エッジ強調処理等の各種画像処理や、符号化処理などを適用させる。S905においてカメラMPU1125は、記録用の静止画像(第1の画像)に対応するデータファイルをメモリ1128に記録する。
次に、S906でカメラMPU1125は、S905の処理で記録された記録用の静止画像に対応するカメラ本体の特性情報を、メモリ1128とカメラMPU1125に設けられたメモリに記録する。ここでカメラ本体の特性情報としては、露出条件、画像処理情報、撮像素子1122の撮像用画素および焦点検出用画素の受光感度分布に関する情報、撮影光束のケラレ情報、フランジバックに関する情報、製造誤差情報などが該当する。なお、撮像素子1122の受光感度分布情報は、オンチップマイクロレンズMLと光電変換部PDに依存する情報であるため、これら部材に関する情報を記録しても良い。
次に、S907でカメラMPU1125は、S905の処理で記録した記録用の静止画像に対応するレンズユニットの特性情報を、メモリ1128とカメラMPU1125に設けられたメモリに記録する。ここで、レンズユニットの特性情報としては、射出瞳に関する情報、撮像時の焦点距離やF値に関する情報、光学系の収差情報、製造誤差情報などが該当する。
次に、S908でカメラMPU1125は、先に取得した記録用の静止画像に関する画像関連情報をメモリ1128とカメラMPU1125に設けられたメモリに記録する。画像関連情報としては、撮像前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが該当する。
次に、上述したS1000で示す第3の画像表示判定処理の詳細について図16を参照して説明する。図16は、本発明の第3実施例に係る表示用の静止画像の表示判定処理について説明するフローチャートである。なお、例えば、先の撮像サブルーチンにおいてn回目の撮像動作に関する記録用の静止画像(第1の画像)の生成・表示処理の次に行われる第3の画像表示判定処理では、n回目の撮像動作に対応した表示用の静止画像(第3の画像(n))が生成される。
S1001でカメラMPU1125は、ユーザにより交互表示設定がオフされているか否かを判定する。交互表示設定としては、例えば、ユーザが操作部材を手動操作することによりメニュー画面に表示された交互表示設定のオン/オフが可能である。交互表示設定がオフの場合、S1009に進みカメラMPU1125は、交互表示を行わない旨を示す情報として交互表示フラグ=0に設定する。
次に、S1001で交互表示がオンに設定されている場合、S1002に進みカメラMPU1125は、記録用の静止画像(第1の画像)を撮影する際に、発光装置(不図示)による被写体に向けた発光(照明)を行っているかを判定する。発光装置により被写体を照明している場合、記録用の静止画像(第1の画像)においては被写体が照明されているが、LV画像(第2の画像)においては被写体が照明されておらず、両画像間の明るさに大きな差が生じる。したがって、この場合は、明るさが大きく異なる画像が交互表示されてしまうことでユーザに違和感を与えることを抑制するため、交互表示は行わない。なお、発光装置による発光量が少ない場合であればゲイン調整などにより両画像間の明るさの差を減らすことが出来るため、このような場合は、交互表示を行う構成であってもよい。
次に、S1003でカメラMPU1125は、第1の画像(n)と第2の画像(n)との間で、各露出条件に所定値以上の差があるか否かを判定する。上述したように、露出条件の差は、ゲイン調整や2画像の合成処理で低減できるが、両画像間の差が大きい場合はこの差を低減するのが困難である。例えば、所謂スローシャッターによる長秒露光おいて絞り開口を小さくした(小絞り)条件により第1の画像を取得する場合を想定する。この場合、第2の画像と第1の画像が同じ露出条件で取得されればよいが、LV画像については、表示部1126への表示更新時間の長時間化や焦点検出精度の低下が問題となる。したがって、S1003の処理において、所定値以上の露出条件に差があると判定される場合は交互表示を行わないような設定にする。
次に、S1004でカメラMPU1125は、LV画像(第2の画像)の取得に際して焦点検出処理を補助するための補助光の発光有無を判定する。一般的に、当該補助光は、焦点検出を補助するための投光であって、投光による照明範囲が撮像範囲に対して狭い、または、特定範囲のみ色が偏るため、静止画像の取得には適さない。このため、LV画像の取得に際して上述した補助光が発光されていた場合、静止画像とLV画像との明るさの差が大きく、当該差を補償するのは困難である。したがって、n回目の撮像動作においてLV画像(第2の画像)の取得時に焦点検出を補助する補助光が発光されている場合は交互表示を行わないような設定にする。
次に、S1005でカメラMPU1125は、記録用の静止画像(第1の画像(n))とLv画像(第2の画像(n))との、それぞれのISO感度(ゲイン)が所定の範囲外に該当する値であるか否かを判定する。前述したように、静止画像とLV画像とでは、信号値の読み出し方法に差がある。例えば、静止画像に対してLV画像は所謂間引き読み出しにより、撮像素子の水平方向における同色の信号を加算および圧縮して読み出されるため、両画像間で色相などが異なる場合がある。この場合、ISO感度の設定値に応じて静止画像とLv画像間の差(例えばノイズ量の差)が大きく異なる。そこで、本実施例のカメラ本体1120は、交互表示を実行可能な範囲(閾値)を設け、静止画像とLV画像のISO感度が当該範囲内に含まれる場合は、両画像間の差が小さいと判定して交互表示を実行する。対して、静止画像とLV画像のISO感度の何れかが当該範囲外に該当する値である場合は、両画像間の差が大きいと判定して交互表示を実行しない。
なお、本実施例では、(記録用の)静止画像とLV画像のそれぞれのISO感度を、ISO感度に関する所定の範囲(閾値)と比較する構成について説明したが、これに限定されるものではない。例えば、連続して取得されたLV画像(n)と記録用の静止画像(n)とのISO感度の差(絶対値)が所定の閾値以上か否かを判定し、両画像のISO感度の差が所定の閾値よりも小さい場合に交互表示を実行する構成であってもよい。
次に、S1006でカメラMPU1125は、S703で算出されるずれ量(位相差)が
所定の範囲外に該当する値であるか否かを判定する。ずれ量が所定の範囲外に該当する値であると判定された場合には、ずれ量が大きいと判定して交互表示を実施しない。
次に、S1007でカメラMPU1125は、S702で行われるフリッカ検知有無を判定する。フリッカ有の場合には、フリッカが発生しない露出条件で撮影を実施するため、所定値以上の露出条件差有と判定して交互表示を実施しない。なお、フリッカの影響を低減するための撮影モードが設定されている場合に、交互表示フラグを0に設定し、交互表示を行わない構成であってもよい。
以上説明したS1001〜S1007の各判定がNO判定である場合、S1008でカメラMPU1125は、交互表示フラグとして、交互表示を実行することを示すフラグ(交互表示フラグ=1)を設定する。なお、上述したS1001〜S1007の各判定の何れかのみを実行し、または除外して当該判定結果に基づいて交互表示の有無を決定する構成であってもよい。例えば、他の条件に依らず、交互表示設定がオンである場合は交互表示を実行する構成であってもよい。
次に、上述したS1100で示す表示用の静止画像(第3の画像)の生成、表示処理の詳細について図17を参照して説明する。図17は、本発明の第3実施例に係る表示用の静止画像の生成・表示処理について説明するフローチャートである。なお、図17に示すフローチャートにおいても、連続撮影における2回目以降の撮像動作にけるn回目(nは自然数)の撮像動作を想定して説明する。
まず、S1101でカメラMPU1125は、S702で取得した画像データ(n)を取得する際の撮影条件と、S900で取得された交互表示用の静止画像である第3の画像(n−1)の撮影条件を取得する。この処理は前述したS801と同様である。
S1102でカメラMPU1125は、交互表示に用いる第3の画像の編集設定を行う。具体的に、交互表示を実行する場合は、S1101で得た撮影条件を用いて、第3の画像(n−1)と第2の画像(n)との差が小さくなるように、表示用の静止画像(第3の画像)の編集設定を行う。上述したS803の処理では、表示用の静止画像(n−1)とLV画像(n)との差を低減してユーザに与える違和感を抑制する点について説明した。対して、S1102の処理では、LV画像(n)と表示用の静止画像(n−1)との差を低減してユーザに与える違和感を抑制するために、LV画像(n)に合わせて表示用の静止画像(n)を取得する。この構成により、表示用の静止画像(n−1)、LV画像(n)、表示用の静止画像(n)の順に交互表示する場合であっても、連続して表示する画像間の差を低減してユーザに与える違和感を抑制することが出来る。なお、S1102の処理における編集設定は、前述したS803における処理と略同一なので説明は省略する。
次に、S1103でカメラMPU1125は、第1の画像(記録用の静止画像(n))に対して、S1102で定められた編集設定に基づいて第3の画像(表示用の静止画像(n))を生成する。そして、S1104でカメラMPU1125は、第2の画像(n)と第3の画像(n)との間で、ゲイン調整、シャープネス処理、ローパス処理を実行しても調整が不可能な差があるか否かを判定する。当該判定は前述したS806と略同一なので説明は省略する。
S1104において調整不可能な差があると判断された場合、S1105でカメラMPU1125は、第2の画像(LV画像(n))と第3の画像(表示用の静止画像(n))とを合成して、新たに第3の画像(n)を生成する。2つの画像の合成方法は、前述したS807と略同一なので説明は省略する。
次に、S1106でカメラMPU1125は、第3の画像(表示用の静止画像(n))を表示部1126に表示する。なお、前述したように、図17に図示する各処理は、画像データとして出力された各画像に対して施す構成ではなく、画像データに変換する前の画像信号を用いて実行する構成であってもよい。
次に、上述したLV画像と静止画像の交互表示動作について図18〜図20を参照して説明する。図18は、交互表示を行う場合であって、画像生成後すぐにLV画像と静止画像を表示させる場合のタイミングチャートを例示的に説明する図である。図19は、交互表示を行う場合であって、所定の表示遅延時間を鑑みてLV画像と静止画像を交互に表示させる場合の第1の方法に係るタイミングチャートを例示的に説明する図である。また、図20は、交互表示を行う場合であって、所定の表示遅延時間を鑑みてLV画像と静止画像を交互に表示させる場合の第2の方法に係るタイミングチャートを例示的に説明する図である。なお、以降の説明における各種動作や処理は、カメラMPU1125によって実行されるものとする。
図18〜20において、斜線のブロックは、静止画像に関連する処理を示しており、白色のブロックは、LV画像に関連する処理を示している。Tr1、Tr2は、それぞれ静止画像およびLV画像の露光、読出し、画像取得の時間(露光開始から取得完了までに要する時間)を示している。tr1、tr1’は、静止画像の露光開始時刻を示しており、tr2は、LV画像の露光開始時刻を示している。td1、td1’は、静止画像の表示開始時刻を示しており、td2は、LV画像の表示開始時刻を示している。
また、図18〜20において、Td1_0は、静止画像の表示時間を示しており、Td2_0は、LV画像の表示時間を示している。また、図19、20のΔTd1は、静止画像の表示遅延時間(静止画像の取得完了から表示開始までの時間)を示しており、ΔTd2は、LV画像の表示遅延時間(LV画像の取得完了から表示開始までの時間)を示している。なお、図19、20の例では、ΔTd1=0であるが、本実施例はΔTd1=0に限定されない。図19、20におけるt11〜t18、t21〜t27は、各図における時刻を表している。なお、図中では時刻をt18、t27まで示しているが、連続撮影を継続すると判定されれば、図示している時刻以降も連続撮影処理が継続する。
まず、図18を参照して表示遅延なしに交互表示を行う場合の具体的な例について説明する。この場合、最初にtr1のタイミングから時間Tr1において静止画像(記録用・表示用)を生成する。そして、表示遅延することなくtd1に示すタイミングから時間Td1_0において、表示用の静止画像を表示させる。
次に、tr2のタイミングから時間Tr2においてLV画像を生成する。そして、表示遅延することなくtd2のタイミングから時間Td2_0において、生成されたLV画像を表示させる。以降、同様の手順で表示用の静止画像とLV画像を交互に表示させる。
次に図19を参照して、第1の方法に基づいて所定の表示遅延時間を鑑みた交互表示を行う場合の具体的な例について説明する。第1の方法では、静止画像の取得タイミングから表示開始タイミングまでの時間と、LV画像の取得タイミングから表示開始タイミングtd2までの時間が略等しくなるように表示遅延時間を設定する。すなわち、タイミングtr1からタイミングtd1までの時間と、タイミングtr2からタイミングtd2までの時間が略等しくなるように第1の表示遅延時間ΔTd1と第2の表示遅延時間ΔTd2を設定する。そして、算出した第1の表示遅延時間ΔTd1、および第2の表示遅延時間ΔTd2から表示用の静止画像の表示時間Td1とLV画像の表示時間Td2を算出する。
具体的には、カメラMPU1125は、S801で設定した撮影条件に基づき、静止画像およびLV画像それぞれの露光開始から取得完了までの時間Tr1,Tr2を取得する。そして、カメラMPU1125は、静止画像用の第1の表示遅延時間ΔTd1を0に決定する(前述の通り、0以外でもよい)。そして、カメラMPU1125は、下記の式に従ってLV画像用の第2の表示遅延時間ΔTd2を算出する。
Tr2+ΔTd2=Tr1+ΔTd1
ΔTd2=Tr1+ΔTd1−Tr2=Tr1−Tr2
次に、カメラMPU1125は、静止画像およびLV画像の表示時間Td1,Td2を算出する。具体的には、カメラMPU1125は、S801とS1101で設定した撮影条件に基づき、表示遅延時間ΔTd1,ΔTd2が存在しない場合の表示時間Td1_0,Td2_0(図18参照)を取得する。そして、カメラMPU1125は、下記の式に従って表示時間Td1,Td2を算出する。
Td1=Td1_0+(ΔTd2−ΔTd1)=Td1_0+ΔTd2
Td2=Td2_0+(ΔTd1−ΔTd2)=Td1_0−ΔTd2
次に、算出した第1の表示遅延時間ΔTd1、表示時間Td1に基づいて、カメラMPU1125は、表示用の静止画像の表示開始時刻(タイミング)と表示時間を設定して、表示を指示する。具体的に、時刻tr1から取得を開始した静止画像は、時刻t12において表示用の静止画像の表示を開始し、時刻t16まで表示させる。なお、LV画像に対しても略同一の処理を実行するため説明は省略する。以上説明した構成により、静止画像の取得時刻tr1から静止画像の表示開始時刻td1までの時間と、LV画像の取得時刻tr2からLV画像の表示開始時刻td2までの時間が略等しくなる為、違和感のない画像の表示が可能となる。
次に図20を参照して、第2の方法に基づいて所定の表示遅延時間を鑑みた交互表示を行う場合の具体的な例について説明する。本実施例における第2の方法では、静止画像の表示時間Td1と、LV画像の表示時間Td2が略等しくなるように(表示用の)静止画像に係る第1の表示遅延時間ΔTd1とLV画像に係る第2の表示遅延時間ΔTd2を設定する。具体的に、第2の方法を用いた場合、取得に要する時間が長い画像に対して表示遅延を設けることなく、取得に要する時間が短い画像に対してのみ表示遅延を設定する。つまり、第1の表示遅延時間ΔTd1=0とし、表示用の静止画像の表示時間Td1とLV画像の表示時間Td2が略等しくなる様に、各画像の表示時間を制御する。すなわち、前述した第1の方法に対して第2の方法は、静止画像およびLV画像の表示時間Td1,Td2と、LV画像の表示開始時刻(タイミング)td2が異なる。
LV画像用の第2の表示遅延時間ΔTd2は、前述した式と合わせて、以下に示す式4を用いて算出される。
次に、カメラMPU1125は、静止画像およびLV画像の表示時間Td1,Td2を算出する。具体的には、カメラMPU1125は、S801とS1101で設定した撮影条件に基づき、表示遅延時間ΔTd1,ΔTd2が存在しない場合の表示時間Td1_0,Td2_0(図18参照)を取得する。そして、カメラMPU1125は、第1の表示遅延時間ΔTd1=0とp前述した式4で算出された第2の表示遅延時間ΔTd2に基づき、下記の式5に従って表示時間Td1,Td2を算出する。
次に、算出した第1の表示遅延時間ΔTd1、表示時間Td1を用いて、カメラMPU1125は、表示用の静止画像の表示開始時刻(タイミング)と表示時間を設定して、表示を指示する。具体的に、時刻tr1から取得を開始した静止画像は、時刻t22において表示用の静止画像の表示を開始し、時刻t25まで表示させる。なお、LV画像に対しても略同一の処理を実行するため説明は省略する。以上説明した構成により、表示用の静止画像の表示時間Td1とLV画像の表示時間Td2が略等しくなる為、違和感のない画像の表示が可能となる。
なお、本実施例の撮像装置としては、交互表示を実行する場合、図18〜20で説明した各タイミングチャートに示すような種々の方法のうちの何れかを用いる構成であればよい。特に、前述した第1、第2の方法を用いて交互表示を実行することで、静止画像とLV画像の表示遅延を調整することでユーザに与える違和感を抑制するのが好ましい。なお、第1の方法と第2の方法を組み合わせて交互表示を実行する構成であってもよい。
以上説明したように、本実施例によれば、カメラ本体1120は、種々の条件に基づいて交互表示に用いる画像間の差が大きいと考えられる場合は、複数の画像を順次取得して順次表示する処理(交互表示)を実行しない構成である。換言すると、カメラ本体1120は、種々の条件に基づいて交互表示に用いる画像間の差が小さい考えられる場合に、複数の画像を順次取得して順次表示する処理(交互表示)を実行する構成である。したがって、本実施例のカメラ本体1120は、交互表示に用いる画像間の差に基づいて交互表示の実行有無を判定することが出来るため、交互表示を実行することでユーザに与える違和感が大きくなることを抑制することが出来る。
なお、上述した実施例では、静止画像とLV画像を交互に1つずつ取得する例を示したが、各画像として取得する画像の取得数はこれに限定されるものではない。本発明に係る撮像装置としては、所定の間隔で静止画像を取得する間に、少なくとも1回以上第2の画像(LV画像など)を取得する構成であればよい。例えば、静止画像を取得する間に複数のLV画像を取得する構成であってもよい。この場合、表示用の静止画像を表示部1126に表示した後に、LV画像の生成・表示を複数回繰り返し(更新し)、その後、新たに表示用の静止画像を表示する構成であればよい。なお、静止画像に対してLV画像を取得する際の露光時間が短い場合は、上述した複数のLV画像を加算(フレーム加算)し、例えば、静止画像と略同一の露光時間とする構成であってもよい。そして、上述したフレーム加算を行う場合は、各LV画像間で移動平均処理を行うことにより、表示更新間隔を損ねることなくフレーム加算を実現することができる。
[第4実施例]
次に、本発明の第4実施例について図21〜23を参照して説明する。なお、第4実施例では、露出シミュレーション機能に関する設定に応じた交互表示の方法について説明する。具体的に、本実施例では、交互表示を実行する場合は、露出シミュレーション設定のオン/オフに依らず、交互表示に用いられる連続する画像間における明るさの差を小さくするためのカメラ本体1120における制御について説明する。
ここで、露出シミュレーション機能とは、ユーザによって設定された露出条件(例えば、露光時間、絞り値、ゲインなどの露出パラメータ)において取得される画像を、実際に被写体を本撮像する前にシミュレートする機能である。したがって、この露出シミュレーション設定がオンされていることにより、ユーザは本撮像で取得され得る静止画像を事前に確認することができる。
また、ユーザの意図により、被写体に対する適正ではない明るさで撮像する場合もある。この場合、露出シミュレーション設定がオンされていると、設定済みの露出条件に取得され得る静止画像に合わせてLV表示が行われるため、例えば、ユーザがアンダー側の露出条件で静止画像を取得する場合に、LV画像が暗くなり、視認性が低下してしまう。このような場合は、露出シミュレーション設定をオフすることで、ユーザによる視認に適した明るさの画像を表示させることができる。
以下、図21を参照して、本実施例に係る焦点検出処理、撮像処理、および表示処理について説明する。なお、前述した第3実施例と略同一の構成についての説明は省略し、同一の符号を付す。図21は、本発明の第4実施例に係る露出シミュレーション設定と交互表示に係る設定に基づく交互表示方法について例示的に説明する図である。このうち、図21Aは、本発明の第4実施例に係る交互表示設定と露出シミュレーション設定に応じて表示部1126に表示される画像について例示的に説明する図である。なお、図21では、LV撮影時に表示部1126に表示されるLV画像と表示用の静止画像を交互に表示する場合を想定している。また、図21において太枠で囲う画像が表示用の静止画像(第3の画像)と示し、それ以外の画像がLV画像を示している。
まずは、交互表示設定がオン、露出シミュレーション設定がオンである場合について説明する。この場合、ユーザによって設定されている露出条件に応じて、交互表示に用いられる画像の明るさは異なる。例えば、ユーザが設定した露出条件が被写体に対して適正な明るさ(露出)である場合は、図21Aに図示する(11)のように、適正な露出に相当する明るさの画像を交互表示に用いる。また、例えば、ユーザが設定した露出条件が被写体に対してアンダー側の明るさ(露出)である場合は、図21Aに図示する(21)のように、アンダー側の露出に相当する明るさの画像を交互に用いる。なお、露出シミュレーションがオンされている場合は、静止画像の明るさに合わせるようにLV画像の明るさを調整する。
次に、交互表示設定がオン、露出シミュレーション設定がオフである場合について説明する。この場合、露出シミュレーション設定がオフされているので、ユーザの設定した露出条件に応じて交互表示に用いる画像の明るさを調整する必要はない。したがって、この場合は、図21Aに図示する(12)または図21Aに図示する(22)に示すように、露出条件に依らず、ユーザの視認性を優先した適正な明るさ(露出)に相当する画像が交互表示に用いられる。なお、この場合は、LV画像の明るさに合わせるように表示用の静止画像の明るさを調整する。
次に、交互表示設定がオフ、露出シミュレーション設定がオンである場合について説明する。この場合、交互表示設定がオフされているので表示用の静止画像(第3の画像)は表示部1126に表示させない(なお、図21Aにおいては点線で図示している)。そして、露出シミュレーション設定がオンされているので、露出条件に応じてLV画像に施す画像処理が異なる。例えば、被写体の明るさに対して適正な露出に相当するような露出条件が設定されている場合は、図21Aに図示する(13)で示すように、適正な露出に相当する明るさのLV画像のみが表示部1126に表示される。また、被写体の明るさに対してアンダー側の露出に相当するような露出条件が設定されている場合は、図21Aに図示する(23)で示すように、アンダー側の露出に相当するLV画像が表示部1126に表示される。
次に、交互表示設定がオフ、露出シミュレーション設定がオフである場合について説明する。この場合、交互表示設定がオフされているので、図21Aに図示する(14)で示すように表示用の静止画像(第3の画像)は表示部1126に表示させない(なお、図21Aにおいては点線で図示している)。そして、露出シミュレーション設定がオフされているので、図21Aに図示する(24)で示すように、露出条件によらず、ユーザの視認性を優先した適正な明るさ(露出)に相当するLV画像が表示部1126に表示される。
ここで、交互表示設定がオン、露出シミュレーション設定がオフである場合の処理について図21Bを参照して説明する。図21Bは、交互表示設定がオン、露出シミュレーション設定がオフである場合における交互表示について例示的に説明する図である。この設定においては、通常は表示用の静止画像の生成に際して、直前に取得されたLV画像に合わせてゲイン調整を行う。しかしながら、図21Bの(22’)に示すように、ユーザが設定した露出条件がアンダー側の露出である場合は、静止画像はアンダー側の露出に相当する明るさとなり、LV画像は視認性を優先した適正な露出に相当する明るさとなる。したがって、これらの画像を交互表示すると、明るさが異なる(連続性がない)画像が交互に表示されてしまうため、ユーザに与える違和感が大きい。そこで、本実施例では、交互表示設定がオン、露出シミュレーション設定がオフである場合に、交互表示を優先し露出シミュレーション設定がオンである場合と同様に交互表示用の画像の明るさを調整する構成であってもよい(図21Bの(21)など)。逆に、露出シミュレーション設定を優先させるため、交互表示設定がオフされたときと同様に交互表示に用いる画像を選択する構成であってもよい(図21Bの(24)など)。
次に、本実施例に係るLV画像(第2の画像)の生成、表示処理の詳細について図22を参照して説明する。図22は、本発明の第4実施例に係るLV画像の生成・表示処理について説明するフローチャートである。なお、以降は、連続撮影における2回目以降の撮像動作に該当するn回目(nは自然数)の撮像動作を仮定して説明する。また、本実施例における基本的な処理フローは前述した第3実施例(図13)と略同一であり、以下に説明する、第2の画像生成・表示に係る処理(図22)と第3の画像生成・表示に係る処理(図23)のみが、前述した第3実施例とは異なる。以降は、前述した第3実施例とは異なる点を説明する。
S1801〜S1802までの処理は、前述第3実施例のS801〜S802と同一なので説明は省略する。なお、S1802で交互表示フラグ=1と判定された場合はS1803の処理に進み、S1802で交互表示フラグ≠1(すなわち、交互表示フラグ=0)と判定された場合はS1806の処理に進む。
S1803でカメラMPU1125は、露出シミュレーション設定がオンであるか否かを判定する。なお、本実施例のカメラ本体1120は、操作スイッチ群1127などをユーザが操作することで、露出シミュレーション設定を任意にオン/オフに切り替えることが出来る。S1803で露出シミュレーション設定がオンと判定された場合は、S1804に進み、カメラMPU1125は、交互表示に用いるLV画像である第2の画像(n)の編集設定を行う。S1804の処理では、ユーザが設定した露出条件に合わせてLV画像を生成し、当該LV画像を交互表示に用いることを目的とする。したがって、カメラMPU1125は、S1801で得た露出条件を用いて、直前に取得(生成)された第3の画像(n−1)と第2の画像(n)の差が小さくなるように、LV画像(第2の画像(n))の編集設定を行う。編集設定の詳細は、前述した第3実施例と同一なので説明は省略する。
また、S1803で露出シミュレーション設定がオフと判定された場合は、S1805に進み、カメラMPU1125は、S1804に進み、カメラMPU1125は、交互表示に用いるLV画像である第2の画像(n)の編集設定を行う。S1805の処理では、露出シミュレーション設定がオフされているため、ユーザの視認性を考慮して、被写体の明るさに対して適正な露出に相当する明るさとなるようにLV画像の編集設定を行う。なお、交互表示する場合であって露出シミュレーション設定がオフされている場合は、後述する第3の画像生成・表示処理において、LV画像に合わせて表示用の静止画像の明るさを調整する。したがって、このタイミングにおける編集設定としては、LV画像としてユーザの視認性を考慮した明るさに調整するための設定であればよい。また、適正な露出に関する情報は、メモリ1128などに予め格納されているものとする。
次に、S1802の処理で交互表示フラグ≠1と判定された場合について説明する。なお、S1806の処理はS1803の処理と略同一なので説明は省略する。S1806で露出シミュレーション設定がオンと判定された場合はS1807に進み、カメラMPU1125は、表示部1126に静止画像を表示しない場合における、表示用のLV画像(第2の画像(n))の編集設定を行う。S1807の処理では、直前に取得した第3の画像(記録用の静止画像(n−1))を表示に用いることはないので、LV画像(n)のみが予め設定されている露出条件に応じた明るさとなるような編集設定を行う。例えば、連続撮影時においては、記録用の静止画像(第1の画像)を取得する際の露出条件に合わせてLV画像に対する編集設定を行う。本実施例では、特に、露出条件に合わせてゲイン調整することで、LV画像を所望の明るさとするが、他のパラメータを調整することで、露出条件に応じたLV画像の明るさを実現する構成であってもよい。
また、S1806で露出シミュレーション設定がオフの場合はS1808に進み、カメラMPU1125は、表示部1126に静止画像を表示しない場合における、表示用のLV画像(第2の画像(n))の編集設定を行う。この場合、前述したS1807の処理とは異なり、LV画像を露出条件(例えば、記録用の静止画像)に応じた明るさに調整する必要はなく、LV画像の明るさを表示部1126への表示に適した明るさとするような編集設定を行う。以降のS1809〜S1812の処理は、前述した第3実施例におけるS805〜S808の処理と略同一なので説明は省略する。
次に、本実施例に係る表示用の静止画像(第3の画像)の生成、表示処理の詳細について図23を参照して説明する。図23は、本発明の第4実施例に係る表示用の静止画像の生成・表示処理について説明するフローチャートである。なお、本実施例においては、前述したように、記録用の静止画像の明るさに近づくようにLV画像の編集設定を行うが、撮影動作の容易さを優先して、LV画像(n)に合わせるように表示用の静止画像(n)の編集設定を行う場合について説明する。
S1901の処理は前述した第3実施例のS701の処理と同様なので説明は省略する。次に、S1902でカメラMPU1125は、ユーザにより露出シミュレーション設定がオンされているか否かを判定する。S1902で露出シミュレーション設定がオンと判定された場合は、S1903に進み、カメラMPU1125は、交互表示に用いる表示用の静止画像(第3の画像(n))の編集設定を行う。
S1903の処理では、露出シミュレーションを実行するため、先に取得されている記録用の静止画像(n)の露出条件に相当する明るさとなるように表示用の静止画像(n)を取得し、当該表示用の静止画像を交互表示に用いることを目的とする。したがって、カメラMPU1125は、S1901で得た露出条件に応じた明るさであって直前に取得(生成)されたLV画像(n)との差が小さくなるように表示用の静止画像(第3の画像(n))の編集設定を行う。なお、露出シミュレーション設定がオンされている場合は、静止画像に合わせてLV画像の明るさを調整するので、静止画像用の編集設定としては、直前のLV画像の明るさに依らず、ユーザにより設定された露出条件のみに基づく編集設定としてもよい。
S1902で露出シミュレーション設定がオフと判定された場合は、S1904に進み、カメラMPU1125は、交互表示に用いる表示用の静止画像(第3の画像(n))の編集設定を行う。S1904の処理では、露出シミュレーションを実行しないため、ユーザが設定した露出条件に合わせて表示用の静止画像(第3の画像(n))を取得し、当該表示用の静止画像を交互表示に用いることを目的とする。したがって、カメラMPU1125は、S1901で取得した露出条件に依らず、直前に取得(生成)されたLV画像(n)との差が小さくなるように表示用の静止画像(第3の画像(n))の編集設定を行う。この編集設定としては、例えば、LV画像の明るさに合わせて表示用の静止画像を取得する際のゲイン調整を行う。すなわち、交互表示を実行する場合であって露出シミュレーションを実行しない場合は、直前に取得(又は表示)されたLV画像の明るさに合わせて静止画像の明るさを調整する。撮影以降の、S1905〜S1908の処理は、前述第3実施例のS1103〜S1106の処理と略同一なので説明は省略する。
以上説明したように、本実施例に係るカメラ本体1120は、露出シミュレーションの有無に依らず、交互表示に用いる画像間の差が小さくなるように各画像を取得する構成である。例えば、露出シミュレーション設定がオンされている場合は、ユーザが設定した露出条件に基づいてLV画像の明るさを調整する構成である。また、露出シミュレーション設定がオフされている場合は、ユーザの視認性を優先して、LV画像の明るさに合わせて静止画像の明るさを調整する。この構成により、交互表示において明るさが異なる画像が連続的に表示されることを低減できる。したがって、本実施例のカメラ本体1120は、交互表示に係る設定と露出シミュレーション設定に応じて、表示部1126での表示される画像の不自然になることを抑制し、ユーザに与える違和感を低減することが出来る。
なお、前述した実施例では、交互表示設定がオンされており、露出シミュレーション設定がオフされている状態に、LV画像に合わせて静止画像の明るさを調整する点について言及したが、これに限定されるものではない。例えば、静止画像のように画素の間引き量が少ない高解像度の画像に対する明るさ調整(例えばゲイン調整や画像処理)を施すには、演算負荷が大きいため、この場合に、カメラMPU1125が交互表示行わないように制御する構成であってもよい。
なお、LV画像に合わせて静止画を調整する場合において明るさ以外にも視野範囲を調整してもよい。LV表示においては電子的な手振れ補正等が行われることが多いため、静止画の視野範囲よりも狭くなる場合がある、このような場合においてはLV画像の視野範囲に合わせて静止画を調整することが好ましい。
以上、本発明の好ましい実施例について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述した実施例では、LV画像を用いて焦点検出を実行する例を示したが、第2の画像としてはLV画像に限定されるものではない。例えば、焦点検出に用いる画像とLV画像とを別に取得する場合、焦点検出用の画像およびLV画像の双方が第2の画像に該当する。また、静止画像の撮像開始前にLV表示を行わない場合、被写体の連続撮影中に交互表示を実行する際に、LV画像としては用いない焦点検出用の画像と静止画像を交互表示に用いる構成であってもよい。
また、上述した実施例では、カメラ本体1120に対してレンズユニットを着脱可能な所謂レンズ交換タイプの撮像装置について説明したが、これに限定されるものではない。例えば、カメラ本体とレンズユニットとが一体的に形成されたレンズ固定タイプの撮像装置を採用する場合であっても、上述した本発明の構成を適用することが可能である。
また、前述した実施例では、本発明を実施する撮像装置の一例としてデジタルカメラを採用した場合について説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスなどや、セキュリティカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。