[第1の実施形態]
図1〜図6は、本発明の第1の実施形態を示す図である。このうち図1は、本発明の第1の実施形態の撮影機器(カメラ)の内部主要構成を示すブロック構成図である。図2は、本実施形態の撮影機器(カメラ)を用いて撮影している様子を示す説明図である。図3は、図2の状態における撮影機器(カメラ)の表示画面を主に示す図である。図4は、図1,図2の状態でタッチ操作を行なった結果得られる表示画像の一例を示す図である。図5は、本実施形態の撮影機器(カメラ)によるカメラ制御の処理シーケンスを示すフローチャートである。図6は、図5の処理シーケンスのうちフレーム加算表示処理(図5のステップS15)のサブルーチンを示すフローチャートである。
本発明の第1の実施形態においては、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換し、こうして生成されたデジタル画像データを記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像又は動画像を表示装置を用いて再生表示し得るように構成される撮影機器であるデジタルカメラを例示するものである(以下、単にカメラというものとする)。
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
まず、本発明の第1の実施形態の撮影機器(カメラ)の内部主要構成について、図1を用いて以下に説明する。
図1に示すように、本実施形態の撮影機器であるカメラ1は、カメラ本体10と、撮影レンズ鏡筒30とによって主に構成されている。
カメラ本体10は、後述する各種の構成部材を内部に収納する筐体からなり、本カメラ1の基本構成をなす構成部である。撮影レンズ鏡筒30は、撮影光学系等を具備し、被写体からの光束を受けて光学的な被写体像を結像させるために設けられる構成部である。そして、本カメラ1は、カメラ本体10の前面に対して撮影レンズ鏡筒30が着脱自在に配設して構成されるいわゆるレンズ交換式カメラである。
上記カメラ本体10の内部には、CPU等の電気部品からなり当該カメラ1の電気的な制御を統括するカメラ制御部11(図1においてはCPUと表記している)と、このカメラ制御部11の制御下で機能する各種の構成部材、即ち、撮像素子12,フラッシュメモリ等の一時メモリ13,露出制御部14,画像処理部15,操作制御部16,操作部17,カメラ通信部18,SDRAM19,メモリインタフェース(I/F)20,記録媒体21,表示用ドライバ22,LCD等の表示装置23,タッチパネルドライバ24,タッチパネル25,角速度センサ26等が配設されている。
撮像素子12は、光電変換素子と、その駆動回路等によって構成される撮像部である。撮像素子12は、上記撮影レンズ鏡筒30の撮影光学系によって結像される被写体の光学像を受けて、これを周期的に光電変換処理し、電気的な画像データを生成する構成部である。なお、本実施形態に適用される撮像素子12としては、CMOS(シーモス;Complementary Metal Oxide Semiconductor; 相補型金属酸化膜半導体)等を用いた固体撮像素子、即ちMOSイメージセンサである。このMOSイメージセンサでは、ライン毎に露光タイミングをずらして順次露光するライン露光順次読み出し方式(ローリングシャッタ)が採用されている。
一時メモリ13は、フラッシュメモリ等によって構成され、各種画像処理等を行なう際のプログラムやデータ等を一時的に記憶しておく内部メモリ領域である。
露出制御部14は、撮像素子12からの出力信号等に基いて、若しくは別に設けた測光手段(不図示)からの信号に基いて被写体像の測光を行ない、その測光結果に基いて適正露出値を設定し、この設定された適正露出値に基いてシャッター機構(不図示;撮像素子12に含まれるいわゆる電子シャッター若しくは撮像素子12の直前に別途設けられるメカシャッター)や絞り値機構(符号33;後述する),撮像素子12(感度調整,電子シャッター等)等を制御するための制御回路である。これによって、適正露出となる画像が取得され、取得された画像は順次連続的に表示装置23に出力され表示される。
画像処理部15は、本実施形態のカメラ1において実行されるフレーム加算処理のほか、従来一般のカメラにて実行される各種の画像信号処理を行なう回路部である。
操作部17は、本カメラ1を操作する上で必要となる各種の操作部材等を含んで構成される構成部である。
操作制御部16は、操作部17からの指示信号を受信してカメラ制御部11へと伝達すると共に、カメラ制御部11の指示を操作部17へと伝達する等の制御を行なう制御回路である。
カメラ通信部18は、撮影レンズ鏡筒30との間で通信を行ない、制御信号等を送受信する構成部である。そのために、カメラ本体10と撮影レンズ鏡筒30とには、それぞれに通信用接点39a,39bが設けられていて、両者を連結した状態としたとき、通信用接点39a,39bが接触し通電するように構成される。
SDRAM(Synchronous Dynamic Random Access Memory)19は、プログラム格納用ROM(不図示)等に予め記憶されている各種制御用・データ処理用プログラム等を一時的に記憶する作業用のメモリ領域である。
メモリインタフェース20は、カメラ制御部11と記録媒体21との間を媒介し、記録媒体21へのデータ記録処理若しくは記録媒体21からのデータ読み出しに寄与する構成部である。
記録媒体21は、本カメラ1において取得された画像データを記録するためのストレージ手段であって、例えば半導体メモリカードやカード型HDD等、小型で可搬型のものが適用される。記録媒体21は、本カメラ1に対して着脱自在に構成される。また、カメラ本体10内に固定配置される内蔵メモリの形態で構成されるものも含まれる。
表示用ドライバ22は、カメラ制御部11の制御下において表示用ドライバ22を介して表示装置23を駆動制御して、画像及び各種情報等を視覚的に識別し得る形態で必要に応じて適宜表示させるためのドライバである。
表示装置23は、例えばLCD(Liquid Crystal Display)等のパネル状表示部材を用いて、画像や各種情報等を視覚的に識別し得る形態で表示するための表示部である。表示装置23は、カメラ制御部11の制御下で表示用ドライバ22を介して駆動制御される。
タッチパネルドライバ24は、カメラ制御部11の制御下においてタッチパネル25を駆動制御し、タッチ操作を検出すると共に、その検出結果に応じた操作入力を判定するドライバである。
タッチパネル25は、上記表示装置23の表示面上に重ねて配設されており、使用者がパネル面をタッチ操作,タッチ&スライド操作等を行うことによって、これらの操作に応じて、各種の指定入力などを行なう操作入力手段に含まれる構成部である。
角速度センサ26は、カメラ1の姿勢(地平に対する傾き等)を検出したり、機器に加わる手振れ等を検出するための振れ検出素子である。この角速度センサ26は、例えば手振れ補正機能の一部を構成する電気部品である。
一方、撮影レンズ鏡筒30は、撮影レンズ31と、レンズ保持枠32と、絞り機構33と、ドライバ34と、レンズ制御部35(図1においてはレンズCPUと表記している)と、レンズ通信部36等を主に具備して構成される。
撮影レンズ31は、複数の光学レンズからなり、被写体からの光束を受けて光学像を結像させるための構成部である。
レンズ保持枠32は、上記撮影レンズ31の各光学レンズをそれぞれ保持するために設けられる構成部である。
絞り機構33は、上記撮影レンズ31を透過する光束の光量を調整するために設けられる構成部であって、例えば絞り羽根やこの絞り羽根を駆動する駆動モータ等によって構成される。
レンズ通信部36は、カメラ本体10との間で通信を行ない、制御信号等を送受信する構成部である。撮影レンズ鏡筒30には、上述したようにカメラ本体10の通信用接点39aに対応する通信用接点39bが設けられていて、両者を連結した状態としたとき、通信用接点39a,39bが接触し通電するように構成される。
なお、本実施形態のカメラ1は、その他の機能として顔検出機能,被写体追尾機能等を備えている。顔検出機能,被写体追尾機能は、カメラ制御部11の制御下において、撮像素子12の出力信号を受けて生成される画像データに基いて行われる画像処理機能の一つである。これらの顔検出機能,被写体追尾機能は、従来のカメラにおいて適用されているものと同様のものを適用する。したがって、その詳細説明は省略する。その他の構成は、従来のカメラと略同様の構成を具備するものとする。
このように構成される本実施形態のカメラ1における作用の概略を、図2〜図4を用いて以下に簡単に説明する。
まず、カメラ1の電源をオン状態としてカメラ1を起動させる。この電源オン操作を行なうと、カメラ1は、撮影動作を行ない得る動作モード(撮影モード)で、かつ表示装置23を被写体観察用のビューファインダーとして使用し得る動作モード(ライブビューモード)で起動する。
使用者100は、この状態のカメラ1を、図2に示すように、所望の撮影対象としての被写体に向けて構える。このとき、周囲環境が暗所である場合、例えば夜間の野外キャンプ場であったり、低照明下での室内パーティ会場等の暗所であると、撮影対象となる被写体輝度が低輝度であるため、表示装置23の表示画面上に表示されるライブビュー画像は、図3に示すように、露出不足によって全体が暗くなってしまい、画面内の所望の被写体を判別することが困難である場合がある。
そこで、本実施形態のカメラ1においては、使用者100が、図2,図3に示すような所作によって、表示装置23の表示画面中の所望の被写体を、手指101でタッチ操作による指示を行うと、そのタッチ指示部位を含む画像領域が視認し得る状態にまで明るく表示されるように、フレーム画像の加算処理が実行される。なお、図3の例では、表示装置23の表示画面の略中央領域の人物をタッチ操作指示をしている状態を図示している。
その結果、例えば図4に示すように、表示装置23の表示画面内の指示部位の被写体(人物)が視認可能な状態で表示される。
次に、上述したようなカメラ1の作用を実現するための本実施形態のカメラにおける、カメラ制御の処理シーケンスを、図5,図6のフローチャートによって以下に説明する。
まず、図5のステップS11において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号を監視し電源オン信号が検出されたか否かを確認する。ここで、電源オン信号が検出されるまで監視を続け、同信号が検出された場合には、次のステップS12の処理に進む。
ステップS12において、カメラ制御部11は、通信用接点39a,39bで接続されているカメラ通信部18,レンズ通信部36を介して、撮影レンズ鏡筒30のレンズ制御部35との間で所定の通信処理を実行する。
続いて、ステップS13において、カメラ制御部11は、カメラ1の動作モードが撮影モードに設定されているか否かの確認を行なう。ここで、撮影モードが設定されていることが確認された場合には、次のステップS14の処理に進む。また、撮影モード以外の動作モードが設定されていることが確認された場合には、ステップS20の処理に進む。
ステップS14において、カメラ制御部11は、レンズ制御部35を介してドライバ34を制御して、撮影レンズ31,絞り機構33等を駆動させると共に、撮像素子12,表示装置23等を制御して撮像処理及び仮記録処理を実行すると共に、同じ画像データに基いて表示装置23を用いて表示処理を行う。これにより、表示装置23にはライブビュー画像表示が行われる。なお、上記仮記録処理による処理結果(一フレーム分の画像データ)は、一時メモリ13等に順次一時的に記録される。
続いて、ステップS15において、カメラ制御部11は、フレーム画像の加算処理(以下、フレーム加算処理と略記する)を行なうか否かの判定を行なう。このステップS15の処理の詳細は図6に示す通りである。
即ち、図6のステップS31において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの入力信号を監視して、タッチ操作による入力信号が検出されたか否かの確認を行なう。ここで、タッチ信号が検出された場合には、次のステップS32の処理に進む。また、タッチ信号が検出されない場合には、図5のステップS17の処理に進む。
上述のステップS31の処理にて、タッチ信号が検出されて、ステップS32の処理に進むと、このステップS32において、カメラ制御部11は、表示装置23の表示画像中においてタッチ指示された部位を含む所定の画像領域の露出量についての判定を露出制御部14を介して行う。ここで、当該領域の被写体輝度が、例えば10%以上の露出量(約3EV相当)があるか否かの確認を行う。ここで、露出量が10以上であることが確認された場合には、ステップS33の処理に進む。一方、露出量が10未満であることが確認された場合には、図5のステップS17の処理に進む。
次に、ステップS33において、カメラ制御部11は、上述のタッチ操作によって指示された部位を含む所定の範囲の領域(例えば画面全面積に対して1/10の矩形状領域等)内に顔画像が含まれているか否かの確認を行なう。ここで、顔画像が取得可能である場合には、ステップS34の処理に進む。また、顔画像の取得が不可能である場合には、図5のステップS17の処理に進む。
上述のステップS33の処理にて、顔画像が取得されて、ステップS34の処理に進むと、このステップS34において、カメラ制御部11は、取得された顔画像について追尾処理の実行が可能か否かの判断を行う。ここで、追尾処理の実行が可能であると判断されると、図5のステップS16の処理に進む。また、追尾処理の実行が不可能であると判断されると、図5のステップS17の処理に進む。
なお、上記追尾処理とは、指定された被写体(ここでは顔画像)に関し、これが画面内で移動しても、その移動に応じて画面内における位置を追尾し続ける処理である。このような追尾処理は、従来のカメラにおいて一般に実用化されている処理であるので、その詳細説明は省略する。
上述のようにして、フレーム加算処理を行なうか否かの判定の結果、図5のシーケンスに戻る。
フレーム加算処理を行う旨の判定がなされて、図5のステップS16の処理に進むと、このステップS16において、カメラ制御部11は、上述のステップS14の仮処理にて一時的に記録されているフレーム画像データを今回の撮像結果のフレーム画像データに加算するフレーム加算処理を実行し、その処理結果の画像データを一時的に記録すると共に、同画像データを表示用ドライバ22を介して表示装置23へと出力し、これに表示させる表示処理を実行する。その後、ステップS18の処理に進む。
なお、この時の表示モード、即ち撮像素子12によって所定の周期で取得した複数の画像を加算処理し、その結果得られた画像を表示する表示モードを第2の表示モードという。
一方、上記図6の処理シーケンスにてフレーム加算処理を行わない旨の判定がなされて、図5のステップS17の処理に進むと、このステップS17において、カメラ制御部11は、上述のステップS14の仮処理にて一時的に記録されているフレーム画像データを表示用ドライバ22を介して表示装置23へと出力し、これに表示させる表示処理を実行する。その後、ステップS18の処理に進む。
この時の表示モード、即ち撮像素子12によって所定の周期で取得した画像を順次表示装置23を用いて順次表示する通常のライブビュー画像表示を行う際の表示モードを第1の表示モードという。
ステップS18において、カメラ制御部11は、操作制御部16を介して操作部17を監視すると共に、タッチパネルドライバ24を介してタッチパネル25を監視して、撮影動作を実行するための操作、即ちレリーズ操作が行なわれたか否かの確認を行なう。具体的には、例えば、操作部17に含まれるレリーズ部材(不図示)からのレリーズ信号、若しくはタッチパネル25からのレリーズ信号等が発生したか否かの確認を行う。ここで、レリーズ信号の発生が確認された場合には、次のステップS19の処理に進む。また、レリーズ信号の発生が確認されない場合には、上述のステップS11の処理に戻り、以降の処理を繰り返す。
ステップS19において、カメラ制御部11は、レンズ制御部35を介してドライバ34を制御して撮影レンズ31を駆動させ、撮像素子12からの出力に基いてオートフォーカス(AF)動作を実行すると共に、露出制御部14を介して露出値(不図示の閃光発光装置を用いて補助光を発光させることを勘案した適正露出値等)を設定する測光動作を実行する。続いて、上記AF動作及び測光動作によって得られた設定値に基いて、レンズ制御部35を介してドライバ34を制御し撮影レンズ31,絞り機構33等を駆動させると共に、撮像素子12等を駆動制御して撮影処理を実行する。この撮影処理の結果取得した画像データを、表示用ドライバ22を介して表示装置23へと出力し、表示させる表示処理を実行する。同時に、同取得画像データを、メモリインタフェース20を介して記録媒体21へと出力し、記録させる記録処理を実行する。その後、上述のステップS1の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS13の処理にて、撮影モード以外の動作モードが設定されているものと判断されて、ステップS20の処理に進むと、このステップS20において、カメラ制御部11は、カメラ1の動作モードが再生モードに設定されているか否かの確認を行なう。ここで、再生モードが設定されていることが確認された場合には、次のステップS21の処理に進む。また、設定されている動作モードが再生モードではない場合には、ステップS1の処理に戻り以降の処理を繰り返す。
なお、通常の場合、カメラの動作モードとしては、大きく分けて撮影モードと再生モードとがあるが、これ以外の動作モードを持つものもある。その場合には、ステップS20の処理からさらに分岐ステップを設けて動作モードの確認を行なうようにすればよい。しかしながら、撮影モード以外のその他の動作モードの作用については、本発明とは直接関連しない部分であるので、それらの説明及び図示は省略する。そして、図5の処理シーケンスにおいて、現在設定されている動作モードが撮影モード,再生モードのいずれでもない場合には、簡易的に初期のステップS1に戻るようにしている。
ステップS21において、カメラ制御部11は、カメラ制御部11は、メモリインタフェース20を介して記録媒体21を制御して該記録媒体21の記録領域から画像データの読み込みを行なうと共に、表示用ドライバ22を介して表示装置23を制御して、所定の画像再生処理を実行する。
続いて、ステップS22において、カメラ制御部11は、画像変更処理を実行するか否かの確認を行なう。この画像変更処理とは、例えば、記録媒体21に記録済みの画像データに基いて、各種パラメータ等を変更し異なる形態の画像を生成する等のいわゆるカメラ内画像編集処理をいう。この画像変更処理は、カメラ制御部11の制御下において画像処理部15にて行われる。
上述のステップS22の処理にて、画像変更処理を行なうべき操作指示信号が検出された場合には、ステップS23の処理に進み、このステップS23の処理にて、所定の画像画像変更処理が実行される。その後、上述のステップS1の処理に戻り以降の処理を繰り返す。
また、上述のステップS22の処理にて、画像変更処理を行なうべき操作指示信号が検出さない場合には、上述のステップS1の処理に戻り以降の処理を繰り返す。
以上説明したように上記第1の実施形態によれば、撮像素子12によって所定の周期で取得した画像を順次表示する通常のライブビュー画像表示モード(第1の表示モード)と、撮像素子12によって所定の周期で取得した複数の画像を加算処理し、その結果得られた画像を表示する第2の表示モードとを切り替え制御するように構成している。
したがって、例えば、暗所においてライブビュー画像表示を行うのに際し、表示画面中の任意の部位をタッチ操作によって指示し、その指示画像領域内の被写体が識別可能な程度の輝度を有するときには、フレーム画像の加算処理が自動的に実行されるようにしたので、暗所においても、操作指示した所望の被写体を充分に識別し得る程度のライブビュー画像表示を行うことができる。
具体的には、例えば夜間の野外キャンプ場や低照明下での室内パーティ会場等の暗所において撮影を行う際にも、被写体の細かい表情や姿勢(ポーズ),撮影範囲等を確実にかつ充分に確認することができるようになり、よってライブビュー画像表示を有効に利用することができる。
[第2の実施形態]
次に、本発明の第2の実施形態の撮影機器(カメラ)について、図7〜図19を用いて以下に説明する。
本実施形態のカメラの基本的な構成は、上述の第1の実施形態の構成と全く同様であって、その処理シーケンスが若干異なる。
上述の第1の実施形態のカメラ1では、暗所におけるライブビュー画像表示を確実に行うために、フレーム画像の加算処理を行うようにするというものである。
本実施形態のカメラにおいてフレーム加算処理を行うタイミングとして、
(1)上述の第1の実施形態と同様に暗所においてライブビュー画像表示を行う場合、
(2)ライブビュー画像表示中のオートフォーカス(AF)動作時、
(3)ライブビュー画像表示中の自動ズーム(電動ズーム)動作時、
がある。上記(2)の場合は、AF動作期間のライブビュー画像が暗くなってしまうという問題に対処するためのフレーム加算処理の例示である。また、上記(3)の場合は、ライブビュー画像表示中のズーム動作制御と、そのズーム動作による画像の倍率変化に応じたフレーム加算処理の例示である。
図7は、本発明の第2の実施形態の撮影機器(カメラ)によるカメラ制御の処理シーケンスを示すフローチャートである。図8は、図7の処理シーケンスのうちライブビュー画像表示制御(図7のステップS47)のサブルーチンを示すフローチャートである。図9は、図8の処理シーケンスのうち複数フレーム画像合成処理(図8のステップS59)のサブルーチンを示すフローチャートである。図10は、図9の処理シーケンスのうち前回表示に使用した画像を手振れ補正処理(図9のステップS62)のサブルーチンを示すフローチャートである。
まず、カメラ1の電源がオン状態とされて動作可能に起動している状態にあるものとする。この状態にある時、図7のステップS41において、カメラ制御部11は、カメラ1の動作モードが再生モードに設定されているか否かの確認を行なう。ここで、再生モードに設定されていることが確認された場合には、ステップS42の処理に進む。また、設定されている動作モードが再生モードではない場合には、ステップS43の処理に進む。
ステップS42において、カメラ制御部11は、メモリインタフェース20を介して記録媒体21を制御して該記録媒体21の記録領域から画像データの読み込みを行なうと共に、表示用ドライバ22を介して表示装置23を制御して、所定の画像再生処理を実行する。その後、ステップS41の処理に戻り以降の処理を繰り返す。
一方、ステップS43において、カメラ制御部11は、ライブビュー画像表示処理が実行中であるか若しくは動画像記録処理の実行中であるか否かの確認を行う。つまり、撮像素子12からの連続的に出力される信号について、連続的なフレーム画像処理を行っている状態にあるか否かの確認を行う、ここで、ライブビュー画像表示処理若しくは動画像記録処理のいずれかが実行中の場合には、ステップS44の処理に進む。また、ライブビュー画像表示処理若しくは動画像記録処理のいずれも実行中ではないことが確認されると、上述のステップS41の処理に戻り、以降の処理を繰り返す。
次に、ステップS44において、カメラ制御部11は、通信用接点39a,39bで接続されているカメラ通信部18,レンズ通信部36を介して、撮影レンズ鏡筒30のレンズ制御部35との間で所定の通信処理を実行する。
続いて、ステップS45において、カメラ制御部11は、露出制御部14を制御して露出演算処理を実行する。この露出演算処理は、撮像素子12からの出力信号を受けて測光を行って適正な露出値を演算する処理である。露出演算処理は、従来のカメラで行われている一般的な処理と同様である。
続いて、ステップS46において、カメラ制御部11は、露出制御部14を制御して上述のステップS45の露出演算処理によって得られた適正露出値に基いて露出設定処理を実行する。この露出設定処理は、撮像素子12によるローリングシャッタのシャッタ速度制御や、撮影レンズ鏡筒30との通信を行ってレンズ制御部35を介して絞り機構33の絞り制御等を行う処理である。その後、ステップS47の処理に進む。
ステップS47において、カメラ制御部11は、撮像素子12,画像処理部15等を制御してライブビュー画像制御処理、即ちフレーム加算処理を実行する。このライブビュー画像表示処理(フレーム加算処理)は、後述の図8に詳細フローチャートを示す。
ステップS48において、カメラ制御部11は、動画像記録動作の実行中であるか否かの確認を行う。ここで、動画記録動作中であることが確認された場合には、ステップS49の処理に進む。また、動画記録動作中ではない、つまりライブビュー画像表示動作中であることが確認された場合には、ステップS50の処理に進む。
ステップS49において、カメラ制御部11は、所定の動画像記録処理を実行する。その後、ステップS50に進む。
ステップS50において、カメラ制御部11は、上述のステップS47の処理にて実行されたフレーム加算処理の結果得られた画像データに基いてライブビュー画像表示処理を実行する。その後、上述のステップS41の処理に戻り、以降の処理を繰り返す。
次に、上述のステップS47のライブビュー画像制御処理(フレーム加算処理)の詳細を、図8のフローチャートによって説明する。
図8のステップS51において、カメラ制御部11は、露出制御部14を介して撮像素子12からの出力に基いて露出処理を行い、取得したフレーム画像データ(RAWデータ)を一時メモリ13に一時記憶する処理を行う。その後、ステップS52の処理に進む。
ステップS52において、カメラ制御部11は、カメラ通信部18を介して撮影レンズ鏡筒30のレンズ通信部36との間で通信を行ってAF動作のためのレンズ駆動制御を行っているか否か、即ちAF動作が開始されたか否かの確認を行う。この確認は、撮像素子12の出力信号に基いてAF用フレーム画像データの取り込みを行っている状態であるかどうかを確認することで行われる。なお、AF用フレーム画像データは、後述する図12の符号T1で示される測光エリア内の画像データ、即ちAF用測距エリア内の画像データが対応する。
上述のステップS52の処理にて、AF用フレーム画像データの取り込みを行っている状態であることが確認された場合には、ステップS54の処理に進む。また、AF用フレーム画像データの取り込みを行っていない状態であれば、ステップS53の処理に進む。
ステップS53において、カメラ制御部11は、撮像素子12によって周期的に取得された画像を表示装置23を用いて順次表示する通常のライブビュー画像表示を行うための画像処理を実行する。その後、元の図7の処理シーケンスに復帰する(リターン)。
一方、上述のステップS52の処理にてAF動作が開始されていると判断されて、ステップS54の処理に進むと、このステップS54において、カメラ制御部11は、画像処理部15を制御して、上記ステップS52の処理にて実行されたAF動作によって合焦した対象被写体についての特徴部分を抽出する合焦被写体特徴抽出処理を実行する。この合焦被写体特徴抽出処理は、例えば顔検出処理等である。
続いて、ステップS55において、カメラ制御部11は、AF動作によって取得された露出と、上述のステップS51の処理にて一時記憶された通常時の露出との比較を行う。
なお、ここで、通常時(ライブビュー画像表示時)に比べて、AF動作期間のライブビュー画像が暗くなってしまうという現象について簡単に説明する。
図13は、本実施形態のカメラ1における露出制御プログラム線図を示す。このうち図13Aは、通常時(ライブビュー画像表示動作時)の露出制御プログラム線図である。図13Bは、AF動作時の露出制御プログラム線図である。
上述したように、AF動作時には、垂直同期信号(VD)の周期を高速化する制御がなされる。この場合において、通常時(ライブビュー画像表示動作時)のフレームレートを30fpsであるとすると、AF動作時のフレームレートは、例えば240fps程度に高速化される。
図13Aに示すように、通常(ライブビュー画像表示動作時)の露出制御プログラムでは、低輝度側においては、例えば開放絞り値f2(AV2),長秒時シャッタ速度値1/30秒(TV5)に対応し得るものとする(符号Pa参照)。
一方、AF動作時には、上述したようにフレームレート240fpsとしているので、これに対応し得る長秒時シャッタ速度値1/250秒である。したがって、図13Bに示す露出制御プログラムにおいて低輝度側では、例えば開放絞り値f2(AV2),長秒時シャッタ速度値1/250秒(TV8)に対応する(符号Pb参照)。
このように、AF動作時には、低輝度側における露出連動可能輝度が最大で3段アンダーになってしまうことがわかる。
図8に戻って、上述のステップS55の処理にて、「通常露出<AF時露出」が成り立つ場合には、ステップS56の処理に進む。また、「通常露出<AF時露出」が不成立の場合には、ステップS57の処理に進む。
ステップS56において、カメラ制御部11は、画像処理部15を制御して、デジタルゲイン,ガンマ補正等の信号処理による画像補正処理を実行する。この画像補正処理は、AF用フレーム画像領域に対する画像処理である。その後、元の図7の処理シーケンスに復帰する(リターン)。
ステップS57において、カメラ制御部11は、取得済みで一時記憶されているフレーム画像データ(取得フレーム)が2コマ分以上あるか否かの確認を行う。ここで、取得フレームが2コマ以上ある場合には、ステップS58の処理に進む。また、取得フレームが2コマ未満である場合には、ステップS56の処理(上述)に進む。
ステップS58において、カメラ制御部11は、上述のステップS54の合焦被写体特徴収出処理の結果に基いて被写体を追尾し、その被写体の動きベクトルが大であるか否か、即ち所定の移動量以上であるか否かを確認する。ここで、動きベクトルが大であると判断された場合には、ステップS56の処理(上述)に進む。また、動きベクトルが大ではないと判断された場合には、ステップS59の処理に進む。
ステップS59において、カメラ制御部11は、複数フレーム画像合成処理(詳細は図9に示すサブルーチン)を実行する。その後、ステップS56の処理(上述)に進む。
次に、上記複数フレーム画像合成処理(図8のステップS59の処理)の詳細を、図9のフローチャートによって以下に説明する。
図9のステップS61において、カメラ制御部11は、角速度センサ26等の信号に基いて手振れ量の検出を行う。そして、その手振れ量が手振れ補正可能な範囲内にあるか否かの確認を行う。ここで、手振れ補正が可能である場合には、次のステップS62の処理に進む。また、手振れ補正が不可能である場合には、ステップS74の処理に進む。
ステップS62において、カメラ制御部11は、前回表示に使用した画像に基いて手振れ補正処理(図10に示すサブルーチン)を実行する。その後、ステップS63の処理に進む。
ここで、手振れ補正処理に用いる画像データの概略を図15〜図17を用いて以下に説明する。図15〜図17は、本実施形態の撮影機器(カメラ)において実行される手振れ補正処理の説明図である。このうち図15は、撮像素子の受光面サイズと有効画像領域(表示領域)サイズとの概念を示す図である。図16は、受光面上の手振れ画像領域を示す概念図である。図17は、手振れ補正処理後に得られる画像データを示す概念図である。
図15において、符号12aは撮像素子12の有効受光面を示し、符号23aは有効画像領域、即ち表示装置23の表示画面に表示される表示領域を示す。この場合において有効受光面12aを、高さH,幅Wで表わすものとする。また、有効画像領域23aは、高さHa,幅Waで表わす。
そして、符号12aで示される矩形と符号23で示される矩形とを中心点を一致させて重畳させると、図15の下段に示すようになる。ここで、幅方向をX方向とし、高さ方向をY方向とすると、符号XaはX方向に手振れ補正可能な量を表し、符号YaはY方向に手振れ補正可能な量を表している。つまり、
W=Wa+2Xa
H=Ha+2Ya
となる。
このような撮像素子12を備えた本実施形態のカメラ1において、例えば図16に示すような手振れが生じたものとする。この場合において、手振れ量は、X方向の手振れ量X1と、Y方向の手振れ量Y1によって示すことができる。したがって、手振れ量(X1,Y1)の場合、図16の矢印B方向に、その矢印の長さ分だけ、有効受光面12aの領域内において有効画像領域23aの矩形が手振れによって移動したことが推定できる。
したがって、この時の画像データは、図17に示されるような形態、即ち高さH1,幅W1の画像データとなる。ここで、
H1=Ha+(Ya−Y1)
W1=Wa+(Xa−X1)
である。こうして取得した画像データと、今回の手振れ直前に取得された画像データとによって手振れ補正処理が行われる。
なお、上述のステップS62の処理(手振れ補正処理)を、図10のサブルーチンによって説明する。
まず、ステップS81において、カメラ制御部11は、全画像領域(有効受光面12a)を更新する。
続いて、ステップS82において、カメラ制御部11は、表示領域(有効画像領域(23a))の更新を行う。その後、元の図9の処理シーケンスに復帰する(リターン)。
図9に戻って、ステップS63において、カメラ制御部11は、ズーム倍率の変更操作がなされたか否かの確認を行う。ここで、ズーム操作がなされたことが確認された場合には、ステップS67の処理に進む。また、ズーム操作が行われていない場合には、ステップS64の処理に進む。
ステップS64において、カメラ制御部11は、合成用画像として前回表示に使用した画像(図18符号A)を用いる。なお、図18は、拡大合成処理を行う際の概念を示す図である。
続いて、ステップS65において、カメラ制御部11は、今回取得したフレーム画像(図18符号B,図19E)と上記合成用画像(この場合は図18符号A)との合成処理を実行する。なお、図19は、縮小合成処理を行う際の概念を示す図である。
次に、ステップS66において、カメラ制御部11は、今回表示に使用する画像として上述のステップS65の合成処理にて生成した画像(図18符号D,図19(D))とする。その後、一連の処理を終了し、元の図8の処理シーケンスに復帰する(リターン)。
一方、上述のステップS63の処理にて、ズーム倍率変更操作が確認されて、ステップS67の処理に進むと、このステップS67において、カメラ制御部11は、そのズーム倍率変更操作は操作部17に含まれる操作部材のうちのズームボタンによる操作であったか否かの確認を行う。この確認は、操作制御部16を介して監視している操作部17のうちのズームボタンに連動するズームスイッチからの信号によって行う。ここで、ズームボタン操作であることが確認された場合には、電動ズーム動作が実行されているものと判断され、ステップS68の処理に進む。また、ズームボタン操作ではないことが確認された場合には、手動ズーム動作が行われたものと判断されて、ステップS74の処理に進む。
ステップS68において、カメラ制御部11は、上記ズーム操作によってなされたズーミングによる画像の拡大率(即ち、今回のズーム倍率/前回のズーム倍率で算出される)を取得する。その後、ステップS68の処理に進む。
続いてステップS69において、カメラ制御部11は、拡大率が1以上(拡大率>1)であるか否か、即ち、像拡大方向のズーム操作が行われたか否かの確認を行う。ここで、拡大率>1である場合には、次のステップS70の処理に進む。また、拡大率>1ではない場合には、ステップS71の処理に進む。
ステップS70において、カメラ制御部11は、合成用画像として前回表示に使用した画像を拡大処理した画像(図18符号C)を用いる。その後、ステップS65の処理に進む。
ステップS71において、カメラ制御部11は、上記ズーム操作によってなされたズーミングによる画像の縮小可能率(即ち、有効画像領域(23a)の画素数/全画像領域(有効受光面12a)の画素数から算出される)を取得する。その後、ステップS72の処理に進む。
続いてステップS72において、カメラ制御部11は、上記拡大率が上記縮小可能率と同じか若しくは小さい(拡大率≦縮小可能率)か否かの確認を行う。ここで、拡大率≦縮小可能率である場合には、次のステップS73の処理に進む。また、拡大率≦縮小可能率ではない場合には、ステップS74の処理に進む。
ステップS73において、カメラ制御部11は、合成用画像として前回表示に使用した画像を縮小した画像(図19符号F)を用いる。その後、ステップS65の処理に進む。
ステップS74において、カメラ制御部11は、この時点における取得フレーム数=1を設定する。
続いて、ステップS75において、カメラ制御部11は、今回表示に使用する画像として今回取得したフレーム画像を用いる。その後、元の図8の処理シーケンスに復帰する(リターン)。
本実施形態の撮影機器(カメラ)における上述した作用のうち、ライブビュー画像表示動作中にAF動作が行われた場合に実行されるフレーム画像の加算処理(フレーム加算処理)の概要について、図11を用いて以下に簡単に説明する。
図11は、本実施形態の撮影機器(カメラ)において、ライブビュー画像表示動作中にAF動作が行われた場合の作用を示すタイミングチャートである。
図11Aは、撮像素子12における垂直同期信号VDを示している。図示のように、例えば符号Aで示すタイミングで、例えばファーストレリーズ操作がなされてAF動作を開始させる旨の指示信号(ファーストレリーズスイッチからの指示信号)が発生したものとする。すると、これに応じて、カメラ制御部11は、撮像素子12を制御して、垂直同期信号VDの周期を高速化する。
図11Bは、一フレーム毎の露出量を表している。このうち、符号LV(a),LV(b)…で示す菱形は、ライブビュー画像表示動作時の各フレーム毎の露出量を示す。また、符号AF(a),AF(b),AF,……で示す菱形領域は、AF動作時の各フレーム毎の露出量を示している。なお、一フレーム毎の露出量を菱形で示しているのは、ライン露光順次読み出し方式(ローリングシャッタ)を採用していることを表している。また、一フレームの露出は、その露出中心時点を垂直同期信号VDのタイミングとしている。
上述のように、AF動作対応時には、垂直同期信号(VD)の周期を高速化するので、一フレームの露出期間(露出量)は、通常時(ライブビュー画像表示時)に比べて短く(少なく)なる。図11Bにおいては、露出期間は横軸の長さ(時間)で表され、露出量は菱形の面積で表されている。そこで、図示のように
露出量LV(x)>露出量AF(x);((x)は(a),(b)…)
の関係がわかる。
図11Cは、レンズ通信同期信号を示している。このレンズ通信同期信号は、ボディ側のフレームレートとレンズ側のフレームレートとを同期させる信号である。レンズ通信同期信号は、図11Aの垂直同期信号(VD)と同期させている。
図11Dは、レンズ位置取得信号を示している。このレンズ位置取得信号は、ボディ側からレンズ側に対して露出中心タイミングを伝達する信号である。そのために、図11Bに示す各フレームの露出の中間点で、図11Dのレンズ位置取得信号の出力が反転する。カメラ制御部11は、このレンズ位置取得信号の出力タイミングでレンズ側の状態(例えば絞り値,レンズ位置等)を取得している。
図11Eは、ボディ(B)−レンズ(L)通信タイミングを示している。このB−L通信タイミングは、ボディ側とレンズ側との間で行われる相互通信タイミングである。この相互通信によって、フレーム毎にボディ及びレンズ双方の状態の情報交換が行われる。
図11Fは、AE制御タイミングを示している。ここで、AE制御は、前回のフレームの露出動作に基いて得られた露出値を、次回のフレームの露出動作に反映させるための制御である。図11Fで示す符号AE(b),AE(c),AE(d)……は、それぞれが対応する前回のフレーム露出動作に取得された露出値を示し、それぞれが各対応する次のフレーム露出動作に反映される。
例えば、図11Fの符号AE(b)の露出値は、図11Bの符号LV(b)で示すフレームの露出動作に適用されるものとしている。同様に、図11Fの符号AE(c)の露出値は、図11Bの符号AF(a)で示すフレームの露出動作に適用される。さらに同様に、図11Fの符号AE(d)の露出値は、図11Bの符号AF(b)で示すフレームの露出動作に適用される。
ここで、上述したように、図11Aの符号AのタイミングでAF動作が開始されているものとすると、これにより、上記符号A時点以降の垂直同期信号(VD)の周期が高速化されて(図11A)、露出期間が短くなっている(図11B)。
AF動作が開始されると、AE制御、即ち測光動作を含む自動露出制御は、通常時(ライブビュー画像表示時)とは異なる制御となる。
例えば、測光エリアについては、図12に示すように、ライブビュー画像表示時とAF動作時とで異なる。図12は、撮像素子12の有効受光面12a内における測光エリアを示す図である。
図12の符号T2で示す略楕円形状の領域をライブビュー画像表示時の測光エリアとする。また、図12の符号T1で示す矩形領域をAF動作時の測光エリアとする。つまり、ライブビュー画像表示時の測光エリアT2は、撮像素子12の有効受光面12aの周辺四隅部近傍を除く略全域となるように設定されるのに対し、AF動作時の測光エリアT1は、上記有効受光面12aの略中央部を含む所定の領域に限定して設定される。なお、AF動作時の測光エリアT1は、例えばAF動作を行う際に設定されるAF用測距エリアに相当するものである。
このように、ライブビュー画像表示時は、有効画像領域の略全面を測光対象とするのに対して、AF動作時はAF用画像領域を測光対象とし、この狭い領域の画像情報に基いて測光が行われる。したがって、ライブビュー画像表示時とAF動作時とでは、各測光動作によって取得される各露出値が異なることがある。この場合、ライブビュー画像表示時とAF動作時とでは、表示画像の明るさが不均一になってしまうことになる。
そこで、本実施形態のカメラ1は、AF動作時の表示画像については、フレーム画像の加算処理を行って、ライブビュー画像表示時とAF動作時との表示画像を均一化するようにしている。
図11Gは、フレーム画像を生成するための画像処理タイミングを示している。図11Gにおいて符号P1,P2,P3,P4,P5……で示す。
また、図11Hは、表示画像の表示タイミングを示している。図11Hにおいて、符号D1,D2,D3,D4,D5……で示す。
図11Gの符号P1,P2のタイミングで画像処理されるフレーム画像は、図11Bの符号LV(a),LV(b)の露出動作による画像データである。ここで、図11Bの符号LV(a),LV(b)の露出動作は、前回のフレーム画像から得られる露出値によって行われる。したがって、図11Gの符号P1,P2のタイミングで画像処理されるフレーム画像は、通常時の露出条件にて形成される。そして、図11Hの符号D1,D2で示すタイミングでそのまま表示処理される。なお、これ以降の時点でAF動作が開始される。
図11Gの符号P3のタイミングで処理されるフレーム画像は、図11Bの符号AF(a)の露出動作による画像である。ここで、図11Bの符号AF(a)の露出動作は、前回の符号LV(b)のフレーム画像から得られる露出値によって行われる。したがって、図11Gの符号P3のタイミングで処理されるフレーム画像も、通常時の露出条件で形成される。そして、図11Hの符号D3で示すタイミングで、そのまま表示処理される。
次に、図11Gの符号P4のタイミングで処理されるフレーム画像は、図11Bの符号AF(b)の露出動作による画像である。ここで、図11Bの符号AF(b)の露出動作は、前回の符号AF(a)のフレーム画像から得られる露出値によって行われる。したがって、図11Gの符号P4のタイミングで処理されるフレーム画像以降は、AF動作時の露出条件で形成される。したがって、露出値に変動が生じる可能性がある。そこで、図11Hの符号D4で示すタイミングで行う表示処理においては、対応する符号P4のタイミングで処理されるフレーム画像に対し、前回のフレーム画像(符号P3)を加算処理する。
これと同様に、図11Gの符号P5のタイミングで処理されるフレーム画像は、図11Hの符号D5のタイミングで表示処理が行われる。この表示処理では、対応する符号P5のタイミングで処理されるフレーム画像に対し、前回のフレーム画像(符号P4)を加算処理する。以降同様の処理が行われる。
このようにフレーム画像加算処理を行う際の加算フレーム画像数は、次のようにして求める。
ライブビュー画像表示時の露出BVaとAF期間中の露出BVbとの露出差BVerrは、
BVerr=BVa−BVb
で表される。
一方、AFフレーム画像合成数(ConbAfFrameNum;CAFN)は、
CAFN=2^BVerr
である。このAFフレーム画像合成数に基いて、加算フレーム画像数を設定すればよい。
なお、取得済みのAFフレーム画像(AF動作時に取得されるフレーム画像)を加算するのみでは不足する場合、LVフレーム画像(AF動作開始前の通常ライブビュー画像表示時に取得されるフレーム画像)を加算すればよい。
また、本実施形態の撮影機器(カメラ)における上述した作用のうち、ライブビュー画像表示動作中にズーム動作が行われた場合に実行されるフレーム画像の加算処理(フレーム加算処理)の概要について、図14を用いて以下に簡単に説明する。
図14は、本実施形態の撮影機器(カメラ)において、ライブビュー画像表示動作中にズーム動作が行われた場合の作用を示すタイミングチャートである。
図14Aは、撮像素子12における垂直同期信号VDを示している。図14Bは、一フレーム毎の露出量を表している。この図14Bにおいては、図12Bに示す露出量LV(a),LV(b)…で示す菱形を詳細に示すものである。ライブビュー画像表示動作時の一フレームの露出量は、一ライン毎にリセット,露出,読み込み動作が行われる。そのため、時間経過によって第1ラインの読み込み時点から最終ラインの読み込み時点との間にずれが生じている。
図14Cは、操作部17に含まれる操作部材のうちのズームボタンの操作に従って出力される操作指示信号を示している。図14Cに示す例では、符号Z1にてズームボタン操作が開始され、符号Z2の時点まで継続してズームボタン操作が行われていることを示している。
図14Dは、上述のズームボタン操作に連動するズームレンズ駆動タイミングを示している。この場合において、ズームレンズは、図14Cのオン信号を受けて符号L1の時点でオンになり符号L2の時点でオフになる。符号L2〜符号L3の期間では、図14Cに示すようにズームボタン操作が継続しているのに関らずズームレンズ駆動は停止(禁止)されている。そして、図14Dの符号L3の時点で再度オン状態になり、同図符号L4の時点で、上記ズームボタン操作の停止(指示信号オフ;符号Z2)を受けて同時に、ズームレンズ駆動も停止している。
この場合において、図14Dの符号L2〜符号L3の期間では、図14Bに示すように、同図において二回目の露出が行われている期間である。これを受けて、図14Dに見られるように、同期間ではズームレンズ駆動を停止(禁止)している。
図14Eは、ズーム倍率の変位を示している。まず、初期段階の符号Aで示す期間をズームが動作する以前の倍率に設定されている期間である。この時点では、図14Cのズームボタン操作行われていない。したがって、ズーム倍率に変化はない。次の符号Bで示す期間は、ズーム第一回目の駆動期間を示している。このズーム第一回目駆動期間Bは、図14Dのズームレンズ駆動開始時点、即ち同図符号L1と同時に倍率変位が開始され、同図符号L2の時点で倍率変位が終了する。これは、図14Dの符号L2の時点で、第2コマ目の露出が開始し、ズームレンズ駆動が停止しているためである。
続いて、図14Eの符号Cで示す期間は、ズーム第一回目動作完了時点の倍率が維持されて、ズーム倍率に変動がない。これは、図14Dの符号L2〜符号L3のズーム禁止期間に相当する。
次に、図14Eの符号Dで示す期間は、ズーム第二回目の駆動期間である。このズーム第二回目駆動期間Dは、図14Dの符号L3〜符号L4の期間に相当する。
図14Eの符号Eで示す期間は、ズーム第二回目の駆動完了後の時点のズーム倍率が維持される期間である。
図14Fは、画像の拡大,縮小処理のタイミングを示している。同図の例では、ズーム一回目駆動の結果、変位したズーム倍率(図14Eの符号C)と、ズーム動作前の倍率(図14Eの符号A)に基いて、画像の拡大処理若しくは縮小処理が行われる。
図14Gは、フレーム画像加算処理のタイミングを示している。同図に示す例においては、フレーム画像加算処理は、一回目の露出画像(ズーム動作前の画像)のフレーム画像に、二回目の露出画像(ズーム第一回目駆動により変位したズーム倍率による画像)を加算するフレーム画像加算処理が行われる。
図14Hは、画像処理のタイミングを示している。また、図14Iは、画像の表示処理のタイミングである。図14Hの符号P1で示されるタイミングで行われる画像処理は、図14Bの一回目の露出画像により取得された画像データに基く画像処理である。この画像処理は、ズーム動作前の通常の画像処理である。そして、この画像処理結果は、図14Iの符号H1で示すタイミングで表示される。
図14Hの符号P2で示されるタイミングで行われる画像処理は、図14Bの二回目の露出画像により取得された画像データに基く画像処理である。ここでは、図14Gのフレーム画像加算処理によって取得された画像、即ちズーム第一回目動作の結果、変位した後の画像処理である。この画像処理結果は、図14Iの符号H2で示すタイミングで表示される。
このように、ライブビュー画像表示動作中に、ズームボタン操作による自動ズーム動作が実行されると、撮像素子12の露出期間中には、操作継続中に関らずズーム動作を停止するようにしている。
そして、次の露出期間までの間にズーム動作を再開すると共に、ズーム動作停止期間の前後で取得したフレーム画像を、適宜拡大縮小処理を伴う画像合成処理を行ってフレーム加算を行うようにしている。
以上説明したように上記第2の実施形態によれば、ライブビュー画像表示動作中にAF動作が実行されたり、ズーム動作が実行された場合にも、第1の表示モード(通常ライブビュー画像表示モード)から第2の表示モード(フレーム加算処理を伴うライブビュー画像表示モード)へと表示動作の切り換え制御を行うようにしたので、常に均一なライブビュー画像を表示させ続けることができる。
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。