以下、図示の実施の形態によって本発明を説明する。
[第1の実施形態]
図1〜図9は、本発明の第1の実施形態を示す図である。このうち図1は、本発明の第1の実施形態の撮影機器(カメラ)の内部構成における主要構成部材を示すブロック構成図である。図2は、本実施形態の撮影機器(カメラ)を用いて撮影している様子を示す説明図である。図3は、図2の状態において、撮影機器(カメラ)の表示画面を主に示す図である。図4は、図1,図2の状態からタッチ操作の結果得られる表示画像の一例を示し、タッチ指示位置を重点に露出制御が行なわれた場合の表示画像を示している。図5は、図1,図2の状態からタッチ操作の結果得られる表示画像の他の一例を示し、非タッチ位置の状態を維持しつつ、タッチ指示位置の露出制御を行なった場合の表示画像を示す図である。
図6は、本実施形態の撮影機器(カメラ)において、タッチパネル25の座標と表示装置の座標との関係を説明する図である。また、図7は、本実施形態の撮影機器(カメラ)において実行されるハイダイナミックレンジ(HDR)画像合成処理を説明するための概念図である。
図8は、本実施形態の撮影機器(カメラ)によるカメラ制御の処理シーケンスを示すフローチャートである。図9は、図8の処理シーケンスのうちタッチ操作で加算判定(ステップS5)処理のサブルーチンを示すフローチャートである。
本発明の第1の実施形態においては、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換し、こうして生成されたデジタル画像データを記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像又は動画像を表示装置を用いて再生表示し得るように構成される撮影機器であるカメラを例示するものである(以下、単にカメラというものとする)。
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
まず、本発明の第1の実施形態のカメラ1の主要内部構成について、図1を用いて以下に説明する。
図1に示すように、本実施形態の撮影機器であるカメラ1は、カメラ本体10と、撮影レンズ鏡筒30とによって主に構成されている。
カメラ本体10は、後述する各種の構成部材を内部に収納する筐体からなり、本カメラ1の基本構成をなす構成部である。撮影レンズ鏡筒30は、撮影光学系等を具備し、被写体からの光束を受けて光学的な被写体像を結像させるために設けられる構成部である。そして、本カメラ1は、カメラ本体10の前面に対して撮影レンズ鏡筒30が着脱自在に配設して構成される、いわゆるレンズ交換式カメラである。
上記カメラ本体10の内部には、CPU等の電気部品からなり当該カメラ1の電気的な制御を統括するカメラ制御部11(図1においてはCPUと表記している)と、このカメラ制御部11の制御下で機能する各種の構成部材、即ち、撮像素子12、フラッシュメモリ等の一時メモリ13、露出制御部14、画像処理部15、操作制御部16、操作部17、カメラ通信部18、SDRAM19、メモリインタフェース(I/F)20、記録媒体21、表示用ドライバ22、LCD等の表示装置23、タッチパネルドライバ24、タッチパネル25等が配設されている。
撮像素子12は、例えばCCD,CMOS等の光電変換素子と、その駆動回路等によって構成される撮像部である。撮像素子12は、上記撮影レンズ鏡筒30の撮影光学系によって結像される光学像を受けて、これを光電変換処理し、電気的な画像データを生成する構成部である。
一時メモリ13は、フラッシュメモリ等によって構成され、各種画像処理等を行なう際のプログラムやデータ等を一時的に記憶しておく内部メモリ領域である。
露出制御部14は、撮像素子12からの出力信号等に基いて、若しくは別に設けた測光手段(不図示)からの信号に基いて被写体光の測光を行ない、その測光結果に基いて適正露出値を設定し、この設定された適正露出値に基いてシャッター機構(不図示;撮像素子12に含まれるか若しくは撮像素子12の直前に別途設けられる)や絞り値機構(符号33;後述する),撮像素子12(感度調整等)等を制御するための制御回路である。これによって、適正露出となる画像が取得され、取得された画像は順次連続的に表示装置23に表示される。
画像処理部15は、本実施形態のカメラ1において実行されるハイダイナミックレンジ(HDR)画像合成処理のほか、従来一般のカメラにて実行される各種の画像信号処理を行なう回路部である。
操作部17は、本カメラ1を操作する上で必要となる各種の操作部材等を含んで構成される構成部である。
操作制御部16は、操作部17からの指示信号を受信してカメラ制御部11へと伝達すると共に、カメラ制御部11の指示を操作部17へと伝達する等の制御を行なう制御回路である。
カメラ通信部18は、撮影レンズ鏡筒30との間で通信を行ない、制御信号等を送受信する構成部である。そのために、カメラ本体10と撮影レンズ鏡筒30とには、それぞれに通信用接点39a,39bが設けられていて、両者を連結した状態としたとき、通信用接点39a,39bが接触し通電するように構成される。
SDRAM(Synchronous Dynamic Random Access Memory)19は、プログラム格納用ROM(不図示)等に予め記憶されている各種制御用・データ処理用プログラム等を一時的に記憶する作業用のメモリ領域である。
メモリインタフェース20は、カメラ制御部11と記録媒体21との間を媒介し、記録媒体21へのデータ記録処理若しくは記録媒体21からのデータ読み出しに寄与する構成部である。
記録媒体21は、本カメラ1において取得された画像データを記録するためのストレージ手段であって、例えば半導体メモリカードやカード型HDD等、小型で可搬型のものが適用される。記録媒体21は、本カメラ1に対して着脱自在に構成される。また、カメラ本体10内に固定配置される内蔵メモリの形態で構成されるものも含まれる。
表示用ドライバ22は、カメラ制御部11の制御下において表示用ドライバ22を介して表示装置23を駆動制御して、画像及び各種情報等を視覚的に識別し得る形態で必要に応じて適宜表示させるためのドライバである。
表示装置23は、例えばLCD(Liquid Crystal Display)等のパネル状表示部材を用いて、画像や各種情報等を視覚的に識別し得る形態で表示するための表示部である。表示装置23は、カメラ制御部11の制御下で表示用ドライバ22を介して駆動制御される。
タッチパネルドライバ24は、カメラ制御部11の制御下においてタッチパネル25を駆動制御し、タッチ操作を検出すると共に、その検出結果に応じた操作入力を判定するドライバである。
タッチパネル25は、上記表示装置23の表示面上に重ねて配設されており、使用者がパネル面をタッチ操作,タッチ&スライド操作等を行うことによって、これらの操作に応じて、各種の指定入力などを行なう操作入力手段に含まれる構成部である。
一方、撮影レンズ鏡筒30は、撮影レンズ31と、レンズ保持枠32と、絞り機構33と、ドライバ34と、レンズ制御部35(図1においてはレンズCPUと表記している)と、レンズ通信部36等を主に具備して構成される。
撮影レンズ31は、複数の光学レンズからなり、被写体からの光束を受けて光学像を結像させるための構成部である。
レンズ保持枠32は、上記撮影レンズ31の各光学レンズをそれぞれ保持するために設けられる構成部である。
絞り機構33は、上記撮影レンズ31を透過する光束の光量を調整するために設けられる構成部であって、例えば絞り羽根やこの絞り羽根を駆動する駆動モータ等によって構成される。
レンズ通信部36は、カメラ本体10との間で通信を行ない、制御信号等を送受信する構成部である。撮影レンズ鏡筒30には、上述したようにカメラ本体10の通信用接点39aに対応する通信用接点39bが設けられていて、両者を連結した状態としたとき、通信用接点39a,39bが接触し通電するように構成される。
なお、本実施形態のカメラ1は、その他の機能として顔検出機能,被写体追尾機能等を備えている。顔検出機能,被写体追尾機能は、カメラ制御部11の制御下において、撮像素子12の出力信号を受けて生成される画像データに基いて行われる画像処理機能の一つである。これらの顔検出機能,被写体追尾機能は、従来のカメラにおいて適用されているものと同様のものを適用する。したがって、その詳細説明は省略する。その他の構成は、従来のカメラと略同様の構成を具備するものとする。
このように構成される本実施形態のカメラ1における作用の概略を、図2〜図5及び図6,図7を用いて以下に簡単に説明する。
まず、カメラ1の電源をオン状態としてカメラ1を起動させる。この電源オン操作を行なうと、カメラ1は、撮影動作を行ない得る動作モード(撮影モード)で、かつ表示装置23を被写体観察用のビューファインダーとして使用し得る動作モード(ライブビューモード)で起動する。
使用者100は、この状態のカメラ1を、図2に示すように、所望の撮影対象としての被写体に向けて構える。そして、使用者100は、表示装置23を見ながら、任意のタイミングで該表示装置23上のタッチパネル25のパネル面上の所望の部位を手指101等によってタッチ操作する。図3は、このときの様子を示すものである。
カメラ1が起動し、表示装置23の表示画面上にライブビュー表示がなされているとき、その表示画面上には、撮像素子12によって取得された画像が例えば30fpsで連続的に切り換わり表示されている。このときの表示画像は、露出制御部14が自動的に設定した露出値によって得られる画像である。ここで、露出制御部14は、撮像素子12によって得られる画像のうち、例えば略全領域を考慮して測光を行なって適正な露出値を設定する。
このようにして自動的に露出値が設定された適正露出画像(これを基準露出画像,または基準画像という)が表示装置23によって順次連続的に表示されるライブビュー表示が実行される。このとき、撮影対象によっては、表示装置23の表示画面上において白トビや黒潰れ等が発生している場合がある。これは、撮像素子12のラチチュード(latitude:露出寛容度)が狭いために生じる。
例えば図7(A)で示す例では、基準露出画像を符号(b)で示している。この基準露出画像(b)は、対応するヒストグラムイメージ(図7(B)参照)を見ると、画面略中央部近傍の中間部が適正露出となっており、画面左側部分が低輝度部,画面右側部分が高輝度部となっているものとする(低輝度部及び高輝度部は図中にて斜線を用いて示している)。
このライブビュー表示を行なっている時、使用者100は、図3に示すように、表示画面上(タッチパネル上)の所望の位置をタッチ操作する。ここで、タッチ操作されるのは、適正露出としたいタッチポイントであって、例えば白トビ,黒潰れ等が発生している部位である。
例えば、図3に示すように、主要被写体としての人物200が近景にあり、背景にある朝日や夕陽等のように輝度の極めて高い被写体201が同一画面上に入り込んでいるものとする。このような状況にあるとき、近景(画面中心部近傍領域)の被写体を主要被写体として見なし、これに重点を置いて露出値を設定する通常の露出設定動作が行われる場合、人物200が適正露出になる一方、高輝度被写体201は露出オーバー状態となってしまいいわゆる白トビが生じる。なお、図3においては、被写体201が露出オーバーであることを表わすために、当該被写体201を点線で図示している。ここで、通常の露出設定とは、例えば従来の撮影機器において一般に適用される測光方式、例えば平均測光,中央部重点測光,多分割測光等によって得られた露出値に基いて適正露出を設定する一般的な手段をいう。
そこで、本実施形態のカメラ1においては、このような場合に、現時点(図3の状態)で適正露出となっている人物200に対する露出状態を維持しつつ、同一画面内で露出オーバーとなっている領域(高輝度部位)の画像を適正露出の状態で表示させることができる。そのために、当該被写体201を含む領域を、タッチ操作している(符号P参照)。
このようにタッチ操作を行なって指定される領域Pを含む画像に重点を置いて同領域が適正露出となるような自動露出設定処理が行なわれると、図4に示すように、領域P(被写体201)が適正露出画像になる反面、図3の状態で適正露出だった領域(人物200)の部分等が露出アンダー状態の画像になる。
例えば、これと同じ状態を、図7(A)で示す例で説明すると次のようになる。即ち、画面右側部の高輝度部位が適正露出となるように設定される場合、画面略中央部及び画面左側部(図中斜線部位)では露出アンダーとなる(符号(c)で示す図参照)。
一方、上述の例とは反対に、図7(A)で示す例において、画面左側部の低輝度部位が適正露出となるように設定される場合、画面略中央部及び画面右側部(図中斜線部位)では露出オーバーとなる(符号(a)で示す図参照)。
なお、本実施形態のカメラ1においては、表示装置23の表示面上にタッチパネル25のパネルを重なるようにして配設するものとしている。表示装置23の解像度とタッチパネル25の解像度とは、必ずしも一致しているわけではない。したがって、表示装置23の座標系とタッチパネル25の座標系とを一致させる必要がある。
例えば表示装置23が、図6(A)に示すように、有効画像領域について縦軸=Y,横軸=Xとし、画像サイズ(解像度)=iX × iY(dot)であるものとする。一方、タッチパネル25の有効領域について縦軸=Y,横軸=Xとし、パネルサイズ=tX × tYであるものとする。
ここで、タッチパネル25上の任意の点における座標(x,y)を、表示装置23における画像上の座標(X,Y)に変換するためには、次式
X=(iX × (x/tX))
Y=(iY × (y/tY))
を用いる。この座標変換の演算は、上記タッチパネル25に対するタッチ操作の操作入力信号により指定された座標に基いて、例えばカメラ制御部11において行われる。
本実施形態のカメラ1においては、上述のようにして、適正露出とする部位の異なる複数の画像データ(図3,図4の各画像データ)を取得した後、これらの複数画像データに基いて、各画像データ毎に適正露出となっている画像領域を考慮した画像合成処理を行なう。これによって、図5に示すように、一画面内に輝度差のある被写体を含む画像であっても、各領域のそれぞれが適正露出となり、画面全体で白トビや黒潰れのない一つの画像を表わす画像データを取得することができる。このような一連の画像処理(即ち、ハイダイナミックレンジ画像(high dynamic range imaging:以下、HDR画像と略記する)合成処理というものとする。そして、これを行う動作モードを、HDRモードというものとする。
つまり、HDRモードにおける画像合成処理では、図7(A)で示す例の実画像(a),(b),(c)にそれぞれ対応するヒストグラムイメージ(図7(B)参照)において、それぞれの画像で適正露出とする領域の画像を切り出して、これらを合成処理することになる。その結果、図7(D)で示すような合成画像が生成される。なお、この合成画像に対応するヒストグラムイメージは、図7(C)に示すようになる。したがって、この合成画像では、白トビ,黒潰れ等が解消され、全画面にわたって略適正露出による画像とすることができる。
以上のような本実施形態のカメラ1による作用について、カメラ制御の処理シーケンスを、図8,図9のフローチャートによって以下に説明する。
まず、図8のステップS1において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号を監視し電源オン信号が検出されたか否かを確認する。ここで、電源オン信号が検出されるまで、監視を続け、同信号が検出された場合には、次のステップS2の処理に進む。
ステップS2において、カメラ制御部11は、通信用接点39a,39bで接続されているカメラ通信部18,レンズ通信部36を介して、撮影レンズ鏡筒30のレンズ制御部35との間で所定の通信処理を実行する。
続いて、ステップS3において、カメラ制御部11は、カメラ1の動作モードが撮影モードに設定されているか否かの確認を行なう。ここで、撮影モードが設定されていることが確認された場合には、次のステップS4の処理に進む。また、撮影モード以外の動作モードが設定されていることが確認された場合には、ステップS21の処理に進む。
ステップS4において、カメラ制御部11は、レンズ制御部35を介してドライバ34を制御して、撮影レンズ31,絞り機構33等を駆動させると共に、撮像素子12,表示装置23等を制御して撮像処理及び仮記録処理を実行すると共に、同じ画像データに基いて表示装置23において表示処理を行う。これにより、表示装置23にはライブビュー表示が行われる。なお、上記仮記録処理による処理結果(基準露出画像データ)は、一時メモリ13等に順次一時的に記録される。
続いて、ステップS5において、カメラ制御部11は、タッチ操作による加算処理を行うか否かの判定を行なう。このステップS5の処理の詳細は図9によって後述する。
即ち、図9のステップS31において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの入力信号を監視して、タッチ操作による入力信号が検出されたか否かの確認を行なう。ここで、タッチ信号が検出された場合には、次のステップS32の処理に進む。また、タッチ信号が検出されない場合には、図8のステップS10の処理に進む。
上述のステップS31の処理にて、タッチ信号が検出されて、ステップS32の処理に進むと、このステップS32において、カメラ制御部11は、タッチ操作によって指示された領域に顔画像が含まれているか否かの確認を行なう。ここで、顔画像が取得された場合には、ステップS34の処理に進む。また、顔画像が取得されない場合には、次のステップS33の処理に進む。
上述のステップS32の処理にて、顔画像が取得されて、ステップS34の処理に進むと、このステップS34において、カメラ制御部11は、取得された顔画像について、顔輪郭を検出し、顔輪郭内の画像をモニタする。その後、ステップS35の処理に進む。
一方、上述のステップS32の処理にて、顔画像が取得されずに、ステップS33の処理に進むと、このステップS33において、カメラ制御部11は、タッチ操作によって指示された部位(座標)を中心とする所定範囲の領域(例えば画面全面積に対して1/10の矩形状領域)の画像をモニタする。その後、ステップS35の処理に進む。
ステップS35において、カメラ制御部11は、モニタ領域について、露出量の10%以下となる部分(低輝度部分;例えば約−3EV相当の部分)がそのモニタ領域の半分以上を占めるか否かを確認する。ここで、低輝度部分が半分以上であることが確認された場合には、図8のステップS6の処理に進む。一方、低輝度部分が半分未満であることが確認された場合には、ステップS36の処理に進む。
ステップS36において、カメラ制御部11は、モニタ領域について、露出飽和以上の部分(高輝度部分)がそのモニタ領域の半分以上を占めるか否かを確認する。ここで、高輝度部分が半分以上であることが確認された場合には、図8のステップS6の処理に進む。一方、高輝度部分が半分未満であることが確認された場合には、図8のステップS10の処理に進む。
上述のようにして、加算処理を行なうか否かの判定の結果、図8のステップS6の処理に進むと、このステップS6において、カメラ制御部11は、カメラ本体10側の電気的な制御(即ちシャッタ速度値若しくは感度値の変更)のみで露出補正画像の取得が可能であるか否かの確認を行なう。ここで、露出補正画像とは、基準露出画像に対して露出を変更して得られる画像をいう。露出を変更するためには、例えばシャッター速度値,絞り値を変更することに加えて電気的に感度値を変更するといった手段がある。通常、低輝度部分に対しては高感度設定とする(ゲインアップ)という手段によって露出を引き上げることができるが、この手段はゲインノイズが増大し画質劣化を招く可能性がある。一方、高輝度部分に対しては低感度設定とする(ゲインダウン)することで露出を引き下げることができるが、この手段ではシャッター速度が低下することに伴い、像ブレを招く可能性がある。したがって、露出変更は主にシャッター速度値,絞り値の変更によるのが望ましい。しかしながら、被写体の輝度状態によっては、シャッター速度値,絞り値の変更のみでは対応し切れないことがある。そのような場合には、感度値変更によって対応するようにすればよい。
上述のステップS6の処理にて、露出補正画像の取得がカメラ本体10側のみで可能である場合には、ステップS8の処理に進む。また、撮影レンズ鏡筒30側の絞り機構33の制御を必要とする場合には、ステップS7の処理に進む。
ステップS7において、カメラ制御部11は、カメラ通信部18,レンズ通信部36を介してレンズ制御部35との間でレンズ通信処理を行う。これにより、レンズ制御部35は、ドライバ34を介して絞り機構33の駆動制御を行う絞り制御処理を実行する。この絞り制御処理は、カメラ制御部11の制御下において露出制御部14により算出される露出値に基いて行われる。
続いて、ステップS8において、カメラ制御部11は、露出制御部14による露出値に基いてシャッタ速度値や感度値変更処理を行なって、加算用画像を取得する。こうして取得された加算用画像データは、一時メモリ13に一時記録される。ここで、加算用画像とは、上記基準露出画像に対して異なる露出による画像であって、上記露出補正画像と同義である。その後、ステップS9の処理に進む。
ステップS9において、カメラ制御部11の画像処理部15は、上述のステップS4の仮記録処理によって一時記録されている基準画像データに対して、上述のステップS8の処理にて得られた加算用画像データを加算処理(合成処理)を行なう。こうして得られた加算処理結果の合成画像は、表示装置23に表示される。その後、ステップS11の処理に進む。
なお、上述のステップS5の判定処理にてステップS10の処理に進んだ場合には、このステップS10において、カメラ制御部11は、加算(合成)処理を行なわない撮像結果の画像、即ち上述のステップS4の処理にて一時的に仮記録された画像(基準露出画像)を表示装置23に表示する。その後、ステップS11の処理に進む。
ステップS11において、カメラ制御部11は、操作制御部16を介して操作部17を監視すると共に、タッチパネルドライバ24を介してタッチパネル25を監視して、撮影動作を実行するための操作、即ちレリーズ操作が行なわれたか否かの確認を行なう。具体的には、例えば、操作部17に含まれるレリーズ部材(不図示)からのレリーズ信号、若しくはタッチパネル25からのレリーズ信号等が発生したか否かの確認を行う。ここで、レリーズ信号の発生が検出された場合には、次のステップS12の処理に進む。また、レリーズ信号の発生が検出されない場合には、上述のステップS1の処理に戻り、以降の処理を繰り返す。
ステップS12において、カメラ制御部11は、撮影処理及び記録処理を実行する。ここで行われる撮影処理及び記録処理は、上述のステップS9の処理にて取得されている加算(合成)済み画像データ、若しくは上述のステップS10の処理にて表示処理された画像データ(即ちステップS4にて一時記録された基準露出画像データ)についての記録処理である。その後、ステップS1の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS3の処理にて、撮影モード以外の動作モードが設定されているものと判断されて、ステップS21の処理に進むと、このステップS21において、カメラ制御部11は、カメラ1の動作モードが再生モードに設定されているか否かの確認を行なう。ここで、再生モードが設定されていることが確認された場合には、次のステップS22の処理に進む。また、設定されている動作モードが再生モードではない場合には、ステップS1の処理に戻り以降の処理を繰り返す。
なお、通常の場合、カメラの動作モードとしては、大きく分けて撮影モードと再生モードとがあるが、これ以外の動作モードを持つものもある。その場合には、ステップS21の処理からさらに分岐ステップを設けて動作モードの確認を行なうようにすればよい。しかしながら、撮影モード以外のその他の動作モードの作用については、本発明とは直接関連しない部分であるので、それらの説明及び図示は省略する。そして、図8の処理シーケンスにおいて、現在設定されている動作モードが撮影モード,再生モードのいずれでもない場合には、簡易的に初期のステップS1に戻るようにしている。
ステップS22において、カメラ制御部11は、メモリインタフェース20を介して記録媒体21を制御して画像データの読み込みを行なうと共に、表示用ドライバ22を介して表示装置23を制御して、所定の画像再生処理を実行する。
続いて、ステップS23において、カメラ制御部11は、変更処理を実行するか否かの確認を行なう。ここで、変更処理とは、例えば過去に行なわれた撮影動作によって取得され記録媒体21に記録済みの画像データに基いて、記録済み画像データのパラメータを変更し異なる露出画像を取得した後、ここで新たに取得した画像データと既に記録済みの画像データとを合成処理する等の画像処理である。なお、画像処理は、カメラ制御部11の制御下において画像処理部15にて行われる。
上述のステップS23の処理にて、変更処理を行なうべき操作指示信号が検出された場合には、ステップS24の処理に進み、このステップS24の処理にて、上述の撮影動作時に行われる画像加算(合成)処理と略同様の画像変更処理が実行される。その後、上述のステップS1の処理に戻り以降の処理を繰り返す。
また、上述のステップS23の処理にて、変更処理を行なうべき操作指示信号が検出さない場合には、上述のステップS1の処理に戻り以降の処理を繰り返す。
以上説明したように上記第1の実施形態によれば、カメラ1を撮影モードでライブビュー表示を行ないながら動作させた時には、ライブビュー用の画像データを基準露出画像データとして自動的に順次仮記録しておくと共に、使用者のタッチ操作をトリガーとし、そのタッチ操作によって指示された領域に露出の重点を置いた画像(基準露出画像とは異なる露出の画像)を取得し、これら複数(二枚)の画像データに基いて、適正露出部分の画像を加算(合成)処理することにより、全画面領域で適正露出となるHDR画像を、撮影動作時と同時に容易に取得することができる。そして、使用者がタッチ操作によって指定した領域(所望被写体)に合わせた画像処理を行うようにしているので、使用者の意図を反映させることができる。また、使用者は、記録動作前に合成画像処理結果を確認することができる(プレビュー表示)ので、意図に反する処理結果の場合には記録動作前に、直前の処理結果をキャンセルし、再度のやり直し操作を行なうことができる。したがって、使用者は、自分の表現意図を反映させて、かつ不自然さを解消したHDR画像を、確実に取得することができる。
HDR画像を取得するための一連の操作によって得られる各画像データは、一時メモリ13に一時的に記録するようにしておくと同時に、表示装置23によって表示させるようにしたので、使用者は、画像処理結果を予め表示装置23の表示にて確認することができる。この時点においては、画像データは一時記録されているだけであるので、確認の結果不要と判断された場合には、記録媒体21に対する記録処理を省略することができる。したがって、記録媒体21の駆動など、記録処理に要する処理を軽減し、よって処理シーケンスの効率化及び消費電力の省力化に寄与することができる。
[第2の実施形態]
次に、本発明の第2の実施形態の撮影機器であるカメラについて、図10〜図22を用いて以下に説明する。
本実施形態のカメラの基本的な構成は、上述の第1の実施形態の構成と全く同様であって、その処理シーケンスが若干異なる。
上述の第1の実施形態のカメラでは、通常の測光及び露出設定手段によって基準露出画像を取得すると共に、使用者のタッチ操作による指示によって異なる露出の画像データを取得し、これら二枚の画像を加算(合成)処理を行なってHDR画像を取得するというものであった。
これに対し、本実施形態のカメラにおいては、
(1)基準露出画像に加えて、使用者による複数回のタッチ操作によって三枚(若しくはそれ以上)の画像を取得して、同様の加算(合成)処理を行ないHDR画像を得る、
(2)基準露出画像に加えて、使用者は範囲指定を一度行うのみで複数枚の異なる露出の画像データを取得して、同様の加算(合成)処理を行ないHDR画像を得る、
(3)動画記録時の効果的表現手段として適宜のタイミングでHDR画像を得る、
という三つの異なる作用を有している。したがって、本実施形態の説明においては、カメラ自体の構成についての説明は省略し、上述の第1の実施形態で用いた図面を参照しながら同じ構成部材には同じ符号を用いて説明する。
図10は、本発明の第2の実施形態の撮影機器(カメラ)によるカメラ制御の処理シーケンスを示すフローチャートである。図11は、図10の処理シーケンスのうちHDRシーケンス(ステップS45)のサブルーチンを示すフローチャートである。図12は、図11の処理シーケンスのうち領域指定(ステップS47)のサブルーチンを示すフローチャートである。
図13は、図11の処理シーケンスのうちHDRシーケンスのケースA(ステップS49)の詳細を示すフローチャートである。
図14は、図13の処理シーケンスのうち指定領域測光L(ステップS62,S76)のサブルーチンを示すフローチャートである。図15は、図13の処理シーケンスのうち指定領域測光H処理(ステップS71,S79)のサブルーチンを示すフローチャートである。
図16は、図11の処理シーケンスのうちHDRシーケンスのケースB(ステップS50)の詳細を示すフローチャートである。
なお、図13の処理シーケンスにおける領域指定(ステップS69,S86)は、上記図12のサブルーチンと同様の処理が適用される。また、図16の処理シーケンスにおける指定領域測光L(ステップS111)は、上記図14のサブルーチンと同様の処理が適用される。図16の処理シーケンスにおける指定領域測光H処理(ステップS112)は、上記図15のサブルーチンと同様の処理が適用される。
図17は、図10の処理シーケンスのうち動画記録(ステップS43)の詳細を示すフローチャートである。図18は、図17の処理シーケンスのうちHDR測光,露出制御処理(ステップS212,S220)のサブルーチンを示すフローチャートである。
図19〜図21は、本実施形態の撮影機器(カメラ)による作用を説明する図である。このうち図19は、複数回のタッチ操作によって三枚(若しくはそれ以上)の加算用画像を取得する場合のシーケンスを示す説明図である。図20は、範囲指定を一度行うのみで複数枚の異なる露出の画像データを取得する場合のシーケンスを示す説明図である。図21は、動画記録時のHDR画像を取得する場合のシーケンスを示す説明図である。図22は、動画記録時のHDR画像を取得する場合のシーケンスを示すタイミングチャートである。
まず、カメラ1の電源がオン状態とされており、該カメラ1が起動している状態にあるものとする。
このときの表示装置23の状態は、例えば図19(A),図20(A)の表示画面23aとして例示する。表示画面23aには、記録中のライブビュー画像が表示される。また、表示画面23a中の所定の部位(図では右下隅部)には、後述する「HDRコントロール」アイコン51が当該ライブビュー画像に重畳表示されている。
このとき、図10のステップS41において、カメラ制御部11は、カメラ1の動作モードが撮影モードであるか否かの確認を行なう。ここで、撮影モードに設定されていることが確認されると、次のステップS42の処理に進む。
ステップS42において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号、若しくはタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、動画記録動作を開始させるための指示信号が生じたか否かの確認を行う。ここで、動画記録開始指示信号が確認された場合には、次のステップS43の処理に進む。また、動画記録開始指示信号が確認されない場合には、ステップS44の処理に進む。
ステップS43において、カメラ制御部11は、所定の動画記録を実行する。なお、この動画記録の詳細は、図17によって後述する。
なお、ここで動画記録が開始されたときの表示装置23の状態は、例えば図21(A)の表示画面23aとして例示する。表示画面23aには、記録中のライブビュー画像が表示される。また、表示画面23a中の所定の部位には、後述する「HDRコントロール」アイコン51(図では右下隅部)や、後述する「●REC」アイコン57(図では左上隅部)等が当該ライブビュー画像に重畳表示されている。
一方、ステップS44において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、「HDRコントロール」アイコン51がタッチ操作されたか否かの確認を行う。この「HDRコントロール」アイコン51とは、HDR処理を開始することを指示するための操作指示手段であって、例えば表示装置23の表示画面上に絵文字等のアイコンとして表示されるものである。このアイコンは、タッチパネル25と連繋して操作指示手段として機能するように構成される。なお、「HDRコントロール」アイコン51の具体的な例示として、図19(A),図20(A)の表示画面23aにおける符号51を参照。
ここで、使用者による「HDRコントロール」アイコン51へのタッチ操作がなされて、対応する指示信号が確認された場合には、次のステップS45の処理に進む。また、「HDRコントロール」アイコン51のタッチ信号が確認されない場合には、ステップS42の処理に戻り、以降の処理を繰り返す。
ステップS45において、カメラ制御部11は、所定のHDR処理のシーケンスを実行する。このHDR処理シーケンスの詳細は図11によって以下に説明する。
使用者が「HDRコントロール」アイコン51へのタッチ操作を行うと、表示装置23の表示画面23aには、図19(B),図20(B)に示すように、ライブビュー画像に重畳させて「タッチしてください」等のガイド表示55が表示される。このガイド表示55の表示処理は、カメラ制御部11が表示用ドライバ22を介して表示装置23を制御することにより行われる。
同時に、図11のステップS46において、カメラ制御部11は、情報初期化処理を実行する。この情報初期化処理とは、HDR処理に関する各種設定値等を初期化する処理である。
続いて、ステップS47において、カメラ制御部11は、領域指定を実行する。この領域指定の詳細は図12に示す通りである。
即ち、図12のステップS51において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、タッチ操作による指示信号が生じているか否か、及び同信号が発生している場合に、所定時間以上継続しているか否かの確認を行う。ここで、タッチ指示信号が確認されない場合には、同信号が確認されるまで同じ処理を繰り返す。そして、タッチ指示信号が検出された場合において、所定時間未満のタッチ指示信号である場合には、次のステップS52の処理に進む。また、所定時間以上継続するタッチ指示信号が確認された場合には、ステップS54の処理に進む。
ここで、使用者がタッチ操作をするのは、表示中のライブビュー画像(基準露出画像)に対して、異なる露出の画像データを取得するための部位、例えば白トビ(明部領域)や黒潰れ(暗部領域)等が生じている部位である。例えば図19(C),図20(C)に示す例では、表示画面23a中の符号201で示す被写体を明部領域とする。
この場合において、例えば符号201の被写体を短時間タッチ操作すると、図12のステップS52において、カメラ制御部11は、固定領域指定を実行する。この固定領域指定は、短時間タッチ操作で指示されたタッチパネル25のパネル上の座標に対応する表示画面23a上の座標位置を中心として、予め設定されている所定範囲の画像領域(固定領域)を指定する処理である。この固定領域指定にて指定される領域は、例えば、図19(C)の符号61で示されるような矩形状の領域とする。その後、ステップS53の処理に進む。
ステップS53において、カメラ制御部11は、上述のステップS52の固定領域指定にて指定された領域についての枠表示処理を実行する。この枠表示処理は、例えば図19(C),図20(C)で示すような矩形状の枠表示61を表示する処理である。その後、元の処理シーケンスに復帰し、図11のステップS48の処理に進む(リターン)。
一方、例えば符号201の被写体を所定の時間以上継続してタッチ操作すると、図12のステップS54の処理に進む。
ステップS54において、カメラ制御部11は、同様にタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、タッチ操作によるスライド指示信号が生じているか否かの確認を行う。ここで、スライド指示信号が確認されなかった場合には、上述のステップS51の処理に戻り、以降の処理を繰り返す。また、スライド指示信号が確認された場合には、次のステップS55の処理に進む。
ステップS55において、カメラ制御部11は、指定領域決定処理を実行する。この指定領域決定処理は、例えば所定時間以上の継続的なタッチ操作によって指示されたタッチパネル25上の座標に対応する表示画面23a上の座標位置と、そのタッチ操作を維持しつつスライド操作を行って指示されることによりタッチ操作の最終点位置に相当するタッチパネル25座標に対応する表示画面23a上の座標位置とを結ぶ線を対角線として規定される略矩形状の所定範囲の画像領域(指定領域)を指定する処理である。図20(C)に示す例では、符号63に示す矩形状領域としている。その後、ステップS53の処理に進み、同様に枠表示61表示する枠表示処理が実行される。その後、元の処理シーケンスに復帰し、図11のステップS48の処理に進む(リターン)。
図11に戻って、ステップS48において、カメラ制御部11は、上述のステップS47の処理(図12の領域指定サブルーチン)にて指定,決定された指定領域の画像に関し、指定領域内の画像において輝度差が小さいか否かの確認を行う。この確認は、露出制御部14を介して基準露出画像データに基いて行われる。ここで、指定領域内において輝度差が小さいことが確認された場合には、上記(1)項に示す場合(複数回タッチによる複数枚画像取得)であると判断され、ステップS49の処理に進む。また、指定領域内において輝度差が大きいことが確認された場合には、上記(2)項に示す場合(一度の範囲指定により複数枚画像取得)であると判断され、ステップS50の処理に進む。
ステップS49において、カメラ制御部11は、HDRシーケンスケースAを実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。このHDRシーケンスケースAの詳細は、図13によって後述する。
一方、ステップS50において、カメラ制御部11は、HDRシーケンスケースBを実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。このHDRシーケンスケースBの詳細は、図16によって後述する。
ここで、上記HDRシーケンスケースA(図11のステップS49)の詳細を、図13のフローチャートによって説明する。
まず、図13のステップS61において、カメラ制御部11は、露出制御部14を介して基準露出画像データに基いて、上述の図11のステップS47の処理(図12の領域指定サブルーチン)にて指定,決定された指定領域の画像部分の輝度と、基準露出画像の指定領域以外の画像部分の輝度との比較を行う。ここで、「指定領域の輝度<基準画像の輝度」であると判断された場合には、ステップS62の処理に進む。また、「指定領域の輝度<基準画像の輝度」ではないと判断された場合には、ステップS79の処理に進む。
ステップS62において、カメラ制御部11は、露出制御部14を介して指定領域測光Lを実行する。指定領域測光Lの詳細は図14に示す通りである。
ここで、図14に示す指定領域測光Lのサブルーチンを詳述する。即ち、図14のステップS101において、カメラ制御部11の露出制御部14は、ライブビュー(LV)画像評価値で指定領域における暗部領域(暗いエリア)を選択する。
次いで、ステップS102において、カメラ制御部11の露出制御部14は、上述のステップS101の処理にて選択した暗部領域の画像の輪郭データを一時的に記録する。
続いて、ステップS103において、カメラ制御部11の露出制御部14は、暗部領域が適正露出となるように測光を行う。その後、元の処理シーケンスに復帰し、図13のステップS63の処理に進む。
一方、ステップS79において、カメラ制御部11は、露出制御部14を介して指定領域測光H処理を実行する。指定領域測光H処理の詳細は図15に示す通りである。
ここで、図15に示す指定領域測光H処理のサブルーチンを詳述する。即ち、図15のステップS106において、カメラ制御部11の露出制御部14は、ライブビュー(LV)画像評価値で指定領域における明部領域(明るいエリア)を選択する。
次いで、ステップS107において、カメラ制御部11の露出制御部14は、上述のステップS106の処理にて選択した明部領域の画像の輪郭データを一時的に記録する。
続いて、ステップS108において、カメラ制御部11の露出制御部14は、明部領域が適正露出となるように測光を行う。その後、元の処理シーケンスに復帰し、図13のステップS63の処理に戻る(リターン)。
ステップS63において、カメラ制御部11は、被写体追尾処理を実行する。この被写体追尾処理とは、指定された被写体、例えば上記指定領域内の被写体に関し、これが画面内で移動しても、その移動に応じて画面内における位置を追尾し続ける処理である。この被写体追尾処理は、従来のカメラで一般に実用化されている処理シーケンスが適用される。従って、その詳細説明は省略する。
続いて、ステップS64において、カメラ制御部11は、フレームレート制御処理を実行する。表示装置23の表示画面23aにライブビュー画像を表示させるとき、通常の場合には例えば30fpsのフレームレートで表示制御が行われる。ところが、上述したようにHDR処理を行う際には、複数の画像データを取得する必要がある。この複数の画像データは、できるだけ短時間に取得されるのが望ましい。そのために、フレームレートを制御することによって、単位時間内で複数画像データを取得し得るようにしている。例えば、通常30fpsのところを三倍の90fpsとなるよう表示制御される。
ステップS65において、カメラ制御部11は第1HDR処理を行い、その処理結果を出力(表示)する。ここで、第1HDR処理とは、基準露出画像とは異なる露出で取得した画像データ(この場合は、暗部に露出を合わせた画像データ;第1HDR画像という)を取得する処理である。
ここまでの処理によって、表示画面23aの表示状態は、図19(C)から図19(D)へと移行する。即ち、上述したように、使用者がタッチ操作によって指定領域を指定し、その指定領域が枠表示された状態にあるとき(図19(C)参照)、当該指定領域(第1指定領域という)に関して「測光を行い適正輝度を算出する」処理、即ち上記第1HDR処理が実行される。そして、その処理結果の画像(第1HDR画像)が、図19(D)に示すように表示画面23aに表示される。そして、この第1HDR処理が実行された後、表示画面23aには、図19(D)に示すように、ライブビュー画像に重畳させて、表示画面23a中の所定の部位(図では右下隅部)に「戻る」アイコン52や「追加」アイコン53,「OK」アイコン54等が表示される。
図13に戻って、ステップS66において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して「戻る」アイコン52に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「戻る」アイコン52のタッチ操作が確認された場合には、ステップS67の処理に進む。
続いて、ステップS67において、カメラ制御部11は、第1HDR処理を解除する処理を実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。このとき、表示画面23aの表示は、図19(D)の状態から図19(A)の状態に戻る。
一方、上述のステップS66の処理において、「戻る」アイコン52のタッチ操作が確認されない場合には、ステップS68の処理に進む。
続いて、ステップS68において、カメラ制御部11は、同様にタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して「戻る」アイコン52に相当する部位以外の部位、例えば図19(D)に示す「追加」アイコン53がタッチ操作されたか否かの確認を行う。この「追加」アイコン53は、追加のHDR処理を実行する指示を行うための指示信号を発生させる操作手段である。ここで、「追加」アイコン53のタッチ操作が確認された場合には、ステップS69の処理に進む。また、「追加」アイコン53のタッチ操作が確認されない場合には、ステップS75の処理に進む。
なお、「追加」アイコン53のタッチ操作が確認された場合、表示画面23aには、まず図19(E)で示すように、ライブビュー画像に重畳させて「タッチしてください」等のガイド表示55が表示される。なお、このときライブビュー画像は、基準露出画像データに基く画像に戻っている。
そして、図13のステップS69において、カメラ制御部11は、第2回目の領域指定(図12参照)を実行する。これにより指定された指定領域を第2指定領域というものとする。
この第2回目の領域指定においては、例えば図19(F)に示す表示画面23aにおいて、人物200を指定するものとする。これにより、当該人物200を含む領域に枠表示62が行われる。
続いて、ステップS70において、カメラ制御部11の露出制御部14は、上記第2指定領域の画像部分の輝度と、基準露出画像の指定領域以外の画像部分の輝度との比較を行う。ここで、「指定領域の輝度>基準画像の輝度」であると判断された場合には、ステップS71の処理に進む。また、「指定領域の輝度>基準画像の輝度」ではないと判断された場合には、ステップS76の処理に進む。
ステップS71において、カメラ制御部11は、露出制御部14を介して指定領域測光H処理(詳細は図15のサブルーチン)を実行する。その後、ステップS72の処理に進む。
一方、ステップS76において、カメラ制御部11は、指定領域測光L(詳細は図14のサブルーチン)を実行する。その後、ステップS72の処理に進む。
ステップS72において、カメラ制御部11は、第2HDR処理を行い、その処理結果を出力(表示)する。ここで、第2HDR処理とは、基準露出画像とは異なる露出で取得した画像データ(この場合は、明部(ステップS71)若しくは暗部(ステップS76)に露出を合わせた画像データ;第2HDR画像という)を取得する処理である。
ここまでの処理によって、表示画面23aの表示状態は、図19(F)から図19(G)へと移行する。即ち、上述したように、使用者がタッチ操作によって指定領域を指定し、その指定領域が枠表示された状態にあるとき(図19(F)参照)、この第2指定領域に関して「測光を行い適正輝度を算出する」処理、即ち上記第2HDR処理が実行される。そして、その処理結果の画像データと、上記第1HDR処理結果の画像データと、基準露出画像データとに基いて画像処理部15によってHDR画像合成処理した結果の画像が、図19(G)に示すように表示画面23aに表示される。さらに、表示画面23aには、図19(G)に示すように、HDR画像合成処理済みのライブビュー画像に重畳させて、表示画面23a中の所定の部位(図では右下隅部)に「戻る」アイコン52,「追加」アイコン53,「OK」アイコン54等が表示される。
ステップS73において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して「戻る」アイコン52に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「戻る」アイコン52のタッチ操作が確認された場合には、ステップS74の処理に進む。
続いて、ステップS74において、カメラ制御部11は、第2HDR処理を解除する処理を実行する。その後、上述のステップS66の処理に戻る。このとき、表示画面23aの表示は、図19(G)の状態から図19(D)の状態に戻る。
一方、上述のステップS73において、「戻る」アイコン52以外のタッチ操作が確認された場合には、ステップS77の処理に進む。
ステップS77において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号、若しくはタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、レリーズ指示信号が発生したか否かの確認を行う。本実施形態のカメラ1においては、レリーズ指示信号を発生させる操作手段として、例えば操作部17に含まれるレリーズボタン及びそれに連動するスイッチ部材等からなる機械的操作部材のほかに、タッチパネル25を適用している。したがって、操作部17のレリーズ操作部材が使用者によって任意のタイミングで押圧されるか、若しくはタッチパネル25の所定部位(例えば「OK」アイコン54)が使用者によって任意のタイミングでタッチ操作がなされることによって、レリーズ指示信号が発生する。カメラ制御部11は、レリーズ指示信号の発生を確認した場合には、次のステップS78の処理に進み、このステップS78において、HDR撮影処理を実行する。このHDR撮影処理によって、上述の一連の処理シーケンスによって一時的に記録されていた処理結果画像データが、メモリインタフェース20を介して記録媒体21に記録される。
このとき、表示画面23aは、図19(H)の示すように、HDR撮影処理済み画像が表示されると共に、各種アイコン表示が消滅している。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。
なお、上記ステップS72の第2HDR処理の実行終了後における表示画面23aには、図19(G)に示すように、再度「追加」アイコン53も表示するようにしている。したがって、この時点においては、「追加」アイコン53をタッチ操作することによって、再度の(第3)HDR処理を行うようにすることが可能である。その場合において、第3HDR処理の処理シーケンスは、上述の第2HDR処理と全く同様である。したがって、説明の繰り返しを避けるために、第3HDR処理を行う場合の図示及び説明は省略する。
他方、上述のステップS68の処理にて、「追加」アイコン53のタッチ操作が確認されない場合にステップS75の処理に進んだ場合には、このステップS75において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号を監視して、レリーズ指示信号が発生したか否かの確認を行う。ここで、レリーズ指示信号の発生が確認された場合には、ステップS78の処理に進み、このステップS78において、HDR撮影処理を実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。
次に、上述のHDRシーケンスケースB(図11のステップS50)の詳細を、図16を用いて以下に説明する。
このHDRシーケンスケースBは、上述したように指定領域内の輝度差が大きい場合(図11のステップS48の処理による分岐)に実行される処理である。ここで、指定領域内の輝度差が大きい場合とは、例えば図20(C)に示すような場合を想定している。即ち、図11のステップS47の処理(図12参照)にて領域指定を行っているが、このとき、タッチ操作に加えてスライド操作を行うことによって、図20(C)の枠表示63に示すように、比較的広い範囲の領域を指定するものとする。この場合の指定領域内には、太陽等の高輝度被写体201と、これに対して低輝度となる被写体200とが含まれている。
図16のステップS111において、カメラ制御部11は、指定領域測光L(詳細は図14のサブルーチン)を実行する。その後、ステップS112の処理に進む。
ステップS112において、カメラ制御部11は、指定領域測光H処理は(詳細は図15のサブルーチン)を実行する。その後、ステップS113の処理に進む。
このように、上記ステップS111,S112の各処理においては、一回の領域指定操作によって指定された指定領域内の画像データに基いて、その指定領域内の高輝度被写体201に適する露出による画像と、同指定領域内の低輝度被写体200に適する露出による画像とを、続けて自動的に取得する。
ステップS113において、カメラ制御部11は、指定領域内の被写体追尾処理を実行する。その後、ステップS114の処理に進む。
ステップS114において、カメラ制御部11は、既に取得済みの基準露出画像データと、上述のステップS111,S112の各処理の結果取得した画像データとに基いて、HDR処理を実行する。その後、ステップS115の処理に進む。
このHDR処理の結果、表示画面23aには、図20(D)に示すような表示が行われる。ここで、表示画面23aには、HDR処理結果を反映したライブビュー画像が表示され、これに重畳させて、同表示画面23a中の所定の部位(図では右下隅部)に「HDRキャンセル」アイコン56,「OK」アイコン54等が表示される。
ステップS115において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して「戻る」アイコン52に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「戻る」アイコン52のタッチ操作が確認された場合には、ステップS116の処理に進む。
続いて、ステップS116において、カメラ制御部11は、HDR処理を解除する処理を実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。
一方、上述のステップS115の処理にて、「戻る」アイコン52以外のタッチ操作が確認された場合には、ステップS117の処理に進む。
ステップS117において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号、若しくはタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、レリーズ指示信号が発生したか否かの確認を行う。ここで、レリーズ指示信号が確認された場合には、次のステップS118の処理に進み、このステップS118において、HDR撮影処理を実行する。その後、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。
上述のようにして、レリーズ操作部材の押圧操作若しくは上記「OK」アイコン54のタッチ操作等によって、レリーズ指示信号が発生すると撮影動作が実行される。これにより、表示画面23aには、HDR撮影処理済み画像が表示されると共に、各種アイコン表示が消滅して、図20(E)に示すようになる。
次に、図10のステップS43の処理(動画記録)の詳細を、図17によって以下に説明する。
上述したように、図10ステップS42の処理にて、動画記録を開始すべき旨の指示信号が確認された場合に、動画記録が実行される。このときの表示画面23aの表示例は、図21(A)に示されるような状態である。表示画面23aには、上述したように、ライブビュー画像が表示されており、これに重畳させて、所定の部位に「HDRコントロール」アイコン51(図では右下隅部)や「●REC」アイコン57(図では左上隅部)等が表示されている。なお、「●REC」アイコン57の表示は、当該カメラ1が動画記録実行中に表示されるアイコンである。
まず、図17のステップS201において、カメラ制御部11は、当該カメラ1の動作モードが、撮影モードでありかつHDRモードにあるか否かの確認を行う。ここで、HDRモードに設定されていない場合には、ステップS202の処理に進む。また、既にHDRモードに設定されている場合には、ステップS207の処理に進む。
ステップS202において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して「HDRコントロール」アイコン51に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「HDRコントロール」アイコン51のタッチ操作が確認された場合には、ステップS206の処理に進む。また、「HDRコントロール」アイコン51のタッチ操作が確認されなかった場合には、ステップS203の処理に進む。
ステップS203において、カメラ制御部11は、通常測光処理が行われ、同時に通常の露出制御処理が実行される。
続いて、ステップS204において、カメラ制御部11は、通常画像処理を実行した後、ステップS205の処理に進み、このステップS205において、カメラ制御部11は、通常動画記録を実行する。
そして、ステップS222において、カメラ制御部11は、操作制御部16を介して操作部17からの出力信号、若しくはタッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、動画記録動作の終了指示信号が発生したか否かの確認を行う。ここで、動画記録終了指示信号が確認された場合には、元の処理シーケンスに復帰し、図10のステップS41の処理に戻る(リターン)。また、動画記録終了指示信号が確認されない場合には、上述のステップS201の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS202の処理にて、「HDRコントロール」アイコン51のタッチ操作が確認されてステップS206の処理に進むと、このステップS206において、カメラ制御部11は、動作モードをHDRモードに切り換えて、同モードによる動作処理を開始する。その後、ステップS207の処理に進む。
ここで、「HDRコントロール」アイコン51のタッチ操作が行なわれると、表示画面23aは、図21(B)に示すように変化する。この状態では、表示画面23aのライブビュー画像に重畳させて、「タッチしてください」等のガイド表示55が表示される。同時に、「HDRコントロール」アイコン51の表示は消滅する。
図17に戻って、上述のステップS201の処理にてHDRモードの設定が確認された場合、及び上述のステップS206の処理にてHDRモード処理が開始された場合には、ステップS207の処理に進む。
ステップS207において、カメラ制御部11は、HDR処理のための指定領域が既に指定されているか否かの確認を行う。ここで、指定領域が指定されていない場合には、次のステップS208の処理に進む。また、指定領域が既に指定されている場合には、ステップS211の処理に進む。
ステップS208において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、HDR処理のための指定領域を指定する操作指示信号の確認を行う。ここで、操作指示信号が確認されない場合には、上述のステップS203の処理に進み、以降の処理を繰り返す。また、操作指示信号が確認された場合には、次のステップS209の処理に進む。
ステップS209において、カメラ制御部11は、領域指定(図11のステップS47;詳細は図12のサブルーチン)を実行する。その後、ステップS210の処理に進む。
ここで、領域指定操作が行われて、上記ステップS209における領域指定が実行されると、表示画面23aには、図21(B)に示すような形態で、指定領域を表わす矩形状の枠表示63が表示される。図21(B)に示す例では、指定領域である枠表示63内に、複数の輝度の異なる被写体を含んでいるものとする。
続いて、ステップS210において、カメラ制御部11は、指定領域内の被写体追尾処理を実行する。その後、上述のステップS203の処理に進み、以降の処理を繰り返す。
一方、上述のステップS207において、指定領域が既に指定されている場合にステップS211の処理に進むと、このステップS211において、カメラ制御部11は、HDRモードによる記録処理を実行中であるか否かの確認を行う。ここで、HDR記録処理中ではない場合には、次のステップS212の処理に進む。また、HDR記録処理中であることが確認された場合には、ステップS218の処理に進む。
なお、このHDR記録処理中であるとは、HDR処理済み画像を含む記録処理をいう。この処理は、後述するステップS221のHDR処理を経て上述のステップS205の動画記録が実行されている状態をいう。
ステップS212において、カメラ制御部11は、指定領域についてのHDR測光処理,露出制御処理を実行する。このHDR測光処理,露出制御処理の詳細は図18に示す通りである。
図18のステップS301において、カメラ制御部11は、指定領域測光L(詳細は図14のサブルーチン)を実行する。その後、ステップS302の処理に進む。
続いて、ステップS302において、カメラ制御部11は、指定領域測光H処理は(詳細は図15のサブルーチン)を実行する。その後、ステップS303の処理に進む。
次に、ステップS303において、カメラ制御部11は、指定領域内のダイナミックレンジ(Dレンジ)測定処理を実行する。
ステップS304において、カメラ制御部11は、露出フレーム数,撮像フレームレートの選択設定処理を実行する。
ステップS305において、カメラ制御部11は、各フレームの露出演算処理を実行する。
続いて、ステップS306において、カメラ制御部11は、動画記録動作中であるか否かの確認を行う。ここで、動画記録動作中ではないことが確認された場合(つまり、ステップS212に相当するシーケンスの場合)には、元の処理シーケンスに復帰(リターン)して、図17のステップS213の処理に進む。また、動画記録動作中であることが確認された場合(つまり、ステップS220に相当するシーケンスの場合)には、ステップS307の処理に進む。
ステップS307において、カメラ制御部11は、前回のHDR画像処理におけるHDRレンジ情報に基いて制限値の設定を行う。
動画記録時にHDR画像処理を行う場合、通常画像から瞬時にHDR処理済み画像への切り換えを行うと不自然な画像になってしまうことから、HDR画像記録を行う際には、通常画像からHDR処理済み画像への切り換え時には、例えば2−3秒の時間をかけて徐々に切り換わるようにすれば、自然な画像表現とすることができる。つまり、処理画像の変化が徐々に変化するように、例えば0.1EV毎に処理結果を変化させるような、いわゆるフェードイン効果を持たせた切り換えを行えばよい。また、HDR記録処理の終了にも、同様のフェードアウト効果を持たせた切り換えを行えばよい。上記ステップS307の処理は、そのための設定であり、上記制限値とは、処理画像を徐々に変化させるための処理具合を設定する値(例えばEV値等)である。
続いて、ステップS308において、カメラ制御部11は、HDRレンジ情報として上記制限値を記憶する。その後、元の処理シーケンスに復帰(リターン)して、図17のステップS213の処理に進む。
ステップS213において、カメラ制御部11は、HDRプレビュー画像処理を実行する。その後、ステップS214の処理に進む。
動画記録中にHDR処理を行う場合、HDR処理の結果を即時に適用すると、意図しない動画記録になってしまう虞がある。そこで、動画記録中にHDR処理を行う場合には、HDR処理結果をプレビューできるようにし、適用前に予め確認することができるようにしておけば至便である。そこで、上述のHDRプレビュー画像処理を行うようにしている。
このHDRプレビュー画像処理は、HDR処理結果を記録中の動画像データに対して適用する前に、表示画面23aにて予め確認できるようにする処理である。そのために、本実施形態のカメラ1においては、例えば図21(D)に示すように、表示画面23aのライブビュー画像に重畳させて、当該表示画面23aの一部の領域を用いて、HDR処理結果表示用の副画面64を表示させる。これと同時に、表示画面23aの所定の部位(図では右下隅部)に「START」アイコン58や「戻る」アイコン52等を表示させる。
図17に戻って、ステップS214において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、「START」アイコン58に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「START」アイコン58のタッチ操作が確認された場合には、ステップS215の処理に進む。
ステップS215において、カメラ制御部11は、HDR記録処理を開始する。これにより、表示画面23aは、図21(E)に示すように、副画面64の表示が消えると共に、「START」アイコン58,「戻る」アイコン52等に代えて「END」アイコン59が表示される。その後、ステップS216の処理に進む。
一方、上述のステップS214の処理にて、「START」アイコン58のタッチ操作が確認されなかった場合には、そのままステップS216の処理に進む。
ステップS216において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、「戻る」アイコン52に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「戻る」アイコン52のタッチ操作が確認されなかった場合には、上述のステップS205の処理に進み、以降の処理を繰り返す。また、「戻る」アイコン52のタッチ操作が確認された場合には、ステップS217の処理に進む。
ステップS217において、カメラ制御部11は、HDRプレビュー処理を解除する処理を実行する。その後、上述のステップS205の処理に進み、以降の処理を繰り返す。
なお、このHDRプレビュー処理の解除処理によって、表示画面23aは、図21(A)の状態に復帰する。
一方、上述のステップS211において、HDR記録処理中であることが確認されて、ステップS218の処理に進むと、このステップS218において、カメラ制御部11は、タッチパネルドライバ24を介してタッチパネル25からの出力信号を監視して、「END」アイコン59に相当する部位がタッチ操作されたか否かの確認を行う。ここで、「END」アイコン58のタッチ操作が確認された場合には、ステップS219の処理に進む。
ステップS219において、カメラ制御部11は、HDR記録処理を解除する処理を実行する。その後、ステップS220の処理へ進む。
また、上述のステップS218の処理にて、「END」アイコン59のタッチ操作が確認されなかった場合には、ステップS220の処理に進む。
ステップS220において、カメラ制御部11は、HDR測光,露出制御処理(詳細は図18のサブルーチン)を実行する。その後、ステップS221の処理に進む。
ステップS221において、カメラ制御部11は、HDR画像処理(記録用画像処理)を実行する。その後、ステップS205の処理に進み、以降の処理を繰り返す。
ここで、動画記録時及びライブビュー(LV)画像表示時に行われるHDR処理に関する信号処理タイミングについて、図22のタイミングチャートを用いて簡単に説明する。
図22Aは垂直同期信号を表わしている。通常撮影時には、フレームレートを30fpsとしている。この場合において、符号S1で示すタイミングでHDR処理が開始されるものとする。つまり、符号S1の時点で、まず領域指定の後、指定領域に関する測光及び露出処理が実行される。同じタイミングで、フレームレート制御が実行されて、フレームレートが三倍の90fpsに切り換わる。
これによって、図22Bに示すように、通常撮影時において一フレーム分の画像(基準画像A)を露光する時間で、三フレーム分の画像(基準A,暗部B,明部C))を取得することができるようになる。
ここで、基準画像Aは、上記基準露出画像である。また、暗部Bは、上述の説明で低輝度部分が適正露出となるようにした画像である。そして、明部Cは、上述の説明で高輝度部分が適正露出となるようにした画像である。
こうして取得された三フレーム分の画像(A,B,C)をHDR処理により合成画像処理(HDR合成)を行って得られた合成画像は、まず図22Dに示すように、表示画面23a内のサブ画面(上記副画面64)に表示される。
そして、図22Aの符号S2で示すタイミングでHDR記録処理が開始されるものとする。即ち、符号S2の時点で、「START」アイコン58がタッチ操作されたものとする。
これをトリガーとして、HDR処理済み画像が記録中の動画像データに対して適用されることになるのであるが、動画記録若しくはライブビュー画像においては、「START」アイコン58等の指示と同時に、瞬時に画像切り換えを行うと、不自然な表示になると考えられる。
そこで、図22Eに示すように、符号S2のタイミングでHDR記録を開始する時、表示中の基準画像からHDR処理画像へと切り換えるのに際し、例えば2−3秒間をかけて徐々に切り換わるようにする。この場合、処理画像の変化も徐々に変化するように、例えば0.1EV毎に処理結果が変化するように、いわゆるフェードイン効果を持たせた切り換え表示を行う(図22Eに示すHDR合成(1),HDR合成(2),HDR合成(3)を参照)。なお、「END」アイコン59のタッチ操作によって、HDR記録処理を終了させるときにも、同様のフェードアウト効果を持たせた切り換え表示を行う。
以上説明したように、上記第2の実施形態によれば、上述の第1の実施形態と同様の効果を得ることができる。また、本実施形態においては、さらに、指定領域を指定するのに際して、複数手段によって対応するようにしたので、より簡単にHDR画像処理を実現することができる。
また、本実施形態においては、動画像記録中であっても、所望のタイミングでHDR処理を挿入し、所望するタイミングで停止させるといったことが可能であるので、より広範な表現手段のための効果的な画像を得ることができる。
さらに、動画像記録の場合には、HDR処理の開始及び終了時の表示形態に工夫を施すことによって、より自然な形態で、効果的なHDR処理済み画像を含む動画像を取得し、表示させることが可能になる。
また、本実施形態においては、カメラ制御部11は、HDRモードとしたときにフレームレート制御処理を実行し、高フレームレートで動作するようにしたので、違和感のないライブビュー画像表示や動画像記録を行なうことができる。
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。また、上記各実施形態においては、カメラ本体に対して撮影レンズ鏡筒が着脱自在に構成されたいわゆるレンズ交換式カメラを例に挙げて説明しているが、この形態に限られることはなく、例えばカメラ本体に撮影レンズ鏡筒が一体に固定された形態のカメラに対しても、全く同様に適用することができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。