JP2015045759A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2015045759A JP2015045759A JP2013177239A JP2013177239A JP2015045759A JP 2015045759 A JP2015045759 A JP 2015045759A JP 2013177239 A JP2013177239 A JP 2013177239A JP 2013177239 A JP2013177239 A JP 2013177239A JP 2015045759 A JP2015045759 A JP 2015045759A
- Authority
- JP
- Japan
- Prior art keywords
- image
- control unit
- processing
- luminance
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Viewfinders (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
【課題】 表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減する。
【解決手段】 フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する。そして、この画像に含まれる画素のうち、パターンによって輝度が低下する画素の輝度を補正し、補正された画像を用いて予め定められた画像処理を行う。
【選択図】 図5
【解決手段】 フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する。そして、この画像に含まれる画素のうち、パターンによって輝度が低下する画素の輝度を補正し、補正された画像を用いて予め定められた画像処理を行う。
【選択図】 図5
Description
本発明は撮像装置およびその制御方法に関する。
例えば光学ファインダーを有するカメラでは、撮影の利便性のため、オートフォーカス(以下AF)による合焦位置など様々な情報を光学ファインダー像に重畳表示するものがある。また、フォーカシングスクリーン(ピント板、焦点板、ファインダースクリーンなどとも呼ばれる)には、構図のガイド、側光範囲、画面中央などを表す線やパターンがケガキなどの方法で描かれているのが一般的である。
一方、自動露出制御(以下AE)を行うための情報を光学ファインダー像から取得するカメラがある。特許文献1には、光学ファインダー像を受光するAEセンサ(測光センサ)を用いて取得した、光学ファインダー像の領域ごとの光電変換出力に基づいて露出値を決定するカメラが記載されている。
フォーカシングスクリーンをAEセンサから撮影すると、フォーカシングスクリーンに描かれたパターンや、フォーカシングスクリーン上で光学ファインダー像に重畳するように表示された情報が含まれた画像が得られる。フォーカシングスクリーンに描かれた画面中央を表す円形のパターンや、合焦位置の表示は画像中の被写体に重なることも多い。そのため、AEセンサで撮影した画像から被写体を検出したり追尾したりする場合、これらのパターンや表示による影響を受ける。
特許文献1では測距枠表示が領域ごとの明るさに与える影響を補正することはできるが、測距枠表示が被写体検出や被写体追尾といった画素単位の情報を利用する処理に与える影響を補正することはできない。
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することを目的とする。
上述の目的は、フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得手段と、画像に含まれる画素のうち、パターンによって輝度が低下する画素の輝度を補正する補正手段と、補正手段で補正された画像を用いて予め定められた画像処理を行う処理手段と、を有することを特徴とする撮像装置によって達成される。
本発明によれば、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することができる。
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ(DSLR)の主要な構成部品の配置例を示す側断面図である。DSLRは、本体201と本体201の前面に装着される撮影レンズ202を有する。撮影レンズ202は交換可能であり、また本体201と撮影レンズ202は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ202の中には、フォーカシングレンズ213と絞り214がある。フォーカシングレンズ213と絞り214はレンズマウント接点群215を介した、本体201による電気的な制御に従って動作し、撮影レンズ202の焦点や撮影レンズ202から入射する光量を調整する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ(DSLR)の主要な構成部品の配置例を示す側断面図である。DSLRは、本体201と本体201の前面に装着される撮影レンズ202を有する。撮影レンズ202は交換可能であり、また本体201と撮影レンズ202は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ202の中には、フォーカシングレンズ213と絞り214がある。フォーカシングレンズ213と絞り214はレンズマウント接点群215を介した、本体201による電気的な制御に従って動作し、撮影レンズ202の焦点や撮影レンズ202から入射する光量を調整する。
メインミラー203はハーフミラーであり、背面にはサブミラー204が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ202からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー204で反射して下方のAFユニット205へ入射させる。露光時などミラーアップされた状態では、光路から退避する。
AFユニット205は位相差検出方式のAFセンサである。撮影レンズ202の二次結像面を、AFユニット205が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ202のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ213を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、AFユニット205には公知の構成を適用可能であるため、AFユニット205の詳細な構成や合焦制御についての説明は省略する。本実施形態のAFユニット205では61個の測距点502(焦点検出領域またはAF枠とも呼ばれる)が図3(a)に示すようにレイアウトされているものとする。
フォーカシングスクリーン206はファインダー光学系としての撮影レンズ202の予定結像面に配置された半透明の板状部材である。フォーカシングスクリーン206には、図3(b)に示すように、スポット測光時の測光範囲の目安であるAEエリアパターン503や、自動焦点検出が行われる範囲の目安であるAFエリアパターン504が描かれている。
また、撮影レンズ202の予定結像面もしくはその近傍にはさらにファインダー表示素子220が配置されている。ファインダー表示素子220はたとえば透過型の液晶ディスプレイであり、図3(c)に示すように、例えば自動焦点検出時に61箇所の測距点502のうち、実際に用いられている測距点を示す測距点表示505を行う。本実施形態における測距点表示505は、図3(a)に示した測距点レイアウトに対応した位置で、測距点の枠を表示するものであるが、他の表示方法であってもよい。
ユーザは、アイピース209からファインダー光路変更用のペンタプリズム207を通じてフォーカシングスクリーン206を観察する。観察される光学ファインダー像は、撮影される視野の光学像と、フォーカシングスクリーン206上に描かれたパターンと、ファインダー表示素子220が表示する撮影用の情報とが重畳された像である。なお、ファインダー表示素子220には発光ダイオード(LED)、有機発光ダイオード(OLED)、有機ELディスプレイなど、他の方式の表示装置を用いてもよいし、複数の表示装置を用いてもよい。また、表示内容に応じて異なる方式の表示装置を用いてもよい。
AEユニット208は、被写体の明るさを観測するため、複数画素を持つAEセンサで光学ファインダー像を測光画像データに変換する。ここでは、AEセンサが光学ファインダー像のうち、図3(a)に示した撮像範囲501を撮影するものとする。AEセンサは画素数を除いて撮像素子211と同様の構成であってよいが、主に被写体輝度の検出に用いられるためAEセンサと呼ぶ。測光画像データは、R、G、およびB成分を有する。本実施形態においてAEユニット208は、生成された測光画像データを用いて、被写体の明るさ検出、露出演算、被写体検出および被写体追尾などを行う。なお、必要に応じて複数の測光画像データを加算することで、測光画像データのダイナミックレンジを拡張してもよい。
撮像素子211はCMOSイメージセンサやCCDイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー203およびサブミラー204を撮影光路から退避させ、フォーカルプレーンシャッタ210を開くことにより、撮像素子211が露光され、被写体光学像が撮影される。
ディスプレイ212は例えば液晶ディスプレイ(LCD)であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、GUI画面、撮影済み画像などの表示に用いたりする。
図2は、本実施形態のDSLRの機能的な構成例を示すブロック図である。なお、図1と同じ構成要素については、同一符号を付してある。
操作部301は、ユーザが本体201や撮影レンズ202に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部306に出力する。また操作部301は、レリーズボタンの押下量によってSW1信号とSW2信号を送信する。具体的には、レリーズボタンが半分程度押下されるとSW1信号を、レリーズボタンがさらに所定量押されるとSW2信号を、それぞれシステム制御部306に出力する。なお、SW1信号が出力されるレリーズボタンの押下状態を「半押し」、SW2信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「SW1保持状態」と呼び、全押し状態が維持されている状態を「SW2保持状態」と呼ぶ。また、操作部301は、レリーズボタンの押下量がSW1信号を送信するに満たない状態になるとSW1解除信号を、SW2信号を送信するに満たない状態になるとSW2解除信号を、それぞれシステム制御部306に出力する。
上述の通り、AFユニット205は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ213の合焦位置への駆動(自動焦点調節)を行う。AFユニット205は、AF制御部304および測距センサ305で構成される。測距センサ305は例えば図3(a)に示した61箇所の測距点502に対応する複数のラインセンサで構成され、サブミラー204を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をAF制御部304に出力する。AF制御部304は、測距センサ305から出力された一対の像信号の位相差に基づいて、図3(a)に示す測距点502の各々におけるデフォーカス量を計算し、合焦させる測距点を1つ選択する。そして、測距点502それぞれのデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部306に出力する。システム制御部306は、選択測距点位置およびデフォーカスマップに基づいて焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ213の位置を制御する。
AEユニット208は自動露出演算および、被写体の検出・追尾を行う。AEユニット208はAE制御部302および測光センサ303で構成される。AE制御部302は測光センサ303から読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部306に出力する。システム制御部306はAE制御部302から出力された自動露出演算の結果に基づいて、絞り214の値(開口の大きさ)を制御し、本体201に入射する光量を調節する。
また、SW1保持状態および連写中において、AE制御部302は測光センサ303による連続した撮像で順次得られる測光画像データを用いて被写体を順次検出することにより、被写体を追尾し、検出した被写体の位置情報をシステム制御部306に出力する。被写体検出処理および被写体追尾処理の詳細については後述する。システム制御部306はAE制御部302から出力された被写体の位置情報をAF制御部304に出力する。
AF制御部304は、システム制御部306から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部306に出力する選択測距点位置データを、AF制御部304が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。
システム制御部306は、操作部301からSW2信号が出力されると、メインミラー203(およびサブミラー204)をアップし、光路から退避させる。そして、フォーカルプレーンシャッタ210を駆動し、撮像素子211を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部306は、メインミラー203(およびサブミラー204)をダウンさせる。
撮像素子211は露光時間中に撮影レンズ202を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部306へ出力する。システム制御部306は撮像素子211から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ212で表示させたり、画像記憶装置307へ書き込んだりする。
図3はフォーカシングスクリーン206で観察される像について説明するための図である。図3(a)は本実施形態におけるフォーカシングスクリーン206と撮像範囲501および測距点502との位置関係を示す。本実施形態ではフォーカシングスクリーン206の全体が撮像範囲501であるものとする。また、本実施形態では61箇所の測距点502が図のように配置されているものとする。図3(a)では測距点502のレイアウトを例示するためにそれぞれを枠で図示しているが、実際にはこれらの枠はフォーカシングスクリーン206上には存在しない。
図3(b)は、光学ファインダーのアイピース209からフォーカシングスクリーン206を観察した際に視認されるファインダー像の例を示す。図3(b)では、撮像範囲内に存在する人物の被写体506に合焦している状態を示しており、61箇所の測距点502のうち、合焦状態にある6箇所の測距点に対応する枠状の測距点表示505を、ファインダー表示素子220が表示している。図3(b)に示すように、測距点表示505は、被写体光学像506と重畳して観察される。
図3(c)はフォーカシングスクリーン206上に描かれたパターンの例を示す。パターンは例えば罫書きにより設けられる。AEエリアパターン503はスポット測光時の測光範囲の目安を示し、AFエリア表示504は自動焦点検出(AF)が可能な範囲の目安を示している。ここでは便宜上、図3(b)に示していないが、フォーカシングスクリーン206に設けられたパターン503,504はフォーカシングスクリーン206に直接描かれているため、実際には図3(c)の状態でも視認される。
つまり、光学ファインダーのアイピース209からフォーカシングスクリーン206を観察すると、被写体光学像、ファインダー表示素子220による表示、およびフォーカシングスクリーン206上のパターンが重なったファインダー像が視認される。
続いて、本実施形態におけるDSLRの動作について説明する。
図4は、AF制御部304、システム制御部306、AE制御部302の動作シーケンスを示す図であり、前半がSW1保持状態における動作シーケンスを、後半がSW2保持状態の動作シーケンスを示している。なお、図4は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ(高さ)と処理時間の長さとはなんら関連性を有さない。
図4は、AF制御部304、システム制御部306、AE制御部302の動作シーケンスを示す図であり、前半がSW1保持状態における動作シーケンスを、後半がSW2保持状態の動作シーケンスを示している。なお、図4は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ(高さ)と処理時間の長さとはなんら関連性を有さない。
S401は、レリーズボタンが半押しされ、操作部301からシステム制御部306へSW1信号が出力されたタイミングを示している。SW1信号の入力を受けたシステム制御部306はAF制御部304へAF開始信号D01を出力し、AF制御部304は動作を開始する。
S403でAF制御部304は、測距センサ305に蓄積を行わせる。
S404でAF制御部304は、測距センサ305から像信号を読み出す。
S405でAF制御部304は、ユーザが任意に選択した測距点について、読み出した像信号に基づく焦点検出演算を行う。あるいは、AF制御部304は、読み出した像信号に基づいて複数の測距点に対して被写体の距離情報を求め、最至近の距離情報が得られた測距点を選択して焦点検出演算を行う。AF制御部304は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号D02をシステム制御部306に出力する。
S404でAF制御部304は、測距センサ305から像信号を読み出す。
S405でAF制御部304は、ユーザが任意に選択した測距点について、読み出した像信号に基づく焦点検出演算を行う。あるいは、AF制御部304は、読み出した像信号に基づいて複数の測距点に対して被写体の距離情報を求め、最至近の距離情報が得られた測距点を選択して焦点検出演算を行う。AF制御部304は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号D02をシステム制御部306に出力する。
システム制御部306は、選択された測距点に合焦するように、焦点演算結果信号D02に基づいてフォーカシングレンズ213を駆動し、焦点調節を行う。焦点調節が完了すると、システム制御部306は、AF開始信号D03をAF制御部304に、AE開始信号D04をAE制御部302に、それぞれ出力する。
S406でAE制御部302は、AE開始信号D04を受信すると測光センサ303による蓄積動作(すなわち、撮影)を開始する。AF開始信号D03を受信したAF制御部304も測距センサ305による蓄積動作を開始するため、測距センサ305および測光センサ303での蓄積動作は同じタイミングで開始される。これにより、測距センサ305と測光センサ303とから、同じシーンを同じタイミングで撮影された像信号(画像)が得られる。
S407でAE制御部302は、測光センサ303から測光画像データを読み出す。
S407でAE制御部302は、測光センサ303から測光画像データを読み出す。
S420で補正手段としてのAE制御部302は、S407で読み出した測光画像データに、フォーカシングスクリーン206のパターンによる影響を補正するための画像処理を含んだ画像処理を適用する。フォーカシングスクリーン206のパターンにより、パターンに対応する位置の画素に入射する光量が低下するため、パターンに対応する位置の画素の輝度は本来の(パターンがない場合の)輝度より低下している。そのため、パターンの影響を受けない画素よりも大きなゲインを適用する。
また、フォーカシングスクリーン206のパターンの補正以外の画像処理としては、ファインダー光学系の口径食による周辺光量落ちの補正、測光センサ303の撮影角度によって生じる画像の明るさの変化の補正がある。必要があればさらに測光センサ303の欠陥画素補正などを行ってもよい。これらはいずれも、画素の輝度に適用するゲインの調整で実現できる画像処理である。
ファインダー光学系はスペースが限られるので、十分な口径を確保することが難しい。そのため、口径食によって光学ファインダー像の周辺光量が低下する。周辺光量の低下は像高が大きいほど大きいので、画像の中央からの距離に応じて徐々に大きくなるゲインを適用する。
AEユニット208とフォーカシングスクリーン206との位置関係などにより、正面から撮影できない場合、例えば画像の上が明るく、下が暗くなるといったように、画像の明るさに差が生じる。そのため、この明るさの差を補正するような(上述の例では上部は低く、下部は高い)ゲインを適用する。
図7は、フォーカシングスクリーン206のパターンの補正を行うために各画素に適用するゲインを模式的に示した図である。このように、各画素の位置に対応したゲインを例えばテーブルとして予め用意しておくことができる。なお、ゲインと画素位置とが対応付けられていれば、テーブルに限らずどのような形態であってもよい。また、画素位置からゲインが取得可能な演算式を用意し、補正時にゲインを求めてもよい。図7の例では、ゲイン量80hが1.0倍のゲインを表す。AFエリアパターン504に対応した位置の画素に対するゲイン量801はa0hに設定されており、a0h/80h=1.25倍のゲイン量が適用される。
フォーカシングスクリーン206のパターンによる光量低下、ファインダー光学系の口径食による周辺光量低下、測光センサ303の撮影角度による光量のばらつきは、基本的に変化しない。そのため、個々の補正を実現するゲイン量を合成した補正ゲインを、個々の画素位置について求め、補正ゲインテーブルとして用意しておくことができる。例えば、補正を実現するゲイン量と1倍のゲイン量との差を個々の補正に対して求めて合計したのち、1倍のゲイン量と加算することで、ゲイン量を合成することができるが、他の方法を用いてもよい。
なお、フォーカシングスクリーン206が交換可能な場合には、パターンも変化するため、補正ゲインテーブルをフォーカシングスクリーンの種類ごとに用意する。また、フォーカシングスクリーンの種類によって周辺光量の低下特性が変わる場合もあるため、周辺光量の低下を補正する場合にはそれも考慮して補正ゲインテーブルを用意する。
補正ゲインテーブルは、定常的な影響を補正するためのものであるため、ファインダー表示素子220による表示のように変化する影響を補正するためのゲイン量を反映させてから測光画像データに適用する必要がある。
そのため、S420でAE制御部302は、まずファインダー表示素子220が表示している項目(および表示位置が一定でない項目については表示位置も)について検出する。表示位置が固定である場合には、表示位置を検出する必要は無い。例えば、AE制御部302はS420の実行時に合焦している測距点を検出し、補正ゲインテーブル内の、測距点表示505の影響を受けて輝度が低下する画素位置のゲインに、測距点表示による輝度の低下を補正するためのゲインを合成する。図7において、測距点表示に対応した位置の画素に対するゲイン量802はa0hに設定されており、a0h/80h=1.25倍のゲイン量が適用される。なお、AFエリアパターン504による輝度の低下を補正するためのゲインと同じ値であるのは単なる例である。
このように、定常的な影響を補正するためのゲインに、表示位置が一定でない表示による影響のように動的に生じる影響を補正するためのゲインを反映したのち、AE制御部302は例えば内蔵のゲイン回路を用いて測光画像データの各画素にゲインを適用する。なお、AE制御部302は1倍以外のゲインを適用すべき画素にだけゲインを適用してもよい。
S408でAE制御部302は被写体追尾処理を行う。AE制御部302は、過去に実行した追尾テンプレート生成処理(S413)で生成されたテンプレート画像を追尾対象画像とし、S420で画像処理を適用した画像データとテンプレートマッチングを行う。そして、生成した画像中における追尾対象の位置(被写体座標)を被写体追尾結果として検出する。
AE制御部302における被写体追尾結果D5は、システム制御部306で中継され、被写体追尾結果D06としてAF制御部304に通知される。なお、テンプレート画像が生成されていない場合、S408の被写体追尾処理は省略される。
S409でAE制御部302は、S407で読み出した測光画像データに基づいて露出演算を行い、露出演算結果D08をシステム制御部306に出力する。
一方、システム制御部306がAE開始信号D4と同時に出力したAF開始信号D03を受け取ったAF制御部304は、上述したようにS403〜S404の処理を実行し、S410でS405と同様の処理により焦点検出を行う。
S411でAF制御部304は、システム制御部306を通じて被写体追尾結果D06を受け取り、最も近い測距点かS410で選択した測距点を用いることを決定する。そして、AF制御部304は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号D07をシステム制御部306に出力する。なお、選択測距点位置は具体的な測距点の位置を表す情報であってもいいが、測距点ごとの位置に関する情報が別途利用できる場合には、測距点番号など、測距点を特定できる情報であってもよい。
システム制御部306は焦点演算結果信号D07に含まれる選択測距点位置情報とデフォーカスマップとに基づいて焦点調節を行う。また、システム制御部306は、焦点演算結果信号D07に含まれる選択測距点位置情報と、以前の選択測距点位置情報とから、選択測距点が変更されたかどうかを判別する。そして、システム制御部306は、選択測距点が変更(再選択)されていれば、測距点再選択フラグをTRUEに、選択測距点が変更(再選択)されていなければ、測距点再選択フラグをFALSEにする。システム制御部306は、焦点演算結果信号D07に含まれる選択測距点位置情報と、測距点再選択フラグをデータD10としてAE制御部302に通知する。
S413でAE制御部302は、データD10に基づいて追尾テンプレートを生成する。この処理の詳細については後述する。ここで生成された追尾テンプレートは、次のコマ(フレーム)以降の被写体追尾処理に用いられる。
S501においてSW2信号の出力が開始されると、システム制御部306は、AE制御部302が繰り返し処理におけるS409の露出演算(および必要な場合はS413の追尾テンプレートの作成)を終えてから、本撮影処理を開始する。なお、露出演算が終了した時点で本撮影処理を開始し、追尾テンプレートの作成はバックグランド処理で行ってもよい。
本撮影処理においてシステム制御部306は、S502でシステム制御部306はメインミラー203(およびサブミラー204)をアップさせて光路から退避させる。また、直前に得られた、露出演算結果ならびに選択測距点に対するデフォーカス量とに応じて、フォーカシングレンズ213の駆動および絞り214、フォーカルプレーンシャッタ210の制御を行い、S503で本撮影を実行する。その後、S504でシステム制御部306は、メインミラー203(およびサブミラー204)をダウンさせる。
また、システム制御部306は、SW2信号の出力が開始されると、AF制御部304にレリーズ開始信号D11、AE制御部302にレリーズ開始信号D12を出力する。レリーズ開始信号D11およびD12を受信したAF制御部304およびAE制御部302は、その時点で行っていた処理を中断する。そして、システム制御部306はミラーダウン動作S504を完了した際にSW2信号が出力されていれば、AF制御部304へAF開始信号D03を、AE制御部302へAE開始信号D04をそれぞれ出力する。そして、連写の2コマ目の本撮影処理が開始される。2コマ目からはS403ならびにS406の処理から開始される。2コマ目の処理におけるS411で測距点が変更された場合には、S503で本撮影が行われた後、AE制御部302で次のコマに用いるための新たな追尾テンプレートの作成が行われる(S413)。
続いて、S408における被写体追尾処理および、S413におけるテンプレート画像生成処理について、図5のフローチャートを用いて説明する。
まず、図5(a)に示すフローチャートを用いて、S413におけるテンプレート画像生成処理について説明する。
まず、図5(a)に示すフローチャートを用いて、S413におけるテンプレート画像生成処理について説明する。
S101でAE制御部302は、データD10に基づいて、S407で生成した測光画像データからテンプレートとして抽出する領域を決定する。測距点再選択フラグがTRUEの場合、直前に実行したS408の被写体追尾処理で検出した結果に基づく測距点が選択されている。そのため、AE制御部302は、被写体追尾処理で得られた位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域(所定領域)に設定する。一方、測距点再選択フラグがFALSEの場合、データD10に含まれる選択測距点位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域(所定領域)に設定する。
被写体追尾処理の結果が測距点の選択に採用されていない場合、追尾用のテンプレート画像としては不適切であるため、このような分岐処理を行う。
被写体追尾処理の結果が測距点の選択に採用されていない場合、追尾用のテンプレート画像としては不適切であるため、このような分岐処理を行う。
S102でAE制御部302は、テンプレート領域内(所定領域内)の画素の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は例えば以下のように行うことができる。まず、RGB色空間を、R信号、G信号、B信号のそれぞれの強さを0〜7の8段階に分割する。これにより、RGB色空間は8×8×8の512のブロック(座標)に分割される。そして、テンプレート領域内の各画素の色信号をRGB色データに変換し、R信号、G信号、B信号のそれぞれの強さに基づいてRGB色空間の対応するブロック(座標)に分類する。これをテンプレート領域内の全ての画素について行い、512のブロックのうち、分類された画素が最も多いブロックに対応する色(RGB)を、追尾対象の特徴色とする。
なお、分類された画素が最も多いブロックが複数あれば、複数のブロックに対応する色を追尾対象の特徴色とする。また、分類された画素が最も多いブロックの代わりに、分類された画素数が一定値以上である1つ以上のブロックとしたり、分類された画素数が上位の所定数のブロックとしたりすることもできる。また、分類された画素が最も多いブロックに分類された画素数が所定の閾値以上である場合や、2番目に分類された画素数が多いブロックに分類された画素数との差が所定の閾値以上である場合に、分類された画素が最も多いブロックだけを特徴色としてもよい。
S107でAE制御部302は測光画像からテンプレート領域を切り出し、テンプレート領域画像を作成する。
S108でAE制御部302は、特定の色を高輝度に、他の色を低輝度に変換する3次元ルックアップテーブルを作成する。具体的には、追尾対象の特徴色については高輝度に変換し、他の色は低輝度に変換するとともに、光学ファインダー像に情報を重畳表示するために用いられている色は追尾対象の特徴色に含まれていても低輝度に変換するようなルックアップテーブルである。もっとも単純な場合、低輝度を0(黒)、高輝度を1(白)とした二値画像に変換するルックアップテーブルであってよい。
S108でAE制御部302は、特定の色を高輝度に、他の色を低輝度に変換する3次元ルックアップテーブルを作成する。具体的には、追尾対象の特徴色については高輝度に変換し、他の色は低輝度に変換するとともに、光学ファインダー像に情報を重畳表示するために用いられている色は追尾対象の特徴色に含まれていても低輝度に変換するようなルックアップテーブルである。もっとも単純な場合、低輝度を0(黒)、高輝度を1(白)とした二値画像に変換するルックアップテーブルであってよい。
図6(b)は、ルックアップテーブルに登録された特徴色のブロックの例を、図6(a)に示したRGB色空間で模式的に示した図である。このように、RGBブロック単位で、高輝度に変換する色が登録される。図6(b)では、S102で決定した追尾対象の特徴色が、(R,G,B)=(2,6,0)〜(4,7,2)の複数のブロックに対応(分布)している例を示している。
S109でAE制御部302は、テンプレート領域画像内の各画素に対してS108で作成したルックアップテーブルを適用し、特徴色を有する画素を高輝度に、他の色の画素は低輝度に変換した輝度画像を生成し、最終的なテンプレート画像とする。
S408の被写体追尾処理ではこのテンプレート画像を用いてテンプレートマッチングを行う。これにより、追尾対象の特徴色を強調した状態で輝度画像によるテンプレートマッチングを行うことができるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。
続いて、S408の被写体追尾処理(被写体検出処理)について図5(b)に示したフローチャートを用いて説明する。
S121でAE制御部302は、S407で測光センサ303から取得した測光画像の各画素に対し、S108で作成したルックアップテーブルを適用する。つまり、測光センサ303で撮影している動画像の1つ前のフレーム(コマ)に対するテンプレート生成処理(S413)で抽出された特徴色の画素を高輝度に、他の色の画素を低輝度に変換した色変換画像(輝度画像)を生成する。
S121でAE制御部302は、S407で測光センサ303から取得した測光画像の各画素に対し、S108で作成したルックアップテーブルを適用する。つまり、測光センサ303で撮影している動画像の1つ前のフレーム(コマ)に対するテンプレート生成処理(S413)で抽出された特徴色の画素を高輝度に、他の色の画素を低輝度に変換した色変換画像(輝度画像)を生成する。
S122でAE制御部302は、前のフレーム(コマ)に対するテンプレート生成処理(S413)で作成したテンプレート画像を用いたテンプレートマッチングにより、色変換画像の中でテンプレート画像と最も相関の高い領域を検出対象として検出する。
このような色変換を行った画像を用いてテンプレートマッチングを行うことにより、追尾対象の特徴色の情報は失わずに輝度画像を用いて処理できるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。
AE制御部302は、検出した追尾対象の位置を被写体追尾結果D5に含めてシステム制御部306に出力する。システム制御部306は追尾対象の位置を被写体追尾結果D06としてAF制御部304に出力する。
AF制御部304は、測距点再選択処理S411において、被写体追尾結果D06で通知された追尾対象位置を含む測距点あるいは近傍(所定範囲内)の測距点を探索する。そして、該当する測距点があれば、その測距点を新たな選択測距点とする再選択処理を行う。
以上説明したように本実施形態によれば、例えば測光画像のように、表示装置が表示した情報やフォーカシングスクリーン上のパターンが光学ファインダー像に重畳した画像における、情報表示やパターンによる影響を補正する。これにより、重畳表示された情報が画像処理に与える影響を低減することができ、例えば測光用の画像を用いた被写体検出処理や被写体追尾処理の精度を向上させることができる。
(その他の実施形態)
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追跡だけでなく、色情報を用いた追跡を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追跡だけでなく、色情報を用いた追跡を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得手段と、
前記画像に含まれる画素のうち、前記パターンによって輝度が低下する画素の輝度を補正する補正手段と、
前記補正手段で補正された画像を用いて予め定められた画像処理を行う処理手段と、
を有することを特徴とする撮像装置。 - 前記光学ファインダー像に重畳するように情報を表示する表示手段をさらに有し、
前記補正手段が、前記表示手段によって表示されている情報によって輝度が低下する画素の輝度についても補正することを特徴とする請求項1記載の撮像装置。 - 前記表示手段が、表示位置が一定でない情報を表示し、
前記補正手段は、前記表示手段が前記表示位置が一定でない情報を表示している場合には、該情報の表示位置に対応する位置の画素の輝度を補正することを特徴とする請求項2記載の撮像装置。 - 前記補正手段がさらに、前記取得手段が取得する画像における、前記光学ファインダー像を形成する光学系による周辺光量の低下の補正、前記画像の撮影角度による明るさの差の補正、前記画像を撮影する撮像素子の欠陥画素の補正、の少なくとも1つを行うことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
- 前記予め定められた画像処理が、前記画像の所定領域内に含まれる画素の特徴色を用いた被写体検出処理もしくは被写体追尾処理であることを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
- 前記画像を、前記特徴色とそれ以外の色を有する画素とを異なる輝度で表す輝度画像に変換する変換手段をさらに有し、
前記処理手段は、前記輝度画像を用いて前記被写体検出処理もしくは被写体追尾処理を行うことを特徴とする請求項5記載の撮像装置。 - 前記特徴色が、色空間を複数のブロックに分割した際、前記所定領域内に含まれる画素の色が最も多く含まれるブロックに対応する色であることを特徴とする請求項5または6に記載の撮像装置。
- 前記取得手段が、測光センサを用いて前記画像を取得することを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
- 取得手段が、フォーカシングスクリーンに設けられたパターンが光学ファインダー像に重畳した画像を取得する取得工程と、
補正手段が、前記画像に含まれる画素のうち、前記パターンによって輝度が低下する画素の輝度を補正する補正工程と、
処理手段が、前記補正工程で補正された画像を用いて予め定められた画像処理を行う処理工程と、
を有することを特徴とする撮像装置の制御方法。 - 撮像装置のコンピュータに、請求項9記載の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177239A JP2015045759A (ja) | 2013-08-28 | 2013-08-28 | 撮像装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177239A JP2015045759A (ja) | 2013-08-28 | 2013-08-28 | 撮像装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015045759A true JP2015045759A (ja) | 2015-03-12 |
Family
ID=52671313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177239A Pending JP2015045759A (ja) | 2013-08-28 | 2013-08-28 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015045759A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114449199A (zh) * | 2021-08-12 | 2022-05-06 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
-
2013
- 2013-08-28 JP JP2013177239A patent/JP2015045759A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114449199A (zh) * | 2021-08-12 | 2022-05-06 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6512810B2 (ja) | 撮像装置および制御方法とプログラム | |
JP5950664B2 (ja) | 撮像装置およびその制御方法 | |
JP2014044345A (ja) | 撮像装置 | |
JP2006279546A (ja) | 電子カメラ、画像処理プログラム、および画像処理方法 | |
TWI393981B (zh) | Use the flash to assist in detecting focal lengths | |
JP2010091669A (ja) | 撮像装置 | |
JP2016018116A (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
US9894339B2 (en) | Image processing apparatus, image processing method and program | |
JP2014202875A (ja) | 被写体追跡装置 | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP6700818B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2012208507A (ja) | 画像追尾装置 | |
JP6346484B2 (ja) | 画像処理装置およびその制御方法 | |
JP5800600B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP6834988B2 (ja) | 制御装置 | |
JP2015045759A (ja) | 撮像装置およびその制御方法 | |
JP5930792B2 (ja) | 撮像装置およびその制御方法 | |
JP2022012301A (ja) | 情報処理装置、撮像装置、制御方法およびプログラム | |
JP2018006802A (ja) | 撮像装置、その制御方法、及びプログラム | |
JP5981898B2 (ja) | 撮像装置およびその制御方法 | |
JP2010282107A (ja) | 撮像装置及びその制御方法 | |
JP5018932B2 (ja) | 撮像装置 | |
JP2009017093A (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP2016099432A (ja) | 焦点検出装置及び方法、プログラム、記憶媒体 | |
JP2014164028A (ja) | 撮像装置および撮影パラメータの切り替え方法ならびにプログラム |