JP2009177272A - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2009177272A
JP2009177272A JP2008011069A JP2008011069A JP2009177272A JP 2009177272 A JP2009177272 A JP 2009177272A JP 2008011069 A JP2008011069 A JP 2008011069A JP 2008011069 A JP2008011069 A JP 2008011069A JP 2009177272 A JP2009177272 A JP 2009177272A
Authority
JP
Japan
Prior art keywords
scene
captured image
information
value
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008011069A
Other languages
English (en)
Inventor
Toshiki Ono
俊樹 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008011069A priority Critical patent/JP2009177272A/ja
Priority to EP08173046A priority patent/EP2083565A3/en
Priority to TW098101032A priority patent/TWI390337B/zh
Priority to US12/321,407 priority patent/US8081238B2/en
Priority to KR1020090005033A priority patent/KR20090080910A/ko
Priority to CN2009100033733A priority patent/CN101567976B/zh
Publication of JP2009177272A publication Critical patent/JP2009177272A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】撮像画像に含まれる被写体の特定シーンを適切に記録する。
【解決手段】シーン度合スコア算出部252は、EV値およびEV値評価パラメータを用いてEV値評価値を算出し、ヒストグラムおよびヒストグラム評価パラメータを用いてヒストグラム評価値を算出する。シーン指数算出部255は、撮像画像上の各領域の輝度の平均値と、シーン頻度パターンと、評価値変換テーブルとを用いて分割領域評価値を算出する。シーン判定部256は、算出されたEV値評価値およびヒストグラム評価値と、算出された分割領域評価値とに基づいて、撮像画像に含まれる被写体のシーンを判定する。撮像制御部は、シャッタ操作が受け付けられ、被写体のシーンが夜景シーンまたは逆光シーンであると判定された場合には、少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる。
【選択図】図3

Description

本発明は、撮像装置に関し、特に、複数の撮像記録パラメータによる撮像が可能な撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、人物や風景等の被写体を撮像して撮像画像として記録するデジタルスチルカメラ等の撮像装置が普及している。これらの撮像装置として、撮像画像に含まれる被写体のシーンを判定し、この判定されたシーンに応じて各撮像条件を設定する撮像装置が提案されている。
例えば、撮像画像に含まれる被写体の逆光状態を判定し、この撮像画像における逆光状態に応じた逆光補正を行う撮像装置が提案されている(例えば、特許文献1参照。)。
特開2004−235956号公報(図1)
上述の従来技術によれば、撮像画像に含まれる被写体の逆光状態を判定することにより、逆光状態に応じた逆光補正を行うことができる。しかしながら、例えば、撮像画像に含まれる被写体の大きさや配置等によっては、逆光シーンが屋内シーンや順光シーン等の逆光シーン以外の屋外シーンと似ている状態となることがあるため、逆光シーンの判別が困難である場合がある。また、逆光シーンや夜景シーン等の特定シーンを撮像することは、初心者の撮影者にとって困難である場合が多いものの、撮影者の好みに応じて撮像画像を記録したい場合がある。そこで、例えば、逆光シーンや夜景シーン等の特定シーンについても、撮影者の好みに応じた撮像画像を記録することが考えられるものの、その特定シーンの撮像画像の記録に失敗するおそれがある。このような場合でも、その特定シーンを適切に記録することが重要である。
そこで、本発明は、撮像画像に含まれる被写体の特定シーンを適切に記録することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、シャッタ操作を受け付けるシャッタ操作受付手段と、被写体を撮像して撮像画像を生成する撮像手段と、上記撮像画像全体の明るさを示す明るさ情報を上記撮像画像から抽出する明るさ情報抽出手段と、上記撮像画像における輝度値の分布状態を示す輝度値分布情報を上記撮像画像から抽出する輝度値分布情報抽出手段と、上記抽出された明るさ情報および上記抽出された輝度値分布情報に基づいて上記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と、上記シャッタ操作が受け付けられた場合において上記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像から抽出された明るさ情報および撮像画像から抽出された輝度値分布情報に基づいて、撮像画像に含まれる被写体のシーンを判定し、シャッタ操作が受け付けられた場合において、撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には、少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させるという作用をもたらす。
また、この第1の側面において、各種のシーンに応じた上記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、上記抽出された明るさ情報に対応する上記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに上記抽出された輝度値分布情報に対応する上記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して上記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段とをさらに具備し、上記シーン判定手段は、上記シーン毎に算出された判定評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像から抽出された明るさ情報に対応する明るさ情報評価値パラメータを用いて、明るさ情報評価値をシーン毎に算出するとともに、撮像画像から抽出された輝度値分布情報に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出し、このシーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出し、このシーン毎に算出された判定評価値に基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。
また、この第1の側面において、上記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段をさらに具備し、上記シーン判定手段は、上記抽出された明るさ情報と上記抽出された輝度値分布情報と上記抽出された輝度値領域情報とに基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像全体から抽出された明るさ情報と、撮像画像から抽出された輝度値分布情報と、撮像画像の分割領域から抽出された輝度値領域情報とに基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。
また、この第1の側面において、各種のシーンに応じた上記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、上記各種のシーンに応じた上記輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と上記抽出された輝度値領域情報を上記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、上記抽出された明るさ情報に対応する上記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに上記抽出された輝度値分布情報に対応する上記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して上記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段と、上記抽出された輝度値領域情報について上記領域群情報および上記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段とをさらに具備し、上記シーン判定手段は、上記シーン毎に算出された判定評価値および分割領域評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するようにしてもよい。これにより、撮像画像から抽出された明るさ情報に対応する明るさ情報評価値パラメータを用いて、明るさ情報評価値をシーン毎に算出するとともに、撮像画像から抽出された輝度値分布情報に対応する輝度値分布情報評価値パラメータを用いて、輝度値分布情報評価値をシーン毎に算出し、このシーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出し、撮像画像の分割領域から抽出された輝度値領域情報について、領域群情報および評価値変換テーブルを用いて分割領域評価値をシーン毎に算出し、シーン毎に算出された判定評価値および分割領域評価値に基づいて撮像画像に含まれる被写体のシーンを判定するという作用をもたらす。
また、この第1の側面において、上記分割領域評価値算出手段は、上記撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には上記分割領域評価値を増加させる補正を行うようにしてもよい。これにより、撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には、分割領域評価値を増加させる補正を行うという作用をもたらす。
また、この第1の側面において、所望の撮像記録パラメータを設定する操作内容を受け付ける撮像記録パラメータ操作受付手段をさらに具備し、上記制御手段は、上記シャッタ操作が受け付けられた場合において上記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも上記設定された撮像記録パラメータと上記判定された所定のシーンに応じた撮像記録パラメータとを用いて撮像画像を記録させるようにしてもよい。これにより、シャッタ操作が受け付けられた場合において、撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には、少なくとも設定された撮像記録パラメータと、判定された所定のシーンに応じた撮像記録パラメータとを用いて撮像画像を記録させるという作用をもたらす。
また、この第1の側面において、上記所定のシーンは、夜景シーンまたは逆光シーンとするようにしてもよい。これにより、夜景シーンまたは逆光シーンに応じた撮像記録パラメータを用いて撮像画像を記録させるという作用をもたらす。
また、この第1の側面において、上記撮像画像の記録に用いられる撮像記録パラメータについて所定時間継続して同一の撮像記録パラメータが設定されている場合に当該所定時間継続して設定されている撮像記録パラメータに関する標識を表示させる表示制御手段をさらに具備するようにしてもよい。これにより、撮像画像の記録に用いられる撮像記録パラメータについて所定時間継続して同一の撮像記録パラメータが設定されている場合には、この所定時間継続して設定されている撮像記録パラメータに関する標識を表示させるという作用をもたらす。
また、本発明の第2の側面は、シャッタ操作を受け付けるシャッタ操作受付手段と、被写体を撮像して撮像画像を生成する撮像手段と、各種のシーンに応じた撮像画像の所定領域における輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と上記輝度値領域情報を上記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、上記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段と、上記抽出された輝度値領域情報について上記領域群情報および上記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段と、上記シーン毎に算出された分割領域評価値に基づいて上記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と、上記シャッタ操作が受け付けられた場合において上記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像を複数の領域に分割し、この分割された各領域における輝度値領域情報を抽出し、この抽出された輝度値領域情報について、領域群情報および評価値変換テーブルを用いて分割領域評価値をシーン毎に算出し、このシーン毎に算出された分割領域評価値に基づいて撮像画像に含まれる被写体のシーンを判定し、シャッタ操作が受け付けられた場合において、撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には、少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させるという作用をもたらす。
本発明によれば、撮撮像画像に含まれる被写体の特定シーンを適切に記録することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、レンズ111と、アイリス機構部112と、シャッタ機構部113と、撮像素子114と、レンズ制御部115と、TG(タイミングジェネレータ:タイミング信号発生回路)116と、アナログ信号処理部121と、A/D変換部122と、デジタル信号処理部123と、メイン制御部200と、操作受付部130と、シャッタレリーズボタン131と、表示部140と、記録部150と、外部I/F(インターフェース)160と、EEPROM(Electrically Erasable and Programmable Read Only Memory)171と、RAM(Random Access Memory)172と、ブレ検出部180と、充電/発光制御部191と、発光部192とを備える。撮像装置100は、例えば、被写体を撮像して画像データを生成し、この画像データについて画像解析により各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なデジタルスチルカメラによって実現することができる。
レンズ111は、被写体からの光を集光する複数のレンズ(ズームレンズ、フォーカスレンズ等)から構成され、入射された被写体からの光がこれらのレンズを介して撮像素子114に供給される。また、これらのレンズが、ズーム制御機構部(図示せず)、フォーカス制御機構部(図示せず)、または、手ブレ制御機構部(図示せず)により駆動される。例えば、メイン制御部200からの制御信号に基づいてズーム制御機構部またはフォーカス制御機構部が駆動制御されることにより、ズーム制御またはフォーカス制御が行われる。また、ブレ検出部180により検出された撮像装置100のブレ情報と、現在の補正光学系の位置情報とに基づいて、補正光学系が移動すべき位置がメイン制御部200により決定され、この決定に基づいて手ブレ制御機構部が駆動制御され、手ブレ補正制御が行われる。
アイリス機構部112は、メイン制御部200からの制御信号に基づいて、レンズ111を介して入射する光を透過させる開口の大きさを制御するものである。シャッタ機構部113は、メイン制御部200からの制御信号に基づいて、レンズ111を介して入射する光を透過させる時間(露光時間)を制御するものである。このシャッタ機構部113を制御するための制御信号は、シャッタレリーズボタン131の押下操作に応じて発生する制御信号である。このように、アイリス機構部112およびシャッタ機構部113によって露光光量が制御される。
撮像素子114は、撮像面に色フィルタが設けられているカラー撮像素子であり、TG116から供給される駆動パルスに従って動作することにより、レンズ111を介して入射された被写体からの光に応じた被写体像を撮像面に結像する。そして、撮像面に結像された被写体像に応じたアナログの画像信号を生成し、生成されたアナログの画像信号をアナログ信号処理部121に供給する。なお、撮像素子114として、例えば、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を用いることができる。
レンズ制御部115は、メイン制御部200からの制御信号に基づいて、ズーム制御機構部、フォーカス制御機構部、または、手ブレ制御機構部を制御するものである。
TG116は、メイン制御部200からの制御信号に基づいて、撮像素子114が1画面毎の画像信号の蓄積および読み出しに必要とする各種の駆動パルスを発生するものであり、発生された各種の駆動パルスを撮像素子114に供給する。すなわち、これらの各種の駆動パルスは、画像信号の撮像処理や出力処理のタイミング信号として用いられる。
アナログ信号処理部121は、撮像素子114から供給された画像信号について、サンプリング処理(S/H)や増幅処理(AGC)等のアナログ処理を施すものであり、アナログ処理が施されたアナログの画像信号をA/D変換部122に供給する。
A/D変換部122は、アナログ信号処理部121から供給されたアナログの画像信号を所定のサンプリングレートでサンプリングすることによりデジタルの画像信号に変換するものであり、この変換されたデジタルの画像信号をデジタル信号処理部123に供給する。
デジタル信号処理部123は、A/D変換部122から供給されたデジタルの画像信号から、フレーミング、静止画像撮像、オートフォーカス、測光等に必要となる各種信号を生成するものであり、生成された各種信号をメイン制御部200に出力する。例えば、フレーミング時には、デジタル信号処理部123は、入力画像信号から表示画像信号を生成し、この生成された表示画像信号をメイン制御部200を介して表示部140に供給する。また、静止画像撮像時には、デジタル信号処理部123は、入力画像信号から1枚の静止画像信号を生成し、この生成された静止画像信号を圧縮処理等を施した後に、メイン制御部200を介して記録部150に供給する。また、オートフォーカス時には、デジタル信号処理部123は、入力画像信号から、画面内の所定領域の高周波数成分を検出し、検出された高周波数成分のレベルを示すパラメータを生成し、この生成されたパラメータをメイン制御部200に供給する。また、測光時には、デジタル信号処理部123は、入力画像信号から、画面内の所定領域の光量成分(AE信号)を検出し、この検出された光量成分の光量レベルを示すパラメータを生成し、生成された光量レベルを示すパラメータをメイン制御部200に供給する。
メイン制御部200は、撮像装置100の各部を制御するメイン制御部であり、CPU(Central Processing Unit)、プログラムROM(Read Only Memory)、ワークエリア用RAM(Random Access Memory)および各種I/O(Input/Output)ポートやインターフェースを備えるマイクロコンピュータから構成されている。なお、メイン制御部200については、図2および図3を参照して詳細に説明する。
操作受付部130は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号をメイン制御部200に出力する。操作受付部130として、例えば、シャッタレリーズボタン131やズームボタン132(図29に示す)等の操作部材が撮像装置100に備えられている。シャッタレリーズボタン131は、撮像画像を記録する際にユーザにより操作されるモーメンタリ型の押圧スイッチである。本発明の実施の形態では、シャッタレリーズボタン131の押圧状態をメイン制御部200が判別する。すなわち、ユーザにより全く押されていない状態(オフ状態)と、ユーザにより半分程度まで押された状態(半押し状態)と、ユーザにより深く押された状態(深押し状態)との3つの押圧状態をメイン制御部200が判別する。また、ズームボタン132は、撮像時におけるズームの倍率を調整する際に操作されるボタンである。
表示部140は、デジタル信号処理部123から供給された画像データに対応する画像を表示する表示部であり、例えば、撮像素子114により生成された画像信号に対応する撮像画像(いわゆる、スルー画)が表示部140に表示される。表示部140は、例えば、LCD(Liquid Crystal Display)等によって実現することができる。なお、表示部140は、各種の選択ボタン等を表示し、これらの選択ボタン等の領域を指等で触ることにより操作入力を行うことが可能なタッチパネルとするようにしてもよい。
記録部150は、デジタル信号処理部123から供給された画像データを記録する記録デバイスである。記録部150として、例えば、ディスクメモリカード等の半導体メモリや、DVD(Digital Versatile Disc)等のリムーバブル記録媒体を用いることができる。また、記録部150は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
外部I/F160は、USB(Universal Serial Bus)等の入出力端子を備える外部I/Fインターフェースである。
EEPROM171は、メイン制御部200の制御に基づいて、撮像装置100の電源がオフにされている状態でも保持しておく必要があるデータ等を記憶するメモリである。このデータは、例えば、撮像装置100において設定されている各種情報である。
RAM172は、メイン制御部200が各種の処理を行う上で必要なプログラムやデータを一時的に記憶するメモリである。
ブレ検出部180は、撮像装置100に加わった加速度、動き、傾き等を検出し、検出された加速度、動き、傾き等に対応する電圧値をメイン制御部200に出力するものである。ブレ検出部180は、例えば、ピッチ(Pitch)方向およびヤー(Yaw)方向の2方向に関する角速度に対応する電圧値を取得する。そして、メイン制御部200は、ブレ検出部180から出力された電圧値について手ブレ補正演算部を行い、その電圧値に対応する数値に換算することにより、撮影者の手ブレ等による撮像装置100のブレに関する情報(ブレ情報)を取得する。なお、ブレ検出部180は、例えばジャイロセンサにより実現することができる。
充電/発光制御部191は、メイン制御部200からの制御信号に基づいて、発光部192の充電および発光を制御するものである。すなわち、充電/発光制御部191を介して発光部192がメイン制御部200に接続され、発光部192の発光タイミングがメイン制御部200により制御される。
発光部192は、レンズ111から前方に向かう方向(レンズ111の光軸方向)に光を照射するように、例えば、撮像装置100の筐体の前面部や上部に取り付けられている発光装置であり、強い光を一瞬だけ発光する。すなわち、発光部192は、撮像対象となる被写体に対して、強い閃光を照射する。なお、発光部192は、いわゆる、キセノンランプ等の放電装置により実現することができる。また、メイン制御部200は、本発光の前に所定の発光量で発光部192にプリ発光させ、このプリ発光に対する測光データに基づいて、発光部192の発光量を決定する。すなわち、メイン制御部200は、プリ発光に対する測光データとして、撮像素子114から出力されたアナログの画像信号に対応する画面全体の輝度値を検出し、この検出された輝度値と、適正露光が得られる目標輝度値とを比較することにより、発光部192の発光量を決定する。このため、撮像装置100に調光センサを必要としない。
図2は、本発明の実施の形態におけるメイン制御部200の機能構成例を示すブロック図である。メイン制御部200は、顔検出部210と、静止判断部220と、主要被写体検出部230と、EV(Exposure Value)値抽出部240と、シーン決定部250と、露出条件仮定部260と、露出判定部270と、プログラム線図保持部281と、撮像制御部280と、表示制御部290とを備える。ここで、同図では、メイン制御部200の機能構成のうちで、撮像記録制御に関する機能構成例のみを示し、他の機能構成を省略する。ここで、顔検出部210、静止判断部220、主要被写体検出部230およびシーン決定部250は、それぞれ独立して制御されるものとする。なお、同図では、EEPROM171に記録されているプログラムに基づいてメイン制御部200が実行する場合を例にして説明するが、同図に示す機能構成をハードウェアによって実現するようにしてもよい。
顔検出部210は、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる人物の顔を検出するものであり、検出された顔に関する情報を露出判定部270に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法、撮像画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法を用いることができる。また、顔に関する情報は、例えば、撮像画像から顔が検出されたか否かを示す情報(顔の有無)である。
静止判断部220は、ブレ検出部180から出力された電圧値について、手ブレ補正演算処理を行い、その電圧値に対応する数値(撮像装置100のブレ量)を算出するものである。そして、この算出されたブレ量と、静止時のブレ量とを比較し、この比較結果に基づいて、撮像装置100が静止しているか否かを判断し、判断結果(撮像装置100の静止の有無)を露出判定部270に出力する。具体的には、算出されたブレ量と、静止時のブレ量とを比較することにより、その偏差量を算出し、この偏差量と時間とに基づいて静止の有無が判断される。
主要被写体検出部230は、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる主要被写体を検出するものであり、検出された主要被写体に関する情報を露出判定部270に出力する。主要被写体検出方法として、例えば、発光部192をプリ発光させた際における撮像画像の輝度値と、所定値とを比較することにより、撮像画像に主要被写体が含まれるか否かを検出する検出方法を用いることができる。なお、この主要被写体の検出は、一定以上の暗いシーンと判定されている状態で、シャッタレリーズボタン131が半押し状態となった場合や、夜景シーンや逆光シーンが判定され、顔が検出されない場合等に行われる。また、主要被写体に関する情報は、例えば、撮像画像から主要被写体が検出されたか否かを示す情報(主要被写体の有無)である。
EV値抽出部240は、デジタル信号処理部123から出力されたAE信号に基づいて、撮像画像に含まれる被写体の明るさを示すEV値を検出するものであり、検出されたEV値をシーン決定部250、露出条件仮定部260および撮像制御部280に出力する。
シーン決定部250は、デジタル信号処理部123から出力された画像信号と、EV値抽出部240から出力されたEV値とに基づいて、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを決定するものであり、決定されたシーンを露出判定部270に出力する。ここで、撮像画像に含まれる被写体のシーンは、被写体として夜の屋外が含まれる夜景シーン、被写体として建物の屋内が含まれる屋内シーン、被写体として太陽を背にした対象物が含まれる逆光シーン等の各シーンである。なお、シーン決定部250については、図3を参照して詳細に説明する。
露出条件仮定部260は、EV値抽出部240から出力されたEV値と、所定の閾値とを比較することにより差分値を算出し、この算出された差分値に基づいて露出条件を仮定するものである。例えば、EV値抽出部240から出力されたEV値が所定の閾値よりも小さい場合には、露出が不足していることが考えられるため、露出条件として、シャッタ速度を遅くしたり、絞り量を小さくしたり、AGC(Automatic Gain Control)処理のゲインを大きくしたりする。一方、EV値抽出部240から出力されたEV値が所定の閾値以上である場合には、露出が過多であることが考えられるため、露出条件として、シャッタ速度を速くしたり、絞り量を大きくしたり、AGC処理のゲインを小さくしたりする。本発明の実施の形態では、露出条件仮定部260により仮定された露出条件のうちで、絞り量を基準絞り量Ieとし、シャッタ速度を基準シャッタ速度Teとし、ゲインを基準ゲインGeとする。
露出判定部270は、シーン決定部250から出力された撮像画像に含まれる被写体のシーンと、顔検出部210から出力された顔の有無と、静止判断部220から出力された撮像装置100の静止の有無と、主要被写体検出部230から出力された主要被写体の有無とに基づいて、露出条件仮定部260により露出条件として仮定された基準絞り量Ie、基準シャッタ速度Teおよび基準ゲインGeが適正か否かを判定するものである。そして、判定された結果に基づいてプログラム線図を選択し、この選択されたプログラム線図を示す情報と判定の対象となった各情報とを撮像制御部280に出力する。
プログラム線図保持部281は、設定可能な撮影モードのそれぞれに対応する複数のプログラム線図を保持するものであり、保持されているプログラム線図を撮像制御部280に供給する。この例では、メイン制御部200のプログラム線図保持部281に各プログラム線図を保持する例について説明するが、例えば、各プログラム線図をEEPROM171に保持しておき、EEPROM171に保持されているプログラム線図を撮像制御部280に供給するようにしてもよい。
撮像制御部280は、ユーザにより指定された撮影モードに対応するプログラム線図を露出判定部270で選択されたプログラム線図に変更するとともに、EV値抽出部240から出力されたEV値に基づいて露出条件を決定するものである。そして、決定された露出条件に基づいて、アイリス機構部112およびシャッタ機構部113を制御するための制御信号をアイリス機構部112およびシャッタ機構部113に出力する。また、各撮像条件に応じた撮像モード設定や低照度補正等の制御を行う。さらに、撮像制御部280は、シャッタレリーズボタン131が押下された場合(深押し状態)において、撮像画像に含まれる被写体のシーンが夜景シーンや逆光シーン等の特定シーンであると判定された場合には、少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う。なお、シャッタレリーズボタン131が半押し状態の場合には、少なくとも2つの異なる撮像記録パラメータが確定する。また、2つの異なる撮像記録パラメータとして、例えば、ユーザにより指定された撮像記録パラメータと、判定されたシーンに応じた撮像記録パラメータとすることができる。
表示制御部290は、撮像制御部280により決定された少なくとも2つの異なる撮像記録パラメータに対応する撮像モード認識アイコンを表示部140に表示させるものである。なお、表示部140に表示される撮像モード認識アイコンの表示例については、図29および図30を参照して詳細に説明する。
図3は、本発明の実施の形態におけるシーン決定部250の機能構成例を示すブロック図である。シーン決定部250は、輝度値分布情報抽出部251と、シーン度合スコア算出情報記憶部300と、シーン度合スコア算出部252と、領域分割部253と、輝度値抽出部254と、シーン指数算出情報記憶部350と、シーン指数算出部255と、シーン判定部256とを備える。
輝度値分布情報抽出部251は、デジタル信号処理部123から出力された画像信号に対応する撮像画像における輝度値の分布状態を示すヒストグラムを抽出するものであり、抽出されたヒストグラムをシーン度合スコア算出部252に出力する。
シーン度合スコア算出情報記憶部300は、シーン度合スコア算出部252がシーン度合スコアを算出する際に用いられるシーン度合スコア算出情報を記憶するものであり、記憶されているシーン度合スコア算出情報をシーン度合スコア算出部252に供給する。なお、シーン度合スコア算出情報記憶部300に記憶されているシーン度合スコア算出情報については、図4を参照して詳細に説明する。
シーン度合スコア算出部252は、EV値抽出部240から出力されたEV値と、輝度値分布情報抽出部251から出力されたヒストグラムとに基づいて、シーン度合スコア算出情報記憶部300に記憶されているシーン度合スコア算出情報を用いてシーン度合スコアを算出するものであり、算出されたシーン度合スコアをシーン判定部256に出力する。ここで、シーン度合スコアは、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するためのスコアであり、シーン度合スコアの算出については、図13乃至図15を参照して詳細に説明する。
領域分割部253は、デジタル信号処理部123から出力された画像信号に対応する撮像画像を複数の領域に分割するものであり、撮像画像と、分割された各領域に関する情報とを輝度値抽出部254に出力する。
輝度値抽出部254は、領域分割部253により分割された撮像画像上の各領域における輝度値を抽出するものであり、抽出された各輝度値を領域毎にシーン指数算出部255に出力する。
シーン指数算出情報記憶部350は、シーン指数算出部255がシーン指数を算出する際に用いられるシーン指数算出情報を記憶するものであり、記憶されているシーン指数算出情報をシーン指数算出部255に供給する。なお、シーン指数算出情報記憶部350に記憶されているシーン指数算出情報については、図5を参照して詳細に説明する。
シーン指数算出部255は、輝度値抽出部254から出力された領域毎の各輝度値に基づいて、シーン指数算出情報記憶部350に記憶されているシーン指数算出情報を用いて、シーン指数を算出するものであり、算出されたシーン指数をシーン判定部256に出力する。ここで、シーン指数は、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するためのスコアであり、シーン指数の算出については、図21乃至図26を参照して詳細に説明する。
シーン判定部256は、シーン度合スコア算出部252から出力されたシーン度合スコアと、シーン指数算出部255から出力されたシーン指数とのうちの少なくとも一方を用いて、デジタル信号処理部123から出力された画像信号に対応する撮像画像に含まれる被写体のシーンを判別するものであり、判別されたシーンを露出判定部270および表示制御部290に出力する。
図4は、本発明の実施の形態におけるシーン度合スコア算出情報記憶部300に記憶されているシーン度合スコア算出情報を模式的に示す図である。シーン度合スコア算出情報記憶部300には、シーン度合スコア算出情報(EV値)311と、シーン度合スコア算出情報(輝度の中央値)321と、シーン度合スコア算出情報(輝度のピーク値)322と、シーン度合スコア算出情報(輝度の底の幅)323と、シーン度合スコア算出情報(輝度の2値化閾値)324と、シーン度合スコア算出情報(輝度の黒つぶれ領域の割合)325と、シーン度合スコア算出情報(輝度の左側領域の割合)326とが記憶されている。図4では、画像から抽出されたEV値に基づいて作成されるシーン度合スコア算出情報をEV情報シーン度合スコア算出情報群310内に示し、画像から抽出されたヒストグラムに基づいて作成されるシーン度合スコア算出情報を輝度値分布情報シーン度合スコア算出情報群320内に示す。
本発明の実施の形態では、これらのシーン度合スコア算出情報を用いて、撮像画像についてシーン毎のシーン度合スコアを算出し、算出された各シーン度合スコアのうちで最もスコアが高いシーン度合スコアに対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。なお、これらのシーン度合スコア算出情報については、図13乃至図15を参照して詳細に説明する。
図5は、本発明の実施の形態におけるシーン指数算出情報記憶部350に記憶されているシーン指数算出情報を模式的に示す図である。シーン指数算出情報記憶部350には、夜景シーン指数算出情報360と、逆光シーン指数算出情報370と、屋外シーン指数算出情報380と、屋内シーン指数算出情報390とが記憶されている。また、各シーン指数算出情報には、シーン頻度パターン361、371、381、391と、評価値変換テーブル362、372、382、382とが格納されている。シーン頻度パターン361、371、381、391は、所定領域に分割された撮像画像における各領域について、シーンに応じた輝度の平均値の傾向に基づいて分類するためのパターンである。評価値変換テーブル362、372、382、382は、所定領域に分割された撮像画像における各領域から抽出された輝度の平均値と、シーン頻度パターンにより分類された各領域とに基づいて、シーン指数を算出するための評価値を求める際に用いられるものである。
本発明の実施の形態では、これらのシーン指数算出情報を用いて、撮像画像についてシーン毎のシーン指数を算出し、算出されたシーン指数が閾値以上であるシーン指数に対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。また、シーン指数が閾値以上であるシーン指数が複数存在する場合には、これらのシーン指数のうちで最も値が高いシーン指数に対応するシーンが、撮像画像に含まれる被写体のシーンであると判定される。また、撮像画像についてシーン毎に算出されたシーン度合スコアにより判定されたシーンと、撮像画像についてシーン毎に算出されたシーン指数により判定されたシーンとが同一であることを、シーン判定の条件とすることができる。
次に、シーン決定部250におけるシーン判定について図面を参照して詳細に説明する。本発明の実施の形態では、夜景シーン、屋内シーン、屋外シーン、逆光シーンの何れかを判定する例について説明する。最初に、シーン度合スコアの算出に用いられるシーン度合スコア算出情報の作成方法について説明する。なお、本発明の実施の形態で示す各撮像画像は、カラー画像であるものとする。
図6は、本発明の実施の形態におけるシーン度合スコア算出情報の作成方法を概略的に示す図である。図6では、夜景シーン、屋内シーン、屋外シーン、逆光シーンに関するシーン度合スコア算出情報を作成する例を示す。図6に示すように、複数の画像群401乃至404に含まれる撮像画像に基づいて、EV値抽出部411およびEV情報シーン度合スコア算出情報作成部412により、各シーンに関するEV情報シーン度合スコア算出情報が作成される。また、複数の画像群401乃至404に含まれる撮像画像に基づいて、輝度値分布情報抽出部413および輝度値分布情報シーン度合スコア算出情報作成部414により、各シーンに関する輝度値分布情報シーン度合スコア算出情報が作成される。そして、作成された各シーン度合スコア算出情報がシーン度合スコア算出情報記憶部300に記憶される。
なお、これらのシーン度合スコア算出情報の作成は、記録部150に記録されている撮像画像を用いて、撮像装置100が行うようにしてもよく、撮像装置100または他の撮像装置により記録された撮像画像を用いて、パーソナルコンピュータ等の画像処理装置が行うようにしてもよい。ここで、撮像装置100以外の画像処理装置によりシーン度合スコア算出情報が作成された場合には、この作成されたシーン度合スコア算出情報が撮像装置100に入力されてシーン度合スコア算出情報記憶部300に記憶される。
夜景画像群401は、被写体として夜景(海辺の橋、建物の外観等)が撮像されている画像の集合であり、逆光画像群402は、被写体として逆光となっている屋外(山、建物の外観等)が撮像されている画像の集合であり、屋外画像群403は、被写体として屋外(草原、公園の広場等)が撮像されている画像の集合であり、屋内画像群404は、被写体として屋内(各種の建物内等)が撮像されている画像の集合である。なお、これらの各シーンの分類については、ユーザまたは開発者が行うようにしてもよく、アダブースト(AdaBoost)等の機械学習アルゴリズムによる学習器を用いて行うようにしてもよい。
EV値抽出部411は、夜景画像群401、逆光画像群402、屋外画像群403および屋内画像群404に含まれる各画像からEV値を抽出するものであり、抽出されたEV値をEV情報シーン度合スコア算出情報作成部412に出力する。
EV情報シーン度合スコア算出情報作成部412は、EV値抽出部411から出力されたEV値を画像群毎に集計し、この画像群毎の集計結果に基づいて、EV情報に関する評価値パラメータを画像群毎に算出し、この評価値パラメータに基づいて、EV情報シーン度合スコア算出情報を作成するものである。そして、作成されたEV情報シーン度合スコア算出情報がシーン度合スコア算出情報記憶部300に記憶される。なお、EV情報シーン度合スコア算出情報については、図8を参照して詳細に説明する。
輝度値分布情報抽出部413は、夜景画像群401、逆光画像群402、屋外画像群403および屋内画像群404に含まれる各画像における輝度値の分布状態を示すヒストグラムを抽出するものであり、抽出されたヒストグラムを輝度値分布情報シーン度合スコア算出情報作成部414に出力する。
輝度値分布情報シーン度合スコア算出情報作成部414は、輝度値分布情報抽出部413から出力された輝度値分布情報を画像群毎に集計し、この画像群毎の集計結果に基づいて、輝度値分布情報に関する評価値パラメータを画像群毎に算出し、この評価値パラメータに基づいて、輝度値分布情報シーン度合スコア算出情報を作成するものである。そして、作成された輝度値分布情報シーン度合スコア算出情報がシーン度合スコア算出情報記憶部300に記憶される。なお、輝度値分布情報シーン度合スコア算出情報については、図13乃至図15を参照して詳細に説明する。
以上で示したように、既に記録されている複数の撮像画像を用いて、統計学習することにより各シーン度合スコア算出情報を求めることができる。ここで、近年では、大容量HDD(Hard Disk Drive)等の大容量記憶装置を安価に入手できるようになったため、デジタルスチルカメラ等により撮像された撮像画像等の各種画像を画像データとして大量に管理することが可能である。そこで、各種パターンの画像を大容量記憶装置に多数記憶させておき、これらの各種パターンの画像を大量に統計学習することによりシーン度合スコア算出情報を作成し、このシーン度合スコア算出情報を用いることにより複数のシーンを精度よく判別することが可能である。また、撮像装置100のユーザが、各シーンの分類を行うことにより、ユーザ好みのシーン判定を行うためのシーン度合スコア算出情報を作成することが可能である。
図7は、本発明の実施の形態におけるEV値抽出部411により抽出されたEV値に関するヒストグラムを模式的に示す図である。図7では、夜景画像群401に含まれる各画像について抽出されたEV値が19階級に分類されて集計されたEV情報ヒストグラム420を示す。EV情報ヒストグラム420において、横軸は19階級に分類されたEV値を示し、縦軸は頻度(撮像画像の数)を示す。ここで、各シーンのヒストグラムは、シーンに応じて特徴的な分布となることが多い。例えば、夜景画像群401に含まれる各画像は夜景シーンの画像であるため、比較的暗い画像が多く、EV値が比較的低い値となることが多い。このため、EV情報ヒストグラム420において、EV値の低い階級の頻度が高くなる。このように、各シーンに応じた特徴的な分布を利用して、EV情報評価値パラメータが作成される。
例えば、EV情報ヒストグラム420において、閾値W1およびW2(W2<W1)が設定される。そして、EV情報ヒストグラム420における頻度が、閾値W1以上の領域と、W2以上閾値W1未満の領域と、閾値W2未満の領域と、「0」の領域とに分類される。図7では、EV値=0〜4の頻度が閾値W1以上であり、EV値=5の頻度が閾値W2以上W1未満であり、EV値=6の頻度が閾値W2未満であり、EV値=7〜18の頻度が「0」である。このように分類された領域に基づいて、図8に示すように、EV情報シーン度合スコア算出情報を算出することができる。
図8は、各シーンについて作成されたEV情報評価値パラメータが格納されているシーン度合スコア算出情報の一例であるシーン度合スコア算出情報(EV値)311を示す図である。上述したように、各シーンに対応するEV情報ヒストグラムにおいて、4つに分類された領域毎にEV情報評価値パラメータが決定される。図8では、各EV情報ヒストグラムにおける頻度が、閾値W1以上の領域を「高」で示し、W2以上W1未満の領域を「中」で示し、閾値W2未満の領域を「低」で示し、「0」の領域を斜線で示す。なお、図8では、各EV情報ヒストグラムにおける頻度が閾値W1以上の領域(「高」の領域)の枠を太線で示す。シーン度合スコア算出情報(EV値)311における「高」の領域が示すように、EV値を用いることにより、撮像画像について、屋外/逆光と、屋内/夜景とに大まかに分類することができる。すなわち、屋外/逆光シーンに対応する画像は、比較的明るい画像が多いため、シーン度合スコア算出情報(EV値)311における「高」の領域が、比較的右側に集中することが多い。一方、屋内/夜景シーンに対応する画像は、比較的暗い画像が多いため、シーン度合スコア算出情報(EV値)311における「高」の領域が、比較的左側に集中することが多い。
同様に、EV値を用いて各シーンを大よそのシーンに分類することが考えられる。例えば、EV値が16の場合には「快晴シーン」とし、EV値が11の場合には「曇シーン」とし、EV値が6の場合には「暗い室内シーン」とし、EV値が3の場合には「夜景シーン」とすることが考えられる。しかしながら、例えば、暗いシーンの中でも、夜景シーンまたは室内シーンの判定については、困難であることが多い。また、他のシーンについても判定が困難であることが多いため、これらの判定制度を高めることが重要である。そこで、本発明の実施の形態では、EV情報および輝度値分布情報を用いたシーン判定を行う。これにより、各シーンの判定精度を向上させることができる。
次に、輝度値分布情報シーン度合スコア算出情報の作成方法について図面を参照して詳細に説明する。
図9は、画像から抽出された輝度の分布状態を表すヒストグラムを示す図である。同図に示すヒストグラム430は、複数の画像群401乃至404に含まれる1つの撮像画像における画面全体から抽出された輝度が、16分割に正規化されたヒストグラムである。この例では、このように抽出されたカラーヒストグラムを用いて、以下に示す(1)乃至(6)の値を撮像画像毎に算出する例を示す。そして、算出された(1)乃至(6)の各値を画像群毎に集計し、この画像群毎の集計結果に基づいて、輝度値分布情報に関する評価値パラメータが算出され、この評価値パラメータに基づいて、輝度値分布情報シーン度合スコア算出情報が作成される。
(1)ヒストグラム全体の輝度の中央値
(2)ヒストグラムのピーク値
(3)ヒストグラムの底の幅
(4)ヒストグラムの黒つぶれ領域の割合
(5)ヒストグラム全体における左半分の割合
(6)判別分析法による2値化の閾値
ここで、(1)ヒストグラム全体の輝度の中央値は、ヒストグラム全体の頻度に対する中央値である。すなわち、ヒストグラム全体の輝度の中央値は、ヒストグラム全体の頻度により求められる面積を左右の領域に2分割した場合における分割領域に該当する階級の値である。例えば、ヒストグラム430において、ヒストグラム全体の輝度の中央値として、階級の値「8」が求められる。
(2)ヒストグラムのピーク値は、ヒストグラム全体の中で、最も頻度が高い階級の値である。例えば、ヒストグラム430において、ヒストグラムのピーク値として、階級「10」が求められる。
(3)ヒストグラムの底の幅は、ヒストグラム全体の中で、最も頻度が低い階級の値を基準として、この最も低い頻度の値から所定の範囲内に存在する階級の値である。このため、ヒストグラムの底の幅は、複数の値が存在することもある。例えば、ヒストグラム430において、最も頻度が低い階級の値として、階級「7」が求められ、この階級「7」の頻度を基準として上下方向の閾値H1およびH2の範囲内に存在する階級の値「5」、「6」、「8」が、ヒストグラムの底の幅として求められる。このヒストグラムの底の幅の範囲をD1で示す。なお、ヒストグラムの底の幅には、ヒストグラム全体の中で、最も頻度が低い階級の値は含めない。
(4)ヒストグラムの黒つぶれ領域の割合は、ヒストグラムの左端の階級「0」に対応する頻度の全体に対する割合を示す値である。このヒストグラムの黒つぶれ領域の割合の対象階級をD2で示す。
(5)ヒストグラム全体における左半分の割合は、ヒストグラムの左側の階級「0乃至7」に対応する頻度の全体に対する割合を示す値である。このヒストグラム全体における左半分の割合の対象階級をD3で示す。
(6)判別分析法による2値化の閾値については、図9乃至図11を参照して説明する。判別分析法は、画像の濃淡値を2つのクラスに分割することにより、画像における所定の領域を抽出する分析方法であり、2つの分離度が最大になる位置(すなわち、2つのクラスのクラス間分散が最大になる位置)における値kを閾値として算出する。例えば、図9に示すヒストグラム430において、閾値kによって、撮像画像を構成する各画素を2つのクラスC1およびC2に分類することができる。この分類として、例えば、クラスC1を対象領域とし、クラスC2を背景とすることができる。また、例えば、クラスC2を対象領域とし、クラスC1を背景とすることもできる。
ここで、閾値kの算出について説明する。閾値kに依存して各クラスの統計量は、以下の各式で示すことができる。
ここで、h(g)(g=1,…,L)はヒストグラムの頻度を示し、p(g)は正規化ヒストグラムを示し、p(g)=h(g)/N(N:全画素数)である。また、式1は、分離度を算出する式であり、0〜1の値が算出される。また、式2は、2つのクラス間の分散を算出する式である。また、式3は、ヒストグラム全体の分散を算出する式である。また、式10は、クラス内分散を求める式であり、式11は、ヒストグラム全体の平均を求める式である。
図10は、撮像画像と、この撮像画像について抽出されたヒストグラムを示す図である。図10(a)には、夕方の遊園地を被写体として撮像された撮像画像440を示す。図10(b)には、撮像画像440について抽出されたヒストグラムを示す。図10(b)に示すヒストグラムでは、256分割に正規化されたヒストグラムにおいて、上述した判別分析法により算出された閾値kの位置を縦線で示す。
図11は、撮像画像440について判別分析法により算出された閾値kを用いて2値化された画像441を示す図である。図10(b)に示すヒストグラムにおいて、例えば、閾値kよりも左側の領域に対応する画素を黒とし、閾値kよりも右側の領域に対応する画素を白とした場合には、図10に示す撮像画像440から、図11に示す2値化された画像441が生成される。
以上で示したように、シーン毎に分類された複数の画像について、(1)乃至(6)の各値を算出し、これらの(1)乃至(6)の各値を統計学習することによりシーン度合スコア算出情報が作成される。
図12は、各画像について抽出された輝度の中央値に関するヒストグラムを模式的に示す図である。図12では、夜景画像群401に含まれる各画像について抽出された輝度の中央値が19階級に分類されて集計された輝度値分布情報ヒストグラム450を示す。なお、輝度値分布情報ヒストグラム450は、横軸が19階級に分類された輝度の中央値となる点以外は、図7に示すヒストグラムと同様である。図7で説明したように、各シーンのヒストグラムは、シーンに応じて特徴的な分布となることが多い。例えば、夜景画像群401に含まれる各画像は夜景シーンの画像であるため、比較的暗い画像が多く、輝度の中央値が比較的低い値となることが多い。このため、輝度値分布情報ヒストグラム450において、輝度の中央値の低い階級の頻度が高くなる。このように、各シーンに応じた特徴的な分布を利用して、輝度値分布情報評価値パラメータが作成される。
図12では、図7と同様に、閾値W1およびW2(W2<W1)を用いて、4つの領域に分類し、この分類された領域に基づいて、図13乃至図15に示すように、輝度値分布情報シーン度合スコア算出情報を算出する例を示す。なお、本発明の実施の形態では、EV情報シーン度合スコア算出情報を算出する場合に用いられる閾値W1およびW2(W2<W1)と、輝度値分布情報シーン度合スコア算出情報を算出する場合に用いられる閾値W1およびW2(W2<W1)とを同一の値を用いる例について説明するが、両者を異なる値とするようにしてもよい。また、本発明の実施の形態では、2つの閾値W1およびW2(W2<W1)を用いる例について説明するが、1または3以上の閾値を用いて、ヒストグラムの領域を分類し、この分類された領域に基づいて、各シーン度合スコア算出情報を算出するようにしてもよい。
図13乃至図15は、各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。ここでは、シーン度合スコア算出情報(輝度の中央値)321と、シーン度合スコア算出情報(輝度のピーク値)322と、シーン度合スコア算出情報(輝度の底の幅)323と、シーン度合スコア算出情報(輝度の2値化閾値)324と、シーン度合スコア算出情報(輝度の黒つぶれ領域の割合)325と、シーン度合スコア算出情報(輝度の左側領域の割合)326とを例として示す。また、図8と同様に、各ヒストグラムにおける頻度が、閾値W1以上の領域を「高」で示し、W2以上W1未満の領域を「中」で示し、閾値W2未満の領域を「低」で示し、「0」の領域を斜線で示すとともに、各ヒストグラムにおける頻度が閾値W1以上の領域(「高」の領域)の枠を太線で示す。各シーン度合スコア算出情報における「高」の領域が示すように、各シーンに応じて特徴的な傾向が現れる。
以上で示したように、本発明の実施の形態では、シーン毎に分類された撮像画像を統計学習することにより、各シーンに応じたヒストグラムを作成し、このヒストグラムに基づいて、各シーン度合スコア算出情報を作成する。また、作成されたシーン度合スコア算出情報が、シーン度合スコア算出情報記憶部300に記憶される。
次に、シーン度合スコア算出情報記憶部300に記憶されているシーン度合スコア算出情報を用いて、撮像画像に含まれる被写体のシーンを判定するシーン判定方法について説明する。
撮像画像に含まれる被写体のシーンを判定する場合には、図8に示すシーン度合スコア算出情報(EV値)311と、図13乃至図15に示すシーン度合スコア算出情報(輝度の中央値)321、シーン度合スコア算出情報(輝度のピーク値)322、シーン度合スコア算出情報(輝度の底の幅)323、シーン度合スコア算出情報(輝度の2値化閾値)324、シーン度合スコア算出情報(輝度の黒つぶれ領域の割合)325およびシーン度合スコア算出情報(輝度の左側領域の割合)326とを用いて、シーン毎のシーン度合スコアSDが算出され、この算出されたシーン度合スコアSDに基づいて、撮像画像に含まれる被写体のシーンが判定される。
具体的には、例えば、各シーン度合スコア算出情報に格納されている「高」に対応する評価値を「1」とし、「中」に対応する評価値を「1/2」とし、「低」に対応する評価値を「1/4」とし、斜線部分に対応する評価値を「0」とする。
EV値抽出部240が、デジタル信号処理部123から出力された画像信号に対応する撮像画像についてEV値(例えば、「0」乃至「18」)を抽出する。そして、シーン度合スコア算出部252が、抽出されたEV値に対応するシーン度合スコア算出情報(EV値)311におけるシーン毎の評価値を取得する。例えば、抽出されたEV値が「7」である場合には、シーン度合スコア算出情報(EV値)311における夜景シーンの評価値として「0」が取得され、逆光シーンの評価値として「0」が取得され、屋外シーンの評価値として「1/4」が取得され、屋内シーンの評価値として「1」が取得される。
また、輝度値分布情報抽出部251が、デジタル信号処理部123から出力された画像信号に対応する撮像画像についてヒストグラムを抽出する。そして、シーン度合スコア算出部252が、抽出されたヒストグラムに基づいて、図13乃至図15に示す各シーン度合スコア算出情報に対応する各値(輝度の中央値、輝度のピーク値、輝度の底の幅、輝度の2値化閾値、輝度の黒つぶれ領域の割合、輝度の左側領域の割合)を算出する。続いて、シーン度合スコア算出部252が、算出された各値に対応する各シーン度合スコア算出情報におけるシーン毎の評価値を取得する。例えば、算出された輝度の中央値が「8」である場合には、シーン度合スコア算出情報(輝度の中央値)321における夜景シーンの評価値として「1/4」が取得され、逆光シーンの評価値として「1」が取得され、屋外シーンの評価値として「1」が取得され、屋内シーンの評価値として「1」が取得される。また、例えば、算出された輝度のピーク値が「9」である場合には、シーン度合スコア算出情報(輝度のピーク値)322における夜景シーンの評価値として「0」が取得され、逆光シーンの評価値として「1/4」が取得され、屋外シーンの評価値として「1/4」が取得され、屋内シーンの評価値として「1/2」が取得される。なお、輝度の底の幅、輝度の2値化閾値、輝度の黒つぶれ領域の割合および輝度の左側領域の割合についても同様に、シーン毎の評価値が取得される。
続いて、シーン度合スコア算出部252が、シーン度合スコア算出情報からシーン毎に取得された評価値を用いて、以下の式を用いて、シーン度合スコアSDをシーン毎に算出する。
SD=(E1×wt1)+{(H1+H2+…+Hn−1)/(n−1)}×wt2
ここで、nは自然数であり、この例では「7」である。E1は、シーン度合スコア算出情報(EV値)311から取得された評価値であり、H1は、シーン度合スコア算出情報(輝度の中央値)321から取得された評価値であり、H2は、シーン度合スコア算出情報(輝度のピーク値)322から取得された評価値であり、H3は、シーン度合スコア算出情報(輝度の底の幅)323から取得された評価値であり、H4は、シーン度合スコア算出情報(輝度の2値化閾値)324から取得された評価値であり、H5は、シーン度合スコア算出情報(輝度の黒つぶれ領域の割合)325から取得された評価値であり、H6は、シーン度合スコア算出情報(輝度の左側領域の割合)326から取得された評価値である。
また、wt1およびwt2は、シーン度合スコアSDを算出する際におけるEV情報シーン度合スコア算出情報と、輝度値分布情報シーン度合スコア算出情報との重み付けをするための値であり、例えば、「wt1=0.5、wt2=0.5」とすることができる。この場合には、EV情報シーン度合スコア算出情報と、輝度値分布情報シーン度合スコア算出情報との重み付けが同等となる。また、例えば、「wt1=0.3、wt2=0.7」または「wt1=0.1、wt2=0.9」として輝度値分布情報を重視することができる。なお、シーン度合スコアSDの値として、0〜1の値が算出される。
このようにシーン毎に算出されたシーン度合スコアSDについて、例えば、夜景シーンのシーン度合スコアをシーン度合スコアSD1とし、逆光シーンのシーン度合スコアをシーン度合スコアSD2とし、屋外シーンのシーン度合スコアをシーン度合スコアSD3とし、屋内シーンのシーン度合スコアをシーン度合スコアSD4とする。この場合に、シーン判定部256は、シーン度合スコアSD1乃至SD4のそれぞれのスコアを比較することにより、各シーンを判別する。具体的には、最も高い値のシーン度合スコアSDに対応するシーンが、デジタル信号処理部123から出力された画像信号に対応する撮像画像に対応するシーンとして判別される。すなわち、算出されたシーン度合スコアSDの値が最大値1に近い程、そのシーンは最も信頼できると考えることができる。
次に、シーン指数の算出に用いられるシーン指数算出情報の作成方法について図面を参照して詳細に説明する。
図16は、シーン指数の算出に用いられるシーン指数算出情報の作成方法を概略的に示す図である。図16では、夜景シーン、屋内シーン、屋外シーン、逆光シーンに関するシーン指数算出情報を作成する例を示す。図16に示すように、複数の画像群401乃至404に含まれる撮像画像に基づいて、領域分割部501と、輝度値抽出部502と、シーン指数算出情報作成部503とより、各シーンに関するシーン指数算出情報が作成される。そして、作成されたシーン指数算出情報がシーン指数算出情報記憶部350に記憶される。なお、複数の画像群401乃至404については、図6に示す画像群401乃至404と同じであるため、ここでの説明を省略する。
なお、これらのシーン指数算出情報の作成は、記録部150に記録されている撮像画像を用いて、撮像装置100が行うようにしてもよく、撮像装置100または他の撮像装置により記録された撮像画像を用いて、パーソナルコンピュータ等の画像処理装置が行うようにしてもよい。ここで、撮像装置100以外の画像処理装置によりシーン指数算出情報が作成された場合には、この作成されたシーン指数算出情報が撮像装置100に入力されてシーン指数算出情報記憶部350に記憶される。
領域分割部501は、夜景画像群401、逆光画像群402、屋外画像群403および屋内画像群404に含まれる各画像を複数の領域に分割するものであり、分割対象の画像と、分割された各領域に関する情報とを輝度値抽出部502に出力する。この画像の分割については、図17を参照して詳細に説明する。
輝度値抽出部502は、領域分割部501により分割された画像上の各領域における輝度値を抽出するものであり、抽出された各輝度値を領域毎にシーン指数算出情報作成部503に出力する。
シーン指数算出情報作成部503は、輝度値抽出部502から出力された領域毎の各輝度値の平均値を画像群毎に集計し、この画像群毎の集計結果に基づいて、シーン指数算出情報を画像群毎に作成するものである。そして、画像群毎に作成されたシーン指数算出情報が、シーン指数算出情報記憶部350に記憶される。なお、シーン指数算出情報については、図21等を参照して詳細に説明する。
以上で示したように、既に記録されている複数の撮像画像を用いて、統計学習することにより各シーン指数算出情報を求めることができる。また、シーン度合スコア算出情報の場合と同様に、大容量記憶装置を用いてシーン指数算出情報を作成することにより複数のシーンを精度よく判別することが可能である。また、撮像装置100のユーザが、各シーンの分類を行うことにより、ユーザ好みのシーン判定を行うためのシーン指数算出情報を作成することが可能である。
図17は、画像を所定の領域に分割する分割方法を概略的に示す図である。図17(a)に示す画像510は、図16に示す屋外画像群403に含まれる撮像画像と同一の画像である。図17(b)には、撮像画像510が、49の領域(7×7の領域)に分割された場合を示す。なお、各領域内に表示する数字(0乃至48)は、各領域の識別番号である。また、図18乃至図20に示す各領域の数字についても同様である。この例では、画像を49分割する例について説明するが、49以外の領域に分割する場合についても同様に適用することができる。
このように、画像信号に対する有効画枠が、所定面積の領域に分割され、この分割された各領域に含まれる各画素の輝度値が抽出され、この抽出された輝度値の平均値が領域毎に算出される。そして、各画像において領域毎に算出された輝度の平均値について、撮像画像群毎にヒストグラムが作成される。このヒストグラムに基づいて、撮像画像群毎にシーン頻度パターンが作成される。このシーン頻度パターンは、各シーンに応じて発生する特徴領域の分布を示すものである。以下では、撮像画像群毎に作成されるヒストグラムおよびシーン頻度パターンについて図面を参照して詳細に説明する。
図18および図19は、複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。図18では、夜景画像群401に含まれる各画像における識別番号3の領域についてヒストグラムを作成する場合を示し、図19は、夜景画像群401に含まれる各画像における識別番号24の領域についてヒストグラムを作成する場合を示す。なお、図18(a)および図19(a)に示す夜景画像群401は、図16に示す夜景画像群401と同様である。また、図18(b)および図19(b)に示すように、夜景画像群401に含まれる各画像が49分割され、各領域における輝度の平均値が画像毎に算出される。
図18(c)では、図18(b)に示す識別番号3の領域について算出された輝度の平均値に基づいて作成されたヒストグラム521を示し、図19(c)では、図19(b)に示す識別番号24の領域について算出された輝度の平均値に基づいて作成されたヒストグラム522を示す。ヒストグラム521および522において、横軸は輝度の平均値を示し、縦軸は頻度(画像の数)を示す。図18(c)に示すように、夜景画像における上側の中央部分では、夜の空等の暗い部分が多いため、輝度の平均値が低い階級の頻度が高くなる。一方、図19(c)に示すように、夜景画像における真中部分では、画像全体は夜景であるものの、被写体の中心となる対象物が含まれる部分であることが多いため、比較的明るい部分も含まれることが多い。このため、輝度の平均値が比較的広い階級に分布する。また、他の領域についても同様に特徴的な分布を示す場合が多い。
このように、撮像画像上における各領域の輝度の平均値の分布状態については、シーン毎に特徴的な分布を示すことが多い。そこで、本発明の実施の形態では、シーンに応じて分布状態が似ている所定数の領域に分類し、この分類された各領域に応じた評価値を設定することによりシーン指数算出情報を作成する。以下では、夜景画像に関するシーン指数算出情報と、逆光画像に関するシーン指数算出情報とを示す。
図20は、夜景画像に関するシーン頻度パターンの一例を示す図である。図20に示す夜景頻度パターン530は、49の領域に分割された撮像画像の各領域から算出された輝度の平均値に基づいて、各領域がグループ化されたものである。図20では、同一のグループに分類されたグループ531乃至535を太線で囲んで示す。ここで、夜景画像では、上側および下側部分では、夜の空や夜の地面等の暗い部分が多いものの、比較的真中部分では、被写体の中心となる比較的明るい対象物が含まれることが多い。このため、夜景頻度パターン530では、上側および下側部分から真中部分に進むに従って(グループ531からグループ535に進むに従って)、輝度の平均値が低い階級の頻度が高くなる領域のグループから、輝度の平均値が比較的広い階級に分布する領域のグループとなる。すなわち、夜景頻度パターン530は、グループ531乃至535が低輝度領域となる頻度パターンである。
図21(a)は、図20に示す夜景頻度パターン530について、同一のグループに属する領域内に同一番号を付した場合を示す図である。すなわち、グループ531に含まれる各領域内に「1」の番号を付し、グループ532に含まれる各領域内に「2」の番号を付し、グループ533に含まれる各領域内に「3」の番号を付し、グループ534に含まれる各領域内に「4」の番号を付し、グループ535に含まれる各領域内に「5」の番号を付す。なお、図21(a)に示す夜景頻度パターン540は、同一のグループに属する領域に同一番号を付した点以外は、図20に示す夜景頻度パターン530と同じである。
図21(b)は、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブルの一例を示す図である。図21(b)に示す評価値変換テーブル550は、図21(a)に示す夜景頻度パターン540におけるグループ531乃至535と、輝度の平均値が抽出された領域との関係に基づいて、49分割された領域毎の評価値を求めるものである。ここで、図21(b)に示すY1、Y2、Y3、Y4、Y5は、各領域において抽出された輝度の平均値を分類する値であり、Y1<Y2<Y3<Y4<Y5とする。また、t11乃至t16、…、t51乃至t56は、輝度の平均値と、この平均値が算出された領域が属するグループとに応じて決定される評価値であり、学習統計に基づいて決定される値である。例えば、tの数値の増加に応じて大きい値とすることができる。このように、シーン頻度パターンおよび評価値変換テーブルにより、シーン指数算出情報が構成される。
図22は、逆光画像に関するシーン頻度パターンおよび評価値変換テーブルの一例を示す図である。図22(a)に示す逆光頻度パターン560は、夜景頻度パターン540と同様に、49の領域に分割された撮像画像の各領域から算出された輝度の平均値に基づいて、各領域がグループ化されたものである。また、図22(a)では、同一のグループに分類されたグループ561乃至566を太線で囲んで示す。ここで、逆光画像では、上側部分では、昼の空等の明るい部分が多いため、輝度の平均値が比較的高い階級に分布することが多い。一方、下側の中央部分では、被写体の中心となる人物が含まれることが多いものの、逆光のため、輝度の平均値が比較的低い階級に分布することが多い。このため、逆光頻度パターン560では、下側の中央部分から上側部分に進むに従って(グループ566からグループ561に進むに従って)、輝度の平均値が低い階級の頻度が高くなる領域のグループから、輝度の平均値が高い階級の頻度が高くなる領域のグループとなる。すなわち、逆光頻度パターン560は、グループ566および565が低輝度領域となり、グループ564および563が中輝度領域となり、グループ562および561が高輝度領域となる頻度パターンである。なお、シーンに応じてグループの数を異なるようにしてもよい。例えば、夜景画像に関するシーン頻度パターンでは5グループに分類し、逆光画像に関するシーン頻度パターンでは6グループに分類する。
図22(b)には、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブル570を示す。評価値変換テーブル570は、逆光頻度パターン560におけるグループ561乃至566と、輝度の平均値が抽出された領域との関係に基づいて、49分割された領域毎の評価値を求めるものである。なお、評価値変換テーブル570は、グループの数および評価値が異なる点以外は、図21(b)に示す評価値変換テーブル550と同様であるため、ここでの説明は省略する。
ここで、シーン指数を算出するシーン指数算出方法について説明する。この例では、夜景シーンに関するシーン指数を算出する場合を例にして説明する。
領域分割部253が、デジタル信号処理部123から出力された画像信号に対応する撮像画像を49の領域に分割し、輝度値抽出部254が、分割された撮像画像上の各領域における輝度値を抽出する。そして、シーン指数算出部255が、撮像画像上の各領域における輝度の平均値を算出し、この領域毎の輝度の平均値に基づいて、シーン指数算出情報記憶部350に記憶されているシーン指数算出情報を用いてシーン指数を算出する。
具体的には、例えば、図21(a)に示す夜景頻度パターン540のグループ番号「1」が付された領域について、この領域から算出された輝度の平均値が、Y1未満、Y1以上Y2未満、Y2以上Y3未満、Y3以上Y4未満、Y4以上Y5未満の何れかに該当するか否かが判断される。例えば、グループ番号「1」が付された領域について算出された輝度の平均値がY1未満の場合には「t11」が、その領域の評価値として決定される。また、例えば、グループ番号「1」が付された領域について算出された輝度の平均値がY1以上Y2未満の場合には「t12」が、その領域の評価値として決定される。同様にして、49の各領域について評価値が決定される。このように決定された評価値を用いて夜景シーンに関するシーン指数YS1が算出される。このシーン指数YS1は、以下の式により求めることができる。
YS1=(ER1+ER2+ER3+…ERn)/n(nは、分割領域の数)
ここで、ER1…ERnは、各領域について決定された評価値であり、この例では、n=49である。この式により算出されたシーン指数YS1の値に基づいて、撮像画像が夜景シーンであるか否かが判定される。例えば、算出されたシーン指数YS1が、閾値T1以上である場合に夜景シーンであると判定することができる。このように、1つの撮像画像について、各シーンに関するシーン指数算出情報を用いて、シーン指数がシーン毎に算出される。例えば、シーン毎に算出された各シーン指数のうちで、複数のシーン指数が閾値以上である場合には、閾値以上である各シーン指数のうちで、最も値の高いシーン指数に対応するシーンであると判定することができる。
図23(a)は、複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフを示す図である。このグラフにおいて、横軸を撮像画像の識別番号を示す軸とし、縦軸を夜景指数を示す軸とする。このグラフにおいて、例えば、閾値T1を180とした場合には、夜景シーン指数の値が閾値T1以上である撮像画像を夜景シーンと判定することができる。
図23(b)および(c)は、比較的暗い場所で撮像された撮像画像を示す図である。例えば、図23(b)に示す撮像画像は、夜の街中で撮像された画像ではあるものの、比較的明るい場所が撮像されたため、夜景シーン指数571として、比較的小さい値(例えば、夜景指数:76)が算出される。このため、図23(b)に示す撮像画像は、夜景シーンとは判定されない。一方、図23(c)に示す撮像画像は、夜の街中で撮像された画像ではあり、比較的暗い場所が撮像されたため、夜景シーン指数572として、比較的大きい値(例えば、夜景指数:208)が算出される。このため、図23(c)に示す撮像画像は、夜景シーンであると判定される。このように、夜景シーン指数のみで夜景シーンを判定することができるのもの、以下で示すシーン指数補正値を用いて夜景シーン指数を補正することにより、夜景シーンについての判定精度をさらに向上させることができる。
図24(a)は、シーン指数補正値を算出するために用いられる評価値変換テーブルを示す図である。図24(a)に示す評価値変換テーブル550は、各グループについて1つの部分が太枠で囲まれている点以外は、図21に示す評価値変換テーブル550と同じである。シーン指数補正値を算出する場合には、各領域における評価値として、太枠で囲まれている「t11」、「t22」、「t33」、「t44」、「t55」の何れかが決定された場合に、所定値がカウントされる。例えば、シーン指数補正値として「1」が順次加算される。
具体的には、グループ番号「1」が付された領域について、この領域から算出された輝度の平均値がY1未満の場合には、シーン指数補正値に「1」が加算される。また、グループ番号「2」が付された領域について、この領域から算出された輝度の平均値がY1以上Y2未満の場合には、シーン指数補正値に「1」が加算される。同様に、グループ番号「3」乃至「5」が付された領域についてもシーン指数補正値の算出が行われる。一方、太枠で囲まれている「t11」、「t22」、「t33」、「t44」、「t55」以外の評価値が決定された場合に、シーン指数補正値にはカウントされない。すなわち、49の領域について決定された各評価値について、太枠で囲まれている「t11」、「t22」、「t33」、「t44」、「t55」の何れかに該当する数が、シーン指数補正値として算出される。
図24(b)は、夜景シーン指数と、シーン指数補正値との関係を表すグラフを示す図である。図24(b)に示すグラフにおいて、横軸は、シーン指数補正値SKを示す軸であり、縦軸は、夜景シーン指数の値を示す軸である。この例では、図23に示すように算出された夜景シーン指数について、シーン指数補正値SKを用いて値を増加させる。例えば、シーン指数補正値SKが、閾値T2以上である場合には、図24(b)に示すように、夜景シーン指数を増加させる。一方、例えば、シーン指数補正値SKが、閾値T2未満である場合には、夜景シーン指数の増減を行わない。このように、各領域で最も頻度が高い領域に注目し、この領域に該当する領域の数をカウントすることによりシーン指数補正値SKを算出する。そして、シーン指数補正値SKが閾値T2以上である場合には、夜景シーン指数を増加させる処理を行うことにより、夜景シーンと、夜景シーン以外のシーンとをさらに分離することができる。これにより、さらに適切なシーン判定を行うことができる。
図25(a)は、複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフを示す図である。このグラフは、図23(a)に示すグラフにおいて、シーン指数補正値を用いて、夜景シーン指数を変換したものである。例えば、図25(a)に示すグラフと、図23(a)に示すグラフとを比較した場合には、夜景シーン指数の値が低い部分では変化が少ないものの、夜景シーン指数の値が高くなるに応じて、夜景シーン指数が上側に変換されている。すなわち、夜景シーンと、夜景シーン以外のシーンとをさらに分離することができ、夜景シーンの判別精度をさらに向上させることができる。図25(b)および(c)に示す撮像画像は、図23(b)および(c)と同じものである。例えば、図25(b)に示す撮像画像は、夜景シーン指数571として比較的小さい値(例えば、夜景指数:76)が算出されていて、シーン指数補正値が閾値T2以上ではないため、夜景シーン指数に変化がない。一方、図25(c)に示す撮像画像は、夜景シーン指数573として比較的大きい値(例えば、夜景指数:284)が算出されていて、シーン指数補正値が閾値T2以上であるため、夜景シーン指数が増加されている。
図26は、逆光シーンに関する評価値変換テーブルと、逆光シーン指数およびシーン指数補正値との関係を表すグラフとを示す図である。図26(a)に示す評価値変換テーブル570は、各グループについて1つの部分が太枠で囲まれている点以外は、図22に示す評価値変換テーブル570と同じである。逆光シーンに関するシーン指数補正値を算出する場合には、図24と同様に、各領域における評価値として、太枠で囲まれている「s61」、「s52」、「s43」、「s34」、「s25」、「s16」の何れかが決定された場合に、所定値がカウントされる。図26(b)に示すグラフにおいて、横軸は、シーン指数補正値SKを示す軸であり、縦軸は、逆光シーン指数の値を示す軸である。なお、逆光シーン指数の変換については、図24で示した夜景シーン指数の場合と同様である。この例では、夜景シーンおよび逆光シーンについて、共通の閾値T2を用いる例について説明するが、シーンに応じて閾値を変更するようにしてもよい。
以上では、シーン度合スコアを用いて撮像画像のシーンを判定する例と、シーン指数を用いて撮像画像のシーンを判定する例とについて説明した。このように、シーン度合スコアまたはシーン指数の何れか1つを用いてシーンを判定することによりシーン判定精度を向上させることができるものの、これらのシーン度合スコアおよびシーン指数を用いてシーンを判定することによりシーン判定精度をさらに向上させることができる。以下では、シーン度合スコアおよびシーン指数を用いてシーンを判別する例について説明する。例えば、シーン度合スコアが最も高いシーンを選択し、この選択されたシーンについて算出されたシーン指数が閾値以上である場合に、その選択されたシーンを判別することができる。このように、シーン度合スコアおよびシーン指数を用いてシーンを判別することにより、シーン判別精度を向上させることができる。
次に、1度の撮像画像記録動作により、判定されたシーンに基づいて少なくとも2つの異なる撮像記録パラメータを用いて複数の撮像画像を記録する例について説明する。
ここで、例えば、被写体を低照度または逆光の環境下で撮像装置100により撮像する場合には、ストロボを発光させ、その光で被写体を照らすことより、暗く沈んだ被写体を明るく撮像することができる。しかしながら、例えば、夜景等の背景が暗い環境下でのストロボ発光による撮影時で、手ブレを防止するための比較的高速のシャッタスピードで撮像を行うと、主要被写体についてはストロボ発光による光で適正露光に保たれるものの、背景が露光不足で暗くなるため、撮影者の見た目とは異なる撮像画像が記録されるおそれがある。そこで、シャッタスピードを低速にして背景の露光を適正にするスローシンクロと称される技術を用いた撮像を行うことが考えられる。
しかしながら、スローシンクロの技術を用いて夜景等の背景が暗い環境下でストロボ発光による撮像を行う場合に、シャッタスピードが低速になるため、三脚等を用いて手ブレを防止する必要がある。しかし、撮影毎に三脚を携帯することは、小型形状の携帯性が優れる撮像装置を使用するユーザにとっては煩雑となるおそれがある。また、夜景と人物像を同時に撮影する場合には、主要被写体としての人物像がストロボ発光の適正距離に位置していなければ、撮影した画像が明るすぎたり、暗すぎたりしてしまうおそれがある。また、背景としての夜景も適切な露光量が得られず暗い画像となるおそれがある。
また、最近では、AGC処理の増幅利得(ゲイン)を上げて高感度撮影することにより、背景を撮影することができるという方法が広く行われているものの、ゲインを上げることによってノイズが多くなるため、夜景シーンのような暗部シーンの全てには対応できない。このように、夜景シーン等の特定シーンについては、撮像条件を設定することが困難である場合が多い。このため、例えば、初心者が好みの撮像記録パラメータを設定し、この設定により撮像画像を記録した場合には、所望の撮像シーンを所望の撮像記録パラメータにより適切に記録することができないおそれがある。また、このような場合には、所望の撮像シーン自体についても適切に記録することができないおそれもある。
そこで、本発明の実施の形態では、シーン判定により現在のシーンが夜景シーンまたは逆光シーンであると判定された場合には、異なる撮像記録パラメータによる複数の撮像画像を記録する。例えば、1つの撮像画像については、撮影者の設定による撮像記録パラメータにより撮像し、他の撮像画像については、判定されたシーンや顔検出の有無等に応じた最適な撮像記録パラメータにより撮像することができる。以下では、2つの撮像画像を記録する場合における撮像条件の例を示す。なお、この例では、異なる撮像記録パラメータによる2つの撮像画像を記録する例について説明するが、異なる撮像記録パラメータによる3以上の撮像画像を記録するようにしてもよい。また、夜景シーンおよび逆光シーン以外のシーンについても適用することができる。
図27は、夜景シーンまたは逆光シーンであると判定された場合における2つの撮像画像を記録する際における撮像記録パラメータの一例を示す図である。この例では、夜景シーン601または逆光シーン602について、顔検出、撮像装置100の状態、ストロボ発光設定状態に基づいて、2つの撮像画像を記録する際における撮像記録パラメータが設定される場合を示す。なお、「顔検出」の有無には、プリ発光による主要被写体検出の有無を含むものとする。また、「撮像モード」は、顔検出または撮像装置100の状態に基づいて決定される撮像モードであり、例えば、撮像画像から顔が検出され、撮像装置100が静止状態であると判定された場合には「夜景人物有・三脚モード」が決定される。このように決定された各「撮像モード」に対応する「ストロボ発光設定状態」の「オート設定」または「発光禁止設定」の何れかに対応する撮像記録パラメータにより2つの撮像画像が記録される。すなわち、「ストロボ発光設定状態」の「オート設定」または「発光禁止設定」の何れかに対応する「1枚目」の撮像記録パラメータにより1つの撮像画像が記録されるとともに、「2枚目」の撮像記録パラメータにより1つの撮像画像が記録される。なお、図27では、これらの撮像記録パラメータを「○」で概略的に示す。ここで、「オート設定」は、撮影者によりストロボ発光が許可されている設定であり、「発光禁止設定」は、撮影者によりストロボ発光が禁止されている設定であり、これらの設定内容に応じて、撮像記録パラメータが決定される。なお、これらの設定の流れについては、図34乃至図36を参照して詳細に説明する。
また、この例では、「1枚目」の撮像画像については、「ストロボ発光設定状態」に基づいて発光の有無が判断されて記録され、「2枚目」の撮像画像については、ストロボ発光設定状態にかかわらずストロボ発光せずに記録される場合を示す。なお、2枚目の撮像画像についても、ストロボ発光設定状態に基づいて発光の有無を判断して記録するようにしてもよい。
なお、1枚目の「発光無」において、「通常」は通常の撮像記録パラメータを示し、「顔3A」は、検出された顔に基づいて設定される撮像記録パラメータを示す。なお、3Aは、オートフォーカス(AF:Auto-Focus)、自動露出(AE:auto exposure)、オートホワイトバランス(AWE)を意味する。また、1枚目の「発光有」において、「通常発光」は通常の条件による発光を示し、「顔調光」は、検出された顔に最適な発光条件を示す。
また、「撮像パターン認識アイコン」は、各撮像パターンに応じて表示される標識であり、各撮像パターンを表すアイコンであるが、ここでは対応する文字のみを示し、アイコンの図示を省略する。撮像モードが決定された場合には、これらの撮像パターン認識アイコンが表示部140に表示される。
図28は、本発明の実施の形態における低照度補正の概略を示す図である。この例では、夜景シーンと判定された場合における低照度補正について説明する。例えば、夜景シーンと判定され、図27に示す「夜景人物無・三脚モード」および「夜景人物無・手持モード」が決定された場合には、明るさを変更する低照度補正処理が行われる。
ここで、本発明の実施の形態におけるシーン判定は、例えば、オートモードと呼ばれる標準的なモードで行われる。このオートモードは、夜景シーンのような低照度シーンから屋外シーンのような高照度シーンまでを幅広くカバーする撮像モードである。このため、オートモードの露出条件は夜景モードの所定の閾値(明るさの目標値)と違うため、明るさに応じて低照度補正を行うことにより、夜景モードの所定の閾値に近づける処理が行われる。
図28(a)に示すグラフにおいて、横軸は撮像画像から抽出されたEV値を示し、縦軸は明るさの目標値を示す。また、撮像画像から抽出された現在のEV値をL1で示す。図28(a)のグラフに示すように、撮像画像から抽出されたEV値に基づいて、夜景モードの所定の閾値に近づける低照度補正が行われる。また、図28(b)に示すグラフにおいて、横軸は撮像画像について算出された夜景シーン度合スコアの値を示し、縦軸は明るさの目標値を示す。また、撮像画像から算出された現在のシーン度合スコアをL2で示す。
ここで、本発明の実施の形態では、図28(a)に示す低照度補正とともに、判定されたシーンに関する情報を用いることにより、補正量を可変させる処理を行う。例えば、シーン判定処理において算出されたシーン度合スコアが高い場合には、さらに暗くさせる補正を行う。また、例えば、シーン度合スコアが低い場合には、さらに明るくさせる補正を行う。具体的には、例えば、図28(a)に示すL1に対応する低照度補正の値と、図28(b)に示すL2に対応する低照度補正の値との差分値dを算出し、この算出された差分値dを補正量として明るさに反映させる。このように、判定されたシーンに関する情報を用いることにより、さらに適切な低照度補正を行うことが可能である。
なお、夜景シーン度合スコアの代わりに、夜景シーン指数を用いて補正を行うようにしてもよく、夜景シーン度合スコアおよび夜景シーン指数を用いて補正を行うようにしてもよい。また、夜景シーン以外の各シーンについても適用することができる。
図29および図30は、本発明の実施の形態における表示部140に表示される撮像モード認識アイコンの表示例を示す図である。図29(a)には、図27に示す「逆光人物有モード」に対応する撮像モード認識アイコンの一例である撮像モード認識アイコン700を示し、図29(b)には、図27に示す「夜景人物無・三脚モード」に対応する撮像モード認識アイコンの一例である撮像モード認識アイコン710を示す。また、図30(a)には、色が変更された撮像モード認識アイコン700を示し、図30(b)には、色が変更された撮像モード認識アイコン710を示す。また、これらの撮像モード認識アイコンには、2つの異なる撮像記録パラメータを用いて連続して複数の撮像画像を記録する撮像モードが設定されている旨を示す「+(プラス)」のマークが付されている。
この撮像モード認識アイコンは、例えば、表示部140に撮像画像が表示されるモニタリングが行われている場合において、撮像制御部280により同一の撮像モードが所定時間設定され続けている場合に、その撮像モードに対応する撮像モード認識アイコンが表示される。例えば、図29(a)に示すように、逆光シーンに対応する撮像画像が表示部140に表示されている場合において、撮像制御部280により「逆光人物有モード」が所定時間設定され続けている場合に、撮像画像とともに撮像モード認識アイコン700が表示部140に表示される。
また、撮像モード認識アイコンが表示部140に表示されている場合において、シャッタレリーズボタン131が半押し状態となった場合には、例えば、図30に示すように、表示部140に表示されている撮像モード認識アイコンの色が変更される。例えば、図30(a)に示すように、撮像画像とともに撮像モード認識アイコン700が表示部140に表示されている場合において、シャッタレリーズボタン131が半押し状態となった場合には、撮像モード認識アイコン700の色が変更される。
例えば、撮像装置100が大きく移動したり、輝度が安定しないような場所では、撮像モード認識アイコンの表示がハンチングしたりして、表示・消去を繰り返したりする可能性がある。これに対して、本発明の実施の形態では、撮像モード認識アイコンの表示のハンチングや、表示・消去の繰り返しを防止し、撮像モード認識アイコンの表示を安定させることができる。これにより、撮影者に撮像モード認識アイコンを見易くさせることができる。なお、本発明の実施の形態では、各撮像モードを現す標識として撮像モード認識アイコンを表示部140に表示する例について説明するが、各撮像モードを現す標識として、文字、画像等の他の標識を表示するようにしてもよい。
次に、本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図31は、本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順を示すフローチャートである。この例では、シーン度合スコアおよびシーン指数を用いてシーンを判定する例について説明する。このシーン判定は、例えば、撮像画像のモニタリング中に行われる。
最初に、撮像画像が取得される(ステップS901)。続いて、シーン度合スコア算出処理が行われる(ステップS910)。このシーン度合スコア算出処理については、図32を参照して詳細に説明する。続いて、シーン指数算出処理が行われる(ステップS920)。このシーン指数算出処理については、図33を参照して詳細に説明する。
続いて、シーン判定部256が、シーン度合スコア算出部252により算出されたシーン度合スコアの中から、最も値の高いシーンを選択する(ステップS902)。続いて、選択されたシーンについて、シーン指数算出部255により算出されたシーン指数が、閾値以上であるか否かをシーン判定部256が判断する(ステップS903)。選択されたシーンについて算出されたシーン指数が、閾値以上である場合には(ステップS903)、シーン判定部256が、選択されたシーンを現在の撮像画像のシーンであると決定する(ステップS904)。一方、選択されたシーンについて算出されたシーン指数が、閾値未満である場合には(ステップS903)、シーン判定部256が、現在の撮像画像のシーン決定は不能であると判別する(ステップS905)。
なお、例えば、シーン度合スコアが最も高いシーンについて、EV情報に関するシーン度合スコアと、輝度値分布情報に関するシーン度合スコアとの双方についても他のシーンの中で最も高い場合には、ステップS903におけるシーン指数を用いた判断を行わずに、シーン判定を行うようにしてもよい。
図32は、本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順のうちのシーン度合スコア算出処理手順(図31に示すステップS910の処理手順)を示すフローチャートである。
最初に、EV値抽出部240が、撮像画像からEV値を抽出する(ステップS911)。続いて、輝度値分布情報抽出部251が、撮像画像からヒストグラムを抽出する(ステップS912)。続いて、シーン度合スコア算出部252が、EV値抽出部240により抽出されたEV値および輝度値分布情報抽出部251により抽出されたヒストグラムに基づいて、シーン度合スコア算出情報記憶部300に記憶されている各シーン度合スコア算出情報を用いて、シーン度合スコアをシーン毎に算出する(ステップS913)。
図33は、本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順のうちのシーン指数算出処理手順(図31に示すステップS920の処理手順)を示すフローチャートである。
最初に、領域分割部253が、撮像画像を所定の領域に分割する(ステップS921)。続いて、輝度値抽出部254が、分割された各領域における輝度値を抽出する(ステップS922)。続いて、シーン指数算出部255が、抽出された各領域における輝度の平均値を算出し、この輝度の平均値に基づいて、シーン指数算出情報記憶部350に記憶されている各シーン指数算出情報を用いて、シーン指数補正値およびシーン指数をシーン毎に算出する(ステップS923)。
図34は、本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順を示すフローチャートである。この例では、2枚撮像モードが設定されている場合において、シーンが判定されている場合には、2つの異なる撮像記録パラメータを用いて連続して2枚の撮像画像を記録し、シーンが判定されていない場合には、通常の撮像記録パラメータを用いて1枚の撮像画像を記録する例について説明する。なお、2枚撮像モードは、2つの異なる撮像記録パラメータを用いて連続して2枚の撮像画像を記録する撮像モードであり、例えば、撮影者の手動操作により設定される。また、2枚撮像モードが設定されていない場合には、通常の撮像記録パラメータを用いて1枚の撮像画像が記録される。
最初に、表示部140に撮像画像が表示されるモニタリングが行われる(ステップS941)。続いて、2枚撮像モードが設定されているか否かが判断される(ステップS942)。2枚撮像モードが設定されていない場合には(ステップS942)、ステップS952に進む。一方、2枚撮像モードが設定されている場合には(ステップS942)、夜景シーンが判定されているか否かが判断される(ステップS943)。夜景シーンが判定されている場合には(ステップS943)、夜景シーンのモード設定処理が行われる(ステップS960)。夜景シーンのモード設定処理については、図35を参照して詳細に説明する。
夜景シーンが判定されていない場合には(ステップS943)、逆光シーンが判定されているか否かが判断される(ステップS944)。逆光シーンが判定されている場合には(ステップS944)、逆光シーンのモード設定処理が行われる(ステップS970)。逆光シーンのモード設定処理については、図36を参照して詳細に説明する。
逆光シーンが判定されていない場合には(ステップS944)、夜景シーンおよび逆光シーン以外の他のシーンが判定されているか否かが判断される(ステップS945)。他のシーンが判定されている場合には(ステップS945)、他のシーンのモード設定処理が行われる(ステップS946)。一方、何れのシーンも判定されていない場合には(ステップS945)、通常の撮像モード設定処理が行われる(ステップS952)。なお、この例では、モード設定処理として、夜景シーンおよび逆光シーンのモード設定処理を例にして説明する。
各シーンのモード設定処理が終了した後に(ステップS946、S960、S970)、シャッタレリーズボタン131が半押し状態となっているか否かが判断される(ステップS947)。シャッタレリーズボタン131が半押し状態となっている場合には(ステップS947)、半押し状態となった際に設定されている撮像モードが確定する(ステップS948)。続いて、シャッタレリーズボタン131が深押し状態となっているか否かが判断される(ステップS949)。シャッタレリーズボタン131が深押し状態となっている場合には(ステップS949)、確定した撮像モードに対応する1枚目の撮像記録パラメータを用いて1枚目の撮像画像が記録される(ステップS950)。続いて、、確定した撮像モードに対応する2枚目の撮像記録パラメータを用いて2枚目の撮像画像が記録される(ステップS951)。また、シャッタレリーズボタン131が半押し状態となっていない場合(ステップS947)、または、シャッタレリーズボタン131が深押し状態となっていない場合には(ステップS949)、ステップS941に戻る。
また、通常の撮像モード設定処理が終了した後に(ステップS952)、シャッタレリーズボタン131が半押し状態となっているか否かが判断される(ステップS953)。シャッタレリーズボタン131が半押し状態となっている場合には(ステップS952)、半押し状態となった際に設定されている通常の撮像モードが確定する(ステップS954)。続いて、シャッタレリーズボタン131が深押し状態となっているか否かが判断される(ステップS955)。シャッタレリーズボタン131が深押し状態となっている場合には(ステップS955)、確定した通常の撮像モードの撮像記録パラメータを用いて1枚の撮像画像が記録される(ステップS956)。また、シャッタレリーズボタン131が半押し状態となっていない場合(ステップS953)、または、シャッタレリーズボタン131が深押し状態となっていない場合には(ステップS955)、ステップS941に戻る。
なお、ステップS948またはS954でシャッタレリーズボタン131が半押し状態となっている場合において、同一の撮像モードが所定時間継続して設定されていることを条件にその撮像モードを確定させるようにしてもよい。
図35は、本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順のうちの夜景シーンのモード設定処理手順(図34に示すステップS960の処理手順)を示すフローチャートである。
撮像画像において顔が検出されたか否かが判断される(ステップS961)。撮像画像において顔が検出された場合には(ステップS961)、ストロボを発光するストロボ発光モードが設定される(ステップS963)。なお、撮影者によりストロボ発光が禁止されている場合にはストロボ発光モードが設定されない。ステップS972についても同様である。続いて、撮像装置100が静止している状態であるか否かが判断される(ステップS963)。
撮像装置100が静止している状態であると判断された場合は(ステップS963)、図27に示す「夜景人物有・三脚モード」が設定される(ステップS964)。
一方、撮像装置100が静止している状態ではないと判断された場合は(ステップS963)、図27に示す「夜景人物有・手持モード」が設定される(ステップS965)。
また、撮像画像において顔が検出されていない場合には(ステップS961)、プリ調光により、主要被写体が存在するか否かが判断される(ステップS966)。このように、暗部シーンでは、顔検出を精度良く行うことが難しい可能性が高いため、プリ調光による主要被写体判断は非常に有効である。プリ調光により主要被写体が存在すると判断された場合には(ステップS966)、ステップS962に進む。一方、プリ調光により主要被写体が存在しないと判断された場合には(ステップS966)、撮像装置100が静止している状態であるか否かが判断される(ステップS967)。
撮像装置100が静止している状態であると判断された場合は(ステップS967)、図27に示す「夜景人物無・三脚モード」が設定される(ステップS968)。
一方、撮像装置100が静止している状態ではないと判断された場合は(ステップS967)、図27に示す「夜景人物無・手持モード」が設定される(ステップS969)。
なお、ステップS963およびS967において、撮像装置100の静止状態の判断を行う場合に、ブレ補正装置で手ブレをオフする判断基準とは異なる判断基準を持つようにしてもよい。これは今回のように暗部シーンを判断して露出条件を変える判断基準が手ブレをオフにする静止判断基準と異なることで最適化できるからである。
また、セルフタイマ機能を備える撮像装置の場合には、セルフタイマがオンされている場合に、撮像装置が三脚により固定されているか、撮像装置が固定されている場所に置かれている可能性が高い。このため、例えば、セルフタイマがオンされている場合にのみ、上述した処理を行うようにしてもよい。また、顔検出の有無にかかわらず、ストロボ発光を禁止にしないようにしてもよい。また、顔検出部210、静止判断部220、主要被写体検出部230、シーン決定部250のそれぞれについて、操作受付部130における手動操作によりオフすることを設定可能とするようにしてもよい。また、操作受付部130における手動操作により、上述した処理をオフすることを設定可能とするようにしてもよい。
図36は、本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順のうちの逆光シーンのモード設定処理手順(図34に示すステップS970の処理手順)を示すフローチャートである。
撮像画像において顔が検出されたか否かが判断される(ステップS971)。撮像画像において顔が検出された場合には(ステップS971)、ストロボを発光するストロボ発光モードが設定され(ステップS972)、図27に示す「逆光人物有モード」が設定される(ステップS973)。なお、逆光時には顔が暗く沈んでしまい、撮像画像において顔が検出されない可能性もある。そこで、撮像画像において顔が検出されない場合には(ステップS971)、プリ調光により主要被写体が存在するか否かが判断される(ステップS974)。
プリ調光により主要被写体が存在すると判断された場合には(ステップS974)、ステップS972に進む。一方、プリ調光により主要被写体が存在しないと判断された場合には(ステップS974)、図27に示す「逆光人物無モード」が設定される(ステップS975)。
図37は、本発明の実施の形態における撮像装置100による撮像モード認識アイコン表示処理の処理手順を示すフローチャートである。この処理手順は、表示制御部290により行われる。
最初に、表示部140に撮像画像が表示されるモニタリングが行われる(ステップS981)。続いて、撮像制御部280により各シーンに応じた撮像モードが設定されたか否かが判断される(ステップS982)。各シーンに応じた撮像モードが設定された場合には(ステップS982)、設定された撮像モードが、直前に設定された撮像モードと同一であるか否かが判断される(ステップS983)。設定された撮像モードが、直前に設定された撮像モードと同一である場合には(ステップS983)、アイコン表示カウンタがインクリメントされる(ステップS984)。続いて、アイコン表示カウンタが閾値以上であるか否かが判断される(ステップS986)。
アイコン表示カウンタが閾値以上である場合には(ステップS986)、アイコン表示フラグとして「TRUE」が設定される(ステップS987)。続いて、今回設定された撮像モードに対応する撮像モード認識アイコンが表示部140に表示される(ステップS988)。アイコン表示カウンタが閾値以上でない場合には(ステップS986)、ステップS989に進む。
各シーンに応じた撮像モードが設定されていない場合(ステップS982)、または、設定された撮像モードが、直前に設定された撮像モードと同一でない場合には(ステップS983)、アイコン表示カウンタがリセットされる(ステップS985)。続いて、アイコン表示フラグとして「FALSE」が設定される(ステップS989)。続いて、表示部140に表示されている撮像モード認識アイコンが消去される(ステップS990)。なお、表示部140に撮像モード認識アイコンが表示されていない場合には、この撮像モード認識アイコンの消去処理は行わない。
続いて、シャッタレリーズボタン131が半押し状態となっているか否かが判断される(ステップS991)。シャッタレリーズボタン131が半押し状態でない場合には(ステップS991)、ステップS981に戻る。一方、シャッタレリーズボタン131が半押し状態となっている場合には(ステップS991)、アイコン表示フラグとして「TRUE」が設定されているか否かが判断される(ステップS992)。アイコン表示フラグとして「TRUE」が設定されている場合には(ステップS992)、表示部140に表示されている撮像モード認識アイコンの色が変更される(ステップS993)。一方、アイコン表示フラグとして「TRUE」が設定されていない場合には(ステップS992)、撮像モード認識アイコン表示処理の動作を終了する。
以上で示したように、夜景や室内等の暗い場所において、撮像装置100の静止状態を判断することによって、ユーザが色々な設定や撮影方法を用いなくても、簡単に良好な画像を得ることができる。例えば、手持ちではなく三脚に固定している場合には、ノイズレスで綺麗な画像が得られる。また、手持ちであれば、手ブレしない画像が得られるため、暗部シーンのあらゆるパターンにおいて対応が可能である。
顔検出部210、静止判断部220、主要被写体検出部230、シーン決定部250のそれぞれを用いることによって、発光が必要なときにのみ使用すればよいため、自然な画像を得ることができる。また、消費電力を低減させることができ、ユーザが利用する使用時間を伸ばすことができる。さらに、セルフタイマがオンされている場合に、顔検出部210、静止判断部220、主要被写体検出部230、シーン決定部250のそれぞれを動作させる設定にすることにより、消費電力を低減させることができ、ユーザが利用する使用時間を伸ばすことができる。
また、シーン度合スコア算出情報およびシーン指数算出情報を用いたシーン判定を行うことにより、夜景シーン、屋内シーン、屋外シーン、逆光シーン等の各シーンを精度よく判別することができる。また、逆光シーン等のユーザが失敗しやすいシーンについても判定することが可能であり、顔検出とプリ調光による主要被写体検出によって、逆光シーンでも適切な処理を行ことができる。これにより、ユーザが難しい操作を行うことなく、簡単で良好な画像を得ることができる。さらに、夜景シーン等のユーザが失敗しやすいシーンについても判定することが可能であり、シーン度合スコア等によって適切な明るさに制御することができるため、ユーザが難しい操作を行うことなく、簡単に良好な画像を得ることができる。
また、2枚撮像モードにより撮像する場合には、例えば、1枚目が通常の撮像記録パラメータにより記録されるため、仮に、2枚目に記録された撮像画像が撮影者にとって好みの撮像画像でない場合でも、撮像後に好みの撮像画像である1枚目の撮像画像を選択することができる。一方、例えば、1枚目が撮影者の設定による撮像記録パラメータにより記録され、この撮像画像が撮影者にとって好みの撮像画像でなかった場合でも、2枚目が各シーンに応じた最適な撮像画像として記録されるため、所望のシーンについて適切な撮像画像を撮像後に選択することができる。
さらに、1枚の撮像画像を記録する場合でも、所定のシーンに特化した制御に切り替えることが可能であり、撮影者の選択肢を広げることができる。例えば、最初から夜景シーンを撮像するとわかっている場合には、1枚撮影に切り替えることができる。
また、ユーザに撮像モードを認識させるための撮像モード認識アイコンを安定して表示させることができるため、ユーザは撮像モードを認識しやすくなる。
なお、本発明の実施の形態では、輝度値分布情報として16分割等として示すが、他の分割数としても同様に適用することができる。また、本発明の実施の形態では、ヒストグラム全体の輝度の中央値等の6つの輝度値分布情報に基づいて作成された輝度値分布情報シーン度合スコア算出情報を例にして説明したが、これら以外の輝度値分布情報に基づいて作成された輝度値分布情報シーン度合スコア算出情報を用いてシーン度合スコアを算出するようにしてもよい。輝度値分布情報として、例えば、ヒストグラムのピーク幅、ヒストグラムのピーク値の高さ、ヒストグラムの底の値、ヒストグラムの分離度、ヒストグラムの白飛び領域の割合を用いることができる。
また、本発明の実施の形態では、デジタルスチルカメラ等の撮像装置を例にして説明したが、静止画撮像機能を備えるカムコーダや撮像部を備える携帯電話機等の各種の撮像装置に本発明の実施の形態を適用することができる。また、レンズ交換式カメラや、フィルムカメラ等の他の構造の撮像装置に本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、明るさ情報としてEV値を用いた例について説明したが、LV(Light Value)値等の明るさ情報を用いた場合についても本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、光軸方向を中心として撮像装置を回転させずに撮像された画像を用いた例について説明したが、例えば、光軸方向を中心として撮像装置を90度回転させて撮像された画像についても本発明の実施の形態を適用することができる。この場合には、例えば、90度回転させて撮像された画像についてのシーン指数算出情報を予め作成しておき、このシーン指数算出情報を用いてシーン指数を算出する。または、撮像画像における分割領域から抽出された輝度の平均値について、通常のシーン指数の算出を行うとともに、90度回転させたシーン頻度パターンを用いたシーン指数の算出を行い、これらの各シーン指数を用いてシーン判定を行うことができる。また、角度センサを用いて撮像装置の回転角を検出して、この回転角を用いて撮像画像の回転角を判断し、この回転角に応じてシーン指数を算出するようにしてもよい。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、シャッタ操作受付手段は、例えばシャッタレリーズボタン131に対応する。撮像手段は、例えば撮像素子114、アナログ信号処理部121、A/D変換部122およびデジタル信号処理部123に対応する。また、明るさ情報抽出手段は、例えばEV値抽出部240に対応する。また、輝度値分布情報抽出手段は、例えば輝度値分布情報抽出部251に対応する。また、シーン判定手段は、例えばシーン判定部256に対応する。また、制御手段は、例えば撮像制御部280に対応する。
また、請求項2において、明るさ情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部300に対応する。また、輝度値分布情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部300に対応する。また、判定評価値算出手段は、例えばシーン度合スコア算出部252に対応する。
また、請求項3において、輝度値領域情報抽出手段は、例えば領域分割部253および輝度値抽出部254に対応する。
また、請求項4において、明るさ情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部300に対応する。また、輝度値分布情報評価値パラメータ記憶手段は、例えばシーン度合スコア算出情報記憶部300に対応する。また、分割領域評価値変換情報記憶手段は、例えばシーン指数算出情報記憶部350に対応する。また、判定評価値算出手段は、例えばシーン度合スコア算出部252に対応する。また、分割領域評価値算出手段は、例えばシーン指数算出部255に対応する。
また、請求項6において、撮像記録パラメータ操作受付手段は、例えば操作受付部130に対応する。
また、請求項8において、表示制御手段は、例えば表示制御部290に対応する。
また、請求項9において、シャッタ操作受付手段は、例えばシャッタレリーズボタン131に対応する。撮像手段は、例えば撮像素子114、アナログ信号処理部121、A/D変換部122およびデジタル信号処理部123に対応する。また、分割領域評価値変換情報記憶手段は、例えばシーン指数算出情報記憶部350に対応する。また、輝度値領域情報抽出手段は、例えば、領域分割部253および輝度値抽出部254に対応する。また、分割領域評価値算出手段は、例えばシーン指数算出部255に対応する。また、シーン判定手段は、例えばシーン判定部256に対応する。また、制御手段は、例えば撮像制御部280に対応する。
また、請求項10および11において、明るさ情報抽出手順は、例えばステップS911に対応する。また、輝度値分布情報抽出手順は、例えばステップS912に対応する。また、シーン判定手順は、例えばステップS904に対応する。また、制御手順は、例えばステップS950およびS951に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本発明の実施の形態におけるメイン制御部200の機能構成例を示すブロック図である。 本発明の実施の形態におけるシーン決定部250の機能構成例を示すブロック図である。 本発明の実施の形態におけるシーン度合スコア算出情報記憶部300に記憶されているシーン度合スコア算出情報を模式的に示す図である。 本発明の実施の形態におけるシーン指数算出情報記憶部350に記憶されているシーン指数算出情報を模式的に示す図である。 本発明の実施の形態におけるシーン度合スコア算出情報の作成方法を概略的に示す図である。 本発明の実施の形態におけるEV値抽出部411により抽出されたEV値に関するヒストグラムを模式的に示す図である。 各シーンについて作成されたEV情報評価値パラメータが格納されているシーン度合スコア算出情報の一例であるシーン度合スコア算出情報(EV値)311を示す図である。 画像から抽出された輝度の分布状態を表すヒストグラムを示す図である。 撮像画像と、この撮像画像について抽出されたヒストグラムを示す図である。 撮像画像440について判別分析法により算出された閾値kを用いて2値化された画像441を示す図である。 各画像について抽出された輝度の中央値に関するヒストグラムを模式的に示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 各シーンについて作成された輝度値分布情報評価値パラメータが格納されているシーン度合スコア算出情報の例を示す図である。 シーン指数の算出に用いられるシーン指数算出情報の作成方法を概略的に示す図である。 画像を所定の領域に分割する分割方法を概略的に示す図である。 複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。 複数の撮像画像から算出された各領域における輝度の平均値に基づいてヒストグラムを作成する場合を概略的に示す図である。 夜景画像に関するシーン頻度パターンの一例を示す図である。 夜景頻度パターン530について、同一のグループに属する領域内に同一番号を付した場合、および、シーン指数を算出する際における領域毎の評価値を決定するための評価値変換テーブルの一例を示す図である。 逆光画像に関するシーン頻度パターンおよび評価値変換テーブルの一例を示す図である。 複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフ、および、比較的暗い場所で撮像された撮像画像を示す図である。 シーン指数補正値を算出するために用いられる評価値変換テーブル、および、夜景シーン指数と、シーン指数補正値との関係を表すグラフを示す図である。 複数の撮像画像と、これらの撮像画像について算出された夜景シーン指数との関係を表すグラフ、および、比較的暗い場所で撮像された撮像画像を示す図である。 逆光シーンに関する評価値変換テーブルと、逆光シーン指数およびシーン指数補正値との関係を表すグラフとを示す図である。 夜景シーンまたは逆光シーンであると判定された場合における2つの撮像画像を記録する際における撮像記録パラメータの一例を示す図である。撮像条件と、この撮像条件を設定するための各条件との関係を示す図である。 本発明の実施の形態における低照度補正の概略を示す図である。 本発明の実施の形態における表示部140に表示される撮像モード認識アイコンの表示例を示す図である。 本発明の実施の形態における表示部140に表示される撮像モード認識アイコンの表示例を示す図である。 本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順のうちのシーン度合スコア算出処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100によるシーン判定処理の処理手順のうちのシーン指数算出処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順のうちの夜景シーンのモード設定処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100による撮像モード設定処理の処理手順のうちの逆光シーンのモード設定処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置100による撮像モード認識アイコン表示処理の処理手順を示すフローチャートである。
符号の説明
100 撮像装置
111 レンズ
112 アイリス機構部
113 シャッタ機構部
114 撮像素子
115 レンズ制御部
121 アナログ信号処理部
122 A/D変換部
123 デジタル信号処理部
130 操作受付部
131 シャッタレリーズボタン
132 ズームボタン
140 表示部
150 記録部
160 外部I/F
171 EEPROM
172 RAM
180 ブレ検出部
191 発光制御部
192 発光部
200 メイン制御部
210 顔検出部
220 静止判断部
230 主要被写体検出部
240 EV値抽出部
250 シーン決定部
251 輝度値分布情報抽出部
252 シーン度合スコア算出部
253 領域分割部
254 輝度値抽出部
255 シーン指数算出部
256 シーン判定部
260 露出条件仮定部
270 露出判定部
280 撮像制御部
281 プログラム線図保持部
290 表示制御部
300 シーン度合スコア算出情報記憶部
350 シーン指数算出情報記憶部

Claims (11)

  1. シャッタ操作を受け付けるシャッタ操作受付手段と、
    被写体を撮像して撮像画像を生成する撮像手段と、
    前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手段と、
    前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手段と、
    前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と、
    前記シャッタ操作が受け付けられた場合において前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手段と
    を具備することを特徴とする撮像装置。
  2. 各種のシーンに応じた前記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、
    前記各種のシーンに応じた前記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、
    前記抽出された明るさ情報に対応する前記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに前記抽出された輝度値分布情報に対応する前記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して前記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段とをさらに具備し、
    前記シーン判定手段は、前記シーン毎に算出された判定評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定する
    ことを特徴とする請求項1記載の撮像装置。
  3. 前記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段をさらに具備し、
    前記シーン判定手段は、前記抽出された明るさ情報と前記抽出された輝度値分布情報と前記抽出された輝度値領域情報とに基づいて前記撮像画像に含まれる被写体のシーンを判定する
    ことを特徴とする請求項1記載の撮像装置。
  4. 各種のシーンに応じた前記明るさ情報の分布状態を示す明るさ情報評価値パラメータをシーン毎に記憶する明るさ情報評価値パラメータ記憶手段と、
    前記各種のシーンに応じた前記輝度値分布情報に対応する特徴量を示す輝度値分布情報評価値パラメータをシーン毎に記憶する輝度値分布情報評価値パラメータ記憶手段と、
    前記各種のシーンに応じた前記輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と前記抽出された輝度値領域情報を前記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、
    前記抽出された明るさ情報に対応する前記明るさ情報評価値パラメータを用いて明るさ情報評価値をシーン毎に算出するとともに前記抽出された輝度値分布情報に対応する前記輝度値分布情報評価値パラメータを用いて輝度値分布情報評価値をシーン毎に算出して前記シーン毎に算出された明るさ情報評価値および輝度値分布情報評価値に基づいて判定評価値をシーン毎に算出する判定評価値算出手段と、
    前記抽出された輝度値領域情報について前記領域群情報および前記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段とをさらに具備し、
    前記シーン判定手段は、前記シーン毎に算出された判定評価値および分割領域評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定する
    ことを特徴とする請求項3記載の撮像装置。
  5. 前記分割領域評価値算出手段は、前記撮像画像における所定領域から抽出された輝度値領域情報が所定の範囲内に存在する場合には前記分割領域評価値を増加させる補正を行う
    ことを特徴とする請求項4記載の撮像装置。
  6. 所望の撮像記録パラメータを設定する操作内容を受け付ける撮像記録パラメータ操作受付手段をさらに具備し、
    前記制御手段は、前記シャッタ操作が受け付けられた場合において前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも前記設定された撮像記録パラメータと前記判定された所定のシーンに応じた撮像記録パラメータとを用いて撮像画像を記録させる
    ことを特徴とする請求項1記載の撮像装置。
  7. 前記所定のシーンは、夜景シーンまたは逆光シーンである
    ことを特徴とする請求項1記載の撮像装置。
  8. 前記撮像画像の記録に用いられる撮像記録パラメータについて所定時間継続して同一の撮像記録パラメータが設定されている場合に当該所定時間継続して設定されている撮像記録パラメータに関する標識を表示させる表示制御手段をさらに具備する
    ことを特徴とする請求項1記載の撮像装置。
  9. シャッタ操作を受け付けるシャッタ操作受付手段と、
    被写体を撮像して撮像画像を生成する撮像手段と、
    各種のシーンに応じた撮像画像の所定領域における輝度値領域情報の大きさに基づいて分類される撮像画像上の領域群を示す領域群情報と前記輝度値領域情報を前記領域群情報に基づいて分割領域評価値に変換する評価値変換テーブルとを記憶する分割領域評価値変換情報記憶手段と、
    前記撮像画像を複数の領域に分割して当該分割された各領域における輝度値領域情報を抽出する輝度値領域情報抽出手段と、
    前記抽出された輝度値領域情報について前記領域群情報および前記評価値変換テーブルを用いて分割領域評価値をシーン毎に算出する分割領域評価値算出手段と、
    前記シーン毎に算出された分割領域評価値に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手段と、
    前記シャッタ操作が受け付けられた場合において前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手段と
    を具備することを特徴とする撮像装置。
  10. シャッタ操作を受け付けるシャッタ操作受付手段と被写体を撮像して撮像画像を生成する撮像手段を備える撮像装置の制御方法であって、
    前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手順と、
    前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手順と、
    前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手順と、
    前記シャッタ操作が受け付けられた場合において前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手順と
    を具備することを特徴とする撮像装置の制御方法。
  11. シャッタ操作を受け付けるシャッタ操作受付手段と被写体を撮像して撮像画像を生成する撮像手段を備える撮像装置において、
    前記撮像画像全体の明るさを示す明るさ情報を前記撮像画像から抽出する明るさ情報抽出手順と、
    前記撮像画像における輝度値の分布状態を示す輝度値分布情報を前記撮像画像から抽出する輝度値分布情報抽出手順と、
    前記抽出された明るさ情報および前記抽出された輝度値分布情報に基づいて前記撮像画像に含まれる被写体のシーンを判定するシーン判定手順と、
    前記シャッタ操作が受け付けられた場合において前記撮像画像に含まれる被写体のシーンが所定のシーンであると判定された場合には少なくとも2つの異なる撮像記録パラメータを用いて撮像画像を記録させる制御を行う制御手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2008011069A 2008-01-22 2008-01-22 撮像装置、その制御方法およびプログラム Pending JP2009177272A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008011069A JP2009177272A (ja) 2008-01-22 2008-01-22 撮像装置、その制御方法およびプログラム
EP08173046A EP2083565A3 (en) 2008-01-22 2008-12-30 Image capturing apparatus, control method therefor, and program
TW098101032A TWI390337B (zh) 2008-01-22 2009-01-13 攝像裝置、其控制方法及程式
US12/321,407 US8081238B2 (en) 2008-01-22 2009-01-21 Image capturing apparatus to record a scene of an object included in a captured image, control method therefor, and program therefor
KR1020090005033A KR20090080910A (ko) 2008-01-22 2009-01-21 촬상 장치, 그 제어 방법 및 프로그램
CN2009100033733A CN101567976B (zh) 2008-01-22 2009-01-22 图像拍摄设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008011069A JP2009177272A (ja) 2008-01-22 2008-01-22 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2009177272A true JP2009177272A (ja) 2009-08-06

Family

ID=40577859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008011069A Pending JP2009177272A (ja) 2008-01-22 2008-01-22 撮像装置、その制御方法およびプログラム

Country Status (6)

Country Link
US (1) US8081238B2 (ja)
EP (1) EP2083565A3 (ja)
JP (1) JP2009177272A (ja)
KR (1) KR20090080910A (ja)
CN (1) CN101567976B (ja)
TW (1) TWI390337B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004716A (ja) * 2010-06-15 2012-01-05 Sanyo Electric Co Ltd 撮像装置及び電子機器

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525888B2 (en) * 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
JP4772839B2 (ja) * 2008-08-13 2011-09-14 株式会社エヌ・ティ・ティ・ドコモ 画像識別方法および撮像装置
JP5520037B2 (ja) * 2009-01-30 2014-06-11 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5424712B2 (ja) * 2009-05-21 2014-02-26 キヤノン株式会社 画像処理装置及びその制御方法とプログラム
TWI410128B (zh) * 2010-01-21 2013-09-21 Inventec Appliances Corp 數位相機及其運作方法
TWI424247B (zh) * 2010-02-11 2014-01-21 Altek Corp 對焦方法及攝像裝置
CN102193934B (zh) * 2010-03-11 2013-05-29 株式会社理光 用于寻找图像集合中的代表性图像的系统和方法
CN103188423A (zh) * 2011-12-27 2013-07-03 富泰华工业(深圳)有限公司 摄像装置及摄像方法
US9208554B2 (en) * 2012-01-16 2015-12-08 Intelliview Technologies Inc. Apparatus for detecting humans on conveyor belts using one or more imaging devices
CN104067606A (zh) * 2012-11-16 2014-09-24 松下电器(美国)知识产权公司 照相机、照相机系统及自诊断方法
JP6243629B2 (ja) * 2013-05-29 2017-12-06 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN103428439B (zh) * 2013-08-22 2017-02-08 浙江宇视科技有限公司 一种成像设备自动曝光控制方法及装置
CN103475813B (zh) * 2013-08-26 2018-01-16 上海斐讯数据通信技术有限公司 一种照片信息添加系统及信息添加方法
JP6270854B2 (ja) * 2013-08-30 2018-01-31 マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム
JP5926755B2 (ja) * 2014-03-19 2016-05-25 国立大学法人京都大学 関係性グラフ用オブジェクト表示システム
WO2016046664A1 (en) * 2014-09-25 2016-03-31 Sony Corporation Image processing method, image processing apparatus and electronic device
CN105450923A (zh) * 2014-09-25 2016-03-30 索尼公司 图像处理方法、图像处理装置以及电子设备
JP6467865B2 (ja) * 2014-10-28 2019-02-13 ソニー株式会社 画像処理装置、カメラシステム、画像処理方法及びプログラム
JP6592522B2 (ja) * 2015-03-05 2019-10-16 ケーピーアイティ テクノロジーズ リミテッド 周囲光を検出する方法及びシステム
CN106851124B (zh) * 2017-03-09 2021-03-02 Oppo广东移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN106954051B (zh) * 2017-03-16 2018-07-06 广东欧珀移动通信有限公司 一种图像处理方法及移动终端
CN107295255B (zh) * 2017-06-21 2020-08-04 深圳市万普拉斯科技有限公司 拍摄模式的确定方法、装置及终端
CN108200354B (zh) * 2018-03-06 2020-09-25 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
US10825137B2 (en) * 2019-01-15 2020-11-03 Datalogic IP Tech, S.r.l. Systems and methods for pre-localization of regions of interest for optical character recognition, and devices therefor
JP7327945B2 (ja) * 2019-02-21 2023-08-16 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
CN113747046B (zh) * 2020-05-29 2023-06-06 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US707A (en) * 1838-04-24 Improvement in many-chambered-cylinder fire-arms
JP2000050152A (ja) * 1998-07-24 2000-02-18 Minolta Co Ltd デジタルカメラの露光量制御システム
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP3468231B2 (ja) 2001-07-02 2003-11-17 ミノルタ株式会社 画像処理装置、画質制御方法、プログラム及び記録媒体
JP4306261B2 (ja) 2003-01-30 2009-07-29 ソニー株式会社 撮像装置及び撮像方法
JP4341295B2 (ja) * 2003-05-16 2009-10-07 セイコーエプソン株式会社 逆光人物画像の判定
JP3959690B2 (ja) * 2003-10-01 2007-08-15 ソニー株式会社 撮像装置および撮像方法
JP4395619B2 (ja) * 2005-01-24 2010-01-13 カシオ計算機株式会社 撮像装置、撮影条件設定方法、及び、プログラム
JP5319078B2 (ja) 2006-07-07 2013-10-16 オリンパスイメージング株式会社 カメラ、カメラの画像処理方法、プログラム、記録媒体
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004716A (ja) * 2010-06-15 2012-01-05 Sanyo Electric Co Ltd 撮像装置及び電子機器

Also Published As

Publication number Publication date
TWI390337B (zh) 2013-03-21
TW200939750A (en) 2009-09-16
EP2083565A2 (en) 2009-07-29
US8081238B2 (en) 2011-12-20
KR20090080910A (ko) 2009-07-27
US20090207281A1 (en) 2009-08-20
CN101567976A (zh) 2009-10-28
CN101567976B (zh) 2012-05-30
EP2083565A3 (en) 2010-09-22

Similar Documents

Publication Publication Date Title
JP2009177272A (ja) 撮像装置、その制御方法およびプログラム
JP2009177271A (ja) 撮像装置、その制御方法およびプログラム
US8199203B2 (en) Imaging apparatus and imaging method with face detection based on scene recognition results
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
WO2010128579A1 (ja) 電子カメラ、画像処理装置及び画像処理方法
KR20110034961A (ko) 장면 모드 표시에 따른 영상 처리 장치 및 방법
JP2012119858A (ja) 撮影装置、撮影方法、およびプログラム
JP5166370B2 (ja) 撮像装置及び撮像方法
JP2008042617A (ja) デジタルカメラ
US20120098989A1 (en) Imaging apparatus and method of displaying a number of captured images
JP5027580B2 (ja) 撮影装置および方法並びにプログラム
JP5036334B2 (ja) 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
JPWO2018150961A1 (ja) 撮影装置及びその制御方法並びに作動プログラム
JP3985005B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2012074894A (ja) 電子カメラ
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP5728882B2 (ja) 撮像装置、撮影枚数表示方法
JP2008219367A (ja) 撮像装置及び撮像方法
JP7475830B2 (ja) 撮像制御装置および撮像制御方法
JP2009088986A (ja) デジタルカメラ
JP6384110B2 (ja) 撮像装置、及び撮像方法
KR101417818B1 (ko) 디지털 영상 처리기에서 장면 인식 장치 및 방법
JP2012182620A (ja) 撮像装置
JP2012034296A (ja) 撮像装置及びその制御方法