JP2013051516A - 撮像装置および判定方法、並びにプログラム - Google Patents

Abstract

【課題】夜景であるか否かの判定を精度よく行うことができる撮像装置を提供する。
【解決手段】ブロック分割部３１は、CMOSセンサで取り込まれたRAW画像を例えば12×8の領域に分割する。RGB平均計算部３２は、各ブロックのRGB値の平均を計算する。輝度・色差変換部３３は、RGB値の平均を輝度・色差に変換する。輝度差計算部３４は、輝度Lumに基づいて、各ブロックの輝度の、適正露出における輝度からの輝度差DeltaLvを求める。絶対輝度計算部３５は、露出制御部１４から供給された被写体輝度SceneLvと、輝度差DeltaLvに基づいて、各ブロックの絶対輝度BlockLvを計算する。ヒストグラム計算部３７は、RAW画像に基づいてヒストグラムを計算する。判定部３６は、絶対輝度BlockLvと、ヒストグラムに基づいて、撮影シーンが夜景であるか否かを判定する。
【選択図】図２

Description

本発明は、撮像装置およびシーン判定方法、並びにプログラムに関し、特に、夜景であるか否かの判定を精度よく行うことができるようにした撮像装置およびシーン判定方法、並びにプログラムに関する。

近年販売されているデジタルカメラの多くには、風景、ポートレート、夜景などの予め用意された複数のシーンの中から、ユーザが撮影しようとしている撮影シーンを判定する機能が搭載されている。この機能により、撮影シーンに適したシャッタースピード、絞り値などが自動的に設定されるため、ユーザは適切な設定で撮影を行うことが可能になる。

図１１は、夜景であるか否かを判定する従来の処理の流れを示す図である。図１１の処理は、例えばＡＥ(Automatic Exposure)により被写体輝度SceneLvが取得された後で、夜景であるか否かの判定が行われる。

はじめに、撮像素子により取り込まれたRAW画像を例えば１２×８の領域（ブロック）に分割する処理が行われる（処理１０１）。以降の処理はブロック単位で行われる。次に、各ブロックのRGB値の平均が計算され（処理１０２）、RGB値の平均を輝度・色差に変換する処理が行われる（処理１０３）。

次に、各ブロックの輝度の、適正露出における輝度からの輝度差DeltaLvが計算され（処理１０４）、ＡＥにより取得された被写体輝度SceneLvと輝度差DeltaLvに基づいて、各ブロックの絶対輝度BlockLvが求められる（処理１０５）。絶対輝度BlockLvが-0.5Lv以下であるブロックの数が計算され（処理１０６）、絶対輝度BlockLvが-0.5Lv以下であるブロックの数に基づいて、撮影シーンが夜景であるか否かが判定される。例えば、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が閾値より少ない場合、撮影シーンが夜景であると判定され、閾値より多い場合、撮影シーンが夜景ではないと判定される。

このように、夜景の従来の判定処理においては、絶対輝度BlockLvが-0.5Lv以下であるブロックの数に基づいて、撮影シーンが夜景であるか否かを判定するようになされている。

特開２００６−０２３３３９号公報 特開２００８−１４６０８８号公報 特開２００８−０４２６１６号公報 特開２００８−０４２６１７号公報

撮影しようとしているシーンが、たとえば「明るい夜景」や「暗い屋内」であるような場合、後者の方が絶対輝度BlockLvの値が全体的に低くなってしまい、絶対輝度BlockLvが-0.5Lv以下であるブロック数が多くなることによって、夜景であると誤判定してしまうことがあった。

図１２（Ａ）の左側に示すサンプル画像１１１は、椅子に座っているユーザが前方にある机の上の方から机の下に向かって斜めにデジタルカメラにより撮影したときに取り込まれた画像である。レンズが下方向を向いていることによって、破線１１１−１で囲む画像の下方には机の天板の下（ユーザの足下）が写り、破線１１１−２で囲む画像の上方には天板の上面が写っている。部屋の照明からの光が照射する天板部分は明るく写り、天板の影になるユーザの足下の部分は暗く写ることになる。たとえば、明るいが、黒っぽく映っている部分がある画像となる。

図１２（Ａ）の右側に示す画像１１２は、サンプル画像１１１を対象として上述した処理１０１と処理１０２を行うことによって求められた各ブロックのRGB値の平均を示す画像である。机の天板部分に対応するブロックのRGB値の平均が明るめの値となり、天板の下部分に対応するブロックのRGB値の平均が暗めの値となる。サンプル画像１１１を対象として処理１０３以降の処理を行った場合、例えば、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が８７個として求められる。なお図中に、ブロックに示されている濃淡は、RGB値の平均値を示し、たとえばより濃い色となっているブロックがRGB値の平均が暗めの値となっていることを示している。他の図においても同様である。

図１２（Ｂ）の左側に示すサンプル画像１２１は、夜景の撮影時に取り込まれた画像である。破線１２１−１で囲む画像には建物が写り、破線１２１−２で囲む画像には空が写っている。建物の中から外に漏れる光や街灯の光などがある部分は明るく写り、空の部分は暗く写ることになる。

図１２（Ｂ）の右側に示す画像１２２は、サンプル画像１２１を対象として処理１０１と処理１０２を行うことによって求められた各ブロックのRGB値の平均を示す画像である。光源を直接含む部分、または光が照射している部分に対応するブロックのRGB値の平均が明るめの値となり、空の部分に対応するブロックのRGB値の平均が暗めの値となる。サンプル画像１２１を対象として処理１０３以降の処理を行った場合、例えば、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が３２個として求められる。

このように、「暗い屋内」の画像であるサンプル画像１１１と、「明るい夜景」の画像であるサンプル画像１２１とでは、絶対輝度BlockLvが-0.5Lv以下であるブロック数の逆転が起こり、前者の「暗い屋内」の画像であるサンプル画像１１１の方を、夜景であると誤判定してしまうことになる。

ところで、夜景であるか否かの判定に関する技術として特許文献１、特許文献２に開示されているものがある。これらの文献に開示されている技術においては、夜景であるか否かの判定が以下の条件に基づいて行われる。
（１）画面の中央に高輝度のブロックが一定数以上あり、かつ、画面の上側と左右に設定された領域に低輝度のブロックが一定数以上ある場合、夜景であると判定
（２）輝度の全体の積分量が少なく、かつ、鋭いコントラストを形成する入射光がある場合、夜景であると判定

これらの技術においては、撮影した画像の画素値を元にして明るさを求め、夜景であるか否かの判定を行っていることから、例えば、トンネルの中から、トンネルの出口付近の壁面がフレームの周りに写るようにしてトンネルの外の風景を撮影するような場合に夜景であると誤判定してしまうことがある。また図１３に示すように、観光先の建物の中から外の風景を撮像して得られる画像の場合も、中央が明るく、その周りが暗くなるので、夜景であると誤判定してしまうことがある。

本発明はこのような状況に鑑みてなされたものであり、夜景であるか否かの判定を精度よく行うことができるようにするものである。

本発明の一側面は、撮影された画像に写る被写体の明るさを測定する測光手段と、画像の明るさのヒストグラムを計算する計算手段と、被写体の明るさと、ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定手段とを備えることを特徴とする。

本発明の一側面は、撮影された画像に写る被写体の明るさを測定する測光ステップと、画像の明るさのヒストグラムを計算する計算ステップと、被写体の明るさと、ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定ステップとを含むことを特徴とする。

本発明の一側面は、撮影された画像に写る被写体の明るさを測定する測光ステップと、画像の明るさのヒストグラムを計算する計算ステップと、被写体の明るさと、ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明によれば、夜景であるか否かの判定を精度よく行うことができる。

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。 図１の画像処理部の機能構成例を示すブロック図である。 輝度Lumと輝度差DeltaLvとの関係を示す図である。 サンプル画像のヒストグラムを示す図である。 第１のサンプル画像を対象とした処理の例を示す図である。 第２のサンプル画像を対象とした処理の例を示す図である。 第３のサンプル画像を対象とした処理の例を示す図である。 ３つのサンプル画像のヒストグラムを示す図である。 各輝度を有する画素の数の累積値を示す図である。 撮像装置の処理について説明するフローチャートである。 夜景であるか否かを判定する従来の処理の流れを示す図である。 サンプル画像の例を示す図である。 シーンの誤判定が起こる可能性がある画像の例を示す図である。

［撮像装置の構成］
図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図１に示す撮像装置１は、デジタルスチルカメラ、デジタルビデオカメラ、撮影機能を有する携帯端末などの装置である。

CPU(Central Processing Unit)１１は、図示せぬROM(Read Only Memory)などに記憶されているプログラムを実行し、操作部１２に対するユーザの操作に応じて撮像装置１の全体の動作を制御する。

撮像部１３は、レンズ１３−１とCMOS(Complementary Metal Oxide Semiconductor)センサ１３−２から構成される。CMOSセンサ１３−２は、レンズ１３−１により取り込まれた光の光電変換を行い、A/D（Analog to Digital）変換などを施して得られたRAW画像のデータを出力する。CMOSセンサ１３−２から出力されたRAW画像は露出制御部１４と画像処理部１５に供給される。

露出制御部１４は、CMOSセンサ１３−２から供給されたRAW画像を解析し、中央重点測光、マルチ測光、スポット測光などの所定の測光方式によって被写体の明るさを検出する（測光を行う）。露出制御部１４は、測光結果に基づいて、露出が適正になるように撮像部１３のレンズ１３−１の絞り値とCMOSセンサ１３−２のシャッタースピードを制御するなどの処理を行う。露出制御部１４によりＡＥ(Automatic Exposure)が実現されることになる。また、露出制御部１４は、測光を行うことによって得られた被写体輝度SceneLvの情報を画像処理部１５に出力する。

この例においては、CMOSセンサ１３−２により取り込まれたRAW画像に基づいて測光が行われるものとしたが、測光センサが撮像装置１に設けられている場合、測光センサによる測光結果に基づいて露出が制御されるようにしてもよい。

画像処理部１５は、CMOSセンサ１３−２から供給されたRAW画像、または記録部１６から読み出した撮影済みの画像に対して各種の処理を行う。例えば、画像処理部１５は、CMOSセンサ１３−２から供給されたRAW画像に所定の処理を施し、表示用の画像データをLCD(Liquid Crystal Display)１７に出力してライブビュー表示を行わせる。また、画像処理部１５は、ユーザにより撮影が指示されたタイミングでCMOSセンサ１３−２により取り込まれたRAW画像を圧縮し、記録部１６に記録させる。

さらに、画像処理部１５は、CMOSセンサ１３−２により取り込まれたRAW画像に基づいて、撮影シーンが夜景であるか否かを判定する。夜景であるか否かの判定については後に詳述する。

記録部１６は、フラッシュメモリなどよりなり、画像処理部１５から供給された画像を記録する。記録部１６に記録された撮影済みの画像は画像処理部１５により適宜読み出され、LCD１７に表示されたり、外部の装置に転送されたりする。

図２は、画像処理部１５の機能構成例を示すブロック図である。図２に示す機能部のうちの少なくとも一部は、画像処理部１５において所定のプログラムが実行されることによって実現される。CMOSセンサ１３−２により取り込まれたRAW画像はブロック分割部３１とヒストグラム計算部３７に入力され、露出制御部１４により取得された被写体輝度SceneLvは絶対輝度計算部３５に入力される。

ブロック分割部３１は、CMOSセンサ１３−２により取り込まれたRAW画像を例えば12×8の領域（ブロック）に分割し、各ブロックの画素値（RGB値）をRGB平均計算部３２に出力する。

RGB平均計算部３２は、ブロック分割部３１により設定された各ブロックを構成する画素のRGB値に基づいて、各ブロックのRGB値の平均を計算する。RGB平均計算部３２は、計算により求めた各ブロックのRGB値の平均を輝度・色差変換部３３に出力する。

輝度・色差変換部３３は、RGB平均計算部３２により求められたRGB値の平均を輝度・色差に変換する。輝度（Lum）、色差（Cil，Cgm）は、それぞれ次式（１）〜（３）に基づいて求められる。
Lum = 0.25*R + 0.5*G + 0.25*B ・・・ （１）
Cil = -0.5*R + 0.5*B ・・・ （２）
Cgm = -0.25*R + 0.5*G - 0.25*B ・・・ （３）

輝度差計算部３４は、輝度・色差変換部３３により求められた輝度Lumに基づいて、各ブロックの輝度の、適正露出における輝度からの輝度差DeltaLvを求める。輝度Lumと輝度差DeltaLvとの関係を図３に示す。このように輝度Lumと輝度差DeltaLvには対応関係があるので、輝度差計算部３４は、たとえば、図３に示すデータを記憶しており、そのデータから、輝度・色差変換部３３により求められた輝度Lumに対応する輝度差DeltaLvを検出する。輝度差計算部３４は、求めた輝度差DeltaLvを絶対輝度計算部３５に出力する。

絶対輝度計算部３５は、露出制御部１４から供給された被写体輝度SceneLvと、輝度差計算部３４により求められた輝度差DeltaLvに基づいて、各ブロックの絶対輝度BlockLvを計算する。絶対輝度BlockLvは次式（４）により求められる。
BlockLv = SceneLv - DeltaLv ・・・ （４）

絶対輝度計算部３５は、計算により求めた各ブロックの絶対輝度BlockLvを判定部３６に出力する。

判定部３６は、絶対輝度計算部３５により求められた各ブロックの絶対輝度BlockLvと、ヒストグラム計算部３７により求められたヒストグラムに基づいて、撮影シーンが夜景であるか否かを判定する。すなわち、撮像装置１においては、撮影シーンが夜景であるか否かの判定が、各ブロックの絶対輝度BlockLvだけでなく、取り込まれた画像のヒストグラムをも用いて行われることになる。撮影シーンの判定条件については後述する。

ヒストグラム計算部３７は、CMOSセンサ１３−２により取り込まれたRAW画像に基づいてヒストグラムを計算する。

図４（Ａ）は、図１２（Ａ）のサンプル画像１１１のヒストグラムを示す図であり、図４（Ｂ）は、図１２（Ｂ）のサンプル画像１２１のヒストグラムを示す図である。図４（Ａ）、図４（Ｂ）の横軸は輝度（左端がRGB=(0,0,0)（黒）、右端がRGB=(255,255,255)（白））を表し、縦軸はその輝度を有する画素の数を表す。

図４（Ａ）の区間Ｔ１の範囲は、天板の影のみが写り、照明からの光がほとんど届かない部分に対応する画素の数を表し、区間Ｔ２の範囲は、天板の影が写る部分ではあるが、照明からの光が少し届く部分に対応する画素の数を表す。区間Ｔ３の範囲は、天板の上面が写っている部分に対応する画素の数を表す。

一方、図４（Ｂ）の区間Ｔ１１の範囲は、空が写っている部分に対応する画素の数を表し、区間Ｔ１２の範囲は、建物の中から外に漏れる光や街灯の光などが届いている部分に対応する画素の数を表す。区間Ｔ１３の範囲は、建物の中の光源や街灯の部分に対応する画素の数を表す。

図４（Ａ）、図４（Ｂ）に示すように、「暗い屋内」の画像であるサンプル画像１１１のヒストグラムと「明るい夜景」の画像であるサンプル画像１２１のヒストグラムとを比較した場合、次のような特徴があることが分かる。
１．「暗い屋内」の画像には、黒、または黒に近い画素が多く含まれる（区間Ｔ１、区間Ｔ２に画素が多く含まれる）。
２．「暗い屋内」の画像には、黒と白のほぼ中間の位置（区間Ｔ３）に山が現れ、その山を構成する画素より白に近い画素がほとんどない。
３．「明るい夜景」の画像には、白、または白に近い画素が一定量含まれる（区間Ｔ１３に山が現れる）。

ヒストグラム計算部３７は、ヒストグラムを計算し、ヒストグラムの情報を判定部３６に出力する。判定部３６に供給されたヒストグラムの情報は、撮影シーンが夜景であるか否かの判定に用いられる。

［夜景の判定条件について］
ここで、撮影シーンが夜景であると判定する条件について説明する。図５の左側に示すサンプル画像１３１、図６の左側に示すサンプル画像１２１、および図７の左側に示すサンプル画像１１１を用いて説明する。図６のサンプル画像１２１は図１２（Ｂ）のサンプル画像１２１と同じ画像であり、図７のサンプル画像１１１は図１２（Ａ）のサンプル画像１１１と同じ画像である。

図５のサンプル画像１３１は、図１２（Ｂ）のサンプル画像１２１と比較して暗い画素が多く含まれる「暗い夜景」の画像である。図５の矢印＃１の先に示す画像１３２は、サンプル画像１３１を対象としてブロック分割部３１がブロック分割を行い、RGB平均計算部３２がRGB値の平均の計算を行うことによって求められた各ブロックのRGB値の平均を示す画像である。サンプル画像１２１を対象として同じ処理を行った場合と比較して、画像１３２には、RGB値の平均が暗いブロックが多く含まれる（８７個以上）。

サンプル画像１３１を対象として処理を行うことによって求められる各ブロックの絶対輝度BlockLvを矢印＃２の先に示す。この例においては、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が９１個として求められている。

一方、図６の矢印＃１１の先に示す画像１２２は、サンプル画像１２１を対象としてブロック分割部３１がブロック分割を行い、RGB平均計算部３２がRGB値の平均の計算を行うことによって求められた各ブロックのRGB値の平均を示す画像である。サンプル画像１２１を対象として処理を行うことによって求められる各ブロックの絶対輝度BlockLvを矢印＃１２の先に示す。この例においては、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が３２個として求められている。

図７の矢印＃２１の先に示す画像１１２は、サンプル画像１１１を対象としてブロック分割部３１がブロック分割を行い、RGB平均計算部３２がRGB値の平均の計算を行うことによって求められた各ブロックのRGB値の平均を示す画像である。サンプル画像１１１を対象として処理を行うことによって求められる各ブロックの絶対輝度BlockLvを矢印＃２２の先に示す。この例においては、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が８７個として求められている。

ここで、夜景であるか否かの判定の基準となる、絶対輝度BlockLvが-0.5Lv以下であるブロックの数を５０個とした場合を考える。この場合、「暗い夜景」の画像である図５のサンプル画像１３１については夜景であると判定され、正しい判定結果を得ることができるが、「明るい夜景」の画像である図６のサンプル画像１２１については夜景ではないと判定され、正しい判定結果を得ることができない。このような誤判定を防ぐために、ヒストグラム計算部３７により計算されたヒストグラムが用いられる。

図８は、サンプル画像１２１と比較して暗い画素が多く含まれる「暗い夜景」の画像であるサンプル画像１３１（サンプル１）、「明るい夜景」の画像であるサンプル画像１２１（サンプル２）、「暗い屋内」の画像であるサンプル画像１１１（サンプル３）のヒストグラムを同じ座標上に示す図である。サンプル２とサンプル３については、図４を参照して説明した分布と同様の輝度の分布が現れる。サンプル１については、夜景の画像であるサンプル２と同様に、白、または白に近い画素が含まれるため、右端に山が現れる。

図９は、サンプル１〜３の各画像の輝度＝０を基準として、各輝度を有する画素の数の累積値（輝度０から２５５まで、輝度の低い画素の順に、各輝度を有する画素の数を累積した値）を示す図である。横軸が輝度を示し、縦軸が、全画素数を１００％としたときの各輝度における画素の累積値（累積数）の割合（％）を示す。

図９から分かるように、「暗い屋内」の画像であるサンプル３と比較して、「暗い夜景」の画像であるサンプル１、「明るい夜景」の画像であるサンプル２には次の特徴がある。
１．全体の画素数を100%として、画素の累積値が50％になる輝度の値がサンプル３における場合より低い（破線Ｌ１で示す閾値Ｌ１）
２．全体の画素数を100%として、画素の累積値が20％になる輝度の値がサンプル３における場合より低い（破線Ｌ２で示す閾値Ｌ２）
３．輝度＞200となる画素の数がサンプル３における場合より多い（約5％（破線Ｌ３で示す閾値））

夜景の画像であるサンプル１、サンプル２に現れる画素の累積の１つ目の特徴（１．全体の画素数を100%として、画素の累積値が50％になる輝度の値がサンプル３における場合より低い）と２つ目の特徴（２．全体の画素数を100%として、画素の累積値が20％になる輝度の値がサンプル３における場合より低い）は、主に、上述したヒストグラムの１つ目の特徴（１．「暗い屋内」の画像には、黒、または黒に近い画素が多く含まれる）と２つ目の特徴（２．「暗い屋内」の画像には、黒と白のほぼ中間の位置に山が現れ、その山を構成する画素より白に近い画素がほとんどない）によるものであり、画素の累積の３つ目の特徴（３．輝度＞200となる画素の数がサンプル３における場合より多い）は、主に、上述したヒストグラムの３つ目の特徴（３．「明るい夜景」の画像には、白、または白に近い画素が一定量含まれる（区間Ｔ１３に山が現れる））によるものである。

このことから、判定部３６は、ヒストグラム計算部３７により計算されたヒストグラムに基づいて、全体の画素数を100%として、画素の累積値が50％になる輝度の値が閾値Ｌ１より低く（第１の累積条件）、全体の画素数を100%として、画素の累積値が20％になる輝度の値も閾値Ｌ２より低く（第２の累積条件）、輝度＞200となる画素の数が閾値Ｌ３よりも多い（第３の累積条件）場合に、撮影シーンが夜景であると判定することになる。

なおここでは、「暗い屋内」の画像であるサンプル３を基準に閾値を決定したが、本来は夜の風景よりも明るいが暗く映っている画像であれば、他の状況の画像でもよい。

またこれらの３つの累積条件を用いた判定は、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が閾値以上である場合に行われる。すなわち、ヒストグラムを用いた判定は、絶対輝度BlockLvが-0.5Lv以下であるブロックの数に基づいて撮影シーンが夜景である可能性があると判定された場合に行われることになる。

このように、絶対輝度BlockLvが-0.5Lv以下であるブロックの数だけでなくヒストグラムをも用いることにより、特に、上述したような「明るい夜景」を夜景ではないと誤判定してしまうことを防ぐことが可能になる。

［撮像装置の動作］
次に、図１０のフローチャートを参照して、撮影シーンが夜景であるか否かを判定する撮像装置１の一連の処理について説明する。例えば図１０の開始前、露出制御部１４においては被写体輝度SceneLvの測定が行われている。

ステップＳ１において、CMOSセンサ１３−２は画像を取り込み、RAW画像を出力する。

ステップＳ２において、ブロック分割部３１は、CMOSセンサ１３−２により取り込まれたRAW画像を例えば12×8のブロックに分割する。

ステップＳ３において、RGB平均計算部３２は、ブロックを構成する画素のRGB値に基づいて、各ブロックのRGB値の平均を計算する。

ステップＳ４において、輝度・色差変換部３３は、RGB平均計算部３２により求められた各ブロックのRGB値の平均を上式（１）〜（３）に基づいて求める。

ステップＳ５において、輝度差計算部３４は、輝度・色差変換部３３により求められた輝度Lumに対応する輝度差DeltaLvを図３の表を参照して求める。

ステップＳ６において、絶対輝度計算部３５は、露出制御部１４により求められた被写体輝度SceneLvから、輝度差計算部３４により求められた輝度差DeltaLvを減算することによって、各ブロックの絶対輝度BlockLvを計算する。

ステップＳ７において、判定部３６は、絶対輝度計算部３５により求められた各ブロックの絶対輝度BlockLvに基づいて、絶対輝度BlockLvが-0.5Lv以下であるブロックの数を計算する。

ステップＳ８において、判定部３６は、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が閾値以上であるか否かを判定する。

絶対輝度BlockLvが-0.5Lv以下であるブロックの数が閾値以上ではないとステップＳ８において判定した場合、ステップＳ９において、判定部３６は、撮影シーンが夜景ではないと判定し、処理を終了させる。

一方、絶対輝度BlockLvが-0.5Lv以下であるブロックの数が閾値以上であるとステップＳ８において判定された場合、ステップＳ１０において、ヒストグラム計算部３７は、CMOSセンサ１３−２により取り込まれたRAW画像のヒストグラムを計算する。

ステップＳ１１において、ヒストグラム計算部３７は、CMOSセンサ１３−２により取り込まれたRAW画像について、輝度＝０を基準として、各輝度を有する画素の数の累積値を計算する。ヒストグラム計算部３７により計算された、各輝度を有する画素の数の累積値に関する情報が判定部３６に供給される。

ステップＳ１２において、判定部３６は、ヒストグラム計算部３７により計算されたヒストグラム（各輝度を有する画素の数の累積値）に基づいて、累積３条件を満たすか否か、すなわち、全体の画素数を100%として、画素の累積値が50％になる輝度の値がサンプル３における場合より低く、全体の画素数を100%として、画素の累積値が20％になる輝度の値がサンプル３における場合より低く、さらに、輝度＞200となる画素の数がサンプル３における場合より多いか否かを判定する。

累積３条件のうちの少なくともいずれかの条件を満たさないとステップＳ１２において判定した場合、ステップＳ９に進み、判定部３６は、撮影シーンが夜景ではないと判定する。例えば、撮影シーンの判定対象の画像がサンプル３の場合、全体の画素数を100%として、画素の累積値が50％になる輝度の値がサンプル３における場合より低い（破線Ｌ１で示す閾値Ｌ１）より高いので、少なくとも第１の累積条件を満たさず、夜景ではないと判定される。

なお、撮影シーンの判定対象の画像が、従来誤判定が生じていたような、トンネルの中から、トンネルの出口付近の壁面がフレームの周りに写るようにしてトンネルの外の風景を撮影した画像や、建物の中から外の風景を撮像して得られる画像の場合、例えば、輝度＞200となる画素の数が、全体の画素数に対して５％より少ないので、第３の累積条件を満たさず、夜景ではないと判定される。

一方、累積３条件の全ての条件を満たすとステップＳ１２において判定した場合、ステップＳ１３において、判定部３６は、撮影シーンが夜景であると判定し、処理を終了させる。撮影シーンの判定対象の画像がサンプル１またはサンプル２の場合、累積３条件の全ての条件を満たすことから、撮影シーンが夜景であると判定されることになる。

［発明の実施の形態における効果］
以上のように、判定対象画像における輝度のヒストグラムの分布が、たとえば、明るいが、黒っぽく映っている部分がある画像（たとえば、「暗い屋内」の画像）における輝度のヒストグラムの分布と相違するか否かを判定し、相違すると判定した場合、夜景と判定するようにしたので、たとえば、「明るい夜景」を夜景ではないと誤判定してしまうことを防ぐことができ、また「暗い屋内」を夜景であると判定する誤判定を防止することができ、撮影シーンが夜景であるか否かを精度よく判定することが可能になる。

判定対象画像について、輝度の低い方から順番に、各輝度を有する画素の数の累積値の分布に基づいて、撮影シーンが夜景であるか否かを判定するようにしたので、たとえば、判定のための閾値設定を容易にすることができ、より正確な判定をすることができる。

撮影シーンが夜景である可能性があると前記被写体の明るさに基づいて判定した場合に、前記累積値に現れる撮影シーン毎の特徴を用いた判定を行うようにしたので、撮影シーンが夜景であるか否かを精度よく判定することが可能になる。

［その他の実施の形態］
以上においては、たとえば、ヒストグラムを用いた判定を、撮影シーンが夜景であるか否かの判定に適用した場合について説明したが、ポートレート、夜景を背景として人が写っている夜景ポートレートなどの、ヒストグラムに特徴が現れる他のシーンの判定に適用することも可能である。

また以上においては、「暗い屋内」の画像であるサンプル３から、累積条件の基準を設定したが、他の画像、または複数の画像から累積条件の基準を設定することができる。

また以上においては、累積条件１〜３のすべてを利用したが、その中の一部を利用して夜景画像の判定を行うことができる。

また以上においては、図９に示したような各輝度を有する画素の数の累積値の分布の特徴に基づいて、夜景の画像であるか否かを判定するようにしたが、図８に示すヒストグラムの分布の特徴に基づいて、夜景の画像であるか否かを判定することもできる。また累積値の分布とヒストグラムの分布の両方を利用して、夜景の画像の判定を行うことができる。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 撮像装置
１４ 露出制御部
１５ 画像処理部
３１ ブロック分割部
３２ RGB平均計算部
３３ 輝度・色差変換部
３４ 輝度差計算部
３５ 絶対輝度計算部
３６ 判定部
３７ ヒストグラム計算部

Claims (7)

1. 撮影された画像に写る被写体の明るさを測定する測光手段と、
   前記画像の明るさのヒストグラムを計算する計算手段と、
   前記被写体の明るさと、前記ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定手段と
   を備えることを特徴とする撮像装置。
2. 前記計算手段は、輝度の低い方から順番に、各輝度を有する画素の数の累積値を計算し、
   前記判定手段は、前記被写体の明るさと、前記累積値の分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する
   を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、
   前記画像の全体の画素数を100%として、画素の累積値が50％になる輝度の値が所定の閾値より低いことを第１の条件、
   前記画像の全体の画素数を100%として、画素の累積値が20％になる輝度の値が所定の閾値より低いことを第２の条件、
   輝度が200を超える画素の数が所定の閾値よりも多いことを第３の条件とし、
   前記累積値の分布の特徴が、前記第１乃至第３の条件全ての条件を満たす場合に、撮影シーンが夜景であると判定する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記判定手段は、撮影シーンが夜景である可能性があると前記被写体の明るさに基づいて判定した場合に、前記累積値に現れる撮影シーン毎の特徴を用いた判定を行う
   ことを特徴とする請求項２、または３に記載の撮像装置。
5. 前記判定手段は、前記被写体の明るさに基づいて求められる、前記画像を所定の数の領域に分割して得られる各ブロックの絶対輝度の数が閾値以上である場合に、撮影シーンが夜景である可能性があると判定する
   ことを特徴とする請求項４に記載の撮像装置。
6. 撮影された画像に写る被写体の明るさを測定する測光ステップと、
   前記画像の明るさのヒストグラムを計算する計算ステップと、
   前記被写体の明るさと、前記ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定ステップと
   を含むことを特徴とするシーン判定方法。
7. 撮像装置のシーン判定処理をコンピュータに実行させるプログラムにおいて、
   撮影された画像に写る被写体の明るさを測定する測光ステップと、
   前記画像の明るさのヒストグラムを計算する計算ステップと、
   前記被写体の明るさと、前記ヒストグラムの分布の特徴とに基づいて、撮影シーンが夜景であるか否かを判定する判定ステップと
   を含む処理をコンピュータに実行させるプログラム。