JP2011129994A - 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】入力された画像信号が示す画像におけるシーンを精度よく判別して、当該画像信号に対する画像処理を適切に行う。
【解決手段】画像処理装置は、画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、これらブロック領域毎にその色分布の特徴を示す色分布情報を得る色分布情報算出部（１１０，１１１）を有している。相対的位置算出部（１１２，１１３）は色分布情報に応じてブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得る。シーン判別部１１５はブロック領域相対位置関係に応じて画像信号が示す画像におけるシーンを判別してシーン判別結果を得る。制御部１１６はシーン判別結果に応じて画像信号の画像処理を制御する。
【選択図】図１

Description

本発明は、入力された画像信号が示す画像におけるシーン（例えば、撮影シーン）を判別して、この判別したシーンに応じた画像処理を行う技術に関する。

一般に、入力された画像信号が示す画像におけるシーン（例えば、撮影シーン）を判別して、判別したシーンに応じて、画像信号に対する画像処理を行う画像処理装置が知られている。

この種の画像処理装置を用いた撮像装置として、例えば、入力された画像信号が示す画像が夕景撮影（ここでは、夕景シーンとも呼ぶ）において得られた画像であるか否かを判別するようにしたものがある。そして、夕景シーンにおいて得られた画像であると判別すると、当該撮像装置では、夕景シーンに適した撮影モードを自動的に設定するようにしている（例えば、特許文献１参照）。

具体的には、特許文献１に記載の撮像装置では、画像信号が示す画像を複数のブロックに分割して、当該ブロック毎に、その色相及び彩度が所定の範囲内の値であるか否かを判定するようしている。そして、色相及び彩度が所定の範囲内の値であるという条件を満たすブロックの数が、予め定められた閾値以上であると、当該画像信号を得たシーンが夕景シーンであると判別している。

また、入力された画像信号が夕景撮影（つまり、夕景シーン）によって得られた画像信号であると判別した際、ストロボ光と太陽光とのバランスが最適になるように、ストロボの発光を制御するようにした撮像装置が知られている（例えば、特許文献２参照）。

具体的には、特許文献２に記載の撮像装置では、夕景シーンでは画像の上方に夕焼け空が広がっていると想定して、画像の上方において、その色信号中の赤色成分が所定の閾値よりも強い場合に、画像信号を得たシーンを夕景シーンと判別するようにしている。

特開２００８−１１２８９号公報 特開平９−２３６８３９号公報

ところで、特許文献１に記載の撮像装置においては、色相及び彩度が所定の範囲内の値であるという条件（夕景シーン条件）を満たすブロックの数に応じて、当該画像信号を得たシーンが夕景シーンと判別している。しかしながら、上記の夕景シーン条件のみで夕景シーンであるか否かを判別するようにすると、実際には夕景シーンではないシーンを、夕景シーンと誤って判別してしまうことがある。

例えば、撮像装置によって赤茶色に塗装された建物又は壁等を撮影したとする。この場合、実際に夕景シーンで撮影を行った場合と比べると、夕景シーンの条件を満たすブロックの数又は割合が、夕景シーンと近似する値を取ることがある。従って、建物又は壁を撮影したにも拘わらず、当該建物又は壁を撮影したシーンと夕景シーンとを区別することが困難となって、夕景シーンであると誤って判別してしまうことになる。

また、特許文献２に記載の撮像装置においては、夕景シーンにおいては、画像信号が示す画像の上方に夕焼け空が広がっていると想定して、画像の上方において、その色信号の赤色成分が所定の閾値よりも強い場合に、当該シーンを夕景シーンと判別している。

ところが、実際に夕景シーンを撮影した場合には、夕焼け空は必ずしも画像の上方に位置するとは限らない。例えば、ユーザが選択する構図又は撮影の時間帯によっては、画像の下方に夕焼け空が広がることがある。そして、夕焼け空の上方には青空が広がっている場合もある。

よって、特許文献２に記載の撮像装置のように、色分布を判定する際に、当該色分布に関する色の位置基準として、画像の上方又は下方に特定の色分布が存在するといったような固定的な色の位置基準を用いると、夕景シーンを正しく判別できない場合がある。

そして、このように、入力された画像信号におけるシーンが誤って判別されると、当該画像信号に対して適切な画像処理を行えないという問題点がある。

従って、本発明の目的は、入力された画像信号が示す画像におけるシーンを精度よく判別して、当該画像信号に対する画像処理を適切に行うことのできる画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム、並びに記録媒体を提供することにある。

上記の課題を解決するため、本発明による画像処理装置は、入力された画像信号に対して画像処理を行う画像処理装置において、前記画像信号に対して前記画像処理を実行する画像処理手段と、前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得る色分布情報算出手段と、該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得る相対的位置算出手段と、前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るシーン判別手段と、前記シーン判別結果に応じて前記画像処理手段を制御する制御手段とを有することを特徴とする。

本発明による撮像装置は、上記の画像処理装置を有し、被写体を撮像して得られた撮像信号に応じた前記画像信号を前記画像処理装置に与えることを特徴とする。

本発明による画像処理方法は、入力された画像信号に対して画像処理を行うための画像処理方法において、前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得るステップと、該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得るステップと、前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るステップと、前記画像信号に対して、前記シーン判別結果に応じた前記画像処理を実行するステップとを有することを特徴とする。

本発明による画像処理プログラムは、入力された画像信号に対して画像処理を行うための画像処理プログラムにおいて、コンピュータに実行され、前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得るステップと、該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得るステップと、前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るステップと、前記画像信号に対して、前記シーン判別結果に応じた前記画像処理を実行するステップとを有することを特徴とする。

本発明による記録媒体は、上記の画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体である。

以上のように、本発明によれば、入力された画像信号が示す画像におけるシーンを精度よく判別することができる。その結果、シーンに応じて画像信号に対する画像処理を適切に行うことができるという効果がある。

本発明の実施の形態による画像処理装置の一例が用いられる撮像装置の第１の例を示すブロック図である。 図１に示す信号分割部において、色差信号が示す画像のブロック分割の一例を説明するための図である。 図１に示す色相・彩度算出部で求められた色相・彩度と色差信号との関係を説明するための図である。 図４は、図１に示すブロック分類部におけるブロックの分類方法の一例を説明するための図である。 図１に示すブロック分類部におけるブロック分類結果の例を示す図であり、（ａ）は、夕景シーンにおけるブロック分類結果を示す図、（ｂ）は、夕景以外のあるシーンにおけるブロック分類結果を示す図である。 図１に示すブロック密集度算出部で行われる夕日色ブロックの密集度の算出処理を説明するための図である。（ａ）は、図５（ａ）に示す分類結果に対応する夕日色ブロックＳのカウント結果を示す図、（ｂ）は、図５（ｂ）に示す分類結果に対応する夕日色ブロックＳのカウント結果を示す図である。 図１に示すシーン判別部で行われるシーン判別処理で用いられる判別基準の一例を説明するための図である。 本発明の実施の形態による画像処理装置の他の例が用いられる撮像装置の第２の例示すブロック図である。 図８に示す水平ライン分類部における水平ラインの分類の一例を説明するための図であり、（ａ）は、夕景シーンの特徴的な色分布を有する画像をブロック単位で分類した状態を模式的に示す図、（ｂ）は、（ａ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図、（ｃ）は、夕景ではないシーンの色分布を有する画像をブロック単位で分類した状態を模式的に示す図、（ｄ）は、（ｃ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。 図８に示す水平ライン位置判定部における空位置評価値の算出の一例を説明するための図であり、（ａ）は、図９（ｂ）に対応する水平ラインの分類及びライン係数を示す図、（ｂ）は、図９（ｄ）に対応する水平ラインの分類及びライン係数を示す図である。 図８に示すシーン判別部で行われるシーン判別処理で用いられる判別基準の一例を説明するための図である。 図８に示す水平ライン分類部における水平ラインの分類の他の例を説明するための図であり、（ａ）は、夕景シーンの特徴的な色分布を有する画像をブロック単位で分類した状態を模式的に示す図、（ｂ）は、（ａ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図、（ｃ）は、夕景ではないシーンの色分布を有する画像をブロック単位で分類した状態を模式的に示す図、（ｄ）は、（ｃ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。 図８に示す水平ライン位置判定部におけるシーン判別基準の算出の一例を説明するためのフローチャートである。 図８に示すシーン判別部で用いられるシーン判別基準の他の例を説明するための図である。

以下、本発明の実施の形態による画像処理装置の一例について、図面を参照して説明する。なお、ここでは、当該画像処理装置は、例えば、デジタルビデオカメラ等の撮像装置に備えられているものとして説明するが、画像処理装置単体であっても、同様にして、画像処理を行う際に適用できるものである。また、撮像装置に限らず、他の電子機器等に当該画像処理装置を組み込むようにしてもよい。

図１は、本発明の実施の形態による画像処理装置の一例が用いられる撮像装置１００の第１の例を示すブロック図である。

図１を参照して、図示の撮像装置１００は、画像処理装置を有している。図示の例においては、例えば、色差信号補正部１０８、エンコーダ１０９、信号分割部１１０、色相・彩度算出部１１１、ブロック分類部１１２、ブロック相対位置判定部１１３、シーン判別部１１５、及びカメラ制御部１１６が画像処理装置を構成するものとする。

そして、図示の撮像装置１００は、上記の画像処理装置に他に、レンズ１０１、アイリス１０２、撮像素子１０３、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプ１０４、輝度・色信号生成部１０５、ホワイトバランス（ＷＢ）増幅部１０６、色差信号生成部１０７を備えている。

図示の例では、撮像素子１０３として、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーが用いられている。

レンズ１０１は、被写体からの光束を、アイリス１０２を介して撮像素子１０３上に結像させる。撮像素子１０３では、結像された像を光電変換して、撮像信号として出力する。

この撮像信号は、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプ１０４において、適正なレベルにゲイン調整された後、輝度・色信号生成部１０５に与えられる。

輝度・色信号生成部１０５は、撮像信号を、輝度信号（Ｙ）と色信号（Ｒ，Ｇ，Ｂ）とに変換する。そして、輝度信号（Ｙ）は、エンコーダ１０９に与えられ、色信号（Ｒ，Ｇ，Ｂ）はＷＢ増幅部１０６に与えられる。

ＷＢ増幅部１０６は、色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに応じて増幅し、増幅色信号（Ｒ’，Ｇ’，Ｂ’）とする。そして、この増幅色信号（Ｒ’，Ｇ’，Ｂ’）は色差信号生成部１０７に与えられる。色差信号生成部１０７は、増幅色信号（Ｒ’，Ｇ’，Ｂ’）から色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成する。図示の例においては、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）が画像信号である。

そして、色差信号補正部１０８は、カメラ制御部１１６の制御下で、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に対してそのゲイン調整等の画像処理を行って、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の補正を行う。そして、補正後の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）は、エンコーダ１０９に与えられる。

エンコーダ１０９は、輝度信号（Ｙ）及び色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に応じて、例えば、ＮＴＳＣ等の標準テレビジョン信号を生成し、この標準テレビジョン信号を記録部（図示せず）に出力する。

一方、前述の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）は信号分割部（画像分割手段）１１０に与えられる。信号分割部１１０は、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）が示す画像を、後述するようにして、その行方向及び列方向に予め定められた数のブロック（ブロック領域）に分割する。そして、信号分割部１１０は、画像分割の結果である画像分割結果を色相・彩度算出部１１１に与える。

色相・彩度算出部（色相・彩度算出手段）１１１は、画像分割結果が示す上記のブロックの各々について、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）から色相及び彩度信号（つまり、色相・彩度情報（Ｈｕｅ及びＣｈｒｏｍａ））を算出する。この色相及び彩度信号は、色分布情報とも呼ばれる。

そして、この色相及び彩度信号は、画像分割結果とともに、色相・彩度計算部１１１からブロック分類部（ブロック領域分類手段）１１２に与えられる。

ブロック分類部１１２は、画像分割結果及び色相・彩度信号を受け、前述のブロックの各々について、その色相・彩度信号が示す色相・彩度情報に基づいて、ブロック毎の色分布を、後述するように判別して、ブロックの分類を行う。そして、ブロック分類部１１２はブロック分類結果（ブロック領域分類結果）をブロック相対位置判定部１１３及びシーン判別部１１５に与える。

ブロック相対位置判定部１１３には、ブロックの密集度を算出するためのブロック密集度算出部（ブロック領域密集度算出手段）１１４が備えられている。このブロック密集度算出部１１４は、ブロック分類結果に応じて、例えば、夕日色（予め規定された第１の色）に対応付けられたブロックの画像における密集度をブロック密集度として求める。そして、このブロック密集度（以下、単に密集度と呼ぶ）は、シーン判別部１１５に与えられる。

前述のブロック分類結果及び密集度は、ブロック相対位置関係（ブロック領域相対位置関係）として、シーン判別部（シーン判別手段）１１５に与えられることになる。

シーン判別部１１５は、例えば、シーン判別部１１５は、ブロック分類結果に応じて、夕日色に対応するブロックの割合を夕日色ブロック割合（色領域割合）として求める。

そして、シーン判別部１１５は、後述するようにして、夕日色ブロック割合と密集度とに基づいてシーン判別処理を行って、シーン判別結果を求める。そして、シーン判別部１１５は、シーン判別結果をカメラ制御部１１６に与える。カメラ制御部（制御手段）１１６は、後述するようにして、シーン判別結果に応じて色差信号補正部１０８を制御する。

なお、信号線は示されていないが、カメラ制御部１１６によって撮像装置１００全体が制御される。例えば、カメラ制御部１１６は、ＷＢゲインを算出し、ＷＢ増幅部１０６は、このＷＢゲインに基づいて色信号（Ｒ，Ｇ，Ｂ）を増幅して、増幅色信号（Ｒ’，Ｇ’，Ｂ’）とする。

また、カメラ制御部１１６は、色差信号補正部１０８に与えるゲインを、後述するようにして算出し、色差信号補正部１０８はこのゲインに応じて色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を補正することになる。

図２は、図１に示す信号分割部１１０において、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）が示す画像のブロック分割の一例を説明するための図である。

図１及び図２を参照すると、信号分割部１１０では、画像信号である色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）が示す画像を、例えば、６４（８×８）個のブロックＢＬ（１１）〜ＢＬ（８８）に分割する。ここでは、各ブロックは、図中左上から順にＢＬ（１１）、ＢＬ（１２）、・・・、及びＢＬ（８８）と符号が付けられている。

信号分割部１１０は、ブロックＢＬ（１１）〜ＢＬ（８８）毎に色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の色差平均値（Ｒ’−Ｙ，Ｂ’−Ｙ）を算出する。そして、信号分割部１１０は、ブロックＢＬ（１１）〜ＢＬ（８８）毎の色差平均値（Ｒ’−Ｙ，Ｂ’−Ｙ）を、画像分割結果として色相・彩度算出部１１１に与える。

色相・彩度算出部１１１は、ブロックＢＬ（１１）〜ＢＬ（８８）毎の色差平均値（Ｒ’−Ｙ、Ｂ’−Ｙ）に基づいて、ブロックＢＬ（１１）〜ＢＬ（８８）毎にその色相（Ｈｕｅ）及び彩度（Ｃｈｒｏｍａ）を算出する。

図３は、図１に示す色相・彩度算出部１１１で求められた色相・彩度と色差信号との関係を説明するための図である。

図３において、横軸は、Ｂ−Ｙを表し、縦軸は、Ｒ−Ｙを表している。図３に示す色空間において、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の色差平均値を図中符号３Ａで示すと、色相（Ｈｕｅ）は角度Ｈｕｅで示され、彩度（Ｃｈｒｏｍａ）は、破線Ｃｈｒｏｍａで表される。

なお、色相・彩度算出部１１１は、例えば、数１及び数２を用いて、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の色差平均値からそれぞれ色相及び彩度を算出する。

［数１］
色相（Ｈｕｅ）＝ａｒｃｔａｎ（（Ｒ’−Ｙ）／（Ｂ’−Ｙ））

このようにして、色相・彩度算出部１１１で算出されたブロックＢＬ（１１）〜ＢＬ（８８）毎の色相（Ｈｕｅ）及び彩度（Ｃｈｒｏｍａ）は、色相及び彩度信号としてブロック分類部１１２に与えられる。

ブロック分類部１１２は、各ブロックＢＬ（１１）〜ＢＬ（８８）を、その色相・彩度（つまり、色相及び彩度信号）に基づいて、例えば、夕日色ブロック、空色ブロック、雲色ブロック、及び他の色ブロックの４種類のブロックに分類する。

図４は、図１に示すブロック分類部１１２におけるブロックの分類方法の一例を説明するための図である。

図４を参照すると、ここでは、横軸Ｂ−Ｙ及び縦軸Ｒ−Ｙで規定された色空間上において、夕日色ブロックの定義域（Ｓｕｎｓｅｔ Ａｒｅａ）、空色ブロックの定義域（Ｓｋｙ Ａｒｅａ）、及び雲色ブロックの定義域（Ｃｌｏｕｄ Ａｒｅａ）が定義されている。

ブロック分類部１１２では、各ブロックＢＬ（１１）〜ＢＬ（８８）について、その色相・彩度が、色空間上において上記のいずれの定義域に含まれるかを判別して、その判別結果に応じて、各ブロックＢＬ（１１）〜ＢＬ（８８）を分類する。

なお、色相・彩度が、上記のいずれの定義域にも含まれないと判別すると、ここでは、当該ブロックは、他の色ブロックに分類されることになる。

図５は、図１に示すブロック分類部１１２におけるブロック分類結果の例を示す図である。そして、図５（ａ）は、夕景シーンにおけるブロック分類結果を示す図であり、図５（ｂ）は、夕景以外のあるシーンにおけるブロック分類結果を示す図である。

図５（ａ）及び（ｂ）において、符号「Ｓ」、「Ｃ」、及び「Ｂ」は、当該ブロックがそれぞれ夕日色ブロック、雲色ブロック、及び空色ブロックであることを表している。なお、符号が記載されていない空白のブロックは、当該ブロックが他の色ブロックであることを表している。

図５（ａ）に示すように、夕景シーンにおいては、夕日色ブロックＳが画像の右上に密集して存在していることが分かる。一方、図５（ｂ）に示すように、夕景以外のあるシーンにおいては、夕日色ブロックＳが画像の全体に亘って点在していることが分かる。

ブロック分類部１１２における分類処理は、図２に示す全ブロックＢＬ（１１）〜ＢＬ（８８）に対して、順次実行される。その後、ブロック分類部１１２は、各ブロックＢＬ（１１）〜ＢＬ（８８）の分類結果を、ブロック分類結果として、ブロック相対位置判定部１１３及びシーン判別部１１５に出力する。

ここでは、上述のようにして、分類処理されたブロックＢＬ（１１）〜ＢＬ（８８）について、夕日色ブロックＳ相互間の位置関係を評価して、その結果得られた夕日色ブロックＳの密集度に基づいて画像信号が表す画像のシーンを判別する例について説明する。

図６は、図１に示すブロック密集度算出部１１４で行われる夕日色ブロックＳの密集度の算出処理を説明するための図である。そして、図６（ａ）は、図５（ａ）に示す分類結果に対応する夕日色ブロックＳのカウント結果を示す図であり、図６（ｂ）は、図５（ｂ）に示す分類結果に対応する夕日色ブロックＳのカウント結果を示す図である。

図１と図６（ａ）及び（ｂ）とを参照して、前述のように、ブロック分類部１１２は、各ブロックＢＬ（１１）〜ＢＬ（８８）に係るブロック分類結果を、ブロック相対位置判定部１１３に与える。ブロック相対位置判定部１１３では、ブロック密集度算出部１１４が全ブロックＢＬ（１１）〜ＢＬ（８８）のうち夕日色ブロックＳに分類されたブロックに、例えば、ラベルを付加する。

続いて、ブロック密集度算出部１１４は、ラベルの付加されたブロック（ラベル付ブロック）に関して、当該ラベル付ブロックの上下左右に位置するブロック（上下左右ブロック）が夕日色ブロックＳであるか否か確認する。そして、上下左右ブロックが夕日色ブロックＳであると、ブロック密集度算出部１１４は、ラベル付ブロック毎に夕日色ブロックＳの数をカウントする。

図６（ａ）及び（ｂ）において、斜線で示すブロックが夕日色ブロックＳである。まず、図５（ａ）及び図６（ａ）に注目して、図６（ａ）において、符号６０１で示すブロックは、夕日色ブロックＳであるので、前述のように、ラベル付ブロックとされる。

このラベル付ブロック６０１の上下左右に位置するブロックは、いずれも夕日色ブロックＳではないので、図６（ａ）に示すように、ラベル付ブロック６０１は、そのカウント数が「０」となる。

一方、ラベル付ブロック６０２については、その右側に位置するブロックが夕日色ブロックＳであるから、図６（ａ）に示すように、ラベル付ブロック６０２は、そのカウント数が「１」となる。

また、ラベル付ブロック６０３については、上下左右に位置するブロックが、いずれも夕日色ブロックＳであるので、図６（ａ）に示すように、ラベル付ブロック６０３は、そのカウント数が「４」となる。

以下、同様にして、ブロック密集度算出部１１４は、全てのラベル付ブロックについて、上下左右に位置するブロックが夕日色ブロックＳであるか否かを判定して、そのカウント数を得ることになる。その結果、図５（ａ）に示すブロック分類結果から図６（ａ）に示すカウント結果が得られることになる。

続いて、図５（ｂ）及び図６（ｂ）を参照して、ブロック密集度算出部１１４は、例えば、ラベル付ブロック７０１について、ラベル付ブロック７０１の上下左右に位置するブロックが夕日色ブロックＳであるか否かを確認する。

ここでは、ラベル付ブロック７０１の左側に位置するブロックが夕日色ブロックＳであるから、図６（ｂ）に示すように、ラベル付ブロック７０１は、そのカウント数が「１」となる。

また、ラベル付ブロック７０２については、上下左右に位置するブロックは、いずれも夕日色ブロックＳでないので、図６（ｂ）に示すように、ラベル付ブロック７０２は、そのカウント数が「０」となる。

以下、同様にして、ブロック密集度算出部１１４は、全てのラベル付ブロックについて、上下左右に位置するブロックが夕日色ブロックＳであるか否かを判定して、そのカウント数を得ることになる。その結果、図５（ｂ）に示すブロック分類結果から図６（ｂ）に示すカウント結果が得られることになる。

そして、ブロック密集度算出部１１４は、図６（ａ）及び（ｂ）に示すカウント結果におけるカウント数をそれぞれ合算して、その合算値を密集度とする。図６（ａ）及び（ｂ）で示す例では、密集度はそれぞれ「２８」及び「１２」となる。この密集度は、ブロック密集度算出部１１４からシーン判別部１１５に与えられることになる。

このように、夕日色ブロックＳがかたまって存在するほど、その密集度は高くなる。つまり、夕景シーンの場合には、その密集度が高くなる。

図７は、図１に示すシーン判別部１１５で行われるシーン判別処理で用いられる判別基準の一例を説明するための図である。

図１及び図７を参照して、前述したように、シーン判別部１１５には、ブロック分類結果及び密集度が与えられる。そして、シーン判別部１１５は、ブロック分類結果と密集度とに応じて、画像信号が示す画像におけるシーンがどのようなシーンであるかを判別する。ここでは、ブロック分類結果から得られる夕日色ブロックの割合と夕日色ブロックの密集度とに基づいて夕景シーンであるか否かを判別する例について説明する。

図７において、横軸は全ブロックＢＬ（１１）〜ＢＬ（８８）に対する夕日色ブロックＳの割合（夕日色ブロック割合）を表し、縦軸は、夕日色ブロックの密集度（夕日色ブロック密集度）を表している。

図示のように、横軸には、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ：色割合閾値）が規定され、縦軸には、夕日色ブロック密集度閾値（Ｔｈ＿Ｓｕｎｓｅｔ Ｐｏｓｉｔｉｏｎ：ブロック密集閾値）が規定されている。

まず、シーン判別部１１５は、前述のブロック分類結果に応じて、全ブロックＢＬ（１１）〜ＢＬ（８８）に対する夕日色ブロックＳの割合を夕日色ブロック割合として算出する。

そして、シーン判別部１１５は、夕日色ブロック割合が夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）よりも大きく、かつ夕日色ブロック密集度が夕日色ブロック密集度閾値（Ｔｈ＿Ｓｕｎｓｅｔ Ｐｏｓｉｔｉｏｎ）よりも大きいと、現在のシーン（画像におけるシーン）を夕景シーンと判別する。

つまり、シーン判別部１１５は、図７に斜線で示す領域に夕日色ブロック割合及び夕日色ブロック密集度が位置すると、当該画像信号に係る画像は夕景シーンで撮影されたと判別する。

一方、夕日色ブロック割合が夕日色ブロック割合閾値以下（Ｔｈ＿Ｓｕｎｓｅｔ）であるか、又は夕日色ブロック密集度が夕日色ブロック密集度閾値（Ｔｈ＿Ｓｕｎｓｅｔ Ｐｏｓｉｔｉｏｎ）以下であると、シーン判別部１１５は、現在のシーンが夕景シーンではないと判別する。そして、シーン判別部１１５で得られたシーン判別結果はカメラ制御部１１６に与えられる。

上述の説明から明らかなように、夕景シーンの特徴的な条件を満たさない場合には、夕日色ブロック密集度が低い値となるようにすれば、夕景シーンと異なるシーンが夕景シーンと判別されることが極めて少なくなることになる。この結果、シーンの誤判別を防止することが可能となる。

シーン判別結果を受けると、カメラ制御部１１６は、このシーン判別結果に基づいて色差信号補正部１０８、例えば、色差信号補正部１０８に関するパラメータを制御する。図示の例では、カメラ制御部１１６は、色差信号補正部１０８におけるパラメータである色差ゲインＧを制御する。

色差ゲインＧには、第１及び第２のパラメータＧ１及びＧ２があり、ここでは、Ｇ１＞Ｇ２（Ｇ１及びＧ２の各々は１以上の数である）という関係にある。ここで、シーン判別結果が夕景シーンを表していると、カメラ制御部１１６は、第１のパラメータＧ１を色差ゲインＧとして、色差信号補正部１０８に設定する。

一方、シーン判別結果が夕景シーンでないことを表していると、カメラ制御部１１６は、第２のパラメータＧ２を色差ゲインＧとして、色差信号補正部１０８に設定する。

つまり、シーン判別結果が夕景シーンを表している場合には、カメラ制御部１１６は、色差信号に対する色差ゲインを、夕景シーンでない場合よりも高くする設定することになる。この結果、夕景シーンにおいて、より色鮮やかに夕景を撮影することができることになる。

以上のように、図１に示す撮像装置１００においては、撮影シーンが夕景シーンであるか否かを判別して、そのシーン判別結果に応じて画像信号の処理を行う際、画像信号が表す画像を複数のブロックに分割して、これらブロック間の相対的位置関係に応じてシーンの判別を行うようにしている。

例えば、図１に示す撮像装置１００においては、夕日色ブロックＳの密集度を算出し、その密集度を所定の夕日色ブロック密度閾値（Ｔｈ＿Ｓｕｎｓｅｔ Ｐｏｓｉｔｉｏｎ）と比較して、その比較結果に応じてシーンの判別を行っている。つまり、夕日色ブロック割合だけではなく、夕日色ブロック密集度も用いて、シーンの判別を行っているから、精度よくシーンの判別を行うことができる。

このようにして、夕日色ブロックが画像中のどの位置に多く分布するかに拘わらず、夕景シーンの特徴的な条件を満たすか否かの判別を精度良く行うことが可能となる。

言い換えると、夕景シーンの特徴的な条件を満たさない場合には、つまり、夕日色ブロックが画像中に点在する場合には、夕景シーンと判別することが極めて少なくなり、シーン判別の誤りを確実に防止することができる。この結果、シーンに応じた画像処理を的確に行うことができることなる。

なお、図１に示す撮像装置１００においては、色相・彩度を色差信号から直接的に求めるようにしたが、色相・彩度を算出する際の手法は、これに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してから、Ｌ＊ａ＊ｂ＊空間（Ｌ、ａ、及びｂはそれぞれ定数である）において色相・彩度を算出するようにしてもよい。

また、図１に示す撮像装置１００においては、信号分割部１１０が、画像を８×８個のブロックに分割する例について説明したが、画像の分割数はこの数に限定されない。いずれしても、画像を複数のブロックに分割して、ブロック毎の色分布に応じて夕景シーンであるか否かを判別するようにすればよい。そして、画像を複数のブロックに分割する際には、ブロックの数及び分割手法はどのように設定してもよい。

さらに、図１に示す撮像装置１００においては、ブロック分類部１１２でブロックを４種類のいずれかに分類したが、ブロックを分類する際の種類は４つに限られない。

例えば、各ブロックにおける平均輝度を参照して、当該平均輝度の値が極端に高い場合には、そのブロックを高輝度ブロックとして分類して、シーン判別から除外するようにしてもよい。

加えて、図１に示す撮像装置１００においては、夕景シーンであるか否かを判別する際、夕日色ブロック割合と夕日色ブロック密集度とを用いて判別するようにしたが、別の判別手法を用いるようにしてもよい。つまり、画像を複数のブロックに分割して、各ブロックの色信号と密集度に基づいてシーンを判別する手法であれば、どのような手法を用いてもよい。

例えば、夕日色ブロック割合を主な判別条件としてシーンを判別するようにしてもよい。この場合には、夕日色ブロック密集度が低い程、夕日色ブロック割合閾値を高く設定する。つまり、シーン判別部１１５は、密集度に応じて夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）を変更し、夕日色ブロック割合が夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）よりも大きいと、夕景シーンであることを示すシーン判別結果を出力ようにしてもよい。

また、夕日色ブロック割合に加えて、雲色ブロック又は空色ブロックの割合に応じて、シーンの判別を実行するようにしてもよい。

そして、図１に示す撮像装置１００においては、夕日色ブロック密集度に応じて、シーン判別を行う場合について説明したが、密集度を評価する際には他の手法を用いるようにしてもよい。つまり、同一の分類に属するブロック同士の密集度を算出して、密集度を評価する手法であれば、どのような評価手法を用いるようにしてもよい。

例えば、雲色ブロックや空色ブロックの密集度を算出して、その密集度が所定の閾値よりも低い場合には、夕景シーンと判別しないようにしてもよい。

さらに、図１に示す撮像装置１００においては、夕景シーンであるか否かを示すシーン判別結果に基づいて、カメラ制御部１１６が色差信号のゲインを制御する例について説明したが、他の制御手法であってもよい。つまり、夕景シーンであるか否かを示すシーン判別結果に応じて、色信号又は輝度信号を補正する制御を行うのであれば、どのような制御手法を用いてもよい。

また、図１に示す撮像装置１００においては、夕景シーンであるか否かを２値で判別しているが、夕景シーンの信頼度を表すように多値を用いて判別するようにしてもよい。

この場合には、夕日色ブロック割合が所定の夕日ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）以上であって、かつ夕日色ブロック密集度が高い場合に信頼度を高くするようにする。

一方、夕日色ブロック割合が所定の夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）以上であっても、夕日色ブロック密集度が低い場合には、信頼度を低くする。そして、夕景シーンの信頼度に基づいて、カメラ制御部１１６が色差信号補正部１０８を制御するようにしてもよい（例えば、夕景シーンの信頼度が高い程、カメラ制御部１１６は、色差信号に関するゲインを高くする）。

上述の撮像装置１００では、夕日色ブロック間の相対位置関係に応じて、シーン判別を行う例について説明したが、続いて、夕日色ブロックの位置を基準として、空色ブロック相互のブロック相対位置関係を評価して、シーン判別を行う例について説明する。

図８は、本発明の実施の形態による画像処理装置の他の例が用いられる撮像装置１００Ａの第２の例示すブロック図である。

図８を参照して、図示の撮像装置１００Ａにおいて、図１に示す撮像装置１００と同一の構成要素については、同一の参照番号を付し、説明を省略する。図示の撮像装置１００Ａは、同様に、画像処理装置を有している。そして、この画像処理装置は、例えば、色差信号補正部１０８、エンコーダ１０９、信号分割部１１０、色相・彩度算出部１１１、ブロック分類部１１２、ブロック相対位置判定部１１３、シーン判別部１１５、及びカメラ制御部１１６を備えている。

図示の撮像装置１００Ａにおいては、図１に示す撮像装置１００と比べて、ブロック相対位置判定部１１３の構成が異なっている。つまり、撮像装置１００Ａにはおいては、ブロック相対位置判定部１１３は、水平ライン分類部８０１及び水平ライン位置判定部８０２を有している。

水平ライン分類部（ライン領域分類手段）８０１は、後述するように、画像信号が示す画像を水平方向（行方向）に沿って複数のライン領域（以下、水平ラインと呼ぶ）に分割する。そして、水平ライン分類部８０１は、ブロック分類結果に応じて、各水平ラインの分類を行って、ライン分類結果（ライン領域分類結果）を得るものである。

また、水平ライン位置判定部（評価値算出手段）８０２は、後述するようにして、水平ライン間の相対的な位置関係を評価して、各水平ラインの相対的な位置を判定するものである。

例えば、水平ライン位置判定部８０２は、ライン分類結果に応じて、夕日色である水平ラインを基準ライン（基準ライン領域）とし、この基準ラインからの距離に応じて水平ライン毎の係数（ライン係数）を得る。そして、水平ライン位置判定部８０２は、例えば、空色（予め規定された第２の色）に対応する水平ラインの係数の合算値を求めて、この合算値を空位置評価値（色評価値）とする。

図１に関連して説明したように、撮像装置１００Ａにおいても、ブロック分類部１１１がブロック分類結果をブロック相対位置判定部１１３及びシーン判別部１１５に与える。ブロック相対位置判定部１１３において、ブロック分類結果は水平ライン分類部８０１に与えられる。

図９は、図８に示す水平ライン分類部８０１における水平ラインの分類の一例を説明するための図である。そして、図９（ａ）は、夕景シーンの特徴的な色分布を有する画像をブロック単位で分類した状態を模式的に示す図であり、図９（ｂ）は、図９（ａ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。

また、図９（ｃ）は、夕景ではないシーンの色分布を有する画像をブロック単位で分類した状態を模式的に示す図であり、図９（ｄ）は、図９（ｃ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。

図９（ａ）に示すように、夕景シーンにおいては、画像の上部に空色ブロックＢが、画像の下部に夕日色ブロックＳが多く存在していることが分かる。

一方、図９（ｃ）に示すように、夕景ではないシーンにおいては、夕日色ブロックＳが多く分布する領域よりも下側に空色ブロックＢが多く存在していることが分かる。

図１及び図９（ａ）〜（ｄ）を参照して、水平ライン分類部８０１は、ブロック分類結果を示す画像を水平ライン毎に分割して、各水平ラインの分類を行う。図９（ａ）及び（ｃ）に示す例では、画像は、垂直方向（列方向）に８個のブロックに分割されているので、水平ライン分類部８０１は、画像を８個の水平ラインに分割することになる。

水平ライン分類部８０１は、水平方向に沿って、画像を分割して、水平ラインＬ１〜Ｌ８とする。そして、水平ライン分類部８０１は、各水平ラインＬ１〜Ｌ８を、夕日色ライン（Ｓｕｎｓｅｔ）、雲色ライン（Ｃｌｏｕｄ）、空色ライン（Ｓｋｙ）、及び他の色ラインのいずれかに分類する。

水平ラインＬ１〜Ｌ８の分類を行う際には、各水平ラインＬ１〜Ｌ８上に位置する８個のブロックの分類に基づいて行う。例えば、水平ライン分類部８０１は、８個のブロックの各々について、当該ブロックが夕日色、空色、雲色、及び他の色の４色のいずれに分類されているかを調べる。

そして、水平ライン分類部８０１は、各色に分類されたブロックの個数を数える。続いて、水平ライン分類部８０１は、その個数が最も多いブロックの分類を、当該水平ラインの分類と決定する。

図９（ａ）及び（ｂ）に示す例では、例えば、水平ラインＬ７については、図９（ａ）に示すブロックＢＬ（７１）〜ＢＬ（７８）が対応している。これら８個のブロックＢＬ（７１）〜ＢＬ（７８）についてその色をみると、夕日色ブロックが５個、雲色ブロックが２個、空色ブロックが１個である。

従って、水平ラインＬ７においては、夕日色に分類されているブロックの個数が最も多いこととなり、水平ラインＬ７は夕日色ライン（Ｓｕｎｓｅｔ）に分類される。

同様にして、図９（ａ）及び（ｂ）に関して、水平ラインＬ１〜Ｌ６及びＬ８の分類が求められる。ここでは、水平ラインＬ１〜Ｌ５の各々は、空色ライン（Ｓｋｙ）に分類され、水平ラインＬ６は、雲色ライン（Ｃｌｏｕｄ）に分類される。そして、水平ラインＬ８は、夕日色ライン（Ｓｕｎｓｅｔ）に分類される。

図９（ｃ）及び（ｄ）に示す例についても同様に分類が行われる。例えば、水平ラインＬ７については、図９（ｃ）に示すブロックＢＬ（７１）〜ＢＬ（７８）が対応している。これら８個のブロックＢＬ（７１）〜ＢＬ（７８）についてその色をみると、夕日色ブロックが０個、雲色ブロックが３個、空色ブロックが５個である。

従って、水平ラインＬ７においては、空色に分類されているブロックの個数が最も多いこととなり、水平ラインＬ７は空色ライン（Ｓｋｙ）に分類される。

同様に、図９（ｃ）及び（ｄ）に関して、水平ラインＬ１〜Ｌ６及びＬ８の分類が求められる。ここでは、水平ラインＬ１及びＬ２の各々は、夕日色ライン（Ｓｕｎｓｅｔ）に分類され、水平ラインＬ３は、雲色ライン（Ｃｌｏｕｄ）に分類される。そして、水平ラインＬ４〜Ｌ６及びＬ８の各々は、空色ライン（Ｓｋｙ）に分類される。

なお、水平ラインＬ８については、空色ブロックが４個、雲色ブロックが４個である。このように、個数が同数となった場合には、当該水平ラインＬ８に隣接する水平ライン（この場合には、水平ラインＬ７）の色を考慮して、水平ラインＬ８の色が決定される。

図示の例では、水平ラインＬ７は、空色ライン（Ｓｋｙ）であるので、水平ラインＬ８は空色ライン（Ｓｋｙ）と分類される。

このようにして、水平ライン分類部８０１は、ブロック分類部１１２から与えられるブロック分類結果に基づいて、水平ラインＬ１〜Ｌ８の色を分類して、ライン分類結果として、水平ライン位置判定部８０２に出力する。

水平ライン位置判定部８０２は、上記のライン分類結果に応じて空位置評価値（色評価値）を算出する。つまり、水平ライン位置判定部８０２は、水平ラインを単位として、ブロック間の相対位置を評価して、空位置評価値（色評価値）を算出することになる。

図１０は、図８に示す水平ライン位置判定部８０２における空位置評価値の算出の一例を説明するための図である。そして、図１０（ａ）は、図９（ｂ）に対応する水平ラインの分類及びライン係数を示す図であり、図１０（ｂ）は、図９（ｄ）に対応する水平ラインの分類及びライン係数を示す図である。

図８と図１０（ａ）及び（ｂ）とを参照して、水平ライン位置判定部８０２は、各水平ラインＬ１〜Ｌ８について、夕日色ライン（Ｓｕｎｓｅｔ）を基準ラインとして、夕日色ライン（Ｓｕｎｓｅｔ）の位置を基準とする係数（ライン係数）を設定する。例えば、水平ライン位置判定部８０２は、夕日色ライン（Ｓｕｎｓｅｔ）よりも上側に位置する水平ラインについては、ライン係数を正の値とする。ここでは、最も上側にある夕日色ライン（図１０（ａ）においては、水平ラインＬ７）のライン係数を基準（ゼロ）として、当該夕日色ラインから上昇するに従って（つまり、水平ラインＬ７からの距離に応じて）、ライン係数を１加算する（つまり、＋１とする）。

この結果、図１０（ａ）に示す例では、水平ラインＬ１〜Ｌ６は、それぞれライン係数が＋６〜＋１の値となる。

一方、夕日色ラインよりも下側に位置する水平ラインについては、ライン係数を負の値とする。ここでは、最も下側にある夕日色ライン（図１０（ｂ）においては、水平ラインＬ２）のライン係数を基準（ゼロ）として、当該夕日色ラインから下降するに従って（つまり、水平ラインＬ２からの距離に応じて）、ライン係数を１減算する（つまり、−１とする）。

この結果、図１０（ｂ）に示す例では、水平ラインＬ３〜Ｌ８は、それぞれライン係数が−１〜−６の値となる。

続いて、水平ライン位置判定部８０２は、空色ラインに対応するライン係数を全て加算して空色合算値とする。そして、水平ライン判定部８０２は、この空色合算値を、ブロックＬ（１１）〜Ｌ（８８）の位置を評価する空位置評価値とする。

例えば、図１０（ａ）においては、空位置評価値＝６＋５＋４＋３＋２＝２０となる。

また、図１０（ｂ）においては、空位置評価値＝−２−３−４−５−６＝−２０となる。

そして、水平ライン位置判定部８０２は、空位置評価値をシーン判別部１１５に出力する。

図１１は、図８に示すシーン判別部１１５で行われるシーン判別処理で用いられる判別基準の一例を説明するための図である。

図８及び図１１を参照すると、図８に示す撮像装置１００Ａにおいては、シーン判別部１１５には、ブロック分類結果及び空位置評価値がブロック相対位置関係として与えられる。

シーン判別部１１５は、ブロック分類結果に応じて前述したように夕日色ブロック割合を求めて、この夕日色ブロック割合と空位置評価値とに基づいてシーン判別を行う。

図１１に示すシーン判別基準は、その横軸が夕日色ブロック割合を表しており、縦軸が空位置評価値を表している。そして、横軸には、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）が設定され、縦軸には、空位置評価値閾値（Ｔｈ＿Ｓｋｙ Ｐｏｓｉｔｉｏｎ）が設定されている。

シーン判別部１１５は、ブロック分類部１１２から与えられたブロック分類結果に基づいて、全ブロックに対する夕日色ブロックの割合を、夕日色ブロック割合として算出する。

続いて、シーン判別部１１５は、この夕日色ブロック割合と水平ライン分類部８０１から与えられた空位置評価値を、図１１に示すシーン判別基準に当てはめる。

そして、夕日色ブロック割合が夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ：色割合閾値）より大きく、かつ空位置評価値が空位置評価値閾値（Ｔｈ＿Ｓｋｙ Ｐｏｓｉｔｉｏｎ：色評価値閾値）よりも大きい場合に、シーン判別部１１５は、当該画像に係るシーンが夕景シーンであると判別する。つまり、図１１において、斜線部分に該当すると、シーン判別部１１５は、当該画像に係るシーンを夕景シーンであると判定することになる。

一方、夕日色ブロック割合が夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）以下であるか、又は空位置評価値が空位置評価値閾値（Ｔｈ＿Ｓｋｙ Ｐｏｓｉｔｉｏｎ）以下であると、シーン判別部１１５は、当該画像に係るシーンが夕景シーンではないと判別する。

なお、空位置評価値閾値（Ｔｈ＿Ｓｋｙ Ｐｏｓｉｔｉｏｎ）は、例えば、ゼロである。

上述のようにして、シーン判別部１１５は、当該画像に係るシーンを判定して、シーン判別結果を生成する。そして、シーン判別部１１５は、シーン判別結果をカメラ制御部１１６に送る。

カメラ制御部１１６は、例えば、シーン判別結果に基づいて色差信号補正部１０８におけるパラメータを制御する。カメラ制御部１１６の動作については、図１に関連して説明したので、ここでは、説明を省略することにする。

このように、夕景シーンの特徴的な条件を満たさない場合に、空位置評価値が低い値となるようにすれば、誤って夕景シーンと判別されることが極めて少なくなり、シーンの誤判別を確実に防止することが可能となる。

以上のように、図８に示す撮像装置１００Ａにおいては、画像を分割したブロック間の相対的位置関係に応じてシーンの判別をするようにしている。例えば、夕日色ブロックが多く存在する領域を基準として、当該領域の位置よりも下側に、空色ブロックが多く存在する領域が存在する場合には、空位置評価値を低く算出する。

これによって、夕日色ブロックが画像中のいずれの位置に多く分布するかに拘わらず、夕景シーンの特徴的な条件を満たすか否かの判別を確実に行うことができる。

例えば、夕景シーンの特徴的な条件を満たさない場合、つまり、夕日色ブロックが多く存在する領域よりも下側に空色ブロックが多く存在する場合には、夕景シーンと判別され難くなって、シーン判別の誤りを確実に防止することが可能となる。

なお、図８に示す撮像装置１００Ａにおいては、水平ラインの分類を、対応する８個のブロックの分類結果に基づいて行ったが、水平ラインの分類手法は、これに限定されるものではない。

例えば、対応する８個のブロックの色相、彩度を平均して、この平均値に基づいて水平ラインを分類するようにしてもよい。

また、図８に示す撮像装置１００Ａにおいては、夕日色ラインに対する空色ラインの位置の評価に応じて、シーン判別を行うようにしたが、水平ラインの評価手法は、これに限定されるものではない。

例えば、雲色ラインについて、同様にして雲位置評価値を算出して、この雲位置評価値を、雲位置評価値について定められた所定の閾値と比較した結果に基づいて、シーン判別を行うようにしてもよい。

さらに、図８に示す撮像装置１００Ａにおいては、各水平ラインと夕日色ラインとの位置関係に応じてライン係数を加算又は減算して、夕日色ブロックと空色ブロックとの相対的位置関係を評価するようにしたが、評価手法はこれに限定されるものではない。

例えば、画像中において、最も下側に位置する夕日色ラインを判定して、当該夕日色ラインよりも下側にある空色ブロック又は雲色ブロックの数をカウントして、そのカウント数を評価値として用いるようにしてもよい。

加えて、図８に示す撮像装置１００Ａにおいては、夕景シーンであるか否かの判別を、夕日色ブロック割合と空位置評価値に基づいて判別するようにしたが、夕景シーンの判別手法は、これに限定されるものではない。

例えば、夕日色ブロック割合を主な判別条件としてシーンを判別するようにしてもよい。この場合には、空位置評価値が低い程、夕日色ブロック割合に対応する閾値を高く設定することになる。

つまり、シーン判別部１１５は、空位置評価値に応じて夕日ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）を変更して、夕日色ブロック割合が夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）よりも大きいと、シーン判別結果として夕景シーンであることを示すシーン判別結果を出力するようにしてもよい。

図８に示す撮像装置１００Ａでは、夕日色ブロックと空色ブロックとの間の相対的位置関係に基づいて、シーン判別を行う例について説明したが、ここでは、夕日色ブロックと他の色ブロックとの間の距離を評価して、シーン判別を行う場合について説明する。

なお、撮像装置の構成は、図８に示す撮像装置１００Ａと同様であるので、説明は省略することにする。

図１２は、図８に示す水平ライン分類部８０１における水平ラインの分類の他の例を説明するための図である。そして、図１２（ａ）は、夕景シーンの特徴的な色分布を有する画像をブロック単位で分類した状態を模式的に示す図であり、図１２（ｂ）は、図１２（ａ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。

また、図１２（ｃ）は、夕景ではないシーンの色分布を有する画像をブロック単位で分類した状態を模式的に示す図であり、図１２（ｄ）は、図１２（ｃ）に示すブロックを水平ライン毎に分類した状態を模式的に示す図である。

図１２（ａ）に示すように、夕景シーンにおいては、画像の上部に位置する夕日色ブロックＳと画像の下部に位置する他の色ブロックとが、雲色ブロックＣを挟んで位置しており、互いの間の距離は離れていることが分かる。

一方、図１２（ｃ）に示すように、夕景ではないシーンにおいては、夕日色ブロックＳが多く分布する領域とその他の色ブロックが多く分布する領域とが混在していることが分かる。

図１及び図１２（ａ）〜（ｄ）を参照して、図９に関連して説明したように、水平ライン分類部８０１は、ブロック分類結果を示す画像を水平ライン毎に分割して、各水平ラインの分類を行う。この際には、水平ライン分類部８０１は、各色に分類されたブロックの個数を数えて、その個数が最も多いブロックの分類を、当該水平ラインの分類と決定する。

図１２（ａ）及び（ｂ）に示す例では、例えば、水平ラインＬ７については、他の色のブロックが最も多いので、他の色ライン（Ｏｔｈｅｒ）と分類される。

同様にして、図１２（ａ）及び（ｂ）に関して、水平ラインＬ１及びＬ２の各々は、夕日色ライン（Ｓｕｎｓｅｔ）に分類され、水平ラインＬ３〜Ｌ６の各々は、雲色ライン（Ｃｌｏｕｄ）に分類される。そして、水平ラインＬ８は、他の色ライン（Ｏｔｈｅｒ）に分類される。

図１２（ｃ）及び（ｄ）に示す例では、水平ラインＬ７は、夕日色ライン（Ｓｕｎｓｅｔ）に分類される。

同様に、図１２（ｃ）及び（ｄ）に関して、水平ラインＬ１は、夕日色ライン（Ｓｕｎｓｅｔ）に分類され、水平ラインＬ２は、他の色ライン（Ｏｔｈｅｒ）に分類される。水平ラインＬ３及びＬ４の各々は、雲色ライン（Ｃｌｏｕｄ）に分類される。水平ラインＬ５は、夕日色ライン（Ｓｕｎｓｅｔ）に分類され、水平ラインＬ８は、他の色ライン（Ｏｔｈｅｒ）に分類される。

このようにして、水平ライン分類部８０１は、ブロック分類部１１２から与えられるブロック分類結果に基づいて、水平ラインＬ１〜Ｌ８の色を分類して、ライン分類結果として、水平ライン位置判定部８０２に出力する。

この例においては、水平ライン位置判定部８０２は、夕日色ライン（Ｓｕｎｓｅｔ）に他の色ライン（ｏｔｈｅｒ）が接しているか否かを判定する。そして、夕日色ライン（Ｓｕｎｓｅｔ）に他の色ライン（ｏｔｈｅｒ）が接していると、水平ライン位置判定部８０２は、後述するようにして、夕日色ブロック割合に係る閾値（夕日色ブロック割合閾値）を変更する。

図１３は、図８に示す水平ライン位置判定部８０２におけるシーン判別基準の算出の一例を説明するためのフローチャートである。なお、ここでは、シーン判別基準とは、夕日色ブロック割合閾値のことをいう。

図８及び図１３を参照して、水平ライン位置判定部８０２は、まず、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）を、予め規定された初期値Ｔｈ１に設定する（ステップＳ１４０１）。

続いて、水平ライン位置判定部８０２は、後述の相対位置判定が未だ行われていない夕日色ライン（未判定の夕日色ライン）が存在するか否かを判定する（ステップＳ１４０２）。画像中の全ての夕日色ラインに対して相対位置判定が行われていると（ステップＳ１４０２において、ＮＯ）、つまり、未判定の夕日色ラインが存在しないと、水平ライン位置判定部８０２は、後述のステップＳ１４０５に移行する。

一方、未判定の夕日色ライン（Ｓｕｎｓｅｔ）が存在すると（ステップＳ１４０２において、ＹＥＳ）、水平ライン位置判定部８０２は、夕日色ライン（Ｓｕｎｓｅｔ）に他の色ライン（Ｏｔｈｅｒ）が接しているか否かを判定する（ステップＳ１４０３）。

ここでは、ステップＳ１４０３が、夕日色の水平ラインに夕日色と異なる他の色の水平ラインが接しているか否かを判定するライン領域判定手段として機能することになる。

このステップＳ１４０３においては、水平ライン位置判定部８０２は、例えば、夕日色ライン（Ｓｕｎｓｅｔ）の上下に他の色ライン（Ｏｔｈｅｒ）が接しているか否かを判定することになる。

夕日色ライン（Ｓｕｎｓｅｔ）に他の色ライン（Ｏｔｈｅｒ）が接していると（ステップＳ１４０３において、ＹＥＳ）、水平ライン位置判定部８０２は、夕日色ブロック割合閾値を高くする（ステップＳ１４０４）。つまり、水平ライン位置判定部８０２は、夕日色ブロック割合閾値を前述の初期値Ｔｈ１から変更後の閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）とする。

ここでは、ステップＳ１４０４が夕日色の水平ラインが他の色の水平ラインと接していると、夕日色ブロック割合閾値を高く変更する閾値変更手段として機能することになる。

この際、水平ライン位置判定部８０２は、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）の初期値Ｔｈ１に予め定められた値を加算して、この加算結果を変更後の閾値Ｔｈ２とする。そして、水平ライン位置判定部８０２は、ステップＳ１４０２に戻る。

一方、夕日色ライン（Ｓｕｎｓｅｔ）に他の色ライン（Ｏｔｈｅｒ）が接していないと（ステップＳ１４０３において、ＮＯ）、水平ライン位置判定部８０２は、ステップＳ１４０２に戻る。

ステップＳ１４０５においては、水平ライン位置判定部８０２は、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）をシーン判別部１１５に出力する。

図１４は、図８に示すシーン判別部１１５で用いられるシーン判別基準の他の例を説明するための図である。図１４において、横軸は、夕日色ブロック割合を表し、この横軸に夕日色ブロック割合閾値が規定される。

図８及び図１４を参照して、シーン判別部１１５は、水平ライン位置判定部８０２から夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）を受けると、当該夕日色ブロック割合閾値に基づいて、前述のように、画像におけるシーンを判別する。

前述のように、シーン判別部１１５には、ブロック分類部１１２からブロック分類結果が与えられており、このブロック分類結果から全ブロックに対する夕日色ブロックの割合を、夕日色ブロック割合として算出する。

そして、シーン判別部１１５は、夕日色ブロック割合と夕日色ブロック割合閾値とを比較する。夕日色ブロック割合が夕日色ブロック割合閾値よりも大きいと、シーン判別部１１５は、当該画像に係るシーン（現在のシーン）を夕景シーンであると判別して、シーン判別結果を生成する。

一方、夕日色ブロック割合が夕日色ブロック割合閾値以下であると、シーン判別部１１５は、現在のシーンが夕景シーンでないと判別して、シーン判別結果を生成する。そして、シーン判別部１１５は、シーン判別結果をカメラ制御部１１６に与える。

カメラ制御部１１６は、シーン判別結果に基づいて色差信号補正部１０８におけるパラメータを制御する。なお、色差信号補正部１０８の制御については、図１に関連して説明したので、ここでは説明を省略する。

前述のように、夕日色ライン（Ｓｕｎｓｅｔ）が他の色ライン（Ｏｔｈｅｒ）に接していれば、夕日色ブロック割合閾値は、高く設定されることになる。つまり、水平ライン位置判定部８０２は、図１４において、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）の初期値Ｔｈ１を、破線矢印で示すように、変更後の閾値Ｔｈ２に高くすることになる。この結果、夕日色ライン（Ｓｕｎｓｅｔ）が他の色ライン（Ｏｔｈｅｒ）に接していれば、夕景シーンであると誤判定される可能性を少なくすることができる。

つまり、夕景シーンの特徴的な条件を満たさない場合に、夕日色ブロック割合閾値（Ｔｈ＿Ｓｕｎｓｅｔ）を高くしているから、夕景シーンと誤判別される恐れが少なくなる。従って、シーンの誤判別を確実に防止することができる。

以上のように、図１３で説明した例では、夕日色ブロックが多く存在する領域と他の色のブロックが多く存在する領域とが接している場合には、夕日色ブロック割合閾値を高くして、シーン判別を行っている。これによって、夕景ではないシーンを夕景シーンと誤判別することが極めて少なくなって、シーン判別の誤りを確実に防止することができる。

なお、図１３で説明した例では、夕日色ラインと他の色ラインとが接しているか否かに応じて、夕日色ブロックと他の色ブロックとの相対的位置関係を評価するようにしたが、位置関係の評価手法は、これに限定されるものではない。

例えば、各夕日色ブロックについて、当該夕日色ブロックから最も近い位置にある他の色ブロックまでの距離に基づいて、相対的位置関係を評価するようにしてもよい。この場合、全ての夕日色ブロックについて上述の距離を合算した値が、所定の閾値以下である場合に、当該シーンを夕景シーンと判別しないようにする。

また、図１３で説明した例では、夕日色ブロックと他の色ブロックとの相対的位置関係に注目したが、ブロック間の位置関係の評価手法はこれに限定されるものではない。

例えば、雲色ラインに注目して、画像中の雲色ラインが夕日色ライン又は空色ラインと隣接している場合に、雲色ブロック割合に対する閾値を低く設定するようにしてもよい。つまり、ある分類に属するブロックと、当該ブロックとは別の分類に属するブロックとの間の距離に関する情報に基づいてシーン判別を行う手法であれば、どのような手法を用いてもよい。

以上のように、本発明の実施の形態による画像処理装置によれば、入力された画像信号が示す画像におけるシーンを精度よく判別して、当該画像信号に対する画像処理を適切に行うことができるという効果がある。

上述の説明から明らかなように、図示の例では、色差信号補正部１０８が色差信号を画像信号として受けて、この画像信号に対して画像処理を実行する画像処理手段として機能する。

また、信号分離部１１０及び色相・彩度算出部１１１が、画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、これらブロック領域毎にその色分布の特徴を示す色分布情報を得る色分布情報算出手段として機能する。

さらに、ブロック相対位置判定部１１３が色分布情報に応じてブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得る相対的位置算出手段として機能する。

加えて、シーン判別部１１５がブロック領域相対位置関係に応じて画像信号が示す画像におけるシーンを判別してシーン判別結果を得るシーン判別手段として機能し、カメラ制御部１１６がシーン判別結果に応じて画像処理手段、つまり、色差信号補正部１０８を制御する制御手段として機能することになる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、撮像装置１００又は１００Ａに備えられる画像処理装置は、マイクロコンピュータ等のコンピュータで構成するようにしてもよい。この際には、上述の実施の形態の機能を画像処理方法として、当該マイクロコンピュータに実行させるようにすればよい。

また、上述の実施の形態の機能を有するプログラムを画像処理プログラムとして、撮像装置１００又は１００Ａの画像形成装置が備えるマイクロプロセッサー等のコンピュータに実行させるようにしてもよい。

さらには、この画像処理プログラムが格納された記録媒体から、画像処理プログラムを撮像装置１００又は１００Ａの画像処理装置が備えるマイクロプロセッサー等のコンピュータに読み込ませて当該プログラムを実行させても、同様の効果を実現することができる。

そして、この画像処理プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリが用いられる。また、画像処理プログラムを供給する際には、コンピュータネットワーク上のサーバに当該プログラムを記憶し、クライアントコンピュータがこのプログラムをダウンロードするようにしてもよい。

１０５ 輝度・色信号生成部
１０６ ホワイトバランス（ＷＢ）増幅部
１０７ 色差信号生成部
１０８ 色差信号補正部（画像処理手段）
１０９ エンコーダ
１１０ 信号分割部
１１１ 色相・彩度算出部
１１２ ブロック分類部
１１３ ブロック相対位置判定部
１１４ ブロック密集度算出部
１１５ シーン判別部
１１６ カメラ制御部

Claims (19)

1. 入力された画像信号に対して画像処理を行う画像処理装置において、
   前記画像信号に対して前記画像処理を実行する画像処理手段と、
   前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得る色分布情報算出手段と、
   該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得る相対的位置算出手段と、
   前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るシーン判別手段と、
   前記シーン判別結果に応じて前記画像処理手段を制御する制御手段とを有することを特徴とする画像処理装置。
2. 前記色分布情報算出手段は、前記画像をその行方向及び列方向に前記複数のブロック領域に分割する画像分割手段と、
   前記ブロック領域の各々について、前記画像信号に応じてその色相・彩度を示す色相・彩度情報を求めて該色相・彩度情報を前記色分布情報とする色相・彩度算出手段とを有することを特徴とする請求項１記載の画像処理装置。
3. 前記相対的位置算出手段は、前記色分布情報に応じて前記ブロック領域を分類して、ブロック領域分類結果を得るブロック領域分類手段と、
   前記ブロック領域分類結果に応じて予め規定された第１の色に対応するブロック領域の前記画像におけるブロック密集度を求めるブロック領域密集度算出手段とを有し、
   前記相対的位置算出手段は、前記ブロック領域分類結果及び前記ブロック密集度を前記ブロック領域相対位置関係として前記シーン判別手段に与えることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記シーン判別手段は、前記ブロック領域分類結果に応じて前記第１の色に対応するブロック領域の割合を色領域割合として得て、
   前記ブロック密集度と前記色領域割合とに応じて前記シーン判別結果を求めることを特徴とする請求項３記載の画像処理装置。
5. 前記シーン判別手段は、前記色領域割合が予め定められた色割合閾値よりも大きく、かつ前記ブロック密集度が予め定められたブロック密集度閾値よりも大きいと、前記シーン判別結果として前記第１の色に対応付けられたシーンであることを示すシーン判別結果を出力するようにしたことを特徴とする請求項４記載の画像処理装置。
6. 前記シーン判別手段は、前記ブロック密集度に応じて前記色領域割合に対する色割合閾値を変更して、前記色領域割合が前記色割合閾値よりも大きいと、前記シーン判別結果として前記第１の色に対応付けられたシーンであることを示すシーン判別結果を出力するようにしたことを特徴とする請求項４記載の画像処理装置。
7. 前記第１の色は、夕日色であり、前記第１の色に対応付けられたシーンは、夕景シーンであることを特徴とする請求項５又は６記載の画像処理装置。
8. 前記相対的位置算出手段は、前記色分布情報に応じて前記ブロック領域を分類して、ブロック領域分類結果を得るブロック領域分類手段と、
   前記画像を前記行方向に沿って複数のライン領域に分割して、前記ブロック領域分類結果に応じて前記ライン領域を分類し、ライン領域分類結果を得るライン領域分類手段と、
   前記ライン領域分類結果に応じて、予め規定された第１の色である前記ライン領域を基準ライン領域として該基準ライン領域からの距離に応じてそれぞれの前記ライン領域の係数を得て、予め規定された第２の色に対応する前記ライン領域の係数の合算値を求めて、色評価値とする評価値算出手段とを有し、
   前記相対的位置算出手段は、前記ブロック領域分類結果及び前記色評価値を前記ブロック領域相対位置関係として前記シーン判別手段に与えることを特徴とする請求項１又は２記載の画像処理装置。
9. 前記シーン判別手段は、前記ブロック領域分類結果に応じて、前記第１の色に対応するブロック領域の割合を色領域割合として得て、
   前記色評価値と前記色領域割合とに応じて、前記シーン判別結果を求めることを特徴とする請求項８記載の画像処理装置。
10. 前記シーン判別手段は、前記色領域割合が予め定められた色割合閾値よりも大きく、かつ前記色評価値が予め定められた色評価値閾値よりも大きいと、前記シーン判別結果として前記第１の色に対応付けられたシーンであることを示すシーン判別結果を出力するようにしたことを特徴とする請求項９記載の画像処理装置。
11. 前記シーン判別手段は、前記色評価値に応じて前記色領域割合に対する色割合閾値を変更して、前記色領域割合が前記色割合閾値よりも大きいと、前記シーン判別結果として前記第１の色に対応付けられたシーンであることを示すシーン判別結果を出力するようにしたことを特徴とする請求項９記載の画像処理装置。
12. 前記第１の色は、夕日色であり、前記第１の色に対応付けられたシーンは夕景シーンであって、前記第２の色は空色であることを特徴とする請求項１０又は１１記載の画像処理装置。
13. 前記相対的位置算出手段は、前記色分布情報に応じて前記ブロック領域を分類して、ブロック領域分類結果を得るブロック領域分類手段と、
    前記画像を前記行方向に沿って複数のライン領域に分割して、前記ブロック領域分類結果に応じて前記ライン領域を分類し、ライン領域分類結果を得るライン領域分類手段と、
    前記第１の色の前記ライン領域が他の色の前記ライン領域と接していると、前記ブロック領域分類結果に応じて、予め規定された第１の色に対応するブロック領域の割合を示す色領域割合に対する色割合閾値を変更する閾値変更手段とを有し、
    前記シーン判別手段は、前記色領域割合と前記色割合閾値とに応じて前記シーン判別結果を求めることを特徴とする請求項１又は２記載の画像処理装置。
14. 前記シーン判別手段は、前記色領域割合が前記色割合閾値よりも大きいと、前記シーン判別結果として前記第１の色に対応付けられたシーンであることを示すシーン判別結果を出力するようにしたことを特徴とする請求項１３記載の画像処理装置。
15. 前記第１の色は、夕日色であり、前記他の色は、夕日色、空色、及び雲色のいずれとも異なる色であることを特徴とする請求項１３又は１４記載の画像処理装置。
16. 請求項１〜１５のいずれか１項に記載の画像処理装置を有し、被写体を撮像して得られた撮像信号に応じた前記画像信号を前記画像処理装置に与えることを特徴とする撮像装置。
17. 入力された画像信号に対して画像処理を行うための画像処理方法において、
    前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得るステップと、
    該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得るステップと、
    前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るステップと、
    前記画像信号に対して、前記シーン判別結果に応じた前記画像処理を実行するステップとを有することを特徴とする画像処理方法。
18. 入力された画像信号に対して画像処理を行うための画像処理プログラムにおいて、
    コンピュータに実行され、
    前記画像信号が示す画像をその行方向及び列方向に複数のブロック領域に分割して、該ブロック領域毎にその色分布の特徴を示す色分布情報を得るステップと、
    該色分布情報に応じて前記ブロック領域間の相対的な位置関係を判定してブロック領域相対位置関係を得るステップと、
    前記ブロック領域相対位置関係に応じて前記画像信号が示す画像におけるシーンを判別してシーン判別結果を得るステップと、
    前記画像信号に対して、前記シーン判別結果に応じた前記画像処理を実行するステップとを有することを特徴とする画像処理プログラム。
19. 請求項１８に記載の画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images