JP2010062919A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】夜間撮影画像であると判定された画像に対して、イルミネーションや花火といった高輝度画素を被写体としているか否かを判定し、高輝度画素が被写体である場合と、そうでない場合とで明るさの補正方法を適切に変更する。
【解決手段】シーン判定部１０１は、入力画像が夜間撮影画像であるか否かを判定し、高輝度領域判定部１０２は、入力画像の被写体が花火やイルミネーションであるかを判定する。補正テーブル作成部１０３では、夜間撮影画像であり、かつ被写体がイルミネーションである画像に対しては、高輝度域と低輝度域のコントラストを強調する補正テーブルを作成し、夜間撮影画像であり、被写体がイルミネーションでない画像に対しては、低輝度域を明るくする補正テーブルを作成する。
【選択図】図１

Description

本発明は、デジタル画像のコントラストと階調を補正処理する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御機構が装備されている。その露出制御方式には種々のものがあるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行って光量の加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的である。

デジタルカメラの撮影シーンとしては一般的に以下の４つが考えられる。
通常撮影：順光状態の屋外撮影や室内での一般的な撮影
逆光撮影：被写体の後ろに光源が存在する状態での撮影
夜間ポートレート撮影：夜間、屋外でフラッシュを用いた撮影
夜景撮影：イルミネーション等、自己発光している被写体の撮影。

また、露出状態には、被写体の露出が適正である『適正』と、被写体の露出が不足気味の『露出不足』状態が存在する。

デジタルカメラの露出制御方式は、各社様々であるが、撮影条件によって適正に作動しない場合もあるため完全なものは存在せず、その結果、コントラスト不足や露出不足が往々にして起こる。

そこで、デジタルカメラなどによって撮影された画像（デジタル画像）をプリンタや複合機などを用いて印刷する場合、その画像データからその画像の特徴量を抽出して、その抽出した特徴量に基づいて、その画像に対しコントラスト補正を行うことが提案されている。

例えば、画像データの全画素について輝度分布を求めた後、上端と下端において所定の分布割合だけ内側に入った端部を前記輝度分布の端部とみなしてダイナミックレンジ（シャドーポイント及びハイライトポイント）を設定し、コントラスト補正を行う技術（特許文献１）が提案されている。また、画像データの明るさに関するヒストグラムの形状により、原画像の明るさの分布を判別し、判別結果に基づいて複数の階調補正条件の中から一つを自動的に選択し、選択された階調補正条件を用いて、コントラスト補正を行なう技術も提案されている（特許文献２）。

特開平１０−１９８８０２号公報 特開２００２−０７７６１６号公報

しかしながら、上記した従来技術では、画像全体のヒストグラムから求めた特徴を基にコントラスト補正を行なうため、露出を適正にすべき対象に応じた補正ができないという問題があった。特に、夜間ポートレート撮影画像や、夜景撮影画像のような夜間撮影画像に対する補正においては、夜間ポートレート撮影画像では人物などを被写体として注目し、注目する被写体が露出不足である場合に露出が適正になるように明るさを調整するのに対して、夜間撮影画像ではイルミネーションや花火などを被写体として注目し、注目する被写体と背景とのコントラストを強め、イルミネーションや花火が目立つような明るさ調整を行う。

画像全体のヒストグラム解析を基に補正条件を選択する方法では、ヒストグラムの分布を参照することで、暗い輝度領域にヒストグラムが集中している場合に、夜間撮影画像と判別できるが、被写体がイルミネーションや花火であるかを判別できない。その結果、たとえば花火を撮影した画像に対して、夜間ポートレート撮影画像と同様の明るさ補正を行なうと、夜空のような暗い背景も明るく補正されてしまう。一般に暗い側にはノイズがのりやすく、暗い背景を明るくなるように補正すると、ノイズが目立ってしまうという問題がある。

本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、夜間撮影画像であると判定された画像に対して、イルミネーションや花火といった高輝度画素を被写体としているか否かを判定し、高輝度画素が被写体である場合と、そうでない場合とで明るさの補正方法を適切に変更する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

請求項１記載の発明では、夜間撮影画像を判定し、夜間撮影画像である場合はさらに、その被写体を判定することにより、夜間撮影画像における被写体に応じた階調補正処理の変更を行なうことを目的とする。

請求項２記載の発明では、被写体が少なくともイルミネーションや花火である場合と、それ以外の場合とで階調補正処理を変更することを目的とする。

請求項３記載の発明では、第一の判定手段が画像データ全体の輝度ヒストグラムに基づいて判定することにより、適切に夜間撮影画像を判定することを目的とする。

請求項４記載の発明では、第二の判定手段が、画像データにおける高輝度画素が広く分布するか否かを特徴として抽出し、被写体を判定することにより、適切にイルミネーションや花火を判定することを目的とする。

請求項５記載の発明では、第二の判定手段が、画像データにおける高輝度画素に対する高輝度色画素の割合が予め設定した閾値以上であるか否かを特徴として抽出し、被写体を判定することにより、適切にイルミネーションや花火を判定することを目的とする。

請求項６記載の発明では、第二の判定手段が、イルミネーションや花火を被写体として判定した場合に、シャドウ部の明るさを暗くし、被写体の輝度領域におけるコントラストを拡大するように階調補正を行い、そうでない場合は、シャドウ部を明るくするように階調補正を行うことで、イルミネーションや花火の輝度範囲においてダイナミックレンジを拡大し、シャドウ部のノイズが強調されること防止し、イルミネーションや花火以外が被写体である場合は、シャドウ部に被写体があると判定してシャドウ部を明るく階調補正することを目的とする。

請求項７記載の発明では、第二の判定手段が、イルミネーションや花火を被写体として判定した場合に、被写体の輝度の領域におけるコントラストを拡大し、シャドウ部においては、イルミネーションや花火を被写体として判定しなかった場合よりも明るさ補正量を小さくして階調補正を行うことで、イルミネーションや花火の輝度範囲におけるダイナミックレンジを拡大しつつ、シャドウ部もノイズの強調を防止し、ある程度明るくすることを目的とする。

請求項８〜１０記載の発明では、画像データの全体の特徴から夜間撮影画像を判定し、さらに高輝度画素の特徴から被写体を判定して、夜間撮影画像である場合に被写体の判定結果に応じて階調補正処理を変更する画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

本発明は、画像データの特徴を判定し、判定した特徴に基づいて前記画像データの階調補正処理を変更する画像処理装置であって、前記画像データ全体の特徴を基に夜間撮影画像であるか否かを判定する第一の判定手段と、前記画像データの高輝度画素の特徴を基に被写体を判定する第二の判定手段と、前記第一の判定手段により判定された夜間撮影画像に対する階調補正処理を、前記第二の判定手段による判定結果に応じて変更することを最も主要な特徴とする。

請求項１：夜間撮影画像と判定した画像に対して、被写体が何であるかを判定し、判定した被写体に応じて階調補正テーブルを変更するので、夜間撮影画像における被写体に応じた階調補正を施し、画質を向上させることが可能である。

請求項２：少なくともイルミネーションや花火を被写体として判定し、階調補正処理を変更することができるので、イルミネーションや花火が被写体の場合には、高輝度域と低輝度域のコントラストがつくように階調補正を施すことが可能である。

請求項３：画像全体の輝度ヒストグラムに基づいたシーンの判定を行なうので、輝度ヒストグラムの特徴解析に従って、詳細に夜間撮影画像を判定することが可能である。

請求項４：入力画像中の高輝度画素が広く分布するかどうかを解析して被写体を判定するので、高精度にイルミネーションや花火が被写体であることを判定することが可能である。

請求項５：入力画像中の高輝度画素に対する高輝度色画素の割合に基づいて被写体を判定するので、高精度にイルミネーションや花火が被写体であることを判定することが可能である。

請求項６：イルミネーションや花火が被写体である場合には、シャドウ部を暗くし、高輝度域におけるコントラストを拡大するように階調補正を行い、そうでない場合には、シャドウ部を明るくする階調補正を行なうので、イルミネーションや花火の輝度範囲においてダイナミックレンジを拡大し、シャドウ部のノイズが強調されることを防止し、イルミネーションや花火以外が被写体である場合は、シャドウ部を明るく階調補正することが可能である。

請求項７：イルミネーションや花火が被写体である場合には、被写体の輝度の領域におけるコントラストを拡大し、シャドウ部においては、イルミネーションや花火を被写体として判定しなかった場合よりも明るさ補正量を小さくして階調補正を行うので、イルミネーションや花火の輝度範囲におけるダイナミックレンジの拡大しつつ、シャドウ部もノイズの強調を防止し、ある程度明るくすることが可能である。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１
図１は、本発明の実施例１の画像処理装置の構成を示す。図１の画像処理装置は、シーン判定部１０１と、高輝度領域判定部１０２と、補正テーブル作成部１０３と、画質補正部１０４から構成される。

以下の説明では、入力画像の画素値はＲＧＢ各々８ｂｉｔのデータ（０（黒）〜２５５（白））により構成されるものとし、輝度値Ｙは各Ｒ、Ｇ、Ｂ値から以下の変換式で求められるものとする。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
シーン判定部１０１は、入力画像の輝度ヒストグラムを作成し、輝度ヒストグラムの分布を解析することにより、夜間撮影画像であるか否かを判定し、その判定結果を補正テーブル作成部１０３へ出力する。高輝度領域判定部１０２は、入力画像において予め設定した閾値以上の輝度を有する画素を抽出し、抽出した画素の特徴に基づいて、被写体が花火やイルミネーションであるか否かを判定し、その判定結果を補正テーブル作成部１０３へ出力する。

補正テーブル作成部１０３では、シーン判定部１０１と高輝度領域判定部１０２における判定結果に基づいて、輝度補正テーブルを作成し、作成した輝度補正テーブルを画質補正部１０４へ出力する。画質補正部１０４では、補正テーブル作成部１０３から入力される輝度補正テーブルを用いて入力画像に対する明るさ補正を行い、補正結果を出力する。

図２は、シーン判定部１０１における夜間撮影画像の判定処理のフローチャートを示す。ステップＳ１において、入力画像の輝度ヒストグラムを取得する。ステップＳ２において、輝度ヒストグラムの中央値（Ｍｅｄ＿ｈｉｓｔ）を算出する。ステップＳ３では、先に求めたＭｅｄ＿ｈｉｓｔが予め定めた閾値（ｔｈ＿Ｎｉｇｈｔ）以下であるか否かを判定する。ｔｈ＿Ｎｉｇｈｔは、経験的に６４程度に設定しておくのが適当である。判定結果が真であればステップＳ４へ、偽であればステップＳ５へ移行する。

ステップＳ４では、入力画像は夜間撮影画像であると判定し、シーン判定結果として夜間撮影画像であると判定する。ステップＳ５では、入力画像は夜間撮影画像以外であると判定し、シーン判定結果として夜間撮影画像でないと判定する。ステップＳ６では、先の判定結果を出力して終了する。

本実施例では、夜間撮影画像であるか否かの判定において、輝度ヒストグラムの中央値を予め定めた閾値と比較することにより判定したが、判定方法はこれに限定されない。例えば、特開２００２−２４７３６１号公報に記載（図４、５）されている方法で夜間撮影画像を判別しても良い。

図３は、高輝度領域判定部１０２における処理フローチャートを示す。ここで想定している高輝度画素とは、花火やイルミネーションといった自己発光画像を撮影した場合に取得される画素であり、この高輝度画素が入力画像中にどの程度含まれているかを判定するものである。

ステップＳ１１において、入力画素のＲＧＢ値のいずれかが予め定めた閾値（ｔｈ＿ｈｉｇｈ）以上であるか否かを判定し、真であればステップＳ１２へ、そうでない場合はステップＳ１５へ移行する。ステップＳ１２では、高輝度画素と判定された画素に対して、さらに、高輝度の色画素であるかの判定を行なう。入力画素のＲＧＢ値の差分の最大値が、予め定めた閾値（ｔｈ＿ｄｉｆ）以上であるか否かを判定し、真であればステップＳ１３へ、そうでない場合はステップＳ１４へ移行する。

ステップＳ１３では、先の判定結果に基づき、高輝度色画素であると判定し、ステップＳ１６へ移行する。ステップＳ１４では、先の判定結果に基づき、高輝度画素であると判定し、ステップＳ１６へ移行する。ステップＳ１５では、先の判定結果に基づき、その他の画素であると判定し、ステップＳ１６へ移行する。

ステップＳ１６では、ステップＳ１３、Ｓ１４、Ｓ１５の判定結果に従って、各判定の画素数をカウントする。尚、高輝度色画素であると判定された場合は、高輝度画素と高輝度色画素の両方の判定の画素数をカウントアップする。ステップＳ１７では、全画素に対する判定が終了したか否かの判定を行い、終了していない場合は、次の入力画素に対する判定を行なうためにステップＳ１１へ、終了した場合は終了する。

次に、補正テーブル作成部１０３の処理を説明する。補正テーブル作成部１０３では、シーン判定部１０１において、夜間撮影画像と判定された画像に対する、明るさ補正テーブルの作成を行なう。補正テーブル作成の際には、さらに高輝度領域判定部１０２で判定された各判定結果のカウント数に基づいて、花火やイルミネーションが被写体として撮影されているか否かを判定し、判定結果に応じて明るさ補正テーブルを作成するものである。

図４は、図１の補正テーブル作成部１０３の詳細な構成を示す。イルミネーション判定部２０１は、高輝度領域判定部１０２からの各判定（高輝度画素、高輝度色画素、その他画素）のカウント数に基づいて、イルミネーションや花火が被写体であるか否かを判定する。

輝度補正テーブル作成部２０２は、シーン判定部１０１における判定結果が夜間撮影画像である場合に、暗い輝度域を明るく補正する輝度補正テーブルを作成し、夜間撮影画像であり、かつイルミネーションや花火が被写体である場合は、高輝度域と夜空などの背景である低輝度域とのコントラストがつくような輝度補正テーブルを作成するように、補正テーブルの作成方法を変更する。

図５は、イルミネーション判定部２０１における判定処理のフローチャートを示す。高輝度領域判定部１０２から入力される高輝度色画素数の高輝度画素数に対する割合が、あらかじめ定めた閾値以上であるか否かで、イルミネーションや花火が被写体であるか否かの判定を行なう。

ステップＳ２１において、Ｒａｔｉｏ＿ＨｉＣｏｌ＝（高輝度色画素数／高輝度画素数）がｔｈ＿ｉｌｌｕｍよりも大きいか否かを判定する。例えば、ｔｈ＿ｉｌｌｕｍは経験的に０．６くらいを設定しておくのが適当である。判定が真であればステップＳ２２へ、偽であればステップＳ２３へ移行する。ステップＳ２２では、被写体が高輝度画素であると判定し、判定結果を出力して終了する。ステップＳ２３では、被写体は高輝度画素ではないと判定し、判定結果を出力して終了する。

図６は、輝度補正テーブル作成部２０２における処理フローチャートを示す。ステップＳ３１では、シーン判定部１０１から入力されたシーン判定結果が夜間撮影画像であるか否かを判定する。真であればステップＳ３２へ、偽であれば終了する。

ステップＳ３２では、イルミネーション判定部２０１から入力された被写体判定結果が、高輝度画素であるか否かを判定する。真であればステップＳ３３へ、偽であればステップＳ３４へ移行する。

ステップＳ３３では、夜間撮影画像であり、かつ被写体がイルミネーションである画像に対する高輝度域のコントラスト強調補正テーブルの作成を行なう。補正テーブル作成の方法は後述する。ステップＳ３４では、夜間撮影画像であり、被写体がイルミネーションでない画像に対して低輝度域を明るくする補正テーブルの作成を行なう。補正テーブル作成の方法は後述する。補正テーブルを作成すると終了する。

輝度補正テーブル作成部において、被写体がイルミネーションであると判定された場合の補正テーブル作成方法について説明する。補正テーブルは、予め設定している２つの補正テーブルから被写体の特性に従って一つを選択するようにする。

図７は、予め設定してある２つの補正テーブルを示す。
被写体がイルミネーションである場合は、高輝度域と低輝度域のコントラストがつくような補正テーブルを選択して設定する。例えば、図７（ａ）に示すように、Ｓ字を描く輝度補正テーブルを選択する。また、被写体はイルミネーションでないときは、低輝度域を明るく補正する補正テーブルを設定する。例えば、図７（ｂ）に示すように、少なくとも低輝度域が明るくなる、上に凸を描く輝度補正テーブルを選択する。

次に、画質補正部１０４の処理を説明する。画質補正部１０４では、補正テーブル作成部１０３において作成された輝度補正テーブルに基づいて画質補正を行なう。

入力輝度値Ｙｉｎとすると、作成した補正テーブルを用いて補正後の出力輝度値Ｙｏｕｔを算出し、階調補正係数Ｃを以下の式で算出する。
Ｃ＝Ｙｏｕｔ／Ｙｉｎ
次に、入力画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を以下の式で変換することで、階調補正を行い、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を出力画素値とする。
Ｒｏｕｔ＝Ｃ×Ｒｉｎ
Ｇｏｕｔ＝Ｃ×Ｇｉｎ
Ｂｏｕｔ＝Ｃ×Ｂｉｎ
以上の画質補正処理を入力画像のすべての画素に対して行ない、補正画像として出力する。また、入力画素値を出力画素値へ変換する方法は、上記の方法に限定されず、Ｒｉｎ、Ｇｉｎ、Ｂｉｎ各々を輝度補正テーブルに与えて、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを直接得るようにしてもよい。

本実施例では、シーン判定において夜間撮影画像でない場合の補正テーブルの作成方法を示していないが、夜間撮影画像以外のシーンと判定された場合においても、ヒストグラムの解析や被写体の認識結果に基づいた補正テーブルの作成を行なっても良い。本発明は、夜間撮影画像における被写体認識結果に基づいて補正テーブルを変更する方法に関するものであるので、夜間撮影画像以外のシーンにおける補正テーブル作成方法については説明を省略する。

実施例２
実施例１の補正テーブル作成部１０３では、予め設定されている２つの補正テーブルから、被写体に応じて一つを選択して設定しているが、実施例２では、入力画像の特徴に応じて補正テーブルを作成する。

実施例２の画像処理装置の構成は、実施例１（図１）と同様である。また、高輝度領域判定部１０２と補正テーブル作成部１０３以外の処理についても、実施例１と同様であるので省略する。

実施例２の高輝度領域判定部１０２の処理を説明する。図８は、実施例２の高輝度領域判定部１０２の処理フローチャートを示す。ここで想定している高輝度画素とは、花火やイルミネーションといった自己発光画像を撮影した場合に取得される画素であり、この高輝度画素が入力画像中にどの程度含まれているかを判定するものである。

ステップＳ４１において、入力画素のＲＧＢ値のいずれかが予め定めた閾値（ｔｈ＿ｈｉｇｈ）以上であるか否かを判定し、真であればステップＳ４２へ、そうでない場合はステップＳ４５へ移行する。例えば、ｔｈ＿ｈｉｇｈは、経験的に２４０くらいを設定しておくのが適当である。

ステップＳ４２では、高輝度画素と判定された画素に対して、さらに、高輝度の色画素であるかの判定を行なう。入力画素のＲＧＢ値の差分の最大値が、予め定めた閾値（ｔｈ＿ｄｉｆ）以上であるか否かを判定し、真であればステップＳ４３へ、そうでない場合はステップＳ４４へ移行する。例えば、ｔｈ＿ｄｉｆは経験的に２０くらいを設定しておくのが適当である。

ステップＳ４３では、先の判定結果に基づき、入力画素を高輝度色画素であるとし、さらに、高輝度色画素であると判定された画素については、高輝度色画素の平均輝度値（Ａｖｅ＿ｈｉｇｈ）を算出し、ステップＳ４６へ移行する。ステップＳ４４では、先の判定結果に基づき、入力画素を高輝度画素であるとし、ステップＳ４６へ移行する。ステップＳ４５では、先の判定結果に基づき、その他の画素であるとし、ステップＳ４６へ移行する。

ステップＳ４６では、ステップＳ４３、Ｓ４４、Ｓ４５の判定結果に従って、各判定の画素数をカウントする。尚、高輝度色画素であると判定された場合は、高輝度画素と高輝度色画素の両方の判定の画素数をカウントアップする。

ステップＳ４７では、全画素に対する判定が終了したか否かの判定を行い、終了していない場合は、次の入力画素に対する判定を行なうためにステップＳ４１へ、終了した場合は終了する。

次に、補正テーブル作成部１０３の処理について説明する。図９は、実施例２の補正テーブル作成部の詳細な構成を示す。イルミネーション判定部２０１は、高輝度領域判定部１０２からの各判定（高輝度画素、高輝度色画素、その他画素）のカウント数に基づいて、イルミネーションや花火が被写体であるか否かを判定する。イルミネーション判定部２０１における処理は、実施例１と同様であり、その説明を省略する。

輝度補正テーブル作成部２０２は、シーン判定部１０１における判定結果が夜間撮影画像である場合に、暗い輝度域を明るく補正する輝度補正テーブルを作成する。また、夜間撮影画像であり、かつイルミネーションや花火が被写体である場合は、高輝度域と夜空などの背景である低輝度域とのコントラストがつくように輝度補正テーブルを作成する。

補正テーブルの作成方法について説明する。被写体がイルミネーションと判定した場合、補正テーブル作成部２００では、シーン判定部１０１から入力されたＭｅｄ＿ｈｉｓｔと、高輝度領域判定部１０２から入力されたＡｖｅ＿ｈｉｇｈに基づいて補正テーブルを作成する。

図１０（ａ）は、上記２つの輝度値を制御点として作成した補正テーブルを示す。入力値Ｍｅｄ＿ｈｉｓｔにおいて、少なくとも明るさ補正後の輝度値が元の輝度値以下となり、入力値Ａｖｅ＿ｈｉｇｈにおいて、少なくとも明るさ補正後の輝度値が元の輝度値よりも大きくなるように補正テーブルを作成する。

被写体がイルミネーションでないと判定した場合、補正テーブル作成部２００では、シーン判定部１０１から入力されたＭｅｄ＿ｈｉｓｔに基づいて補正テーブルを作成する。

図１０（ｂ）は、Ｍｅｄ＿ｈｉｓｔを制御点として作成した補正テーブルを示す。入力値Ｍｅｄ＿ｈｉｓｔにおいて、少なくとも明るさ補正後の輝度値が元の輝度値よりも大きくなるような出力値Ｍｅｄ＿ｈｉｓｔ＿ｏｕｔを設定して補正テーブルを作成する。どの程度元の輝度値よりも大きくするかは、例えばＭｅｄ＿ｈｉｓｔ＿ｏｕｔ＝Ｍｅｄ＿ｈｉｓｔ×１．５とすれば良い。

上記補正テーブル作成方法では、被写体がイルミネーションであると判定した場合に、低輝度域と高輝度域とのコントラストをつけるためにＭｅｄ＿ｈｉｓｔにおいて補正後の輝度値が元の輝度値以下となる補正テーブルを作成したが、低輝度域もある程度明るく補正しつつ高輝度域とのコントラストがつけられるように補正テーブルを作成するようにしても良い。この場合の補正テーブル作成例を示したのが図１０（ｃ）である。図１０（ｃ）では、Ｍｅｄ＿ｈｉｓｔにおける補正後の輝度値Ｍｅｄ＿ｈｉｓｔ＿ｏｕｔを、被写体がイルミネーションでないと判定した場合の補正量（元の輝度の１．５倍）よりも小さい値、例えば、Ｍｅｄ＿ｈｉｓｔ＿ｏｕｔ＝Ｍｅｄ＿ｈｉｓｔ×１．３を設定する。

このようにすることで、被写体がイルミネーションでない場合の補正量ほどはないが、低輝度域を明るく補正しつつ、高輝度域と低輝度域のコントラストをつける補正テーブルを作成することができる。画質補正部１０４の処理は、実施例１と同様なので説明を省略する。

実施例３
実施例１、２では、イルミネーション判定部２０１における被写体判定において、高輝度色画素の高輝度画素に対する割合に基づいて判定したが、本実施例では、高輝度画素の分布に関する特徴に従ってイルミネーションや花火が被写体であるか否かの判定を行なう方法の実施例である。

本実施例における画像処理装置の構成は、実施例１（図１）と同様であるので省略する。また、高輝度領域判定部１０２と補正テーブル作成部１０３以外の処理についても、実施例１と同様なので省略する。

高輝度領域判定部１０２の処理について説明する。図１１は、実施例３の高輝度領域判定部１０２における処理フローチャート示す。ここで想定している高輝度画素とは、花火やイルミネーションといった自己発光画像を撮影した場合に取得される画素であり、この高輝度画素が入力画像中にどの程度含まれているかを判定するものである。

ステップＳ５１において、入力画素のＲＧＢ値のいずれかが予め定めた閾値（ｔｈ＿ｈｉｇｈ）以上であるか否かを判定し、真であればステップＳ５２へ、そうでない場合はステップＳ５５へ移行する。

ステップＳ５２では、高輝度画素と判定された画素に対して、さらに、高輝度の色画素であるかの判定を行なう。入力画素のＲＧＢ値の差分の最大値が、予め定めた閾値（ｔｈ＿ｄｉｆ）以上であるか否かを判定し、真であればステップＳ５３へ、そうでない場合はステップＳ５４へ移行する。

ステップＳ５３では、先の判定結果に基づき、入力画素を高輝度色画素であるとし、さらに、高輝度色画素であると判定された画素については、高輝度色画素のＸ座標、Ｙ座標における最小値と最大値を算出し、記憶する。Ｘ座標における最小値、最大値を、Ｘ＿ｍｉｎ、Ｘ＿ｍａｘとし、Ｙ座標における最小値、最大値をＹ＿ｍｉｎ、Ｙ＿ｍａｘとすると、入力画素が高輝度色画素であると判定された場合に各値の更新を行なう。
（更新方法）
現入力画素が高輝度色画素と判定されたときのＸ座標、Ｙ座標を（ｘ＿ｉｎ、ｙ＿ｉｎ）とすると、Ｘ＿ｍｉｎ、Ｘ＿ｍａｘ、Ｙ＿ｍｉｎ、Ｙ＿ｍａｘは、
ｘ＿ｉｎ＜Ｘ＿ｍｉｎならば、Ｘ＿ｍｉｎ＝ｘ＿ｉｎ
ｘ＿ｉｎ＞Ｘ＿ｍｉｎならば、Ｘ＿ｍｉｎ＝Ｘ＿ｍｉｎ
ｘ＿ｉｎ＜Ｘ＿ｍａｘならば、Ｘ＿ｍａｘ＝Ｘ＿ｍａｘ
ｘ＿ｉｎ＞Ｘ＿ｍａｘならば、Ｘ＿ｍａｘ＝ｘ＿ｉｎ
ｙ＿ｉｎ＜Ｙ＿ｍｉｎならば、Ｙ＿ｍｉｎ＝ｙ＿ｉｎ
ｙ＿ｉｎ＞Ｙ＿ｍｉｎならば、Ｙ＿ｍｉｎ＝Ｙ＿ｍｉｎ
ｙ＿ｉｎ＜Ｙ＿ｍａｘならば、Ｙ＿ｍａｘ＝Ｙ＿ｍａｘ
ｙ＿ｉｎ＞Ｙ＿ｍａｘならば、Ｙ＿ｍａｘ＝ｙ＿ｉｎ
とする。
ただし、入力画像において初めて高輝度色画素と判定された場合、
Ｘ＿ｍｉｎ＝ｘ＿ｉｎ、Ｘ＿ｍａｘ＝ｘ＿ｉｎ
Ｙ＿ｍｉｎ＝ｙ＿ｉｎ、Ｙ＿ｍａｘ＝ｙ＿ｉｎ
とする。ステップＳ５６へ移行する。

ステップＳ５４では、先の判定結果に基づき、入力画素を高輝度画素であるとし、ステップＳ５６へ移行する。ステップＳ５５では、先の判定結果に基づき、その他の画素であるとし、ステップＳ５６へ移行する。

ステップＳ５６では、ステップＳ５３、Ｓ５４、Ｓ５５の判定結果に従って、各判定の画素数をカウントする。尚、高輝度色画素であると判定された場合は、高輝度画素と高輝度色画素の両方の判定の画素数をカウントアップする。

ステップＳ５７では、全画素に対する判定が終了したか否かの判定を行い、終了していない場合は、次の入力画素に対する判定を行なうためにステップＳ５１へ、終了した場合は終了する。

次に、補正テーブル作成部１０３の処理を説明する。図１２は、実施例３の補正テーブル作成部の詳細な構成を示す。イルミネーション判定部３０１は、高輝度領域判定部１０２からの高輝度色画素のＸ座標、Ｙ座標の最小値、最大値に基づいて、イルミネーションや花火が被写体であるかを判定する。イルミネーション判定部３０１では、入力された座標値を用いて、Ｘ軸方向の差分値Ｘ＿ｄｉｆ、Ｙ軸方向の差分値Ｙ＿ｄｉｆを算出する。

Ｘ＿ｄｉｆ＝Ｘ＿ｍａｘ−Ｘ＿ｍｉｎ
Ｙ＿ｄｉｆ＝Ｙ＿ｍａｘ−Ｙ＿ｍｉｎ
さらに、入力画像のサイズ（横サイズ、縦サイズ）を参照することにより、Ｘ＿ｄｉｆ、Ｙ＿ｄｉｆが、予め定めてある閾値（ｔｈ＿ｄｉｓｔ）以上であれば、高輝度色画素が広く分布している画像であるとし、被写体はイルミネーションや花火であると判定する。
（判定方法）
Ｘ＿ｄｉｆ＞ｔｈ＿ｄｉｓｔまたは、Ｙ＿ｄｉｆ＞ｔｈ＿ｄｉｓｔならば、被写体はイルミネーションや花火であると判定する。上記以外であれば、被写体はイルミネーションや花火ではないと判定する。尚、ｔｈ＿ｄｉｓｔは、入力画像のサイズに応じた値を設定し、例えば、入力画像の横サイズ、縦サイズの大きい方の値の１／３を設定すればよい。

また、上記の判定では、Ｘ＿ｄｉｆ、Ｙ＿ｄｉｆにおける閾値判定で共通の閾値ｔｈ＿ｄｉｓｔを設定したが、縦サイズ、横サイズごとに別々の閾値を設定しても構わない。

本実施例では、高輝度色画素の入力画像における分布を解析することのみで被写体がイルミネーションであるか否かを判定したが、別の判定方法として、高輝度色画素数の高輝度画素数に対する割合を算出し、算出結果と組み合わせて、算出した割合が予め設定した閾値以上存在し、かつ入力画像中に広く分布している場合に、被写体はイルミネーションや花火であると判定することや、または、高輝度色画素数の画像全体に対する割合を算出し、算出結果と組み合わせて、算出した割合が予め設定した閾値以上存在し、かつ入力画像中に広く分布している場合に、被写体はイルミネーションや花火であると判定することで、より高精度に被写体がイルミネーションや花火であると判定できる。

この後の処理ブロックである、輝度補正テーブル作成部３０２における輝度補正テーブル作成方法は、実施例１と同様なので省略する。

本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。

本発明の実施例１の画像処理装置の構成を示す。 シーン判定部における夜間撮影画像の判定処理のフローチャートを示す。 高輝度領域判定部における処理フローチャートを示す。 実施例１の補正テーブル作成部の詳細な構成を示す。 イルミネーション判定部における判定処理のフローチャートを示す。 輝度補正テーブル作成部における処理フローチャートを示す。 ２つの補正テーブル例を示す。 実施例２の高輝度領域判定部の処理フローチャート示す。 実施例２の補正テーブル作成部の詳細な構成を示す。 実施例２で作成される補正テーブル例を示す。 実施例３の高輝度領域判定部における処理フローチャート示す。 実施例３の補正テーブル作成部の詳細な構成を示す。

符号の説明

１０１ シーン判定部
１０２ 高輝度領域判定部
１０３ 補正テーブル作成部
１０４ 画質補正部

Claims (10)

1. 画像データの特徴を判定し、判定した特徴に基づいて前記画像データの階調補正処理を変更する画像処理装置であって、前記画像データ全体の特徴を基に夜間撮影画像であるか否かを判定する第一の判定手段と、前記画像データの高輝度画素の特徴を基に被写体を判定する第二の判定手段と、前記第一の判定手段により判定された夜間撮影画像に対する階調補正処理を、前記第二の判定手段による判定結果に応じて変更することを特徴とする画像処理装置。
2. 前記被写体は、少なくともイルミネーションや花火であることを特徴とする請求項１記載の画像処理装置。
3. 前記第一の判定手段は、前記画像データ全体の輝度ヒストグラムに基づいて判定することを特徴とする請求項１記載の画像処理装置。
4. 前記第二の判定手段は、前記画像データにおける高輝度画素が広く分布しているか否かを特徴として抽出し、前記特徴を基に被写体を判定することを特徴とする請求項１記載の画像処理装置。
5. 前記第二の判定手段は、前記画像データにおける高輝度画素に対する高輝度色画素の割合が予め設定した閾値以上であるか否かを特徴として抽出し、前記特徴を基に被写体を判定することを特徴とする請求項１記載の画像処理装置。
6. 前記第二の判定手段が、イルミネーションや花火を被写体として判定した場合に、シャドウ部の明るさを暗くし、被写体の輝度領域におけるコントラストを拡大するように階調補正を行い、そうでない場合は、シャドウ部を明るくするように階調補正を行うことを特徴とする請求項１、４または５記載の画像処理装置。
7. 前記第二の判定手段が、イルミネーションや花火を被写体として判定した場合に、被写体の輝度領域におけるコントラストを拡大し、シャドウ部においては、イルミネーションや花火を被写体として判定しなかった場合よりも明るさ補正量を小さくして階調補正を行うことを特徴とする請求項１、４または５記載の画像処理装置。
8. 画像データの特徴を判定し、判定した特徴に基づいて前記画像データの階調補正処理を変更する画像処理方法であって、前記画像データ全体の特徴を基に夜間撮影画像であるか否かを判定する第一の判定工程と、前記画像データの高輝度画素の特徴を基に被写体を判定する第二の判定工程と、前記第一の判定工程により判定された夜間撮影画像に対する階調補正処理を、前記第二の判定工程による判定結果に応じて変更することを特徴とする画像処理方法。
9. 請求項８記載の画像処理方法をコンピュータに実現させるためのプログラム。
10. 請求項８記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images