JP2018093474A

JP2018093474A - 画像処理装置およびその制御方法、並びにプログラム

Info

Publication number: JP2018093474A
Application number: JP2017169598A
Authority: JP
Inventors: 真悟平山; Shingo Hirayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-06
Filing date: 2017-09-04
Publication date: 2018-06-14
Anticipated expiration: 2037-09-04
Also published as: JP7000080B2

Abstract

【課題】補助光の照射や複数枚撮影を行うことなく、撮像画像中のヒストグラムから霧や霞が発生しているかを推定する事が可能な手段を提供すること。【解決手段】取得した画像よりヒストグラムを検出し、前記検出したヒストグラムにおいて、予め設定しておいた低輝度側判定点と予め設定しておいた高輝度側判定点の範囲内の輝度分布がヒストグラム全体に対して占める割合を算出し、その割合が、予め設定しておいた閾値を超えた場合に、霧や霞が発生して被写体がかすんだ状態であると推定することを特徴とする。【選択図】図２

Description

本発明は、画像処理装置およびその制御方法、並びにプログラムに関し、特に撮像画像中から、霧や霞を判定する画像処理装置およびその制御方法、並びにプログラムに関する。

従来から、防犯手段の一つとしてネットワークカメラが利用されている。ネットワークカメラは、様々な環境下に設置され、視認性の高い映像を提供することが望まれている。しかし、ネットワークカメラの撮影環境において、霧や霞が発生すると、被写体のコントラストが低下し、視認性に欠けた画像となってしまう。

この霧や霞が発生している撮影環境においても視認性の高い画像を取得するために、霞や霧が発生している場合にコントラスト強調を行うという手段がある。霧や霞は常に一定ではなく、時間経過に伴い、濃度が変化し、映像のコントラストの低下度合いが常に変化している。そのため、ネットワークカメラを設置している撮影環境において、霧や霞の発生有無を判定し、霧や霞が発生している場合のみ、コントラスト強調を行う手段が有効である。

例えば、特許文献１に記載された画像処理装置では、照明有りの環境下で撮像した画像と照明無しで撮像した画像のコントラスト評価値を比較することで、霧や霞を判定する方法が開示されている。

特開２０１５−１９８４３１号公報

しかしながら、上記特許文献１では、霧や霞を判定するために補助光の照射が必要となる。また、補助光の照射距離や角度などにより、コントラスト評価値の精度に影響が出る事や、補助光有無で複数枚撮影が必要なため処理時間も長くなるといった課題が考えられる。

そこで、本発明の目的は、補助光の照射や複数枚撮影を行うことなく、撮像画像中のヒストグラムから霧や霞が発生しているかを推定する事が可能な手段を提供することを目的とする。

被写体の画像を取得する画像取得手段と、前記画像全体に対して予め設定された輝度範囲内に含まれる画素が占める割合を算出する算出手段と、前記割合が第１の閾値以上の場合に前記画像のコントラストを強調する画像処理手段と、前記被写体の照度および前記画像を取得するときの露出目標値の少なくとも１つに応じて、前記割合を算出する輝度範囲を変更する制御手段と、を有することを特徴とする。

本発明によれば、補助光の照射や複数枚撮影を行うことなく、撮像画像中のヒストグラムから霧や霞が発生しているか否かを推定する事ができる。

本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図本発明の第１の実施形態に係るヒストグラム判定処理の例を示すフローチャート本発明の第１の実施形態に係るヒストグラムにおける低輝度側判定点と高輝度側判定点の範囲の例を示す図本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図本発明の第２の実施形態に係るヒストグラム判定処理の例を示すフローチャート本発明の第２の実施形態に係る低照度環境下で撮影した場合のヒストグラムにおける低輝度側判定点と高輝度側判定点の範囲の例を示す図本発明の第３の実施形態に係るヒストグラム判定処理の例を示すフローチャート本発明の第３の実施形態に係るプラス側に露出補正した場合の画像のヒストグラムにおける低輝度側判定点と高輝度側判定点の範囲の例を示す図本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図本発明の第４の実施形態に係るヒストグラム判定処理の例を示すフローチャート本発明の第４の実施形態における、回動角度で処理を切り替えるヒストグラム判定処理の例を示すフローチャート本発明の第４の実施形態における、回動速度で処理を切り替えるヒストグラム判定処理の例を示すフローチャート

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、画像処理装置としてカメラを用いる例を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。なお、同図では、画像処理装置における画像信号処理部以外の構成要素を省略している。本実施形態に係る画像処理装置は、撮像装置１００と通信可能に接続された画像表示部１０５から構成される。なお、本実施形態では、撮像装置１００と画像表示部１０５とが別体である例を説明しているが、撮像装置１００と画像表示部１０５が一体の構成であってもよい。撮像装置１００は、外部から光をとり込んで画像信号を生成し、生成した画像信号を、通信部１０７を介し画像表示部１０５や図示しないサーバなどの外部装置に配信することが可能である。

撮像部１０１は、外部から光を取り込んで撮像することにより、周囲の被写体の画像信号を生成することで、画像取得する。不図示のレンズ群、ＩＲＣＦ（ＩｎｆｒａｒｅｄＲａｙＣｕｔＦｉｌｔｅｒ：赤外光除去フィルタ）、撮像素子、ＣＤＳ回路、ＡＧＣアンプ、およびＡ／Ｄ変換器を備える。

撮像部１０１で被写体を撮影すると、レンズ群およびＩＲＣＦを通過した光学像が、ＣＣＤセンサ、ＣＭＯＳセンサなどから成る撮像素子上に結像される。撮像素子は、結像された光学像を光電変換して、アナログ画像信号として出力する。

ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）回路は、撮像素子より入力した電気信号に対して相関二重サンプリング処理などを実施する。

ＡＧＣ（ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）アンプは、ＣＤＳ回路より入力された電気信号に対して増幅処理などを行う。

Ａ／Ｄ変換器は、ＡＧＣアンプにより増幅処理されたアナログ信号をデジタル信号へと変換する。

画像信号処理部１０２は、撮像部１０１で変換されて出力されたデジタル信号に対して、ＷＢ（ホワイトバランス）処理やＮＲ（ノイズリダクション）処理などの画像信号処理を行う。

ヒストグラム検出部１０３は、撮像した画像から輝度ヒストグラムの検出を行う。

ガンマ補正部１０４は、撮像した画像に対し、ガンマ補正を行う。例えば、撮像した画像に対して、所定の輝度範囲の階調を広げるガンマカーブを適用することで、コントラストを強調させる画像処理を施す。

画像表示部１０５は、上述した画像処理を施された画像信号を、通信部１０７を介して取得し表示する。画像表示部１０５は、撮像装置１００に対する制御指示が可能な外部端末の一部として構成されてもよい。画像表示部１０５が、タッチパネルやＰＣ画面などであり、画像表示部１０５に対する操作に基づいて、撮像装置１００への指示が生成されるような構成としてもよい。

システム制御部１０６は、図示しないＣＰＵ、メモリ（ＲＯＭ）、メモリ（ＲＡＭ）を有し、ＣＰＵはＲＯＭからロードしたプログラムに従い、撮像装置１００の各機能ブロックの制御およびそのために必要な演算を行う。メモリ（ＲＯＭ）には、ＣＰＵで実行される制御プログラムや、プログラムの実行に必要な各種の定数値が格納される。メモリ（ＲＡＭ）は、プログラムの実行に必要な各種一時データを記憶するための領域である。

通信部１０７は、画像信号処理部１０２、ヒストグラム検出部１０３、ガンマ補正部１０４で処理された画像データを画像表示部１０５などの外部クライアント装置やサーバなどに配信する。画像データの出力先はカメラに内蔵されているＬＣＤや外部のディスプレイでも良い。また、画像表示部１０５を含む外部端末から指示された撮像装置１００の制御情報を取得する。

次に図２を参照して、本発明の第１の実施形態に係る画像処理装置における、ヒストグラム判定処理の例について説明する。図２は、本発明の第１の実施形態に係るヒストグラム判定処理の例を示すフローチャートである。図２のフローチャートは、システム制御部１０６によって、各処理ブロックを制御し実行される処理手順を図示したものである。それぞれのシステム制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

まず、ステップＳ２０１で、ヒストグラム検出部１０３は撮像部１０１が被写体を撮像することにより取得した画像データから、撮像画像中の輝度ヒストグラムを検出する。

次に、ステップＳ２０２では、ステップＳ２０１において取得した画像全体の輝度ヒストグラムにおける、予め設定しておいた低輝度側判定点と高輝度側判定点の輝度範囲内の輝度分布を算出する。図３は、本発明の第１の実施形態に係るヒストグラムにおける低輝度側判定点と高輝度側判定点の輝度範囲の例を示す図である。例えば、低輝度側判定点をＹ値１００、高輝度側判定点をＹ値１５０と設定しているとすると、図３に示すような輝度範囲内の輝度分布を算出する。低輝度側判定点、高輝度側判定点は、霞掛かった映像はヒストグラムが中間階調に集まる事を想定して、予め設定された値であり、例えば、カメラの用途や性能、撮影環境によって、実験的または経験的に設計値として設定する。また、低輝度側判定点、高輝度側判定点は、ユーザ操作により設定や変更が可能な構成としても良い。

次に、ステップＳ２０３では、ステップＳ２０２において算出した低輝度側判定点と、高輝度側判定点の輝度範囲内の分布が、画像全体の輝度ヒストグラムに対して占める割合を算出する。

次に、ステップＳ２０４において、ステップＳ２０３で算出した低輝度側判定点と、高輝度側判定点の範囲内の輝度分布が、輝度ヒストグラム全体に対して占める割合が、予め設定しておいた閾値以上かどうかを判定する。閾値以上の場合は、ステップＳ２０５へ進み、閾値未満の場合は、ステップＳ２０６へ進む。例えば、閾値を５０％とすると、５０％以上の輝度分布が前述した範囲内に含まれているときに、霧や霞が発生している、すなわち被写体がかすんでいると判定するような構成となる。ユーザ操作により、閾値設定および閾値変更が可能な構成としてもよい。

低輝度側判定点と高輝度側判定点の範囲を広げるか、範囲内の輝度分布が輝度ヒストグラム全体に対して占める割合の閾値を低くすると、画像のヒストグラムから霧や霞が発生していると判定されやすくなる。低輝度側判定点と高輝度側判定点の範囲を狭めるか、範囲内の輝度分布が輝度ヒストグラム全体に対して占める割合の閾値を高くすると、画像のヒストグラムから霧や霞が発生していると判定されにくくなる。例えば、ユーザが、霧や霞の判定が敏感過ぎると感じたときには、判定点や閾値の設定を変更させて、判定されにくいように設定することが可能である。なお、低輝度側判定点と高輝度側判定点の範囲を広げるにつれ、霞が発生しているかどうかに関係無く高輝度被写体や低輝度被写体に影響を受けているヒストグラムが含まれてしまう可能性がある。そのため、ユーザ操作などにより霞や霧が発生していると判定しやすくする（又は、判定されにくくする）調整を行う場合は、範囲内の輝度分布がヒストグラム全体に対して占める割合の閾値の設定を変更する方が好ましい。

ステップＳ２０４で閾値以上と判定した場合、ステップＳ２０５へ進み、霧や霞が発生しているヒストグラムと判定され、コントラスト強調の処理が施される。すなわち、輝度分布が中間階調に集まっている場合は、霧や霞が発生し被写体がかすんだ状態であると推定してコントラストの強調処理を行う。コントラスト強調の処理は公知の技術を用い、例えば、低輝度側判定点と高輝度側判定点の間の輝度の階調を広げてコントラストを強調させるガンマ補正が行われる。

ステップＳ２０６へ進んだ場合、霧や霞が発生していないヒストグラム、すなわち被写体がかすんでいないと判定され、ガンマ補正部１０４で通常のガンマ補正が行われる。

上記実施形態によれば、低輝度側判定点と高輝度側判定点の輝度範囲内の輝度分布が輝度ヒストグラム全体を占める割合を算出する。これにより、中間階調に集まっている輝度ヒストグラムの割合から、撮影画像の輝度ヒストグラムが、霧や霞が発生している輝度ヒストグラムか否かを判定する事ができる。

（第２の実施形態）
ここで、撮影環境が低照度の場合、ヒストグラムは全体的に低輝度側に寄る傾向があるため、低輝度側判定点と高輝度側判定点が、図３に示すような設定とした場合には、適切な設定では無くなってしまい霧や霞がうまく判定できない可能性がある。

そこで、第２の実施形態として、撮影環境の照度が低照度のときに、ヒストグラムが全体的に低輝度側へ寄る事を考慮したヒストグラム判定処理について説明する。なお、前述した実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。

図４は、本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。なお、同図では、画像処理装置における画像信号処理部以外の構成要素を省略している。

図４に示す撮像装置１００は、上述した第１の実施形態における図１の撮像装置に対して、照度検出部４０１が追加されている。照度検出部４０１は、撮影環境の照度を検出する機能を有するものであれば、例えば、画像から照度を推定する手段や外部の照度センサなどにより照度取得する構成であってもよい。

図５は、本発明の第２の実施形態に係るヒストグラム判定処理の例を示すフローチャートである。図５のフローチャートは、システム制御部１０６によって、各処理ブロックを制御し実行される処理手順を図示したものである。それぞれのシステム制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。なお、図２に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

まず、ステップＳ５０１で、照度検出部４０１は、撮像装置１００の撮影環境の照度を検出する。次のステップＳ２０１で、画像の輝度ヒストグラムを検出する。

次に、ステップＳ５０２では、ステップＳ５０１で検出された撮影環境の照度が低照度か否かを判定する。この照度の判断には、例えばＡＧＣゲイン値を用い、ＡＧＣゲイン値が所定値以上になると低照度と判断してもよいし、他の方法であってもよい。撮影環境の照度が低照度であると判定した場合には、ステップＳ５０３へ進み、撮影環境の照度が低照度でないと判定した場合には、ステップＳ２０２へ進む。

撮影環境が低照度である場合には、ステップＳ５０３で、低輝度側判定点と高輝度側編定点を低輝度側へシフトする。ここで図６は、画像中のヒストグラムを低輝度側にシフトした場合の低輝度側判定点と高輝度側判定点の範囲の例を示す図である。例えば、通常照度時の低輝度側判定点をＹ値１００、通常照度時の高輝度側判定点をＹ値１５０、低照度の場合のシフト量を−６０と設定していた場合、低輝度側判定点はＹ値４０、高輝度側判定点はＹ値９０となる。シフト量は予め設定された値であり、例えば、カメラの用途や性能、撮影環境によって、実験的または経験的に設計値として設定するものとする。

その結果、ステップＳ２０２において、図６に示すように低輝度側へシフトした範囲内の輝度分布を算出する事となり、撮影環境が低照度になる事によって、ヒストグラムが低輝度側へシフトした場合にも、適切なヒストグラム判定処理を行う事ができる。

ステップＳ２０３以降は、第１の実施形態の例で説明したため、詳細は省略する。

以上説明したように、第２の実施形態では、撮影環境が低照度であると判定した場合に、撮像画像中のヒストグラムにより霧や霞を判定するための低輝度側判定点と高輝度側判定点を低輝度側へシフトさせる。これにより、低照度時にヒストグラムが低輝度側へ寄ってしまう事を考慮した低輝度側判定点と高輝度側判定点の設定ができ、低照度環境の場合にも適切に、撮影画像中のヒストグラムから霧や霞が発生しているか否かを推定する事ができる。そして、霧や霞が発生していて被写体がかすんでいると推定される場合は、公知の技術を用いて、例えば、低輝度側判定点と高輝度側判定点の間の輝度範囲の階調を広げてコントラストを強調させるガンマ補正処理を行う。

前述した実施形態において、低照度時には照明が照射される可能性も高いため、高輝度部にヒストグラムが点光源に基づく輝度成分（ヒストグラム）が検出される可能性がある。そのため、低照度時、点光源検出された場合には、所定より高輝度の点光源に基づく輝度成分は、霧・霞判定の計算から除外する構成としてもよい。画像処理部は撮像部と別体の構成でもよく、例えば、通信部を介して撮像画像を外部のＰＣなどのクライアント装置に出力し、クライアント装置で、ヒストグラムの判定、コントラスト強調などの画像処理を実行してもよい。

（第３の実施形態）
ここで、露出補正等の露出制御の変更を行った場合、ヒストグラムは全体的にシフトするため、低輝度側判定点と高輝度側判定点を図３に示すような設定とした場合には、霧や霞がうまく判定できない可能性がある。

そこで、第３の実施形態として、露出補正等の露出の変更を行ったときに、ヒストグラムが全体的にシフトする事を考慮したヒストグラム判定処理について説明する。なお、前述した実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。第３の実施形態に係る画像処理装置の構成例を示すブロック図は、第１の実施形態に係る画像処理装置の構成例を示すブロック図と同じ図１とする。

図７は、本発明の第３の実施形態に係るヒストグラム判定処理の例を示すフローチャートである。図７のフローチャートは、システム制御部１０６によって、各処理ブロックを制御し実行される処理手順を図示したものである。それぞれのシステム制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。なお、図２に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

まず、ステップＳ２０１で、画像の輝度ヒストグラムを検出する。

次に、ステップＳ７０１では、露出補正しているかどうかを判定している。ここでは露出補正としているが、露出補正に限らず、ヒストグラム全体がシフトする露出制御であればここで判定を行う。露出補正を行っている場合は、ステップＳ７０２へ進み、露出補正を行っていないと判定した場合には、ステップＳ２０２へ進む。

ステップＳ７０２では、低輝度側判定点と高輝度側判定点をＡＥ目標値に連動して設定する。ここで図８は、プラス側に露出補正した場合の画像のヒストグラムにおける低輝度側判定点と高輝度側判定点の範囲の例を示す図である。例えば、低輝度側判定点と高輝度側判定点をＡＥ目標値の±２５の値に設定するとする。通常露出時の露出目標値がＹ値１２５である場合、低輝度側判定点がＹ値１００、高輝度側判定点がＹ値１５０となり、プラス露出補正時の露出目標値がＹ値１７０とすると、低輝度側判定点はＹ値１４５、高輝度側判定点はＹ値１９５となる。露出目標値（ＡＥの目標値）に連動して設定する低輝度側判定点と高輝度側判定点の値は予め設定された値であり、例えば、カメラの用途や性能、撮影環境によって、実験的または経験的に設計値として設定するものとする。結果、ステップＳ２０２において、図８に示すように露出目標値に連動して設定した範囲内の輝度分布を算出する事となり、露出補正等の露出制御を行う事によって、ヒストグラム全体がシフトした場合にも、適切なヒストグラム判定処理を行う事ができる。

以上説明したように、第３の実施形態では、露出補正等の露出制御の変更を行った場合に、撮像画像中のヒストグラムにより霧や霞を判定するための低輝度側判定点と高輝度側判定点を露出目標値（ＡＥ目標値）に連動して設定させる。これにより、ヒストグラム全体がシフトしてしまう事を考慮した低輝度側判定点と高輝度側判定点の設定ができ、露出制御を行った場合にも適切に撮影画像中のヒストグラムから霧や霞が発生しているか否かを推定する事ができる。そして、霧や霞が発生していて被写体がかすんでいると推定される場合は、公知の技術を用いて、低輝度側判定点と高輝度側判定点の間の輝度範囲のコントラストを強調させる処理を行う。

前述した実施形態において、露出目標値（ＡＥ目標値）がプラス側へシフトする場合は、ヒストグラム全体がプラス側へシフトする可能性が高いため、低輝度側判定点と高輝度側判定点をプラス側へ設定する。露出目標値（ＡＥ目標値）がマイナス側へシフトする場合は、ヒストグラム全体がマイナス側へシフトする可能性が高いため、低輝度側判定点と高輝度側判定点をマイナス側へ設定する。この時、露出目標値（ＡＥ目標値）のシフト量が大きいほどヒストグラムのシフト量も大きいため、露出目標値（ＡＥ目標値）のシフト量に応じて、低輝度側判定点と高輝度側判定点を設定する構成としても良い。また、露出目標値（ＡＥ目標値）のシフト量に応じて、低輝度側判定点と、高輝度側判定点の範囲内の輝度分布が、輝度ヒストグラム全体に対して占める割合が、閾値以上かどうかを判定する際の閾値を設定する構成としても良い。

また、露出目標値（ＡＥ目標値）のシフト量が大きいほど霞が発生していない場合でもヒストグラムが偏る傾向があるため、誤判定を防止する目的で、低輝度側判定点と高輝度側判定点の距離を狭めて設定する構成としても良い。また、低輝度側判定点と、高輝度側判定点の範囲内の輝度分布が、輝度ヒストグラム全体に対して占める割合が、閾値以上かどうかを判定する際の閾値を高く設定する構成としても良い。

撮影シーンによっては、前述した実施形態において、撮影画像に空が多く映る場合があり、中間輝度〜高輝度の割合が多くなり、霞が発生していても低輝度側判定点と、高輝度側判定点の範囲内の輝度分布が少なくなる可能性がある。そのため、空領域が検出されて且つ、空領域の彩度が低い場合は、空領域に基づく輝度成分は、霧・霞判定の計算から除外する構成としてもよい。

前述した実施形態において、測光方式は平均測光や、中央重点測光を想定している。スポット測光の場合は、平均測光や中央重点測光と比較すると、ヒストグラム全体が大幅にシフトする可能性があるからである。そのため、測光方式がスポット測光の場合は、露出評価値／露出目標値の割合分、低輝度側判定点と高輝度側判定点をシフトするような構成としても良い。

前述した実施形態においては、露出モードはＡＥである事を想定している。マニュアル露出の場合は、低輝度側判定点と高輝度側判定点が適切で無くなる可能性が高い。そのため、マニュアル露出時には、露出目標値の代わりに、露出評価値に基づき、低輝度側判定点と高輝度側判定点を設定する構成としても良い。

なお霞判定のための輝度分布の範囲を低輝度側判定点と高輝度側判定点を設定する構成を説明した。が、低輝度側判定点と高輝度側判定点を設定するのではなく、ＡＥ目標値を中心とした一定の割合（たとえばＡＥ目標値±１０％など）のヒストグラムを算出する構成としてもよい。その場合、ＡＥ目標値±１０％の輝度分布が、ヒストグラム全体に対して占める割合が閾値を超えた場合に、霞が発生していると判定する。

（第４の実施形態）
ここで、被写体を撮像するカメラ部をパン方向もしくはチルト方向へ回動可能な構成において、カメラ部を回動（駆動）させた場合、回動中の画像のヒストグラムを基に霞が発生しているかどうかを判定してしまう。その場合、意図しないコントラスト強調などの画像処理を行ってしまう可能性がある。

そこで、第４の実施形態として、カメラ部を回動する事を考慮したヒストグラム判定処理について説明する。なお、前述した実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。

図９は、本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図である。図９に示す撮像装置１００は、撮像部１０１を本体に対して回動可能に保持する不図示の保持手段を有する。さらに、上述した第１の実施形態における図１の撮像装置に対して、回動制御部９０１、回動角度判定部９０２、回動速度判定部９０３が追加されている。

図１０は、本発明の第４の実施形態に係るヒストグラム判定処理の例を示すフローチャートである。図１０のフローチャートは、システム制御部１０６によって、各処理ブロックを制御し実行される処理手順を図示したものである。それぞれのシステム制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。なお、図２に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

まず、ステップＳ１００１は、回動制御部９０１によって被写体を撮像するカメラ部を回動（パン方向への駆動、もしくはチルト方向への駆動）しているかどうか判定する。回動していると判定した場合には、ステップＳ２０６へ進み、回動していないと判定した場合には、ステップＳ２０１へ進む。

以降は、第１の実施形態の例で説明したため、詳細は省略する。

以上説明したように第４の実施形態では、カメラ部が回動している場合は霞が発生していないヒストグラムと判定する、もしくは霞が発生しているかどうかの判定を行わない。これにより、カメラ部を回動させた場合でも、回動中の画像で霞が発生しているかどうかを誤判定することなく、意図しないコントラスト強調などの画像処理を行わないようにすることが可能である。

このとき、画角の変化が小さい回動を行う場合は、回動中の画像のヒストグラムを基に霞が発生しているかどうかを判定する処理を継続して行う方が良い場合もある。そのため、前述した実施形態において、図１１のフローチャートのように、カメラ部の回動角度によって処理を変える構成とすることも可能である。図１１のフローチャートでは、図１０のフローチャートに対して、ステップＳ１００２、ステップＳ１００３を追加している。なお、図１０に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

まず、ステップＳ１００１でカメラ部が回動していると判定した場合には、ステップＳ１００２へ進み、回動していないと判定した場合には、ステップＳ２０１へ進む。

ステップＳ１００２は、回動制御部９０１によって、カメラ部の回動角度の変化量を算出し、ステップＳ１００３へ進む。

ステップＳ１００３では、ステップＳ１００２で算出した回動角度の変化量が予め設定しておいた所定の閾値以上かどうか判定する。所定以上の場合は、ステップＳ２０６へ進み、所定未満の場合は、ステップＳ２０１へ進む。例えば、閾値は、回動前後で画角に重複部分が存在するかどうか（例えば画角３０°のカメラであれば、回動角度が３０°未満で重複部分が存在する）等を基準に設定するとよい。また、ユーザ操作により、閾値の設定および変更が可能な構成としてもよい。

また、画角の変化が大きい回動を行う場合においても、回動速度が遅い場合は、回動中の画像のヒストグラムを基に霞が発生しているかどうかを判定する処理を継続して行う方が良い場合もある。そのため、前述した実施形態において、図１２のフローチャートのように、カメラ部の回動速度によって処理を変える構成とすることも可能である。図１２のフローチャートでは、図１１のフローチャートに対して、ステップＳ１００４、ステップＳ１００５を追加している。なお、図１１に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

ステップＳ１００２でカメラ部の回動角度の変化量を算出し、ステップＳ１００３で回動角度の変化量が予め設定しておいた閾値以上かどうか判定し、所定の閾値以上の場合はステップＳ１００４へ進み、閾値未満の場合はステップＳ２０１へ進む。

ステップＳ１００４は、回動制御部９０１によって、カメラ部の回動速度を算出し、ステップＳ１００５へ進む。

ステップＳ１００５では、ステップＳ１００４で算出した回動速度の変化量が予め設定しておいた所定の閾値以上かどうか判定する。所定以上の場合は、ステップＳ２０６へ進み、所定未満の場合は、ステップＳ２０１へ進む。閾値は、例えばこの速度を超えると、人の目では追えない速度値などを設定する。この処理により、人の目で追えないような高速で回動する場合の画像ではヒストグラムを基に霞が発生しているかどうかを判定せず、人の目で追えるような低速での回動ではヒストグラムを基に霞が発生しているかどうかを判定する事が出来る。また、ユーザ操作により、このときの回転速度の閾値の設定および変更が可能な構成としてもよい。

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１撮像部
１０２画像信号処理部
１０３ヒストグラム検出部
１０４ガンマ補正部
１０５画像表示部

Claims

被写体の画像を取得する画像取得手段と、
前記画像全体に対して予め設定された輝度範囲内に含まれる画素が占める割合を算出する算出手段と、
前記割合が第１の閾値以上の場合に前記画像のコントラストを強調する画像処理手段と、
前記被写体の照度および前記画像を取得するときの露出目標値の少なくとも１つに応じて、前記割合を算出する輝度範囲を変更する制御手段と、
を有することを特徴とする画像処理装置。
前記制御手段は、前記照度が所定の閾値よりも暗い場合に、前記割合を算出する輝度範囲を低輝度側へ変更することを特徴とする請求項１に記載の画像処理装置。
前記照度に基づいて前記第１の閾値を変更する第１の閾値変更手段を、さらに有することを特徴とする請求項１又は２に記載の画像処理装置。
前記画像から点光源による輝度成分を検出する点光源検出手段を、さらに有し、
前記算出手段は、前記点光源による輝度成分が検出された場合に、前記画像全体から前記点光源による輝度成分を除外して割合を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記制御手段は、前記露出目標値がプラス側へシフトする場合は前記割合を算出する輝度範囲をプラス側に変更し、前記露出目標値がマイナス側へシフトする場合は前記割合を算出する輝度範囲をマイナス側に変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記制御手段は、前記露出目標値のシフト量が大きいほど、前記割合を算出する輝度範囲を狭くすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記露出目標値のシフト量に応じて前記第１の閾値を変更する第２の閾値変更手段を、さらに有し、
前記第２の閾値変更手段は、前記露出目標値のシフト量が大きいほど、前記第１の閾値を高く設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記制御手段は、スポット測光の場合には、露出評価値および露出目標値に基づいて前記割合を算出する輝度範囲を変更することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記制御手段は、マニュアルで露出制御を行う場合、露出評価値に基づいて前記割合を算出する輝度範囲を変更することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記算出手段は、前記被写体の画像において空と推定される空領域が含まれており且つ前記空領域の彩度が低い場合に、前記画像全体から前記空領域を除外して割合を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記画像取得手段をパン方向又はチルト方向へ回動可能に保持する駆動手段をさらに有し、
前記画像処理手段は、前記駆動手段が駆動しているときはコントラスト強調処理を行わないことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記画像処理手段は、前記駆動手段の回動角度の変化量が所定より小さい場合には前記割合に基づいてコントラスト強調処理を行うことを特徴とする請求項１１に記載の画像処理装置。
前記画像処理手段は、前記駆動手段の回動角度の変化量が所定以上で、かつ、回動速度が所定以上の場合には、前記割合に基づいてコントラスト強調処理を行うことを特徴とする請求項１１又は１２に記載の画像処理装置。
前記割合を算出する輝度範囲および前記第１の閾値の少なくとも１つを、ユーザ操作に応じて任意に変更可能な変更手段、をさらに有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
被写体の画像を取得する画像取得手段と、
前記画像全体に対して予め設定された輝度範囲内に含まれる画素が占める割合を算出する算出手段と、
前記割合が第１の閾値以上の場合に前記画像のコントラストを強調する画像処理手段と、
前記画像から点光源による輝度成分を検出する点光源検出手段と、を有し、
前記算出手段は、前記点光源による輝度成分が検出された場合に、前記画像全体から前記点光源による輝度成分を除外して割合を算出することを特徴とする画像処理装置。
被写体の画像を取得する画像取得手段と、
前記画像取得手段をパン方向又はチルト方向へ回動可能に保持する駆動手段と、
前記画像全体に対して予め設定された輝度範囲内に含まれる画素が占める割合を算出する算出手段と、
前記割合が第１の閾値以上の場合に前記画像のコントラストを強調する画像処理手段と、
を有し、
前記画像処理手段は、前記駆動手段が駆動しているときは前記コントラストの強調処理を行わないことを特徴とする画像処理装置。
前記画像処理手段は、前記駆動手段の回動角度の変化量が所定より小さい場合には前記算出手段により算出された割合に基づいてコントラスト強調を行うことを特徴とする請求項１６に記載の画像処理装置。
前記画像処理手段は、前記駆動手段の回動角度の変化量が所定以上で、かつ、回動速度が所定以上の場合には、前記算出手段により算出された割合に基づいてコントラスト強調を行うことを特徴とする請求項１６又は１７に記載の画像処理装置。
被写体の画像を取得する画像取得ステップと、
前記画像から前記画像全体の第１の輝度ヒストグラムを検出する第１の検出ステップと、
前記画像から、予め設定された輝度範囲内の第２の輝度ヒストグラムを検出する第２の検出ステップと、
前記第１の輝度ヒストグラムに対する前記第２の輝度ヒストグラムが占める割合を算出する算出ステップと、
前記割合が第１の閾値以上の場合に前記被写体がかすんでいると推定する推定ステップと、
を有することを特徴とする画像処理装置の制御方法。
請求項１９に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
請求項２０に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。