JP2019152910A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】高輝度の被写体に起因する画像の画質劣化を高精度に低減するための画像処理を提供することを目的とする。【解決手段】画像処理装置１は、高輝度な領域を含む第１画像と、第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、第１画像におけるフレアを低減する。画像処理装置１は、第１画像における重複領域の、フレアの分布を表す第１データを取得する第１画像取得部と、第１画像における高輝度な領域の位置を表す第２データを取得する第２画像取得部と、第１データと第２データとに基づいて、第１画像におけるフレアの分布を表す第３データを生成する生成部２０９と、第３データに基づいて、第１画像を補正する補正部２０３と、を有する。【選択図】図１

Description

本発明は、画像の画質劣化を低減するための画像処理技術に関する。

従来、太陽などの高輝度被写体を撮像した場合に、撮像によって得られた画像においてフレアなどの画質劣化が生じることが知られている。特許文献１は、レンズのフレア特性とズーム位置とに基づいて、画像全体に行うガンマ補正用のテーブルを変更する技術を開示している。

特開２００５−０６５０５４号公報

しかしながら、画像における高輝度被写体の位置や輝度に応じて、画像の領域ごとにフレアの発生度合いが異なるため、ガンマ補正用のテーブルを変換するだけでは高精度にフレアを低減できないという課題があった。

本発明は上記の課題を鑑みてなされたものであり、高輝度の被写体に起因する画像の画質劣化を高精度に低減するための画像処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、高輝度な領域を含む第１画像と、前記第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、前記第１画像におけるフレアを低減するための画像処理装置であって、前記第１画像における前記重複領域の、フレアの分布を表す第１データを取得する第１取得手段と、前記第１画像における前記高輝度な領域の位置を表す第２データを取得する第２取得手段と、前記第１データと前記第２データとに基づいて、前記第１画像におけるフレアの分布を表す第３データを生成する生成手段と、前記第３データに基づいて、前記第１画像を補正する補正手段と、を有することを特徴とする。

本発明によれば、高輝度の被写体に起因する画像の画質劣化を高精度に低減することができる。

画像処理装置の構成例を示す図 画像処理装置が実行する処理の流れを示すフローチャート 撮像画像の一例を示す図 撮像する範囲を変更する方法を説明するための図 位置合わせ処理及び減算処理を説明するための図 劣化画像データを生成する処理を説明するための図 画質劣化の分布を推定する処理を説明するための図 第１画像を補正する処理を説明するための図 画像処理装置の機能構成例を示す図 撮像画像の一例を示す図 色補正ＬＵＴの一例を示す図 解像度変換を説明するための図 位置合わせ処理及び減算処理を説明するための図 撮像画像の一例を示す図 撮像装置の構成例を示す図 撮像を補助するためのガイダンス機能を説明するための図 位置合わせ処理の流れを示すフローチャート 劣化画像データを生成する処理の流れを示すフローチャート 画像処理装置が実行する処理の流れを示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
従来、撮像装置が有するレンズ、鏡筒、撮像素子、各種フィルタやカバーガラスなどにおいて発生する多重反射や、対物レンズにおける回折などに起因して、撮像画像が色付いたり、明るくなったりする現象が知られている。この現象はフレアと呼ばれる。また、フレアの一種として、高輝度被写体の像と画像の中心とを通る直線上に、強い光の像がはっきりと表れる現象がある。この現象はゴーストと呼ばれる。これらの画質劣化は、特に撮像範囲に高輝度被写体が含まれることによって生じる。そこで、本実施形態は、高輝度被写体を含まない画像を用いることによって、高輝度被写体を含む画像における画質劣化を低減する。

＜画像処理装置１のハードウェア構成＞
図１（ａ）に、画像処理装置１のハードウェア構成例を示す。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１５などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０７を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１５などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。汎用Ｉ／Ｆ（インターフェース）１０４には、シリアルバス１１を介して、マウスやキーボードなどの入力デバイス１２や撮像装置１３が接続される。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０５には、シリアルバス１４を介して、ＨＤＤ１５や各種記録メディアの読み書きを行う汎用ドライブ１６が接続される。ＣＰＵ１０１は、ＨＤＤ１５や汎用ドライブ１６にマウントされた各種記録メディアを各種データの格納場所として使用する。ビデオＩ／Ｆ１０６には、ディスプレイ１７が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１７に表示し、入力デバイス１２を介して受け付けるユーザ指示などの入力を受信する。尚、画像処理装置１は、撮像装置１３に含まれていてもよい。

＜画像処理装置１の機能構成＞
図１（ｂ）に、画像処理装置１の機能構成例を示す。画像処理装置１は、画像取得部２０１と、劣化推定部２０２と、補正部２０３と、を有する。

画像取得部２０１は、第１画像取得部２０４と、第２画像取得部２０５と、を有する。第１画像取得部２０４は、補正対象の画像を表す画像データを取得し、取得した画像データを劣化推定部２０２及び補正部２０３に送る。以下、補正対象の画像を第１画像と呼び、補正対象の画像を表す画像データを第１画像データと呼ぶ。第１画像は、高輝度な領域が含まれている画像である。第２画像取得部２０５は、補正用の画像を表す画像データを取得し、取得した画像データを劣化推定部２０２に送る。以下、補正用の画像を第２画像と呼び、補正用の画像を表す画像データを第２画像データと呼ぶ。第２画像は、高輝度な領域が含まれていない画像であり、第１画像と重複する領域を有している。本実施形態における第１画像と第２画像とはどちらもグレースケール画像とするが、カラー画像であってもよい。カラー画像である場合は、各画素のＲ、Ｇ、Ｂの各チャネルに対して以下の処理を実行する。

劣化推定部２０２は、第１画像における画質の劣化度合いを推定する。劣化推定部２０２は、位置合わせ処理部２０６と、減算処理部２０７と、抽出部２０８と、生成部２０９と、を有する。位置合わせ処理部２０６は、第１画像を基準として、第１画像と第２画像との両方に含まれる被写体の位置が重なり合うように、第２画像に対して位置合わせ処理を実行する。また、位置合わせ処理部２０６は、第１画像データと、位置合わせ処理後の第２画像を表す第２画像データと、を減算処理部２０７に送る。減算処理部２０７は、第１画像と位置合わせ処理後の第２画像との重複領域において、第１画像の画素値から、位置合わせ処理後の第２画像の画素値を減算する。また、減算処理部２０７は、減算処理後の第１画像を表す第１画像データを生成部２０９に送る。減算処理後の第１画像は、第１画像と位置合わせ処理後の第２画像との重複領域における画質の劣化度合いの分布を表す。抽出部２０８は、第１画像における高輝度な領域を抽出し、抽出された領域の位置及び抽出された領域内の画素値を示す情報を生成部２０９に送る。生成部２０９は、減算処理後の第１画像を表す第１画像データと、第１画像における高輝度な領域の位置及び画素値を示す情報と、に基づいて、第１画像における画質の劣化度合いの分布を表す劣化画像データを生成する。また、生成部２０９は、劣化画像データを補正部２０３に送る。補正部２０３は、第１画像データと劣化画像データとに基づいて、第１画像を補正する。

＜画像処理装置１が実行する処理＞
図２は、画像処理装置１が実行する処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、画像取得部２０１は、補正の対象である第１画像を表す第１画像データと、第１画像の補正に用いる第２画像を表す第２画像データと、を取得する。具体的には、第１画像取得部２０４は、第１画像データを取得し、取得した第１画像データを補正部２０３と、位置合わせ処理部２０６と、抽出部２０８と、に送る。第２画像取得部２０５は、第２画像データを取得し、取得した第２画像データを位置合わせ処理部２０６に送る。尚、第１画像取得部２０４及び第２画像取得部２０５は、ＨＤＤ１５等の記憶装置に予め記憶させておいた第１画像データと第２画像データとを取得する。以下において、第１画像データと第２画像データとを得るための撮像方法について説明する。

図３は、本実施形態における撮像画像の一例を示す図である。図３（ａ）は撮像対象のシーンについて、撮像範囲を変えて２回の撮像が行われる様子を示す図である。撮像範囲４０１は高輝度被写体である太陽を含む撮像範囲、撮像範囲４０２は太陽を含まない撮像範囲を示している。図３（ｂ）は、図３（ａ）における太陽を含む撮像範囲の撮像画像を示している。図３（ｃ）は、図３（ａ）における太陽を含まない撮像範囲の撮像画像を示している。図３（ｂ）が示す撮像画像と図３（ｃ）が示す撮像画像とは、同じ露出条件における同じズーム倍率の撮像によって得られた画像である。図３（ｃ）が示す撮像画像は、撮像範囲内に高輝度被写体である太陽を含まないため、図３（ｂ）が示す撮像画像と比べてフレアの発生量が少なく、同一被写体の明るさが低い。尚、図３（ｂ）と図３（ｃ）とにおける点線は、互いの撮像範囲が重複する領域を示している。

撮像範囲の変更方法について、図４を用いて説明する。図４（ａ）は、撮像装置を平行移動することによって撮像範囲を変更する例を示している。図４（ｂ）及び図４（ｃ）は、撮像装置を回転移動することによって撮像範囲を変更する例を示している。図４（ａ）の平行移動は、例えばパノラマ撮像において行われる。図４（ｂ）の回転移動は、例えば、さまざまな角度から同一被写体を撮像することによって仮想視点映像を生成する撮像システムの一部として考えられる。図４（ｃ）の回転移動は、例えば、全天周を撮像する撮像システムの一部として考えられる。いずれの例においても、右側の撮像装置の撮像範囲には高輝度被写体である太陽が含まれ、左側の撮像装置の撮像範囲には太陽は含まれない。図４において、矢印によって示す範囲は、２つの撮像範囲の重複領域を示している。本実施形態における第１画像データは、右側の撮像装置を用いた撮像によって得られた画像データであり、本実施形態における第２画像データは、左側の撮像装置を用いた撮像によって得られた画像データである。尚、同じ露出条件であれば、左側の撮像装置と右側の撮像装置とは同一の撮像装置であってもよいし、異なる撮像装置であってもよい。

Ｓ３０２において、位置合わせ処理部２０６は、第１画像データと第２画像データとに基づいて、位置合わせ処理を実行する。本ステップにおける位置合わせ処理の処理内容について図５及び図１７を用いて説明する。図１７は、Ｓ３０２における位置合わせ処理の流れを示すフローチャートである。

Ｓ３０２１において、位置合わせ処理部２０６は、第１画像と第２画像との重複領域を算出する。具体的には、第１画像の特徴点と第２画像との特徴点とを抽出することによって重複領域を算出する公知のパターンマッチング処理を行う。特徴点は、例えば、輝度や輝度の変化が所定の閾値よりも大きい領域とすることができる。また、各画像において領域ごとに特徴量を算出することによってパターンマッチングを行ってもよい。尚、重複領域の算出方法は、パターンマッチングに限られない。例えば、第１画像を得るための撮像の位置及び画角と、第２画像を得るための撮像の位置及び画角と、を用いた幾何計算によって第１画像と第２画像との重複領域を算出してもよい。

Ｓ３０２２において、位置合わせ処理部２０６は、第１画像及び第２画像における、Ｓ３０２１において算出した重複領域以外の領域に対して、マスク処理を行う。本実施形態におけるマスク処理は、画素値を０（黒）にする処理である。図５（ａ）及び図５（ｂ）に、重複領域以外にマスク処理を施した画像を示す。図５（ａ）に示す画像は、第１画像において、重複領域以外の画素値を０にした画像である。図５（ｂ）に示す画像は、第２画像において、重複領域以外の画素値を０にした画像である。

Ｓ３０２３において、位置合わせ処理部２０６は、第１画像を基準として、第１画像と第２画像との重複領域が重なるように、第２画像に対して位置合わせ処理を行う。具体的には、第１画像と第２画像とを用いてアフィン変換に用いる変換マトリクスを算出し、算出した変換マトリクスを用いて位置合わせを行う。マスク処理後の第１画像とマスク処理後の第２画像との重複領域が重なるように、位置合わせ処理を施した第２画像を図５（ｃ）に示す。尚、位置合わせを行うための変換方法はアフィン変換に限定されず、公知の位相限定相関法などを用いて良い。尚、Ｓ３０２２におけるマスク処理を行わずに、Ｓ３０２３における位置合わせ処理を行ってもよい。

Ｓ３０３において、減算処理部２０７は、第１画像データと位置合わせ処理後の第２画像データとに基づいて、第１画像と位置合わせ処理後の第２画像との重複領域において、第１画像の画素値から、位置合わせ処理後の第２画像の画素値を減算する。また、減算処理部２０７は、減算処理後の第１画像を表す第１画像データを生成部１０９に送る。減算処理後の第１画像を図５（ｄ）に示す。尚、減算によって画素値が０未満となる場合は０にクリップ処理する。この減算処理後の第１画像は、上述したように、第１画像と位置合わせ処理後の第２画像との重複領域における画質の劣化度合いの分布を表す。

Ｓ３０４において、抽出部２０８は、第１画像における高輝度な領域を抽出し、抽出された領域の位置及び抽出された領域内の画素値を示す情報を生成部２０９に送る。具体的には、抽出部２０８は、第１画像において、所定の閾値より画素値が大きい領域を高輝度な領域として抽出する。また、抽出部２０８は、抽出された領域の位置及び抽出された領域内の画素値を示す情報として、抽出した高輝度な領域以外の領域にマスク処理を施した第１画像（抽出画像）を表す抽出画像データを生成する。図６（ａ）は、第１画像から高輝度な領域、つまり高輝度被写体に対応する位置及び画素値を抽出した結果を示している。高輝度被写体である太陽に対応する領域（白）以外の画素値が０（黒）となっており、太陽に対応する領域（白）には太陽の明るさを示す画素値が記録されている。尚、抽出された領域の位置及び抽出された領域内の画素値を示す情報は、抽出画像データに限られない。例えば、抽出した高輝度な領域に対応する画素位置と、各画素位置の画素値と、が対応付けられた点群データであってもよい。

Ｓ３０５において、生成部２０９は、減算処理後の第１画像を表す第１画像データと、抽出画像データと、に基づいて、第１画像における画質の劣化度合いの分布を表す劣化画像データを生成する。また、生成部２０９は、劣化画像データを補正部２０３に送る。本ステップにおける劣化画像データを生成する処理の内容について図６、図７及び図１８を用いて説明する。図１８は、劣化画像データを生成する処理を示すフローチャートである。

Ｓ３０５１において、生成部２０９は、減算処理後の第１画像と抽出画像データが表す画像とを合成する。具体的には、重複領域には減算処理後の第１画像の画素値を記録し、重複領域以外の領域には抽出画像データが表す抽出画像の画素値を記録した画像（合成画像）を表す合成画像データを生成する。図６（ｂ）に、減算処理後の第１画像と抽出画像とを合成することによって得られる合成画像を示す。尚、合成処理は必ずしも上記のように新たに画像データを生成する必要はない。減算処理後の第１画像と抽出画像とがいずれも上述したマスク処理を経た画像である場合は、いずれか一方の画像の画素値に、他方の画像の画素値を加算することによって合成画像データを取得してもよい。

Ｓ３０５２において、生成部２０９は、合成画像の画素値に対してガウス関数をフィッティングする。このフィッティングには、合成画像における高輝度な領域の画素値及び重複領域の画素値を用い、ガウス関数の中心（ピーク）の位置は、図６（ｂ）に示す高輝度な領域の重心座標Ｂとする。図７（ａ）に、図６（ｂ）に示す合成画像における点線上の画素値のプロファイルを示す。また、図７（ｂ）に、上述したフィッティングによって得られたガウス関数において、図６（ｂ）に示す点線に対応する位置の画素値のプロファイルを示す。図６（ｂ）に示す点線は、重複領域の中心座標Ａと高輝度な領域の重心座標Ｂとを通る直線を示している。本ステップにおけるフィッティングを行うことによって、第１画像の重複領域以外の領域における画質劣化の度合いの分布も算出することができる。尚、本ステップにおけるフィッティングは２次元の合成画像に対して行うが、ここでは説明を簡易にするため、画素値のプロファイルを１次元（図６（ｂ）に示すｘ方向）に単純化している。尚、フィッティングに用いる関数は、ガウス関数に限られず、指数関数などの減衰関数を用いても良い。また、フィッティングは合成画像の画素値の全てに対して行う必要はなく、十分に画質の劣化度合いを推定できるのであれば、画素値の少なくとも一部に対してフィッティングを行ってもよい。

Ｓ３０５３において、生成部２０９は、第１画像における画質の劣化度合いの分布を表す劣化画像データを生成する。具体的には、Ｓ３０５２におけるフィッティングによって得られたガウス分布を表す画像の画素値から、抽出画像の画素値を減算することによって、減算結果を表す劣化画像データを生成する。上述したように、この減算結果（以下、劣化画像と呼ぶ）が、第１画像における画質の劣化度合いの分布を表している。尚、この減算処理において、負の値は０にクリッピングする。図６（ｃ）に、第１画像における画質の劣化度合いの分布を示す。また、図７（ｃ）に、画質の劣化度合いの分布において、図６（ｂ）に示す点線に対応する位置の画素値のプロファイルを示す。図７（ｃ）からわかるように、高輝度な領域の位置や輝度に応じて領域ごとに画質の劣化度合いが異なり、高輝度な領域の近傍ほど画質の劣化度合いが大きい。

Ｓ３０６において、補正部２０３は、第１画像データと劣化画像データとに基づいて、第１画像を補正する。具体的には、第１画像データが表す第１画像の画素値から、劣化画像データが表す劣化画像の画素値を減算する。図８（ａ）は、図３（ｂ）に示す補正対象の第１画像と同一の画像である。図８（ｂ）は、図６（ｃ）に示す第１画像における画質の劣化度合いの分布と同一の分布である。図８（ｃ）は、本ステップにおける減算処理によって補正された第１画像である。この補正によって、太陽（高輝度被写体）の明るさを下げることなく、フレア等の画質劣化が低減された画像を得ることができる。尚、得られた補正後の第１画像データは、ＨＤＤ１５などの記憶装置に記憶させてもよいし、外部装置に出力してもよい。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、高輝度な領域を含む第１画像と、第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、第１画像におけるフレアを低減するための装置である。画像処理装置は、第１画像における重複領域の、フレアの分布を表すデータを取得する。また、第１画像における高輝度な領域の位置を表すデータを取得する。取得したデータに基づいて、第１画像におけるフレアの分布を表すデータを生成する。生成したデータに基づいて、第１画像を補正する。これにより、第１画像における高輝度な領域の位置や輝度に応じた、第１画像における画質の劣化度合いの分布を得ることができる。よって、高輝度の被写体に起因する画像の画質劣化を高精度に低減することができる。

［第２実施形態］
第１実施形態においては、高輝度被写体を撮像範囲に含めた画像と高輝度被写体を撮像範囲に含めない画像とを得るために、露出条件及びズーム倍率は変えずに、移動によって撮像範囲を変更した。本実施形態においては、ズーム倍率を変えた２回の撮像により得られた画像データを用いることによって、補正対象の画像の画質劣化を低減する。尚、本実施形態における画像処理装置１のハードウェア構成は、第１実施形態のものと同一であるため説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜画像処理装置１の機能構成＞
図９に、画像処理装置１の機能構成例を示す。画像処理装置１は、画像取得部２０１と、劣化推定部２０２と、補正部２０３と、を有する。

画像取得部２０１は、第１画像取得部２０４と、第２画像取得部２０５と、を有する。第１画像取得部２０４は、第１画像データを取得し、取得した第１画像データを劣化推定部２０２及び補正部２０３に送る。第１画像は、高輝度な領域が含まれている画像である。第２画像取得部２０５は、第２画像データを取得し、取得した第２画像データを劣化推定部２０２に送る。第２画像は、高輝度な領域が含まれていない画像であり、第１画像と重複する領域を有している。本実施形態における第１画像は、第２画像を得るための撮像よりもズーム倍率が低い撮像によって得られた画像である。本実施形態における第１画像と第２画像とはどちらもカラー画像とするが、グレースケール画像であってもよい。グレースケール画像である場合は、各画素の１つのチャネルに対して色補正部９０１による補正処理を実行する。

劣化推定部２０２は、第１画像における画質の劣化度合いを推定する。劣化推定部２０２は、色補正部９０１と、ＬＵＴ保持部９０２と、解像度変換部９０３と、位置合わせ処理部２０６と、減算処理部２０７と、抽出部２０８と、生成部２０９と、を有する。色補正部９０１は、色補正ルックアップテーブル（ＬＵＴ）を参照して、第２画像に対して色補正処理を実行する。第２画像においては、第１画像よりも高輝度被写体に由来する画質劣化の発生が少ない。一方で、撮像におけるズーム倍率が高いことによりレンズ間距離が長くなるため、レンズ鏡筒内部における光の反射の回数が増える。これにより、画像全体が明るくなってしまう。色補正部９０１は、この画像全体が明るくなってしまう現象による、補正部２０３の補正処理への悪影響を抑制するため、第２画像の色を補正する。解像度変換部９０３は、ズーム倍率の違いによって第１画像と第２画像との解像度が異なるため、第２画像の解像度を変換することによって、２つの画像の解像度を合わせる。尚、位置合わせ処理部２０６乃至生成部２０９は、第１実施形態と同様であるため説明を省略する。

＜画像処理装置１が実行する処理＞
図１９は、画像処理装置１が実行する処理の流れを示すフローチャートである。

Ｓ３０１における処理は、第１実施形態と同様であるので説明を省略する。以下において、第１画像データと第２画像データとを得るための撮像方法について説明する。図１０は、本実施形態における撮像画像の一例を示す図である。図１０における画像１００１は、高輝度被写体を撮像範囲に含めた撮像により得られた画像である。図１０における画像１００２は、高輝度被写体を撮像範囲に含めない撮像により得られた画像である。画像１００１を得るための撮像は、画像１００２を得るための撮像よりもズーム倍率が低い。画像１００２は、撮像範囲内に高輝度被写体である太陽を含まないため、画像１００１と比べてフレアの発生量が少なく、同じ露出条件において撮像した場合でも同一被写体の明るさが低い。本実施形態における第１画像は画像１００１であり、第２画像は画像１００２である。

Ｓ１９０１において、色補正部９０１は、色補正ＬＵＴを参照して、第２画像の色を補正する。図１１は、ＬＵＴ保持部９０２に保持された色補正ＬＵＴの一例を示している。色補正ＬＵＴは、高輝度な領域を含まないカラーチャートを、第１画像及び第２画像それぞれの撮像と同じ露出条件、ズーム倍率で撮像することによって、予め生成されるルックアップテーブルである。色補正ＬＵＴは、相対的にズーム倍率が高い撮像における色情報（Ｒ値、Ｇ値、Ｂ値）と、相対的にズーム倍率が低い撮像における色情報（Ｒ’値、Ｇ’値、Ｂ’値）と、の対応関係を保持している。図１１からわかるように、Ｒ値、Ｇ値、Ｂ値よりも、Ｒ’値、Ｇ’値、Ｂ’値の方が全体的に数値が高いことがわかる。本ステップにおいて色補正部９０１は、この色補正ＬＵＴを参照して、第２画像におけるＲ’値、Ｇ’値、Ｂ’値が、Ｒ値、Ｇ値、Ｂ値となるように色を変換する。尚、ＲＧＢ色空間において、このＬＵＴが対応関係を保持する点の間にある画素値については、対応関係を保持する点のうち画素値の近傍の点を用いた補間処理によって対応する値を算出する。尚、本ステップにおける色補正処理は、テーブルを用いた方法に限られない。例えば、Ｒ’値、Ｇ’値、Ｂ’値をＲ値、Ｇ値、Ｂ値に変換するマトリクスを予め生成しておき、生成したマトリクスを用いた演算処理を行っても良い。

Ｓ１９０２において、解像度変換部９０３は、第１画像の解像度に合わせるように、第２画像の解像度を変換する。図１２は、本ステップにおける解像度変換を説明するための図である。図１２（ａ）は、第１画像１２０１の解像度と第２画像１２０２の解像度とが異なる様子を示した図である。図１２（ａ）からわかるように、第１画像と第２画像とで画素数は等しいため、ズーム倍率が異なると解像度が異なる。本ステップにおいては、Ｓ３０２における位置合わせ処理を行うため、第２画像の解像度を変換する。図１２（ｂ）における第２画像１２０３は、第１画像１２０１と解像度が同じになるように解像度が変換された第２画像である。解像度変換の変換倍率は、第１画像を得るための撮像におけるズーム倍率と第２画像を得るための撮像におけるズーム倍率とを用いて算出する。

Ｓ３０２において、位置合わせ処理部２０６は、第１画像１２０１と第２画像１２０３との重複領域を算出し、重複領域について位置合わせ処理を行う。図１３（ａ）は第１画像１２０１から重複領域を切り出した画像であり、図１３（ｂ）は第２画像１２０３から重複領域を切り出し、図１３（ａ）の切り出し画像に重なるように位置合わせした画像である。また、Ｓ３０３において、減算処理部２０７は、図１３（ａ）の画像の画素値から図１３（ｂ）の画像の画素値を減算する。図１３（ｃ）は、図１３（ａ）の画像の画素値から図１３（ｂ）の画像の画素値を減算することによって得られた第１画像である。Ｓ３０２乃至Ｓ３０６におけるその他の処理は第１実施形態と同様であるため説明を省略する。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、補正対象の画像とは撮像におけるズーム倍率が異なる画像を用いて、補正対象の画像を補正した。よって、高輝度の被写体に起因する画像の画質劣化を高精度に低減することができる。また、補正対象の画像を得るための撮像から、撮像の位置や向きを変えることなく、補正に用いる画像を取得することができる。

［第３実施形態］
上述した実施形態においては、撮像装置の位置や向き、ズーム倍率を変えて撮像することによって得られた、補正対象の画像と補正に用いる画像とを処理に用いた。本実施形態においては、２回の撮像における撮像装置の位置や向き、ズーム倍率は変えずに、撮像範囲内の高輝度被写体を遮蔽した状態における撮像によって得られた画像を補正用の画像として用いる。尚、本実施形態における画像処理装置１のハードウェア構成、機能構成、処理内容は、第１実施形態のものと同一であるため説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜撮像方法＞
本実施形態におけるＳ３０１において、画像取得部２０１が取得する画像データは、以下に説明する撮像方法によって得られた画像データである。撮像方法を図１４を用いて説明する。図１４（ａ）に示す画像１４０１は、高輝度被写体が撮像範囲に含まれる画像である。図１４（ｂ）に示す画像１４０２は、高輝度被写体が撮像範囲に含まれない画像である。画像１４０１と画像１４０２とを得るための撮像は、撮像装置の位置や向き、ズーム倍率が同じであるが、画像１４０２を得るための撮像においては、撮像範囲内の高輝度被写体を遮蔽板によって隠している。画像１４０２における領域１４０３は、遮蔽版によって高輝度被写体からの光が遮蔽された領域である。遮蔽版は、高輝度被写体が映らないようにするための、撮像装置のレンズと被写体との間に設置された板である。遮蔽板には、透過率の低い板を用いる。尚、高輝度被写体を遮蔽する物体は、板には限られず、例えば、撮像装置に備え付けられた遮蔽部などであってもよい。

＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、高輝度被写体からの光を遮蔽した状態における撮像によって得られた画像を補正用画像として用いて、補正対象の画像を補正した。よって、高輝度の被写体に起因する画像の画質劣化を高精度に低減することができる。また、補正対象の画像を得るための撮像から、撮像の位置や向き、ズーム倍率を変えることなく、補正に用いる画像を取得することができる。

［第４実施形態］
本実施形態においては、第１画像データと第２画像データとを得るための撮像を行う撮像装置１３について説明する。

＜撮像装置１３の機能構成＞
図１５は、本実施形態における撮像装置１３の機能構成例を示す図である。撮像装置１３は、第１設定部１５０１と、第２設定部１５０２と、導出部１５０３と、撮像部１５０４と、を有する。第１設定部１５０１は、ユーザからの指示を表す情報に基づいて、第１画像データを得るための撮像における露出やフォーカス等の撮像条件を設定する。ユーザからの指示を表す情報は、撮像装置１３に備えられたモニタやボタンを介して入力される。第２設定部１５０２は、ユーザからの指示を表す情報に基づいて、第１画像に画質劣化が生じるか否かを設定する。導出部１５０３は、第２設定部１５０２において第１画像に画質劣化が生じると設定された場合に、第２画像データを得るための撮像における撮像条件を導出する。ここで導出される撮像条件は、撮像範囲内に高輝度被写体が含まれない撮像条件である。撮像部１５０４は、第１設定部１５０１が設定した撮像条件における撮像と、導出部１５０３が導出した撮像条件における撮像と、を行う。導出部１５０３が導出した撮像条件における撮像は、測光機能を用いて高輝度被写体を検出し、高輝度被写体に対応する領域を遮蔽した状態において撮像を行う。遮蔽の方法は、撮像装置１３に備えられた遮蔽部を用いて自動で遮蔽してもよいし、モニタや電子ビューファインダー（ＥＶＦ）への表示を行うことによって遮蔽する位置をユーザに通知してもよい。遮蔽部としては、レンズ前面に備え付けられた液晶フィルムなどが考えられる。尚、撮像範囲を変更する場合、撮像部１５０４は、撮像装置１３に接続された自動雲台を制御して撮像範囲を変更する。ズーム倍率を変更する場合、撮像装置１３に備え付けられた自動のズームレンズを制御して撮像範囲を変更する。

＜第４実施形態の変形例＞
撮像装置１３は、さらに、ガイド表示制御部を有していてもよい。図１６（ａ）に、第１実施形態において取得する第２画像データを得るために行う撮像の様子を示す。ガイド表示制御部は、マーカー１６０１によって示される範囲より左下に撮像範囲を変えることをユーザに促す。図１６（ｂ）に、第２実施形態において取得する第２画像データを得るために行う撮像の様子を示す。ガイド表示制御部は、マーカー１６０２によって示される範囲より内側に撮像範囲を変えることをユーザに促す。図１６（ｃ）に、第３実施形態において取得する第２画像データを得るために行う撮像の様子を示す。ガイド表示制御部は、マーカー１６０３によって示される範囲にある高輝度被写体を遮蔽することをユーザに促す。尚、図１６に示すマーカーは、撮像対象の画像に重畳され、モニタやＥＶＦにおいて表示される。

撮像装置１３は、さらに、補正部と記憶部とを有していてもよい。補正部は、第２設定部１５０２によって設定された撮像条件において得られた第２画像を用いて、第１設定部１５０１によって設定された撮像条件において得られた第１画像を上述した方法によって補正する。記憶部は、補正された第１画像を表す第１画像データを記憶する。

また、本実施形態においては、導出部１５０３が第２画像データを得るための撮像における撮像条件を導出したが、第１設定部１５０１と同様に、ユーザからの指示を表す情報に基づいて、撮像条件を設定してもよい。

また、本実施形態における第２設定部１５０２は、ユーザからの指示を表す情報に基づいて、第１画像に画質劣化が生じるか否かを設定したが、第１画像に基づいて画質劣化が生じるか否かを判定してもよい。例えば、第１画像において輝度値が閾値以上の画素がある場合は、画質劣化が生じると判定する。

また、本実施形態における第１設定部１５０１及び第２設定部１５０２は、撮像条件を設定する設定部であったが、撮像する際の撮像モードを設定する設定部であってもよい。例えば、第１設定部１５０１は、高輝度被写体を撮像範囲に含めて撮像を行う第１モードと、高輝度な被写体を撮像範囲に含めずに撮像を行う第２モードと、のうちどちらかを撮像モードとして設定する。第２設定部１５０２は、第１設定部１５０１によって設定されたモードにおいて撮像が行われた後に、第１モードと第２モードとのうち、第１設定部１５０１によって設定されたモードでないモードを撮像モードとして設定する。

また、本実施形態においては、撮像装置１３が第１設定部１５０１と、第２設定部１５０２と、導出部１５０３と、を有していたが、第１実施形態乃至第１実施形態３における画像処理装置１が上述した構成を有していてもよい。

＜第４実施形態の効果＞
以上説明したように、本実施形態における撮像装置は、ユーザからの指示に応じて、補正用の画像を得るために適した撮像条件を導出し、撮像を行う。これによって、高輝度の被写体に起因する画像の画質劣化を高精度に低減するために用いる画像を簡易に取得することができる。

［その他の実施形態］
上述した実施形態においては、１つの補正対象の画像に対して１つの補正用の画像を用いたが、画像の数はこれに限られない。例えば、１つの補正対象の画像に対して２つの補正用画像を用いてそれぞれ補正処理を行い、より画質劣化を低減できた方を補正結果としてもよい。また、２つの補正対象の画像に対して１つの補正用の画像を用いて補正処理を行ってもよい。

また、上述した実施形態においては、高輝度な領域として抽出される領域が１つである場合について説明したが、複数の領域が抽出されても良い。この場合、画質劣化の推定において行うフィッティングには、高輝度な領域それぞれを中心とした減衰関数を用いる。

また、上述した実施形態においては、合成画像の画素値に対してフィッティングを行うことによって画質劣化を推定したが、ゴーストなどの局所的な画質劣化を高精度に低減できるように処理を追加してもよい。例えば、補正対象の第１画像においてゴーストが生じていた場合、補正用の第２画像として、第１画像の中心を基準とした第１画像における高輝度被写体の像との点対称の位置を含んだ画像を用意する。ゴーストは、画像の中心を基準とした高輝度被写体の像との点対称の位置に特にはっきりと発生しやすい。このため、第２画像に上述した点対称の位置を含めることによって、第１画像においてゴーストが発生している位置を第２画像に含めることができる。Ｓ３０５２において、生成部２０９は、高輝度な領域から広がりを有する画質劣化を高精度に推定するため、ゴーストに対応する位置の合成画像の画素値はフィッティングに用いない。Ｓ３０５３において、生成部２０９は、Ｓ３０５２におけるフィッティングによって得られたガウス分布を表す画像の画素値から、抽出画像の画素値を減算することによって、減算結果を表す劣化画像データを生成する。さらに、生成部２０９は、Ｓ３０３において得られる減算処理後の第１画像からゴーストに対応する位置の画素値を抽出し、抽出した画素値を劣化画像の画素値に加算する。これにより、高輝度な領域から広がりを有する画質劣化に加えて、ゴーストなどの局所的な画質劣化の分布を表す劣化画像データを生成することができる。この劣化画像データを用いて第１画像を補正することによって、高輝度な領域から広がりを有する画質劣化と、ゴーストなどの局所的な画質劣化と、を高精度に低減することができる。尚、減算処理後の第１画像からゴーストに対応する位置の画素値を抽出するには、所定の閾値以上となる画素値を抽出すればよい。尚、第２画像を用意する方法として、例えば、第１画像を撮像によって得た後に、第１画像における高輝度な領域の位置に基づいて、ゴーストが特にはっきり発生する位置を特定し、その位置を第２画像に含めるように撮像を行う。第２画像を得るための撮像時には、ゴーストが特にはっきり発生する位置をマーカーによってユーザに通知すればよい。尚、上述した処理の例においては、画像の中心を基準とした高輝度被写体の像との点対称の位置をゴーストの発生位置として第２画像を用意したが、高輝度被写体の像と画像の中心とを通る直線上をゴーストの発生位置として第２画像を用意してもよい。また、画像の中心を基準とした高輝度被写体の像との点対称の位置の近傍をゴーストの発生位置として第２画像を用意してもよい。ここで、点対称の位置の近傍は、点対称の位置から所定の距離離れた位置までの領域である。また、ゴーストなどの局所的な画質劣化を高精度に低減するための上述した処理を、上述した実施形態の処理に加えて行う否かをユーザの指示に応じて切り替えられるようにしてもよい。ユーザの指示は、ディスプレイに表示されたＵＩを介して受付けるようにすればよい。 また、上述した実施形態においては、フィッティングによって、重複領域以外の領域における画質の劣化度合いの分布を算出したが、画質の劣化度合いの分布を算出する方法はこれに限られない。例えば、重複領域においてゴーストのような局所的な画質劣化のみが生じている場合、フィッティングを行わずに、減算処理部２０７による減算処理の結果を第１画像における画質劣化の分布としてもよい。この場合、減算処理部２０７による減算処理の結果において、重複領域の端部における輝度値が閾値より小さい場合は、重複領域以外の領域において画質劣化の広がりがないと判定してフィッティングは行わずに劣化画像データを生成する。

また、第１実施形態乃至第３実施形態においては、第１画像データと第２画像データとを得るための撮像方法が異なったが、それぞれの方法を組み合わせて撮像を行ってもよい。例えば、撮像装置の移動及びズーム位置の変更によって、撮像範囲を変更してもよい。

また、上述した実施形態における画像取得部２０１は、ＨＤＤ１５等の記憶装置に予め記憶させておいた第１画像データと第２画像データとを取得したが、撮像装置１３から直接画像データを取得してもよい。

また、上述した実施形態においては、第１画像データと第２画像データとを取得し、位置合わせ処理、減算処理、第１画像における高輝度な領域の抽出を行ったが、処理はこれらに限られない。例えば、減算処理を行った後の第１画像を表す第１画像データと、第１画像における高輝度な領域の位置を及び画素値を表すデータと、を予め生成し、ＨＤＤ１５などの記憶装置に記憶させておく。生成部２０９は、記憶装置に記憶させておいた上述したデータを取得し、劣化画像データの生成に用いてもよい。

また、上述した実施形態における生成部２０９は、生成した劣化画像データを補正部２０３に送ったが、劣化画像データを外部の装置に出力してもよい。

また、上述した実施形態における抽出部２０８は、第１画像における高輝度な領域を抽出し、抽出された領域の位置及び抽出された領域内の画素値を示す情報を生成したが、抽出部２０８は抽出された領域の位置のみを表す情報を生成してもよい。この場合、生成部２０９によるフィッティングは、合成画像における重複領域の画素値に対して行う。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２０３ 補正部
２０７ 減算処理部
２０８ 抽出部
２０９ 生成部

Claims (21)

1. 高輝度な領域を含む第１画像と、前記第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、前記第１画像におけるフレアを低減するための画像処理装置であって、
   前記第１画像における前記重複領域の、フレアの分布を表す第１データを取得する第１取得手段と、
   前記第１画像における前記高輝度な領域の位置を表す第２データを取得する第２取得手段と、
   前記第１データと前記第２データとに基づいて、前記第１画像におけるフレアの分布を表す第３データを生成する生成手段と、
   前記第３データに基づいて、前記第１画像を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記第３データが表す、前記第１画像におけるフレアの分布は、前記第１画像における前記重複領域以外の領域の、フレアの分布も含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第１データが表すフレアの分布の画素値の少なくとも一部に対して、第２データが表す前記高輝度な領域の位置を中心とした減衰関数へのフィッティングを行うことによって、前記第１画像におけるフレアの分布を算出することを特徴とする請求項１又は請求項２に記載の画像処装置。
4. 前記第２データは、さらに前記高輝度な領域の画素値を表すデータであって、
   前記生成手段は、前記第１データが表すフレアの分布の画素値の少なくとも一部と、前記高輝度な領域の画素値の少なくとも一部と、に対して前記フィッティングを行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記減衰関数は、ガウス関数であることを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. 前記減衰関数は、指数関数であることを特徴とする請求項３又は請求項４に記載の画像処理装置。
7. 前記第１画像を得るための撮像における撮像範囲は、前記第２画像を得るための撮像における撮像範囲と異なることを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 前記第１画像を得るための撮像と前記第２画像を得るための撮像とでは、撮像の位置と向きとの少なくとも一方が異なることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１画像を得るための撮像と前記第２画像を得るための撮像とでは、ズーム倍率が異なることを特徴とする請求項７又は請求項８に記載の画像処理装置。
10. 前記第２画像を得るための撮像においては、前記撮像範囲における高輝度被写体からの光を遮蔽していることを特徴とする請求項７乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記第１画像を表す第１画像データと、前記第２画像を表す第２画像データと、を取得する第３取得手段をさらに有し、
    前記第１取得手段は、前記第１画像データと前記第２画像データとに基づいて、前記第１データを生成し、
    前記第２取得手段は、前記第１画像データに基づいて、前記第２データを生成することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記第１取得手段は、前記第１画像と前記第２画像との両方に含まれる被写体の位置が重なり合うように、前記第２画像に対して位置合わせ処理を行い、前記第１画像の画素値から、前記位置合わせ処理された前記第２画像の画素値を減算することによって、前記第１データを生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１取得手段は、前記第１画像の解像度と前記第２画像の解像度とが同じになるように、前記第２画像の解像度を変換し、解像度が変換された前記第２画像に対して前記位置合わせ処理を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１取得手段は、前記第２画像の色を補正し、色が補正された前記第２画像の解像度を変換することを特徴とする請求項１３に記載の画像処理装置。
15. 前記第１取得手段は、色を補正するためのテーブルを用いることによって、前記第２画像の色を補正し、
    前記テーブルは、前記第１画像を得るための撮像と同じ撮像条件においてカラーチャートを撮像することによって得られた第３画像の画素値と、前記第２画像を得るための撮像と同じ撮像条件において前記カラーチャートを撮像することによって得られた第４画像の画素値と、に基づいて、生成されたテーブルであることを特徴とする請求項１４に記載の画像処理装置。
16. 高輝度な領域を含む第１画像と、前記第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、前記第１画像におけるフレアを低減するための画像処理装置であって、
    前記第１画像を表す第１画像データと、前記第２画像を表す第２画像データと、を取得する取得手段と、
    前記第１画像データと前記第２画像データとに基づいて、前記第１画像におけるフレアの分布を表すデータを出力する出力手段と、を有し、
    前記第１画像におけるフレアの分布は、前記第１画像における前記重複領域以外の領域の、フレアの分布も含むことを特徴とする画像処理装置。
17. 前記フレアはゴーストを含むことを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
18. 高輝度な被写体を撮像範囲に含めて撮像を行う第１モードと、高輝度な被写体を撮像範囲に含めずに撮像を行う第２モードと、のうちどちらかを撮像モードとして設定する第１設定手段と、
    前記第１設定手段によって設定されたモードにおいて撮像が行われた後に、前記第１モードと前記第２モードのうち、前記第１設定手段によって設定されたモードでないモードを撮像モードとして設定する第２設定手段と、
    を有することを特徴とする撮像装置。
19. コンピュータを請求項１乃至請求項１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
20. 高輝度な領域を含む第１画像と、前記第１画像との重複領域を有し、高輝度な領域を含まない第２画像と、を用いて、前記第１画像におけるフレアを低減するための画像処理方法であって、
    前記第１画像における前記重複領域の、フレアの分布を表す第１データを取得する第１取得ステップと、
    前記第１画像における前記高輝度な領域の位置を表す第２データを取得する第２取得ステップと、
    前記第１データと前記第２データとに基づいて、前記第１画像におけるフレアの分布を表す第３データを生成する生成ステップと、
    前記第３データに基づいて、前記第１画像を補正する補正ステップと、
    を有することを特徴とする画像処理方法。
21. 高輝度な被写体を撮像範囲に含めて撮像を行う第１モードと、高輝度な被写体を撮像範囲に含めずに撮像を行う第２モードと、のうちどちらかを撮像モードとして設定する第１設定ステップと、
    前記第１設定ステップにおいて設定されたモードにおいて撮像が行われた後に、前記第１モードと前記第２モードのうち、前記第１設定ステップにおいて設定されたモードでないモードを撮像モードとして設定する第２設定ステップと、
    を有することを特徴とする方法。