JP2019022024A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】フレアが存在する画像に対する補正量を高精度に算出することを課題とする。【解決手段】画像処理装置は、繋ぎ目領域で合成する複数の画像データの評価値を算出し、評価値をもとに補正対象画像データが存在するか否かを判定し、補正対象画像データが存在する場合に、補正対象画像データに他よりも高輝度である領域が１つ又は複数存在するかを判定して、補正対象画像データと基準画像データとの評価値の平均値の比率により繋ぎ目領域の補正量を算出し、繋ぎ目領域の補正量から画像全体の補正量を算出し、算出した補正量をもとに補正対象画像データを補正する。また、画像処理装置は、補正対象画像データに他よりも高輝度である領域が複数存在する場合に、補間基準領域を複数設定し、補正量を算出する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、全方位を撮像可能な３６０度カメラ等、複数のカメラで撮像して画像を結合し、１枚の画像として出力する技術が知られている。ここで、広角レンズや魚眼レンズ等を利用して広範囲を撮像する場合は、撮像の範囲内に太陽や照明等の光源が入りやすい。このため、撮像された画像には、その一部が白くぼやけ、光が滲んだように見えるフレアが発生する場合がある。フレアは、各画像に均一に発生するものではない。また、フレアが発生した画像と、フレアが発生していない画像とでは、輝度の差だけではなく色差も生じる。これらから、複数のカメラで撮像して画像を結合する場合は、結合された画像において繋ぎ目が目立ってしまう場合がある。

そこで、特許文献１（特開２０１５−２２６１４４号公報）では、２眼構成のカメラで撮像された各画像の評価値を算出し、フレアが存在するか否かを判定して、補正マップを用いて、フレアが存在する画像を補正する技術が開示されている。

しかしながら、従来技術は、フレアが存在する画像に対する補正量を高精度に算出することができない場合があるという問題がある。具体的には、従来技術は、一つの補間基準領域を基準として補正量を算出しているため、フレアが発生する原因となる光源が複数存在する場合に、補間基準領域が複数のフレアの間に設定されるので、補正量を高精度に算出することが困難である。

本発明は、上記に鑑みてなされたものであって、フレアが存在する画像に対する補正量を高精度に算出することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、複数の画像データを繋ぎ目領域で合成する画像処理装置であって、複数の前記画像データの評価値を算出する評価値算出部と、算出された前記評価値をもとに、補正対象となる前記画像データを示す補正対象画像データが存在するか否かを判定する画像判定部と、前記補正対象画像データが存在する場合に、該補正対象画像データに、他よりも高輝度である領域が１つ又は複数存在するかを判定する高輝度判定部と、前記補正対象画像データではない前記画像データを基準画像データとして、前記補正対象画像データと、前記基準画像データとの前記評価値の平均値の比率により、前記繋ぎ目領域の補正量を算出し、算出した前記繋ぎ目領域の補正量から画像全体の補正量を算出する補正量算出部と、算出された前記補正量をもとに、前記補正対象画像データを補正する画像補正部と、を有し、前記補正量算出部は、前記繋ぎ目領域以外の領域の補正量を算出する際に、前記補正対象画像データに他よりも高輝度である領域が１つ存在する場合に補間の基準となる補間基準領域を１つ設定し、前記補正対象画像データに他よりも高輝度である領域が複数存在する場合に前記補間基準領域を複数設定し、前記補正量を算出する。

本発明によれば、フレアが存在する画像に対する補正量を高精度に算出することができるという効果を奏する。

図１は、実施の形態に係る撮像装置の概略構成例を示す図である。 図２は、実施の形態に係る撮像装置に含まれる画像処理装置のハードウェア構成例を示すブロック図である。 図３は、実施の形態に係る画像処理装置の機能構成例を示すブロック図である。 図４Ａは、実施の形態に係るフレアが発生している画像データの例を示す図である。 図４Ｂは、実施の形態に係るフレアが発生していない画像データの例を示す図である。 図５Ａは、実施の形態に係る繋ぎ目領域を含む画像データのブロック位置の番号例を示す図である。 図５Ｂは、図５Ａに示したブロック位置の番号と補正量との例を示す図である。 図６は、実施の形態に係る２点間の加重平均によって補正量を算出する例を説明する図である。 図７は、実施の形態に係る４点間の加重平均によって補正量を算出する例を説明する図である。 図８は、実施の形態に係る１つの補間基準領域を利用して補正量を算出する例を説明する図である。 図９は、実施の形態に係る２つの補間基準領域を利用して補正量を算出する例を説明する図である。 図１０は、実施の形態に係る補間基準領域間の補正量の求め方のイメージ例を示す図である。 図１１は、実施の形態に係る補間基準領域間に新たな補間基準領域を設定する例を説明する図である。 図１２は、実施の形態に係る画像処理の流れの例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。

（実施の形態）
図１を用いて、実施の形態に係る撮像装置１の概略構成を説明する。図１は、実施の形態に係る撮像装置１の概略構成例を示す図である。

図１に示すように、撮像装置１は、１８０度以上の画角を有する魚眼レンズ２１と、魚眼レンズ２２とを有する。また、撮像装置１は、魚眼レンズ２１及び魚眼レンズ２２による画像の結像位置に設けられたＣＭＯＳセンサ等の撮像素子２３と、撮像素子２４とを有する。また、撮像装置１は、筐体２５の側面に、射影スイッチ２６を備えている。なお、図１には示されていないが、撮像装置１は、種々の操作ボタンや電源スイッチ、タッチパネル等を備えていても良い。

次に、図２を用いて、実施の形態に係る撮像装置１に含まれる画像処理装置１００のハードウェア構成を説明する。図２は、実施の形態に係る撮像装置１に含まれる画像処理装置１００のハードウェア構成例を示すブロック図である。

図２に示すように、画像処理装置１００は、画像処理ユニット１２と、ＣＰＵ（Central Processing Unit）１３と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ（Random Access Memory）１５と、操作部１６と、外部メモリＩ／Ｆ１７と、ネットワークＩ／Ｆ１８とを有する。上記各部は、バス１１により相互に接続される。例えば、画像処理装置１００は、３６０度カメラ等の全方位カメラによって撮像された各画像データを合成する。なお、本実施の形態では、１８０度を超える画角をもつ２つ以上の魚眼レンズ（例えば、魚眼レンズ２１、魚眼レンズ２２）と、魚眼レンズそれぞれに対応する２つ以上の撮像素子（例えば、撮像素子２３、撮像素子２４）とを備える撮像装置１によって撮像された画像データが、画像処理装置１００に入力される場合を例に挙げる。

画像処理ユニット１２は、撮像素子２３、撮像素子２４によって出力される画像データに対して、それぞれ所定の処理を施した後に、これらの画像データを合成処理する。合成処理された画像データは、ＲＡＭ１５等に記憶され、ＣＰＵ１３により以降の処理に使用される。ＣＰＵ１３は、撮像装置１（画像処理装置１００）の動作を統括的に制御する。例えば、ＣＰＵ１３は、ＲＡＭ１５等を作業領域として、ＲＯＭ１４等に格納されたプログラムを実行することで、撮像装置１（画像処理装置１００）全体の動作を制御する。

操作部１６は、種々の操作ボタンや電源スイッチ、撮影スイッチ、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作ボタンを操作することで、種々の撮影モードや撮影条件等を入力する。外部メモリＩ／Ｆ１７は、外部メモリのインタフェース回路であり、ＳＤカードやフラッシュメモリ等の外部メモリ（外付けメモリ）を接続するために利用される。ネットワークＩ／Ｆ１８は、通信回線とのインタフェース回路である。例えば、通信回線には、ＰＣ（Personal Computer）等が接続される。なお、通信回線は、無線、有線の何れであっても良い。

次に、図３を用いて、実施の形態に係る画像処理装置１００の機能構成を説明する。図３は、実施の形態に係る画像処理装置１００の機能構成例を示すブロック図である。

図３に示すように、画像処理装置１００は、画像入力部１０１と、画像入力部１０２と、評価値算出部１０３と、フレア判定部１０４と、高輝度判定部１０５と、補正量算出部１０６と、画像補正部１０７とを有する。

画像入力部１０１は、画像データを入力する。例えば、画像入力部１０１は、３６０度カメラ等の全方位カメラによって撮像された画像データの一つを入力する。また、画像入力部１０２は、画像データを入力する。例えば、画像入力部１０２は、画像入力部１０１と同様に、３６０度カメラ等の全方位カメラによって撮像された画像データの一つを入力する。画像入力部１０１や画像入力部１０２によって入力される画像データは、合成の対象であって、各画像データに含まれる重複する領域を繋ぎ目領域として、繋ぎ目領域で繋ぎ合わせられる。また、後述するように、各画像データは、フレアが発生している画像データや、フレアが発生していない画像データに対応する。入力される画像データは、１以上の画素で構成された領域に分割されたうえで、以降の処理が施される。

評価値算出部１０３は、画像データの評価値を算出する。より具体的には、評価値算出部１０３は、画像入力部１０１及び画像入力部１０２によって入力された画像データそれぞれの画素値を、１以上の画素を含む領域ごとに算出する。そして、評価値算出部１０３は、領域ごとの画素値をもとに、その平均値や最大値を求める。例えば、画素値は、ＹＣｂＣｒ色空間を採用する場合、Ｙ（輝度）、Ｃｂ（青の色差）、Ｃｒ（赤の色差）の値を含むことができる。画像データを分割する領域のサイズは、入力された画像データのサイズに応じて変更しても良い。これにより、入力された画像データのサイズに柔軟に対応することができる。また、各画像データの繋ぎ目領域は、使用されるレンズが異なることを要因の一つとして、画像データ間でその位置が異なる場合がある。このため、評価値算出部１０３は、繋ぎ目領域の位置が異なる画像データ間で、画素単位にずらして繋ぎ目領域の位置を合わせたうえで、評価値を算出する。

フレア判定部１０４は、フレアが発生している画像データが存在するか否かを判定する。より具体的には、フレア判定部１０４は、評価値算出部１０３によって算出された各画像データの評価値の平均値の差分が所定閾値以上である場合に、輝度値の差が大きいことから、フレアが発生している画像データであると判定する。一方、フレア判定部１０４は、評価値算出部１０３によって算出された各画像データの評価値の平均値の差分が所定閾値未満である場合に、輝度値の差が小さいことから、フレアが発生していない画像データであると判定する。フレアが発生している画像データは、補正対象となる画像データ（補正対象画像データ）である。フレア判定部１０４は、「画像判定部」に対応する。

図４Ａは、実施の形態に係るフレアが発生している画像データの例を示す図である。図４Ｂは、実施の形態に係るフレアが発生していない画像データの例を示す図である。レンズの外側付近に対応する図４Ａの（１）、図４Ｂの（１）が、繋ぎ目領域である。また、繋ぎ目領域の内側に存在する図４Ａの（２）が、フレアが発生している領域である。図４Ａでは、２つのフレアが存在する場合を例に挙げている。

高輝度判定部１０５は、フレアが発生している領域が１つ又は複数存在するかを判定する。より具体的には、高輝度判定部１０５は、フレア判定部１０４によってフレアが発生している画像データ（補正対象画像データ）が存在すると判定された場合に、該補正対象画像データに、他よりも高輝度である領域（フレアが発生している領域）が１つ又は複数存在するかを判定する。例えば、高輝度判定部１０５は、所定の輝度値よりも大きい領域が存在する数によって、フレアが発生している領域が１つ又は複数存在するかを判定する。

補正量算出部１０６は、繋ぎ目領域の補正量や画像全体の補正量を算出する。より具体的には、補正量算出部１０６は、フレアが発生している画像データである補正対象画像データに対し、補正対象画像データではない画像データを基準画像データとして、補正対象画像データと、基準画像データとの評価値の平均値の比率により、繋ぎ目領域の補正量を算出する。そして、補正量算出部１０６は、算出した繋ぎ目領域の補正量から、画像全体の補正量を算出する。ここで、補正量算出部１０６は、繋ぎ目領域以外の領域の補正量を算出する際に、高輝度判定部１０５の判定において、高輝度である領域が１つ存在する場合に、補間の基準となる補間基準領域を１つ設定して、補正量を算出する。また、補正量算出部１０６は、高輝度判定部１０５の判定において、高輝度である領域が複数存在する場合に、補間基準領域を複数設定して、補正量を算出する。

補正量の算出では、補正マップ、補正除外マップを使用することができる。補正マップは、フレアが発生している画像データを補正するための補正値をマップしたものである。補正除外マップは、フレアが発生している画像データの補正において、補正を除外する領域を指定したものである。補正マップの作成、補正除外マップの作成、また、補正マップの修正については、特許文献１（特開２０１５−２２６１４４号公報）と同様である。具体的には、補正量算出部１０６は、フレアが発生している補正対象画像データの高輝度である領域を補正除外とするために、補正除外マップを作成する。そして、補正量算出部１０６は、繋ぎ目領域と、繋ぎ目領域以外の補正量を適用した補正マップを作成する。その後、補正量算出部１０６は、作成した補正マップを、先に作成した補正除外マップを適用して、補正マップを修正する。

また、補正量算出部１０６は、領域ごとの補正マップから、実画像サイズの補正量に展開するリサイズ処理を実行する。つまり、補正量算出部１０６は、１画素単位に補正量を算出して実画像サイズの補正量に展開する。また、補正量算出部１０６によって算出された補正量は、画像全体の輝度値に応じて設定された上限値と下限値との範囲内とする。例えば、明るい環境で撮像された画像データに対しては、上限値をより小さく設定することができる。同様に、暗い環境で撮像された画像データに対しては、下限値をより大きく設定することができる。以下に、補正量の算出例を説明する。

特許文献１では、補間基準領域を１つ設定した場合の補正量の算出について開示されている（例えば、図２３−図２５等）。具体的には、高輝度である領域が１つの場合の高輝度の重心線は、高輝度と判定された領域の位置平均で求めることができる。この重心線を補間基準領域に設定すれば良い。但し、高輝度である領域が複数存在する場合には、１つの補間基準領域を設定すると、重心がずれてしまい、高精度に補正量を算出することが困難である。これらから、本実施の形態では、フレアが発生している原因となる高輝度の領域が１つであるのか、複数であるのかを判定し、複数である場合には、補間基準領域を複数設定したうえで補正量を算出する。なお、高輝度の領域が１つである場合には、特許文献１と同様に補正量を算出すれば良い。

図５Ａ及び図５Ｂを用いて、実施の形態に係る各領域の補正量について説明する。図５Ａは、実施の形態に係る繋ぎ目領域を含む画像データのブロック位置の番号例を示す図である。図５Ｂは、図５Ａに示したブロック位置の番号と補正量との例を示す図である。また、表１に、ブロック位置の番号と補正量とを具体的に例示する。

図５Ａに示すように、番号「０」から「３１」までのブロック位置で繋ぎ目領域が形成された画像データを例に挙げる。また、図５Ａに示す画像データには、繋ぎ目領域内の２つの領域でフレアが発生していることがわかる。図５Ｂは、輝度の平均値より求めた補正量とブロック位置との関係をグラフに表したものである。図５Ｂ及び表１に示すように、繋ぎ目領域の連続する補正量のうち、ブロック位置の番号「３」と「１９」との補正量が最小のピーク値となっている。これらのブロック位置のように、補正量の最小のピーク値となるのは、フレアの発生が原因である。すなわち、フレアの発生によって、基準画像データと補正対象画像データとの補正量のずれ量が、フレア発生の原因となる光源に近いほど大きくなるためである。これらから、ブロック位置の番号「３」と「１９」とに高輝度の箇所が存在することが分かる。

図６〜図９を用いて、実施の形態に係る補正量を算出する方法を説明する。

図６は、実施の形態に係る２点間の加重平均によって補正量を算出する例を説明する図である。図６に示すように、算出対象の領域Ｈ１０の補正量を「ｒ_ｔ」とする場合、その補正量は、（数１）のように、領域Ｈ８と領域Ｈ１４との２点間の補正量（「ｒ_ｃ」及び「ｒ_ｏ」）の加重平均により求めることができる。なお、領域Ｈ８と領域Ｈ１０との距離は「ｄ_１」であり、領域Ｈ１０と領域Ｈ１４との距離は「ｄ_２」である。

図７は、実施の形態に係る４点間の加重平均によって補正量を算出する例を説明する図である。図７に示すように、算出対象の領域Ｆ１０の補正量を「ｒ_ｔ」とする場合、その補正量は、（数２）のように、領域Ｆ８及び領域Ｆ１３と、領域Ｃ１０及び領域Ｈ１０との４点間の補正量（「ｒ_ｈ」及び「ｒ_ｏ１」と、「ｒ_ｏ２」及び「ｒ_ｖ」）の加重平均により求めることができる。なお、領域Ｆ８と領域Ｆ１０との距離は「ｄ_ｖ１」であり、領域Ｆ１０と領域Ｆ１３との距離は「ｄ_ｖ２」である。また、領域Ｃ１０と領域Ｆ１０との距離は「ｄ_ｈ２」であり、領域Ｆ１０と領域Ｈ１０との距離は「ｄ_ｈ１」である。

図８は、実施の形態に係る１つの補間基準領域を利用して補正量を算出する例を説明する図である。図８では、領域Ｊ５にフレアが発生しており、補間基準領域をＪ列とする場合を例に挙げる。補間基準領域に対しては、補正が施されない値が格納される。すなわち、補間基準領域に対する補正量は「１」となる。算出対象の領域Ｇ３の補正量を「ｒ_ｔ１」とする場合、その補正量は、（数３）により求めることができる。また、算出対象の領域Ｇ４の補正量を「ｒ_ｔ２」とする場合、その補正量は、（数４）により求めることができる。すなわち、繋ぎ目領域内の補正量は、画像データの最上部から順に求めれば良い。

具体的には、まず、領域Ｇ３、領域Ｈ３、領域Ｉ３の順に、補正量が算出される。次に、垂直下方向（図８に示す画像データの下方向）に１段下がり、領域Ｅ４、領域Ｆ４、領域Ｇ４、領域Ｈ４、領域Ｉ４、領域Ｋ４の順に、補正量が算出される。例えば、（数４）より、領域Ｇ４の補正量「ｒ_ｔ２」は、垂直上方向（図８に示す画像データの上方向）の１段前の領域Ｇ３の補正量「ｒ_ｔ１」と、繋ぎ目領域Ｄ４の補正量「ｒ_２９」と、補間基準領域Ｊ４の補正量「１」とをもとに、加重平均による重み付け係数「ｄ_３」、「ｄ_４」を用いて算出される。

図９は、実施の形態に係る２つの補間基準領域を利用して補正量を算出する例を説明する図である。図９では、補間基準領域をＦ列、Ｊ列とする場合を例に挙げる。補間基準領域に対しては、補正が施されない値が格納される。すなわち、補間基準領域に対する補正量は「１」となる。算出対象の領域Ｇ５の補正量を「ｒ_ｔ３」とする場合、その補正量は、（数５）により求めることができる。

具体的には、まず、領域Ｇ３、領域Ｈ３、領域Ｉ３の順に、補正量が算出される。次に、垂直下方向（図９に示す画像データの下方向）に１段下がり、領域Ｅ４、領域Ｇ４、領域Ｈ４、領域Ｉ４、領域Ｋ４の順に、補正量が算出される。続いて、垂直下方向に１段下がり、領域Ｄ５、領域Ｅ５、領域Ｇ５、領域Ｈ５、領域Ｉ５、領域Ｋ５、領域Ｌ５の順に、補正量が算出される。ここで、繋ぎ目領域と補間基準領域との間の補正量（領域Ｅ４、領域Ｋ４、領域Ｄ５、領域Ｅ５、領域Ｋ５、領域Ｌ５）は、補間基準領域を１つ設定した場合（図８参照）と同様の方法で算出することができる。これに対し、補間基準領域間の補正量は、（数５）により求めることができる。例えば、（数５）により、領域Ｇ５の補正量「ｒ_ｔ３」は、垂直上方向（図９に示す画像データの上方向）の１段前の領域Ｇ４の補正量「ｒ_ｔ２」と、補間基準領域Ｆ５の補正量「１」と、補間基準領域Ｊ５の補正量「１」とをもとに、加重平均による重み付け係数「ｄ_５」、「ｄ_６」を用いて算出される。（数５）によれば、補間基準領域に挟まれた領域の補正量は、「１」に近づく。図１０は、実施の形態に係る補間基準領域間の補正量の求め方のイメージ例を示す図である。図１０に示すように、補間基準領域を画像データの垂直方向（図１０に示す画像データの上下方向）に設定する場合は、画像データの垂直下方向（図１に示した撮像装置１でユーザが操作する手元の方向）に向かって補間がなされるイメージとなる。

画像補正部１０７は、補正対象画像データを補正する。より具体的には、画像補正部１０７は、補正量算出部１０６によって算出された補正量をもとに、フレアが発生した補正対象画像データを補正する。画像補正部１０７による補正対象画像データの補正後は基準画像データの輝度や色に近づくので、合成後の画像データにおいて、輝度の差や色差を低減することができる。

なお、本実施の形態では、上述した補間基準領域の設定とは異なる方法で補正量を算出することもできる。例えば、図９に示した２つの補間基準領域間に、新たな補間基準領域を設定し、補正量を算出するようにしても良い。

図１１は、実施の形態に係る補間基準領域間に新たな補間基準領域を設定する例を説明する図である。図１１では、図９で説明した方法と同様に、補間基準領域をＦ列、Ｊ列とする場合を例に挙げる。これらに加え、補正量算出部１０６は、繋ぎ目領域と、複数の補間基準領域とに囲まれた任意の位置に、新たな補間基準領域を設定する。また、新たな補間基準領域の位置は、補正量の算出対象となる領域に重ならないように設定される。図１１では、領域Ｇ７、領域Ｈ７、領域Ｉ７、領域Ｇ８、領域Ｈ８、領域Ｉ８を、新たな補間基準領域とする場合を例に挙げる。なお、補間基準領域、新たな補間基準領域に対しては、補正が施されない値が格納される。すなわち、補間基準領域、新たな補間基準領域に対する補正量は「１」となる。算出対象の領域Ｇ６の補正量を「ｒ_ｔ４」とする場合、その補正量は、（数６）により求めることができる。また、算出対象の領域Ｈ１１の補正量を「ｒ_ｔ５」とする場合、その補正量は、（数７）により求めることができる。これらは、上述した（数４）の「ｒ_ｔ１」を「０」に置き換えたことと同じことであり、新たにリソースを要しないで補正量を算出することができる。

例えば、（数６）により、領域Ｇ６の補正量「ｒ_ｔ４」は、垂直上方向（図１１に示す画像データの上方向）の繋ぎ目領域Ｇ２の補正量「ｒ_ｏ」と、新たな補間基準領域の補正量「１」とをもとに、加重平均による重み付け係数「ｄ_ｈ３」、「ｄ_ｈ４」を用いて算出される。また、例えば、（数７）により、領域Ｈ１１の補正量「ｒ_ｔ５」は、垂直下方向（図１１に示す画像データの下方向）の繋ぎ目領域Ｈ１４の補正量「ｒ_１７」と、新たな補間基準領域の補正量「１」とをもとに、加重平均による重み付け係数「ｄ_ｈ５」、「ｈ_ｄ６」を用いて算出される。

垂直上方向又は垂直下方向の繋ぎ目領域の補正量の何れを利用するかについては、新たな補間基準領域に対する、補正量の算出対象である領域の方向によって決定すれば良い。すなわち、新たな補間基準領域に対する、補正量の算出対象である領域の方向が、上方向であれば、垂直上方向の繋ぎ目領域の補正量が利用される。同様に、新たな補間基準領域に対する、補正量の算出対象である領域の方向が、下方向であれば、垂直下方向の繋ぎ目領域の補正量が利用される。

次に、図１２を用いて、実施の形態に係る画像処理の流れを説明する。図１２は、実施の形態に係る画像処理の流れの例を示すフローチャートである。

図１２に示すように、画像処理装置１００は、入力された画像データそれぞれの画素値を領域ごとに算出し、その平均値や最大値を求める（ステップＳ１０１）。そして、画像処理装置１００は、算出した評価値をもとに、フレアが発生している画像データが存在するか否かを判定する（ステップＳ１０２）。このとき、画像処理装置１００は、フレアが発生している画像データが存在する場合に（ステップＳ１０２：Ｙｅｓ）、フレアが発生している画像データの補正において補正を除外する領域を指定した補正除外マップを作成する（ステップＳ１０３）。一方、画像処理装置１００は、フレアが発生している画像データが存在しない場合に（ステップＳ１０２：Ｎｏ）、補正対象となる画像データが存在しないため、処理を終了する。

続いて、画像処理装置１００は、フレアが発生している画像データについて、フレアが発生している領域（高輝度の領域）が１つ又は複数存在するかを判定する（ステップＳ１０４）。このとき、画像処理装置１００は、フレアが発生している領域が１つである場合に（ステップＳ１０４：Ｙｅｓ）、高輝度の領域の位置平均より１つの補間基準領域を算出する（ステップＳ１０５）。一方、画像処理装置１００は、フレアが発生している領域が複数存在する場合に（ステップＳ１０４：Ｎｏ）、繋ぎ目領域のピーク値より複数の補間基準領域を算出する（ステップＳ１０６）。

その後、画像処理装置１００は、補間基準領域や繋ぎ目領域の補正量をもとに、算出対象の領域の補正量を算出し、補正マップを作成する（ステップＳ１０７）。そして、画像処理装置１００は、作成した補正除外マップを補正マップに適用し、補正マップを修正する（ステップＳ１０８）。続いて、画像処理装置１００は、補正マップから、実画像サイズの補正量に展開するリサイズ処理を実行する（ステップＳ１０９）。その後、画像処理装置１００は、フレアが発生した画像データを補正する（ステップＳ１１０）。

上述したように、画像処理装置１００は、フレアが発生している箇所の数に応じて補間基準領域を設定し、繋ぎ目領域と補間基準領域との補正量から、補正対象画像データの補正量を算出する。この結果、画像処理装置１００は、フレアが存在する画像データに対する補正量を高精度に算出することができる。

また、画像処理装置１００は、繋ぎ目領域と複数の補間基準領域とに囲まれた任意の位置に、新たな補間基準領域を設定し、繋ぎ目領域と新たな補間基準領域との補正量から、補正対象画像データの補正量を算出するので、新たなリソースを要しないで高精度に補正量を算出することができる。また、画像処理装置１００は、入力された画像データのサイズに応じて、画像データを分割する領域のサイズを変更するので、入力された画像データのサイズに柔軟に対応して補正量を算出することができる。また、画像処理装置１００は、入力された画像データを画素単位にずらして繋ぎ目領域の位置を合わせるので、レンズ等の光学系の変更に対応して、繋ぎ目領域の位置が異なる画像データに対しても、高精度の補正量を算出することができる。また、画像処理装置１００は、領域ごとの補正量を、実画像サイズの補正量に展開するリサイズ処理を実行するので、領域間の補正量の違いを軽減することができる。また、画像処理装置１００は、補正量に上限値・下限値を設定するので、撮像された環境によって補正がかかり過ぎてしまうことを抑制することができる。

上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

上記では、撮像装置１が画像処理装置１００を有する場合を例に挙げた。かかる画像処理装置１００は、撮像装置１に含まれていなくても良い。具体的には、画像処理装置１００は、撮像装置１によって撮像された画像データを入力して合成するものであれば、撮像装置１に含まれていなくても良い。例えば、画像処理装置１００は、撮像装置１に接続された画像処理専用の装置であっても良いし、ＰＣ等の情報処理装置であっても良い。また、画像処理装置１００は、撮像装置１によって撮像された画像データが格納された記憶装置等から、該画像データを取得して合成するＰＣ等の情報処理装置であっても良い。また、撮像素子や魚眼レンズを有する「画像処理装置」として実現しても良い。

また、画像処理装置１００で実行される画像処理プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、画像処理装置１００で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、画像処理装置１００で実行される画像処理プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

画像処理装置１００で実行される画像処理プログラムは、上述した各部（評価値算出部１０３、フレア判定部１０４、高輝度判定部１０５、補正量算出部１０６、画像補正部１０７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から画像処理プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、評価値算出部１０３、フレア判定部１０４、高輝度判定部１０５、補正量算出部１０６、画像補正部１０７が主記憶装置上に生成されるようになっている。

１ 撮像装置
２３ 撮像素子
２４ 撮像素子
１００ 画像処理装置
１０１ 画像入力部
１０２ 画像入力部
１０３ 評価値算出部
１０４ フレア判定部
１０５ 高輝度判定部
１０６ 補正量算出部
１０７ 画像補正部

特開２０１５−２２６１４４号公報

Claims (10)

1. 複数の画像データを繋ぎ目領域で合成する画像処理装置であって、
   複数の前記画像データの評価値を算出する評価値算出部と、
   算出された前記評価値をもとに、補正対象となる前記画像データを示す補正対象画像データが存在するか否かを判定する画像判定部と、
   前記補正対象画像データが存在する場合に、該補正対象画像データに、他よりも高輝度である領域が１つ又は複数存在するかを判定する高輝度判定部と、
   前記補正対象画像データではない前記画像データを基準画像データとして、前記補正対象画像データと、前記基準画像データとの前記評価値の平均値の比率により、前記繋ぎ目領域の補正量を算出し、算出した前記繋ぎ目領域の補正量から画像全体の補正量を算出する補正量算出部と、
   算出された前記補正量をもとに、前記補正対象画像データを補正する画像補正部と、を有し、
   前記補正量算出部は、前記繋ぎ目領域以外の領域の補正量を算出する際に、前記補正対象画像データに他よりも高輝度である領域が１つ存在する場合に補間の基準となる補間基準領域を１つ設定し、前記補正対象画像データに他よりも高輝度である領域が複数存在する場合に前記補間基準領域を複数設定し、前記補正量を算出する
   ことを特徴とする画像処理装置。
2. 前記補正量算出部は、前記補正対象画像データに他よりも高輝度である領域が複数存在する場合に、前記繋ぎ目領域と、複数設定される前記補間基準領域とに囲まれた任意の位置に、新たな補間基準領域を設定し、前記補正量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価値算出部は、１以上の画素を含む前記領域に分割された前記画像データの前記評価値を、前記領域ごとに算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像データを分割する前記領域のサイズは、前記画像データのサイズに応じて変更されることを特徴とする請求項３に記載の画像処理装置。
5. 前記評価値算出部は、１以上の画素を含む前記領域に分割された複数の前記画像データ間で、前記画素単位にずらして前記繋ぎ目領域の位置を合わせたうえで、前記評価値を算出することを特徴とする請求項１〜４の何れか一つに記載の画像処理装置。
6. 前記補正量算出部は、１画素単位に前記補正量を算出することを特徴とする請求項１〜５の何れか一つに記載の画像処理装置。
7. 前記補正量算出部は、画像全体の輝度値に応じて設定された上限値と下限値との範囲内で、前記補正量を算出することを特徴とする請求項１〜６の何れか一つに記載の画像処理装置。
8. 複数の撮像素子と、
   複数の前記撮像素子によって撮像された複数の前記画像データを入力する画像入力部と、をさらに有し、
   前記評価値算出部は、入力された複数の前記画像データの評価値を算出することを特徴とする請求項１〜７の何れか一つに記載の画像処理装置。
9. 複数の画像データを繋ぎ目領域で合成する画像処理装置で実行される画像処理方法であって、
   複数の前記画像データの評価値を算出する評価値算出工程と、
   算出された前記評価値をもとに、補正対象となる前記画像データを示す補正対象画像データが存在するか否かを判定する画像判定工程と、
   前記補正対象画像データが存在する場合に、該補正対象画像データに、他よりも高輝度である領域が１つ又は複数存在するかを判定する高輝度判定工程と、
   前記補正対象画像データではない前記画像データを基準画像データとして、前記補正対象画像データと、前記基準画像データとの前記評価値の平均値の比率により、前記繋ぎ目領域の補正量を算出し、算出した前記繋ぎ目領域の補正量から画像全体の補正量を算出する補正量算出工程と、
   算出された前記補正量をもとに、前記補正対象画像データを補正する画像補正工程と、を含み、
   前記補正量算出工程は、前記繋ぎ目領域以外の領域の補正量を算出する際に、前記補正対象画像データに他よりも高輝度である領域が１つ存在する場合に補間の基準となる補間基準領域を１つ設定し、前記補正対象画像データに他よりも高輝度である領域が複数存在する場合に前記補間基準領域を複数設定し、前記補正量を算出する
   ことを特徴とする画像処理方法。
10. 複数の画像データを繋ぎ目領域で合成する画像処理装置に接続されたコンピュータに、
    複数の前記画像データの評価値を算出する評価値算出ステップと、
    算出された前記評価値をもとに、補正対象となる前記画像データを示す補正対象画像データが存在するか否かを判定する画像判定ステップと、
    前記補正対象画像データが存在する場合に、該補正対象画像データに、他よりも高輝度である領域が１つ又は複数存在するかを判定する高輝度判定ステップと、
    前記補正対象画像データではない前記画像データを基準画像データとして、前記補正対象画像データと、前記基準画像データとの前記評価値の平均値の比率により、前記繋ぎ目領域の補正量を算出し、算出した前記繋ぎ目領域の補正量から画像全体の補正量を算出する補正量算出ステップと、
    算出された前記補正量をもとに、前記補正対象画像データを補正する画像補正ステップと、を実行させ、
    前記補正量算出ステップは、前記繋ぎ目領域以外の領域の補正量を算出する際に、前記補正対象画像データに他よりも高輝度である領域が１つ存在する場合に補間の基準となる補間基準領域を１つ設定し、前記補正対象画像データに他よりも高輝度である領域が複数存在する場合に前記補間基準領域を複数設定し、前記補正量を算出する
    画像処理プログラム。

Images