JP2015226158A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】特性起因色ずれ量や個体差起因色ずれ量を精度良く検出することができるようにするものである。
【解決手段】検出部は、撮像画像から検出される色ずれ量、撮像画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および撮像画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力された撮像画像から特性起因色ずれ量と個体差起因色ずれ量を検出する。本開示は、例えば、画像処理装置等に適用することができる。
【選択図】図１

Description

本開示は、画像処理装置および画像処理方法に関し、特に、特性起因色ずれ量や個体差起因色ずれ量を精度良く検出することができるようにした画像処理装置および画像処理方法に関する。

撮像画像では、色の波長によって結像する像の大きさ(倍率)が異なるため、倍率色収差が発生する。近年、倍率色収差が発生している画像の倍率色収差の影響を除去するための補正の補正量を、画像の撮影に用いたレンズの情報などを用いたり、事前にキャリブレーションなどを行ったりせずに、画像のみを用いて算出する技術が考案されている。

このような技術としては、例えば、画像から、撮影に用いたレンズの特性に起因する、画像の中心に対して対称に発生する色ずれ(以下、対称色ずれという)を検出する技術がある(例えば、特許文献１参照)。特許文献１に記載されている技術では、画像中の複数箇所においてローカルな対称色ずれ量を検波し、検波した色ずれ量を集計することにより、画像全体における対称色ずれ量を検出する検出処理が行われる。

しかしながら、特許文献１に記載されている技術では、レンズの取り付け誤差などのレンズの個体差に起因する色ずれは考慮されておらず、レンズの個体差によって倍率色収差の点対称性が崩れた収差が発生している場合に、精度良く補正することができない。

一方、画像から、対称色ずれと、レンズの個体差に起因する画像内で一様に発生する色ずれ（以下、均一色ずれという）の両方を検出する技術もある(例えば、特許文献２参照)。特許文献２に記載されている技術では、対称色ずれ量と均一色ずれ量の検出処理が独立して行われる。

対称色ずれ量の検出処理は、特許文献１に記載されている検出処理と同様である。また、均一色ずれ量の検出処理は、画像内の対称色ずれが生じていない領域においてローカルな均一色ずれ量を検波し、検波したローカルな均一色ずれ量の平均値を画像全体における均一色ずれ量として検出する処理である。

画像内の対称色ずれが生じていない領域とは、画像の中心を通過する水平方向および垂直方向の直線上の領域である。従って、対称色ずれが生じていない領域において、必ずしも輝度変化が大きいエッジが存在するとは限らず、エッジが存在しない場合には均一色ずれ量を検波することができない。

また、画像内の対称色ずれが生じていない領域を、画像の中心を通過する水平方向および垂直方向の直線を含む所定の範囲の領域に拡大して均一色ずれ量を検波することも考えられる。しかしながら、実際には、画像の中心を通過する水平方向および垂直方向の直線上の領域以外の領域には、対称色ずれが発生している。即ち、検波される均一色ずれ量には、実際の均一色ずれ量と対称色ずれ量の外積がオフセットとして含まれている。従って、精度良く均一色ずれ量を検出することはできない。

さらに、検波される対称色ずれ量には、均一色ずれ量が含まれており、精度良く対称色ずれ量を検出することはできない。

特開2010-219683号公報 特開2012-015781号公報

以上のように、画像から、対称色ずれ量などの画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量と、均一色ずれ量などの画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量とを独立して検出する場合、検出精度が低くなる。

本開示は、このような状況に鑑みてなされたものであり、特性起因色ずれ量や個体差起因色ずれ量を精度良く検出することができるようにするものである。

本開示の一側面の画像処理装置は、画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する検出部を備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量が検出される。

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の一側面によれば、画像を処理することができる。また、本開示の一側面によれば、特性起因色ずれ量や個体差起因色ずれ量を精度良く検出することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 撮像画像の各位置の対称色ずれ量をベクトルで表す図である。 撮像画像の各位置の均一色ずれ量をベクトルで表す図である。 撮像画像の各位置で発生する色ずれ量をベクトルで表す図である。 図１の対称色ずれ量検出部３１における検波方向の例を示す図である。 図１の均一色ずれ量検出部３４における検波方向の例を示す図である。 撮像画像からローカル対称色ずれ量が検出される場合の対称均一関係を説明する図である。 撮像画像からローカル均一色ずれ量が検出される場合の対称均一関係を説明する図である。 図１の画像処理装置１０の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 図１１の画像処理装置９０の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 図１３の画像処理装置１２０の画像処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図９）
２．第２実施の形態：画像処理装置（図１０）
３．第３実施の形態：画像処理装置（図１１および図１２）
４．第４実施の形態：画像処理装置（図１３および図１４）
５．第５実施の形態：コンピュータ（図１５）

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、検出部１１、均一色ずれ量集計部１２、および対称色ずれ量集計部１３により構成される。画像処理装置１０は、入力された撮像画像から、特性起因色ずれ量としての対称色ずれ量と、個体差起因色ずれ量としての均一色ずれ量とを検出する。

具体的には、画像処理装置１０の検出部１１は、対称色ずれ量検出部３１、対称色ずれ量仮集計部３２、均一用オフセット計算部３３、均一色ずれ量検出部３４、均一色ずれ量算出部３５、対称用オフセット計算部３６、および対称色ずれ量算出部３７により構成される。検出部１１は、撮像画像から検出される色ずれ量、撮像画像の対称色ずれ量、および撮像画像の均一色ずれ量の関係（以下、対称均一関係という）にしたがって、入力画像から対称色ずれ量と均一色ずれ量を検出する。

即ち、検出部１１の対称色ずれ量検出部３１（特性起因色ずれ量算出部）は、外部から入力される撮像画像の所定の検波方向に直交するエッジの領域（第２の領域/第１の領域）でブロックマッチングを行うことにより色ずれ量を検出する。対称色ずれ量検出部３１は、検出された色ずれ量をローカル対称色ずれ量として、対称色ずれ量仮集計部３２と対称色ずれ量算出部３７に供給する。

対称色ずれ量仮集計部３２は、検出されたローカル対称色ずれ量に均一色ずれ量が含まれていないと仮定し、撮像画像の中心から検出位置までの距離ごとに、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量の平均値を算出する。対称色ずれ量仮集計部３２は、算出された平均値を画像全体における対称色ずれ量（の仮の値）として、均一用オフセット計算部３３に供給する。

均一用オフセット計算部３３は、対称色ずれ量仮集計部３２または対称色ずれ量集計部１３から供給される対称色ずれ量を用いて、対称均一関係にしたがって、均一用オフセット（個体差用オフセット）を算出する。均一用オフセットとは、均一色ずれ量検出部３４により検出されるローカル均一色ずれ量に含まれる対称色ずれ量である。均一用オフセット計算部３３は、均一用オフセットを均一色ずれ量算出部３５に供給する。

均一色ずれ量検出部３４（個体差起因色ずれ量検出部）は、外部から入力される撮像画像の所定の検波方向に直交するエッジの領域（第１の領域/第２の領域）でブロックマッチングを行うことにより色ずれ量を検出し、ローカル均一色ずれ量として均一色ずれ量算出部３５に供給する。

均一色ずれ量算出部３５（個体差起因色ずれ量算出部）は、均一色ずれ量検出部３４から供給されるローカル均一色ずれ量から、均一用オフセット計算部３３から供給される均一用オフセットを削除することにより、ローカル均一色ずれ量を算出または更新する。均一色ずれ量算出部３５は、算出または更新されたローカル均一色ずれ量を均一色ずれ量集計部１２に供給する。

対称用オフセット計算部３６は、均一色ずれ量集計部１２から供給される均一色ずれ量を用いて、対称均一関係にしたがって、対称用オフセット（特性用オフセット）を算出する。対称用オフセットとは、対称色ずれ量検出部３１により検出されるローカル対称色ずれ量に含まれる均一色ずれ量である。対称用オフセット計算部３６は、対称用オフセットを対称色ずれ量算出部３７に供給する。

対称色ずれ量算出部３７（特性起因色ずれ量算出部）は、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量から、対称用オフセット計算部３６から供給される対称用オフセットを削除することにより、ローカル対称色ずれ量を補正する。対称色ずれ量算出部３７は、補正後のローカル対称色ずれ量を対称色ずれ量集計部１３に供給する。

均一色ずれ量集計部１２は、均一色ずれ量算出部３５から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量として求める。均一色ずれ量集計部１２は、均一色ずれ量を対称用オフセット計算部３６に供給する。また、均一色ずれ量集計部１２は、求められた均一色ずれ量と対称色ずれ量が収束した場合、その均一色ずれ量を最終的な均一色ずれ量として出力する。

対称色ずれ量集計部１３は、撮像画像の中心から検出位置までの距離ごとに、対称色ずれ量算出部３７から供給されるローカル対称色ずれ量の平均値を算出し、これを画像全体における対称色ずれ量とする。対称色ずれ量集計部１３は、求められた均一色ずれ量と対称色ずれ量が収束した場合、その対称色ずれ量を最終的な対称色ずれ量として出力する。

一方、求められた均一色ずれ量と対称色ずれ量が収束していない場合、対称色ずれ量集計部１３は、その対称色ずれ量を均一用オフセット計算部３３に供給する。これにより、その対称色ずれ量を用いて、均一色ずれ量と対称色ずれ量が更新される。

（対称色ずれ量の説明）
図２は、撮像画像の各位置の対称色ずれ量をベクトルで表す図である。

図２に示すように、対称色ずれ量とは、撮像画像の中心に対して対称に発生する色ずれ量である。

（均一色ずれ量の説明）
図３は、撮像画像の各位置の均一色ずれ量をベクトルで表す図である。

図３に示すように、均一色ずれ量とは、撮像画像全体に一様に発生する色ずれ量である。

（撮像画像の色ずれ量の説明）
図４は、撮像画像の各位置で発生する色ずれ量をベクトルで表す図である。

図４に示すように、撮像画像の各位置では、対称色ずれと均一色ずれの両方が発生しており、撮像画像の各位置の色ずれ量は点対称ではない。即ち、撮像画像から検出される色ずれ量は、対称色ずれ量と均一色ずれ量の両方を含むものである。

（対称色ずれ量検出部における検波方向の例）
図５は、図１の対称色ずれ量検出部３１における検波方向の例を示す図である。

図５に示すように、対称色ずれ量検出部３１は、例えば、撮像画像を８つの領域に分割し、分割された各領域において、図中矢印で示す像高方向を検波方向に設定する。対称色ずれ量検出部３１は、設定された検波方向に直交するエッジの領域を撮像画像から検出し、その領域でブロックマッチング（検波）を行うことにより、ローカル対称色ずれ量を検出する。

（均一色ずれ量検出部における検波方向の例）
図６は、図１の均一色ずれ量検出部３４における検波方向の例を示す図である。

図６に示すように、均一色ずれ量検出部３４は、例えば、撮像画像を８つの領域に分割し、分割された８つの領域のうちの４つの領域において、図中矢印で示す像高方向と直交する方向を検波方向に設定する。均一色ずれ量検出部３４は、設定された検波方向に直交するエッジの領域を撮像画像から検出し、その領域でブロックマッチング（検波）を行うことにより、ローカル均一色ずれ量を検出する。

（対称均一関係の説明）
図７は、撮像画像からローカル対称色ずれ量が検出される場合の対称均一関係を説明する図である。

なお、図７において、横軸は撮像画像の中心を通過する水平方向の直線であり、縦軸は撮像画像の中心を通過する垂直方向の直線である。このことは、後述する図８においても同様である。

また、細い点線の矢印は、対称色ずれ量を表すベクトルであり、細い一点鎖線の矢印は、均一色ずれ量を表すベクトルであり、細い実線の矢印は、対称色ずれ量検出部３１により検出されるローカル対称色ずれ量を表すベクトルである。さらに、太い実線の矢印は、実際の色ずれ量を表すベクトルであり、太い点線の矢印は、対象用オフセットを表すベクトルである。

図７に示すように、対称色ずれ量検出部３１で検出されるローカル対称色ずれ量には、実際の対称色ずれ量に加えて、均一色ずれ量を検波方向に射影したものが、対象用オフセットとして含まれている。従って、図７に示すように、撮像画像の中心からの距離が同一である、即ち像高が同一である場合であっても、対称色ずれ量検出部３１で検出されるローカル対称色ずれ量は異なる。

対称用オフセットは、以下の式（１）で定義される。

式（１）において、uniform_offset_αは、対称色ずれ量検出部３１により設定された検波方向と水平方向のなす角がαであるときの対称用オフセットであり、ベクトルｕは、均一色ずれ量を表すベクトルである。また、θは、均一色ずれ量を表すベクトルと水平方向のなす角である。

従って、例えば、αが-45度の位置における対称用オフセットは、ベクトルｕを（ｕ_ｘ，ｕ_ｙ）として、以下の式（２）により計算することができる。

（対称均一関係の説明）
図８は、撮像画像からローカル均一色ずれ量が検出される場合の対称均一関係を説明する図である。

なお、図８において、細い点線の矢印は、対称色ずれ量を表すベクトルであり、細い一点鎖線の矢印は、均一色ずれ量を表すベクトルであり、細い実線の矢印は、均一色ずれ量検出部３４により検出されるローカル均一色ずれ量を表すベクトルである。また、太い実線の矢印は、実際の色ずれ量を表すベクトルであり、太い点線は、均一用オフセットを表すベクトルである。

図８に示すように、均一色ずれ量を表すベクトルｕを（ｕ_ｘ，ｕ_ｙ）とすると、ｕ_ｘは、均一色ずれ量検出部３４により撮像画像の中心を通過する垂直方向の直線上で検出される水平方向に発生しているローカル均一色ずれ量と等価である。また、ｕ_ｙは、均一色ずれ量検出部３４により撮像画像の中心を通過する水平方向の直線上で検出される垂直方向に発生しているローカル均一色ずれ量と等価である。

しかしながら、均一色ずれ量検出部３４により撮像画像の中心を通過する垂直方向および水平方向の直線上以外の位置において検出されるローカル均一色ずれ量には、実際の均一色ずれ量に加えて、対称色ずれ量を検波方向に射影したものが、均一用オフセットとして含まれている。

均一用オフセットは、以下の式（３）で定義される。

式（３）において、symmetric_offset_αは、対称色ずれ量を表すベクトルと水平方向のなす角がαであるときの均一用オフセットであり、ベクトルs(p)は、均一色ずれ量検出部３４においてローカル均一色ずれ量が検出された位置ｐにおける対称色ずれ量を表すベクトルである。

従って、例えば、αが-20度の位置における均一用オフセットは、以下の式（４）により計算することができる。

（画像処理装置の処理の説明）
図９は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に撮像画像が入力されたとき、開始される。

図９のステップＳ１１において、画像処理装置１０の対称色ずれ量検出部３１は、入力された撮像画像の所定の検波方向（図５）に直交するエッジの領域でブロックマッチングを行うことにより、ローカル対称色ずれ量を検出する。対称色ずれ量検出部３１は、検出されたローカル対称色ずれ量を、対称色ずれ量仮集計部３２と対称色ずれ量算出部３７に供給する。

ステップＳ１２において、均一色ずれ量検出部３４は、入力された撮像画像の所定の検波方向（図６）に直交するエッジの領域でブロックマッチングを行うことにより、ローカル均一色ずれ量を検出する。均一色ずれ量検出部３４は、検出されたローカル均一色ずれ量を均一色ずれ量算出部３５に供給する。

ステップＳ１３において、対称色ずれ量仮集計部３２は、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量の平均値を、撮像画像の中心から検出位置までの距離ごとに算出し、画像全体における対称色ずれ量（の仮の値）を決定する。対称色ずれ量仮集計部３２は、決定された対称色ずれ量（の仮の値）を均一用オフセット計算部３３に供給する。

ステップＳ１４において、均一用オフセット計算部３３は、対称色ずれ量仮集計部３２または対称色ずれ量集計部１３から供給される対称色ずれ量を用いて、上述した式（３）により、均一用オフセットを算出する。均一用オフセット計算部３３は、均一用オフセットを均一色ずれ量算出部３５に供給する。

ステップＳ１５において、均一色ずれ量算出部３５は、均一色ずれ量検出部３４から供給されるローカル均一色ずれ量から、均一用オフセット計算部３３から供給される均一用オフセットを削除することにより、ローカル均一色ずれ量を算出する。均一色ずれ量算出部３５は、算出されたローカル均一色ずれ量を均一色ずれ量集計部１２に供給する。

ステップＳ１６において、均一色ずれ量集計部１２は、均一色ずれ量算出部３５から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量として求め、対称用オフセット計算部３６に供給する。

ステップＳ１７において、対称用オフセット計算部３６は、均一色ずれ量集計部１２から供給される均一色ずれ量を用いて、上述した式（１）により対称用オフセットを算出する。対称用オフセット計算部３６は、対称用オフセットを対称色ずれ量算出部３７に供給する。

ステップＳ１８において、対称色ずれ量算出部３７は、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量から、対称用オフセット計算部３６から供給される対称用オフセットを削除することにより、ローカル対称色ずれ量を補正し、対称色ずれ量集計部１３に供給する。

ステップＳ１９において、対称色ずれ量集計部１３は、対称色ずれ量算出部３７から供給されるローカル対称色ずれ量の平均値を、撮像画像の中心から検出位置までの距離ごとに算出し、画像全体における対称色ずれ量を求める。

ステップＳ２０において、画像処理装置１０は、対称色ずれ量と均一色ずれ量が収束したかどうかを判定する。例えば、画像処理装置１０は、前回と今回のステップＳ１６で求められた均一色ずれ量の差分が閾値より小さく、かつ、前回と今回のステップＳ１９で求められた対称色ずれ量の差分が閾値より小さい場合、対称色ずれ量と均一色ずれ量が収束したと判定する。

一方、画像処理装置１０は、前回と今回のステップＳ１６で求められた均一色ずれ量の差分が閾値以上であるか、または、前回と今回のステップＳ１９で求められた対称色ずれ量の差分が閾値以上である場合、対称色ずれ量と均一色ずれ量が収束していないと判定する。

ステップＳ２０で対称色ずれ量と均一色ずれ量が収束していないと判定された場合、対称色ずれ量集計部１３は、直前のステップＳ１９で求められた対称色ずれ量を均一用オフセット計算部３３に供給する。そして、処理はステップＳ１４に戻り、対称色ずれ量と均一色ずれ量が収束するまで、ステップＳ１４乃至Ｓ２０の処理が繰り返される。これにより、均一色ずれ量が、直前のステップＳ１９で求められた対称色ずれ量を用いて更新され、対称色ずれ量が、直前のステップＳ１６で求められた均一色ずれ量を用いて更新される。

一方、ステップＳ２０で対称色ずれ量と均一色ずれ量が収束したと判定された場合、処理はステップＳ２１に進む。ステップＳ２１において、均一色ずれ量集計部１２は、直前のステップＳ１６で求められた均一色ずれ量を、最終的な均一色ずれ量として出力する。

ステップＳ２２において、対称色ずれ量集計部１３は、直前のステップＳ１９で求められた対称色ずれ量を、最終的な対称色ずれ量として出力する。そして、処理は終了する。

以上のように、画像処理装置１０は、対称均一関係にしたがって、撮像画像から対称色ずれ量と均一色ずれ量を検出する。従って、撮像画像のみを用いて、撮像画像の対称色ずれ量と均一色ずれ量を精度良く検出することができる。

よって、画像処理装置１０により検出された対称色ずれ量と均一色ずれ量を用いて撮像画像に対して倍率色収差補正を行うことにより、色ずれのない撮像画像を得ることができる。また、レンズ情報を取得できないオールドレンズを用いて撮像された撮像画像であっても、対称色ずれ量と均一色ずれ量を精度良く検出することができる。さらに、撮像画像を撮像する撮像装置の製造工程において、対称色ずれ量と均一色ずれ量を検出するために、撮像装置ごとにキャリブレーションを行う必要がない。

また、画像処理装置１０は、対称色ずれ量と均一色ずれ量が収束するまで、対称色ずれ量と均一色ずれ量を更新するので、対称色ずれ量と均一色ずれ量の検出精度を向上させることができる。

＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図１０は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１０の画像処理装置５０は、検出部５１、対称色ずれ量集計部５２、および均一色ずれ量集計部５３により構成される。画像処理装置５０は、均一色ずれ量の仮の値を用いて対称色ずれ量を算出し、その対称色ずれ量を用いて最終的な均一色ずれ量を算出する。即ち、画像処理装置５０では、均一色ずれ量と対称色ずれ量の算出の順番が、画像処理装置１０の場合と逆になっている。

具体的には、検出部５１は、対称色ずれ量検出部３１、均一色ずれ量検出部３４、均一色ずれ量仮集計部７１、対称用オフセット計算部７２、対称色ずれ量算出部７３、均一用オフセット計算部７４、および均一色ずれ量算出部７５により構成される。

均一色ずれ量仮集計部７１は、均一色ずれ量検出部３４により検出されたローカル均一色ずれ量に対称色ずれ量が含まれていないと仮定し、検出されたローカル均一色ずれ量の平均値を画像全体における均一色ずれ量（の仮の値）に決定する。均一色ずれ量仮集計部７１は、均一色ずれ量（の仮の値）を対称用オフセット計算部７２に供給する。

対称用オフセット計算部７２は、均一色ずれ量仮集計部７１または均一色ずれ量集計部５３から出力される均一色ずれ量を用いて、対称均一関係にしたがって対称用オフセットを算出する。具体的には、対称用オフセット計算部７２は、均一色ずれ量を用いて、上述した式（１）により対称用オフセットを算出する。対称用オフセット計算部７２は、算出された対称用オフセットを対称色ずれ量算出部７３に供給する。

対称色ずれ量算出部７３（特性起因色ずれ量算出部）は、対称色ずれ量検出部３１により検出されたローカル対称色ずれ量から、対称用オフセット計算部７２から供給される対称用オフセットを削除することにより、ローカル対称用色ずれ量を算出または更新する。対称色ずれ量算出部７３は、算出または更新されたローカル対称用色ずれ量を対称色ずれ量集計部５２に供給する。

均一用オフセット計算部７４は、対称色ずれ量集計部５２から供給される対称色ずれ量を用いて、対称均一関係にしたがって均一用オフセットを算出する。具体的には、均一用オフセット計算部７４は、対称色ずれ量を用いて、上述した式（３）により均一用オフセットを算出する。均一用オフセット計算部７４は、算出された均一用オフセットを均一色ずれ量算出部７５に供給する。

均一色ずれ量算出部７５は、均一色ずれ量検出部３４から供給されるローカル均一色ずれ量から、均一用オフセット計算部７４から供給される均一用オフセットを削除することにより、ローカル均一色ずれ量を補正し、均一色ずれ量集計部５３に供給する。

対称色ずれ量集計部５２は、撮像画像の中心から検出位置までの距離ごとに、対称色ずれ量算出部７３から供給されるローカル対称色ずれ量の平均値を算出する。対称色ずれ量集計部５２は、算出された平均値を画像全体における対称色ずれ量として、均一用オフセット計算部７４に供給する。また、対称色ずれ量集計部５２は、求められた均一色ずれ量と対称色ずれ量が収束した場合、その対称色ずれ量を最終的な対称色ずれ量として出力する。

均一色ずれ量集計部５３は、均一色ずれ量算出部７５から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量として求める。均一色ずれ量集計部５３は、求められた均一色ずれ量と対称色ずれ量が収束した場合、その均一色ずれ量を最終的な均一色ずれ量として出力する。一方、求められた均一色ずれ量と対称色ずれ量が収束していない場合、均一色ずれ量集計部５３は、その均一色ずれ量を対称用オフセット計算部７２に供給する。これにより、その均一色ずれ量を用いて、均一色ずれ量と対称色ずれ量が更新される。

図１０の画像処理装置５０の画像処理は、対称色ずれと均一色ずれが逆になる点を除いて図９の画像処理と同様であるので、説明は省略する。

なお、第１および第２実施の形態において、対称色ずれ量と均一色ずれ量の更新は、対称色ずれ量と均一色ずれ量が収束するまで行われるのではなく、予め決められた回数だけ行われるようにしてもよい。

＜第３実施の形態＞
図１１は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の画像処理装置９０は、検出部９１と均一色ずれ量集計部９２により構成される。画像処理装置９０は、対称色ずれ量の仮の値を補正せずに、最終的な対称色ずれ量として出力する。

具体的には、検出部９１の構成は、対称色ずれ量仮集計部３２の代わりに対称色ずれ量集計部１０１が設けられる点、対称用オフセット計算部３６と対称色ずれ量算出部３７が設けられない点を除いて、図１の検出部１１の構成と同一である。

検出部９１の対称色ずれ量集計部１０１は、検出されたローカル対称色ずれ量に均一色ずれ量が含まれていないと仮定し、撮像画像の中心から検出位置までの距離ごとに、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量の平均値を算出する。対称色ずれ量集計部１０１は、算出された平均値を画像全体における対称色ずれ量として、均一用オフセット計算部３３に供給するとともに、最終的な対称色ずれ量として出力する。

均一色ずれ量集計部９２は、均一色ずれ量算出部３５から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量として求める。均一色ずれ量集計部９２は、求められた均一色ずれ量を出力する。

（画像処理装置の処理の説明）
図１２は、図１１の画像処理装置９０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置９０に撮像画像が入力されたとき、開始される。

図１２のステップＳ３１およびＳ３２の処理は、図９のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ３３において、対称色ずれ量集計部１０１は、対称色ずれ量検出部３１から供給されるローカル対称色ずれ量の平均値を、撮像画像の中心から検出位置までの距離ごとに算出し、画像全体における対称色ずれ量を決定する。対称色ずれ量集計部１０１は、決定された対称色ずれ量を均一用オフセット計算部３３に供給する。

ステップＳ３４において、均一用オフセット計算部３３は、対称色ずれ量集計部１０１から供給される対称色ずれ量を用いて、上述した式（３）により、均一用オフセットを算出する。均一用オフセット計算部３３は、均一用オフセットを均一色ずれ量算出部３５に供給する。

ステップＳ３５およびＳ３６の処理は、図９のステップＳ１５およびＳ１６の処理と同様であるので、説明は省略する。

ステップＳ３７において、均一色ずれ量集計部９２は、均一色ずれ量算出部３５から供給される均一色ずれ量を、最終的な均一色ずれ量として出力する。

ステップＳ３８において、対称色ずれ量集計部１０１は、ステップＳ３３で求められた対称色ずれ量を、最終的な対称色ずれ量として出力する。そして、処理は終了する。

以上のように、画像処理装置９０は、対称色ずれ量の仮の値を補正せずに、そのまま最終的な対称色ずれ量として出力するので、処理量が少ない。また、画像処理装置９０は、対称色ずれ量の仮の値を用いて均一用オフセットを算出し、その均一用オフセットをローカル均一色ずれ量から削除することにより均一色ずれ量を求める。従って、均一色ずれ量を精度良く検出することができる。

なお、説明は省略するが、第２実施の形態と第３実施の形態を組み合わせることもできる。この場合、画像処理装置は、均一色ずれ量の仮の値を補正せずに、最終的な均一色ずれ量として出力する。

＜第４実施の形態＞
（画像処理装置の第４実施の形態の構成例）
図１３は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。

図１３の画像処理装置１２０は、検出部１２１と集計部１２２により構成される。画像処理装置１２０は、撮像画像から検出される色ずれ量、撮像画像の対称色ずれ量、撮像画像の均一色ずれ量、および撮像画像の色ずれ量の検波方向(検出方向)の関係を表す対称均一関係モデルに基づいて、撮像画像から検出された色ずれ量から、対称色ずれ量と均一色ずれ量を検出する。

画像処理装置１２０の検出部１２１は、外部から入力される撮像画像の所定の検波方向に直交するエッジの領域でブロックマッチングを行うことにより、撮像画像の色ずれ量を検出する。検出部１２１は、対称均一関係モデルと検波方向に基づいて算出される撮像画像の色ずれ量の検出予測値と、検出された色ずれ量との二乗誤差が最小となるように、対称色ずれ量と均一色ずれ量を検出する。

ここで、対称均一関係モデルについて説明する。まず、撮像画像内の位置p_ｉ=(p_ｘｉ,p_ｙｉ)の撮像画像の中心からの距離ｒ_ｉは、以下の式（５）で表される。

また、位置p_ｉにおいて対称色ずれと均一色ずれによって発生する色ずれ量aberration_ｐｉは、対称色ずれ量s（r_ｉ）と均一色ずれ量u=(u_ｘ,u_ｙ)を用いて、以下の式（６）で定式化することができる。

従って、検波方向を表すベクトルをd_ｉとすると、撮像画像から検出される色ずれ量aberration_model_ｐｉは、以下の式（７）に示すように、位置p_ｉの色ずれ量aberration_ｐｉとベクトルd_ｉの内積になる。

よって、上述した式（７）で表されるモデルが、対称均一関係モデルとして用いられる。検出部１２１は、上述した式（７）に検波方向を表すベクトルを代入し、式（７）の色ずれ量aberration_model_ｐｉと撮像画像から検出された色ずれ量の二乗誤差が最小となるように、ローカル対称色ずれ量s（r_ｉ）とローカル均一色ずれ量uを検出する。検出部１２１は、検出されたローカル対称色ずれ量とローカル均一色ずれ量を集計部１２２に供給する。

集計部１２２は、撮像画像の中心から検出位置までの距離ごとに、検出部１２１から供給されるローカル対称色ずれ量の平均値を算出し、これを画像全体における対称色ずれ量とする。集計部１２２は、対称色ずれ量を出力する。

また、集計部１２２は、検出部１２１から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量として求める。集計部１２２は、均一色ずれ量を出力する。

（画像処理装置の処理の説明）
図１４は、図１３の画像処理装置１２０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１２０に撮像画像が入力されたとき、開始される。

図１４のステップＳ５１において、画像処理装置１２０の検出部１２１は、入力された撮像画像の所定の検波方向に直交するエッジの領域でブロックマッチングを行うことにより、撮像画像の色ずれ量を検出する。

ステップＳ５２において、検出部１２１は、上述した式（７）が表す対称均一関係モデルと検波方向に基づいて算出される撮像画像の色ずれ量の検出予測値と、検出された色ずれ量との二乗誤差が最小となるように、ローカル対称色ずれ量とローカル均一色ずれ量を検出する。検出部１２１は、検出されたローカル対称色ずれ量とローカル均一色ずれ量を集計部１２２に供給する。

ステップＳ５３において、集計部１２２は、検出部１２１から供給されるローカル対称色ずれ量の平均値を、撮像画像の中心から検出位置までの距離ごとに算出して画像全体における対称色ずれ量を決定し、出力する。

ステップＳ５４において、集計部１２２は、検出部１２１から供給されるローカル均一色ずれ量の平均値を、画像全体における均一色ずれ量に決定し、出力する。そして、処理は終了する。

＜第５実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、特性起因色ずれは、レンズの特性に起因する色ずれであれば、対称色ずれ以外の色ずれであってもよい。個体差起因色ずれ量は、レンズの個体差に起因する色ずれであれば、均一色ずれ以外の色ずれであってもよい。

また、例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する検出部
を備える画像処理装置。
（２）
前記検出部は、
前記入力画像の第１の領域で検出された色ずれ量から、前記入力画像の前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記入力画像の前記個体差起因色ずれ量を算出する個体差起因色ずれ量算出部
を備える
前記（１）に記載の画像処理装置。
（３）
前記検出部は、
前記入力画像の第２の領域で検出された色ずれ量を、前記入力画像の前記特性起因色ずれ量として検出する特性起因色ずれ量検出部
を備え、
前記個体差起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因ずれ量検出部により検出された前記特性起因色ずれ量を用いて前記関係にしたがって算出された前記個体差用オフセットを削除する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記検出部は、
前記特性起因色ずれ量検出部により検出された前記特性起因色ずれ量から、前記個体差起因色ずれ量算出部により算出された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記特性起因色ずれ量を補正する特性起因色ずれ量算出部
をさらに備える
前記（３）に記載の画像処理装置。
（５）
前記個体差起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因色ずれ量算出部により補正された前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記個体差起因色ずれ量を更新する
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記検出部は、
前記入力画像の第１の領域で検出された色ずれ量から、前記入力画像の前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記入力画像の前記特性起因色ずれ量を算出する特性起因色ずれ量算出部
を備える
前記（１）に記載の画像処理装置。
（７）
前記検出部は、
前記入力画像の第２の領域で検出された色ずれ量を、前記入力画像の前記個体差起因色ずれ量として検出する個体差起因色ずれ量検出部
を備え、
前記特性起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因ずれ量検出部により検出された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された前記特性用オフセットを削除する
ように構成された
前記（６）に記載の画像処理装置。
（８）
前記検出部は、
前記個体差起因色ずれ量検出部により検出された前記個体差起因色ずれ量から、前記特性起因色ずれ量算出部により算出された前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記個体差起因色ずれ量を補正する個体差起因色ずれ量算出部
をさらに備える
前記（７）に記載の画像処理装置。
（９）
前記特性起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因色ずれ量算出部により補正された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記特性起因色ずれ量を更新する
ように構成された
前記（８）に記載の画像処理装置。
（１０）
前記検出部は、前記関係を表すモデルに基づいて、前記入力画像から検出される色ずれ量から、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
ように構成された
前記（１）に記載の画像処理装置。
（１１）
前記検出部は、前記モデルに基づいて算出される前記入力画像の色ずれ量の検出予測値と前記入力画像から検出される色ずれ量との二乗誤差が最小となるように、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
ように構成された
前記（１０）に記載の画像処理装置。
（１２）
前記モデルは、前記入力画像から検出される色ずれ量、前記入力画像の前記特性起因色ずれ量、前記入力画像の前記個体差起因色ずれ量、および前記入力画像の色ずれ量の検出方向の関係を表し、
前記検出部は、前記モデルと前記検出方向に基づいて算出される前記入力画像の色ずれ量の検出予測値と前記入力画像から検出される色ずれ量との二乗誤差が最小となるように、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
ように構成された
前記（１１）に記載の画像処理装置。
（１３）
画像処理装置が、
画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する検出ステップ
を含む画像処理方法。

１０ 画像処理装置， １１ 検出部， ３１ 対称色ずれ量検出部， ３４ 均一色ずれ量検出部， ３５ 均一色ずれ量算出部， ３７ 対称色ずれ量算出部， ５０ 画像処理装置， ７３ 対称色ずれ量算出部， ７５ 均一色ずれ量算出部， １２０ 画像処理装置， １２１ 検出部

Claims (13)

1. 画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する検出部
   を備える画像処理装置。
2. 前記検出部は、
   前記入力画像の第１の領域で検出された色ずれ量から、前記入力画像の前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記入力画像の前記個体差起因色ずれ量を算出する個体差起因色ずれ量算出部
   を備える
   請求項１に記載の画像処理装置。
3. 前記検出部は、
   前記入力画像の第２の領域で検出された色ずれ量を、前記入力画像の前記特性起因色ずれ量として検出する特性起因色ずれ量検出部
   を備え、
   前記個体差起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因ずれ量検出部により検出された前記特性起因色ずれ量を用いて前記関係にしたがって算出された前記個体差用オフセットを削除する
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記検出部は、
   前記特性起因色ずれ量検出部により検出された前記特性起因色ずれ量から、前記個体差起因色ずれ量算出部により算出された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記特性起因色ずれ量を補正する特性起因色ずれ量算出部
   をさらに備える
   請求項３に記載の画像処理装置。
5. 前記個体差起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因色ずれ量算出部により補正された前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記個体差起因色ずれ量を更新する
   ように構成された
   請求項４に記載の画像処理装置。
6. 前記検出部は、
   前記入力画像の第１の領域で検出された色ずれ量から、前記入力画像の前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記入力画像の前記特性起因色ずれ量を算出する特性起因色ずれ量算出部
   を備える
   請求項１に記載の画像処理装置。
7. 前記検出部は、
   前記入力画像の第２の領域で検出された色ずれ量を、前記入力画像の前記個体差起因色ずれ量として検出する個体差起因色ずれ量検出部
   を備え、
   前記特性起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因ずれ量検出部により検出された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された前記特性用オフセットを削除する
   ように構成された
   請求項６に記載の画像処理装置。
8. 前記検出部は、
   前記個体差起因色ずれ量検出部により検出された前記個体差起因色ずれ量から、前記特性起因色ずれ量算出部により算出された前記特性起因色ずれ量を用いて前記関係にしたがって算出された個体差用オフセットを削除することにより、前記個体差起因色ずれ量を補正する個体差起因色ずれ量算出部
   をさらに備える
   請求項７に記載の画像処理装置。
9. 前記特性起因色ずれ量算出部は、前記入力画像の前記第１の領域で検出された色ずれ量から、前記特性起因色ずれ量算出部により補正された前記個体差起因色ずれ量を用いて前記関係にしたがって算出された特性用オフセットを削除することにより、前記特性起因色ずれ量を更新する
   ように構成された
   請求項８に記載の画像処理装置。
10. 前記検出部は、前記関係を表すモデルに基づいて、前記入力画像から検出される色ずれ量から、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
    ように構成された
    請求項１に記載の画像処理装置。
11. 前記検出部は、前記モデルに基づいて算出される前記入力画像の色ずれ量の検出予測値と前記入力画像から検出される色ずれ量との二乗誤差が最小となるように、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
    ように構成された
    請求項１０に記載の画像処理装置。
12. 前記モデルは、前記入力画像から検出される色ずれ量、前記入力画像の前記特性起因色ずれ量、前記入力画像の前記個体差起因色ずれ量、および前記入力画像の色ずれ量の検出方向の関係を表し、
    前記検出部は、前記モデルと前記検出方向に基づいて算出される前記入力画像の色ずれ量の検出予測値と前記入力画像から検出される色ずれ量との二乗誤差が最小となるように、前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する
    ように構成された
    請求項１１に記載の画像処理装置。
13. 画像処理装置が、
    画像から検出される色ずれ量、前記画像のレンズの特性に起因する色ずれ量である特性起因色ずれ量、および前記画像のレンズの個体差に起因する色ずれ量である個体差起因色ずれ量の関係にしたがって、入力画像から前記特性起因色ずれ量と前記個体差起因色ずれ量を検出する検出ステップ
    を含む画像処理方法。

Images