JP2008219328A - 画像処理装置、および画像処理プログラム - Google Patents
画像処理装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP2008219328A JP2008219328A JP2007052420A JP2007052420A JP2008219328A JP 2008219328 A JP2008219328 A JP 2008219328A JP 2007052420 A JP2007052420 A JP 2007052420A JP 2007052420 A JP2007052420 A JP 2007052420A JP 2008219328 A JP2008219328 A JP 2008219328A
- Authority
- JP
- Japan
- Prior art keywords
- aberration
- information
- image processing
- chromatic aberration
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】 照明状況に依存する倍率色収差の収差変動を、画像データの色ズレ推定に反映させる技術を提供する。
【解決手段】 本発明の画像処理装置は、情報取得部、画像解析部、収差特定部、および収差処理部を備える。情報取得部は、撮影時の照明状況による収差変動を表す未定パラメータを含む倍率色収差情報を取得する。画像解析部は、画像データの色ズレ発生箇所から色ズレを検出する。収差特定部は、倍率色収差情報が画像解析部の色ズレ検出値に近づくように未定パラメータを決定することで、照明状況の変化を反映した倍率色収差を特定する。収差処理部は、このように特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
【選択図】 図1
【解決手段】 本発明の画像処理装置は、情報取得部、画像解析部、収差特定部、および収差処理部を備える。情報取得部は、撮影時の照明状況による収差変動を表す未定パラメータを含む倍率色収差情報を取得する。画像解析部は、画像データの色ズレ発生箇所から色ズレを検出する。収差特定部は、倍率色収差情報が画像解析部の色ズレ検出値に近づくように未定パラメータを決定することで、照明状況の変化を反映した倍率色収差を特定する。収差処理部は、このように特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
【選択図】 図1
Description
本発明は、画像処理装置、および画像処理プログラムに関する。
レンズ収差の一つとして、倍率色収差が知られている。この倍率色収差は、軸外に入射する光が波長によって異なる像高に結像する現象である。この倍率色収差に起因して、撮影される画像データには色ズレが生じる。
この画像データの色ズレを画像処理によって補正する技術が知られている。例えば、特許文献1には、情報記憶領域に書き込まれた撮影レンズの倍率色収差情報に基づいて、画像データの色成分を補正する技術が記載されている。また例えば、特許文献2には、画像データの色ズレから倍率色収差を推定する技術が記載されている。また例えば、特許文献3には、倍率色収差量を、像高の多次関数による一般式で表し、画像データから検出した色ズレを用いて一般式の各次数の係数値を求める技術が記載されている。
特開平11−161773号公報
特開2002−344978号公報
特開2000−299874号公報
この画像データの色ズレを画像処理によって補正する技術が知られている。例えば、特許文献1には、情報記憶領域に書き込まれた撮影レンズの倍率色収差情報に基づいて、画像データの色成分を補正する技術が記載されている。また例えば、特許文献2には、画像データの色ズレから倍率色収差を推定する技術が記載されている。また例えば、特許文献3には、倍率色収差量を、像高の多次関数による一般式で表し、画像データから検出した色ズレを用いて一般式の各次数の係数値を求める技術が記載されている。
本発明者は、同一の撮影レンズを用いて撮影しても、照明状況の違いによって画像データの色ズレが変化するという現象に気がついた。例えば、昼時に撮影された画像データと、夕方に撮影された画像データとでは、画像データの色ズレが変化する。
上述した従来技術では、このような色ズレの変動を考慮しないため、画像データに現に生じている色ズレを正確に補正することが難しく、その点で改善の余地があった。
本発明では、この照明状況による色ズレの変動を、画像データの色ズレ推定に反映させる技術を提供することを目的とする。
上述した従来技術では、このような色ズレの変動を考慮しないため、画像データに現に生じている色ズレを正確に補正することが難しく、その点で改善の余地があった。
本発明では、この照明状況による色ズレの変動を、画像データの色ズレ推定に反映させる技術を提供することを目的とする。
《1》 本発明の画像処理装置は、倍率色収差を有する光学系により撮影された画像データの倍率色収差を補正する画像処理装置であって、情報取得部、画像解析部、収差特定部、および収差処理部を備える。
情報取得部は、光学系の倍率色収差の情報を、撮影時の照明状況による収差変動を表す未定パラメータを含む情報として取得する。
画像解析部は、画像データの色ズレ発生箇所から色ズレを検出する。
収差特定部は、倍率色収差の情報が画像解析部の色ズレ検出値に近づくように、未定パラメータを決定することによって、照明状況による収差変動を反映した倍率色収差を特定する。
収差処理部は、収差特定部で特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
《2》 なお好ましくは、情報取得部は、未定パラメータの変動範囲に関する情報を取得する。収差特定部は、この変動範囲に限定して、未定パラメータを決定する。
《3》 また好ましくは、情報取得部は、倍率色収差の情報として、像高に対して非線形な色ズレを示す情報を取得する。収差特定部は、非線形な色ズレが、画像解析部の色ズレ検出値に近づくように、未定パラメータを決定する。
《4》 なお好ましくは、情報取得部は、像高と、撮影時の照明状況による収差変動との関係が線形か非線形かを情報取得する。収差特定部は、線形の場合に、倍率色収差の情報を像高に対して線形に補正することで色ズレ検出値にフィッティングして、未定パラメータを決定する。
《5》 本発明の別の画像処理装置は、倍率色収差を有する光学系により撮影された画像データの倍率色収差を補正する画像処理装置であって、情報取得部、照明判定部、収差特定部、および収差処理部を備える。
情報取得部は、光学系の倍率色収差の情報を、撮影時の照明状況による収差変動を表す未定パラメータを含む情報として取得する。
照明判定部は、画像データの撮影時の照明に関する情報を取得する。
収差特定部は、照明に関する情報に基づいて未定パラメータを決定し、照明状況による収差変動を反映した倍率色収差を特定する。
収差処理部は、収差特定部で特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
《6》 なお好ましくは、照明判定部は、ユーザー入力に基づいて、照明に関する情報を決定する。
《7》 また好ましくは、照明判定部は、撮影時の照明を検出する環境センサの出力結果に基づいて、照明に関する情報を決定する。
《8》 なお好ましくは、照明判定部は、画像データの色の偏り、および画像データに付随する撮影情報の少なくとも一方に基づいて、照明に関する情報を決定する。
《9》 なお好ましくは、情報取得部は、画像データを撮影した撮像装置の分光感度に関する情報を取得する。情報取得部は、この分光感度に応じて、収差特定部が使用する倍率色収差の情報を選択する。
《10》 本実施形態の画像処理プログラムは、コンピュータを、《1》ないし《9》のいずれか1項に記載の画像処理装置として機能させるためのプログラムである。
情報取得部は、光学系の倍率色収差の情報を、撮影時の照明状況による収差変動を表す未定パラメータを含む情報として取得する。
画像解析部は、画像データの色ズレ発生箇所から色ズレを検出する。
収差特定部は、倍率色収差の情報が画像解析部の色ズレ検出値に近づくように、未定パラメータを決定することによって、照明状況による収差変動を反映した倍率色収差を特定する。
収差処理部は、収差特定部で特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
《2》 なお好ましくは、情報取得部は、未定パラメータの変動範囲に関する情報を取得する。収差特定部は、この変動範囲に限定して、未定パラメータを決定する。
《3》 また好ましくは、情報取得部は、倍率色収差の情報として、像高に対して非線形な色ズレを示す情報を取得する。収差特定部は、非線形な色ズレが、画像解析部の色ズレ検出値に近づくように、未定パラメータを決定する。
《4》 なお好ましくは、情報取得部は、像高と、撮影時の照明状況による収差変動との関係が線形か非線形かを情報取得する。収差特定部は、線形の場合に、倍率色収差の情報を像高に対して線形に補正することで色ズレ検出値にフィッティングして、未定パラメータを決定する。
《5》 本発明の別の画像処理装置は、倍率色収差を有する光学系により撮影された画像データの倍率色収差を補正する画像処理装置であって、情報取得部、照明判定部、収差特定部、および収差処理部を備える。
情報取得部は、光学系の倍率色収差の情報を、撮影時の照明状況による収差変動を表す未定パラメータを含む情報として取得する。
照明判定部は、画像データの撮影時の照明に関する情報を取得する。
収差特定部は、照明に関する情報に基づいて未定パラメータを決定し、照明状況による収差変動を反映した倍率色収差を特定する。
収差処理部は、収差特定部で特定した倍率色収差を打ち消すように、画像データの色成分を補正する。
《6》 なお好ましくは、照明判定部は、ユーザー入力に基づいて、照明に関する情報を決定する。
《7》 また好ましくは、照明判定部は、撮影時の照明を検出する環境センサの出力結果に基づいて、照明に関する情報を決定する。
《8》 なお好ましくは、照明判定部は、画像データの色の偏り、および画像データに付随する撮影情報の少なくとも一方に基づいて、照明に関する情報を決定する。
《9》 なお好ましくは、情報取得部は、画像データを撮影した撮像装置の分光感度に関する情報を取得する。情報取得部は、この分光感度に応じて、収差特定部が使用する倍率色収差の情報を選択する。
《10》 本実施形態の画像処理プログラムは、コンピュータを、《1》ないし《9》のいずれか1項に記載の画像処理装置として機能させるためのプログラムである。
本発明では、倍率色収差の情報に、照明状況による収差変動に該当する未定パラメータが含まれる。
請求項1に係る発明では、この未定パラメータを、画像解析部の色ズレ検出値に基づいて決定する。また請求項5に係る発明では、この未定パラメータを、照明に関する取得情報に基づいて決定する。
このように未定パラメータを決定することにより、照明状況による収差変動を倍率色収差に正確に反映させることができる。その結果、画像データの倍率色収差をより正確に補正することが可能になる。
請求項1に係る発明では、この未定パラメータを、画像解析部の色ズレ検出値に基づいて決定する。また請求項5に係る発明では、この未定パラメータを、照明に関する取得情報に基づいて決定する。
このように未定パラメータを決定することにより、照明状況による収差変動を倍率色収差に正確に反映させることができる。その結果、画像データの倍率色収差をより正確に補正することが可能になる。
《構成説明》
図1は、本実施形態の画像処理装置11の構成を示すブロック図である。
図1において、情報取得部12は、倍率色収差に関する情報を、カメラの撮影情報、レンズ情報、または画像処理装置11内のメモリ12aなどから取得する。後述するように、この倍率色収差に関する情報には、照明状況による収差変動に該当する未定分が含まれており、この情報だけでは倍率色収差を正確に特定できない。
画像解析部13は、画像データの色ズレ発生箇所を解析することで、色ズレ検出値を得る。収差特定部14は、未定分を含む倍率色収差の情報を、この色ズレ検出値にフィッティングさせることで未定分を決定し、照明状況を反映した倍率色収差を特定する。
なお、画像処理装置11は、照明判定部16も備える。この照明判定部16は、画像データの撮影時の照明に関する情報を、ユーザーインターフェース、カメラの環境光センサ、画像データの色の偏り、または撮影情報などから取得する。収差特定部14は、この照明情報に基づいて、倍率色収差の情報に含まれる未定分を直に決定することもできる。
収差処理部15は、照明状況による収差変動を確定した倍率色収差に基づいて、画像データの色ズレを補正する。
図1は、本実施形態の画像処理装置11の構成を示すブロック図である。
図1において、情報取得部12は、倍率色収差に関する情報を、カメラの撮影情報、レンズ情報、または画像処理装置11内のメモリ12aなどから取得する。後述するように、この倍率色収差に関する情報には、照明状況による収差変動に該当する未定分が含まれており、この情報だけでは倍率色収差を正確に特定できない。
画像解析部13は、画像データの色ズレ発生箇所を解析することで、色ズレ検出値を得る。収差特定部14は、未定分を含む倍率色収差の情報を、この色ズレ検出値にフィッティングさせることで未定分を決定し、照明状況を反映した倍率色収差を特定する。
なお、画像処理装置11は、照明判定部16も備える。この照明判定部16は、画像データの撮影時の照明に関する情報を、ユーザーインターフェース、カメラの環境光センサ、画像データの色の偏り、または撮影情報などから取得する。収差特定部14は、この照明情報に基づいて、倍率色収差の情報に含まれる未定分を直に決定することもできる。
収差処理部15は、照明状況による収差変動を確定した倍率色収差に基づいて、画像データの色ズレを補正する。
《倍率色収差の情報の設計手順》
図2は、上述した倍率色収差の情報の設計手順を示す流れ図である。この設計手順は、画像処理装置11の開発者や、撮影レンズの開発者などによって適宜に実施される。
以下、図2に示すステップ番号に沿って、この設計手順を説明する。
図2は、上述した倍率色収差の情報の設計手順を示す流れ図である。この設計手順は、画像処理装置11の開発者や、撮影レンズの開発者などによって適宜に実施される。
以下、図2に示すステップ番号に沿って、この設計手順を説明する。
ステップS1: 開発者は、画像データの撮影に使用する撮影レンズについて、実測または光学シミュレーションを行い、倍率色収差のズレ量Δ(λ,h)を求める。
このズレ量Δ(λ,h)は、基準波長(例えばD線=589nm)において像高hに到達する斜入射光が、波長λにおいて径方向にズレ量Δだけずれることを表している。図3は、このように求めたズレ量Δ(λ,h)の一例を示す図である。
このズレ量Δ(λ,h)は、基準波長(例えばD線=589nm)において像高hに到達する斜入射光が、波長λにおいて径方向にズレ量Δだけずれることを表している。図3は、このように求めたズレ量Δ(λ,h)の一例を示す図である。
ステップS2: 開発者は、画像データの撮影に使用するカメラ(撮像素子)の色成分RGBの分光感度Kr(λ),Kg(λ),Kb(λ)を、撮像素子の仕様データ表などから得る。図4は、この分光感度Kr(λ),Kg(λ),Kb(λ)の一例を示す図である。
ステップS3: 開発者は、複数種類の光源Xについて、分光感度Sx(λ)のデータを収集する。図5は、このように収集された分光感度Sx(λ)のデータを例示する図である。
ステップS4: 開発者は、ステップS1〜S3で求めたデータに基づいて、光源XごとにRG成分間の色ズレdx(h)を求める。
例えば、ステップS1〜S3で求めたデータを下式に代入することによって、色ズレdx(h)を計算することができる。
図6は、上式を使って計算したRG成分間の色ズレdx(h)を示す図である。この図6に示すように、各種光源の色ズレdx(h)は、共通して凸型に湾曲する全体傾向を示す。なお、A(白熱灯)やHorizon(夕日)などの色温度の低い光源については、RG成分間の色ズレが像高に略比例するように増加する。また、冷白色(Cool White)の蛍光灯については、像高の中間域に限って、RG成分間の色ズレが減少する。
例えば、ステップS1〜S3で求めたデータを下式に代入することによって、色ズレdx(h)を計算することができる。
ステップS5: 開発者は、図6に示した各種光源の色ズレdx(h)について、公知の主成分分析を実施することにより、平均成分dave(h)と、N個(N≧1)の主成分di(h)を求める。
図7は、この主成分分析の結果を示す図である。図7に示す平均成分dave(h)は、各種光源の色ズレdx(h)に共通する全体傾向を示す。
一方、図7に示す第1主成分d1(h)は、像高に略比例して増加する成分である。この第1主成分d1(h)によって、上述した色温度の低い光源に現れる色ズレの変動成分を表すことができる。
また、図7に示す第2主成分d2(h)は、像高の中間域に限って減少する成分である。この第2主成分d2(h)によって、上述した冷白色(Cool White)の蛍光灯における色ズレの変動成分を表すことができる。
このような主成分分析の結果から、各種光源による収差変動を包括的に含む倍率色収差の関数dp(h)を、
のように定義することができる。この関数dp(h)では、上式中の未定パラメータPi(i=1…N)の値を調整することによって、照明状況による収差変動を示す未定分を確定することができる。
開発者は、この未定分を含む関数dp(h)のデータとして、平均成分dave(h)、およびN個の主成分di(h)のデータを、撮影レンズや、画像処理装置11内のメモリ12aなどに格納する。例えば、これらの平均成分dave(h)および主成分di(h)のデータは、像高hを入力変数とするテーブルデータや、像高hを入力変数とする式データの形態で格納することが可能である。
なお、撮影レンズによっては、各種光源による収差変動が像高hに対して概ね線形に変化する場合もある。この場合は、倍率色収差の関数dp(h)を、
dp(h)=dave(h)+P1h
と定義することができる。この場合、主成分di(h)のデータは不要となる。開発者は、関数dp(h)のデータとして、平均成分dave(h)のデータと、像高と収差変動が線形関係であることを示すフラグ情報を、撮影レンズや、画像処理装置11内のメモリ12aなどに格納すればよい。その結果、倍率色収差に関する情報量を低減することができる。
図7は、この主成分分析の結果を示す図である。図7に示す平均成分dave(h)は、各種光源の色ズレdx(h)に共通する全体傾向を示す。
一方、図7に示す第1主成分d1(h)は、像高に略比例して増加する成分である。この第1主成分d1(h)によって、上述した色温度の低い光源に現れる色ズレの変動成分を表すことができる。
また、図7に示す第2主成分d2(h)は、像高の中間域に限って減少する成分である。この第2主成分d2(h)によって、上述した冷白色(Cool White)の蛍光灯における色ズレの変動成分を表すことができる。
このような主成分分析の結果から、各種光源による収差変動を包括的に含む倍率色収差の関数dp(h)を、
開発者は、この未定分を含む関数dp(h)のデータとして、平均成分dave(h)、およびN個の主成分di(h)のデータを、撮影レンズや、画像処理装置11内のメモリ12aなどに格納する。例えば、これらの平均成分dave(h)および主成分di(h)のデータは、像高hを入力変数とするテーブルデータや、像高hを入力変数とする式データの形態で格納することが可能である。
なお、撮影レンズによっては、各種光源による収差変動が像高hに対して概ね線形に変化する場合もある。この場合は、倍率色収差の関数dp(h)を、
dp(h)=dave(h)+P1h
と定義することができる。この場合、主成分di(h)のデータは不要となる。開発者は、関数dp(h)のデータとして、平均成分dave(h)のデータと、像高と収差変動が線形関係であることを示すフラグ情報を、撮影レンズや、画像処理装置11内のメモリ12aなどに格納すればよい。その結果、倍率色収差に関する情報量を低減することができる。
ステップS6: 開発者は、関数dp(h)が、光源Xごとの色ズレdx(h)に近づくように、未定パラメータPi(i=1…N)を決定する。このような作業により、予め想定される個々の光源ごとに、対応する未定パラメータPi(i=1…N)を定めておくことができる。
開発者は、この光源と未定パラメータとの対応データを、撮影レンズや、画像処理装置11内のメモリ12aなどに格納する。
開発者は、この光源と未定パラメータとの対応データを、撮影レンズや、画像処理装置11内のメモリ12aなどに格納する。
ステップS7: 開発者は、想定し得る十分な数の光源について、ステップS6の作業を行うことにより、未定パラメータPi(i=1…N)の取り得る変動範囲を求めることができる。開発者は、この未定パラメータPi(i=1…N)の変動範囲を、撮影レンズや、画像処理装置11内のメモリ12aなどに格納する。
ステップS8: 開発者は、ステップS4〜S7と同様の処理を、BG成分間の色ズレについても実施する。
《倍率色収差の特定処理》
図8は、画像処理装置11の動作を説明する流れ図である。以下、図8に示すステップ番号に沿って、この動作を具体的に説明する。
図8は、画像処理装置11の動作を説明する流れ図である。以下、図8に示すステップ番号に沿って、この動作を具体的に説明する。
ステップS11: 画像処理装置11は、撮像装置、記録媒体、または通信媒体などから、処理対象の画像データを取り込む。
ステップS12: 情報取得部12は、画像データのファイル内から撮影情報(Exif情報など)を読み出す。情報取得部12は、この撮影情報をデータ解析し、下記情報の取得を試みる。
(1)倍率色収差の関数dp(h)のデータ
(2)撮影レンズに関する情報(レンズ種別,焦点距離,絞り値,撮影距離など)
(3)カメラに関する情報(カメラ種別,RGB成分の分光感度など)
(4)環境光センサによる照明状況の情報
(5)カメラのユーザー操作(直接入力や撮影モード選択)から推測される照明状況の情報
(6)画像データの色の偏り(ホワイトバランス調整値)から推測される照明状況の情報
(1)倍率色収差の関数dp(h)のデータ
(2)撮影レンズに関する情報(レンズ種別,焦点距離,絞り値,撮影距離など)
(3)カメラに関する情報(カメラ種別,RGB成分の分光感度など)
(4)環境光センサによる照明状況の情報
(5)カメラのユーザー操作(直接入力や撮影モード選択)から推測される照明状況の情報
(6)画像データの色の偏り(ホワイトバランス調整値)から推測される照明状況の情報
ステップS13: 情報取得部12は、画像データのファイル内から、倍率色収差の関数dp(h)のデータが取得できたか否かを判定する。
関数dp(h)のデータを取得できた場合、情報取得部12は、ステップS15に動作を移行する。
関数dp(h)のデータを取得できなかった場合、情報取得部12は、ステップS14に動作を移行する。
関数dp(h)のデータを取得できた場合、情報取得部12は、ステップS15に動作を移行する。
関数dp(h)のデータを取得できなかった場合、情報取得部12は、ステップS14に動作を移行する。
ステップS14: 情報取得部12は、撮影レンズのレンズ種別を、メモリ12a内のデータベースに照会し、その撮影レンズに対応する倍率色収差の関数dp(h)のデータを選択する。
なお、同一の撮影レンズであっても、撮影レンズの製造ロット、カメラ種別、RGB成分の分光感度、焦点距離、絞り値、または撮影距離によって、画像データに現れる倍率色収差は変化する。そこで、これらの情報群の少なくとも一つに基づいて、倍率色収差の関数dp(h)のデータを更に細かく選択することが好ましい。
このようにして倍率色収差の関数dp(h)のデータを選択した後、情報取得部12はステップS15に動作を移行する。
なお、同一の撮影レンズであっても、撮影レンズの製造ロット、カメラ種別、RGB成分の分光感度、焦点距離、絞り値、または撮影距離によって、画像データに現れる倍率色収差は変化する。そこで、これらの情報群の少なくとも一つに基づいて、倍率色収差の関数dp(h)のデータを更に細かく選択することが好ましい。
このようにして倍率色収差の関数dp(h)のデータを選択した後、情報取得部12はステップS15に動作を移行する。
ステップS15: 照明判定部16は、画像データの照明状況を推定可能か否かを判定する。
ここでは、照明判定部16は、ステップS12で取得した照明状況の情報や、ユーザーによる画像処理装置11への照明状況の入力や、カメラの環境光センサの出力結果や、画像データの色の偏り、撮影情報などを収集することで、画像データを撮影した際の照明状況を推定する。
その結果、照明状況が推定できた場合、照明判定部16は、ステップS16に動作を移行する。
照明状況が推定できない場合、照明判定部16は、ステップS17に動作を移行する。
ここでは、照明判定部16は、ステップS12で取得した照明状況の情報や、ユーザーによる画像処理装置11への照明状況の入力や、カメラの環境光センサの出力結果や、画像データの色の偏り、撮影情報などを収集することで、画像データを撮影した際の照明状況を推定する。
その結果、照明状況が推定できた場合、照明判定部16は、ステップS16に動作を移行する。
照明状況が推定できない場合、照明判定部16は、ステップS17に動作を移行する。
ステップS16: 収差特定部14は、照明状況に関する情報を、ステップS6で記録された対応データに照会し、関数dp(h)中の未定パラメータPi(i=1…N)を決定する。
この処理の後、収差特定部14は、ステップS19に動作を移行する。
この処理の後、収差特定部14は、ステップS19に動作を移行する。
ステップS17: 画像解析部13は、画像データに対して輪郭抽出フィルタを適用し、画像データからエッジ箇所を抽出する。画像解析部13は、抽出したエッジ箇所ごとに、像高hと、画面径方向におけるRG成分間の色ズレdとを求める。
ステップS18: 収差特定部14は、ステップS17で求めた色ズレ検出値(像高h,色ズレd)のデータ群と、倍率色収差の関数dp(h)との差異が最小となるように、関数dp(h)中の未定パラメータPi(i=1…N)を決定する。例えば、公知の最小二乗法などを用いて、これら未定パラメータPi(i=1…N)を迅速に決定することができる。
なお、未定パラメータPi(i=1…N)については、ステップS7で求めた変動範囲に収まる値を選ぶことが好ましい。例えば、最初に変動範囲を定めずに最小二乗法を適用して未定パラメータPi(i=1…N)を求め、変動範囲外の値となった未定パラメータPiを変動範囲内の標準的な値にクリッピングして固定値とし、それ以外の未定パラメータPiを変数として最小二乗法を再び実施する。このように変動範囲の制限を加えることによって、誤検出された色ズレ検出値の悪影響を抑えて、未定パラメータPi(i=1…N)を適切に決定することができる。
また、関数dp(h)の情報に、収差の線形変動を示すフラグ情報(ステップS5参照)が付加されている場合、関数dp(h)は、下式のような収差変動の線形項を含む式となる。
dp(h)=dave(h)+P1h
この場合、色ズレ検出値(像高h,色ズレd)のデータ群と、関数dp(h)中の平均成分dave(h)との間で差分データ[像高h,d−dave(h)]を求め、これら差分データ[像高h,d−dave(h)]を関数式P1hで直線近似することによって、未定パラメータP1を簡単に求めることができる。
なお、未定パラメータPi(i=1…N)については、ステップS7で求めた変動範囲に収まる値を選ぶことが好ましい。例えば、最初に変動範囲を定めずに最小二乗法を適用して未定パラメータPi(i=1…N)を求め、変動範囲外の値となった未定パラメータPiを変動範囲内の標準的な値にクリッピングして固定値とし、それ以外の未定パラメータPiを変数として最小二乗法を再び実施する。このように変動範囲の制限を加えることによって、誤検出された色ズレ検出値の悪影響を抑えて、未定パラメータPi(i=1…N)を適切に決定することができる。
また、関数dp(h)の情報に、収差の線形変動を示すフラグ情報(ステップS5参照)が付加されている場合、関数dp(h)は、下式のような収差変動の線形項を含む式となる。
dp(h)=dave(h)+P1h
この場合、色ズレ検出値(像高h,色ズレd)のデータ群と、関数dp(h)中の平均成分dave(h)との間で差分データ[像高h,d−dave(h)]を求め、これら差分データ[像高h,d−dave(h)]を関数式P1hで直線近似することによって、未定パラメータP1を簡単に求めることができる。
ステップS19: 収差特定部14は、ステップS16またはステップS18で求めた未定パラメータPi(i=1…N)の値を、倍率色収差の関数dp(h)に代入することにより、照明状況による収差変動を反映した倍率色収差の関数dp(h)を特定する。
ステップS20: ステップS19で特定した関数dp(h)を使用することで、像高hの全域にわたって、RG成分間の色ズレを求めることができる。収差処理部15は、この色ズレを打ち消すように、画像データのR成分を補正することにより、画像データに生じたRG成分間の倍率色収差を補正する。
例えば、画像データの正規の画素位置(x,y)を、色ズレ分(dx,dy)だけずらすことで、倍率色収差によるR成分の移動先(x+dx,y+dy)を求める。この移動先(x+dx,y+dy)のR補間値を、画像データのR成分を補間処理して求める。このR補間値を元の画素位置(x,y)のR成分の値とすることによって、R成分の色ズレを補正することができる。
例えば、画像データの正規の画素位置(x,y)を、色ズレ分(dx,dy)だけずらすことで、倍率色収差によるR成分の移動先(x+dx,y+dy)を求める。この移動先(x+dx,y+dy)のR補間値を、画像データのR成分を補間処理して求める。このR補間値を元の画素位置(x,y)のR成分の値とすることによって、R成分の色ズレを補正することができる。
ステップS21: BG間の色ズレについても、ステップS13〜S20と同様の処理を実施する。
《本実施形態の効果など》
上述した処理により、本実施形態では、撮影時の照明状況による収差変動を反映した倍率色収差を特定する。その結果、画像データの倍率色収差(色ズレ)をより正確に補正することが可能になる。
上述した処理により、本実施形態では、撮影時の照明状況による収差変動を反映した倍率色収差を特定する。その結果、画像データの倍率色収差(色ズレ)をより正確に補正することが可能になる。
特に、本実施形態では、倍率色収差の関数dp(h)が、画像データの色ズレ検出値に近づくように、未定パラメータPi(i=1…N)を決定する。その結果、撮影時の照明状況が不明であっても、照明状況による収差変動を反映した倍率色収差の特定が可能になる。
さらに、本実施形態では、想定しうる各種光源について未定パラメータPi(i=1…N)を予め求めることにより、未定パラメータPi(i=1…N)の取りうる変動範囲を事前に定める。したがって、本実施形態では、この変動範囲に限定して未定パラメータPi(i=1…N)を決定することにより、倍率色収差の特定が一段と正確になる。
また、本実施形態では、図6に示すように非線形かつ複雑な収差変動であっても、図7に示すように2つ程度の未定パラメータP1,P2によって包括的に表現する。そのため、非線形かつ複雑な収差変動を特定するという本来は困難処理を、比較的少数の未定パラメータPi(i=1…N)の決定問題という単純な問題に置き換える。その結果、軽い処理負荷で、複雑な収差変動を含んだ倍率色収差を特定することが可能になる。
なお、上述した特許文献3では、汎用的な非線形の一般式(例えば多次式)を、色ズレ検出値にフィッティングすることで、非線形な倍率色収差を特定している。仮に、像高の全域にわたって色ズレ検出値が得られる場合は、一般式のフィッティングでも非線形な倍率色収差の特定は可能である。しかしながら、画像データの絵柄によっては、像高の全域にわたって色ズレ検出値が得られるとは限らない。一部の像高範囲において、非線形の一般式をフィッティングしても、その像高範囲外での一般式の自由度が高いため、倍率色収差を正確に特定することは不可能である。しかしながら、本実施形態では、未定パラメータPi(i=1…N)が少なく、関数dp(h)の自由度は一般式に比べて低い。したがって、一部の像高範囲に限ったフィッティングであっても、倍率色収差をより正確に特定することができる。
また、本実施形態では、像高と収差変動との関係が線形の場合、主成分di(h)を不要と判断して記録しない。したがって、画像データやメモリ12aでは、倍率色収差の関数dp(h)を記録するための記録容量を節約することが可能になる。
さらに、本実施形態では、照明状況の情報が取得可能な場合、この照明状況の情報からダイレクトに未定パラメータPi(i=1…N)を決定する。この場合、画像データから色ズレを検出するなどの処理が不要となるため、収差変動を含む倍率色収差をより高速に特定することが可能になる。
また、本実施形態では、多様な情報を収集して、照明状況を推定する。例えば、カメラの撮影モード設定(夜景撮影モードや、パーティー撮影モードなど)から、照明光源の種類を特定または限定する。また例えば、カメラの環境光センサの出力結果から、照明状況を推定する。また例えば、画像データの色の偏り(ホワイトバランス調整値)から、照明状況を推定する。本実施形態は、このような照明状況の推定によって、倍率色収差の関数dp(h)をより正確に特定することが可能になる。
さらに、本実施形態では、RGB成分の分光感度、カメラ種別、焦点距離(ズームポジション)、絞り値、撮影レンズの製造ロット、および撮影距離の少なくとも一つに基づいて、適切な倍率色収差の関数dp(h)のデータを更に細かく選択する。同一の撮影レンズであっても、これらの状況変化によって、画像データに現れる倍率色収差は変化する。したがって、これらの状況変化を考慮して関数dp(h)のデータを細かく選択することにより、倍率色収差の関数dp(h)をより正確に特定することが可能になる。
《実施形態の補足事項》
なお、上述した実施形態では、画像データの色成分をRGB3原色としている。しかしながら、本発明はこれに限定されるものではない。
なお、上述した実施形態では、画像データの色成分をRGB3原色としている。しかしながら、本発明はこれに限定されるものではない。
また、上述した実施形態では、照明状況で変化する倍率色収差のデータを、図2に示すような演算処理によって理論的に求めている。しかしながら、本発明はこれに限定されるものではない。例えば、照明状況を様々に変化させながら、実際の撮影レンズを用いて撮影実験を繰り返すことにより、図6に示すような各種光源下における倍率色収差を実験的に求めることができる。このように倍率色収差を実験的に求めることにより、詳細データの不明な撮影レンズについても、本発明を適用することが可能になる。
なお、上述した実施形態では、主成分分析によって2つの主成分を求めている。しかしながら、本発明はこれに限定されるものではない。一般には、収差変動の複雑さに応じて、主成分の数を増減することが好ましい。
また、上述した実施形態では、画像処理装置11を単体で構成するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画像処理装置11を撮像装置(カメラやフィルムスキャナーなど)に搭載してもよい。この場合、画像処理装置11は、撮像装置から直に倍率色収差に関する情報を取得することが可能になる。また例えば、コンピュータおよび画像処理プログラム(図8の動作をプログラムコード化したもの)を用いて、本発明の画像処理装置11をソフトウェア的に実現してもよい。
以上説明したように、本発明は、画像処理装置などに利用可能な技術である。
11…画像処理装置,12…情報取得部,12a…メモリ,13…画像解析部,14…収差特定部,15…収差処理部,16…照明判定部
Claims (10)
- 倍率色収差を有する光学系により撮影された画像データの倍率色収差を補正する画像処理装置であって、
前記光学系の倍率色収差の情報を、照明状況による収差変動を表す未定パラメータを含む情報として取得する情報取得部と、
前記画像データの色ズレ発生箇所から色ズレを検出する画像解析部と、
前記倍率色収差の情報が前記画像解析部の色ズレ検出値に近づくように、前記未定パラメータを決定することにより、前記照明状況による収差変動を反映した前記倍率色収差を特定する収差特定部と、
前記収差特定部で特定した前記倍率色収差を打ち消すように、前記画像データの色成分を補正する収差処理部と
を備えたことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記情報取得部は、前記未定パラメータの変動範囲に関する情報を取得し、
前記収差特定部は、前記変動範囲に限定して、前記未定パラメータを決定する
ことを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記情報取得部は、前記倍率色収差の情報として、像高に対して非線形な色ズレを示す情報を取得し、
前記収差特定部は、前記非線形な色ズレが、前記画像解析部の色ズレ検出値に近づくように、前記未定パラメータを決定する
ことを特徴とする画像処理装置。 - 請求項1ないし請求項3のいずれか1項に記載の画像処理装置において、
前記情報取得部は、
像高と前記収差変動との関係が線形か非線形かを情報取得し、
前記収差特定部は、
前記線形の場合、前記倍率色収差の情報を前記像高に対して線形に補正することにより、前記色ズレ検出値にフィッティングして、前記未定パラメータを決定する
ことを特徴とする画像処理装置。 - 倍率色収差を有する光学系により撮影された画像データの倍率色収差を補正する画像処理装置であって、
前記光学系の倍率色収差の情報を、照明状況による収差変動を表す未定パラメータを含む情報として取得する情報取得部と、
前記画像データの撮影時の照明に関する情報を取得する照明判定部と、
前記照明に関する情報に基づいて前記未定パラメータを決定し、前記照明状況による収差変動を反映した前記倍率色収差を特定する収差特定部と、
前記収差特定部で特定した前記倍率色収差を打ち消すように、前記画像データの色成分を補正する収差処理部と
を備えたことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記照明判定部は、ユーザー入力に基づいて、前記照明に関する情報を決定する
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記照明判定部は、撮影時の照明を検出する環境センサの出力結果に基づいて、前記照明に関する情報を決定する
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記照明判定部は、前記画像データの色の偏り、および前記画像データに付随する撮影情報の少なくとも一方に基づいて、前記照明に関する情報を決定する
ことを特徴とする画像処理装置。 - 請求項1ないし請求項8のいずれか1項に記載の画像処理装置において、
前記情報取得部は、
前記画像データを撮影した撮像装置の分光感度に関する情報を取得し、前記分光感度に対応して、前記収差特定部が使用する前記倍率色収差の情報を選択する
ことを特徴とする画像処理装置。 - コンピュータを、請求項1ないし請求項9のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007052420A JP2008219328A (ja) | 2007-03-02 | 2007-03-02 | 画像処理装置、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007052420A JP2008219328A (ja) | 2007-03-02 | 2007-03-02 | 画像処理装置、および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008219328A true JP2008219328A (ja) | 2008-09-18 |
Family
ID=39838860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007052420A Withdrawn JP2008219328A (ja) | 2007-03-02 | 2007-03-02 | 画像処理装置、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008219328A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278950A (ja) * | 2009-06-01 | 2010-12-09 | Panasonic Corp | 色収差補正機能付き撮像装置、色収差補正方法、プログラムおよび集積回路 |
JP2011109620A (ja) * | 2009-11-20 | 2011-06-02 | Canon Inc | 撮像装置および画像処理方法 |
JP2011215395A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 収差補正機能を有する撮像装置及び撮像装置における収差補正方法 |
JP2012070053A (ja) * | 2010-09-21 | 2012-04-05 | Canon Inc | 画像処理装置、撮像装置、その倍率色収差補正方法、及び倍率色収差補正プログラム、並びに記録媒体 |
US8384761B2 (en) | 2008-03-11 | 2013-02-26 | Ricoh Company, Ltd. | Image pickup device for correcting chromatic aberration by switching a coordinate conversion parameter according to a type of light source or illumination light |
-
2007
- 2007-03-02 JP JP2007052420A patent/JP2008219328A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8384761B2 (en) | 2008-03-11 | 2013-02-26 | Ricoh Company, Ltd. | Image pickup device for correcting chromatic aberration by switching a coordinate conversion parameter according to a type of light source or illumination light |
JP2010278950A (ja) * | 2009-06-01 | 2010-12-09 | Panasonic Corp | 色収差補正機能付き撮像装置、色収差補正方法、プログラムおよび集積回路 |
JP2011109620A (ja) * | 2009-11-20 | 2011-06-02 | Canon Inc | 撮像装置および画像処理方法 |
US8675093B2 (en) | 2009-11-20 | 2014-03-18 | Canon Kabushiki Kaisha | Image capturing apparatus and image processing method |
JP2011215395A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 収差補正機能を有する撮像装置及び撮像装置における収差補正方法 |
CN102823258A (zh) * | 2010-03-31 | 2012-12-12 | 佳能株式会社 | 具有像差校正功能的图像拾取设备和用于图像拾取设备的像差校正方法 |
US9077842B2 (en) | 2010-03-31 | 2015-07-07 | Canon Kabushiki Kaisha | Image pickup apparatus having aberration correcting function and aberration correcting method for image pickup apparatus |
JP2012070053A (ja) * | 2010-09-21 | 2012-04-05 | Canon Inc | 画像処理装置、撮像装置、その倍率色収差補正方法、及び倍率色収差補正プログラム、並びに記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
JP5959976B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP5141245B2 (ja) | 画像処理装置、補正情報生成方法、および撮像装置 | |
JP2004248290A (ja) | けられ補償 | |
JP6004221B2 (ja) | 画像処理装置 | |
US20180182075A1 (en) | Image processing apparatus, image capturing apparatus, method of image processing, and storage medium | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6013284B2 (ja) | 撮像装置及び撮像方法 | |
JP6261676B1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4931227B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4513205B2 (ja) | 電子カメラ、および画像処理プログラムの記録媒体 | |
JP2008219328A (ja) | 画像処理装置、および画像処理プログラム | |
JP4945942B2 (ja) | 画像処理装置 | |
JP4945943B2 (ja) | 画像処理装置 | |
JP2011160255A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2011160255A5 (ja) | ||
EP3276944B1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and image processing program | |
JP2012034130A (ja) | 撮像装置 | |
JP5223912B2 (ja) | 撮像装置、および焦点判定プログラム | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4466017B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5121998B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2007028041A (ja) | 画像処理装置 | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP4477517B2 (ja) | 色調整方法及び色調整装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100511 |