JP2013013043A - レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置 - Google Patents

レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置 Download PDF

Info

Publication number
JP2013013043A
JP2013013043A JP2011175218A JP2011175218A JP2013013043A JP 2013013043 A JP2013013043 A JP 2013013043A JP 2011175218 A JP2011175218 A JP 2011175218A JP 2011175218 A JP2011175218 A JP 2011175218A JP 2013013043 A JP2013013043 A JP 2013013043A
Authority
JP
Japan
Prior art keywords
image
channel
correction factor
lens shading
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011175218A
Other languages
English (en)
Other versions
JP6141587B2 (ja
JP2013013043A5 (ja
Inventor
Su Jin Park
ス ジン パク
Chandra Bijarawaan Dipac
チャンドラ ビジャラワーン ディパック
B Gupta Ragbansh
ビー.グプタ ラグバンシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of JP2013013043A publication Critical patent/JP2013013043A/ja
Publication of JP2013013043A5 publication Critical patent/JP2013013043A5/ja
Application granted granted Critical
Publication of JP6141587B2 publication Critical patent/JP6141587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness

Abstract

【課題】レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置。
【解決手段】本発明は撮像素子の特性に起因するレンズシェーディングを補正するための補正ファクタを算出する方法を提示するが、従来の方法よりメモリ使用量が顕著に減少した方法を提示する。本発明によれば、基準画像を撮影し、撮影された基準画像に対してレンズシェーディングパターンの特性を利用して補正ファクタを算出するか、指数スプライン関数を用いて画素値分布を近似化して近似化された画素値分布を用いて補正ファクタを算出する。また、本発明は算出された補正ファクタを用いてレンズシェーディングを補正する方法及び装置を提供する。
【選択図】図7

Description

本発明はレンズシェーディング補正に関する。より具体的には、本発明は撮像素子の特性に起因するレンズシェーディングを補正するための補正ファクタを算出する方法を提示するが、従来の方法よりメモリ使用量が顕著に減少した方法を提示する。本発明によれば、ホワイト画像を撮影し、撮影されたホワイト画像に対してレンズシェーディングパターンの特性を利用して補正ファクタを算出するか、指数スプライン関数を用いて画素値分布を近似化して近似化された画素値分布を用いて補正ファクタを算出する。また、本発明は算出された補正ファクタを用いてレンズシェーディングを補正する方法及び装置を提供する。
一般に、レンズ系と撮像部を有する撮像装置で、レンズ系による周辺光量不足により、撮像される画像にシェーディング、すなわち、感度の不均一性が生じる。
このようなレンズシェーディングを除去するための技術には様々な方法があり、従来の方法のうちもっとも正確な補正方法は画素毎に画素値を測定して画像全体の画素値を最大画素値に補正する方法であるが、これは画像の大きさによって相当量のメモリを使用するという短所がある。さらに、処理量が多いため処理速度も遅くなる。その他の従来の効率の良い方法もいずれもメモリを多く使用するという短所があった。
デジタルカメラ又はカメラが装着された携帯電話などのモバイル装置ではメモリ使用量が大きな問題であるため、メモリ使用量が多いという点は適用にあたっての大きな短所でしかなかった。
本発明の目的は、デジタルカメラなどの光学装置でメモリを少なく使用しながらも補正性能が改善されたレンズシェーディング補正方法及び装置を提供することにある。
本発明の他の目的は、レンズシェーディング補正の処理速度が改善されたレンズシェーディング補正方法及び装置を提供することにある。
本発明の一実施例によるレンズシェーディング補正ファクタの算出方法は、基準画像を獲得するステップ;前記基準画像をチャネル別画像に分離するステップ;前記チャネル別画像を複数の円形セクタに分離するステップ;前記チャネル別画像の画素値が最も高い点を探すステップ;前記チャネル別画像の円形セクタ別平均画素値を探すステップ;及び補正ファクタ=(チャネル別画像のもっとも高い画素の画素値)/(セクタの平均画素値)により各セクタ別補正ファクタを算出するステップを含む。
本発明の一実施例によるレンズシェーディング補正方法は、画像を撮影するステップ;前記撮影された画像をチャネル毎に分離するステップ;前記チャネル毎に分離された画像を複数の円形セクタに分離するステップ;前記複数の円形セクタ毎に決められた補正ファクタを乗じるステップ;及び前記チャネル別画像を一つの画像に統合するステップを含む。
本発明の一実施例によるレンズシェーディング補正装置は、画像を獲得する撮像素子;獲得された画像に所定の画像処理を行って伝達する撮像部;及び前記撮像部から受信された画像を色相チャネル別画像に分離し、前記チャネル毎に分離された画像を複数の円形セクタに分離し、前記複数の円形セクタ毎に決められた補正ファクタを乗じ、前記補正ファクタが乗じられたチャネル別画像を一つの画像に統合するレンズシェーディング補正部を含む。
本発明の一実施例によるレンズシェーディング補正ファクタ算出方法は、基準画像を獲得するステップ;前記基準画像をチャネル別画像に分離するステップ;前記チャネル別画像で複数のサンプル画素を決定するステップ;前記複数のサンプル画素の画素値を用いて2次元指数スプライン関数を前記チャネル別画像にフィッティングするステップ;前記指数スプライン関数の係数又は次数を調整して前記チャネル別画像の輝度値分布を算出するステップ;及び前記2次元指数スプライン関数に基づいて補正ファクタを算出するステップを含む。
本発明の一実施例によるレンズシェーディング補正方法は、画像を撮影するステップ;前記撮影された画像をチャネル毎に分離するステップ;前記チャネル毎に分離された画像に2次元指数スプライン関数を用いて算出された補正ファクタを乗じるステップ;及び前記チャネル別画像を一つの画像に統合するステップを含む。
本発明の一実施例によるレンズシェーディング補正装置は、画像を獲得する撮像素子;獲得された画像に所定の画像処理を行って伝達する撮像部;及び前記撮像部から受信された画像をチャネル毎に分離し、前記チャネル毎に分離された画像に2次元指数スプライン関数を用いて算出された補正ファクタを乗じ、前記チャネル別画像を一つの画像に統合するレンズシェーディング補正部を含む。
本発明によれば、デジタルカメラ又はカメラが装着された携帯電話などのモバイル装置でメモリを少なく使用しながらもレンズシェーディング現象を効果的に除去することができる。
また、本発明によればレンズシェーディング補正処理をより速い速度で行うことができる。
本発明の一実施例によるDNPビューアによって撮影された基準画像を示す図である。 本発明の一実施例により基準画像を色相チャネル毎に分離する方法を示す図である。 本発明の一実施例により基準画像を円形ベルト状のセクタに分離する方法を示す図である。 本発明の一実施例により基準画像の画素分布をモデリングするための3次元グラフを示す図である。 本発明の一実施例により求めたセクタ別補正ファクタを示すグラフである。 元画像の画素分布の横方向、すなわち、図4のx方向に該当する切断面に対するプロファイルと補正されたプロファイルを示すグラフである。 本発明の第1実施例によるレンズシェーディング補正ファクタの算出方法を示すフローチャートである。 本発明の一実施例により、基準画像の不規則な画素値分布を示す図である。 本発明の一実施例によるサンプルポイント抽出方法を示す図である。 1次指数スプライン関数を示すグラフである。 2次指数スプライン関数を示すグラフである。 N次指数スプライン関数を示すグラフである。 本発明の第2実施例による画素値分布を近似化する方法を示すフローチャートである。 本発明の一実施例によるレンズシェーディング補正のための映像処理装置の構成を示す図である。
以下、図面を参照して本発明の実施例をさらに詳しく説明する。
デジタルカメラなどに装着されるCCDセンサなどの画像撮像素子の製品固有の特性によってレンズシェーディングパターンが異なる。本発明では特定の画像撮像素子でホワイト画像を撮影し、ホワイト画像に対して補正係数を算出した後、算出された補正係数を用いて実際の画像を補正する方法及び装置を実施する。
先ず、本発明の一実施例により、基準画像であるホワイト画像を用いて補正係数を求める方法を説明する。補正係数を算出するための基準画像としては、いかなる画像も含まず画像全体に均一な画素値、すなわち、輝度値を有する画像を用いることが好ましい。基準画像としてはいかなる画像も含まないホワイト画像を使用してもよく、グレー画像を使用してもよい。
基準画像を、補正係数を求める撮像素子が装着されたDNPビューア(大日本印刷株式会社製)などの光学装置で撮影すると、図1のような画像を得ることができる。図1のように元々は画像全体の輝度が均一な画像であるが、撮影された画像には中心部は明るく周辺に行くほど暗いレンズシェーディング現象が現れる。
図1の基準画像を図2のように色相チャネル毎に分離する。基準画像とチャネル毎に分離された画像はいかなる処理も加えられていないロー(raw)データで構成された画像である。
図2のように四つのチャネル毎に分離する理由は、一般に撮像素子によって撮影された画像でGチャネルはGr(Green red)、Gb(Green Blue)の二つのチャネルに対する画素値を有する。そのため、他のチャネルに比べて画素数が二倍多くチャネル分割時にGrチャネル、Gbチャネルのそれぞれの映像に対して互いに異なるレンズシェーディング補正関数を抽出することが好ましいからである。
本発明の一実施例により、補正係数の正確度を上げるために、図1のような基準画像としては、一つのホワイト画像を撮影して使用せずに、数個から数十個程度を撮影し、撮影された画像を平均したものを基準画像として使用することが好ましい。
基準画像には撮像素子自体から生じる雑音によって不均一な部分が含まれ得る。また撮影平面自体の小さな屈曲又は反射による不均一な部分がホワイト画像に存在し得る。したがって、基準画像それぞれに対して地域的フィルタリングを行ってノイズを除去する過程をさらに経ることができる。この時、メディアンフィルタ(median filter)を使用することができる。
その後の補正係数を求めるステップは次のような2つの実施例に分けて説明する。
<第1実施例>
第1実施例は、レンズシェーディングが中心部は明るく周辺に向かうほど暗くなる特性を示す場合に対する方法である。
図1のように中心部は明るく周辺に向かうほど暗くなる特性を持つ基準画像を、図3のように中心を共有し半径が互いに異なるN個の円形ベルト状のセクタに区分する。各セクタは画素値が類似している画素の集合であり得、好ましくは画素値が0〜255の範囲内にあると仮定した場合、画素値の差が5以内である画素の集合で構成され得る。
そして、基準画像のうち最も画素値の高い画素の画素値を求め、各セクタに含まれた画素の平均画素値を求める。画素値の最も高い画素は画像の中心部に位置する。
本発明の一実施例により円形ベルト状のセクタ別補正係数F1は、下記式(1)により求めることができる。
F1=(最大画素値を有する画素の画素値)/(セクタ別画素値平均) (1)
一方、基準画像に対して最大画素値を有する画素値は画像の中心にあるが、正確な座標が分からないのでプロセッサなどの演算装置で処理するには問題がある。また、各セクタ別画素の平均値も、セクタ別画素のうち一部の画素値を測定するのか、画素全体の画素値を測定しなければならないのか問題がある。本発明により、このような処理を高速に行うためには、基準画像の画素値分布を3次元曲線で近似化できる。
撮影された基準画像の画素分布を3次元空間に描いてみると、概略的に図4のような半球状の分布を得ることができる。ここで画像はxy平面に置かれていると仮定し、z値は各画素の輝度値を示すと仮定する。
上の半球は下記式(2)のような球面方程式でモデリングできる。
2+y2+z2+ax+by+cz+d=0 (2)
撮影された基準画像に4つ以上のサンプル画素に対する画素値を測定することができ、このサンプル画素の座標と画素値を用いて式(2)の係数a、b、c、d値を求めることができる。
もし、サンプル画素の個数が5つ以上であれば、過剰決定系(overdetermined system)になり、この場合は最小2乗球面フィッティング(least square sphere fitting)を用いて画素値分布を式(2)の方程式にフィッティング(fitting)することができる。これに対するさらに詳しい説明については、「THE APPLICATIONS OF LEAST-SQUARE SPHERE FITTING IN DIGITAL CAMERA」、Shih-Ming Chen(陳世明)and Chiou-Shann Fuh(傅楸善)、Department of Computer Science and information Engineering、National Taiwan Universityを参照されたい。
画素値分布を示す方程式を求めると球の中心が最大画素値を持つ画素になり、その上円形ベルトの半径及び幅さえ分かれば、各セクタ別画素値平均もプロセッサの演算処理によって容易に求めることができる。
上述のように画像の中心値座標、円形ベルト状のセクタの半径、セクタ別補正係数を求めて保存しておく。実際にレンズシェーディング補正アルゴリズムが搭載されるデジタルカメラなどの光学装置では、補正を行う画像を撮影した後、撮影された画像を円形ベルト状のセクタに分けて各セクタにセクタ別補正係数を乗じることによって、レンズシェーディング補正を行うことができる。
図5は、本発明の一実施例により求めたセクタ別補正ファクタを示す図である。セクタを全部で30個に分けた場合に中心から周辺に行きながら1番から30番の番号が付けられたセクタに対するグラフである。
図6は、元画像の画素分布の横方向、すなわち、図4のx方向に該当する切断面に対するプロファイル11と補正されたプロファイル12を示すグラフである。元画像のプロファイル11に図5のような補正ファクタを乗じると補正されたプロファイル12を得ることができる。図6に示すように、補正された画素分布は画像全体にわたって均等な明さを示すようになる。すなわち、レンズシェーディング効果がほとんど除去される。
図7は、本発明の第1実施例によるレンズシェーディング補正ファクタの算出方法を示すフローチャートである。
ステップS11で、基準画像を獲得する。上述したように、基準画像はDNPビューアによって撮影された全体の明るさが均一なホワイト画像又はグレー画像であり得る。実施例によっては、数個又は数十個のホワイト画像又はグレー画像を撮影して平均したものを基準画像として使用することができる。
ステップS12で、基準画像を色相チャネル毎に分離する。
ステップS13で、色相チャネル毎に分離された画像を円形ベルト状の複数のセクタに分離する。
ステップS14で、基準画像の最大画素値とセクタ別平均画素値を算出する。この時、上述したようにサンプル画素を使用して画素分布を球面方程式にフィッティングすることで最大画素値とセクタ別平均画素値を算出できる。
ステップS15で、式(1)によってセクタ別補正係数F1を算出する。
<第2実施例>
第1実施例は撮影された基準画像の画素値分布が中心部が最も明るく周辺に向かうほど暗くなる特性を持つ場合には効果的であるが、画素値分布が不規則な場合には適用できない短所がある。以下で説明する第2実施例は基準画像が非対称で不規則な画素値分布を示す場合にも適用され得る。基準画像を色相チャネル毎に分離する過程までは第1実施例と同じである。
撮影された基準画像が図8のような分布を示すと仮定する。図4と同じように、画像はxy平面に置かれ、各xy座標に対するz値は画素値を示す。図8に示すように、中心部が特に明るくはなく、周辺に向かうほど規則的に暗くなることもなく、特定パターンを持つこともない。
このような分布を有する画像に対してレンズシェーディング補正を行うためには、このような分布を特定の方程式でモデリングする必要がある。本発明の一実施例により、指数スプライン関数(exponential spline function)を用いる。
先ず、基準画像で複数個のサンプルポイントを抽出する。このため、図9のように画像を複数個の長方形セクタに分ける。これらの長方形セクタはすべて同じ大きさを有し得る。また、これらの長方形セクタの各頂点をサンプルポイントとして抽出する。
図9のように全部で4×4=16個の長方形セクタに分離されると、全部で25個のサンプルポイントを抽出することができる。サンプルポイントに該当する画素値を測定する。
サンプルポイントの座標と画素値が分かっていると仮定すると、全部で25個の条件を得ることになる。この条件を満たす方程式をフィッティング(fitting)すると画像分布をモデリングすることができる。
このため、下記式(3)のような2次元方程式を用いる。
ここで、Y(x)=w1(x)*w2(x)*...*wn(x)で、wi(x)=exp(aix)で、C[i,j]はコントロールポイントマトリックスで、i、j、m、nは整数、「*」は畳み込み演算子、aiは係数であり、任意の常数であり得る。
Y(x)は指数スプライン関数で次数によって異なる形態を有する。
1次指数スプライン関数はY1=eαixになり、区間[0,1]に対して図10に示す形態の曲線を有する。ここで各曲線は係数ai=−2、−1、−1/2、0、1/2のそれぞれに対する曲線である。
2次指数スプライン関数はY2=eα1x*eα2xになり、区間[0,1]に対して図11に示す形態の曲線を有する。ここで各曲線は係数a1=0、a2=−2、−1、−1/2、0、1/2のそれぞれに対する曲線である。
N次指数スプライン関数はYN=w1(x)*w2(x)*...*wn(x)になり、ai=−1/4に対して次数毎に図12に示す形態の曲線を有する。
適用例によって、指数スプライン関数の次数と係数であるaiの値は選択的に変更されることができ、最適のレンズシェーディング補正効果を出す次数と係数を選択できる。好ましくは3次又は4次指数スプライン関数を用いることが効果的である。
式(3)を画素値分布にフィッティングさせるためには、C[i,j]を算出する必要がある。コントロールポイントマトリックスC[i,j]は3×3行列で、各行列の値は式(4)で定義されると仮定する。
本実施例ではコントロールポイントマトリックスC[i,j]が3×3行列であると仮定したが、行列の次元は実施例によって異なる。
コントロールポイントマトリックスC[i,j]を構成する9個のコンポーネントの値が分かると、式(3)の方程式を求めることができる。我々は全部で25個のサンプルポイントに対する座標及び画素値が分かっているので、25個の条件を持っているのである。これは過剰決定系であり、25個の条件を用いてすべてのコントロールポイントマトリックスC[i,j]のコンポーネントの値が分かる。
すなわち、25個のサンプルポイントをF(x1、y1)、F(x2、y2),...,F(x25、y25)とすると下記式(5)のような25個の条件方程式が分かる。
式(5)を用いてコントロールポイントマトリックスC[i,j]を構成する9個のコンポーネントを求めることができ、したがって、式(3)の方程式を求めることができる。
すなわち、サンプルポイント25個と指数スプライン関数を基本関数として使用する2次元関数で不規則な画素値分布をモデリングすることができる。モデリングされた関数から基準画像の全ての画素の画素値が分かり、画素値が分かると各画素別補正係数F2は式(6)のように決めることができる。
F2=(最大画素値)/(画素別画素値) (6)
以上のような画素別補正係数F2を保存しておく。実際にレンズシェーディング補正アルゴリズムが搭載されるデジタルカメラなどの光学装置では、補正を行う画像を撮影した後、撮影された画像の画素毎に補正係数F2を乗じることによって、レンズシェーディング補正を行うことができる。
本発明の一実施例により、まずは補正係数F2を求めた後、実際のテスト画像を撮影して補正を行い、補正効果に応じて指数スプライン関数の次数と係数を変更すると最適の近似関数を求めることができる。
図13は、本発明の第2実施例による画素値分布を近似化する方法を示すフローチャートである。
ステップS21とステップS22は第1実施例と同じである。
ステップS23で、基準画像でサンプルポイントを抽出する。好ましくは、基準画像を同じ大きさの長方形セクタに分け、各長方形の頂点に該当する画素をサンプルポイントとして抽出できる。
ステップS24で、サンプルポイントの座標及び画素値を用いてコントロールポイントの値を決定する。
ステップS25で、決められたコントロールポイント値を適用してチャネル別基準画像の画素値分布をモデリングする。
ステップS26で、テスト画像に対してレンズシェーディング補正を行う。
ステップS27で、レンズシェーディング補正が適切であるか判断し、適切でなければステップS28で指数スプライン関数の次数又は係数を変更しながら適切なレンズシェーディング補正が行われるまでステップS25〜S28を繰り返す。
適切な次数及び係数が決定されると、ステップS29で近似関数を決定する。
図14は、本発明の一実施例によるレンズシェーディング補正のための映像処理装置の構成を示す図である。
図14に示すように、映像処理装置はレンズ21、撮像素子22、CDS(Correlated Double Sampling)回路、AGC(Automatic Gain Control)回路、及びA/D(Analog to Digital)変換器を含む撮像部23、シェーディング補正部24、及び映像処理部25、表示部26、メモリ27を含む。
レンズ21は光(すなわち、被写体の映像)を撮像素子22に入射させる。
撮像素子22は例えば、CCD(Charge Coupled Devices)画像やC−MOS(Complementary Metal Oxide Semiconductor)画像を含む光電変換を行う光電変換素子が2次元に配置されたもので、その前面には、R(Red)、G(Green)及びB(Blue)がモザイク模様に配列された原色フィルタ(図示せず)が装着されている。
すなわち、撮像素子22はレンズ21及び原色フィルタを経て入射された被写体の光像を光電変換して撮像信号(電荷)を生成し、生成された撮像信号をラスタースキャン方式で撮像部23に出力する。この時、原色フィルタは、Ye、Cy、Mg及びGがモザイク模様に配列された補色系フィルタを使用することができる。
撮像部23は、撮像素子22で入力された撮像信号に対して、ノイズ除去、AGC回路で利得調整などの画像処理を行い、A/D変換器でアナログ信号からデジタル信号に変換した後、シェーディング補正部24に供給する。
シェーディング補正部24は、第1実施例又は第2実施例により求めた補正係数をセクタ毎に又は画素毎に適用してレンズシェーディング補正を行った後、映像処理部25に供給する。
映像処理部25は、シェーディング補正部24から供給された映像に対してガンマ処理、色分離処理、及び4:2:2の比率によるYUV変換などの信号処理を施し、輝度信号データ及びクロマ信号データからなる映像データを作成する。映像処理部25は作成された映像データを表示部26に供給して対応する映像を表示させるか、又は作成された映像データをメモリ27に出力して保存する。
表示部26は、例えば、LCD(Liquid Crystal Display)などからなり、映像処理部25から供給された被写体の映像を表示する。メモリ27は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどであることができ、映像処理部25から供給された映像データを保存する。
以上、本発明の実施例を構成する全ての構成要素が一つに結合するか、結合して動作する様態を説明したが、本発明は必ずしもこのような実施例に限定されるものではない。すなわち、本発明の目的の範囲内であれば、その全ての構成要素が一つ以上に選択的に結合して動作することもできる。また、その全ての構成要素がそれぞれ一つの独立的なハードウェアとして実施され得るが、各構成要素のその一部又は全部が選択的に組み合わされて一つ又は複数個のハードウェアで組み合わされた一部又は全部の機能を行うプログラムモジュールを有するコンピュータプログラムとして実施されることもできる。そのコンピュータプログラムを構成するコード及びコードセグメントは本発明の属する技術分野の当業者により容易に推論され得る。このようなコンピュータプログラムはコンピュータが読み込める保存媒体(Computer Readable Media)に保存されてコンピュータによって読み込まれて実行されることによって、本発明の実施例を実施することができる。コンピュータプログラムの保存媒体としては磁気記録媒体、光記録媒体、キャリアウェーブ媒体などが含まれ得る。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形を行うことができる。したがって、本発明に開示された実施例は本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施例により本発明の技術思想の範囲が限定されることはない。本発明の保護範囲は以下の請求範囲によって解釈されるべきであり、それと同等の範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈されるべきである。

Claims (20)

  1. 基準画像を獲得するステップ;
    前記基準画像をチャネル別画像に分離するステップ;
    前記チャネル別画像を複数の円形セクタに分離するステップ;
    前記チャネル別画像の画素値が最も高い点を探すステップ;
    前記チャネル別画像の円形セクタ別平均画素値を探すステップ;及び
    補正ファクタ=(チャネル別画像の最も高い画素の画素値)/(セクタの平均画素値)により各セクタ別補正ファクタを算出するステップを含むレンズシェーディング補正ファクタの算出方法。
  2. 前記基準画像を獲得するステップは、
    複数個のホワイト又はグレー画像を撮影するステップ;及び
    前記ホワイト又はグレー画像の平均画像を獲得するステップを含む請求項1に記載のレンズシェーディング補正ファクタの算出方法。
  3. 前記チャネル別画像の画素のうち画素値が最も高い画素を探すステップは、
    チャネル別画像の画素のうち複数個のサンプルを抽出するステップ;
    前記サンプルを基に画素値分布をxyz空間の3次元球面多項式にフィッティングするステップ;及び
    前記3次元多項式でz値が最も高いx、y座標を抽出するステップを含む請求項1に記載のレンズシェーディング補正ファクタの算出方法。
  4. 前記円形セクタ別平均画素値は前記3次元多項式から抽出される請求項3に記載のレンズシェーディング補正ファクタの算出方法。
  5. 前記チャネル別画像のエッジをスムージング処理するステップをさらに含む請求項1に記載のレンズシェーディング補正ファクタの算出方法。
  6. 前記画素値が円形セクタは画素値の差が5以下である画素の集合である請求項1に記載のレンズシェーディング補正ファクタの算出方法。
  7. 画像を撮影するステップ;
    前記撮影された画像をチャネル毎に分離するステップ;
    前記チャネル毎に分離された画像を複数の円形セクタに分離するステップ;
    前記複数の円形セクタ毎に決められた補正ファクタを乗じるステップ;及び
    前記チャネル別画像を一つの画像に統合するステップを含むレンズシェーディング補正方法。
  8. 前記補正ファクタは、基準画像を獲得し、前記基準画像をチャネル毎に分離し、前記チャネル毎に分離された画像に対して、
    補正ファクタ=(チャネル別画像の最も高い画素の画素値)/(セクタの平均画素値)により算出される請求項7に記載のレンズシェーディング補正方法。
  9. 画像を獲得する撮像素子;
    獲得された画像に所定の画像処理を行って伝達する撮像部;及び
    前記撮像部から受信された画像を色相チャネル別画像に分離し、前記チャネル毎に分離された画像を複数の円形セクタに分離し、前記複数の円形セクタ毎に決められた補正ファクタを乗じ、前記補正ファクタが乗じられたチャネル別画像を一つの画像に統合するレンズシェーディング補正部を含むレンズシェーディング補正装置。
  10. 前記補正ファクタは、基準画像を獲得し、前記基準画像をチャネル毎に分離し、前記チャネル毎に分離された画像に対して、
    補正ファクタ=(チャネル別画像の最も高い画素の画素値)/(セクタの平均画素値)により算出される請求項9に記載のレンズシェーディング補正装置。
  11. 基準画像を獲得するステップ;
    前記基準画像をチャネル別画像に分離するステップ;
    前記チャネル別画像で複数のサンプル画素を決定するステップ;
    前記複数のサンプル画素の画素値を用いて2次元指数スプライン関数を前記チャネル別画像にフィッティングするステップ;
    前記指数スプライン関数の係数又は次数を調整して前記チャネル別画像の輝度値分布を算出するステップ;及び
    前記2次元指数スプライン関数に基づいて補正ファクタを算出するステップを含むレンズシェーディング補正ファクタの算出方法。
  12. 前記2次元指数スプライン関数は次のように定義され、
    ここで、Y(x)=w1(x)*w2(x)*...*wn(x)で、
    i(x)=exp(aix)で、
    C[i,j]はコントロールポイント行列で、
    i、j、m、nは整数、「*」は畳み込み演算子、aiは係数である請求項11に記載のレンズシェーディング補正ファクタの算出方法。
  13. 前記コントロールポイント行列は前記複数のサンプル画素のx、y座標及び画素値を用いて前記2次元指数スプライン関数から決定される請求項12に記載のレンズシェーディング補正ファクタの算出方法。
  14. 前記複数のサンプル画素を決定するステップは、
    前記チャネル別画像を複数の長方形セクタに分離するステップ;及び
    前記長方形の頂点に該当する画素を前記サンプル画素として決定するステップを含む請求項11に記載のレンズシェーディング補正ファクタの算出方法。
  15. 前記補正ファクタFはF=(チャネル別画像の最大画素値)/(前記画素値分布から算出された各画素の画素値)により算出される請求項11に記載のレンズシェーディング補正ファクタの算出方法。
  16. 画像を撮影するステップ;
    前記撮影された画像をチャネル毎に分離するステップ;
    前記チャネル毎に分離された画像に2次元指数スプライン関数を用いて算出された補正ファクタを乗じるステップ;及び
    前記チャネル別画像を一つの画像に統合するステップを含むレンズシェーディング補正方法。
  17. 前記補正ファクタFはF=(チャネル別画像の最大画素値)/(基準画像の画素分布により算出された各画素の画素値)により算出される請求項16に記載のレンズシェーディング補正方法。
  18. 前記基準画像の画素分布は次の2次元指数スプライン関数により算出され、
    ここで、Y(x)=w1(x)*w2(x)*...*wn(x)で、
    i(x)=exp(aix)で、
    C[i,j]はコントロールポイント行列で、
    i、j、m、nは整数、「*」は畳み込み演算子、aiは係数である請求項17に記載のレンズシェーディング補正ファクタの算出方法。
  19. 前記コントロールポイント行列は基準画像に対して獲得された複数のサンプル画素のx、y座標及び画素値を用いて前記2次元指数スプライン関数から決定される請求項18に記載のレンズシェーディング補正方法。
  20. 画像を獲得する撮像素子;
    獲得された画像に所定の画像処理を行って伝達する撮像部;及び
    前記撮像部から受信された画像をチャネル毎に分離し、前記チャネル毎に分離された画像に2次元指数スプライン関数を用いて算出された補正ファクタを乗じ、前記チャネル別画像を一つの画像に統合するレンズシェーディング補正部を含むレンズシェーディング補正装置。
JP2011175218A 2011-06-29 2011-08-10 レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置 Active JP6141587B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110063819A KR101812807B1 (ko) 2011-06-29 2011-06-29 영역별 가중치를 기반으로 한 적응형 자동 노출 제어 방법
KR10-2011-0063819 2011-06-29

Publications (3)

Publication Number Publication Date
JP2013013043A true JP2013013043A (ja) 2013-01-17
JP2013013043A5 JP2013013043A5 (ja) 2014-09-18
JP6141587B2 JP6141587B2 (ja) 2017-06-07

Family

ID=47390300

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011170991A Active JP6005915B2 (ja) 2011-06-29 2011-08-04 適応型自動露出制御方法
JP2011175218A Active JP6141587B2 (ja) 2011-06-29 2011-08-10 レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011170991A Active JP6005915B2 (ja) 2011-06-29 2011-08-04 適応型自動露出制御方法

Country Status (3)

Country Link
US (1) US8730353B2 (ja)
JP (2) JP6005915B2 (ja)
KR (1) KR101812807B1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456146B2 (en) * 2011-12-22 2016-09-27 Panasonic Intellectual Property Management Co., Ltd. Exposure control device, imaging device, image display device, and exposure control method
JP6046905B2 (ja) * 2012-04-02 2016-12-21 キヤノン株式会社 撮像装置、露出制御方法、及びプログラム
US9489750B2 (en) 2014-06-26 2016-11-08 Qualcomm Incorporated Exposure metering based on background pixels
KR102263537B1 (ko) 2014-09-30 2021-06-11 삼성전자주식회사 전자 장치와, 그의 제어 방법
CN104320593B (zh) * 2014-11-19 2016-02-24 湖南国科微电子股份有限公司 一种数码摄像装置自动曝光控制方法
WO2017155365A1 (en) 2016-03-11 2017-09-14 Samsung Electronics Co., Ltd. Electronic apparatus for providing panorama image and control method thereof
CN107330867B (zh) 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
CN107241558B (zh) * 2017-06-16 2019-07-19 Oppo广东移动通信有限公司 曝光处理方法、装置和终端设备
US11272113B2 (en) 2017-10-24 2022-03-08 Sony Corporation Control apparatus and control method for exposure adjustment
CN109819155B (zh) * 2017-11-20 2021-01-05 瑞昱半导体股份有限公司 自动曝光控制方法与使用其的电子装置
CN108174088A (zh) * 2017-12-26 2018-06-15 上海展扬通信技术有限公司 一种亮度调节方法、装置、终端及计算机可读存储介质
CN108200354B (zh) * 2018-03-06 2020-09-25 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN108805831B (zh) * 2018-05-26 2021-10-29 杭州电子科技大学 深海环境下的图像增强方法
CN112840637B (zh) 2018-09-07 2022-04-05 杜比实验室特许公司 自动曝光方法
WO2020051361A1 (en) 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of image sensors based upon entropy variance
CN110072050B (zh) * 2019-03-28 2021-03-30 苏州科达科技股份有限公司 曝光参数的自适应调整方法、装置及一种拍摄设备
CN110099222B (zh) * 2019-05-17 2021-05-07 睿魔智能科技(深圳)有限公司 一种拍摄设备的曝光调整方法、装置、存储介质及设备
KR20210016984A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 얼굴이 포함된 영상의 노출 값을 조절하는 전자 장치
WO2023146149A1 (ko) * 2022-01-27 2023-08-03 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
KR20230156556A (ko) * 2022-05-06 2023-11-14 삼성전자주식회사 폴더블 하우징에 배치된 카메라 모듈을 포함하는 전자 장치 및 그 동작 제어 방법
WO2024005333A1 (ko) * 2022-06-30 2024-01-04 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951410A (ja) * 1995-05-26 1997-02-18 Minolta Co Ltd フィルム画像読取装置
JP2001235319A (ja) * 2000-02-22 2001-08-31 Sumitomo Chem Co Ltd シェーディング補正装置及びシェーディング補正方法及び表面検査装置
JP2004178189A (ja) * 2002-11-26 2004-06-24 Dainippon Screen Mfg Co Ltd 量子化誤差の推定方法、プラントの同定方法、制御方法、量子化誤差の推定装置およびプログラム
JP2007036696A (ja) * 2005-07-27 2007-02-08 Mitsubishi Electric Corp 画像補正装置
WO2007129444A1 (ja) * 2006-04-14 2007-11-15 Nikon Corporation 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
US20080043117A1 (en) * 2004-08-18 2008-02-21 Mtekvision Co., Ltd, Method and Apparatus for Compensating Image Sensor Lens Shading
JP2008536567A (ja) * 2005-04-13 2008-09-11 エドワーズ ライフサイエンシーズ コーポレイション 心臓血管パラメータの連続的な評価のためのパルス輪郭法および装置
JP2009055442A (ja) * 2007-08-28 2009-03-12 Mitsubishi Electric Corp 画像補正装置
JP2010252325A (ja) * 2009-04-16 2010-11-04 Nvidia Corp 画像補正のためのシステム及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01217429A (ja) * 1988-02-26 1989-08-31 Fuji Photo Film Co Ltd 測光装置
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP3478769B2 (ja) * 1999-11-05 2003-12-15 キヤノン株式会社 撮像装置及び方法、並びにコンピュータ読み取り可能な記録媒体
KR100557219B1 (ko) * 2004-07-06 2006-03-07 삼성전자주식회사 자동 노출 보정 방법 및 보정 장치
US20070024721A1 (en) * 2005-07-29 2007-02-01 Rogers Sean S Compensating for improperly exposed areas in digital images
JP4639271B2 (ja) * 2005-12-27 2011-02-23 三星電子株式会社 カメラ
JP4345757B2 (ja) * 2006-02-22 2009-10-14 セイコーエプソン株式会社 画像データの色の補正
JP5127317B2 (ja) * 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
KR100992367B1 (ko) * 2008-12-01 2010-11-04 삼성전기주식회사 자동 노출 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0951410A (ja) * 1995-05-26 1997-02-18 Minolta Co Ltd フィルム画像読取装置
JP2001235319A (ja) * 2000-02-22 2001-08-31 Sumitomo Chem Co Ltd シェーディング補正装置及びシェーディング補正方法及び表面検査装置
JP2004178189A (ja) * 2002-11-26 2004-06-24 Dainippon Screen Mfg Co Ltd 量子化誤差の推定方法、プラントの同定方法、制御方法、量子化誤差の推定装置およびプログラム
US20080043117A1 (en) * 2004-08-18 2008-02-21 Mtekvision Co., Ltd, Method and Apparatus for Compensating Image Sensor Lens Shading
JP2008536567A (ja) * 2005-04-13 2008-09-11 エドワーズ ライフサイエンシーズ コーポレイション 心臓血管パラメータの連続的な評価のためのパルス輪郭法および装置
JP2007036696A (ja) * 2005-07-27 2007-02-08 Mitsubishi Electric Corp 画像補正装置
WO2007129444A1 (ja) * 2006-04-14 2007-11-15 Nikon Corporation 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
JP2009055442A (ja) * 2007-08-28 2009-03-12 Mitsubishi Electric Corp 画像補正装置
JP2010252325A (ja) * 2009-04-16 2010-11-04 Nvidia Corp 画像補正のためのシステム及び方法

Also Published As

Publication number Publication date
KR20130002699A (ko) 2013-01-08
KR101812807B1 (ko) 2017-12-27
US8730353B2 (en) 2014-05-20
JP6141587B2 (ja) 2017-06-07
JP6005915B2 (ja) 2016-10-12
JP2013013041A (ja) 2013-01-17
US20130002941A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
JP6141587B2 (ja) レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置
KR101826721B1 (ko) 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
TWI513298B (zh) 雙影像感測器影像處理系統及方法
RU2543974C2 (ru) Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки
RU2523027C1 (ru) Синхронизация вспышки с использованием сигнала тактирования интерфейса датчика изображения
KR101296035B1 (ko) 미가공 이미지 데이터를 프로세싱하기 위한 이미지 신호 프로세서 라인 버퍼 구성
KR101295977B1 (ko) 이미지 신호 처리 시스템에서 오디오 및 비디오 데이터를 동기화하기 위한 기술들
KR101320818B1 (ko) 이미지 신호 처리를 위한 오버플로우 제어 기술들
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8472712B2 (en) System and method for applying lens shading correction during image processing
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
US20170134634A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2005347811A (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP2015122634A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5159715B2 (ja) 画像処理装置
JP5464982B2 (ja) 撮像装置および画像処理方法
US8629917B2 (en) Image processing apparatus, method, and recording medium
JP2010141661A (ja) 画像処理装置
US8339481B2 (en) Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
JP2015088052A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160602

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6141587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250