JP2004153323A - 色収差補正画像処理システム - Google Patents
色収差補正画像処理システム Download PDFInfo
- Publication number
- JP2004153323A JP2004153323A JP2002313195A JP2002313195A JP2004153323A JP 2004153323 A JP2004153323 A JP 2004153323A JP 2002313195 A JP2002313195 A JP 2002313195A JP 2002313195 A JP2002313195 A JP 2002313195A JP 2004153323 A JP2004153323 A JP 2004153323A
- Authority
- JP
- Japan
- Prior art keywords
- register
- value
- color
- stored
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 48
- 238000012937 correction Methods 0.000 title claims description 96
- 238000012545 processing Methods 0.000 title claims description 50
- 230000015654 memory Effects 0.000 claims abstract description 69
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 56
- 238000005259 measurement Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 56
- 239000003086 colorant Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】色収差補正を高い精度で補正を行うことができるシステムを提供する。
【解決手段】光学系1から撮像素子4上に結像したカラー画像の輝度データを各カラーごとにメモリ5〜7に格納する撮像手段と、この撮像手段のメモリ5〜7に格納されたカラー画像のうちのいずれかを位置基準カラーとし、この位置基準カラーの任意の輝度データに対応する他のカラーの輝度データの位置を算出する第1の算出手段(8)と、この第1の算出手段の出力の他のカラーの輝度の位置情報と、参照する他のカラーの輝度データと参照する他のカラーの位置情報とから他のカラーの新たな輝度情報を算出する第2の算出手段(8)と、この第2の算出手段の出力の他のカラーの新たな輝度データを、前記位置基準カラーの任意の輝度データと対応するデータとして出力する出力手段10とを有する。
【選択図】 図1
【解決手段】光学系1から撮像素子4上に結像したカラー画像の輝度データを各カラーごとにメモリ5〜7に格納する撮像手段と、この撮像手段のメモリ5〜7に格納されたカラー画像のうちのいずれかを位置基準カラーとし、この位置基準カラーの任意の輝度データに対応する他のカラーの輝度データの位置を算出する第1の算出手段(8)と、この第1の算出手段の出力の他のカラーの輝度の位置情報と、参照する他のカラーの輝度データと参照する他のカラーの位置情報とから他のカラーの新たな輝度情報を算出する第2の算出手段(8)と、この第2の算出手段の出力の他のカラーの新たな輝度データを、前記位置基準カラーの任意の輝度データと対応するデータとして出力する出力手段10とを有する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、光学倍率色収差補正を行う色収差補正画像処理システムに関し、特に、光学倍率色収差補正を正確に処理できるようにした画像処理システムに関する。
【0002】
【従来の技術】
光学倍率色収差補正を行う画像処理システムの説明をする前に、光学倍率の色収差を説明する。光学倍率の色収差とは、レンズの径方向に発生する色収差のことであり、図11は、本発明の対象となる光学倍率色収差の説明のための光路図である。図11の左方向より被写体に反射した光が入射し、この光をレンズ1で屈折させ撮像素子4a上に結像させている。
【0003】
しかし、このレンズ1で発生する屈折は、光の波長により微小に異なるために、図11中におけるR光、G光、B光のように、撮像素子4aの異なった場所に結像してしまう。この現象が、光学倍率色収差と呼ばれる。なお、撮像素子4の幅がM、その高さがNであり、撮像素子4上の光学系中心のX座標がM/2、Y座標がN/2となる。
【0004】
この光学倍率色収差による結像位置の変化は、光の波長のほか、レンズに対する光の入射角度により変化するので、レンズ1の中心軸から、周辺方向に向かって、徐々に顕著になっていく。図11の撮像素子(正面)4bは、撮像素子(側面)4aを正面から見た図であり、光学系中心(水平方向)T1は光学系中心(垂直方向)T2と同様にレンズの中心軸を含む撮像素子の中心T1である。前述のように、光学倍率色収差による位置変化は、レンズ1の中心軸から周辺に向かって発生するので、R光、G光、B光の結像位置は、撮像素子(正面)4a上の、それぞれR光結像位置P2、G光結像位置P1、B光結像位置P3に結像する。
【0005】
図12は図11の各色結像位置の部分を拡大した平面図である。図12のP2,P1,P3はそれぞれR光結像位置(○印)、G光結像位置(□印)、B光結像位置(△印)を示している。また、図12中の格子は、撮像素子4の座標を表し、その交点に撮像素子が存在し、G光結像位置(図中P1)は、基準となる座標であり、撮像素子(図中の格子の交点)が存在する場所に取られる。また、R光結像位置P2の周囲に、格子の交点R00,R01,R01,R11が存在し、B光結像位置P3の周囲に、格子の交点B00,B01,B01,B11が存在する。
【0006】
図11のような光学倍率色収差を補正する方法として、複数のレンズを用いて光学的な補正を行う方法があったが、高価なものとなっていた。これに対して基準色の位置(P1)を基準に、基準色以外の輝度データをベクトル移動させることにより、補正を行う方法が提案されている。しかし、この方法では、撮像素子の間隔以上の精度を求めることはできないために、精度上の限界があった(例えば、特許文献1参照。)。
【0007】
まず、この特許文献1の構成について、図13のブロック図を引用して説明する。図13では、複数のレンズ1a,1bを通して、CCD4上に結像した画像データを、処理回路を介して、RGB各色毎にRフィールドメモリ5a、Gフィールドメモリ6a、Bフィールドメモリ7aに格納している。これらRフィールドメモリ5a、Gフィールドメモリ6a、Bフィールドメモリ7aに格納されたデータは、データ処理プロセッサ(DSP)8aにおいて下述するアドレス変換処理を施される。このDSP8aの出力が、それぞれDAコンバータ10a〜10cと色復調映像出力センサー10dからなる出力回路を介して、映像信号に戻される。
【0008】
なお、レンズ1a,1bは、レンズ駆動装置(2)により駆動される。レンズ1aは、フォーカス位置検出回路2fからの信号をA/Dコンバータ9bを介してCPU9aに供給され、A/F処理回路2dを介しモータドライバ回路2aにより駆動され、レンズ1bは、ズーム位置検出回路2cからの信号をA/Dコンバータ9bを介してCPU9aに供給せれ、モータドライバ回路2bにより駆動される。
【0009】
また、タイミング発生回路3aは、各部に基準タイミングを出力し、CCD4にもH、Vドライブ回路3b、3cを介してタイミングを出力する。CCD4の処理回路は、サンプルホールド9d、プリアンプ9e、AGC9f、ガンマ補正9g、A/Dコンバータ9hであり、これらをを介して、各フィールドメモリに供給される。
【0010】
ビデオカメラにおいて、ズームレンズ等を装着したことによる色収差を補正するように、撮像素子4より出力された映像信号をデジタルデータに変換して各色ごとにメモリに記憶するとともに、ズーム、フォーカス等の撮影レンズの状態に応じて各メモリ内の画素情報をメモリ上で2次元的にベクトル移動してから合成することにより、色収差を補正するようにしたものである。
【0011】
撮像素子1上に結像した画像は、図11のように、各色毎に別々のフィールドメモリ5a〜7aに格納されるが、説明の簡明化のために、同一図面上で取り扱うことにする。また、今後色収差の補正をG光の結像位置を基準に補正が行われる。このDSP8aにおける処理内容を、この特許文献1に示された図14の色収差補正の処理フロー図により説明する。
【0012】
まず、ステップS101で、基準値G(緑)光の輝度信号MGをレジスタAに格納している。次のステップS102では、前提として、座標軸上の中心位置を示すデータM/2,N/2がそれぞれCX ,CY レジスタにセットされ、フィルドメモリの各アドレスを順々にアクセスするためのポインタのイニシャル動作が行われ、X方向の開始アドレス0がX1レジスタに、Y方向の開始アドレス0がY1レジスターにセットされている。そして、基準位置の水平方向位置X1から、画像中心のオフセットCxを減算した値をさらに収差補正係数Kbで除算し、補正後の水平方向位置にあるべき補正前のB(青)の水平位置を求め、レジスタX2に格納している。
【0013】
ステップS103,104は、補正後の水平方向位置にあるべき補正前のB(青)の水平位置の、整数部をレジスタX3に、小数部をレジスタX2に格納している。ステップS105で、レジスタX2に格納された小数部が、−0.5から+0.5の範囲内にあるかどうかを判別し、その範囲内にある場合にはステップS106で、レジスタX3に格納された整数部に画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0014】
ステップS105で、レジスタX2に格納された小数部が、−0.5から+0.5の範囲内にない場合には、さらにステップS107で、レジスタX2の値が正か負かを判定し、正である場合にはレジスタX3に格納された整数部に1を加え、さらに画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0015】
ステップS107で、レジスタX2の値が負であると判定された場合には、ステップS109でレジスタX3に格納された整数部から1を減じ、さらに画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0016】
ステップS110からステップS117では、上記のステップS102からS109の処理と同様に、補正後のB(青)の垂直方向位置情報を求めてレジスタY3に格納している。ステップS118は、レジスタX3とレジスタY3の値より決まる補正後のB(青)の輝度信号を、レジスタBに格納している。
【0017】
次のステップS119からS135は、ステップS102からS118で、B(青)に行われたのと同じ処理をR(赤)に対して行い、補正後のR(赤)の輝度信号をレジスタCに格納している。B(青)の水平方向に関する上述の従来例の方法は、補正後の水平位置にあるべき補正前の水平位置の小数部を丸め込んで、補正後の水平位置の値を算出している。B(青)の垂直方向、R(赤)の水平・垂直方向も同様である。
【0018】
なお、図11では、G(緑)の位置P1を基準にして、補正後の位置で最短距離にあるB(青)とR(赤)の輝度信号を基準位置のG(緑)の位置に存在するB(青)とR(赤)の輝度信号としている。
【0019】
次に、図14のステップS102で、B光のX方向の結像位置が求められ、ステップS103からS109で、小数点以下の数値より、図12のB00およびB10のX座標が求められレジスタX3に格納される。さらに、ステップS110でB光のY方向の結像位置が求められ、ステップS111からS117で、小数点以下の数値より、図12のB00およびB01のY座標が求められレジスタY3に格納される。
【0020】
以上で求めたレジスタX3およびレジスタY3の値より、図12においてB光結像位置(図中P3)に最も近い撮像素子のデータB00が、B光撮像位置にある輝度データとしてレジスタBに格納される。また、R光についても、図14のステップS119からS134を用いて、レジスタCに、図12のR11の輝度データがR光結像位置に最も近い撮像素子のデータとして格納される。
【0021】
また、カラー映像信号の色収差を所定信号処理により補正する信号処理方法も示されている(例えば、特許文献2参照。)。これは、撮像により得られたカラー映像信号に基づいて、そのカラー映像信号に基づくカラー映像内の基準位置からの距離に応じた色収差の収差量を検出する第1のステップと、検出した上記収差量に基づいて、上記カラー映像信号に対して上記色収差を補正する所定の信号処理を施す第2のステップとを備えている。
【0022】
この文献2においては、第1の画素PCG と第2及び第3の画素PCR 、PCB との相関検出処理の煩雑化を回避すべく、画面中央の数走査ライン分のデータのみを利用して画面中心Oからの距離Lに応じた緑色を基準とする赤色及び青色の収差量CAR 、CAB を各フォーカス位置毎にそれぞれ検出している。
【0023】
この画面中央の数走査ライン分のデータのみを利用することで、画面中央の数走査ライン分では垂直方向の色収差を無視できることから、第1及び第2の画素PCG 、PCR 並びに第1及び第3の画素PCG 、PCB を同じ走査ライン上で探し出せば良く、その分垂直方向の相関計算を省略させて演算量を格段に低減させている。
【0024】
この相関関係のある第1及び第2の画素PCG 、PCR 並びに第1及び第3の画素PCG 、PCB 画素を検出できれば、それらの間の距離lR 、lB が緑色を基準とする赤色及び青色の収差量CAR 、CAB であることから、画面中心Oからの距離Lが異なる複数の赤色及び青色の収差量CAR 、CAB のサンプルに基づいて色収差特性曲線KR 、KB を算出でき、当該算出した色収差特性曲線KR 、KB のデータに基づいて色収差に対する補正処理を行っている。
【0025】
【特許文献1】
特開平5−3568号公報
【特許文献2】
特開2000―299874号公報
【0026】
【発明が解決しようとする課題】
しかし、前述の図13、図14で説明した特許文献1の色収差補正方法では、撮像素子上に存在するデータのうち、基準色以外のカラーの結像位置に最も近いデータを補正データ位置としてベクトル移動により基準色の結像位置に移動させる方法であるが、この補正方法は、図15の画素部分の拡大図のような補正となる。
【0027】
すなわち、図15は、基準色結像位置=G光結像位置(図中の□印のP1)と、基準色位置に結像すべき他色の結像位置(R光結像位置:図中P2、B光結像位置:図中の△印のP3)と、従来技術の補正方法により求められる他色の結像データの位置(R光補正データ位置:図中の●印のP4、B光補正データ位置:図中の▲印のP5)を示す。
【0028】
この図15から明らかなように、基準色(G)以外のカラーの結像位置と補正データ位置の間には、最大で撮像素子の間隔の1/2の距離誤差が発生する。従って、撮像素子の座標位置で最大1/2の誤差が発生することになり、このために、各点での輝度についても、正確な値ではないという問題がある。
【0029】
また、特許文献2では、画面中心付近のデータから補正係数を抽出して補正係数の算出の煩雑さを除いており、かつフィールドメモリを介することなくCCD出力を直接補正しているので、特許文献1のような演算処理がなされておらず、処理方式が相違し、正確な補正演算処理ができるかどうか不明である。
【0030】
本発明の目的は、正確な補正処理を可能とした色収差補正画像処理システムを提供することにある。
【0031】
【課題を解決するための手段】
本発明の画像処理システムの構成は、光学レンズとカラーフィ ルタを介して撮像素子上に結像したカラー画像の輝度データを各カラーごとにメモリに格納する撮像手段と、前記撮像手段においてメモリに格納されたカラー画像のうちのいずれかを位置基準カラーとし、この位置基準カラーの任意の輝度データに対応する他のカラーの輝度データの位置を算出する第1の算出手段と、前記第1の算出手段の算出結果である他のカラーの輝度の位置情報と、参照する他のカラーの輝度データと参照する他のカラーの位置情報とにより、前記第1の算出手段の算出結果である他のカラーの新たな輝度情報を算出する第2の算出手段と、前記第2の算出手段の算出結果である他のカラーの新たな輝度データを、前記位置基準カラーの任意の輝度データと対応するデータとして記録あるいは出力する出力手段とを有することを特徴とする。
【0032】
本発明において、第1の算出手段は、レンズと撮像素子の任意の位置を標準位置として測定した補正係数を記録している記録手段と、前記レンズの位置を測定する位置測定手段と、前記標準位置との前記位置測定手段の測定した結果との差分から前記補正係数を補正する補正手段を備えることができ、また、第2の算出手段は、第1の算出手段の算出結果である他のカラーの位置データを、撮像素子の素子間距離で正規化する正規化手段を有することができる。
【0033】
本発明において、さらに、第2の算出手段は、正規化手段の正規化した位置データを、整数部と小数部に分離する分離手段と、前記位置データの整数部より参照する輝度データを決定する手段と、位置データの小数部と決定された輝度データから、新たな輝度データを算出する第3の算出手段とを有することができ、また、これら補正演算では、第1の算出手段および第2の算出手段が、直線近似法またはキュービックコンボリュージョン法を用いて近似的に補正を行なうことが出来る。
【0034】
なお、本発明の構成において、光学倍率色収差を補正する際、基準色の座標から基準色以外の光が光学倍率色収差により結像する座標を算出して補正を行うが、前記基準色以外の光が光学倍率色収差により結像する座標は、必ずしも撮像素子の座標とは一致しないため、その基準色以外の光が結像している座標の近傍の撮像素子の輝度データと、その基準色以外の光が光学倍率色収差により結像している座標と撮像素子の座標の距離から、その基準色以外の光が結像する座標の輝度データを新たに算出して補正を行うものである。
【0035】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。本発明の光学倍率色収差算出方法には、直線近似法、キュービックコンボリュージョン法などがある。これら直線近似法、キュービックコンボリュージョン法は、いずれも画像の拡大、縮小の一般的な方法であり、例えば、K.R.Rao,P.Yip著、安田浩、藤原洋共訳「画像符号化技術」(オーム社、1990年刊)に記載されている。
【0036】
以下に説明する第1の実施例には直線近似法を用いた例を、第2の実施例にはキュービックコンボリュージョン法を用いた例を説明する。また、第3の実施例として、画像の拡大あるいは縮小と同時に行うことにより、本発明の補正処理を行うことにより生じる新たな処理時間を大幅に削減する方法を説明する。
【0037】
図1は本発明の第1の実施形態の適用される画像処理システムのブロック図である。ここで説明する第1の実施形態は、基準色以外の輝度データの算出方法に、直線近似法を用一例である。
【0038】
図1を参照すると、本実施形態の構成は、レンズ1は、図の左方向より入射する光を屈折させ、CCD4上に結像させる。CCD4は、その撮像面にR、G、Bなどの色フィルターが備わったカラー用のCCDである。CCD4に蓄えられたデータは、タイミング発生回路3で発生した出力タイミングで、各色毎にRフィールドメモリ5、Gフィールドメモリ6、Bフィールドメモリ7へとそれぞれ転送される。
【0039】
CPU9は、レンズ駆動装置2を制御し、ズーム、フォーカスの制御を行うとともに、レンズの特性から決定される補正情報をDSP8へ供給する。DSP8は、CPU9から提供された補正情報を使って、Rフィールドメモリ5、Gフィールドメモリ6、Bフィールドメモリ7のデータに後述する補正を行い、出力回路10に出力する。出力回路10は、スチルカメラの場合は蓄積媒体への出力回路であり、ビデオカメラであればテープなどの媒体あるいは画像出力への出力回路となる。
【0040】
次に、本実施形態の動作について、図2および図3のフロー図を参照して詳細に説明する。なお、レンズの光路については、図11、図12の色収差の説明図およびその拡大図が参照され、R光結像位置P2、G光結像位置P1、B光結像位置P3、および図12中のR00、R01、R10、R11およびB00、B01、B10、B112がそれぞれR光結像位置、B光結像位置の最近傍の撮像素子の輝度データである。
【0041】
図2および図3が、本実施形態(図1)中のDSP8で実施される補正処理を説明するフロー図である。図2において、この補正処理が開始されると、ステップS1では、図11の撮像素子上の光学系中心のX座標であるM/2がレジスタCxに格納され、ステップS2では、図11の撮像素子上の光学系中心のY座標であるN/2がレジスタCyに格納される。ステップS3,S4では、基準色Gの結像位置の初期化を行っている。ステップS5は、本実施形態の補正処理であるが、その内容を図3のフロー図に詳述する。
【0042】
図3において、補正処理が開始されると、ステップS11では、基準色Gの輝度データをレジスタAに格納している。ステップS12では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のX座標を算出し、レジスタX2に格納している。
【0043】
ステップS13で、レジスタX2のR光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS14では、レジスタX2の値からレジスタX3の値を減算することにより、R光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。ステップS15で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のY座標を算出し、レジスタY2に格納し、ステップS16で、レジスタY2のR光の結像位置のY座標を整数化しレジスタY3に格納している。
【0044】
ステップS17では、レジスタY2の値からレジスタY3の値を減算することにより、R光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納し、ステップS18では、レジスタX3とレジスタY3の値より、図1のRフィールドメモリ5から、図12のR00の値を呼び出し、レジスタBに格納している。
【0045】
ステップS19では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から 図12のR01の値を呼び出し、レジスタCに格納している。ステップS20では、レジスタX3の値と、レジスタY3の値に1を加えた値とにより、図1のRフィールドメモリ5から図12のR10の値を呼び出し、レジスタDに格納し、ステップS21では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図12のR11の値を呼び出し、レジスタEに格納している。
【0046】
ステップS22では、レジスタB、レジスタC、レジスタD、レジスタEに格納されたR00、R01、R10、R11の値と、レジスタX2、レジスタY2に格納されたR光の結像位置の小数点以下の値を使って、直線近似を行い、求めた結果をR光の結像位置における新たな輝度データとしてレジスタFに格納している。
【0047】
ステップS23では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のX座標を算出し、レジスタX2に格納し、ステップS24で、レジスタX2のB光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS25では、レジスタX2の値からレジスタX3の値を減算することにより、B光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。
【0048】
ステップS26で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のY座標を算出し、レジスタY2に格納している。
【0049】
ステップS27で、レジスタY2のB光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS28では、レジスタY2の値からレジスタY3の値を減算することにより、B光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納している。
【0050】
ステップS29では、レジスタX3とレジスタY3の値より、図1のBフィールドメモリ7から、図12のB00の値を呼び出し、レジスタBに格納し、ステップS30では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図12のB01の値を呼び出し、レジスタCに格納している。
【0051】
ステップS31では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図12のB10の値を呼び出し、レジスタDに格納し、ステップS32では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から図3のB11の値を呼び出し、レジスタEに格納している。
【0052】
ステップS33では、レジスタB、レジスタC、レジスタD、レジスタEに格納されたB00、B01、B10、B11の値と、レジスタX2、レジスタY2に格納されたB光の結像位置の小数点以下の値を使って、直線近似を行い、求めた結果をB光の結像位置における新たな輝度データとしてレジスタGに格納している。ステップS34にて、1画素に関する補正処理を完了し、図2のステップS6に復帰する。
【0053】
このステップS6では、基準色Gの結像位置を水平方向に1画素分進めるためにレジスタX1の値に1を加え、レジスタX1に格納する。ステップS7では、基準色Gの結像位置のX座標が、撮像素子の水平方向の最大値を越えていないスを判断し、超えていない場合には、ステップS5に戻り補正処理を繰り返す。ステップS7において、基準色GのX座標が、撮像素子の水平方向の最大値を越えている場合には、ステップS8の処理に進む。ステップS8では、基準色Gの結像位置を垂直方向に1画素分進めるために、レジスタY1の値に1を加え、レジスタY1に格納する。
【0054】
さらに、ステップS9では、基準色Gの結像位置のY座標が、撮像素子の垂直方向を越えていないかを判断し、超えていない場合には、ステップS5に戻り補正処理を繰り返す。ステップS9において、基準色GのY座標が、撮像素子の垂直方向の最大値を越えている場合には、次のステップに進むが、ここは補正処理の終了点であり、このフローに到達した時点では、補正処理が撮像素子の全画素に施されている。
【0055】
さらに、図3のステップS22およびS33において、実施されるレジスタB、レジスタC、レジスタD、レジスタE、レジスタX2、レジスタY2の値より、基準色G以外の結像位置における新たな輝度データとして、直線近似法で算出する方法について、次の図4の素子拡大図を用いて、図3のステップS22で処理されるR光について説明する。
【0056】
図4は、図2のR光の結像位置P1と、このR光の結像位置P1の最近傍の撮像素子の位置周辺を拡大した図であり、ステップS15でレジスタX2に格納されているR光の結像位置のX座標の小数点以下の値をβRX、同じくステップS17でレジスタY2に格納されているR光の結像位置のY座標の小数点以下の値をβRYと記載している。
【0057】
直線近似法では、近傍4個所の輝度データが、任意の位置の輝度に与える影響を距離に反比例するものとしているので、レジスタBに格納されているR00が、R光結像位置P2に与える影響は、R00・βRX・βRYであり、レジスタCに格納されているR01が、R光結像位置P2に与える影響は
R01・(1−βRX)・βRYであり、レジスタDに格納されているR10が、R光結像位置P2に与える影響は
R10・βRX・(1−βRY)であり、レジスタEに格納されているR11が、R光結像位置に与える影響はR11・(1−βRX)・(1−βRY)である。
【0058】
従って、最近傍のR00、R01、R10、R11より求められるR光の結像位置における輝度データは
R00・βRX・βRY+R01・(1−βRX)・βRY+R10・βRX・(1−βRY)+R11・(1−βRX)・(1−βRY)である。 この輝度データの算出式のR00、R01、R10、R11およびβRX、βRYを、レジスタB、レジスタC、レジスタD、レジスタEおよびレジスタX2、レジスタY2に置き換えると、図3のステップS22に記載している次の式(1)となる。ステップS33で用いるB光の結像位置の新たな輝度データを算出する式も同様に次の式(2)となる。
【0059】
F←BX2 Y2 +C(1―X2 )Y2 +DX2 (1―Y2 )
+E(1―X2 )(1―Y2 )…………(1)
G←BX2 Y2 +C(1―X2 )Y2 +DX2 (1―Y2 )
+E(1―X2 )(1―Y2 )…………(2)。
【0060】
次に、補正係数について、図5を用いて説明する。図5(a)において、光学レンズ1で屈折した光が、波長の差異により、標準距離だけ離れたCCD4上に結像する位置のレンズ中心からの距離をG光を1とした場合に、R光の距離をKR、B光の距離をKBとしている。図1のCPU9は、レンズ中心から周辺部にわたるG光の位置と、KR、KBの値を記録している。
【0061】
また図5(b)において、光学レンズ1で屈折した光が、波長の差異により、標準距離×αだけ離れたCCD4上に結像する位置のレンズ中心からの距離をG光を1とした場合に、R光の距離をKR’ 、B光の距離をKB’ としている。このとき、KR’ =α×KR、KB’ =α×KBが成り立つ。
【0062】
図1のCPU9は、レンズ駆動装置2より上述のαの値を受け取り、これから処理を行う基準光Gの座標データより必要なKR、KBの値を決定し、それぞれにαを乗じて、DSP8に補正係数として引き渡し補正する。
【0063】
本発明の実施の第2の形態について図面を参照して詳細に説明する。以下で、説明する第2の実施形態は、基準色以外の輝度データの算出方法に、キュービック・コンボリュージョン法を用いた例である。第2の実施形態の構成は、図1を用いて説明した第1の実施形態の構成と同一であるので、説明を省略する。
【0064】
次に、本発明の第2の実施例の動作について、図6および図7と図8および図9を参照して詳細に説明する。なお、図11、図12を参照する点は第1の実施形態と同様である。
【0065】
図6は、図11の各色結像位置の部分を拡大した図である。光学色収差の補正をG光の結像位置を基準に補正を行う例を説明する。図6の○□△印が、それぞれR光結像位置P2、G光結像位置P1、B光結像位置P3を示しているのは、図11と同様である。また、図6中の格子は、撮像素子1の座標を表し、その交点に撮像素子が存在するのも、図12と同様である。
【0066】
図6の中のR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33およびB00、B01、B02、B03、B10、B11、B12、B13、B20、B21、B22、B23、B30、B31、B32、B33は、それぞれR光結像位置、B光結像位置の最近傍の撮像素子の輝度データである。
【0067】
図7および図8は、本発明の第2の実施形態において、図1の構成図中のDSP8で実施される補正処理のフロー図であり、図2のフローに付加されるフローである。図2の内容は、第1の実施形態と同一であるので、説明を省略する。図2のステップS4が完了した後、処理はステップS5に進むが、本実施形態では、ステップS5の補正処理が第1の実施形態とは異なるので、図7、図8でその処理内容を説明する。
【0068】
図7のステップS41では、基準色Gの輝度データをレジスタAに格納している。ステップS42では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のX座標を算出し、レジスタX2に格納している。
【0069】
またステップS43で、レジスタX2のR光の結像位置のX座標を整数化しレジスタX3に格納している。ステップS44は、レジスタX2の値からレジスタX3の値を減算することにより、R光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。ステップS45で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のY座標を算出し、レジスタY2に格納している。
【0070】
さらに、ステップS46で、レジスタY2のR光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS47では、レジスタY2の値からレジスタY3の値を減算することにより、R光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納し、ステップS48では、レジスタX3の値から1を減じた値とレジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR00の値を呼び出し、レジスタBに格納している。
【0071】
ステップS49では、レジスタX3の値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から図6のR01の値を呼び出し、レジスタCに格納している。ステップS50では、レジスタX3の値に1を加えた値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR02の値を呼び出し、レジスタDに格納している。
【0072】
ステップS51では、レジスタX3の値に2を加えた値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR03の値を呼び出し、レジスタEに格納している。ステップS52では、レジスタX3の値から1を減じた値とレジスタY3の値より、図1のRフィールドメモリ5から図6のR10の値を呼び出し、レジスタFに格納している。ステップS53では、レジスタX3の値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR11の値を呼び出し、レジスタGに格納している。
【0073】
ステップS54では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR12の値を呼び出し、レジスタHに格納している。ステップS55では、レジスタX3の値に2を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR13の値を呼び出し、レジスタIに格納している。ステップS56では、レジスタX3の値から1を減じた値とレジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から、図6のR20の値を呼び出し、レジスタJに格納している。
【0074】
ステップS57では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図6のR21の値を呼び出し、レジスタKに格納している。ステップS58では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図6のR22の値を呼び出し、レジスタLに格納している。
【0075】
ステップS59では、レジスタX3の値に2を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から、図6のR23の値を呼び出し、レジスタOに格納している。ステップS60では、レジスタX3の値から1を減じた値とレジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR30の値を呼び出し、レジスタPに格納している。
【0076】
ステップS61では、レジスタX3の値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR31の値を呼び出し、レジスタQに格納している。ステップS62では、レジスタX3の値に1を加えた値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR32の値を呼び出し、レジスタRに格納している。ステップS63では、レジスタX3の値に2を加えた値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から図6のR33の値を呼び出し、レジスタSに格納している。
【0077】
ステップS64では、レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに格納されたR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33の値と、レジスタX2、レジスタY2に格納されたR光の結像位置の小数点以下の値を使って、図10に示す式を用いて説明する近似計算を行い、求めた結果をR光の結像位置における新たな輝度データとしてレジスタZに格納している。
【0078】
続いて処理は、図8のフローへ進む。ステップS65では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のX座標を算出し、レジスタX2に格納している。ステップS66で、レジスタX2のB光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS67では、レジスタX2の値からレジスタX3の値を減算することにより、B光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。
【0079】
ステップS68で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のY座標を算出し、レジスタY2に格納し、ステップS69で、レジスタY2のB光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS70では、レジスタY2の値からレジスタY3の値を減算することにより、B光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納している。
【0080】
ステップS71では、レジスタX3の値から1を減じた値とレジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から図6のB00の値を呼び出し、レジスタBに格納し、ステップS72では、レジスタX3の値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から、図6のB01の値を呼び出し、レジスタCに格納している。
【0081】
ステップS73では、レジスタX3の値に1を加えた値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から図6のB02の値を呼び出し、レジスタDに格納し、ステップS74では、レジスタX3の値に2を加えた値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から、図6のB03の値を呼び出し、レジスタEに格納している。
【0082】
ステップS75では、レジスタX3の値から1を減じた値とレジスタY3の値より、図1のBフィールドメモリ7から図6のB10の値を呼び出し、レジスタFに格納している。ステップS76では、レジスタX3の値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB11の値を呼び出し、レジスタGに格納している。ステップS77では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB12の値を呼び出し、レジスタHに格納している。
【0083】
ステップS78では、レジスタX3の値に2を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB13の値を呼び出し、レジスタIに格納し、ステップS79では、レジスタX3の値から1を減じた値とレジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB20の値を呼び出し、レジスタJに格納している。
【0084】
ステップS80では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から図6のB21の値を呼び出し、レジスタKに格納し、ステップS81では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB22の値を呼び出し、レジスタLに格納している。
【0085】
ステップS82では、レジスタX3の値に2を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB23の値を呼び出し、レジスタOに格納し、ステップS83では、レジスタX3の値から1を減じた値とレジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB30の値を呼び出し、レジスタPに格納している。
【0086】
ステップS84では、レジスタX3の値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB31の値を呼び出し、レジスタQに格納し、ステップS85では、レジスタX3の値に1を加えた値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB32の値を呼び出し、レジスタRに格納している。ステップS86では、レジスタX3の値に2を加えた値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB33の値を呼び出し、レジスタSに格納している。
【0087】
ステップS87では、レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに格納されたB00、B01、B02、B03、B10、B11、B12、B13、B20、B21、B22、B23、B30、B31、B32、B33の値と、レジスタX2、レジスタY2に格納されたB光の結像位置の小数点以下の値を使って、図10の式を用いて説明する近似計算を行い、求めた結果をB光の結像位置における新たな輝度データとしてレジスタZに格納している。ここで、1画素に関する補正処理を完了し、図2のステップS5に復帰する。
【0088】
図2では、第1の実施形態と同様に、ステップS5、S6,S7,S8を使って、撮像素子1の全画素に対して、図7と図8の補正処理を繰り返し、ステップS9に達した時点で処理を終了する。
【0089】
さらに、図7のステップS63および図8のステップS87の内容について、図9を用いて処理されるR光について説明する。図9は、図6のR光の結像位置と、R光の結像位置の最近傍の撮像素子の位置周辺を拡大した図であり、ステップS44でレジスタX2に格納されているR光の結像位置のX座標の小数点以下の値βRX、同じくステップS47でレジスタY2に格納されているR光の結像
位置のY座標の小数点以下の値をβRYと記載している。
【0090】
キュービック・コンボリュージョン法では、近傍16個所の輝度データが、任意の位置の輝度に与える影響を3次方程式を解くことにより求める方法である。このキュービックコンボリュージョン法では、求める位置との距離|l|=Lとした時、1>L≧0のとき、求める位置の輝度に与える影響は、
式(a+2)L3 −(a+3)L2 +12>L≧1のとき、
求める位置の輝度に与える影響は、
式aL3 −5aL−4aであるとするものである。なお、式中のaは画質を調整する為の係数であり、任意の定数である。
【0091】
この式を、図6中のR光の結像位置の近傍16個所の輝度データR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33を、それぞれ図7にて格納しているレジスタ名レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに置き換え、さらにβRXとβRYを格納先のレジスタX2、Y2に置き換えて適用すると、図10のレジスタZに書き込まれる数値を算出する式(3)となる。ステップS33で用いるB光の結像位置の新たな輝度データを算出する式も同様である。
【0092】
本発明の実施の第3の形態について説明する。画像処理システムでは、画像の拡大あるいは縮小が、撮像から出力までのいずれかの段階で行われる。前述した第1の実施形態、第2の実施形態では、基準色を定めて、基準色の撮像素子上の座標を基準にして、基準色以外の光の輝度データを算出しているが、第3の実施形態として、拡大あるいは縮小された基準色の座標を基準にすることにより、本発明の目的であった光学倍率色収差の補正と同時に、画像の拡大あるいは縮小処理を行うことが出来る。
【0093】
この本実施形態の補正処理は、画像の拡大あるいは縮小の手法とほぼ同じであるので、同時に処理することにより、補正処理を行うために発生する処理時間を大幅に削減できる。
【0094】
【発明の効果】
以上説明したように、本発明の構成によれば、基準色の結像位置を基準にする点では、従来例と同一であるが、本発明では、基準色以外のカラーの結像位置データと、左記の結像位置近傍の撮像素子の輝度データから、基準色以外のカラーの輝度データを求め、基準色以外のカラーの輝度データとしているので、輝度データの精度は、演算精度と演算手法にのみ依存することになり、高い精度で補正を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を説明する色収差補正方式のブロック図。
【図2】図1の色収差補正方式を説明するフロー図。
【図3】図2の補正処理を詳細に説明するフロー図。
【図4】図3の補正処理を説明する撮像素子面の部分拡大図。
【図5】(a)(b)は本実施形態のレンズ位置による補正係数を説明する光路図。
【図6】本発明の第2の実施形態を説明する撮像素子面の部分拡大図。
【図7】本発明の第2の実施形態の色収差補正方式をを説明するフロー図。
【図8】図7の補正処理を詳細に説明するフロー図。
【図9】図7,図8の補正処理を説明する撮像素子面の部分拡大図。
【図10】図7の補正内容を説明する式の図。
【図11】一般の色収差補正方式を説明する光学系の光路図。
【図12】図11の補正処理を説明する撮像素子面の部分拡大図。
【図13】従来例の色収差補正方式を説明する画像処理システムのブロック図。
【図14】図13の色収差補正方式をを説明するフロー図。
【図15】図13の補正処理を説明する撮像素子面の部分拡大図。
【符号の説明】
1,1a,1b レンズ
2 レンズ駆動装置
2a,2b レンズドライバ回路
2c,2f ズーム,フォーカス位置検出器
3,3a タイミング発生回路
4 CCD
4a CCD(側面)
4b CCD(平面)
5,5a Rフィールドメモリ
6,6a Gフィールドメモリ
7,7a Bフィールドメモリ
8,8a DSP
9,9a CPU
9b A/Dコンバータ
9c メモリ
9d〜9h 処理回路
10 出力回路
10a〜10c D/Aコンバータ
【発明の属する技術分野】
本発明は、光学倍率色収差補正を行う色収差補正画像処理システムに関し、特に、光学倍率色収差補正を正確に処理できるようにした画像処理システムに関する。
【0002】
【従来の技術】
光学倍率色収差補正を行う画像処理システムの説明をする前に、光学倍率の色収差を説明する。光学倍率の色収差とは、レンズの径方向に発生する色収差のことであり、図11は、本発明の対象となる光学倍率色収差の説明のための光路図である。図11の左方向より被写体に反射した光が入射し、この光をレンズ1で屈折させ撮像素子4a上に結像させている。
【0003】
しかし、このレンズ1で発生する屈折は、光の波長により微小に異なるために、図11中におけるR光、G光、B光のように、撮像素子4aの異なった場所に結像してしまう。この現象が、光学倍率色収差と呼ばれる。なお、撮像素子4の幅がM、その高さがNであり、撮像素子4上の光学系中心のX座標がM/2、Y座標がN/2となる。
【0004】
この光学倍率色収差による結像位置の変化は、光の波長のほか、レンズに対する光の入射角度により変化するので、レンズ1の中心軸から、周辺方向に向かって、徐々に顕著になっていく。図11の撮像素子(正面)4bは、撮像素子(側面)4aを正面から見た図であり、光学系中心(水平方向)T1は光学系中心(垂直方向)T2と同様にレンズの中心軸を含む撮像素子の中心T1である。前述のように、光学倍率色収差による位置変化は、レンズ1の中心軸から周辺に向かって発生するので、R光、G光、B光の結像位置は、撮像素子(正面)4a上の、それぞれR光結像位置P2、G光結像位置P1、B光結像位置P3に結像する。
【0005】
図12は図11の各色結像位置の部分を拡大した平面図である。図12のP2,P1,P3はそれぞれR光結像位置(○印)、G光結像位置(□印)、B光結像位置(△印)を示している。また、図12中の格子は、撮像素子4の座標を表し、その交点に撮像素子が存在し、G光結像位置(図中P1)は、基準となる座標であり、撮像素子(図中の格子の交点)が存在する場所に取られる。また、R光結像位置P2の周囲に、格子の交点R00,R01,R01,R11が存在し、B光結像位置P3の周囲に、格子の交点B00,B01,B01,B11が存在する。
【0006】
図11のような光学倍率色収差を補正する方法として、複数のレンズを用いて光学的な補正を行う方法があったが、高価なものとなっていた。これに対して基準色の位置(P1)を基準に、基準色以外の輝度データをベクトル移動させることにより、補正を行う方法が提案されている。しかし、この方法では、撮像素子の間隔以上の精度を求めることはできないために、精度上の限界があった(例えば、特許文献1参照。)。
【0007】
まず、この特許文献1の構成について、図13のブロック図を引用して説明する。図13では、複数のレンズ1a,1bを通して、CCD4上に結像した画像データを、処理回路を介して、RGB各色毎にRフィールドメモリ5a、Gフィールドメモリ6a、Bフィールドメモリ7aに格納している。これらRフィールドメモリ5a、Gフィールドメモリ6a、Bフィールドメモリ7aに格納されたデータは、データ処理プロセッサ(DSP)8aにおいて下述するアドレス変換処理を施される。このDSP8aの出力が、それぞれDAコンバータ10a〜10cと色復調映像出力センサー10dからなる出力回路を介して、映像信号に戻される。
【0008】
なお、レンズ1a,1bは、レンズ駆動装置(2)により駆動される。レンズ1aは、フォーカス位置検出回路2fからの信号をA/Dコンバータ9bを介してCPU9aに供給され、A/F処理回路2dを介しモータドライバ回路2aにより駆動され、レンズ1bは、ズーム位置検出回路2cからの信号をA/Dコンバータ9bを介してCPU9aに供給せれ、モータドライバ回路2bにより駆動される。
【0009】
また、タイミング発生回路3aは、各部に基準タイミングを出力し、CCD4にもH、Vドライブ回路3b、3cを介してタイミングを出力する。CCD4の処理回路は、サンプルホールド9d、プリアンプ9e、AGC9f、ガンマ補正9g、A/Dコンバータ9hであり、これらをを介して、各フィールドメモリに供給される。
【0010】
ビデオカメラにおいて、ズームレンズ等を装着したことによる色収差を補正するように、撮像素子4より出力された映像信号をデジタルデータに変換して各色ごとにメモリに記憶するとともに、ズーム、フォーカス等の撮影レンズの状態に応じて各メモリ内の画素情報をメモリ上で2次元的にベクトル移動してから合成することにより、色収差を補正するようにしたものである。
【0011】
撮像素子1上に結像した画像は、図11のように、各色毎に別々のフィールドメモリ5a〜7aに格納されるが、説明の簡明化のために、同一図面上で取り扱うことにする。また、今後色収差の補正をG光の結像位置を基準に補正が行われる。このDSP8aにおける処理内容を、この特許文献1に示された図14の色収差補正の処理フロー図により説明する。
【0012】
まず、ステップS101で、基準値G(緑)光の輝度信号MGをレジスタAに格納している。次のステップS102では、前提として、座標軸上の中心位置を示すデータM/2,N/2がそれぞれCX ,CY レジスタにセットされ、フィルドメモリの各アドレスを順々にアクセスするためのポインタのイニシャル動作が行われ、X方向の開始アドレス0がX1レジスタに、Y方向の開始アドレス0がY1レジスターにセットされている。そして、基準位置の水平方向位置X1から、画像中心のオフセットCxを減算した値をさらに収差補正係数Kbで除算し、補正後の水平方向位置にあるべき補正前のB(青)の水平位置を求め、レジスタX2に格納している。
【0013】
ステップS103,104は、補正後の水平方向位置にあるべき補正前のB(青)の水平位置の、整数部をレジスタX3に、小数部をレジスタX2に格納している。ステップS105で、レジスタX2に格納された小数部が、−0.5から+0.5の範囲内にあるかどうかを判別し、その範囲内にある場合にはステップS106で、レジスタX3に格納された整数部に画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0014】
ステップS105で、レジスタX2に格納された小数部が、−0.5から+0.5の範囲内にない場合には、さらにステップS107で、レジスタX2の値が正か負かを判定し、正である場合にはレジスタX3に格納された整数部に1を加え、さらに画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0015】
ステップS107で、レジスタX2の値が負であると判定された場合には、ステップS109でレジスタX3に格納された整数部から1を減じ、さらに画像中心のオフセットCxを加えた値を、補正後の水平方向位置にあるべき補正前のB(青)の水平位置としてレジスタX3に格納する。
【0016】
ステップS110からステップS117では、上記のステップS102からS109の処理と同様に、補正後のB(青)の垂直方向位置情報を求めてレジスタY3に格納している。ステップS118は、レジスタX3とレジスタY3の値より決まる補正後のB(青)の輝度信号を、レジスタBに格納している。
【0017】
次のステップS119からS135は、ステップS102からS118で、B(青)に行われたのと同じ処理をR(赤)に対して行い、補正後のR(赤)の輝度信号をレジスタCに格納している。B(青)の水平方向に関する上述の従来例の方法は、補正後の水平位置にあるべき補正前の水平位置の小数部を丸め込んで、補正後の水平位置の値を算出している。B(青)の垂直方向、R(赤)の水平・垂直方向も同様である。
【0018】
なお、図11では、G(緑)の位置P1を基準にして、補正後の位置で最短距離にあるB(青)とR(赤)の輝度信号を基準位置のG(緑)の位置に存在するB(青)とR(赤)の輝度信号としている。
【0019】
次に、図14のステップS102で、B光のX方向の結像位置が求められ、ステップS103からS109で、小数点以下の数値より、図12のB00およびB10のX座標が求められレジスタX3に格納される。さらに、ステップS110でB光のY方向の結像位置が求められ、ステップS111からS117で、小数点以下の数値より、図12のB00およびB01のY座標が求められレジスタY3に格納される。
【0020】
以上で求めたレジスタX3およびレジスタY3の値より、図12においてB光結像位置(図中P3)に最も近い撮像素子のデータB00が、B光撮像位置にある輝度データとしてレジスタBに格納される。また、R光についても、図14のステップS119からS134を用いて、レジスタCに、図12のR11の輝度データがR光結像位置に最も近い撮像素子のデータとして格納される。
【0021】
また、カラー映像信号の色収差を所定信号処理により補正する信号処理方法も示されている(例えば、特許文献2参照。)。これは、撮像により得られたカラー映像信号に基づいて、そのカラー映像信号に基づくカラー映像内の基準位置からの距離に応じた色収差の収差量を検出する第1のステップと、検出した上記収差量に基づいて、上記カラー映像信号に対して上記色収差を補正する所定の信号処理を施す第2のステップとを備えている。
【0022】
この文献2においては、第1の画素PCG と第2及び第3の画素PCR 、PCB との相関検出処理の煩雑化を回避すべく、画面中央の数走査ライン分のデータのみを利用して画面中心Oからの距離Lに応じた緑色を基準とする赤色及び青色の収差量CAR 、CAB を各フォーカス位置毎にそれぞれ検出している。
【0023】
この画面中央の数走査ライン分のデータのみを利用することで、画面中央の数走査ライン分では垂直方向の色収差を無視できることから、第1及び第2の画素PCG 、PCR 並びに第1及び第3の画素PCG 、PCB を同じ走査ライン上で探し出せば良く、その分垂直方向の相関計算を省略させて演算量を格段に低減させている。
【0024】
この相関関係のある第1及び第2の画素PCG 、PCR 並びに第1及び第3の画素PCG 、PCB 画素を検出できれば、それらの間の距離lR 、lB が緑色を基準とする赤色及び青色の収差量CAR 、CAB であることから、画面中心Oからの距離Lが異なる複数の赤色及び青色の収差量CAR 、CAB のサンプルに基づいて色収差特性曲線KR 、KB を算出でき、当該算出した色収差特性曲線KR 、KB のデータに基づいて色収差に対する補正処理を行っている。
【0025】
【特許文献1】
特開平5−3568号公報
【特許文献2】
特開2000―299874号公報
【0026】
【発明が解決しようとする課題】
しかし、前述の図13、図14で説明した特許文献1の色収差補正方法では、撮像素子上に存在するデータのうち、基準色以外のカラーの結像位置に最も近いデータを補正データ位置としてベクトル移動により基準色の結像位置に移動させる方法であるが、この補正方法は、図15の画素部分の拡大図のような補正となる。
【0027】
すなわち、図15は、基準色結像位置=G光結像位置(図中の□印のP1)と、基準色位置に結像すべき他色の結像位置(R光結像位置:図中P2、B光結像位置:図中の△印のP3)と、従来技術の補正方法により求められる他色の結像データの位置(R光補正データ位置:図中の●印のP4、B光補正データ位置:図中の▲印のP5)を示す。
【0028】
この図15から明らかなように、基準色(G)以外のカラーの結像位置と補正データ位置の間には、最大で撮像素子の間隔の1/2の距離誤差が発生する。従って、撮像素子の座標位置で最大1/2の誤差が発生することになり、このために、各点での輝度についても、正確な値ではないという問題がある。
【0029】
また、特許文献2では、画面中心付近のデータから補正係数を抽出して補正係数の算出の煩雑さを除いており、かつフィールドメモリを介することなくCCD出力を直接補正しているので、特許文献1のような演算処理がなされておらず、処理方式が相違し、正確な補正演算処理ができるかどうか不明である。
【0030】
本発明の目的は、正確な補正処理を可能とした色収差補正画像処理システムを提供することにある。
【0031】
【課題を解決するための手段】
本発明の画像処理システムの構成は、光学レンズとカラーフィ ルタを介して撮像素子上に結像したカラー画像の輝度データを各カラーごとにメモリに格納する撮像手段と、前記撮像手段においてメモリに格納されたカラー画像のうちのいずれかを位置基準カラーとし、この位置基準カラーの任意の輝度データに対応する他のカラーの輝度データの位置を算出する第1の算出手段と、前記第1の算出手段の算出結果である他のカラーの輝度の位置情報と、参照する他のカラーの輝度データと参照する他のカラーの位置情報とにより、前記第1の算出手段の算出結果である他のカラーの新たな輝度情報を算出する第2の算出手段と、前記第2の算出手段の算出結果である他のカラーの新たな輝度データを、前記位置基準カラーの任意の輝度データと対応するデータとして記録あるいは出力する出力手段とを有することを特徴とする。
【0032】
本発明において、第1の算出手段は、レンズと撮像素子の任意の位置を標準位置として測定した補正係数を記録している記録手段と、前記レンズの位置を測定する位置測定手段と、前記標準位置との前記位置測定手段の測定した結果との差分から前記補正係数を補正する補正手段を備えることができ、また、第2の算出手段は、第1の算出手段の算出結果である他のカラーの位置データを、撮像素子の素子間距離で正規化する正規化手段を有することができる。
【0033】
本発明において、さらに、第2の算出手段は、正規化手段の正規化した位置データを、整数部と小数部に分離する分離手段と、前記位置データの整数部より参照する輝度データを決定する手段と、位置データの小数部と決定された輝度データから、新たな輝度データを算出する第3の算出手段とを有することができ、また、これら補正演算では、第1の算出手段および第2の算出手段が、直線近似法またはキュービックコンボリュージョン法を用いて近似的に補正を行なうことが出来る。
【0034】
なお、本発明の構成において、光学倍率色収差を補正する際、基準色の座標から基準色以外の光が光学倍率色収差により結像する座標を算出して補正を行うが、前記基準色以外の光が光学倍率色収差により結像する座標は、必ずしも撮像素子の座標とは一致しないため、その基準色以外の光が結像している座標の近傍の撮像素子の輝度データと、その基準色以外の光が光学倍率色収差により結像している座標と撮像素子の座標の距離から、その基準色以外の光が結像する座標の輝度データを新たに算出して補正を行うものである。
【0035】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。本発明の光学倍率色収差算出方法には、直線近似法、キュービックコンボリュージョン法などがある。これら直線近似法、キュービックコンボリュージョン法は、いずれも画像の拡大、縮小の一般的な方法であり、例えば、K.R.Rao,P.Yip著、安田浩、藤原洋共訳「画像符号化技術」(オーム社、1990年刊)に記載されている。
【0036】
以下に説明する第1の実施例には直線近似法を用いた例を、第2の実施例にはキュービックコンボリュージョン法を用いた例を説明する。また、第3の実施例として、画像の拡大あるいは縮小と同時に行うことにより、本発明の補正処理を行うことにより生じる新たな処理時間を大幅に削減する方法を説明する。
【0037】
図1は本発明の第1の実施形態の適用される画像処理システムのブロック図である。ここで説明する第1の実施形態は、基準色以外の輝度データの算出方法に、直線近似法を用一例である。
【0038】
図1を参照すると、本実施形態の構成は、レンズ1は、図の左方向より入射する光を屈折させ、CCD4上に結像させる。CCD4は、その撮像面にR、G、Bなどの色フィルターが備わったカラー用のCCDである。CCD4に蓄えられたデータは、タイミング発生回路3で発生した出力タイミングで、各色毎にRフィールドメモリ5、Gフィールドメモリ6、Bフィールドメモリ7へとそれぞれ転送される。
【0039】
CPU9は、レンズ駆動装置2を制御し、ズーム、フォーカスの制御を行うとともに、レンズの特性から決定される補正情報をDSP8へ供給する。DSP8は、CPU9から提供された補正情報を使って、Rフィールドメモリ5、Gフィールドメモリ6、Bフィールドメモリ7のデータに後述する補正を行い、出力回路10に出力する。出力回路10は、スチルカメラの場合は蓄積媒体への出力回路であり、ビデオカメラであればテープなどの媒体あるいは画像出力への出力回路となる。
【0040】
次に、本実施形態の動作について、図2および図3のフロー図を参照して詳細に説明する。なお、レンズの光路については、図11、図12の色収差の説明図およびその拡大図が参照され、R光結像位置P2、G光結像位置P1、B光結像位置P3、および図12中のR00、R01、R10、R11およびB00、B01、B10、B112がそれぞれR光結像位置、B光結像位置の最近傍の撮像素子の輝度データである。
【0041】
図2および図3が、本実施形態(図1)中のDSP8で実施される補正処理を説明するフロー図である。図2において、この補正処理が開始されると、ステップS1では、図11の撮像素子上の光学系中心のX座標であるM/2がレジスタCxに格納され、ステップS2では、図11の撮像素子上の光学系中心のY座標であるN/2がレジスタCyに格納される。ステップS3,S4では、基準色Gの結像位置の初期化を行っている。ステップS5は、本実施形態の補正処理であるが、その内容を図3のフロー図に詳述する。
【0042】
図3において、補正処理が開始されると、ステップS11では、基準色Gの輝度データをレジスタAに格納している。ステップS12では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のX座標を算出し、レジスタX2に格納している。
【0043】
ステップS13で、レジスタX2のR光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS14では、レジスタX2の値からレジスタX3の値を減算することにより、R光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。ステップS15で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のY座標を算出し、レジスタY2に格納し、ステップS16で、レジスタY2のR光の結像位置のY座標を整数化しレジスタY3に格納している。
【0044】
ステップS17では、レジスタY2の値からレジスタY3の値を減算することにより、R光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納し、ステップS18では、レジスタX3とレジスタY3の値より、図1のRフィールドメモリ5から、図12のR00の値を呼び出し、レジスタBに格納している。
【0045】
ステップS19では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から 図12のR01の値を呼び出し、レジスタCに格納している。ステップS20では、レジスタX3の値と、レジスタY3の値に1を加えた値とにより、図1のRフィールドメモリ5から図12のR10の値を呼び出し、レジスタDに格納し、ステップS21では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図12のR11の値を呼び出し、レジスタEに格納している。
【0046】
ステップS22では、レジスタB、レジスタC、レジスタD、レジスタEに格納されたR00、R01、R10、R11の値と、レジスタX2、レジスタY2に格納されたR光の結像位置の小数点以下の値を使って、直線近似を行い、求めた結果をR光の結像位置における新たな輝度データとしてレジスタFに格納している。
【0047】
ステップS23では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のX座標を算出し、レジスタX2に格納し、ステップS24で、レジスタX2のB光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS25では、レジスタX2の値からレジスタX3の値を減算することにより、B光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。
【0048】
ステップS26で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のY座標を算出し、レジスタY2に格納している。
【0049】
ステップS27で、レジスタY2のB光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS28では、レジスタY2の値からレジスタY3の値を減算することにより、B光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納している。
【0050】
ステップS29では、レジスタX3とレジスタY3の値より、図1のBフィールドメモリ7から、図12のB00の値を呼び出し、レジスタBに格納し、ステップS30では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図12のB01の値を呼び出し、レジスタCに格納している。
【0051】
ステップS31では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図12のB10の値を呼び出し、レジスタDに格納し、ステップS32では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から図3のB11の値を呼び出し、レジスタEに格納している。
【0052】
ステップS33では、レジスタB、レジスタC、レジスタD、レジスタEに格納されたB00、B01、B10、B11の値と、レジスタX2、レジスタY2に格納されたB光の結像位置の小数点以下の値を使って、直線近似を行い、求めた結果をB光の結像位置における新たな輝度データとしてレジスタGに格納している。ステップS34にて、1画素に関する補正処理を完了し、図2のステップS6に復帰する。
【0053】
このステップS6では、基準色Gの結像位置を水平方向に1画素分進めるためにレジスタX1の値に1を加え、レジスタX1に格納する。ステップS7では、基準色Gの結像位置のX座標が、撮像素子の水平方向の最大値を越えていないスを判断し、超えていない場合には、ステップS5に戻り補正処理を繰り返す。ステップS7において、基準色GのX座標が、撮像素子の水平方向の最大値を越えている場合には、ステップS8の処理に進む。ステップS8では、基準色Gの結像位置を垂直方向に1画素分進めるために、レジスタY1の値に1を加え、レジスタY1に格納する。
【0054】
さらに、ステップS9では、基準色Gの結像位置のY座標が、撮像素子の垂直方向を越えていないかを判断し、超えていない場合には、ステップS5に戻り補正処理を繰り返す。ステップS9において、基準色GのY座標が、撮像素子の垂直方向の最大値を越えている場合には、次のステップに進むが、ここは補正処理の終了点であり、このフローに到達した時点では、補正処理が撮像素子の全画素に施されている。
【0055】
さらに、図3のステップS22およびS33において、実施されるレジスタB、レジスタC、レジスタD、レジスタE、レジスタX2、レジスタY2の値より、基準色G以外の結像位置における新たな輝度データとして、直線近似法で算出する方法について、次の図4の素子拡大図を用いて、図3のステップS22で処理されるR光について説明する。
【0056】
図4は、図2のR光の結像位置P1と、このR光の結像位置P1の最近傍の撮像素子の位置周辺を拡大した図であり、ステップS15でレジスタX2に格納されているR光の結像位置のX座標の小数点以下の値をβRX、同じくステップS17でレジスタY2に格納されているR光の結像位置のY座標の小数点以下の値をβRYと記載している。
【0057】
直線近似法では、近傍4個所の輝度データが、任意の位置の輝度に与える影響を距離に反比例するものとしているので、レジスタBに格納されているR00が、R光結像位置P2に与える影響は、R00・βRX・βRYであり、レジスタCに格納されているR01が、R光結像位置P2に与える影響は
R01・(1−βRX)・βRYであり、レジスタDに格納されているR10が、R光結像位置P2に与える影響は
R10・βRX・(1−βRY)であり、レジスタEに格納されているR11が、R光結像位置に与える影響はR11・(1−βRX)・(1−βRY)である。
【0058】
従って、最近傍のR00、R01、R10、R11より求められるR光の結像位置における輝度データは
R00・βRX・βRY+R01・(1−βRX)・βRY+R10・βRX・(1−βRY)+R11・(1−βRX)・(1−βRY)である。 この輝度データの算出式のR00、R01、R10、R11およびβRX、βRYを、レジスタB、レジスタC、レジスタD、レジスタEおよびレジスタX2、レジスタY2に置き換えると、図3のステップS22に記載している次の式(1)となる。ステップS33で用いるB光の結像位置の新たな輝度データを算出する式も同様に次の式(2)となる。
【0059】
F←BX2 Y2 +C(1―X2 )Y2 +DX2 (1―Y2 )
+E(1―X2 )(1―Y2 )…………(1)
G←BX2 Y2 +C(1―X2 )Y2 +DX2 (1―Y2 )
+E(1―X2 )(1―Y2 )…………(2)。
【0060】
次に、補正係数について、図5を用いて説明する。図5(a)において、光学レンズ1で屈折した光が、波長の差異により、標準距離だけ離れたCCD4上に結像する位置のレンズ中心からの距離をG光を1とした場合に、R光の距離をKR、B光の距離をKBとしている。図1のCPU9は、レンズ中心から周辺部にわたるG光の位置と、KR、KBの値を記録している。
【0061】
また図5(b)において、光学レンズ1で屈折した光が、波長の差異により、標準距離×αだけ離れたCCD4上に結像する位置のレンズ中心からの距離をG光を1とした場合に、R光の距離をKR’ 、B光の距離をKB’ としている。このとき、KR’ =α×KR、KB’ =α×KBが成り立つ。
【0062】
図1のCPU9は、レンズ駆動装置2より上述のαの値を受け取り、これから処理を行う基準光Gの座標データより必要なKR、KBの値を決定し、それぞれにαを乗じて、DSP8に補正係数として引き渡し補正する。
【0063】
本発明の実施の第2の形態について図面を参照して詳細に説明する。以下で、説明する第2の実施形態は、基準色以外の輝度データの算出方法に、キュービック・コンボリュージョン法を用いた例である。第2の実施形態の構成は、図1を用いて説明した第1の実施形態の構成と同一であるので、説明を省略する。
【0064】
次に、本発明の第2の実施例の動作について、図6および図7と図8および図9を参照して詳細に説明する。なお、図11、図12を参照する点は第1の実施形態と同様である。
【0065】
図6は、図11の各色結像位置の部分を拡大した図である。光学色収差の補正をG光の結像位置を基準に補正を行う例を説明する。図6の○□△印が、それぞれR光結像位置P2、G光結像位置P1、B光結像位置P3を示しているのは、図11と同様である。また、図6中の格子は、撮像素子1の座標を表し、その交点に撮像素子が存在するのも、図12と同様である。
【0066】
図6の中のR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33およびB00、B01、B02、B03、B10、B11、B12、B13、B20、B21、B22、B23、B30、B31、B32、B33は、それぞれR光結像位置、B光結像位置の最近傍の撮像素子の輝度データである。
【0067】
図7および図8は、本発明の第2の実施形態において、図1の構成図中のDSP8で実施される補正処理のフロー図であり、図2のフローに付加されるフローである。図2の内容は、第1の実施形態と同一であるので、説明を省略する。図2のステップS4が完了した後、処理はステップS5に進むが、本実施形態では、ステップS5の補正処理が第1の実施形態とは異なるので、図7、図8でその処理内容を説明する。
【0068】
図7のステップS41では、基準色Gの輝度データをレジスタAに格納している。ステップS42では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のX座標を算出し、レジスタX2に格納している。
【0069】
またステップS43で、レジスタX2のR光の結像位置のX座標を整数化しレジスタX3に格納している。ステップS44は、レジスタX2の値からレジスタX3の値を減算することにより、R光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。ステップS45で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK1とから、R光の結像位置のY座標を算出し、レジスタY2に格納している。
【0070】
さらに、ステップS46で、レジスタY2のR光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS47では、レジスタY2の値からレジスタY3の値を減算することにより、R光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納し、ステップS48では、レジスタX3の値から1を減じた値とレジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR00の値を呼び出し、レジスタBに格納している。
【0071】
ステップS49では、レジスタX3の値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から図6のR01の値を呼び出し、レジスタCに格納している。ステップS50では、レジスタX3の値に1を加えた値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR02の値を呼び出し、レジスタDに格納している。
【0072】
ステップS51では、レジスタX3の値に2を加えた値と、レジスタY3の値から1を減じた値より、図1のRフィールドメモリ5から、図6のR03の値を呼び出し、レジスタEに格納している。ステップS52では、レジスタX3の値から1を減じた値とレジスタY3の値より、図1のRフィールドメモリ5から図6のR10の値を呼び出し、レジスタFに格納している。ステップS53では、レジスタX3の値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR11の値を呼び出し、レジスタGに格納している。
【0073】
ステップS54では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR12の値を呼び出し、レジスタHに格納している。ステップS55では、レジスタX3の値に2を加えた値と、レジスタY3の値より、図1のRフィールドメモリ5から図6のR13の値を呼び出し、レジスタIに格納している。ステップS56では、レジスタX3の値から1を減じた値とレジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から、図6のR20の値を呼び出し、レジスタJに格納している。
【0074】
ステップS57では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図6のR21の値を呼び出し、レジスタKに格納している。ステップS58では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から図6のR22の値を呼び出し、レジスタLに格納している。
【0075】
ステップS59では、レジスタX3の値に2を加えた値と、レジスタY3の値に1を加えた値より、図1のRフィールドメモリ5から、図6のR23の値を呼び出し、レジスタOに格納している。ステップS60では、レジスタX3の値から1を減じた値とレジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR30の値を呼び出し、レジスタPに格納している。
【0076】
ステップS61では、レジスタX3の値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR31の値を呼び出し、レジスタQに格納している。ステップS62では、レジスタX3の値に1を加えた値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から、図6のR32の値を呼び出し、レジスタRに格納している。ステップS63では、レジスタX3の値に2を加えた値と、レジスタY3の値に2を加えた値より、図1のRフィールドメモリ5から図6のR33の値を呼び出し、レジスタSに格納している。
【0077】
ステップS64では、レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに格納されたR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33の値と、レジスタX2、レジスタY2に格納されたR光の結像位置の小数点以下の値を使って、図10に示す式を用いて説明する近似計算を行い、求めた結果をR光の結像位置における新たな輝度データとしてレジスタZに格納している。
【0078】
続いて処理は、図8のフローへ進む。ステップS65では、基準色の位置データのX座標と、先にレジスタCxに格納した光学系中心のX座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のX座標を算出し、レジスタX2に格納している。ステップS66で、レジスタX2のB光の結像位置のX座標を整数化しレジスタX3に格納し、ステップS67では、レジスタX2の値からレジスタX3の値を減算することにより、B光の結像位置のX座標の小数点以下の数値を取り出し、レジスタX2に格納している。
【0079】
ステップS68で、基準色Gの位置データのY座標と、先にレジスタCyに格納した光学系中心のY座標の差分を、図1のCPU9より受け取った補正データK2とから、B光の結像位置のY座標を算出し、レジスタY2に格納し、ステップS69で、レジスタY2のB光の結像位置のY座標を整数化しレジスタY3に格納し、ステップS70では、レジスタY2の値からレジスタY3の値を減算することにより、B光の結像位置のY座標の小数点以下の数値を取り出し、レジスタY2に格納している。
【0080】
ステップS71では、レジスタX3の値から1を減じた値とレジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から図6のB00の値を呼び出し、レジスタBに格納し、ステップS72では、レジスタX3の値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から、図6のB01の値を呼び出し、レジスタCに格納している。
【0081】
ステップS73では、レジスタX3の値に1を加えた値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から図6のB02の値を呼び出し、レジスタDに格納し、ステップS74では、レジスタX3の値に2を加えた値と、レジスタY3の値から1を減じた値より、図1のBフィールドメモリ7から、図6のB03の値を呼び出し、レジスタEに格納している。
【0082】
ステップS75では、レジスタX3の値から1を減じた値とレジスタY3の値より、図1のBフィールドメモリ7から図6のB10の値を呼び出し、レジスタFに格納している。ステップS76では、レジスタX3の値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB11の値を呼び出し、レジスタGに格納している。ステップS77では、レジスタX3の値に1を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB12の値を呼び出し、レジスタHに格納している。
【0083】
ステップS78では、レジスタX3の値に2を加えた値と、レジスタY3の値より、図1のBフィールドメモリ7から、図6のB13の値を呼び出し、レジスタIに格納し、ステップS79では、レジスタX3の値から1を減じた値とレジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB20の値を呼び出し、レジスタJに格納している。
【0084】
ステップS80では、レジスタX3の値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から図6のB21の値を呼び出し、レジスタKに格納し、ステップS81では、レジスタX3の値に1を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB22の値を呼び出し、レジスタLに格納している。
【0085】
ステップS82では、レジスタX3の値に2を加えた値と、レジスタY3の値に1を加えた値より、図1のBフィールドメモリ7から、図6のB23の値を呼び出し、レジスタOに格納し、ステップS83では、レジスタX3の値から1を減じた値とレジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB30の値を呼び出し、レジスタPに格納している。
【0086】
ステップS84では、レジスタX3の値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB31の値を呼び出し、レジスタQに格納し、ステップS85では、レジスタX3の値に1を加えた値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB32の値を呼び出し、レジスタRに格納している。ステップS86では、レジスタX3の値に2を加えた値と、レジスタY3の値に2を加えた値より、図1のBフィールドメモリ7から、図6のB33の値を呼び出し、レジスタSに格納している。
【0087】
ステップS87では、レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに格納されたB00、B01、B02、B03、B10、B11、B12、B13、B20、B21、B22、B23、B30、B31、B32、B33の値と、レジスタX2、レジスタY2に格納されたB光の結像位置の小数点以下の値を使って、図10の式を用いて説明する近似計算を行い、求めた結果をB光の結像位置における新たな輝度データとしてレジスタZに格納している。ここで、1画素に関する補正処理を完了し、図2のステップS5に復帰する。
【0088】
図2では、第1の実施形態と同様に、ステップS5、S6,S7,S8を使って、撮像素子1の全画素に対して、図7と図8の補正処理を繰り返し、ステップS9に達した時点で処理を終了する。
【0089】
さらに、図7のステップS63および図8のステップS87の内容について、図9を用いて処理されるR光について説明する。図9は、図6のR光の結像位置と、R光の結像位置の最近傍の撮像素子の位置周辺を拡大した図であり、ステップS44でレジスタX2に格納されているR光の結像位置のX座標の小数点以下の値βRX、同じくステップS47でレジスタY2に格納されているR光の結像
位置のY座標の小数点以下の値をβRYと記載している。
【0090】
キュービック・コンボリュージョン法では、近傍16個所の輝度データが、任意の位置の輝度に与える影響を3次方程式を解くことにより求める方法である。このキュービックコンボリュージョン法では、求める位置との距離|l|=Lとした時、1>L≧0のとき、求める位置の輝度に与える影響は、
式(a+2)L3 −(a+3)L2 +12>L≧1のとき、
求める位置の輝度に与える影響は、
式aL3 −5aL−4aであるとするものである。なお、式中のaは画質を調整する為の係数であり、任意の定数である。
【0091】
この式を、図6中のR光の結像位置の近傍16個所の輝度データR00、R01、R02、R03、R10、R11、R12、R13、R20、R21、R22、R23、R30、R31、R32、R33を、それぞれ図7にて格納しているレジスタ名レジスタB、レジスタC、レジスタD、レジスタE、レジスタF、レジスタG、レジスタH、レジスタI、レジスタJ、レジスタK、レジスタL、レジスタO、レジスタP、レジスタQ、レジスタR、レジスタSに置き換え、さらにβRXとβRYを格納先のレジスタX2、Y2に置き換えて適用すると、図10のレジスタZに書き込まれる数値を算出する式(3)となる。ステップS33で用いるB光の結像位置の新たな輝度データを算出する式も同様である。
【0092】
本発明の実施の第3の形態について説明する。画像処理システムでは、画像の拡大あるいは縮小が、撮像から出力までのいずれかの段階で行われる。前述した第1の実施形態、第2の実施形態では、基準色を定めて、基準色の撮像素子上の座標を基準にして、基準色以外の光の輝度データを算出しているが、第3の実施形態として、拡大あるいは縮小された基準色の座標を基準にすることにより、本発明の目的であった光学倍率色収差の補正と同時に、画像の拡大あるいは縮小処理を行うことが出来る。
【0093】
この本実施形態の補正処理は、画像の拡大あるいは縮小の手法とほぼ同じであるので、同時に処理することにより、補正処理を行うために発生する処理時間を大幅に削減できる。
【0094】
【発明の効果】
以上説明したように、本発明の構成によれば、基準色の結像位置を基準にする点では、従来例と同一であるが、本発明では、基準色以外のカラーの結像位置データと、左記の結像位置近傍の撮像素子の輝度データから、基準色以外のカラーの輝度データを求め、基準色以外のカラーの輝度データとしているので、輝度データの精度は、演算精度と演算手法にのみ依存することになり、高い精度で補正を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を説明する色収差補正方式のブロック図。
【図2】図1の色収差補正方式を説明するフロー図。
【図3】図2の補正処理を詳細に説明するフロー図。
【図4】図3の補正処理を説明する撮像素子面の部分拡大図。
【図5】(a)(b)は本実施形態のレンズ位置による補正係数を説明する光路図。
【図6】本発明の第2の実施形態を説明する撮像素子面の部分拡大図。
【図7】本発明の第2の実施形態の色収差補正方式をを説明するフロー図。
【図8】図7の補正処理を詳細に説明するフロー図。
【図9】図7,図8の補正処理を説明する撮像素子面の部分拡大図。
【図10】図7の補正内容を説明する式の図。
【図11】一般の色収差補正方式を説明する光学系の光路図。
【図12】図11の補正処理を説明する撮像素子面の部分拡大図。
【図13】従来例の色収差補正方式を説明する画像処理システムのブロック図。
【図14】図13の色収差補正方式をを説明するフロー図。
【図15】図13の補正処理を説明する撮像素子面の部分拡大図。
【符号の説明】
1,1a,1b レンズ
2 レンズ駆動装置
2a,2b レンズドライバ回路
2c,2f ズーム,フォーカス位置検出器
3,3a タイミング発生回路
4 CCD
4a CCD(側面)
4b CCD(平面)
5,5a Rフィールドメモリ
6,6a Gフィールドメモリ
7,7a Bフィールドメモリ
8,8a DSP
9,9a CPU
9b A/Dコンバータ
9c メモリ
9d〜9h 処理回路
10 出力回路
10a〜10c D/Aコンバータ
Claims (6)
- 光学レンズとカラーフィ ルタを介して撮像素子上に結像したカラー画像の輝度データを各カラーごとにメモリに格納する撮像手段と、前記撮像手段においてメモリに格納されたカラー画像のうちのいずれかを位置基準カラーとし、この位置基準カラーの任意の輝度データに対応する他のカラーの輝度データの位置を算出する第1の算出手段と、前記第1の算出手段の算出結果である他のカラーの輝度の位置情報と、参照する他のカラーの輝度データと参照する他のカラーの位置情報とにより、前記第1の算出手段の算出結果である他のカラーの新たな輝度情報を算出する第2の算出手段と、前記第2の算出手段の算出結果である他のカラーの新たな輝度データを、前記位置基準カラーの任意の輝度データと対応するデータとして記録あるいは出力する出力手段とを有することを特徴とする色収差補正画像処理システム。
- 第1の算出手段は、レンズと撮像素子の任意の位置を標準位置として測定した補正係数を記録している記録手段と、前記レンズの位置を測定する位置測定手段と、前記標準位置との前記位置測定手段の測定した結果との差分から前記補正係数を補正する補正手段を備えている請求項1記載の色収差補正画像処理システム。
- 第2の算出手段は、第1の算出手段の算出結果である他のカラーの位置データを、撮像素子の素子間距離で正規化する正規化手段を有する請求項1記載の色収差補正画像処理システム。
- 第2の算出手段は、正規化手段の正規化した位置データを、整数部と小数部に分離する分離手段と、前記位置データの整数部より参照する輝度データを決定する手段と、位置データの小数部と決定された輝度データから、新たな輝度データを算出する第3の算出手段とを有する請求項3記載の色収差補正画像処理システム。
- 第1の算出手段および第2の算出手段は、直線近似法を用いて近似的に補正を行なう請求項1,2,3または4記載の色収差補正画像処理システム。
- 第1の算出手段および第2の算出手段は、キュービックコンボリュージョン法を用いて近似的に補正を行なう請求項1,2,3または4記載の色収差補正画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002313195A JP2004153323A (ja) | 2002-10-28 | 2002-10-28 | 色収差補正画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002313195A JP2004153323A (ja) | 2002-10-28 | 2002-10-28 | 色収差補正画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004153323A true JP2004153323A (ja) | 2004-05-27 |
Family
ID=32457877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002313195A Pending JP2004153323A (ja) | 2002-10-28 | 2002-10-28 | 色収差補正画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004153323A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093266A1 (ja) * | 2005-03-04 | 2006-09-08 | Nikon Corporation | 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
JP2007074321A (ja) * | 2005-09-07 | 2007-03-22 | Casio Comput Co Ltd | 色収差補正装置 |
JPWO2005101854A1 (ja) * | 2004-04-12 | 2008-03-06 | 株式会社ニコン | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ |
US7667738B2 (en) | 2004-05-31 | 2010-02-23 | Nikon Corporation | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera |
US8373619B2 (en) | 2008-10-09 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, aberration correction method, and computer-readable storage medium |
US8456485B2 (en) | 2008-10-09 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, head mounted display, program, and recording medium |
-
2002
- 2002-10-28 JP JP2002313195A patent/JP2004153323A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2005101854A1 (ja) * | 2004-04-12 | 2008-03-06 | 株式会社ニコン | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ |
US7916937B2 (en) | 2004-04-12 | 2011-03-29 | Nikon Corporation | Image processing device having color shift correcting function, image processing program and electronic camera |
JP4706635B2 (ja) * | 2004-04-12 | 2011-06-22 | 株式会社ニコン | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ |
US7667738B2 (en) | 2004-05-31 | 2010-02-23 | Nikon Corporation | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera |
WO2006093266A1 (ja) * | 2005-03-04 | 2006-09-08 | Nikon Corporation | 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
US7945091B2 (en) | 2005-03-04 | 2011-05-17 | Nikon Corporation | Image processor correcting color misregistration, image processing program, image processing method, and electronic camera |
JP5071104B2 (ja) * | 2005-03-04 | 2012-11-14 | 株式会社ニコン | 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
JP2007074321A (ja) * | 2005-09-07 | 2007-03-22 | Casio Comput Co Ltd | 色収差補正装置 |
US8411338B2 (en) | 2005-09-07 | 2013-04-02 | Casio Computer Co., Ltd. | Image's chromatism correction apparatus |
US8373619B2 (en) | 2008-10-09 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, aberration correction method, and computer-readable storage medium |
US8456485B2 (en) | 2008-10-09 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, head mounted display, program, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105049702B (zh) | 焦点调节装置及其控制方法和摄像设备 | |
US7863550B2 (en) | Focus detection device and focus detection method based upon center position of gravity information of a pair of light fluxes | |
JP5012495B2 (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
JP5438579B2 (ja) | 画像処理装置及びその制御方法 | |
US5461440A (en) | Photographing image correction system | |
JP5572765B2 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
US20130016274A1 (en) | Image pickup apparatus and image pickup device | |
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
CN105323441A (zh) | 摄像设备和摄像设备的控制方法 | |
US20050275904A1 (en) | Image capturing apparatus and program | |
JP3530906B2 (ja) | 結像位置検出プログラムおよびカメラ | |
JP2013037296A (ja) | 撮像装置及び撮像素子 | |
US5872643A (en) | Film image reproducing apparatus using a domestic light condition or an undomestic light condition for generation of a designated area | |
JP2000125175A (ja) | カメラ、画像処理システム、及び記録媒体 | |
JPH08205181A (ja) | 色収差補正回路および色収差補正機能付き撮像装置 | |
JP5223912B2 (ja) | 撮像装置、および焦点判定プログラム | |
JP2004153323A (ja) | 色収差補正画像処理システム | |
JP2009157733A (ja) | 画像歪み補正方法、画像歪み補正装置及び画像形成装置 | |
JP2002344978A (ja) | 画像処理装置 | |
JP6576114B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP6370004B2 (ja) | 撮像装置および撮像方法 | |
JP2013247435A (ja) | 撮像装置 | |
JP4333478B2 (ja) | 撮像装置および画像処理プログラム | |
JP5885421B2 (ja) | 撮像装置 | |
JP2003110847A (ja) | 画像出力装置 |