JP2009271677A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】電子ズームの倍率に応じて不要となる補正データを取得することなく撮像画像データの補正を行う。
【解決手段】撮像装置１は、像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶する色収差補正データベース１２０を備えている。また、撮像装置１は、コントローラ３０の制御の下、電子ズーム処理を行う際、部分領域のうち変倍領域に対応する部分領域についての補正データを色収差補正データベース１２０から読み出すとともに、変倍率が１未満である場合には変倍率に応じて補正データを間引いて読み出し、その読み出した補正データに基づいて撮像画像データの補正を色収差補正回路１１０で行う。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、光学レンズにより結像した画像を撮像素子で画像データに光電変換するデジタルカメラやビデオカメラなどの撮像装置の小型化が進んでいる。撮像装置の小型化に伴い、撮像素子に画像を結像させるための光学レンズも小型化が進んでいるが、画角によっては、レンズの収差等の光学歪みが撮像画像に影響することがある。なお、以後の説明では、レンズの収差等の光学歪みによる撮像画像の歪みを、単に「撮像画像の光学歪み」という。通常、撮像画像の光学歪みは画像処理により補正されている。

例えば、撮像画像の光学歪みとしては歪曲収差が知られている。歪曲収差は、歪曲収差と逆の変形を実現するように画像拡大・縮小の変倍処理を行うことで補正できる。歪曲収差を補正するための補正データは、撮像画像の全画像領域を複数に分割した部分領域ごとに、その領域をどの方向にどれだけ変倍するかを規定した方向別変倍率データなどである。また、撮像画像の光学歪みとしては、光学像円の周辺部分における光量の減衰が知られている（以下、「周辺光量落ち」という）。この周辺光量落ちの補正については、撮像画像の画素位置に対応した補正ゲインを行っている。従って、周辺光量落ちを補正する補正データは、撮像画像の全画像領域を複数に分割した部分領域ごとのゲインデータなどである。

上述したように、撮像画像の光学歪みを補正するための各種補正データは、撮像画像の全画像領域を複数に分割した部分領域ごとの補正量を有するものである。また、撮像画像の光学歪みを補正する補正データは、フォーカスやズームなどにおける光学レンズのレンズ位置、絞り量、レンズ個体などの光学的パラメータに応じて用意する必要がある。

また、撮像装置においては、撮像画像の縮小や、撮像画像の一領域の拡大などの画像処理を行うことで、電子ズームを実現するものがある。この電子ズームを行う場合でも前述した撮像画像の光学歪みを補正する必要があり、電子ズームによる撮像画像の光学歪み補正を行う有用な技術としては特許文献１が知られている。特許文献１には、光学歪みの生じた撮像画像を縮小又は拡大した際に、光学歪み補正データに対しても画像の縮小率や拡大率に応じたスケーリング処理を施すことが記載されている。従って、そのスケーリングされた補正データを用いて補正を行うことで、電子ズームを行った場合であっても、撮像画像の光学歪みに対して補正を行うことが可能となる。
特開２０００−１１５５０９号公報

しかしながら、上記従来技術では、光学歪み補正データが画像縮小又は画像拡大前の画像サイズに対応した補正データを含む点を鑑みると、電子ズームに伴って切り捨てられる補正データや、必要となる精度以上の補正データなどが含まれていた。従って、従来技術では、電子ズームを行う場合において、その電子ズームの倍率に見合った補正データを取得することができなかったため、余分な補正データを転送することがあった。

本発明は、上記従来技術の問題に鑑みてなされたものであり、電子ズームの倍率に応じて不要となる補正データを取得することなく撮像画像データの補正を行う画像処理装置及び画像処理方法の提供を目的とする。

上記目的は、撮像画像の全画像領域の中から、指定された変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う画像処理装置であって、前記撮像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶する記憶手段と、前記電子ズーム処理を行う際、前記部分領域のうち前記変倍領域に対応する部分領域についての補正データを前記記憶手段から読み出す補正データ読出手段と、前記補正データ読出手段により読み出された補正データに基づいて前記変倍領域の画像を補正する補正手段と、を備え、前記補正データ読出手段は、前記変倍率が１未満である場合には、前記変倍率に応じて前記補正データを間引いて前記記憶手段から読み出すことを特徴とする本発明による画像処理装置によって達成される。

また、上記目的は、撮像画像の全画像領域の中から、指定された変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う画像処理方法であって、前記撮像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶した記憶手段から、前記電子ズーム処理を行う際、前記部分領域のうち前記変倍領域に対応する部分領域についての補正データを前記記憶手段から読み出す補正データ読出工程と、前記補正データ読出工程により読み出された補正データに基づいて前記変倍領域の画像を補正する補正工程と、を有し、前記補正データ読出工程は、前記変倍率が１未満である場合には、前記変倍率に応じて前記補正データを間引いて前記記憶手段から読み出すことを特徴とする本発明による画像処理方法によっても達成される。

本発明によれば、電子ズームの倍率に応じて不要となる補正データを取得することなく撮像画像データの補正を行うことができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

先ず、本発明の実施形態に係る撮像装置について図を参照して説明する。この実施形態では、撮像した画像データについて、光学レンズにおいて発生する色収差の補正を行った後に、縮小・拡大の電子ズーム処理を行う撮像装置を例示して説明する。ここで、図１は、撮像装置１の構成を模式的に示すブロック図である。

図１に示すように、撮像装置１は、撮像部１０、画像処理部２０、コントローラ３０を有する構成である。撮像部１０は、光学レンズ１０１、ズーム駆動機構１０２、フォーカス駆動機構１０３、絞り駆動機構１０４、光学絞り１０５、撮像素子１０６を有する構成である。光学レンズ１０１は、ズームレンズ、フォーカスレンズなどを含む。ズーム駆動機構１０２は、コントローラ３０の制御の下、光学レンズ１０１のズームレンズのレンズ位置を調節するアクチュエータである。フォーカス駆動機構１０３は、コントローラ３０の制御の下、光学レンズ１０１のフォーカスレンズのレンズ位置を調節するアクチュエータである。絞り駆動機構１０４は、コントローラ３０の制御の下、光学絞り１０５の絞り量を調節するアクチュエータである。光学絞り１０５は、絞り駆動機構１０４により駆動する複数の絞り羽根などである。撮像素子１０６は、光学レンズ１０１により撮像面に結像された画像を光電変換する素子である。具体的には、撮像素子１０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などであってよい。また、撮像素子１０６の撮像面には、ＲＧＢ（Red Green Blue）ベイヤー配列のカラーフィルターが構成されている。

撮像部１０は、コントローラ３０の制御の下、光学レンズ１０１のズームレンズ、フォーカスレンズをズーム駆動機構１０２、フォーカス駆動機構１０３により位置設定し、被写体像を撮像素子１０６の撮像面に結像させる。この撮像素子１０６の撮像面に結像された被写体像の光量は、コントローラ３０の制御の下で駆動する光学絞り１０５により調節される。撮像部１０では、この撮像素子１０６の撮像面に結像された被写体像を光電変換し、アナログ画像信号として画像処理部２０へ出力する。なお、撮像部１０から出力されるアナログ画像信号は、ＲＧＢベイヤー配列の画像信号となっている。

画像処理部２０は、撮像部１０から出力されたアナログ画像信号をデジタル画像信号に変換するＡＦＥ１０７、デジタル画像信号に変換された撮像画像のホワイトバランスを調整するホワイトバランス調整回路１０８を有する。ホワイトバランス調整回路１０８では、ＲＧＢベイヤー配列の画像信号において、ＲＧＢそれぞれに異なるゲインを設定することでホワイトバランスが施される。なお、ＡＦＥ１０７では、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）などを行ってもよい。また、画像処理部２０は、撮像画像に関する画像データの中で色信号に係る補正を行う構成として、色分離回路１０９、色収差補正回路１１０、γ回路１１１を有する。また、画像処理部２０は、撮像画像に関する画像データの中で輝度信号に係る補正を行う構成として、輝度生成回路１１２、輪郭補償回路１１３、γ回路１１４を有する。また、画像処理部２０は、補正後の色信号、輝度信号をから色差信号及び輝度信号を生成し、縮小・拡大の電子ズーム処理を行う構成として、ＹＣマトリクス回路１１５、リサイズ回路１１６を有する。また、画像処理部２０は、色信号に係る補正データを記憶する色収差補正データベース１２０、この色収差補正データベース１２０から読み出した補正データを補間して色信号の補正特性データを生成する補間手段としての補正特性生成回路１２１を有する。すなわち、色収差補正データベース１２０は、撮像画像の光学歪みを補正する補正データを記憶する記憶手段であり、より具体的には、撮像画像の色収差を補正するための補正データを記憶する。

画像処理部２０において、ホワイトバランスが施された画像信号は、色分離回路１０９にて画素毎に配列されたＲＧＢの各位路が、１フィールド又は１フレームの三原色画像信号として同時化される。この三原色画像信号の各色の画像信号に対しては、色収差補正回路１１０において、光学レンズ１０１の色収差や光学絞り１０５の回折により生じる色収差の補正が行われる。具体的には、色収差補正回路１１０において、撮像画像の全画像領域（２次元空間）でみた局所的な色バランスのずれを無くすような補正ゲインが各色の画像信号に対して行われる。この補正ゲインは、色収差補正データベース１２０に予め記憶された色収差補正データに基づき、補正特性生成回路１２１で生成されるデータである（詳細は後述する）。色収差補正された三原色画像信号は、γ回路１１１においてγ補正された後、ＹＣマトリクス回路１１５に入力される。

また、画像処理部２０において、ホワイトバランスが施された画像信号は、輝度生成回路１１２にも入力される。輝度生成回路１１２では、画素毎に配列されたＲＧＢの各色から、Ｇ色の画素のみを抽出、空間フィルタにより補間することで輝度信号とするものである。この輝度生成回路１１２により生成された輝度信号は、輪郭補償回路１１３において、被写体の輪郭を表す２次元の空間周波数成分を増幅することにより、輝度信号の解像性能を向上させた広帯域輝度信号が生成される。この広帯域輝度信号は、γ回路１１４においてγ補正された後、ＹＣマトリクス回路１１５に入力される。

ＹＣマトリクス回路１１５では、γ回路１１１から出力された三原色画像信号、γ回路１１４から出力された広帯域輝度信号を用いてマトリックス演算を行い、輝度信号、第１色差信号、第２色差信号を生成してリサイズ回路１１６へ出力する。リサイズ回路１１６は、コントローラ３０の制御の下、ＹＣマトリクス回路１１５から入力された画像信号に関する撮像画像の拡大、縮小などの変倍（リサイズ）処理を施す。具体的には、リサイズ回路１１６は、撮像した画像データの全画像領域の中から、コントローラ３０からの指示による変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う。この変倍後の画像データは、輝度信号出力端子１１７、第１色差信号出力端子１１８、第２色差信号出力端子１１９から輝度信号Ｙ、第１色差信号Ｃｂ、第２色差信号Ｃｒとして出力される。

コントローラ３０は、撮像装置１の動作を中央制御する。具体的には、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する構成である。コントローラ３０は、上述したＲＯＭに記憶されたプログラムデータをＲＡＭの作業領域に展開し、その展開されたプログラムデータとＣＰＵとの協働により各部を統括制御する。また、コントローラ３０は、前述したズーム駆動機構１０２、フォーカス駆動機構１０３、絞り駆動機構１０４の駆動を制御しており、撮像部１０におけるズームレンズ位置、フォーカスレンズ位置、絞り量を駆動量から取得可能な取得手段である。

次に、色収差補正データベース１２０に記憶される補正データの詳細について、図２（ａ）、図２（ｂ）を参照して詳細に説明する。図２（ａ）は、色収差補正データベース１２０に記憶される補正データを例示する概念図である。図２（ｂ）は、色収差補正データベース１２０に記憶される光学パラメータの組み合わせごとの補正データを例示する概念図である。

図２（ａ）に示すように、色収差補正データベース１２０に記憶される補正データとしては、２次元の撮像画像（水平１４４０画素、垂直９６０画素）に対して、２次元の色収差補正データ（水平８点、垂直６点）が対応するものである。すなわち、色収差補正データベース１２０には、撮像画像データが示す撮像画像の全画像領域を複数に分割した部分領域（水平方向８等分、垂直方向６等分）ごとに、その画像領域の画像を補正するための補正データが記憶される。なお、各点の色収差補正データは、色収差補正回路１１０に加えるためのＲＧＢ補正ゲインである。

さらに、図２（ｂ）に示すように、色収差補正データベース１２０に記憶される補正データは、ズームレンズ位置、フォーカスレンズ位置、絞り量の３種類の、撮像した際の光学パラメータに対して、６セットずつ用意されている。従って、色収差補正データベース１２０には、水平８点、垂直６点（全画像領域で４８点）の色収差補正データが、その光学パラメータの組み合わせごとに、６^３セット（２１６セット）記憶されていることとなる。なお、上述した撮像した際の光学パラメータについては、ズームレンズ位置、フォーカスレンズ位置、絞り量以外に、レンズの種類やズームレンズ位置に応じた画角など、撮像部１０の撮像状態を示すものであればいずれであってよい。

［縮小処理の場合］
次に、コントローラ３０の制御の下で行われる画像処理について、図３〜図６を参照して詳細に説明する。先ず、撮像された画像データを縮小する場合について、図３、図４を参照して説明する。ここで、図３（ａ）は、撮像画像を縮小する場合における色収差補正データからの読み出し例を示す概念図である。図３（ｂ）は、補正特性生成回路１２１での補正データの生成と色収差補正回路１１０での演算内容とを例示する概念図である。図４は、リサイズ回路１１６における縮小処理の内容を例示する概念図である。

コントローラ３０は、ＲＡＭなどに設定されている変倍率を読み出して、その設定された変倍率が１未満である縮小率である場合に、撮像部１０で撮像した撮像画像を縮小する縮小処理を開始する。この縮小率の設定は、特に図示しないキー操作部などによる設定指示や、ＲＯＭなどに設定された諸データの演算結果に基づいたものであってよい。また、コントローラ３０は、撮像部１０で撮像した際の光学パラメータ（ズームレンズ位置、フォーカスレンズ位置、絞り量）を取得し、その取得した光学パラメータに基づいた色収差補正データを色収差補正データベース１２０から特定する。具体的には、図３（ａ）に示したように、撮像画像を撮像した際の光学パラメータの組み合わせに対応する色収差補正データ（全画像領域）が特定される。

次いで、コントローラ３０は、特定された色収差補正データであり、設定されている縮小率で縮小される画像領域と対応する補正データの中で、その縮小率に基づいて一様に間引いた補正データを読み出し、補正特性生成回路１２１に設定する。例えば、縮小率１／２倍と設定されている場合であり、図３（ａ）に例示した如く、水平８点、垂直６点、縮小対象である全画像領域で４８点の色収差補正データである場合は、縮小率分の水平４点、垂直３点の色収差補正データが間引いて読み出される。なお、この補正データは、縮小対象である全画像領域から一様となるように読み出される。例えば、縮小率が１／２倍と設定されている場合は、複数に分割した画像領域ごとの補正データから、一つおきの画像領域に対応した補正データが読み出されることとなる。このように、画像処理部２０では、補正データを縮小対象である画像領域から一様に読み出すことで、縮小画像に対して一様な補正を行うことが可能となる。

次いで、補正特性生成回路１２１では、コントローラ３０の制御の下、色収差補正データベース１２０から読み出されて設定された補正データを補間し、変倍領域に含まれる各画素に適用する補正データが生成される。例えば、図３（ａ）に示す水平方向の補正データＨ１〜Ｈ４により水平方向における近似がおこなわれ、その水平方向における画素毎の補正データが補間される。具体的には、図３（ｂ）に示すように、補正データＨ１と補正データＨ２の中間点Ａ１において、補正データＨ１と補正データＨ２とを結ぶ直線に接する２次曲線を生成する。同様に、補正データＨ２と補正データＨ３の中間点Ａ２において、補正データＨ２と補正データＨ３を結ぶ直線に接する２次曲線を生成する。この２次曲線は、補正データＨ１、Ｈ２、Ｈ３の値により一意に生成される近似曲線である。この近似曲線の生成を水平、垂直方向に順次行うことにより、縮小率に応じて読み出された補正データから、撮像画像の全画像領域分（水平１４４０画素、垂直９６０画素）の各画素の補正データが生成される。この生成された補正データは、コントローラ３０の制御の下、色収差補正回路１１０に入力され、三原色信号Ｒ１、Ｇ１、Ｂ１の補正ゲインとして乗算される。色収差補正回路１１０は、入力された補正データにより乗算された三原色信号Ｒ２、Ｇ２、Ｂ２を出力する。

画像処理部２０では、上述した色収差補正に次いで、コントローラ３０の制御の下、設定された縮小率による縮小処理がリサイズ回路１１６により行われる。具体的には、リサイズ回路１１６では、図４に示すように、入力輝度信号Ｙ１、入力第１色差信号Ｃｂ１、入力第２色差信号Ｃｒ１を設定された縮小率に合わせた帯域に制限するＬＰＦ（ローパスフィルタ）処理が行われる。例えば、縮小率が１／２倍に設定されている場合は、１／２の帯域に制限するＬＰＦ処理が行われる。次いで、リサイズ回路１１６では、入力された撮像画像の画素数を縮小率に応じて間引く間引き処理が行われる。この間引き処理により縮小された画像データは、出力輝度信号Ｙ２、出力第１色差信号Ｃｂ２、出力第２色差信号Ｃｒ２として出力される。例えば、縮小率が１／２倍に設定されており、水平１４４０画素、垂直９６０画素の撮像画像が入力された場合は、水平７２０画素、垂直４８０画素の画像データが生成されて、出力される。

上述したとおり、リサイズ回路１１６では、色収差の空間周波数成分も縮小率に応じた１／２帯域に制限され、縮小率に応じた間引きが行われることとなる。従って、色収差補正データベース１２０から色収差に関する補正データを縮小率に応じて読み出したことにより補正特性の空間的分解能が低減したとしても、その低減分はリサイズ回路１１６における縮小処理により相殺される。よって、画像処理部２０では、色収差補正の効果としては問題ない状態とすることができる。また、色収差補正データベース１２０から読み出されるデータ量が縮小率に見合って低減することとなり、色収差補正データベース１２０と補正特性生成回路１２１との間のデータ転送負荷を低減させることができる。例えば、縮小率が１／２倍で前述した水平８点、垂直６点、全画像領域で４８点の色収差補正データを読み出す場合は、水平４点、垂直３点、１２点に低減させることができる。

［拡大処理の場合］
次に、撮像された画像データを拡大する場合について、図５、図６を参照して説明する。なお、前述した縮小処理と同様の構成については説明を省略する。ここで、図５（ａ）は、撮像画像を拡大する場合における色収差補正データからの読み出し例を示す概念図である。図５（ｂ）は、補正特性生成回路１２１での補正データの生成を例示する概念図である。図５（ｃ）は、倍密度の色収差補正データからの読み出し例を示す概念図である。図６は、リサイズ回路１１６における拡大処理の内容を例示する概念図である。

コントローラ３０は、前述した縮小率と同様、ＲＡＭなどに設定されている変倍率を読み出し、その設定された変倍率が１を超える場合に、撮像部１０で撮像した撮像画像を拡大する拡大処理を開始する。また、コントローラ３０は、撮像部１０で撮像した際の光学パラメータを取得し、その取得した光学パラメータに基づいた色収差補正データを色収差補正データベース１２０から特定する。具体的には、図５（ａ）に示すように、撮像画像を撮像した際の光学パラメータの組み合わせに対応する色収差補正データ（全画像領域）が特定される。

次いで、コントローラ３０は、特定された色収差補正データであって、設定されている拡大率で拡大される変倍領域と対応した部分領域の補正データを色収差補正データベース１２０から読み出して、補正特性生成回路１２１に設定する。例えば、拡大率２倍と設定されている場合であり、図５（ａ）に例示した如く、全画像領域で水平８点、垂直６点の色収差補正データである場合は、拡大対象となる中央部分の部分領域から水平４点、垂直３点の補正データが読み出される。

なお、拡大率ごとの色収差補正データが色収差補正データベース１２０に記憶されている場合は、設定されている拡大率に応じた色収差補正データにおいて、拡大される変倍領域に対応した部分領域の補正データを読み出してもよい。例えば、図５（ａ）に例示した等倍の色収差補正データに対して、図５（ｃ）に示すような倍密度の色収差補正データが用意されている場合は、拡大率２倍の際にその倍密度の色収差補正データから補正データを読み出してよい。この場合は、色収差補正されて拡大処理された画像における色収差補正の密度が、等倍の色収差補正データを用いた補正と比較して２倍密に施されることとなる。すなわち、拡大に応じた色収差補正を予め行うことができる。

次いで、補正特性生成回路１２１では、コントローラ３０の制御の下、色収差補正データベース１２０から読み出されて設定された補正データを補間し、変倍領域に含まれる各画素に適用する補正データが生成される。例えば、図５（ａ）に示す水平方向の補正データＨ１１〜Ｈ１４により水平方向における近似が行われ、その水平方向における画素毎の補正データが補間される。具体的には、縮小率の場合と同様であり、図５（ｂ）に示すように、補正データＨ１１、補正データＨ１２、その中間点Ａ１１、補正データＨ１２、補正データＨ１３、その中間点Ａ１２などにより生成される２次曲線を元に補正データが補間される。この近似曲線の生成を水平、垂直方向に順次行うことにより、拡大率に応じて読み出された補正データから拡大される変倍領域分の補正データが生成される。この生成された補正データは色収差補正回路１１０に入力され、色収差補正回路１１０では、入力された画像データの中で、拡大される変倍領域に対して色収差補正が行われる。

画像処理部２０では、上述した色収差補正に次いで、コントローラ３０の制御の下、設定された拡大率による拡大処理がリサイズ回路１１６により行われる。具体的には、リサイズ回路１１６では、図６に示すように、設定された拡大率に基づいて拡大される変倍領域に係る画像信号の切り出しが入力輝度信号Ｙ３、入力第１色差信号Ｃｂ３、入力第２色差信号Ｃｒ３から行われる。次いで、リサイズ回路１１６では、設定された拡大率で拡大するための画素補間とＬＰＦ処理が行われ、拡大された画像データとしての出力輝度信号Ｙ４、出力第１色差信号Ｃｂ４、出力第２色差信号Ｃｒ４が出力される。

上述したとおり、画像処理部２０では、拡大される変倍領域に対してのみ色収差補正が施されるが、その変倍領域以外の画像領域は出力されることはなく、出力される画像領域全体に色収差補正が施されるため問題はない。また、色収差補正データベース１２０から読み出されるデータが拡大される変倍領域分の補正データのみとなるため、拡大率に見合って低減することとなり、色収差補正データベース１２０と補正特性生成回路１２１との間のデータ転送負荷を低減させることができる。例えば、拡大率が２倍であり、前述した水平８点、垂直６点、全画像領域４８点の色収差補正データから読み出す場合は、水平４点、垂直３点、１２点に低減させることができる。

［等倍処理の場合］
次に、撮像された画像データを等倍で処理する場合について、図７を参照して説明する。なお、前述した縮小、拡大処理と同様の構成については説明を省略する。ここで、図７（ａ）は、撮像画像を色収差補正する色収差補正データの読み出し例を示す概念図である。図７（ｂ）は、リサイズ回路１１６における等倍時の処理内容を例示する概念図である。

コントローラ３０は、撮像された画像データを等倍で処理する場合、撮像部１０で撮像した際の光学パラメータを取得し、その取得した光学パラメータに基づいた色収差補正データを色収差補正データベース１２０から特定する。具体的には、図７（ａ）に示すように、撮像画像を撮像した際の光学パラメータの組み合わせに対応する色収差補正データ（全画像領域）が特定される。

次いで、コントローラ３０は、特定された色収差補正データを読み出して補正特性生成回路１２１に設定する。次いで、補正特性生成回路１２１では、コントローラ３０の制御の下、色収差補正データベース１２０から読み出されて設定された補正データを補間し、各画素に適用する補正データが生成される。この補正データの補間は、前述した縮小、拡大処理の場合と同様にして行われる。補正特性生成回路１２１で生成された補正データは色収差補正回路１１０に入力され、色収差補正回路１１０では、入力された画像データに対して色収差補正が行われる。

画像処理部２０では、上述した色収差補正に次いで、コントローラ３０の制御の下、リサイズなしで画像を出力する処理（等倍処理）がリサイズ回路１１６により行われる。具体的には、リサイズ回路１１６は、図７（ｂ）に示すように、入力輝度信号Ｙ５、入力第１色差信号Ｃｂ５、入力第２色差信号Ｃｒ５に対して何ら処理を行うことなく、出力輝度信号Ｙ６、出力第１色差信号Ｃｂ６、出力第２色差信号Ｃｒ６を出力する。

以上のように、撮像装置１は、撮像画像の全画像領域の中から、指定された変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う画像処理装置である。また、撮像装置１は、撮像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶する記憶手段としての色収差補正データベース１２０を備えている。また、撮像装置１は、電子ズーム処理を行う際、部分領域のうち変倍領域に対応する部分領域についての補正データを記憶手段から読み出す補正データ読出手段としてのコントローラ３０を備えている。また、撮像装置１のコントローラ３０は、補正データ読出手段は、変倍率が１未満である場合には、変倍率に応じて補正データを間引いて記憶手段から読み出すように制御する。また、撮像装置１は、補正データ読出手段により読み出された補正データに基づいて変倍領域の画像を補正する補正手段としての色収差補正回路１１０を備えている。従って、撮像装置１は、電子ズームの倍率に応じて不要となる補正データを取得することなく、電子ズームの倍率に見合った補正データを取得して撮像画像データの補正を行うことができる。

なお、上述した実施形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては適宜変更が可能である。

例えば、上述した実施形態では、撮像画像の光学歪みとして色収差を例示して説明したが、歪曲収差、周辺光量落ちについても同様であることは言うまでもない。具体的には、歪曲収差では、撮像画像データが示す撮像画像の全画像領域を複数に分割した部分領域ごとに、その画像領域の画像の歪曲収差を補正するための補正データが記憶されることとなる。この歪曲収差を補正する補正データは画像のシフト量などである。そして、電子ズーム処理により変倍される変倍領域に対応した部分領域の補正データの中で、指定された変倍率に基づいた補正データが読み出されて、電子ズーム時における歪曲収差が各画素をシフトするなどして補正されることとなる。

また、周辺光量落ちでは、撮像画像データが示す撮像画像の全画像領域を複数に分割した部分領域ごとに、その画像領域の画像の周辺光量落ちを補正するための補正データが記憶されることとなる。この周辺光量落ちを補正する補正データは、画像の輝度調整量などである。そして、電子ズーム処理により変倍される変倍領域に対応した部分領域の補正データの中で、指定された変倍率に基づいた個数の補正データが任意に読み出されて、電子ズーム時における周辺光量落ちが各画素の輝度の調整などで補正されることとなる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本実施形態に係る撮像装置の構成を模式的に示すブロック図である。 （ａ）は、色収差補正データベースに記憶される補正データを例示する概念図であり、（ｂ）は、色収差補正データベースに記憶される光学パラメータごとの補正データを例示する概念図である。 （ａ）は、撮像画像を縮小する場合における色収差補正データからの読み出し例を示す概念図であり、（ｂ）は、補正特性生成回路での補正データの生成と色収差補正回路での演算内容とを例示する概念図である。 リサイズ回路における縮小処理の内容を例示する概念図である。 （ａ）は、撮像画像を拡大する場合における色収差補正データからの読み出し例を示す概念図であり、（ｂ）は、補正特性生成回路での補正データの生成を例示する概念図である。 リサイズ回路における拡大処理の内容を例示する概念図である。 （ａ）は、撮像画像を色収差補正する色収差補正データの読み出し例を示す概念図であり、（ｂ）は、リサイズ回路における等倍時の処理内容を例示する概念図である。

符号の説明

１ 撮像装置
１０ 撮像部
２０ 画像処理部
３０ コントローラ
１０１ 光学レンズ
１０２ ズーム駆動機構
１０３ フォーカス駆動機構
１０４ 絞り駆動機構
１０５ 光学絞り
１０６ 撮像素子
１０７ ＡＦＥ
１０８ ホワイトバランス調整回路
１０９ 色分離回路
１１０ 色収差補正回路
１１１ γ回路
１１２ 輝度生成回路
１１３ 輪郭補償回路
１１４ γ回路
１１５ ＹＣマトリクス回路
１１６ リサイズ回路
１１７ 輝度信号出力端子
１１８ 第１色差信号出力端子
１１９ 第２色差信号出力端子
１２０ 色収差補正データベース
１２１ 補正特性生成回路

Claims (6)

1. 撮像画像の全画像領域の中から、指定された変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う画像処理装置であって、
   前記撮像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶する記憶手段と、
   前記電子ズーム処理を行う際、前記部分領域のうち前記変倍領域に対応する部分領域についての補正データを前記記憶手段から読み出す補正データ読出手段と、
   前記補正データ読出手段により読み出された補正データに基づいて前記変倍領域の画像を補正する補正手段と、
   を備え、
   前記補正データ読出手段は、前記変倍率が１未満である場合には、前記変倍率に応じて前記補正データを間引いて前記記憶手段から読み出すことを特徴とする画像処理装置。
2. 前記補正データ読出手段は、前記変倍率が１未満である場合には、前記変倍領域に対応する部分領域についての補正データを一様に間引いて読み出すことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正データ読出手段により読み出された補正データを補間し、前記変倍領域に含まれる各画素に適用する補正データを生成する補間手段を更に備え、
   前記補正手段は、前記補間手段により生成された補正データに基づいて前記変倍領域の画像を補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正データは、撮像画像の光学歪みを補正するための補正データであることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記記憶手段は、前記補正データを前記部分領域ごとに、かつ光学パラメータの組み合わせごとに記憶し、
   前記撮像画像を撮像した際の光学パラメータを取得する取得手段をさらに備え、
   前記補正データ読出手段は、前記部分領域のうち前記変倍領域に対応する部分領域についての補正データを読み出す際、前記取得手段により取得された光学パラメータに基づいた補正データを前記記憶手段から読み出すことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 撮像画像の全画像領域の中から、指定された変倍率に応じた変倍領域を切り出して変倍する電子ズーム処理を行う画像処理方法であって、
   前記撮像画像の撮像領域を複数に分割した部分領域ごとに、該部分領域の画像を補正するための補正データを記憶した記憶手段から、前記電子ズーム処理を行う際、前記部分領域のうち前記変倍領域に対応する部分領域についての補正データを前記記憶手段から読み出す補正データ読出工程と、
   前記補正データ読出工程により読み出された補正データに基づいて前記変倍領域の画像を補正する補正工程と、
   を有し、
   前記補正データ読出工程は、前記変倍率が１未満である場合には、前記変倍率に応じて前記補正データを間引いて前記記憶手段から読み出すことを特徴とする画像処理方法。

Images