JP2008146155A - 画像処理方法および装置 - Google Patents

Abstract

【課題】同一画像内で異なる倍率での歪み補正処理を行なった画像においても、画像全体の解像感を一致させることの可能な画像処理方法および装置を提供すること。
【解決手段】信号処理部１における歪み補正回路４の前段部において、歪み補正データから得られる現座標の歪み補正量を考慮してアパコン信号を付加する帯域をシフトさせ、また、歪み補正回路４の後段部において、歪み補正により削られたアパコン信号を補償するために、歪み補正データを用いて適切なゲイン値を算出して補正し、画像歪み補正を用いたカメラシステムにおいて、部分的な倍率変換を行なった画像に起こる解像感の不均一を、歪み補正データを用いたアパコン信号の調節により均一に補正する。
【選択図】図１

Description

本発明は、画像歪み補正によって生じた解像感の不一致に対し、歪み補正データをもとに画像処理を行うことで画面全体の解像感を一致させるようにした画像処理方法および装置に関する。

従来の監視カメラや車載カメラ用途として、広角レンズを用いて広範囲の画像を撮像し画像信号処理によってレンズの曲率による画像歪みを補正し画像の一部を拡大・縮小する技術があり、この技術では広角画像歪み補正処理が用いられる。
また、カメラ信号処理にはアパコン補正という処理あり、この処理は画像の輪郭を強調し画像の解像感を高めるための処理であるが、この処理で付加されるアパコン信号で強調される帯域が画面全体に均一な信号を付加することで、画像全体で一定の解像感を持った画像を得ることができる。
また、電子ズームで画像の縮小処理を行う際には、周波数帯域制限処理を行うため縮小倍率に応じてアパコン信号も削られてしまう。しかし、全ての領域を同程度に縮小するような処理では、画像全体で均一にアパコン信号が削除されているため、画面全体で一定の解像感をもった画像が出力される。
このような広角画像歪み補正処理により撮像画像に生じる歪みを補正し画質を高めるようにした画像処理装置としては、光学ズーム機構におけるズーム位置を区分したズームポイントごとに歪み補正パラメータをエンコードし、これらを歪み補正メモリに格納する補正パラメータエンコーダと、歪み補正対象画素の座標とズーム位置情報とからズーム位置に応じた二つのズームポイントに対応する歪み補間パラメータを読み出す制御マイコンと、読み出された各歪み補正パラメータをズーム位置の位相関係を用いて補間演算するズーム補間処理部と、補間された歪み補正パラメータをｘ−ｙ方向にデコードして画像信号処理部へ供給する補正パラメータデコーダとを備え、ズーム区分点を利用しレンズ位置状態ごとの歪み補正用の補正パラメータを圧縮したズーム圧縮パラメータを用意してズーム位置に応じた歪み補正を行う画像処理装置がある（特許文献１参照）。
特開２００５−５７６０５号公報

かかる従来の画像処理装置においては、図１１に示すように局所的に画像の縮小処理が行われるような画像歪み補正処理の場合、縮小率の大きさに比例して帯域制限処理が強くなるため、領域によって帯域制限の異なった処理を行うことになる。つまり、同画像内において等倍処理を行なった領域と縮小処理を行なった領域ではアパコン信号の削られる割合が違うため、出力画像の解像感が不均一な画像を生成してしまう。
近年では監視カメラや車載カメラ用途において、カメラモジュールの小型化のためにレンズを極小化したシステムが増え始めている。このような小型のレンズを使ったシステムほど画像処理による歪み補正処理や倍率変換処理が必須になってくるため、それによって引き起こされる画像全体の解像感の不一致による画質の低下が問題になる課題があった。

本発明は、このような事情に鑑みてなされたものであり、同一画像内で異なる倍率での歪み補正処理を行なった画像においても、画像全体の解像感を一致させることの可能な画像処理方法および装置を提供することを目的とする。

上述の目的を達成するため、本発明にかかる画像処理方法は、画像歪み補正によって生じた解像感の不一致に対し、画面全体の解像感を一致させる画像処理方法であって、画像歪み補正による部分的な倍率変換を行なった画像に生じる解像感の不均一を、歪み補正データを用いたアパコン信号の調節により均一に補正することを特徴とする。

上述の目的を達成するため、本発明にかかる画像処理方法は、画像歪み補正によって生じた解像感の不一致に対し、画像歪み補正処理後の画像に対し画像処理を行い画面全体の解像感を一致させる画像処理方法であって、歪み補正データを用いて適切なゲイン値を算出し、歪み補正により削られたアパコン信号を補償し、画像の解像感を均一に補正することを特徴とする。

上述の目的を達成するため、本発明にかかる画像処理方法は、画像歪み補正によって生じた解像感の不一致に対し、画像歪み補正処理前の画像に対し画像処理を行い画面全体の解像感を一致させる画像処理方法であって、歪み補正データから得られる現座標の歪み補正量に応じてアパコン信号を付加する帯域をシフトさせ、画像の解像感を均一に補正することを特徴とする。

上述の目的を達成するため、本発明にかかる画像処理装置は、画像歪み補正によって生じた解像感の不一致を、歪み補正データをもとに行う画像処理により画面全体の解像感を一致させる画像処理装置であって、歪み補正処理の前段において、歪み補正により削られる周波数帯域に応じた周波数帯域可変のアパコン信号を本線系信号に付加するアパコン信号付加処理手段と、歪み補正処理の後段の画像に対し、前記歪み補正処理で使用する歪み補正データを用いて算出した段階的なアパコンゲインをもとに生成したアパコン信号により画像処理を行う段階的アパコンゲイン調整手段とを備えたことを特徴とする。

本発明によれば、画像歪み補正後においても解像感が画像全体で均一な画像が保たれる効果がある。

図１は、本発明の実施の形態の画像処理方法が適用された撮像装置１００の構成を示すブロック図である。
この撮像装置１００は、光学ブロック１０１、撮像素子１０２、画像前処理部１０３、画像信号処理部１０４、画像メモリ１０５、表示処理部１０６、モニタ１０７、圧縮・伸張処理部１０８、記録再生部１０９、記録媒体１１０、制御マイクロコンピュータ１１１、補正パラメータデコーダ１１２、歪み補正メモリ１１３およびズーム補間処理部１１４を備えている。
また、前処理装置２００は、補正パラメータ導出部２０１と補正パラメータエンコーダ２０２とを備えている。

撮像装置１００において、光学ブロック１０１は、被写体からの反射光を集光するレンズ群やこれらを駆動するための駆動機構等からなり、入射光を撮像素子１０２へ集光する。さらに光学ブロック１０１は、光学ズーム機能を備えている。光学ズーム動作時のレンズ駆動は、制御マイクロコンピュータ１１１からの制御信号より制御される。

撮像素子１０２は、ＣＣＤやＣＭＯＳイメージセンサ等からなり、光学ブロック１０１において集光された光を電気信号に変換し、アナログ画像信号を画像前処理部１０３に供給する。

画像前処理部１０３は、撮像素子１０２から供給されたアナログ画像信号に対してＣＤＳ処理やＡＧＣ処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を画像信号処理部１０４に供給する。

画像信号処理部１０４は、画像前処理部１０３からのディジタル画像信号を画像メモリ１０５に格納するとともに、このディジタル画像信号に対して、歪み補正処理等の画質補正処理を行う。画像メモリ１０５は、例えばＤＲＡＭ等の半導体メモリ等により構成されている。

表示１０６は、画像信号処理部１０４または圧縮・伸張処理部１０８からの画像信号から、モニタ１０７に表示させるための画像信号を生成し、モニタ１０７へ出力する。モニタ１０７は例えばＬＣＤにより構成されている。

圧縮・伸張処理部１０８は、画像信号処理部１０４からの画像信号を所定の画像フォーマットで圧縮符号化処理し、記録再生部１０９へ供給する。また、記録再生部１０９からの画像信号を伸張復号化処理し、表示処理部１０６に供給する。

記録再生部１０９は、圧縮・伸張処理部１０８により圧縮符号化された画像信号を記録媒体１１０へ書き込む。また、記録媒体１１０から読み出した画像データを、圧縮・伸張処理部１０８に供給する。記録媒体１１０は、例えば可搬性の半導体メモリ、光ディスク、ハードディスクなどからなる。

制御マイクロコンピュータ１１１は、図示していないユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部１０４などへ出力する。また、光学ブロック１０１内のレンズの位置情報等を補正パラメータデコーダ１１２へ供給する。また、歪み補正メモリ１１３に対して、メモリの読み書きのためのクロック信号を与える。

補正パラメータデコーダ１１２は、制御マイクロコンピュータ１１１から供給された情報に応じ、歪み補正メモリ１１３から読み出されズーム補間処理部１１４において補間演算によりズーム方向に伸張された歪み補正パラメータを、各画素に対応した補正量パラメータとしてｘ−ｙ方向にデコードし、この補正量パラメータを画像信号処理部１０４に供給する。

歪み補正メモリ１１３は、前処理装置２００の補正パラメータエンコーダ２０２から歪み補正座標を圧縮して生成された歪み補正パラメータの入力を受けこれらを保持する。そして、補正パラメータデコーダ１１２からの要求に応じて保持している歪み補正パラメータをズーム補間処理部１１４へ出力する。

ズーム補間処理部１１４は、歪み補正メモリ１１３から読み出された歪み補正パラメータを用いてズーム方向の補間処理を行い、処理後の歪み補正パラメータを補正パラメータデコーダ１１２へ供給する。

前処理装置２００において、補正パラメータ導出部２０１は撮像画像における全画素に対応する歪み補正座標を、光学ブロック１０１に搭載されているレンズのレンズデータにもとづいて作成し、補正パラメータエンコーダ２０２へ出力する。

補正パラメータエンコーダ２０２は、補正パラメータ導出部２０１からの全画素の歪み補正座標を、歪み補正パラメータに圧縮して歪み補正メモリ１１３に格納する。また、エンコード時に用いた格子情報を補正パラメータデコーダ１１２へ供給する。

次に、図１に示した撮像装置１００の動作について説明する。
この撮像装置１００では、被写体からの反射光は、光学ブロック１０１により撮像素子１０２に集光され、撮像素子１０２からはアナログ画像信号が画像前処理部１０３へ出力される。画像前処理部１０３では、撮像素子１０２からのアナログ画像信号に対してＣＤＳ処理やＡＧＣ処理が施され、さらにＡ／Ｄ変換され、ディジタル化された画像信号が画像信号処理部１０４に供給される。

画像信号処理部１０４では、入力されたディジタル画像信号が画像メモリ１０５に格納されるとともに、このディジタル画像信号に対して補正パラメータデコーダ１１２から受け取った補正量パラメータにもとづく歪み補正処理などの画質補正処理が行われる。処理後の画像信号は表示処理部１０６に供給され、これにより歪みが補正された撮像画像がモニタ１０７に表示される。

また、画像信号処理部１０４で画質補正処理された画像信号は、圧縮・伸張処理部１０８において所定の画像フォーマットで圧縮符号化処理され、記録再生部１０９により記録媒体１１０に書き込まれる。これにより撮像画像の記録が行われる。なお、圧縮符号化された画像データは、例えば通信インタフェースを介して外部の機器に対して送信されてもよい。

一方、記録媒体１１０に記録された画像データを再生する場合には、この画像データは記録再生部１０９により読み出され、圧縮・伸張処理部１０８において伸張復号化処理され、処理後の画像信号が表示処理部１０６に供給されることにより、再生画像がモニタ１０７に表示される。

ところで、撮像した画像信号を表示・記録する際には、画像信号処理部１０４において源画像に生じた光学歪みに対するディジタル補正処理が行われる。この光学歪みは光学ブロック１０１内のレンズの光学的特性に起因するものである。
本実施の形態では、前処理装置２００において全画素の歪み補正座標をエンコードし、歪み補正メモリ１１３に格納する。そして、制御マイクロコンピュータ１１１から撮像画像上の座標を受けた補正パラメータデコーダ１１２が、歪み補正メモリ１１３から対応する圧縮データをズーム補間処理部１１４を介して取得しデコードし、歪み補正座標を復元し画像信号処理部１０４へ出力する。これにより、画像信号処理部１０４は受け取った歪み補正座標などを用いて歪み補正処理を行うことが出来るようになっている。

図２は、図１に示した撮像装置の画像信号処理部１０４が備えている本実施の形態による画像処理方法を実現する構成を示すブロック図である。
この構成は、本線系信号処理部２、歪み補正データ作成回路３、歪み補正回路４、段階的アパコンゲイン調整回路（段階的アパコンゲイン調整手段）５を備えている。
本線系信号処理部２は本線系の信号を処理する回路である。歪み補正データ作成回路３は、歪み補正回路４で使用する歪み補正データを作成する回路である。
歪み補正回路４は、広角レンズにより撮影された上下左右１８０度方向の画像に対し、あらかじめ用意された画像歪み補正データを付加することにより歪み補正を行う回路である。
段階的アパコンゲイン調整回路５は、歪み補正回路４の出力データに対し段階的にアパコンゲインを調整する回路である。

また、本線系信号処理部２は、前段信号処理２１および帯域別アパコン処理回路（アパコン信号付加処理手段）２２を備えている。
前段信号処理２１は、センサーからの信号を輝度信号、色差信号に分離して画質の調整を行うものである。

帯域別アパコン処理回路２２は、図３に示すように高域から低域までの複数のアパコン信号生成回路ＡＰ１，ＡＰ２……ＡＰｎと帯域可変アパコン信号付加回路２０１を備えている。
図３は、帯域別アパコン処理回路２２が備えているアパコン信号生成回路と帯域可変アパコン信号付加回路２０１の構成を示すブロック図である。
帯域可変アパコン信号付加回路２０１は、帯域シフト係数生成回路３１、乗算回路Ｇｆ１，Ｇｆ２……Ｇｆｎおよび加算回路４７，４８を含む構成である。
帯域シフト係数生成回路３１は、歪み補正回路４で使用する歪み補正データを用いてアパコン信号の周波数帯域をシフトさせるための帯域シフト係数、すなわちアパコン信号生成回路ＡＰ１，ＡＰ２……ＡＰｎでそれぞれ生成されたアパコン信号に対応する帯域シフト係数を生成する回路である。
乗算回路Ｇｆ１，Ｇｆ２……Ｇｆｎは、アパコン信号生成回路ＡＰ１，ＡＰ２……ＡＰｎでそれぞれ生成したアパコン信号と、帯域シフト係数生成回路３１で生成した帯域シフト係数とをそれぞれ乗算処理し、その各演算結果を加算回路４７へ出力する回路である。
加算回路４７は、乗算回路Ｇｆ１，Ｇｆ２……Ｇｆｎからそれぞれ出力された前記アパコン信号の各演算結果の総和を求め、その演算結果を加算回路４８へ出力する回路である。加算回路４８は、加算回路４７の出力を本線系の信号へ加算する回路である。

この構成により、本実施の形態の画像処理方法では、同一画像内で異なる倍率での歪み補正処理を行なった画像においても、画像全体の解像感を一致させることが可能となる。
また、本実施の形態の画像処理方法は、画像歪み補正を用いたカメラシステムにおいて、部分的な倍率変換を行なった画像に起こる解像感の不均一を、歪み補正データを用いたアパコン信号の調節により均一に補正することが可能になる。
また、信号処理部１における歪み補正回路４の前段部において、歪み補正データから得られる現座標の歪み補正量を考慮してアパコン信号を付加する帯域をシフトさせるようにしたので、歪み補正処理後においても均一な解像感をもつ画像を構成できる理想的なアパコン信号が得られる。
また、信号処理部１における歪み補正回路４の後段部において、歪み補正により削られたアパコン信号を補償するために、歪み補正データを用いて適切なゲイン値を算出して補正するようにしたので、歪み補正処理後においても画面内において均一な解像感をもつ画像を構成できる理想的なアパコン信号が得られる。

本実施の形態は、画像歪み補正機能を用いて部分電子ズームといったある領域のみを拡大・縮小して出力する機能を有するカメラＤＳＰにおいて、画像歪み補正後においても解像感が保たれるような適切なアパコン信号を付加する画像処理方法および装置に関するものである。
画面内で縮小率の異なる画像を生成する際に画面全体で均一なアパコン信号を付加することは、解像感の不均一な画像を出力してしまうため得策ではない。実際にはズーム倍率や歪み補正率に応じて付加するアパコン信号を変え、出力画像においても解像感が均一な画像を作り出せばよい。

この実施の形態の画像処理方法が適用される撮像装置は広角歪み補正回路を前提としている。広角歪み補正を用いたカメラシステムでは、広角レンズによって撮影された上下左右１８０度方向の画像に対して、あらかじめ用意された画像歪み補正データを付加することによって違和感の無い画像を得ることが出来る。
本実施の形態では、従来の広角歪み補正回路に加えて、歪み補正処理の前段の画像信号処理部１０４において、周波数帯域可変の帯域可変アパコン信号付加回路２０１と、歪み補正回路４の後段の出力データに対して段階的にアパコンゲインを乗算する段階的アパコンゲイン乗算回路８１とを備える。これら帯域可変アパコン信号付加回路２０１と段階的アパコンゲイン乗算回路８１は歪み補正回路４で使用する歪み補正データを用いて、アパコン信号の周波数帯域をシフトさせるための係数算出と段階的なアパコンゲインの算出のため、歪み補正データ作成回路３と接続されている。

先ず、周波数帯域可変のアパコン信号付加処理について説明する。
従来のアパコン信号生成処理では高域、低域側のアパコン信号を持ち、それぞれの信号からアパコン信号の生成を行う。アパコン信号は画面内で一定の周波数帯域に対して付加するため、部分的に電子ズームを行うような歪み補正を行なったような画像では、領域毎に帯域制限が異なる画像になってしまうので画像全体で解像感が不均一な画像が出力されてしまう。
このため本実施の形態では、今までは固定した周波数帯域でしか掛けられていなかったアパコン信号を、図３に示す帯域可変アパコン信号付加回路２０１の構成により、広角歪み補正処理で使われる歪み補正データを用いて歪み補正によって削られる周波数帯域を推定することにより、歪み補正後にも信号が削られることのない適切なアパコン信号を作り出し、本線系信号に対してアパコン信号を付加する。
周波数帯域制限によって削られる信号は、歪み補正率の高い処理ほど高周波成分が大きく削られ、低周波成分の信号のみが残される。そのため歪み補正率の高い領域の場合にはアパコン信号を付加する際に、付加するアパコン信号の周波数帯域を低域側にシフトすることで、歪み補正回路４を通った後でもアパコン信号が最適に残った画像を得ることができる。

図３に示す帯域可変アパコン信号付加回路２０１は、高域から低域までの複数のアパコン信号生成回路ＡＰ１，ＡＰ２，ＡＰ３……ＡＰｎを持ち、それぞれのアパコン信号にそれぞれの信号に対する帯域シフト係数が掛けられたものが足されて最終的なアパコン信号となる。ここで得られたアパコン信号が本線系信号に加算されて、後段の歪み補正回路４の入力信号となる。

帯域シフト係数生成回路３１では歪み補正データ生成回路３からの歪み補正データから各フィルタのゲイン値を求める。各フィルタのゲイン係数を求めるために、初めに歪み補正データを用いることによって現画素における局所的な縮小率を計算する。歪み補正率と画像縮小率は比例の関係にあるため計算によって求めることができる。次に、その局所的な縮小率を用いることによって、歪み補正回路４における信号の通過帯域を推定することが可能である。先ほども説明したように、縮小率が大きいほど周波数の帯域制限は強くなり削られる信号は強くなるという関係を持つ。次に、推定された周波数の通過帯域から、歪み補正後においてもアパコン信号が削られることのない最適なアパコン信号の周波数帯域を決定する。制限される帯域が歪み補正データにより推定できるような本手法では、歪み補正処理後においてもアパコン信号が削られることのない理想的な信号は一意に決定することができる。

図４は、帯域シフト係数生成回路３１の各機能をブロック化して示すブロック図である。帯域シフト係数生成回路３１では、所望のアパコン信号を作り出すために、図４に示すようにフィルタ信号ｆ１〜ｆｎに対するゲイン値を調整することによって求める。例えば、等倍処理の場合には高域側のｆ１，ｆ２などにゲインを強くかけ輪郭が強調されるような信号を作り、縮小処理の場合には低域側のｆｎ，ｆｎ−１などに強くゲインを掛けて帯域制限によって削られることのないような信号を作ることになる。複数のフィルタ信号を持つことで今までの回路以上の微調整が可能であり、それぞれのゲイン値を変えることでアパコン信号の加えられる周波数帯域をシフトさせることになる。

図５（ａ）は周波数帯域可変の複数のアパコン信号を示し、図５（ｂ）は高域を残したアパコン信号、図５（ｃ）は低域を残したアパコン信号を示す説明図である。
図６（ａ）は等倍処理を示す説明図、図６（ｂ）は縮小処理を示す説明図である。
周波数帯域可変のアパコン信号付加機能がオンになっている場合に、一連の処理で得られたアパコン信号を本線系信号に掛けることで、図６に示すように、歪み補正処理後でも均一な解像感を持つような理想的なアパコン信号が付加される。

次に、図７に示す段階的アパコンゲイン乗算回路８１について説明する。
従来の処理では歪み補正処理後の画像に対して、そのままＮＴＳＣなどのデータに変換して出力を行なっていた。しかし、局所的に電子ズーム処理を行うような処理をした場合には画像内で局所的なズーム倍率によって帯域制限の異なる領域が存在するため解像感の不一致が起きていた。
本実施の形態ではこのような画像歪み補正によって生じた解像感の不一致を画像歪み補正処理の後段の画像に対して画像処理を行い、画面全体の解像感を一致させる。つまり歪み補正処理によって出力された画像からアパコン信号を生成し、歪み補正データから得られた現画素での歪み補正率を基にして生成された段階的なアパコンゲイン値を乗算し、生成されたアパコン信号を本線系信号に加算する。
前段での周波数帯域シフト係数生成処理の時と同様に、周波数帯域制限によって削られる信号は歪み補正率の高い処理ほど高周波成分が大きく削られ、低周波成分の信号のみが残されるため画像全体で解像感の不一致な画像が出力される。領域によって歪み補正量の異なる歪み補正後の画像において、歪み補正量の多い領域に対してはアパコンゲインを強く掛けて削られた信号を補償し、歪み補正量の少ない領域に対してはアパコンゲインをかけないことによって、全体的な画像の解像感を一致させることが得策である。
段階的アパコンゲイン生成６２では、画像歪み補正回路４で使われた歪み補正データを用いることでアパコンゲイン値を計算する。初めに歪み補正データを用いることによって現画素における局所的な縮小率を計算する。歪み補正率と画像縮小率は比例の関係にあるため計算によって求めることが出来る。

次に、その局所的な縮小率を用いることによって、歪み補正回路４における信号の通過帯域を推定することが可能である。先ほども説明したように、縮小率が大きいほど周波数の帯域制限は強くなり削られる信号は多くなるという関係を持つ。
得られた通過帯域から段階的なアパコン信号に乗算するゲイン値を求める。通過帯域とアパコンゲインの相関関係は図９のような関係となり通過帯域が狭いほどアパコンゲインは強くなり、通過帯域が広いほど掛けられるアパコンゲインは弱くなる。つまり、帯域制限が強い回路ほど削られるアパコン信号が多いために削られた信号を補うためにそれに比例した強いアパコンゲインを乗算する必要がある。また、帯域制限の弱い等倍処理のような場合にはアパコンゲインを強くかける必要は無い（図１０参照）。

こうして得られたアパコンゲイン値を本線系信号から作られたアパコン信号に対して乗算することで歪み補正処理後の信号に付加されるアパコン信号が得られる。このようにして歪み補正データから適切なアパコンゲイン値を得ることで、滑らかな周波数帯域特性を維持した信号を得ることができる。段階的アパコンゲイン乗算処理機能がオンになっている場合に、画像全体に対して算出されたアパコンゲインが乗算される。これにより、画像歪み補正後においても画面内で均一な解像感を持った画像を得ることができる。
上記のような、画像歪み補正処理前に行う帯域可変アパコン信号処理と、画像歪み補正後に行う段階的アパコンゲイン乗算処理を組み合わせることにより、画面内で均一な解像感を持った画像を得ることができる。

図１１は、画像歪み補正処理と、画像歪み補正処理前に行う帯域可変アパコン信号処理と、画像歪み補正後に行う段階的アパコンゲイン乗算処理の各動作を示すフローチャートである。
図１１（ａ）は、本実施の形態の画像処理方法の構成を示すメインフローチャートである。同図（ｂ）は、図１１（ａ）のメインフローチャートにおける帯域可変アパコン信号付加についての処理を示すフローチャートである。同図（ｃ）は、図１１（ａ）のメインフローチャートにおける段階的アパコンゲイン付加処理における段階的帯域制限係数算出処理を示すフローチャートである。

図１１（ａ），（ｂ），（ｃ）のフローチャートによれば、図１１（ａ）に示すメインフローチャートにおけるステップＳ３において同図（ｂ）に示す帯域可変アパコン信号付加処理が実行され、またステップＳ６において同図（ｃ）に示す段階的アパコンゲイン付加処理が実行される。
同図（ｂ）に示す帯域可変アパコン信号付加処理では、画像の有効範囲の設定が行われ（ステップＳ１１）、続いて現座標の歪み補正データの取得を行い（ステップＳ１２）、さらに補正データから歪み補正処理後の帯域制限の計算を行う（ステップＳ１３）。そして、歪み補正処理後にもアパコン信号が残るような帯域を考慮したアパコン信号の生成を行い（ステップＳ１４）、本線系信号に前記生成したアパコン信号を付加する（ステップＳ１５）。そして、これらステップＳ１２からステップＳ１５までの処理は画像の全有効範囲に対して実行される（ステップＳ１６）。

同図（ｃ）に示す段階的アパコンゲイン付加処理における段階的帯域制限係数算出処理では、画像の有効範囲の設定が行われ（ステップＳ２１）、続いて現座標の歪み補正データの取得を行い（ステップＳ２２）、さらに現座標の歪み率に応じたアパコンゲインの算出を行う（ステップＳ２３）。そして、前記算出したアパコンゲインを付加する（ステップＳ２４）。そして、これらステップＳ２２からステップＳ２４までの処理は画像の全有効範囲に対して実行される（ステップＳ２５）。

以上説明したように、本実施の形態によれば、画像歪み補正処理による部分的な電子ズームを行う処理において、画面全体の解像感の不均一が補正される効果がある。
また、画像歪み補正データを用いることで、画像歪み補正後の周波数帯域制限が推定できるため、効果的なアパコン信号を付加することが可能となる効果がある。
また、複数の信号からアパコン信号を生成するためより細かなアパコン信号の制御が可能となる効果がある。
また、画像歪み変換後に歪み補正データを用いてアパコン信号のゲイン値を制御することによって滑らかな周波数特性を得ることができる効果がある。
また、歪み補正データを本提案のように使用することで、シェーディング補正などの画質改善の手法としても応用が可能である。
また、既存のズーム機能に対してもアパコン信号の調整を行うことにとって画質改善に繋がる効果がある。

本発明の実施の形態の画像処理方法が適用された撮像装置の構成を示すブロック図である。 図１に示した撮像装置の画像信号処理部が備えている本実施の形態による画像処理方法を実現する構成を示すブロック図である。 本発明の実施の形態の帯域別アパコン処理回路が備えているアパコン信号生成回路と帯域可変アパコン信号付加回路の構成を示すブロック図である。 本発明の実施の形態の帯域シフト係数生成回路の構成を示すブロック図である。 本発明の実施の形態の画像処理装置におけるフィルタ信号に対するゲイン値の調整による所望のアパコン信号の生成を示す説明図である。 本発明の実施の形態における等倍処理と縮小処理を示す説明図である。 本発明の実施の形態の段階的アパコンゲイン乗算回路の構成を示すブロック図である。 本発明の実施の形態の段階的アパコンゲイン生成処理を示すブロック図である。 本発明の実施の形態における通過帯域とアパコンゲインの相関を示す特性図である。 本発明の実施の形態における段階的アパコンゲイン乗算処理の流れを示す説明図である。 本発明の実施の形態の画像処理方法の構成を示すフローチャートである。 従来の画像処理装置の問題点を示す説明図である。

符号の説明

３……歪み補正データ作成回路、４……歪み補正回路、５……段階的アパコンゲイン調整回路（段階的アパコンゲイン調整手段）、２２……帯域別アパコン処理回路（アパコン信号付加処理手段）、８１……段階的アパコンゲイン乗算回路。

Claims (5)

1. 画像歪み補正によって生じた解像感の不一致に対し、画像処理を行い画面全体の解像感を一致させる画像処理方法であって、
   画像歪み補正による部分的な倍率変換を行なった画像に生じる解像感の不均一を、歪み補正データを用いたアパコン信号の調節により均一に補正することを特徴とする画像処理方法。
2. 画像歪み補正によって生じた解像感の不一致に対し、画像歪み補正処理後の画像に対し画像処理を行い画面全体の解像感を一致させる画像処理方法であって、
   歪み補正データを用いて適切なゲイン値を算出し、歪み補正により削られたアパコン信号を補償し、画像の解像感を均一に補正することを特徴とする画像処理方法。
3. 画像歪み補正によって生じた解像感の不一致に対し、画像歪み補正処理前の画像に対し画像処理を行い画面全体の解像感を一致させる画像処理方法であって、
   歪み補正データから得られる現座標の歪み補正量に応じてアパコン信号を付加する帯域をシフトさせ、画像の解像感を均一に補正することを特徴とする画像処理方法。
4. 画像歪み補正によって生じた解像感の不一致を、歪み補正データをもとに行う画像処理により画面全体の解像感を一致させる画像処理装置であって、
   歪み補正処理の前段において、歪み補正により削られる周波数帯域に応じた周波数帯域可変のアパコン信号を本線系信号に付加するアパコン信号付加処理手段と、
   歪み補正処理の後段の画像に対し、前記歪み補正処理で使用する歪み補正データを用いて算出した段階的なアパコンゲインをもとに生成したアパコン信号により画像処理を行う段階的アパコンゲイン調整手段と、
   を備えたことを特徴とする画像処理装置。
5. 前記アパコン信号付加処理手段は、前記歪み補正処理で使用する歪み補正データをもとにアパコン信号の周波数帯域をシフトさせるための係数算出を行い、前記段階的アパコンゲイン調整手段は、前記歪み補正処理で使用する歪み補正データを用いて段階的なアパコンゲインの算出を行い、前記段階的なアパコンゲイン値を前記歪み補正処理により出力された画像から生成されたアパコン信号に対し乗算し、前記段階的なアパコンゲイン値が乗算されたアパコン信号を前記本線系信号に加算することを特徴とする請求項４記載の画像処理装置。

Images