JP2007184720A - 画像撮影装置 - Google Patents

Abstract

【課題】入力画像の中央領域を拡大し周辺領域を圧縮する機能を持つ光学系で撮影された画像データを縮小する際にも、画質の劣化を抑えることが可能な画像撮影装置を提供すること。
【解決手段】中央領域を拡大し周辺領域を圧縮するような歪曲収差特性を持つ光学系１によって結像された被写体像は撮像素子２において画像データに変換される。フィルタ係数設定回路１３において撮像素子２からの画像データの各画素がナイキスト周波数を越える空間周波数を有する領域たるナイキスト画像領域に含まれるか否かが判定され、含まれるときにナイキスト周波数を越える空間周波数を遮断するフィルタ係数が第１のメモリ１１より読み出されてフィルタ回路９に設定される。そして、この設定されたフィルタ係数に基づいてフィルタ回路９においてフィルタ処理が行われ、その後、歪み補正回路１０において画像データにおける歪曲収差特性が補正される。
【選択図】図１

Description

本発明は、画像撮影装置に関する。

ビデオカメラやデジタルカメラなどの画像撮影装置に於いて、撮影する被写体までの距離や画角に占める大きさに合わせてレンズの焦点距離を変更し、拡大縮小を自由に行うズーム機能が広く利用されている。これらのズーム機能は通常内部のレンズを機械的に動かすことにより実現されている光学ズームと、撮像素子から出力される画像の一部を利用し、画素間に新たな画素を補間することで拡大し画素を間引きすることで縮小する電子ズームとに大別される。電子ズームは光学ズームと比較して駆動部分が必要ないため小型かつ安価に実現できるが、画質的に劣るという問題点がある。

そこで、特許文献１では、入力画像の周辺領域を圧縮する機能を有する固定焦点距離画像入力光学系と、この固定焦点距離画像入力光学系を介して入射した被写体像を受光する、主として均一な画素密度を有する受光素子とを備え、固定焦点距離画像入力光学系における圧縮による歪みを含んだ画像を補正変換することにより、その動作領域において光学ズームと同等の解像度のズーム画像を実現している。つまり、特許文献１の手法では、広角画像も望遠画像も周辺領域における画質劣化は避けられないものの中央領域は劣化が少ない画像を得ることが期待できる。
特開平１０−２３３９５０号公報

ここで、特許文献１の手法のような光学系にて得られる画像に対し、画像の中央領域が縮小されるような画像処理が施される場合、中央領域における空間周波数が高くなり、その結果として折り返し歪みが発生して画質が劣化する惧れがある。しかしながらこの点に関する対応が上記特許文献１においてはなされていない。

本発明は、以上のような課題を解決するためになされるものであり、入力画像の中央領域を拡大し周辺領域を圧縮する機能を持つ光学系で撮影された画像データを縮小する際にも、画質の劣化を抑えることが可能な画像撮影装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像撮影装置は、中央領域を拡大し周辺領域を圧縮するような歪曲収差特性を持つ光学系と、前記光学系により結像された被写体像を画像データに変換する撮像素子と、前記画像データのナイキスト周波数を越える空間周波数を遮断するフィルタ処理を行うためのフィルタ係数を格納した第１のメモリと、前記画像データにおいて前記ナイキスト周波数を越える空間周波数を有する領域たる、ナイキスト画像領域の外縁を定義するためのパラメータを格納した第２のメモリと、前記ナイキスト画像領域の外縁を定義するためのパラメータに基づき、前記画像データの各画素位置が前記ナイキスト画像領域に含まれるか否かを判定し、含まれるとき、前記ナイキスト周波数を越える空間周波数を遮断するフィルタ係数を前記第１のメモリより読み出すフィルタ係数設定回路と、前記読み出されたフィルタ係数に従って前記画像データに対してフィルタ処理を行うフィルタ回路と、前記フィルタ回路からの画像データに対し、前記歪曲収差特性を補正する歪み補正回路とを具備することを特徴とする。

この第１の態様によれば、撮像素子から出力された画像データの各画素位置が、ナイキスト画像領域内に含まれるか否かが判定され、その判定結果に応じたフィルタ係数が第１のメモリから読み出されてフィルタ回路に設定される。これにより、折り返し歪み等の画質の劣化を抑えた歪み補正後の画像データを得ることができ、且つ、ナイキスト画像領域に関する情報を、同領域の外縁を定義するためのパラメータの形式にて有しているため、ナイキスト画像領域に関する情報を記憶するために必要な容量をも抑えることができる。

本発明によれば、入力画像の中央領域を拡大し周辺領域を圧縮する機能を持つ光学系で撮影された画像データを縮小する際にも、画質の劣化を抑えることが可能な画像撮影装置を提供することができる。

まず、以下の実施形態において用いる用語「ナイキスト画像領域」について説明しておく。このナイキスト画像領域は、画像信号の標本化定理にて用いられるナイキスト周波数を越える空間周波数を有する画像データの領域を指している。標本化定理によれば、原画像を所定の周期（サンプリング周波数）でサンプリングして縮小画像を作成する際、その原画像に含まれる最大の空間周波数がナイキスト周波数（＝サンプリング周波数の１／２の周波数）以下であれば、縮小画像には折り返し歪みは発生しないとしている。したがって、原画像に含まれる空間周波数の帯域を予めナイキスト周波数以下に抑えることにより、折り返し歪みの発生は抑えられることになる。

以下に説明する実施形態において用いられる光学系は、入射した被写体像の中央領域を拡大し周辺領域を圧縮するような歪曲収差特性を持っているため、広角側で画像の歪み補正を行うと、中央領域付近では画像が縮小される。この際、ナイキスト周波数を越える空間周波数を有する画像領域、即ち、ナイキスト画像領域が存在すると、それに対応する縮小画像の領域では折り返し歪みが発生することになる。

そこで、本実施形態においては、歪み補正を行うのに先立って画像内のナイキスト画像領域の位置を検出し、検出したナイキスト画像領域内のナイキスト周波数を超える空間周波数帯域をナイキスト周波数以下に制限する処理を行う。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る画像撮影装置の構成を示す図である。図１に示す画像撮影装置は、光学系１と、撮像素子２と、読み出し回路３と、補正回路４と、画像メモリ５と、メモリ制御回路６と、ＲＧＢ同時化回路７と、画素位置演算回路８と、フィルタ回路９と、歪み補正回路１０と、第１のメモリ１１と、第２のメモリ１２と、フィルタ係数設定回路１３と、同期信号生成回路１４とから構成されている。

光学系１は、中央領域を拡大し周辺領域を圧縮するような歪曲収差を持つ光学系である。図２は、本一実施形態において用いられる光学系１の構成の一例を示す図である。図２に示すように、光学系１は、カマボコ形のシリンドリカルレンズ１０１及び１０２が、縦及び横に組み合わせて構成されている。図３及び図４は図２の光学系１の作用を示すための図である。ここで、図３は光学系１を通過する前の被写体像を、図４は通過後の被写体像を示している。図３と図４を比較して分かるように、光学系１を通過した被写体像は中央領域が拡大され、周辺領域が圧縮される。

撮像素子２は、ＣＣＤセンサやＣＭＯＳセンサ等から構成され、光学系１を介して結像された被写体像を画像データに変換する素子である。読み出し回路３は、撮像素子２からの画像データの読み出しを制御する同期信号を生成し、撮像素子２に出力する。撮像素子２は読み出し回路３からの同期信号を受けて補正回路４に画像データを出力する。補正回路４は、読み出し回路３から読み出した画像データに対し、ホワイトバランス補正やシェーディング補正等の補正処理を行う。

画像メモリ５は、補正回路４により補正が施された画像データを一時格納する。ここで、画像メモリ５は、少なくとも、後述する後段の歪み補正回路１０にて歪み補正を行うために必要なメモリ容量を有している。メモリ制御回路６は、画像メモリ５への画像データの書き込み及び画像メモリ５からの画像データの読み出しを制御する。

ＲＧＢ同時化回路７は、メモリ制御回路６を介して画像メモリ５から読み出されたBayer配列の画像データから、ＲＧＢ３色を１画素成分とする画像データを補間によって生成する。画素位置演算回路８は画像メモリ５からの画像データの読み出しに同期して読み出された画像データの各画素に対応する位置の座標を生成する。同期信号生成回路１４は、画像メモリ５からの画像データの読み出しと画素位置演算回路８における画素位置の演算との同期を取るための同期信号を生成する回路である。この同期信号生成回路１４で生成された同期信号はメモリ制御回路６及び画素位置演算回路８に入力される。

フィルタ回路９は、フィルタ係数設定回路１３により設定されるフィルタ係数に従ってＲＧＢ同時化回路７から出力される画像データの空間周波数帯域を制限するフィルタ処理（ローパスフィルタ処理）を行う。

図５は、フィルタ回路９をマトリクス回路で構成した場合の一例を示す図である。なお、図５に示す回路は３×３のフィルタの例である。このフィルタ回路９には、水平方向３画素及び垂直方向３画素を１つの単位として画像データを入力していく。このように入力することにより、最初の水平方向３画素分の画像データの各画素にはそれぞれフィルタ係数７、フィルタ係数８、フィルタ係数９が乗じられ、続く水平方向３画素分の画像データの各画素にはそれぞれフィルタ係数４、フィルタ係数５、フィルタ係数６が乗じられ、最後の水平方向３画素分の画像データの各画素にはそれぞれフィルタ係数１、フィルタ係数２、フィルタ係数３が乗じられ、その後、これらフィルタ係数が乗じられた画像データが加算され、フィルタ係数５が乗じられた画素位置に係る画像データとして順次出力される。

歪み補正回路１０は、歪み補正部と拡大縮小部とを少なくとも有している。歪み補正部はフィルタ回路９からの、図４に示すような歪曲収差を有する出力に対して歪曲収差の補正を行う。具体的には中央部を縮小し、周辺部を拡大するような補正を行う。更に電子ズームを施すように設定されている場合、拡大縮小部は図示しないＣＰＵによって設定される倍率に基づいて画像データの拡大縮小処理を行う。

第１のメモリ１１は、フィルタ係数設定回路１３によってフィルタ回路９に設定されるフィルタ係数を格納している。図６は、この第１のメモリ１１に格納されているフィルタ係数と、１フレームの画像データに設定された複数の領域１〜５との関係を示した図である。ここで、中心の領域２は上述したナイキスト画像領域であり、領域３〜５は、フィルタ回路９によるフィルタ処理後の領域２とそのほかの領域との間の画質の変化を緩やかにするために設けられた緩衝領域である。図５では、領域１にはフィルタ係数セット１が、領域２にはフィルタ係数セット２が、領域３〜５にはフィルタ係数セット３〜５が割り当てられていることを示している。ここで、フィルタ係数セットとは、フィルタ回路９に設定される複数個のフィルタ係数のセット（図５の例においてはフィルタ係数１〜９）のことである。

ここで、フィルタ係数は、フィルタ係数２、フィルタ係数３〜５、フィルタ係数１の順で、通過させる空間周波数の帯域の制限が緩やかになるように設定されている。なお、本一実施形態においては、緩衝領域を３つに区分し、それぞれの領域にフィルタ係数セット３〜５を割り当てているが、緩衝領域を３つ以外としても良い。また、緩衝領域が無くとも良い。

また、図６に示す各領域は、画像処理を行う領域を表しており、撮像素子２から入力される画像の全領域を示しているものでは無い。例えば、電子ズームを使用する場合には、周辺領域分の画素は不要となる。

第２のメモリ１２は、図６に示す領域２〜５の領域の外縁を定義するためのパラメータを格納している。この第２のメモリ１２に格納される領域の外縁を定義するためのパラメータのセットの例を以下の表１に示す。

この表１に示されるパラメータセットは、「倍率」、「領域」、「基点」、「垂直幅」及び「水平幅」の項目から構成されている。

「倍率」は、電子ズームを行う際の画像の拡大縮小倍率を示すパラメータである。「領域」は図６の領域２〜５を示すパラメータである。「基点」は各領域の基準となる点を示すパラメータである。なお、「基点」の例として、図６では画像領域の左上の座標点を示している。この画像領域の左上の座標点の他に、各領域の頂点を「基点」として定義するようにしても良い。また、「垂直幅」は各領域における「基点」からの垂直方向の幅、「水平幅」は各領域における「基点」からの水平方向の幅を示すパラメータである。

このようなパラメータセットを格納している第２のメモリ１２は、「倍率」に対応する「領域」、「基点」、「垂直幅」、及び「水平幅」の各パラメータが読み出されるように構成されている。

ここで、上記表１においては「倍率」のパラメータがｚ０、ｚ１、ｚ２の３つの場合を示しているが３つに限るものではない。また、歪み補正回路１０における「倍率」は任意に設定可能としても良いが、第２のメモリ１２に格納可能なパラメータとしての「倍率」は、メモリ領域の関係上、制限がある。このため、第２のメモリで設定可能な「倍率」は、離散的な値となる。したがって、入力された「倍率」に対応する「領域」、「基点」、「垂直幅」、及び「水平幅」が格納されていない場合には、入力された「倍率」と最も近いパラメータセットを使用する。また、「倍率」の値に応じて１番近いパラメータのセットと２番目に近いパラメータセットとから線形補間等の演算を行って、パラメータのセットを決定することも可能である。

フィルタ係数設定回路１３は、外部から歪み補正回路１０に設定された電子ズーム処理の「倍率」に対応するパラメータセットを第２のメモリ１２から読み出して、画素位置演算回路８で演算された画像データの各画素の位置が図６に示す領域１〜５の何れの領域に含まれているかを判定し、この判定結果に応じたフィルタ係数セット１〜５を第１のメモリ１１から読み出してフィルタ回路９に設定する。

なお、第２のメモリ１２から出力されるパラメータは、図６に示す領域の外縁を定義するものであり、その内縁を定義する項目は含まれていない。しかし、フィルタ係数設定回路１３は各画素が領域１〜５の何れの領域に含まれているかを判定できれば良いので、各領域の外縁のみを定義できれば判定は可能となる。このように、第２のメモリ１２に内縁を定義するパラメータを含ませる必要がない分、第２のメモリ１２は、１パラメータ当たりのデータ容量を抑えることが可能となっている。

次に、以上のように構成された画像撮影装置の動作について説明する。
光学系１により撮像素子２に結像された被写体像は、撮像素子２により画像データに変換される。撮像素子２において得られた画像データは、読み出し回路３からの同期信号に従って読み出され、補正回路４に入力される。補正回路４では、画像データに対して、光学系１や撮像素子２で発生する周辺減光や周辺増光の影響の補正や、ホワイトバランス等の補正が行われる。補正回路４において補正された画像データはメモリ制御回路６を介して画像メモリ５に出力されて記憶される。その後、画像メモリ５に記憶された画像データはメモリ制御回路６を介してＲＧＢ同時化回路７に入力される。ＲＧＢ同時化回路７においては、撮像素子で得られたBayer配列の画像データが、Ｒ、Ｇ、Ｂの３画素を１画素成分とする画像データに同時化される。ＲＧＢ同時化回路７において同時化された画像データは、フィルタ回路９に出力される。

また、読み出し回路３からの同期信号は画素位置演算回路８にも入力される。この同期信号を受けて画素位置演算回路８において、画像データの各画素の水平座標と垂直座標とが生成され、これらの座標データが、フィルタ係数設定回路１３に入力される。更に、フィルタ係数設定回路１３には外部から歪み補正回路１０の「倍率」も入力される。フィルタ係数設定回路１３は、入力された「倍率」に応じた「領域」、「基点」、「垂直幅」及び「水平幅」からなるパラメータセットを第２のメモリ１２から読み出す。そして、フィルタ係数設定回路１３は、第２のメモリ１２から読み出したパラメータに基づき、フィルタ処理を行う画像データの各画素が、図６の領域１〜５の何れの領域に含まれているか判定し、判定結果に応じたフィルタ係数セット１〜５を第１のメモリ１１から読み出してフィルタ回路９に設定する。

ここで、フィルタ係数設定回路１３におけるフィルタ係数セットの設定動作について図７を参照して説明する。
上述したように、フィルタ係数設定回路１３には、画素位置演算回路８から各画素の水平座標と垂直座標とが入力される。これらの座標をそれぞれｘ０１、ｙ０１とする。また、フィルタ係数設定回路１３には倍率も与えられる。ここでは、説明を簡単にするために上記表１のｚ０、ｚ１、ｚ２の何れかが与えられたとする。

フィルタ係数設定回路１３は、第２のメモリ１２に格納されている倍率の値に対応した「領域」、「基点」、「垂直幅」、「水平幅」の各パラメータを読み出す。そして、これら、「領域」、「基点」、「垂直幅」、「水平幅」の各パラメータと、ｘ０１及びｙ０１とから、フィルタ処理を行う画素が図６の何れの領域に含まれているかを判定する。今後の説明においては、倍率を固定とし各パラメータは以下の表２の通りとする。

まず、ｘ０１が図７に示す領域１〜５の何れの領域に含まれているかの判定を、以下のようにして行う。
（１ａ） ｘｐ０２≦ｘ０１＜（ｘｐ０２＋ｗｈ０２）であれば領域２、
（２ａ） ｘｐ０３≦ｘ０１＜ｘｐ０２または（ｘｐ０２＋ｗｈ０２）≦ｘ０１＜（ｘｐ０３＋ｗｈ０３）であれば領域３、
（３ａ） ｘｐ０４≦ｘ０１＜ｘｐ０３または（ｘｐ０３＋ｗｈ０３）≦ｘ０１＜（ｘｐ０４＋ｗｈ０４）であれば領域４、
（４ａ） ｘｐ０５≦ｘ０１＜ｘｐ０４または（ｘｐ０４＋ｗｈ０４）≦ｘ０１＜（ｘｐ０５+ｗｈ０５）であれば領域５、
（５ａ） 上記（１ａ）~（４ａ）以外であれば領域１。

続いて、ｙ０１が図７に示す領域１〜５の何れの領域に含まれているかの判定を、以下のようにして行う。
（１ｂ） ｙｐ０２≦ｙ０１＜（ｙｐ０２＋ｗｖ０２）であれば領域２、
（２ｂ） ｙｐ０３≦ｙ０１＜ｙｐ０２または（ｙｐ０２＋ｗｖ０２）≦ｙ０１＜（ｙｐ０３＋ｗｖ０３）であれば領域３、
（３ｂ） ｙｐ０４≦ｙ０１＜ｙｐ０３または（ｙｐ０３＋ｗｖ０３）≦ｙ０１＜（ｙｐ０４＋ｗｖ０４）であれば領域４、
（４ｂ） ｙｐ０５≦ｙ０１＜ｙｐ０４または（ｙｐ０４＋ｗｖ０４）≦ｙ０１＜（ｙｐ０５+ｗｖ０５）であれば領域５、
（５ｂ） 上記（１ｂ）~（４ｂ）以外であれば領域１。

続いて、ｘ０１が含まれる領域とｙ０１が含まれる領域とを比較し、画素がどの領域に含まれているかを判定する。この判定は、以下の表３のように判定する。

このような判定により、画素の含まれる領域が判定され、その判定結果に応じたフィルタ係数セットがフィルタ回路９に設定される。例えばフィルタ回路９が図５に示す３×３のマトリックス回路の場合は、９つのフィルタ係数１〜９が設定される。このようにして設定されたフィルタ係数を用いてフィルタ処理を行うことによってフィルタ回路９に入力された画像の各画素が含まれる領域に応じた空間周波数の帯域制限に係るフィルタ処理がなされる。このようにしてフィルタ処理がなされた後、画像データは歪み補正回路１０に入力される。そして、歪み補正回路１０により歪曲収差に係る補正が行われ、更に拡大縮小処理がなされた後、出力される。

以上説明したような本一実施形態の構成により、中央領域が拡大され周辺領域が圧縮されるような歪曲収差を持つ光学系１で得られた画像の歪み補正を行うのに先立って、領域毎にフィルタ係数を設定可能である。この結果、領域毎に空間周波数の通過帯域を決めることができるようになり、特に、ナイキスト画像領域である領域２における空間周波数の帯域がナイキスト周波数以下に抑えられることとなり、この領域における折り返し歪みの発生を防止できる。

また、本一実施形態においてはナイキスト画像領域である領域２とそのほかの領域との間の画質の変化を緩やかにするために緩衝領域を設けている。このようにすることにより、領域毎にフィルタ係数を設定可能とすることができ、フィルタ特性の急激な変化による画質の急激な変化を低減できる。

また、フィルタ処理に先立って画像データを画像メモリ５に格納するようにしているので、後段における、複数の画素を用いたさまざまな処理（例えば拡大処理や縮小処理等の電子ズーム処理）が可能となる。

また、画素位置演算回路８による画素位置の演算をメモリ制御回路６による画像データの読み出しに同期させて行うようにしているので、フィルタ回路９に対するフィルタ係数の設定を正確に行うことが可能である。

ここで、上記した一実施形態においては、第１のメモリ１１と第２のメモリ１２とを２つのメモリで構成した例について説明しているが、これらを１つのメモリで構成しても良い。この場合は、第１のメモリ１１の内容に加え、第２のメモリ１２の各領域に対応したフィルタ係数を加えれば良い。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像撮影装置の構成を示す図である。 本発明の一実施形態において用いられる光学系の構成の一例を示す図である。 光学系を通過する前の被写体像を示す図である。 光学系を通過した後の被写体像を示す図である。 フィルタ回路をマトリクス回路で構成した場合の一例を示す図である。 第１のメモリに格納されているフィルタ係数と、１フレームの画像データに設定された複数の領域との関係を示した図である。 フィルタ係数設定回路におけるフィルタ係数セットの設定動作について説明するための図である。

符号の説明

１…光学系、２…撮像素子、３…読み出し回路、４…補正回路、５…画像メモリ、６…メモリ制御回路、７…ＲＧＢ同時化回路、８…画素位置演算回路、９…フィルタ回路、１０…歪み補正回路、１１…第１のメモリ、１２…第２のメモリ、１３…フィルタ係数設定回路、１４…同期信号生成回路

Claims (4)

1. 中央領域を拡大し周辺領域を圧縮するような歪曲収差特性を持つ光学系と、
   前記光学系により結像された被写体像を画像データに変換する撮像素子と、
   前記画像データのナイキスト周波数を越える空間周波数を遮断するフィルタ処理を行うためのフィルタ係数を格納した第１のメモリと、
   前記画像データにおいて前記ナイキスト周波数を越える空間周波数を有する領域たる、ナイキスト画像領域の外縁を定義するためのパラメータを格納した第２のメモリと、
   前記ナイキスト画像領域の外縁を定義するためのパラメータに基づき、前記画像データの各画素位置が前記ナイキスト画像領域に含まれるか否かを判定し、含まれるとき、前記ナイキスト周波数を越える空間周波数を遮断するフィルタ係数を前記第１のメモリより読み出すフィルタ係数設定回路と、
   前記読み出されたフィルタ係数に従って前記画像データに対してフィルタ処理を行うフィルタ回路と、
   前記フィルタ回路からの画像データに対し、前記歪曲収差特性を補正する歪み補正回路と、
   を具備することを特徴とする画像撮影装置。
2. 前記撮像素子からの画像データを格納する画像メモリを更に具備し、
   前記フィルタ回路は、前記画像メモリから読み出される画像データに対してフィルタ処理を実行することを特徴とする請求項１に記載の画像撮影装置。
3. 前記画像データの各画素位置を演算する画素位置演算回路と、
   前記画像メモリからの前記画像データの読み出しと前記画素位置演算回路による演算との同期を取るための同期信号を生成する同期信号生成回路と、
   を更に具備することを特徴とする請求項２に記載の画像撮影装置。
4. 前記第２のメモリは、所定の空間周波数毎に区分された、前記ナイキスト画像領域を除く周辺領域毎にその外縁を定義するためのパラメータを更に格納しており、
   前記フィルタ係数設定回路は、前記周辺領域の外縁を定義するためのパラメータに基づき、前記画像データの各画素位置が何れの前記周辺領域に含まれるかを判定し、その判定結果に応じ、前記ナイキスト画像領域から離れるに従い、前記帯域の制限を弱めたフィルタ係数を前記フィルタ回路に設定することを特徴とする請求項１に記載の画像撮影装置。

Images