JP2005311473A

JP2005311473A - 撮像装置および信号処理方法ならびにそのプログラムと記録媒体

Info

Publication number: JP2005311473A
Application number: JP2004122219A
Authority: JP
Inventors: Yoshio Iwai; 嘉男岩井; Katsuji Kimura; 勝治木村; Takuji Yoshida; 卓司吉田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-04-16
Filing date: 2004-04-16
Publication date: 2005-11-04
Also published as: US20050231616A1; TW200541326A; CN1684499A; TWI280049B; KR20060045707A; KR100704209B1; EP1587306A2; CN100418354C; EP1587306A3

Abstract

【課題】歪曲収差補正の方向として撮像光学系の光軸からの放射方向のみを考慮しながら、歪曲収差補正の際に画像に発生しうるジャギーを抑制することのできる撮像装置を実現する。
【解決手段】撮像光学系である光学レンズ１を介して得られる撮像信号を処理して出力画像表示部４に出力するＤＳＰ３において、撮像信号に対して、前記光学レンズ１の歪曲収差を光学レンズ１の光軸からの距離に基づき、光軸から放射方向に伸縮することにより補正する信号処理を施し、同時にジャギーを抑制する画像処理を施す。
【選択図】図１

Description

本発明は、例えばビデオカメラ、電子スチルカメラおよび携帯電話用カメラなどの電子カメラに用いられ、固体撮像素子から出力された撮像信号を処理する撮像装置に関する。

近年、例えばビデオカメラ、電子スチルカメラおよび携帯電話用カメラなどの電子カメラの用途に、上記固体撮像素子を用いた固体撮像装置が幅広く使用されている。この固体撮像装置で撮影して得られる画像をより高画質にすることが望まれている。このため、固体撮像装置においては、撮像光学系を介して得られる撮像信号に対して、前記撮像光学系の歪曲収差を低減するため、前記撮像光学系の性能を改善すること、撮像光学系において複数枚の光学レンズを組み合わせること、あるいは信号処理で歪曲収差を補正することなどが行われている。

図４は、従来の固体撮像装置１０１の構成を示すブロック図である。
図４において、固体撮像装置１０１は、撮像光学系の一例である光学レンズ１、固体撮像素子の一例であるＣＣＤ２、デジタル信号処理部３（以下、ＤＳＰ３という）および出力画像表示部４を有している。ここでは、ＣＣＤ２から出力される撮像信号をＣＣＤ出力信号２１、ＤＳＰ３から出力される撮像信号をＤＳＰ出力信号２２という。

上記構成により、被写体からの像は光学レンズ１によってＣＣＤ２の受光部上に結像される。このＣＣＤ２の受光部上に到達した光は、ＣＣＤ２で光電変換されて、アナログ電気信号（以下、撮像信号という）となり、ＣＣＤ出力信号２１としてＤＳＰ３に伝送される。撮像信号は、ＤＳＰ３で各種信号処理された後に、表示部に適したＤＳＰ出力信号２２として出力画像表示部４に伝送されて表示画面上に画像表示される。
ここで、ＤＳＰ３の内部構成について更に詳細に説明する。

ＤＳＰ３は、撮像信号前処理部１１、アナログ・デジタル変換部１２（以下、Ａ／Ｄ変換部１２という）、撮像信号メイン処理部１３、撮像信号出力部１４、およびタイミング信号発生器１５（以下、ＴＧ１５という）を有している。

撮像信号前処理部１１は、撮像信号に対して、相関二重サンプリング処理（以下、ＣＤＳという）によるノイズの低減と、オートゲインコントロール（以下、ＡＧＣという）による振幅制御とを行う。

Ａ／Ｄ変換部１２は、アナログ信号の撮像信号をデジタル信号に変換した後、撮像信号メイン処理部１３に伝送する。

撮像信号メイン処理部１３は、デジタル信号に変換された撮像信号に対して、ホワイトバランス制御（以下、ＷＢという）、自動露出制御（以下、ＡＥという）、およびガンマ補正など、各種のデジタル信号画像処理を行い、撮像信号出力部１４に伝送する。

撮像信号出力部１４は、デジタル信号画像処理が施された撮像信号を、出力画像表示部４に対応した方式の信号に変換して、ＴＧ１５で生成された垂直同期信号２４（以下、ＶＤ２４という）および水平同期信号２５（以下、ＨＤ２５という）など、出力画像を表示するために必要な各種タイミング信号と共に出力画像表示部４に出力する。ＴＧ１５から出力されるタイミング信号の一例として、タイミングパルス２３、ＶＤ２４、ＨＤ２５、およびクロックパルス２６などが挙げられ、これらの各タイミング信号はそれぞれに関連する各処理部で同期信号として使用される。

しかしながら、上述した従来の固体撮像装置では、撮像光学系を介することにより起こりうる歪曲収差により、出力画像表示部４に表示される画像が歪んでしまうという問題がある。

例えば、歪曲収差のない理想的な撮像光学系を介して固体撮像素子で受光する画像が図５（ａ）に示すような格子状の図形であるとすると、歪曲収差のある撮像光学系を介して固体撮像素子で受光する画像では、図５（ｂ）あるいは（ｃ）に示すように幾何学的な歪曲が生じてしまう。

従来、このような歪曲収差を補正する固体撮像装置の構成が開示されている。

例えば特許文献１には、撮像光学系を介して入射する被写体光学像の画像信号に対して、前記撮像光学系の歪曲収差を補正する信号処理装置が開示されている。これは、画像中における第１の方向の歪曲収差に基づいて、前記第１の方向と異なる第２の方向の歪曲収差を補正する技術であり、これにより撮像信号に対する歪曲収差補正に関わる処理を高速で行うとともに、画像全体の不自然さを解消することができるものである。

また特許文献２には、撮像光学系による歪みを該撮像光学系の光軸位置を中心とし、且つ、外側及び内側に画像が存在するような画面上の所定の円を基準として該所定の円より外側の画像は外側方向に向けて、内側の画像は内側方向に向けて補正するような画像信号を処理する補正手段を有することにより、歪曲収差を補正することができるものが開示されている。
特開２００３−３７７６９号公報（公開日：２００３年２月７日）特許第３０３５４１６号公報（登録日：２０００年２月１８日）（特開平６−１６５０２４号公報、公開日：１９９４年６月１０日）

特許文献１では、第１の方向の歪曲収差に基づいて、前記第１の方向と異なる第２の方向の歪曲収差を補正するという手法を用い、特定の方向に基づいて歪曲収差補正を行うことで画質の改善を図っている。しかし、特許文献１による手法では、第１の方向と第２の方向とに基づいて個々に補正処理を行うため、第２の方向における補正処理を考慮して第１の方向の補正処理を行わなければならないという問題がある。

また、歪曲収差が発生している画像における直線に対して歪曲収差補正処理を施すと曲線になるが、特許文献２では、この曲線にジャギーが発生してしまう。しかし当該文献には歪曲収差補正の際に発生しうるジャギーについて、また、ジャギーの発生を回避することについては何ら記載されていない。

本発明は、上記従来の問題を解決するものであり、その目的は、歪曲収差補正の方向として撮像光学系の光軸からの放射方向のみを考慮しながら、歪曲収差補正の際に画像に発生しうるジャギーを抑制することのできる撮像装置、および信号処理方法、ならびにそのプログラムと記録媒体を実現することにある。

本発明の撮像装置は、上記課題を解決するために、入射光を光電変換する固体撮像素子から出力された撮像信号を信号処理する信号処理手段を有する撮像装置において、前記信号処理手段は、撮像光学系が原因で起こる歪曲収差を、前記撮像光学系を介して得られる撮像信号に対し、前記撮像光学系の光軸からの距離に基づき、前記光軸から放射方向に伸縮することにより補正し、画像に発生しうるジャギーを抑制することを特徴としている。

上記の発明によれば、歪曲収差補正の方向として撮像光学系の光軸からの放射方向のみを考慮しながら、歪曲収差補正の際に画像に発生しうるジャギーを抑制することのできる撮像装置を実現することができるという効果を奏する。

また、信号処理手段での撮像信号の信号処理により歪曲収差を補正するので、各々に固有の特性を持つ前記撮像光学系の歪曲収差のそれぞれに対して容易に対応して補正することができるという効果を奏する。これによりさらに、撮像光学系の性能を改善すること、複数枚の撮像光学系を組み合わせることなどの必要がなくなり、撮像光学系の大きさを小型化することができるという効果を奏する。

本発明の信号処理方法は、上記課題を解決するために、入射光を光電変換する固体撮像素子から出力された撮像信号を信号処理する信号処理方法において、撮像光学系が原因で起こる歪曲収差を、前記撮像光学系を介して得られる撮像信号に対し、前記撮像光学系の光軸からの距離に基づき、前記光軸から放射方向に伸縮することにより補正し、画像に発生しうるジャギーを抑制することを特徴としている。

上記の発明によれば、歪曲収差補正の方向として撮像光学系の光軸からの放射方向のみを考慮しながら、歪曲収差補正の際に画像に発生しうるジャギーを抑制することのできる信号処理方法を実現することができるという効果を奏する。

また、撮像信号の信号処理により歪曲収差を補正するので、各々に固有の特性を持つ前記撮像光学系の歪曲収差のそれぞれに対して容易に対応して補正することができるという効果を奏する。これによりさらに、撮像光学系の性能を改善すること、複数枚の撮像光学系を組み合わせることなどの必要がなくなり、撮像光学系の大きさを小型化することができるという効果を奏する。

本発明のプログラムは、上記課題を解決するために、前記信号処理方法をコンピュータに実行させることを特徴としている。

上記の発明によれば、前記信号処理方法を汎用性のあるものとすることができるという効果を奏する。

本発明の記録媒体は、上記課題を解決するために、前記プログラムがコンピュータ読み取り可能に記録されたことを特徴としている。

上記の発明によれば、前記プログラムを容易に提供することができるという効果を奏する。

本発明の撮像装置および信号処理方法は、上記課題を解決するために、撮像光学系が原因で起こる歪曲収差を、前記撮像光学系を介して得られる撮像信号に対し、前記撮像光学系の光軸からの距離に基づき、前記光軸から放射方向に伸縮することにより補正し、画像に発生しうるジャギーを抑制する。

従って、歪曲収差補正の方向として撮像光学系の光軸からの放射方向のみを考慮しながら、歪曲収差補正の際に画像に発生しうるジャギーを抑制することができるという効果を奏する。

本発明の好適な実施の形態では、固体撮像素子から伝送される撮像信号（ＣＣＤ出力信号）に含まれる撮像光学系が原因で起こりうる歪曲収差に対して、デジタル信号処理部（ＤＳＰ）にて歪曲収差補正を行うとともに、前記歪曲収差補正の際に発生しうるジャギーをフィルター処理にて補正を行うことで、前記歪曲収差を補正し好適な画像を得る。

以下、添付図面を参照しながら本発明の好適な実施の形態を説明する。なお、前記従来の技術で用いた図面と同じ機能の部材には同じ符号を付してある。

図１に本実施形態に係る固体撮像装置（撮像装置）５１の構成を示す。固体撮像装置５１は、図４に示した従来の固体撮像装置におけるＤＳＰ（信号処理手段）３に、歪曲収差補正の機能とジャギー抑制のためのフィルター処理の機能とを備えている。この両機能を行うものとして、Ａ／Ｄ変換部１２と撮像信号メイン処理部１３との間に歪曲収差補正処理部１６が設けられている。したがって、ＤＳＰ３から出力される撮像信号は、本発明に関わる歪曲収差補正と、画像の輪郭部分に発生しうるジャギーの抑制のためのフィルター処理とが施されたものである。なお、固体撮像素子としてはＣＣＤ２の他に例えばＣＭＯＳ撮像素子がある。

次に、ＤＳＰ３における本実施形態の歪曲収差処理について説明する。本実施形態では、理想的な歪曲収差のない画像と撮像光学系を介して得られた歪曲収差のある画像との対応関係を、レンズの近軸理論から得られる近似式を用いて求める。そして、この近似式を用いて歪曲収差補正を行う。

まず、理想的な歪曲収差のない画像ｆ（ｘ，ｙ）と撮像光学系を介して得られた歪曲収差のある画像ｆ’（ｘ’，ｙ’）との対応関係について説明する。歪曲収差は画像の中心から放射方向に画像が伸縮し、画像が歪曲することである。ただし、画像の中心は撮像光学系の光軸が固体撮像素子と交わる点であるとする。例えば、図２（ａ）に示す点Ｐは放射方向（矢印Ａ方向）に伸縮し、図２（ｂ）に示す点Ｐ’と対応する。歪曲の度合いは画像の中心からの距離ｒに依存して決定され、理想的な撮像光学系における歪曲収差は画像の中心に対して点対称である。歪曲収差のない画像と歪曲収差のある画像との対応関係は、前記レンズの近軸理論によれば、以下の式（１）〜（３）で対応付けることができる。ただし、ｋは比例定数である。

式（１）をｘ軸およびｙ軸成分に分解すると式（４）および（５）が得られる。ただし、θは点Ｐと原点とを結ぶ線分がｘ軸の正の方向となす角である。

歪曲収差を補正することは、歪曲収差のある画像から歪曲収差のない画像へ式（４）および（５）を逆変換することに対応している。

しかし、式（４）および（５）は非線形関数であるため、逆変換をそのまま行うと計算量が大きくなる。そこで、ｒおよびr’とΔr（＝r−r’）との比が十分小さいこと、つまり実際の撮像光学系では歪曲率が数％程度であることに注目して、式（４）および（５）においてｒ≒r’と近似すると、以下の式（６）および（７）が得られる。

ここで、k・r’^２≪1のとき式（６）および（７）は以下の式（８）および（９）に近似することができる。

本実施形態では、上式（８）および（９）を用いることで歪曲収差補正を行う。
上記歪曲収差補正を行う際、各画素の近傍画素を利用してフィルター処理を行うことで画像の輪郭部分に発生しうるジャギーの改善を行う。

前記フィルター処理の好適な手段の一つとしては、前記歪曲収差補正の際に上式（８）および（９）で求められる座標（ｘ，ｙ）と近傍画素との距離を前記フィルター処理における重み付けのパラメータとして利用することが挙げられる。補正対象画像上における画素（ｘ，ｙ）と近隣４画素との距離は、歪曲収差の影響により、補正対象画像上の位置に応じて異なる。すなわち、補正対象画像上において歪曲収差の度合は一定ではなく、画像上の位置に応じて異なる。ここで、本実施形態のように、理想画像の各画素（ｘ，ｙ）の画素値を算出するにあたり、この画素（ｘ，ｙ）と、補正対象画像上における各近隣画素との距離を参照すれば、ジャギーを抑制した歪曲収差補正を行うことができる。

これにより、無数のパラメータ設定が考えられるため、従来のジャギー補正処理で利用されていたフィルター処理用の一様なパラメータ設定では得られない好適な画像を得ることができる。一般的なジャギー補正処理では、基本的にはフィルター処理における着目画素を移動してもフィルターの各重みは変化させない。ただし、ジャギーが発生しているエッジの方向成分を考慮することがあり、そのため、パラメータ設定のテーブルを回転させることがある。例えば、エッジの方向成分が画像の左下と右上とを結ぶ直線方向のとき、フィルター処理用の重み付けのパラメータが表１に示すテーブル１に設定されているとする。このときエッジの方向成分が画像の左上と右下とを結ぶ直線方向のとき、フィルター処理用の重み付けのパラメータは、テーブル１を回転させた、表２に示すテーブル２のように設定されるとする。これにより画像の向きに対応したジャギー補正処理となるので多少画像が良好になるが、本実施形態においては画素（ｘ，ｙ）の位置に応じた重み付けでジャギー補正処理を行うため、非常に良好な画像が得られる。

また、前記フィルター処理として、例えば、図３（ａ）・（ｂ）に示すような２種類の方法が考えられる。１つ目の例として、図３（ａ）の左図に示す歪曲収差のない理想的な画像ｆ（ｘ，ｙ）の座標（ｘ，ｙ）から、式（４）および（５）を用いて求められる図３（ａ）の右図に示す歪曲収差のある画像ｆ’（ｘ’，ｙ’）の座標（ｘ’，ｙ’）と（ｘ’，ｙ’）の近傍画素との距離を用いてフィルター処理の重み付け係数ａｉ（ただし、Σａｉ＝１、ｉ＝１〜４）を求める方法が挙げられる。

ここでは近傍画素として４画素を用いたが、距離に応じて画素数を変更できるものとする。例えば、図３（ａ）において（ｘ’、ｙ’）が（［ｘ’］、［ｙ’］）に極めて近い、すなわちａ３≒０の場合、フィルター演算ではなく、（［ｘ’］、［ｙ’］）の画素値を（ｘ’、ｙ’）に代入するほうがよいと考えられる。また、（ｘ’、ｙ’）が（［ｘ’］、［ｙ’］）と（［ｘ’］、［ｙ’］＋１）とを結ぶ線分上もしくは線分に近い場合、フィルター演算処理には（［ｘ’］、［ｙ’］）と（［ｘ’］、［ｙ’］＋１）との画素値を用いるほうがよいと考えられる。

そして、重み付け係数ａｉを用いて、例えば以下の式（１０）を用いて歪曲収差のない理想的な画像ｆ（ｘ，ｙ）を求める方法が考えられる。

２つ目の例として、１つ目の例で挙げた近傍画素から式（８）および（９）を用いて、図３（ｂ）の左図に示す理想的な画像ｆ（ｘ，ｙ）の座標（ｘ，ｙ）を求め、（ｘ，ｙ）と（ｘ，ｙ）の近傍画素との距離を用いてフィルター処理の重み付け係数ｂｊｋ

を求める方法が挙げられる。ここでは近傍画素として４画素を用いたが、前述と同様、距離に応じて画素数を変更できるものとする。そして、重み付け係数ｂｊｋを用いて、例えば以下の式（１１）を用いて、図３（ｂ）の右図に示す歪曲収差のある画像ｆ’（ｘ’，ｙ’）から歪曲収差のない理想的な画像ｆ（ｘ，ｙ）を求める方法が考えられる。

本手法のように、歪曲収差補正のパラメータを用いることで、ジャギー発生の抑制を行うことができ、従来の歪曲収差補正よりも好適な画質の画像を得ることができる。

また、本実施形態の信号処理方法は、固体撮像装置５１に備えられたコンピュータが図２や図３を用いて説明したプロセスを含むプログラムを実行することによって実現できる。これにより、固体撮像装置５１の信号処理方法を汎用性のあるものとすることができる。

上記プログラムは、コンピュータで読み取り可能な記録媒体に格納してユーザに提供することができる。これにより、上記プログラムを容易に提供することができる。この記録媒体は、固体撮像装置５１のコンピュータ本体に内蔵された記憶装置などの内蔵メディアであってもよいし、コンピュータ本体に対して分離可能に構成されたリムーバブル・メディアであってもよい。上記内蔵メディアとしては、ＲＯＭ；フラッシュメモリ等の書き換え可能な不揮発性メモリ；ハードディスク等が挙げられる。また、上記リムーバブル・メディアとしては、ＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体；ＭＯ等の光磁気記録媒体；フロッピー（登録商標）ディスク、カセットテープ、リムーバブル・ハードディスク等の磁気記録媒体；メモリカード等のような書き換え可能な不揮発性メモリを内蔵したメディア；ＲＯＭカセット等のようなＲＯＭを内蔵したメディア等が挙げられる。

上記プログラムは、図１のＤＳＰ３や不図示のＣＰＵのアクセスにより実行される構成であってもよいし、記録媒体に格納されているプログラムを読み出し、読み出したプログラムを内蔵メディアのプログラム記憶領域に転送した後、内蔵メディア上のプログラムがＤＳＰ３やＣＰＵのアクセスにより実行される構成であってもよい。プログラムの実行は、ＤＳＰ３やＣＰＵの単独動作によるものであってもよいし、ＤＳＰ３とＣＰＵとの協調動作によるものであってもよい。また、上記プログラムは、コンピュータで読み取り可能な記録媒体に格納された状態で販売されるものに限定されるものではなく、インターネット等の通信ネットワークを介してユーザのコンピュータに転送する形式で販売されるものであってもよい。

本発明は、例えばビデオカメラ、電子スチルカメラおよび携帯電話用カメラなどの電子カメラに用いることができる。

本発明の実施形態を示すものであり、撮像装置の要部構成を示すブロック図である。（ａ）および（ｂ）は、図１の撮像装置による歪曲収差補正の原理を説明するための歪曲収差の性質を示す概念図である。（ａ）および（ｂ）は、図１の撮像装置による歪曲収差補正処理を説明するための概念図である。従来技術を示すものであり、撮像装置の要部構成を示すブロック図である。（ａ）ないし（ｃ）は、歪曲収差を説明するための概念図である。

符号の説明

１光学レンズ（撮像光学系）
２ＣＣＤ（固体撮像素子）
３デジタル信号処理部、ＤＳＰ（信号処理手段）
５１固定撮像装置（撮像装置）

Claims

入射光を光電変換する固体撮像素子から出力された撮像信号を信号処理する信号処理手段を有する撮像装置において、
前記信号処理手段は、
撮像光学系が原因で起こる歪曲収差を、前記撮像光学系を介して得られる撮像信号に対し、前記撮像光学系の光軸からの距離に基づき、前記光軸から放射方向に伸縮することにより補正し、
画像に発生しうるジャギーを抑制することを特徴とする撮像装置。
入射光を光電変換する固体撮像素子から出力された撮像信号を信号処理する信号処理方法において、
撮像光学系が原因で起こる歪曲収差を、前記撮像光学系を介して得られる撮像信号に対し、前記撮像光学系の光軸からの距離に基づき、前記光軸から放射方向に伸縮することにより補正し、
画像に発生しうるジャギーを抑制することを特徴とする信号処理方法。
請求項２に記載の信号処理方法をコンピュータに実行させることを特徴とするプログラム。
請求項３に記載のプログラムがコンピュータ読み取り可能に記録されたことを特徴とする記録媒体。