JP2008301080A - 撮像装置 - Google Patents

Abstract

【課題】色収差補正により被写体に生じるノイズむらを軽減することが可能な撮像装置を提供することを目的とする。
【解決手段】被写体の光を集光するレンズ１０１と、レンズ１０１を通過して結像した光を電気信号に変換する撮像素子１０２と、撮像素子１０２から出力される信号に、ゲインの調整と直流レベルの調整を含む所定の信号処理を行う信号処理部１０３と、レンズ１０１のパラメータから収差量を求める収差量算出部１０４と、収差量算出部１０４から得る収差量から収差量の分だけ映像信号をシフトするためのフィルタの制御信号を生成する収差補正制御部１０５と、信号処理部１０３から出力される信号のＲとＧとＢの信号の間にある位相のずれを収差補正制御部の制御に従って収差補正する収差補正フィルタ１０５と、収差量算出部から得る収差量に応じて、ノイズ除去するノイズ除去フィルタ１０８とを具備する。
【選択図】図１

Description

本発明は、ビデオカメラ等の撮像装置に関し、特に、色収差補正とノイズ除去を実施する撮像装置に関する。

ビデオカメラ等の撮像装置において、レンズの屈折率が光の波長によって異なるために、光の３原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）の光の撮像素子への結像位置がずれて、映像に色ずれが生じることはよく知られている。一般的には、このＧの光の結像位置に対する、Ｒ及びＢの光の結像位置の差をＲ及びＢの光の色収差といい、色収差の中でも、特に結像面において映像の倍率の差となって現れる色収差を倍率色収差という。
この倍率色収差は、レンズの中心から離れるに従って大きくなる傾向がある。このため、画面の端に近づくほどＲ、Ｇ、Ｂの画像にずれが生じる。例えば、図５に示すように、黄色の丸い被写体１００の光の像がレンズ２００を通過すると、レンズ２００の中心付近を通過する像の光のうち、ＲとＧの光は、そのまままっすぐレンズ２００を通過する。このため、ＲとＧの光の像にずれが生じることはない。しかし、レンズ１００の端部を通過する光は、レンズ１００の屈折率が中心付近と異なるため、各色の光は、相互に位置がずれて結像される。その結果、図６に示すように、レンズ２００の端部を通過する光の結像面にずれが生じ、映像３００に色むらが生じる。

従来、このような色収差を補正するために、Ｇ信号を基準として、Ｒ信号及びＢ信号の位相をずらし、そのずれ量をＧ信号の位置に一致させる色収差補正が行われている。具体的には、この色収差補正では、ＦＩＲ（Finite Impulse Response）フィルタを用いて、Ｇ信号の結像面の位置に他の色信号を一致させるよう位相シフトする。この場合、まず、レンズパラメータ検出回路で検出されたレンズのズーム値などのレンズパラメータを元に、収差演算回路にてレンズの収差量が求められる。次に、求められた収差量に対応する係数を係数演算回路で求める。そして、レジストレーション補正回路に入力された映像信号に対して、係数演算回路で求めた係数を使用してフィルタをかけることで、収差の補正を行う。ここで、収差の補正は収差量の分だけ映像信号をシフトする位相シフトをＦＩＲフィルタを用いて行う（特許文献１参照）。
特許第２９２２９０５号

しかしながら、ＦＩＲフィルタはタップ数が有限であるため、位相量によって周波数特性が異なってしまう。特に、回路規模を小さくするときは、タップ数を少なくしなければならないので、上述した色収差が顕著に生じる。
ここで、ＦＩＲフィルタの最も簡単な構成として、２点間の直線補間を行うものがある。２点間の位相が０．５のときは、平均処理となるので、周波数特性は図３の（ｃ）のような特性をもつ。あるいは、位相が０．２５や０．７５のときは、隣接する２つの画素のうちの一方を０．２５倍し、他方を０．７５倍して両者を加算するので、周波数特性は、図３の（ｂ）のような特性をもつ。また、位相が０のときは、元の映像信号をそのまま使用するので、周波数特性は劣化せず図３の（ａ）のような特性をもつ。このように、位相のシフト量の大きさにより、ＦＩＲフィルタの周波数特性が異なる。

したがって、仮に被写体が広面積をもつ平らなものであれば、図３に示したＦＩＲフィルタの周波数特性により、映像は、図４に示すように、画面の位置によってノイズが多くなったりあるいは少なくなったりする。つまり、ノイズむらが生じやすくなる。なお、図４は、画面の水平方向の色収差の様子を示したものである。図４から、色収差量の小数部の数値が「０」に近いほどノイズが多く、他方、「．５」に近いほどノイズが少なくなることがわかる。このため、特に、回路を小型化するために、収差補正回路に直線補間のフィルタを用いた場合、広面積の平らな被写体にノイズむらが生じやすくなる。Ｂの映像信号はノイズが多く、また映像が暗いとノイズが目立ちやすくなるので、暗めの青色映像は、ノイズむらが目立ちやすくなる。
そこで、本発明は、このような状況下においてなされたものであり、色収差補正により被写体に生じるノイズむらを軽減することが可能な撮像装置を提供することを目的とする。

本発明は、被写体の光を集光するためのレンズ系を通過して結像した複数の色成分からなる光を映像信号に光電変換する撮像部と、前記撮像部で光電変換された映像信号について所定の信号処理を行う信号処理部と、前記レンズの色収差によって生じる各色間の結像状態のずれを示す収差量を求める収差量算出部と、前記収差量算出部で求められる収差量による結像状態のずれを補正するための補正情報を求める収差補正制御部と、前記信号処理部で信号処理された映像信号について、前記収差補正制御部で求められた補正情報に基づき、当該映像信号の各色間の結像状態のずれを補正する収差補正部と、前記収差量算出部で求められた収差量に基づき、当該映像信号に含まれるノイズ成分を除去するための除去情報を求めるノイズ除去制御部と、前記収差補正部で補正された映像信号について、前記ノイズ除去制御手段で求められた除去情報に基づき、当該映像信号に含まれるノイズ成分を除去するノイズ除去部と、を具備する。

本発明によると、色収差補正により被写体に生じるノイズむらを軽減することができる。

（実施の形態１）
図１は本発明の実施の形態１の撮像装置の構成例を示すブロック図、図２は図１の撮像装置の収差補正フィルタの構成例を示すブロック図である。ここでは、Ｇ信号に対するＲ信号の収差を補正する場合を例にして説明する。
図１において、撮像装置１は、被写体（図示せず）からの光を集光するレンズ（レンズ系）１０１、このレンズ１０１で集光された光を映像信号に光電変換して出力する撮像素子（撮像部）１０２、および、上記出力された映像信号に所定の処理（ゲイン調整等）を行う信号処理部１０３を有する。さらに、撮像装置１は、収差量算出部１０４、収差補正制御部１０５、収差補正フィルタ（収差補正部）１０６、ノイズ除去制御部１０７およびノイズ除去フィルタ（ノイズ除去部）１０８を有する。

収差量算出部１０４は、レンズ１０１の色収差によって生じる各色間の結像状態のずれを示す収差量を、レンズ１０１のズーム値等のパラメータから計算して生成するように構成される。
収差補正制御部１０５は、上記収差量に応じて収差補正フィルタ１０６を制御するように構成されている。具体的には、収差補正制御部１０５は、信号処理部１０３で信号処理された映像信号ＲＩＮについて、収差補正制御部１０５で求められた後述する補正情報（第１の信号、第２の信号）に基づき、当該映像信号の各色間の結像状態のずれを補正する。
収差補正フィルタ１０６は、信号処理部１０３の出力である映像信号ＲＩＮを位相シフトして収差補正を行うように構成されている。

ノイズ除去制御部１０７は、上記収差量に応じてノイズ除去の量を制御するように構成されている。具体的には、ノイズ除去制御部１０７は、収差量算出部１０４で求められた収差量に基づき、収差補正された映像信号ＲＯに含まれるノイズ成分を除去するための、後述する除去情報を求める。
ノイズ除去フィルタ１０８は、収差補正フィルタ１０６の出力である映像信号ＲＯのノイズを除去するように構成されている。
ここで、収差補正フィルタ１０６の構成例を図２に示す。図２の収差補正フィルタ１０６は、４個の直列接続された１クロック遅延回路２０１、２０２、２０３、２０４と、各１クロック遅延回路２０１〜２０４の出力である所定の遅延信号を入力する第１の選択部２０５および第２の選択部２０６を有する。さらに、収差補正フィルタ１０６は、減算器２０７、２個の乗算器２０８、２０９および加算器２１０を有する。

１クロック遅延回路２０１は、信号処理部１０３の出力である映像信号ＲＩＮ（＝Ｒ０Ｄ）を１クロック遅延して遅延信号Ｒ１Ｄを生成し、後段の１クロック遅延回路２０２、第１の選択部２０５および第２の選択部２０６に出力する。また、各１クロック遅延回路２０２〜２０３も、それぞれ１クロックずつ遅延させ、それぞれ遅延信号Ｒ２Ｄ〜Ｒ３Ｄを生成して、後段の１クロック遅延回路、第１の選択部２０５および第２の選択部２０６に出力する。さらに、各１クロック遅延回路２０４は、１クロック遅延させ、遅延信号Ｒ４Ｄを生成して第１の選択部２０５に出力する。
第１の選択部２０５は、吸収補正制御部１０５の出力である後述の第１の信号Ａ１が「０」の値のときは遅延信号Ｒ４Ｄ、「１」の値のときは遅延信号Ｒ３Ｄ、「２」の値のときは遅延信号Ｒ２Ｄ、または「３」の値のときは遅延信号Ｒ１Ｄを選択する。

他方、第２の選択部２０６は、吸収補正制御部１０５の出力である後述の第１の信号Ａ１が「０」の値のときは遅延信号Ｒ３Ｄ、「１」の値のときは遅延信号Ｒ２Ｄ、「２」の値のときは遅延信号Ｒ１Ｄ、または「３」の値のときは映像信号ＲＩＮ（＝Ｒ０Ｄ）を選択する。
減算部２０７は、後述する第２の信号Ａ０について、（１−Ａ０）の減算式にて減算して第１の乗算部２０８に出力する。
第１の乗算器２０８は、第１の選択回路２０５の出力と減算器２０７の出力とを乗算し、第２の乗算器２０９は、吸収補正制御部１０５の出力である後述の第２の信号Ａ０と第２の選択部２０６の出力とを乗算する。
加算部２１０は、第１の選択部２０８の出力と第２の選択部２０９の出力とを加算し、この加算により生成された映像信号ＲＯをノイズ除去フィルタ１０８に出力する。

［撮像装置の動作］
次に、撮像装置１の動作について説明する。
まず、不図示の被写体からの光がレンズ１０１によって集光し、その集光の各色（Ｒ、Ｇ、Ｂ）が、撮像素子１０２（例えばフォトダイオード）にて、電気信号すなわち映像信号に光電変換される。この映像信号は、信号処理部１０３において撮像素子１０２固有のノイズが除去され、その後、Ａ／Ｄ変換されて、ゲイン調整および直流レベルの調整が行われる。この調整後、さらに、信号処理部１０３は、撮像素子１０２からの映像信号が補色の信号であれば、当該補色の信号を、光の３原色であるＲ、Ｇ、Ｂの映像信号に変換する。他方、撮像素子１０２からの映像信号がＲ、Ｇ、Ｂの信号であれば、信号処理部１０３は、当該Ｒ、Ｇ、Ｂの信号をそのまま出力する。

次に、収差量算出部１０４では、ズーム値等のレンズ１０１のパラメータから収差量を計算して、収差補正制御部１０５及びノイズ除去制御部１０７に当該収差量を与える。本実施の形態において、収差量は、Ｇ信号とＲ信号の画面上の位置が一致しているときを「０」で表す。また、Ｇ信号に対してＲ信号の画面上の位置が左側にずれているときの収差量を「＋」、他方、右側にずれているときを「−」で表す。左右２画素を越える収差量の、−２より小さい収差量を「−２」に置き換え、＋２より大きい収差量を「＋２」に置き換えて表すものとする。
次に、収差補正制御部１０５は、収差量算出部１０４から与えられた収差量が「＋」の場合、Ｇ信号の位置からみて、Ｒ信号の位置が画面の左側にずれていることが判断できるので、その逆側の右側にＲ信号の位置をシフトするように、当該収差量を補正する。

他方、収差量算出部１０４から与えられた収差量が「−」の場合は、収差補正制御部１０５は、Ｇ信号の位置からみて、Ｒ信号の位置が画面の右側にずれていることが判断できるので、Ｒ信号の位置を画面の左側にシフトするように、収差量を補正する。本実施の形態では、収差量が−２以上−１未満のときは３、−１以上０未満のときは２、０以上１未満のときは１、１以上２以下未満のときは０を示す第１の信号Ａ１を生成する。また、収差量が、０未満のときは小数部の絶対値、０以上２未満のときは１から小数部を減算した値、２のときは小数部の絶対値を示す第２の信号Ａ０を生成する。
次に、収差補正フィルタ１０６は、信号処理部１０３の出力である映像信号ＲＩＮ、および収差制御部１０５の出力である各信号Ａ１、Ａ２を入力する。そして、収差補正フィルタ１０６は、上述した映像信号ＲＩＮおよび各信号Ａ１、Ａ２に基づいて、映像信号ＲＯを生成してノイズ除去フィルタ１０８に出力する。この収差補正フィルタ１０６における映像信号ＲＯの生成方法は、図２で説明したとおりであるので、説明を省略する。

［収差補正フィルタの具体的な算出例］
ここで、収差補正フィルタ１０６の具体的な算出例について説明する。ここでは、収差量算出部１０４から与えられた収差量が「０．３」の値の場合について詳述する。
この場合、整数部が「０」の値となるで、収差補正制御部１０５は、「１」の値をもつ第１の信号Ａ１、および１から０．３を減算した「０．７」の値をもつ第２の信号Ａ０を生成して、収差補正フィルタ１０６に出力する。
すると、収差補正フィルタ１０６の第１の選択回路２０５は、第１の信号Ａ１（＝「１」）に基づいて遅延信号Ｒ３Ｄを選択し、また、第２の選択回路２０６は、第１の補正信号Ａ１（＝「１」）に基づいて遅延信号Ｒ２Ｄを選択する。これにより、第２の乗算部２０９は、第２の補正信号Ａ０（＝「０．７」）と、第２の選択部２０６で選択された遅延信号Ｒ２Ｄとを乗算する。これにより、Ｒ２Ｄが０．７倍される。

他方、第１の乗算部２０８は、減算部２０７の出力（「０．３」＝１−Ａ０）と第１の選択部２０５で選択された遅延信号Ｒ３Ｄとを乗算する。これにより、Ｒ３Ｄが０．３倍される。これにより、加算部２１０は、第１の乗算部２０８の出力（＝０．３・Ｒ３Ｄ）と第２の乗算部２０９の出力（＝０．７・Ｒ２Ｄ）とを加算して出力することとなる。よって、Ｒ２ＤとＲ３Ｄの遅延信号が、７対３で内分したものとなる。以上から、Ｒ２Ｄの位置から、Ｒ３Ｄすなわち画面の左側に０．３画素分シフトする。
次に、ノイズ除去制御部１０７の動作について説明する。
ノイズ除去制御部１０７は、収差量の小数部の絶対値が０．５以下のときは１から小数部の絶対値を減算し、０．５より大きいときは１から小数部の絶対値を減算して得たノイズ除去情報Ｋ０を生成する。そして、ノイズ除去制御部１０７は、１からＫ０を引いた値（除去情報）Ｋ１（＝１−Ｋ０）を生成する。

次に、ノイズ除去制御部１０７は、ノイズ除去した信号（ＬＰＦ処理をした信号）をＫ１倍した信号と、ノイズ除去しない信号（ＬＰＦ処理をしない信号）をＫ０倍して加算することで（すなわち、Ｋ１×ノイズ除去信号＋Ｋ０×ノイズ除去しない信号）、ノイズ除去の効果を調整する。こうすることで、収差量の小数部が０のときはＫ０が０、かつＫ１が１なので、ノイズ成分の除去が促進され、ノイズ除去された信号が出力される。なお、ＬＰＦは、Low Pass Filterの略である。
また、収差量の小数部が「０．５」の値のとき（収差量の小数部が０．５画素付近の位置）は、Ｋ０が「０．５」、かつＫ１が「０．５」になるので、ノイズ除去した信号と、ノイズ除去されていない信号の平均値が出力され、ノイズ除去の効果が減少した映像信号を得ることができる。

以上のように、収差量の小数部が「０．５」の値に近い、すなわち画素サンプル列を０．５画素シフトした位置では、ノイズ成分の除去が抑制される。ここで、ノイズ除去は、特に面積の広い被写体に対してはＬＰＦの効果を得る。このため、０．５画素シフトした位置ではＬＰＦの効果が少なく、０．０画素シフトした位置に近づくほどＬＰＦの効果が大きくなる。したがって、０．０画素シフトすなわち画素のサンプル列の位置になったときには、ノイズ除去処理によるＬＰＦの効果を全て得る。
一方、収差補正部フィルタ１０６では、画素サンプル列を０．５画素シフトした位置において、図３の（ｃ）のようにＬＰＦの効果が大きくなり、０．０画素シフトした位置に近づくほどＬＰＦの効果が小さくなる。また図３の（ａ）のように０．０画素シフト、すなわち画素のサンプル列の位置になったときには、ノイズ除去処理によるＬＰＦの効果がなくなる。

よって、収差補正フィルタ１０６とノイズ除去フィルタ１０８とを組み合わせると、収差量が、どのような値となってもＬＰＦの効果が得られ、収差補正フィルタ１０６だけを用いた場合に比べ、収差量によるＬＰＦの効果が大きく変動することがなくなる。
なお、本実施の形態における上記方法では、ノイズ除去の効果を減少させることができるので、画面全体のノイズは多くなる。したがって、撮像装置１においては、Ｂ信号についてのみ、ノイズ除去効果を収差量に応じて減少させ、Ｒ信号についてはその減少処理を実施しなくても良い。このようにすることにより、Ｒ信号に対するノイズ除去効果を得つつ、ノイズむらの目立ちやすいＢ信号については、ノイズ除去による効果が少なくなる。よって、ノイズむらを減少させつつ、Ｒ信号のノイズを少なくすることができる。
また、撮像装置１において、ノイズ除去の処理を輝度及び色差信号になってから実施する場合には、青の色差信号についてのみ、収差量に応じて低ノイズ除去効果を得にくいように処理しても良い。このようにすることで、Ｂ信号の割合の少ない輝度信号や赤の色差信号については、ノイズむらが目立ちにくくなる。よって、ノイズ除去による効果を落とすことがなくなり、映像信号のノイズが少なくなる。

また、同じ振幅のノイズがあった場合、明るい部分（輝度の高い部分）よりも暗い部分が目立つ、すなわち、ノイズむらは暗い部分が目立つので、暗い部分（輝度の低い部分）については、収差量に応じてノイズ除去の効果を減少させる処理を適用しても良い。この場合、明るい部分についてノイズ除去の効果を損ねることが少なくなる。
［他の実施形態］
なお、上記実施の形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明は、レンズによる色収差が大きくなるようなときにノイズ除去においてＬＰＦの効果をもつビデオカメラ等の撮像装置に有用である。

本発明の実施の形態における撮像装置の構成例を示すブロック図 図１の撮像装置の収差補正部の構成例を示すブロック図 収差補正のフィルタの周波数特性の差を示す図 水平方向に収差補正がある画面の一例を示す図 映像に発生する色収差を示す説明図 色収差の発生手順を示す説明図

符号の説明

１ 撮像装置
１０１ レンズ
１０２ 撮像素子
１０３ 信号処理部
１０４ 収差量算出部
１０５ 収差補正制御部
１０６ 収差補正フィルタ
１０７ ノイズ除去制御部
１０８ ノイズ除去フィルタ
２０１ 信号遅延回路
２０２、２０２、２０３、２０４ １画素遅延回路
２０５、２０６ 選択回路
２０７ 減算器
２０８、２０９ 乗算器
２１０ 加算器

Claims (5)

1. 被写体の光を集光するためのレンズ系を通過して結像した複数の色成分からなる光を映像信号に光電変換する撮像部と、
   前記撮像部で光電変換された映像信号について所定の信号処理を行う信号処理部と、
   前記レンズの色収差によって生じる各色間の結像状態のずれを示す収差量を求める収差量算出部と、
   前記収差量算出部で求められる収差量による結像状態のずれを補正するための補正情報を求める収差補正制御部と、
   前記信号処理部で信号処理された映像信号について、前記収差補正制御部で求められた補正情報に基づき、当該映像信号の各色間の結像状態のずれを補正する収差補正部と、
   前記収差量算出部で求められた収差量に基づき、当該映像信号に含まれるノイズ成分を除去するための除去情報を求めるノイズ除去制御部と、
   前記収差補正部で補正された映像信号について、前記ノイズ除去制御手段で求められた除去情報に基づき、当該映像信号に含まれるノイズ成分を除去するノイズ除去部と、
   を具備することを特徴とする撮像装置。
2. 前記収差量は、整数部および小数部で示され、
   前記除去情報は、前記収差量の小数部が０．５画素付近の位置を表している場合は、前記ノイズ成分の除去を抑制するように設定され、それ以外の位置を表している場合は、前記ノイズ成分の除去を促進するように設定される、請求項１に記載の撮像装置。
3. ノイズ除去部は、
   青色成分の映像信号についてノイズ成分を除去する請求項１に記載の撮像装置。
4. ノイズ除去部は、
   輝度の低い映像信号についてノイズ成分を除去する請求項１または請求項２に記載の撮像装置。
5. 前記レンズ系をさらに含む請求項１ないし請求項４のいずれか１項に記載の撮像装置。

Images