JP2004147094A

JP2004147094A - 信号処理装置及び方法、及び撮像装置

Info

Publication number: JP2004147094A
Application number: JP2002309900A
Authority: JP
Inventors: Ko Tajima; 田島　香
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-10-24
Filing date: 2002-10-24
Publication date: 2004-05-20
Anticipated expiration: 2022-10-24
Also published as: JP4086618B2

Abstract

【課題】１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消すると共に、解像度を向上すること。
【解決手段】複数の受光素子を有し、各受光素子と、副走査方向に１画素おいた受光素子とに同色のフィルタを配置したカラーフィルタにより覆われ、１行おきに同色の受光素子から得られる信号を加算して読み出し可能な撮像素子（２）から出力される信号を処理する信号処理装置であって、撮像素子から入力した信号を各色成分に分離する色分離処理部（６１）と、色分離処理部により色分離された各色成分の信号から、信号の重心位置を副走査方向について等間隔に補正した信号と、当該補正した信号から重心位置が等間隔となるように行間に補間した信号とを生成する同時化補間処理部（６２）とを有する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法、及び撮像装置に関し、特に、固体撮像素子の撮像領域の画素を画素混合して読み出された信号に対して処理を施す信号処理装置及び方法、及び撮像装置に関する。
【０００２】
【従来の技術】
従来、撮像装置の各受光素子から得られる信号電荷を混合して読み出す撮像装置では、例えば、撮像素子の駆動手段が同色の色要素に対応する電荷どうしが垂直列に対応する垂直転送レジスタ上で混合されるように撮像素子を駆動する方法が考えられている（例えば、特許文献１参照。）。
【０００３】
図１２に原色ベイヤー配列をもつ撮像素子を垂直方向に同色混合される場合の概念図を示す。原色ベイヤー配列の撮像素子では、図１２（ａ）で示されるようにＲＧＢの色フィルタが配置されている。すなわち、水平方向に見た場合にＲ、Ｇの繰り返しのラインと、Ｇ、Ｂの繰り返しのラインとが交互に配置されている。画素混合が垂直方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、撮像素子駆動部は混合される画素も１画素おきのタイミングで混合されるように撮像素子を駆動する。
【０００４】
具体的には例えば図１２（ａ）に示すＲ_００、Ｇ_０１のラインと　Ｒ_２０、Ｇ_２１のラインの画素信号を混合して、図１２（ｂ）に示すＲ_１０、Ｇ_１１のラインの画素信号が生成される。また、Ｇ_１０、Ｂ_１１のラインの画素信号とＧ_３０、Ｂ_３１のラインの画素信号からＧ_２０、Ｂ_２１のラインの画素信号が生成される。同様にして、Ｒ_４０、Ｇ_４１のラインとＲ_６０、Ｇ_６１のラインの画素信号からＲ_５０、Ｇ_５１のラインの画素信号が、Ｇ_５０、Ｂ_５１のラインとＧ_７０、Ｂ_７１のラインの画素信号からＧ_６０、Ｂ_６１のラインの画素信号が生成される。混合後の信号は、混合前と同じ原色のベイヤー配列になる。
【０００５】
【特許文献１】
特開２０００−２５３４１５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法で混合処理を行うと、混合後の信号の重心位置が混合前の２画素の中央になるので、重心位置に注目すると垂直方向に均等ではなく２ラインずつ接近した位置となってしまう。この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって、色差・輝度信号に変換すると変換後の信号の重心位置は、図１２（ｂ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。このように信号配置が偏ると、画像がひずんだりモアレが生じたりするなどの課題があった。また、連続したフィールドの画像からなるインタレースの動画像に対して垂直方向に混合処理を行うと、フィールド間のインタレース関係が損なわれるという問題点もあった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消すると共に、解像度を向上することを目的とする。
【０００８】
更に、連続する２フィールド間でインターレース関係となる動画像の信号を取得することを別の目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、複数の受光素子を有し、各受光素子と、副走査方向に１画素おいた受光素子とに同色のフィルタを配置したカラーフィルタにより覆われ、１行おきに同色の受光素子から得られる信号を加算して読み出し可能な撮像素子から出力される信号を処理する本発明の信号処理装置は、前記撮像素子から入力した信号を各色成分に分離する色分離手段と、前記色分離手段により色分離された各色成分の信号から、信号の重心位置を副走査方向について等間隔に補正した信号と、当該補正した信号から重心位置が等間隔となるように行間に補間した信号とを生成する補正手段とを有する。
【００１０】
また、複数の受光素子を有し、各受光素子と、副走査方向に１画素おいた受光素子とに同色のフィルタを配置したカラーフィルタにより覆われ、１行おきに同色の受光素子から得られる信号を加算して読み出し可能な撮像素子から出力される信号を処理する本発明の信号処理方法は、前記撮像素子から入力した信号を各色成分毎に分離する色分離工程と、前記色分離工程において色分離された各色成分の信号から、信号の重心位置を副走査方向について等間隔に補正した信号と、当該補正した信号から重心位置が等間隔となるように行間に補間した信号とを生成する補正工程とを有する。
【００１１】
また、上記別の目的を達成するために、前記補正手段及び前記補正工程では、１フィールドおき、且つ、前記色分離手段及び色分離工程により色分離された各色成分の信号の１行おき、且つ、重心位置を補正した信号を生成する場合と、補間する信号を生成する場合とで、異なる補正係数を用いて処理を行う。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。なお、図１では、本第１の実施形態の説明に必要な構成のみを示している。
【００１４】
図１において、２は不図示の光学系を介して入射した光束を、その光量に応じて電気信号に変換するＣＣＤやＭＯＳ等の撮像素子、４は撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６はＡ／Ｄ変換器４から出力されたデジタル信号に対して、色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成するカメラ信号処理部、８は撮像素子２を制御するタイミング信号を生成する撮像素子駆動部である。カメラ信号処理部６では、色分離処理部６１によってＡ／Ｄ変換器４からの出力信号をＲＧＢの各色成分に分離し、同時化補間処理部６２によって、色分離処理部６１による色分離処理後の各色成分を全画素に再配置し、全画素に均等に配分された各色成分に対して、アパーチャー処理部６３によりアパーチャー処理を、ガンマ処理部６４によりガンマ変換を施し、輝度・色差信号生成部６５により輝度・色差信号を生成する。
【００１５】
撮像素子２からは、従来例で図１２を参照して説明した方法で画素信号が読み出される。このようにして読み出された混合後の信号は、混合前と同じ原色のベイヤー配列になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図１２（ｂ）に示すように、２ラインずつ接近した配置となる。
【００１６】
本第１の実施形態におけるカメラ信号処理部６は、図１２（ｂ）に示すような重心位置が垂直方向に不均等な信号に対して、重心位置のずれ補正と同時に同時化処理（以下、「同時化補間処理」と呼ぶ。）を行う。
【００１７】
まず、図２及び図３を参照して、２ラインずつ接近した信号の内、上のラインの信号に対する同時化補間処理について説明する。この処理は、カメラ信号処理部６内の色分離処理部６１で色分離された信号に対して、同時化補間処理部６２において行われる。
【００１８】
図２は同時化補間処理によって、偶数ラインのＲ成分を生成する場合、また、図３は同時化補間処理で奇数ラインのＲ成分を生成する場合について説明する図である。なお、図２では偶数ラインを代表してＲ’_２ｎのＲ成分を、図３では奇数ラインを代表してＲ’_２ｎ＋１のＲ成分を生成する場合を示している。
【００１９】
図２（ａ）及び図３（ａ）は、撮像素子２において垂直方向に同色画素が混合読み出しされた同色画素混合信号の位置概念（２列分２画素ずつ）を表し、図２（ｂ）及び図３（ｂ）は、同色画素混合信号をカメラ信号処理部６に入力し、色分離処理部６１によってベイヤー配列の原色フィルタから抽出した信号のＲ成分を表す。また、図２（ｃ）及び図３（ｃ）は同時化補間処理後のＲ成分を表す。
【００２０】
本発明の第１の実施形態では、同時化補間処理は補間対象となるラインも含めて垂直方向に隣接する７ラインを用いて行い、同時化補間処理部６２における補間係数Ｔ_ｉ（０≦ｉ＜７）を（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６）＝（１，１，９，８，１５，７，７）とする。この補間係数は、図２（ｂ）及び図３（ｂ）に示す色分離処理によって得られたＲ成分、すなわちＲ_２ｎ−４、Ｒ_２ｎ−２、Ｒ_２ｎ、Ｒ_２ｎ＋２、…、が１ラインおきにしか存在せず、且つ、垂直方向の画素の重心位置が均等ではなく、２ラインずつ接近した配置となっていることを考慮し、同時化補間処理後に垂直方向の画素の重心位置が図２（ｃ）、図３（ｃ）に示すように均等に配置されるように、設定されたものである。なお、補間係数Ｔｉ（０≦ｉ＜７）については、図４を参照して詳細に後述する。
【００２１】
Ｒ成分について色分離した場合、図２（ｃ）に示す偶数ライン上の点Ｒ’_２ｎ、及び図３（ｃ）に示す奇数ライン上の点Ｒ’_２ｎ＋１は、同時化補間処理によりそれぞれ以下の式を用いて算出する。なお、ｎは自然数とする。
Ｒ’_２ｎ＝Ｔ_０×Ｒ_２ｎ−４＋Ｔ_２×Ｒ_２ｎ−２＋Ｔ_４×Ｒ_２ｎ＋Ｔ_６×Ｒ_２ｎ＋２
Ｒ’_２ｎ＋１＝Ｔ_１×Ｒ_２ｎ−２＋Ｔ_３×Ｒ_２ｎ＋Ｔ_５×Ｒ_２ｎ＋２
【００２２】
上記式に示されるように、色分離処理後のＲ信号は図２（ｂ）及び図３（ｂ）に示すように１ラインおきにしか存在しないので、同時化補間処理では、偶数ライン上の画素を補間する場合と、奇数ライン上の画素を補完する場合とで、補間係数Ｔ_ｉ（０≦ｉ＜７）のうち、適用される組み合わせが異なるのである。すなわち、Ｒ_２ｎ−３、Ｒ_２ｎ−１、Ｒ_２ｎ＋１、Ｒ_２ｎ＋３に相当する値が無い（つまり、値が０）ので、偶数ライン上の画素Ｒ’_２ｎを補間する場合は、図２（ｂ）に示すように結果としてＴ_０、Ｔ_２、Ｔ_４、Ｔ_６が用いられ、奇数ライン上の画素Ｒ’_２ｎ＋１を補間する場合には、図３（ｂ）に示すように結果としてＴ_１、Ｔ_３、Ｔ_５が用いられる。
【００２３】
同様に、Ｒが存在するラインのＧ信号（Ｇｒ）も２ラインずつ接近した信号の内、上のラインに存在するので、Ｒ信号に対する上記処理と同様にして同時化補間処理を行う。
【００２４】
ここで、補間係数Ｔ_ｉ（０≦ｉ＜７）の値について、図４を参照して説明する。
【００２５】
図４（ａ）は、撮像素子２において垂直方向に同色画素が混合読み出しされた同色画素混合信号の位置概念（２列分２画素ずつ）を示し、図４（ｂ）は、図４（ａ）の隣接する２ラインのＲ、Ｇｒ信号に１：７の重み付けをして垂直方向の重心ずれを補正した場合を示す。なお、Ｇｂ、Ｂ信号については、図７を用いて後述する。このようにして補正した各信号Ｒ”、Ｇｒ”に対して色分離を行い、Ｒ”信号について示したものが図４（ｃ）である。更に、図４（ｃ）に示す５ライン分のＲ”信号に１：１：２：１：１で重み付けして垂直方向に同時化を行って得た信号Ｒ’を図４（ｄ）に示す。本第１の実施形態では、上述した図２（ｃ）及び図３（ｃ）で得られる信号がこの図４（ｄ）に示す信号Ｒ’と同じになるように、補間係数Ｔ_ｉ（０≦ｉ＜７）を設定する。
【００２６】
本第１の実施形態では、重心ずれ補正時及び垂直方向の同時化時に用いられる重み付け係数をまとめて得た補間係数Ｔ_ｉ（０≦ｉ＜７）を用いることで、重心位置のずれ補正と、同時化とを同時に行うことができる。
【００２７】
次に、図５及び図６を参照して、２ラインずつ接近した信号の内、下のラインの信号に対する同時化補間処理について説明する。この処理も、カメラ信号処理部６内の色分離処理部６１で色分離された信号に対して、同時化補間処理部６２において行われる。
【００２８】
図５及び図６は、色分離後の信号が垂直方向で近接する２ラインのうち、下のラインに存在する場合の同時化補間処理の具体例として、色分離処理によってＧｂが抽出された場合の同時化補間処理における補間動作を説明する説明図である。
【００２９】
図５は同時化補間処理によって、偶数ラインのＧｂ成分（Ｂが存在するラインのＧ信号）を生成する場合、また、図６は同時化補間処理で奇数ラインのＧｂ成分を生成する場合について説明する図である。なお、図５では偶数ラインを代表してＧｂ’_２ｎのＧ成分を、図３では奇数ラインを代表してＧｂ’_２ｎ＋１のＧ成分を生成する場合を示している。
【００３０】
図５（ａ）及び図６（ａ）は、図２及び図４と同様に、撮像素子２において垂直方向に同色画素が混合読み出しされた同色画素混合信号の位置概念（２列分２画素ずつ）を表し、図５（ｂ）及び図６（ｂ）は、同色画素混合信号をカメラ信号処理部６に入力し、色分離処理部６１によってベイヤー配列の原色フィルタから抽出した信号のＧｂ成分を表す。また、図５（ｃ）及び図６（ｃ）は同時化補間処理後のＧｂ成分を表す。
【００３１】
本第１の実施形態では、重心ずれ補正が近接する２ラインに対して均等に行われ、同時化補間処理は補間対象となるラインも含めて垂直方向に隣接する７ラインを用いて行うが、同時化補間処理部６２における補間係数Ｔ_ｉ（０≦ｉ＜７）は図２及び図３の場合と異なり、（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６＝（７，７，１５，８，９，１，１）を用いる。この補間係数Ｔ_ｉ（０≦ｉ＜７）については、図７を参照して詳細に後述する。
【００３２】
Ｇｂ成分について色分離した場合、図５（ｃ）に示す偶数ライン上の点Ｇｂ’_２ｎ、及び図６（ｃ）に示す奇数ライン上の点Ｇｂ’_２ｎ＋１は、同時化補間処理によりそれぞれ以下の式を用いて算出される。なお、ｎは自然数とする。
Ｇｂ’_２ｎ＝Ｔ_１×Ｇｂ_２ｎ−１＋Ｔ_３×Ｇｂ_２ｎ＋１＋Ｔ_５×Ｇｂ_２ｎ＋３
Ｇｂ’_２ｎ＋１＝Ｔ_０×Ｇｂ_２ｎ−１＋Ｔ_２×Ｇｂ_２ｎ＋１＋Ｔ_４×Ｇｂ_２ｎ＋３＋Ｔ_６×Ｇｂ_２ｎ＋５
【００３３】
Ｒ成分と同様、Ｇｂ成分においても、色分離処理後のＧｂ信号は図５（ｂ）及び図６（ｂ）に示すように１ラインおきにしか存在しないので、同時化補間処理では、偶数ライン上の画素を補間する場合と、奇数ライン上の画素を補完する場合とで、補間係数Ｔ_ｉ（０≦ｉ＜７）のうち、適用される組み合わせが異なるのである。すなわち、Ｇｂ_２ｎ−２、Ｇｂ_２ｎ、Ｇｂ_２ｎ＋２、Ｇｂ_２ｎ＋４に相当する値が無い（つまり、値が０）ので、偶数ライン上の画素Ｇｂ’_２ｎを補間する場合は、図５（ｂ）に示すように結果としてＴ_１、Ｔ_３、Ｔ_５が用いられ、奇数ライン上の画素Ｇｂ’_２ｎ＋１を補間する場合には、図６（ｂ）に示すように結果としてＴ_０、Ｔ_２、Ｔ_４、Ｔ_６が用いられる。
【００３４】
同様に、Ｇｂが存在するラインのＢ信号も２ラインずつ接近した信号の内、下のラインに存在するので、Ｇｂ信号に対する上記処理と同様にして同時化補間処理を行う。
【００３５】
上記説明したとおり、色分離後の信号が存在する画素位置によっても、同時化補間処理における補間係数が異なるため、色分離後の信号が垂直方向に近接する２ラインのうち上のラインに存在する場合と下のラインに存在する場合とで、異なる補間係数を用いて同時化補間処理を行うのである。
【００３６】
図７（ａ）は、撮像素子２において垂直方向に同色画素が混合読み出しされた同色画素混合信号の位置概念（２列分２画素ずつ）を示し、図７（ｂ）は、図７（ａ）の隣接する２ラインのＧｂ、Ｂ信号に７：１の重み付けをして垂直方向の重心ずれを補正した場合を示す。このようにして補正した各信号Ｇｂ”、Ｂ”に対して色分離を行い、Ｇｂ”信号について示したものが図７（ｃ）である。更に、図７（ｃ）に示す５ライン分のＧｂ”信号に１：１：２：１：１で重み付けして垂直方向に同時化を行って得た信号Ｇｂ’を図７（ｄ）に示す。本第１の実施形態では、上述した図５（ｃ）及び図６（ｃ）で得られる信号がこの図７（ｄ）に示す信号Ｇｂ’と同じになるように、補間係数Ｔ_ｉ（０≦ｉ＜７）を設定する。
【００３７】
これは、図４を参照して説明した場合と同様に、重心ずれ補正時及び垂直方向の同時化時に用いられる重み付け係数をまとめて得た補間係数Ｔ_ｉ（０≦ｉ＜７）を用いることで、重心位置のずれ補正と、同時化とを同時に行うことができる。
【００３８】
上記の様な処理を行った後、アパーチャ処理部６３によるアパーチャ処理、ガンマ処理部６４によるガンマ処理を経て、輝度・色差信号生成部６５で輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。また、この方法では、同時化補間処理の際に、すべてのラインが均等に補間され、同じように解像度が劣化するため、ラインごとに解像度が異なるということはない。
【００３９】
なお、上記実施形態では、撮像素子２からの同色画素混合信号の接近した２ラインの内の上のラインの信号に対しては補間係数（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６）＝（１，１，９，８，１５，７，７）を用い、下のラインの信号に対しては、補間係数（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６）＝（７，７，１５，８，９，１，１）を用いたが、これに限られるものではない。図４及び図７を参照して説明した、重心ずれ補正時及び垂直方向の同時化時に用いられる重み付け係数は変えることができるため、その重み付け係数に基づいて、適宜変更することが可能である。
【００４０】
＜第２の実施形態＞
第２の実施形態では、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置について説明する。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略するが、カメラ信号処理部６における処理が第１の実施形態と異なる。本第２の実施形態では、カメラ信号処理部６の色分離処理部６１で色分離された信号に対して、撮像素子２の信号電荷の混合によって生じる信号の重心位置のずれ補正と連続する２フィールドのインターレース化を考慮した同時化補間処理を行い、同時化補間処理における補間係数を偶数フィールドと奇数フィールドとで切り替える。以下、本第２の実施形態における同時化補間処理について詳しく説明する。
【００４１】
撮像素子２からは、従来例で図１２を参照して説明した方法で画素信号が読み出される。上記のように出力される、連続した２フィールド（ＯＤＤフィールドとＥＶＥＮフィールド）の信号の位置を上記第１の実施形態で説明したようにして重心位置を補正すると、両フィールドにおいて信号の重心位置は同じになり、インタレース関係にならない。
【００４２】
そこで、本第２の実施形態では、図１２（ｂ）に示す信号の重心位置が、連続した２フィールド間でインターレース関係となるように処理する。
【００４３】
図８〜図１１は、本第２の実施形態におけるカメラ信号処理部６内の、色分離後の信号に対する同時化補間処理部６２における補間動作の説明図であり、具体例として色分離処理においてＲを分離した場合について説明する。
【００４４】
図８は奇数フィールドにおいて、同時化補間処理によって偶数ラインの信号を生成する場合を示し、図９は偶数フィールドにおいて、同時化補間処理によって偶数ラインの信号を生成する場合を示す。また、図１０は奇数フィールドにおいて、同時化補間処理によって奇数ラインの信号を生成する場合を示し、図１１は偶数フィールドにおいて、同時化補間処理によって奇数ラインの信号を生成する場合を示す。
【００４５】
図８（ａ）、図９（ａ）、図１０（ａ）、図１１（ａ）は、撮像素子２において垂直方向に同色画素が混合読み出しされた後の同色画素混合信号の位置概念（２列分２画素ずつ）を表し、図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）は、同色画素混合信号をカメラ信号処理部６に入力し、色分離処理部６１によってベイヤー配列の原色フィルタから抽出した信号のＲ成分を表す。また、図８（ｃ）、図９（ｃ）、図１０（ｃ）、図１１（ｃ）は、同時化補間処理後のＲ成分を示す。
【００４６】
図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）において、色分離後のＲ信号は１ラインごとにしか存在しないので、同時化補正処理では、Ｒ信号の存在しないラインに値を補間して同時化すると同時に、垂直方向の画素の重心位置が均等でなく、２ラインずつ接近した配置となっているので、垂直方向のＲ信号が均等な間隔で配置され、且つ、連続する２フィールドでインターレース関係が成立するように、同時化の際の補間係数を決定する。
【００４７】
本第２の実施形態においては、図８〜図１１では、近接する２ラインとも同じ係数を用いて重心ずれを補正し、同時化補間処理を補間対象となる画素も含めて垂直方向に隣接する７ラインを用いて行うものとして、同時化補間処理における補間係数Ｔ_ｉ（０≦ｉ＜７）を決定する。偶数フィールドでは、（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６）＝（Ｅ_０，Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４，Ｅ_５，Ｅ_６）、奇数フィールドでは、（Ｔ_０，Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５，Ｔ_６）＝（Ｏ_０，Ｏ_１，Ｏ_２，Ｏ_３，Ｏ_４，Ｏ_５，Ｏ_６）を用いる。ここでは特に具体的な数字をあげて説明しないが、上記第１の実施形態で図４及び図７を参照して説明したようにして、適宜設定するすればよい。
【００４８】
図８に示す奇数フィールドの偶数ライン上の画素Ｒｏ’_２ｎ、及び図９に示す偶数フィールドの偶数ライン上の画素Ｒｅ’_２ｎは、同時化補間処理によりそれぞれ以下の式を用いて算出する。なお、ｎは自然数とする。
Ｒｅ’_２ｎ＝Ｅ_０×Ｒｅ_２ｎ−４＋Ｅ_２×Ｒｅ_２ｎ−２＋Ｅ_４×Ｒｅ_２ｎ＋Ｅ_６×Ｒｅ_２ｎ＋２
Ｒｏ’_２ｎ＝Ｏ_０×Ｒｏ_２ｎ−４＋Ｏ_２×Ｒｏ_２ｎ−２＋Ｏ_４×Ｒｏ_２ｎ＋Ｏ_６×Ｒｏ_２ｎ＋２
【００４９】
ここで、連続する２フィールドがインターレース関係にある動画像を撮影するときには、信号の重心位置をインターレースの関係にしなければならないので、色分離後の信号が存在する画素位置が同じ場合でも、偶数フィールドと奇数フィールドによって同時化回路における補間係数を変えなければならない。そのため、フィールドごとに補間係数Ｔ_ｉ（０≦ｉ＜７）を切り替えて同時化処理を行う。すなわち、図８、図１０では、補間係数としてＯ_ｉ（０≦ｉ＜７）を用い、図９、図１１では、補間係数としてＥ_ｉ（０≦ｉ＜７）を用いる。
【００５０】
同様にして、図１０に示す奇数フィールドの奇数ライン上の画素Ｒｏ’_２ｎ＋１、及び図９に示す偶数フィールドの奇数ライン上の画素Ｒｅ’_２ｎ＋１は、同時化補間処理によりそれぞれ以下の式を用いて算出する。
Ｒｅ’_２ｎ＋１＝Ｅ_１×Ｒｅ_２ｎ−２＋Ｅ_３×Ｒｅ_２ｎ＋Ｅ_５×Ｒｅ_２ｎ＋２
Ｒｏ’_２ｎ＋１＝Ｏ_１×Ｒｏ_２ｎ−２＋Ｏ_３×Ｒｏ_２ｎ＋Ｏ_５×Ｒｏ_２ｎ＋２
【００５１】
第１の実施形態で説明したように、色分離処理後のＲ信号は図８（ｂ）、図９（ｂ）、図１０（ｂ）及び図１１（ｂ）に示すように１ラインおきにしか存在しないので、同時化補間処理では、偶数ライン上の画素を補間する場合と、奇数ライン上の画素を補完する場合とで、補間係数Ｔ_ｉ（０≦ｉ＜７）のうち、適用される組み合わせが異なるのである。すなわち、Ｒ_２ｎ−３、Ｒ_２ｎ−１、Ｒ_２ｎ＋１、Ｒ_２ｎ＋３に相当する値が無い（つまり、値が０）ので、偶数ライン上の画素Ｒ’_２ｎを補間する場合は、図２（ｂ）に示すように結果としてＴ_０、Ｔ_２、Ｔ_４、Ｔ_６が用いられ、奇数ライン上の画素Ｒ’_２ｎ＋１を補間する場合には、図３（ｂ）に示すように結果としてＴ_１、Ｔ_３、Ｔ_５が用いられる。
【００５２】
また、色フィルタの他の色成分について色分離処理を行う場合も、同様に、それぞれフィールドごとに補間係数を切り替え、かつ、第１の実施形態と同様に、色分離後に信号が存在する画素位置によっても、同時化補間処理における補間係数が異なるため、色分離後の信号が垂直方向に近接する２ラインのうち上のラインに存在する場合と下のラインに存在する場合とで、同時化補間処理における補間係数を切り替えて処理を行う。
【００５３】
上記の様な処理を行った後、アパーチャ処理部６３によるアパーチャ処理、ガンマ処理部６４によるガンマ処理を経て、輝度・色差信号生成部６５で輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができ、かつ連続する２フィールドにおいてインターレース関係の成り立つ動画像を撮影することができる。また、この方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化するため、ラインごとに解像度が異なるということはない。
【００５４】
なお、図２乃至図１１では、説明を分かりやすくするためにＲ、Ｇｒ、Ｇｂ、Ｂの４画素を単位として４単位分の画素のみを示しているが、実際には撮像素子２は非常に多数の画素から構成され、対応する数の画素信号が出力されていることは言うまでもない。
【００５５】
【他の実施形態】
なお、以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。
【００５６】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００５７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００５８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２及び図３または、図８〜図１１のいずれかを参照して説明した処理に対応するプログラムコードが格納されることになる。
【００６０】
【発明の効果】
上記の通り本発明によれば、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消すると共に、解像度を向上することができる。
【００６１】
更に、連続する２フィールド間でインターレース関係となる動画像の信号を取得することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における同時化補間処理を説明する図である。
【図３】本発明の第１の実施形態における同時化補間処理を説明する図である。
【図４】図２及び図３の同時化補間処理で用いられる補間係数について説明する図である。
【図５】本発明の第１の実施形態における同時化補間処理を説明する図である。
【図６】本発明の第１の実施形態における同時化補間処理を説明する図である。
【図７】図５及び図６の同時化補間処理で用いられる補間係数について説明する図である。
【図８】本発明の第２の実施形態における奇数フィールドの偶数ラインの同時化補間処理を説明する図である。
【図９】本発明の第２の実施形態における偶数フィールドの偶数ラインの同時化補間処理を説明する図である。
【図１０】本発明の第２の実施形態における奇数フィールドの奇数ラインの同時化補間処理を説明する図である。
【図１１】本発明の第２の実施形態における偶数フィールドの奇数ラインの同時化補間処理を説明する図である。
【図１２】従来の撮像素子における画素混合の様子を示す概念図である。
【符号の説明】
２　撮像素子
４　Ａ／Ｄ変換器
６　カメラ信号処理部
６１　色分離処理部
６２　同時化補間処理部
６３　アパーチャ処理部
６４　ガンマ処理部
６５　輝度・色差信号生成部
８　撮像素子駆動部

Claims

複数の受光素子を有し、各受光素子と、副走査方向に１画素おいた受光素子とに同色のフィルタを配置したカラーフィルタにより覆われ、１行おきに同色の受光素子から得られる信号を加算して読み出し可能な撮像素子から出力される信号を処理する信号処理装置であって、
前記撮像素子から入力した信号を各色成分に分離する色分離手段と、
前記色分離手段により色分離された各色成分の信号から、信号の重心位置を副走査方向について等間隔に補正した信号と、当該補正した信号から重心位置が等間隔となるように行間に補間した信号とを生成する補正手段と
を有することを特徴とする信号処理装置。
前記補正手段は、前記色分離手段により色分離された各色成分の信号の１行おき、且つ、重心位置を補正した信号を生成する場合と、補間する信号を生成する場合とで、異なる補正係数を用いて処理を行うことを特徴とする請求項１に記載の信号処理装置。
前記補正手段は、更に、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正することを特徴とする請求項１に記載の信号処理装置。
前記補正手段は、１フィールドおき、且つ、前記色分離手段により色分離された各色成分の信号の１行おき、且つ、重心位置を補正した信号を生成する場合と、補間する信号を生成する場合とで、異なる補正係数を用いて処理を行うことを特徴とする請求項３に記載の信号処理装置。
請求項１乃至４のいずれかに記載の信号処理装置を有する撮像装置。
複数の受光素子を有し、各受光素子と、副走査方向に１画素おいた受光素子とに同色のフィルタを配置したカラーフィルタにより覆われ、１行おきに同色の受光素子から得られる信号を加算して読み出し可能な撮像素子から出力される信号を処理する信号処理方法であって、
前記撮像素子から入力した信号を各色成分毎に分離する色分離工程と、
前記色分離工程において色分離された各色成分の信号から、信号の重心位置を副走査方向について等間隔に補正した信号と、当該補正した信号から重心位置が等間隔となるように行間に補間した信号とを生成する補正工程と
を有することを特徴とする信号処理方法。
前記補正工程では、前記色分離工程で色分離された各色成分の信号の１行おき、且つ、重心位置を補正した信号を生成する場合と、補間する信号を生成する場合とで、異なる補正係数を用いて処理を行うことを特徴とする請求項６に記載の信号処理方法。
前記補正工程では、更に、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正することを特徴とする請求項６に記載の信号処理方法。
前記補正工程では、１フィールドおき、且つ、前記色分離工程において色分離された各色成分の信号の１行おき、且つ、重心位置を補正した信号を生成する場合と、補間する信号を生成する場合とで、異なる補正係数を用いて処理を行うことを特徴とする請求項８に記載の信号処理方法。
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至４のいずれかに記載の信号処理装置として機能させることを特徴とするプログラム。
請求項６乃至９のいずれかに記載の信号処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
請求項１０又は１１に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。