JP2004350265A - 撮像装置 - Google Patents

Abstract

【課題】多チャンネル出力方式における画質の向上を図る。
【解決手段】被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割し、隣接する領域において少なくとも一辺の領域境界部を画素単位で非直線状に分割して読み出す走査回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子２２と、上記領域境界部近傍の画素に係る、上記複数の出力回路の各々から出力される映像信号に対してフィルタ処理を行うフィルタ回路２５と、を有することを特徴とするものである。
【選択図】 図１

Description

本発明は、多チャンネル出力方式の撮像素子を用いた撮像装置に関する。

従来、数百万個の画素を有する撮像素子から高フレームレートで映像信号を得るための一般的手法として、単一の撮像素子から同時並列に複数の映像信号出力を得る多チャンネル出力方式（多線出力方式）が採用されることがある。

図２３は一般的なＭＯＳ型固体撮像素子における多チャンネル出力方式の構成を示す説明図である。図２３は画素数がｎ×ｎ画素の固体撮像素子を示している。

マトリクス状に配置された画素Ｐ11〜Ｐnnは、４つの分割領域に分割されている。分割領域１は画素Ｐ11からＰaaまでの領域を有し、分割領域２は画素Ｐ1bからＰanまでの領域を有し、分割領域３は画素Ｐb1からＰnaまでの領域を有し、分割領域４は画素ＰbbからＰnnまでの領域を有する。

分割領域１の画素Ｐ11〜Ｐaaは水平読出し回路（水平走査回路ともいう）１及び垂直走査回路５によって、分割領域２の画素Ｐ1b〜Ｐanは水平読出し回路２及び垂直走査回路５によって、分割領域３の画素Ｐb1〜Ｐnaまでは水平読出し回路３及び垂直走査回路６によって、分割領域４の画素Ｐbb〜Ｐnnは水平読出し回路４及び垂直走査回路６によって各分割領域内に配置された各画素から信号出力が得られるようになっている。

図２４はこのようにして得られた複数の映像信号出力を処理する撮像装置の構成例である。水平読出し回路１乃至４からの信号は夫々信号処理部７乃至１０に与えられる。信号処理部７乃至１０は相互に同一構成であり、増幅器及びＡＤ変換器によって構成されている。信号処理部７乃至１０は、夫々入力された信号を増幅器によって増幅し、ＡＤ変換器によってディジタル信号に変換した後画像メモリ１１に供給するようになっている。画像メモリ１１は、信号処理部７乃至１０からの信号を記憶保持して、後段の図示しない映像信号処理部に供給するようになっている。画像メモリ１１によって、各分割領域１乃至４の各画素の信号に基づいて１枚の画像が合成されるようになっている。

また、多線出力方式の固体撮像素子には、各分割領域の境界の画素については隣接する分割領域の双方に含ませて重複読み出しして、平均化により各分割領域の境界の画質を均質化したものもある。このような撮像素子としては、例えば、特開２０００−２０９５０３号公報（特許文献１）に開示されたものがある。

図２５は特許文献１における撮像素子を示す説明図である。図２５の撮像素子は、一般的なＭＯＳ型固体撮像素子を示している。

図２５の撮像素子の画素配列は図２３と同様である。図２３の撮像素子においては各画素はいずれかの分割領域に含まれているが、各分割領域は相互に共通の画素を含んでいない。これに対し、図２５の装置は隣接する各分割領域同士が相互に共通の画素を含んでいる。即ち、図２５の例では、分割領域１は画素Ｐ11〜Ｐbbによって構成され、分割領域２は画素Ｐ1a〜Ｐbnによって構成され、分割領域３は画素Ｐa1〜Ｐnbによって構成され、分割領域４は画素Ｐaa〜Ｐnnによって構成される。

分割領域１乃至４の各画素は夫々水平読出し回路１５乃至１８から読出されるようになっており、例えば画素Ｐaa，Ｐab，Ｐba，Ｐbbについては水平読出し回路１５〜１８の全てから信号が出力され、画素Ｐa1，Ｐb1については、水平読出し回路１５，１７の両方から信号が出力される。このようして重複読出しされる画素について、読出した信号を平均化することによって、各分割領域の境界部における画質の均質化させている。
特開２０００−２０９５０３号公報

ところで、多線出力方式の撮像素子においては、各分割領域毎の映像信号がそれぞれ別々の走査回路及び映像信号処理部からなる信号処理系を経由する。このため、各信号処理系等の電気的特性の相違によって、各出力線から出力される信号レベルにばらつきが生じる。

本発明は、多線出力方式の撮像素子を採用した場合でも、各出力線の特性のばらつきを補正して高画質の画像を得ることができる撮像装置を提供することを目的とする。

本発明の請求項１に係る撮像装置は、被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割し、隣接する領域において少なくとも一辺の領域境界部を画素単位で非直線状に分割して読み出す走査回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、上記領域境界部近傍の画素に係る、上記複数の出力回路の各々から出力される映像信号に対してフィルタ処理を行うフィルタ回路と、を有することを特徴とするものである。

本発明の請求項１において、走査回路は、分割領域の境界部を直線状ではなく非直線状にし、フィルタ処理回路は、境界部に対して電気的フィルタ処理を施す。これにより、分割領域境界部において最も顕著となる各分割領域の特性ばらつきを緩和し、視覚的影響を映像上で大幅に軽減する。

本発明の請求項２に係る撮像装置は、被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割し、隣接する領域においてお互いに重複して映像信号の読出しを行う走査回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、上記重複領域に係る、上記複数の出力回路の各々からの映像出力を用い、上記複数の出力回路の各々からの映像信号の特性を補正するための演算処理部と、を有することを特徴とするものである。

本発明の請求項２において、撮像素子は、同一の被写体信号を捕らえた同一の画素からの出力信号を異なる読出し回路で読み出す。演算処理部は、読出し回路で発生する特性のばらつきを例えばリアルタイムにモニタしながら補正する。これにより、分割領域境界部において最も顕著となる各分割領域の特性ばらつきを緩和し、更に、特性ばらつきが視覚的に最も顕著となる分割領域境界部において、例えば、簡単な平均化演算によりスムージング処理を行って、より高画質な映像を得る。

本発明の請求項３に係る撮像装置は、被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割して映像信号の読出しを行う走査回路と、前記走査回路の読み出し動作を制御する走査制御回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、外部出力機器の入力フォーマットに合致する映像信号の分割方式を、上記走査制御回路に対する制御信号として出力する分割制御手段と、を有することを特徴とするものである。

本発明の請求項３において、分割手段は、外部出力機器の入力フォーマットに合致する映像信号の分割方式を、上記走査制御回路に対する制御信号として出力する。これにより、外部機器において、有効な映像信号の出力を行う。

本発明の請求項４に係る撮像装置は、被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、擬似的な画素信号を生成する擬似信号生成手段と、上記擬似信号生成手段から擬似信号を読み出して出力する擬似信号読出し手段と、上記擬似信号読出し手段が出力する信号のレベルを制御するレベル制御手段と、を有する撮像素子と、上記擬似信号読出し手段から出力される擬似信号を用い、上記複数の出力回路の各々からの映像信号の特性を補正する演算処理部と、を有することを特徴とするものである。

本発明の請求項４において、疑似信号生成手段は、レベルが明らかな疑似信号を生成する。演算処理部は、映像信号に含まれる疑似信号を用いて、映像信号の特性を補正する。

本発明の請求項５に係る撮像装置は、被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、垂直あるいは水平の少なくとも一方の方向で隣接する位置に係る画素からの出力信号を、上記複数の出力回路の内の、異なる出力回路から出力させるように制御する走査回路と、を有する撮像素子と、上記複数の出力回路からの映像信号を処理して１枚の合成画像を得る映像信号合成回路と、上記合成画像に対して、画素のサンプリング周波数の１／２の周波数に対応する成分を減衰するフィルタ回路と、を有することを特徴とするものである。

本発明の請求項５において、合成画像は、各出力回路を経由した映像信号の特性ばらつきに応じた雑音成分を有する。この雑音成分の周波数は、画素サンプリング周波数の１／２のナイキスト周波数であり、フィルタ回路はこの周波数成分を減衰させることによって、映像信号の特性ばらつきを補正する。

本発明の請求項６に係る撮像装置は、撮像装置において、被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、垂直および水平の双方の方向で隣接する位置に係る４つの画素からの出力信号を、上記複数の出力回路の内の、異なる出力回路から出力させるように制御する走査回路と、を有する撮像素子と、上記複数の出力回路からの映像信号を処理して１枚の合成画像を得る映像信号合成回路と、上記合成画像に対して、画素サンプリング周波数の１／２の周波数に対応する成分を減衰するフィルタ回路と、を有することを特徴とするものである。

本発明の請求項６において、異なる出力回路を経由することにより映像信号の特性ばらつきは、合成画像に画素サンプリング周波数の１／２のナイキスト周波数成分を含む雑音成分として混入する。フィルタ回路はこの周波数成分を減衰させることによって、映像信号の特性ばらつきを補正する。

本発明によれば、多線出力方式の撮像素子を採用した場合でも、各出力線の特性のばらつきを補正して高画質の画像を得ることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施の形態に係る撮像装置を示すブロック図である。

図１において、撮像装置は多線出力方式の撮像素子２２を採用している。説明を簡略化するために、撮像素子２２として、２線出力を有するＸ−Ｙアドレス型白黒固体撮像素子に適用した列について説明する。

撮像素子２２の前面にはレンズ２１が配設されており、レンズ２１は被写体からの光（被写体光）を撮像素子２２の撮像面に導く。撮像素子２２は、レンズ２１からの入射光を光電変換して、被写体の光学像に応じた映像信号を出力する。

図２は図１中の撮像素子２２の具体的な構成を示す説明図である。

撮像素子２２は、画素部２０１、垂直走査回路２０２、水平走査回路２０３及び出力回路２０４，２０５によって構成されている。

画素部２０１にはマトリクス状に配置された図示しない画素が構成されている。各画素は夫々光電変換素子及びスイッチを有している。光電変換素子は入射光に対応した信号を蓄積する。光電変換素子に蓄積された信号は夫々画素内のスイッチを介して出力されるようになっている。

画素部２０１は複数の分割領域に分割されており、各分割領域毎に画素に蓄積された画素信号を読み出すようになっている。本実施の形態においては、画素部２０１は、例えば水平方向に２つの分割領域１，２に分割されており、水平方向には相互に入り組んだ領域を有する。

図３は図２中の画素部２０１の分割方法を説明するための説明図である。

画素部２０１は、図３に示すように、その境界部において、垂直Ｎ画素毎に、水平方向にＭ画素、互い違いに入り込むように領域が分割される。即ち、分割領域の境界はジグザグとなり、境界部分の水平Ｍ画素については、垂直Ｎ画素毎に、属する分割領域が分割領域１，２間で交互に切換る。

画素部２０１は水平及び垂直方向の画素数に夫々対応した数の図示しない垂直信号線及び行選択線が形成されており、同一行の各画素は共通の行選択線に接続され、同一列の画素は共通の垂直信号線に接続される。各行の行選択線は垂直走査回路２０２に接続され、垂直走査回路２０２は、各行の行選択線を行選択信号によって順次選択し、１垂直走査周期で全行の行選択線を選択する。各列の垂直信号線は水平走査回路２０３に接続され、水平走査回路２０３は、各列の垂直信号線を１水平走査周期内に順次選択する。

垂直走査回路２０２が各行の行選択線を選択することで、選択した同一行の全画素からの画素信号の読み出しが可能となり、水平走査回路は選択された１行の画素から列順に、順次画素信号を読み出して出力する。

水平走査回路２０３は、例えば２系統の水平副走査回路を有しており、これらの水平副走査回路によって、分割領域１，２の各画素の画素信号が同時に読み出される。そして、分割領域１，２内の画素から読み出された２系統の画素信号は、夫々出力回路２０４，２０５を介して映像信号Ｓｉｇ１，Ｓｉｇ２として出力されるようになっている。

図１において、撮像素子２２からの２系統の映像信号Ｓｉｇ１，Ｓｉｇ２は夫々ＡＤ変換器２３，２４に供給される。ＡＤ変換器２３，２４は、夫々入力された映像信号Ｓｉｇ１，Ｓｉｇ２をデジタル信号に変換して演算処理部２５に出力する。演算処理部２５は、入力されたデジタル映像信号Ｓｉｇ１，Ｓｉｇ２に対して電気的なフィルタ処理を行うようになっている。

なお、撮像素子２２からの映像信号出力がデジタル化されている場合には、ＡＤ変換器２３，２４は不要となり、この場合でもフィルタ処理を遅延素子等を用いてデジタル的に行うことが可能である。

図４は図１中の演算処理部２５の具体的な構成を示すブロック図である。演算処理部２５はメモリ５０１及びフィルタ回路５０２によって構成されている。

ＡＤ変換器２３，２４からの映像信号Ｓｉｇ１，Ｓｉｇ２はメモリ５０１に与えられる。分割領域１，２に夫々対応した映像信号Ｓｉｇ１，Ｓｉｇ２は、メモリ５０１に記憶され、画面位置に応じた順に並べ替えられて、１画面の画像に合成される。メモリ５０１は合成した画像の映像信号をフィルタ回路５０２に出力する。フィルタ回路５０２は入力された映像信号に対して所定のフィルタ処理を施して、図示しない後段の回路に出力する。

本実施の形態の撮像素子において、分割領域１，２は、垂直方向の所定画素数毎に水平方向の分割位置を切換えるジグザグ分割を採用している。そして、フィルタ回路５０２がジグザグ分割された分割領域１，２に対応した映像信号を元に合成して得た映像信号に対してフィルタ処理を行っている。ジグザグ分割によりフィルタ処理の処理能力が高くなり、メモリ５０１からの映像信号は、撮像素子２２からの２系統の出力線毎の特性のばらつきの影響を十分に抑制したものとなる。これにより、演算処理部２５からは、分割領域毎の特性差が少なく画像全体として均質で一様な画像を得ることができる。

次に、このように構成された実施の形態の作用について図５乃至図８を参照して説明する。図５乃至図７はフィルタ演算を説明するための説明図であり、図８は横軸に画素単位の画素位置をとり縦軸に画素数をとって、本実施の形態におけるフィルタ演算の特性を示すグラフである。

被写体像はレンズ２１を介して撮像素子２２の撮像面に結像する。撮像素子２２は画素部２０１を例えば水平方向に２分割して、各分割領域毎に２系統の出力線から撮像画像に基づく映像信号Ｓｉｇ１，Ｓｉｇ２を出力する。これらの映像信号Ｓｉｇ１，Ｓｉｇ２は、夫々ＡＤ変換器２３，２４によってデジタル信号に変換された後、演算処理部２５に供給される。演算処理部２５は入力された映像信号Ｓｉｇ１，Ｓｉｇ２をメモリ５０１に蓄積し、書き込み及び読み出しアドレスの制御によって、元の１画面の映像信号に戻してフィルタ回路５０２に与える。フィルタ回路５０２は、入力された映像信号に対するフィルタ処理によって、分割領域毎の特性差を抑制し、均質で一様な画像を得る。

次に、具体的なフィルタ処理について説明する。

図５は画素部２０１の分割領域を示している。図５の各区画は画素部２０１内の各画素を示しており、各区画内のＰx,y,zは、ｘ行、y列の画素であって分割領域ｚに属する画素であることを示している（ｘ，ｙ，ｚは整数）。図５の２重線（破線太線）は、分割領域１，２の境界を示している。図５に示すように、分割領域１，２は、垂直１画素毎に、分割領域の境界が水平方向へ交互に２画素分ずれて、分割領域１，２の境界はジグザグとなっている。即ち、図３におけるＮ＝１で、Ｍ＝２である。

図６はフィルタ回路５０２の具体的なフィルタ演算を説明するためのものである。図６は図５に対応した記載方法をとっており、分割領域を示す表示が省略されている。

フィルタ回路５０２は、例えば画素単位でフィルタ演算を行う。いま、フィルタ演算の対象となる注目画素が、図６の中央の画素Ｐ3,3であるものとする。フィルタ回路５０２は、注目画素を含む任意の画素範囲（以下、演算範囲ともいう）内の各画素の画素信号を用いて、注目画素に対するフィルタ処理を実施する。例えば、簡単のため、フィルタ回路５０２のフィルタ演算が、注目画素を中心とした水平及び垂直方向の各５画素づつの５×５画素の画素範囲をフィルタ演算に用いるものとする。

画素Ｐx,y,zの信号レベルがＬx,y,zであるものとすると、フィルタ回路５０２は、例えば、注目画素Ｐ3,3に対する下記（１）式のフィルタ演算を実行して、演算結果Ｐf3,3を得る。

Ｐf3,3＝k11×Ｌ1,1+ k12×Ｌ1,2+ k13×Ｌ1,3+ k14×Ｌ1,4+ k15×Ｌ1,5+ k21×Ｌ2,1+ k22×Ｌ2,2+ k23×Ｌ2,3+ k24×Ｌ2,4+ k25×Ｌ2,5+ k31×Ｌ3,1+ k32×Ｌ3,2+ k33×Ｌ3,3+ k44×Ｌ4,4+ k45×Ｌ4,5+ k51×Ｌ5,1+ k52×Ｌ5,2+ k53×Ｌ5,3+ k54×Ｌ5,4+ k55×Ｌ5,5 …（１）
但し、k11〜k55は所定の係数である。

説明を簡略化するために係数k11〜k55が全て１であるものとすると、フィルタ回路５０２によるフィルタ演算は、注目画素を中心とした５×５画素の演算範囲内の全ての画素の信号レベルの総和となる。

フィルタ演算の演算範囲が２つの分割領域に跨る場合には、演算結果は各分割領域の画素の信号レベルの影響を受ける。この影響の度合いを調べるために、上記（１）式によるフィルタ演算を図５の各画素に適用する。例えば、図５の３行目の各画素Ｐ3,3,1〜Ｐ3,10,2に適用して、各フィルタ演算処理結果であるＰf3,3,1〜Ｐf3,10,2を算出する。

例えば、Ｐf3,3,1は下記（２）式で与えられる。

Ｐf3,3,1＝Ｌ1,1,1+ Ｌ1,2,1+ Ｌ1,3,1+ Ｌ1,4,1+ Ｌ1,5,1+ Ｌ2,1,1+ Ｌ2,2,1+Ｌ2,3,1+Ｌ2,4,1+ Ｌ2,5,1+ Ｌ3,1,1+ Ｌ3,2,1+ Ｌ3,3,1+ Ｌ3,4,1+ Ｌ3,5,1+Ｌ4,1,1+ Ｌ4,2,1+ Ｌ4,3,1+ Ｌ4,4,1+ Ｌ4,5,1+Ｌ5,1,1+ Ｌ5,2,1+ Ｌ5,3,1+ Ｌ5,4,1+ Ｌ5,5,1 …（２）
ここで、（２）式のＬx,y,zのzの値に注目すると、演算範囲が分割領域１の画素のみを含むことからも明らかなように、Ｐf3,3,1は全て分割領域１の画素の信号レベルのみが関与していることが分かる。同様にして、Ｐf3,4,1〜Ｐf3,10,2の値を計算する。注目画素の水平画素位置ｙがｙ＝３〜１０の間で１つ増える毎に、各演算結果に影響を及ぼす分割領域１の画素の数は、２５個、２３個、２１個、１６個、１１個、６個、３個、０個と減少することになる。

これに対し、分割領域１，２の境界が直線状である場合についてフィルタ演算結果を求める。図７は図５に対応した記載方法によって、分割領域の画素を示している。図７のように直線状に画素部を分割して分割領域１，２を構成した場合には、注目画素の水平画素位置ｙがｙ＝３〜１０の間で１つ増える毎に、各演算結果に影響を及ぼす分割領域１の画素の数は、２５個、２５個、２０個、１５個、１０個、５個、０個、０個と減少する。

図８はこの結果を模式的に表したものである。横軸は注目画素の水平画素位置ｙを示し、縦軸は注目画素のフィルタ演算結果に対して分割領域１が関与する画素数を示している。特性Ａは図５のジグザグ分割の場合を示し、特性Ｂ（破線）は図７の直線状の分割の場合を示している。

図８に示すように、特性Ａの変化は比較的滑らかであるのに対し、特性Ｂの変化は比較的急峻である。即ち、ジグザグ分割による分割とフィルタ処理との組み合わせによって、各分割領域に対応した２系統の出力線の特性差による分割領域境界近傍の画質変化をより滑らかにすることができる。

このように本実施の形態においては、撮像素子が非直線状の境界を有する分割領域から多線出力で映像信号を出力する場合において、撮像素子の出力の境界領域に対して電気的フィルタ処理を施している。このフィルタ演算に関連する分割領域の画素数は、分割境界部において、一方の分割領域から他方の分割領域へ緩やかに変化させることができる。この結果、分割領域境界部において最も顕著となる各分割領域の特性ばらつきを緩和し、視覚的影響を映像上で大幅に軽減することが可能となる。

なお、本実施の形態においては、ＡＤ変換器は撮像素子外部のデバイスとして構成したが、以下すべての実施の形態において、ＡＤ変換器を含む任意の回路を撮像素子内部に備えていてもよい。

また、フィルタの係数ｋx,y,zを１ではなく、ジグザグ形状に応じて最適化することによって、更に一層の画質改善が可能である。

なお、各分割領域毎（各出力線毎）の特性ばらつきは、各分割領域の画素からの画素読み出し時のばらつき、画素信号の伝送途中のばらつき、各種信号処理におけるばらつき及びばらつきの補正処理におけるばらつき等の回路全系統における特性ばらつきを含む。例えば、各出力線毎のばらつきは、ＡＤ変換器２３，２４等の撮像素子外部のデバイスの特性のばらつきも含むものとする。

図９及び図１０は本発明の第２の実施の形態に係り、図９は第２の実施の形態に採用される演算処理部を示すブロック図であり、図１０は各部の信号波形を示す波形図である。

本実施の形態の全体構成は図１と同様であり、演算処理部の構成が図１と異なる。また、撮像素子の内部構造も第１の実施の形態と同様であるが、本実施の形態においては、画素部を水平方向に２分割した２つの分割領域に設定される。各分割領域１，２は境界が直線状であり、境界部分における所定列は分割領域１，２の双方に重複して属する画素（以下、重複画素という）である。なお、分割数及び分割方向は自由に設定可能である。

各分割領域１，２からの読み出しは、垂直走査回路２０２及び水平走査回路２０３によって、同時に行われる。即ち、いずれの分割領域についても、先頭の行から順に、各列毎に画素信号の読み出しが行われる。各分割領域１，２は特性ばらつきを有する。この特性ばらつきはオフセット（黒レベルの差）、ゲイン（黒レベルを一致させたときの白レベルの差）、リニアリティの違いが主要素となっている。

そこで、本実施の形態においては、これらの特性ばらつきを検出して補正した後に映像信号を得るようにしている。

各分割領域１，２に対応した映像信号Ｓｉｇ１，Ｓｉｇ２は、夫々信号Ａ，Ｂとして図９の演算処理部に供給される。信号Ａ，Ｂは黒レベル比較回路５１１に入力される。画素部２０１は遮光されて黒レベルの基準となるオプティカルブラック画素（ＯＢ画素）を有しており、タイミング発生回路５１６は、信号Ａ，ＢについてＯＢ画素のタイミング信号を発生して黒レベル比較回路５１１に出力する。黒レベル比較回路５１１は、信号Ａ，Ｂの各ＯＢ画素の入力タイミングで、入力された信号Ａ，Ｂのレベルを比較し、信号Ａの黒レベルを基準にして、信号Ｂの黒レベルとの差を求めて加算器５１２に出力する。

加算器５１２には信号Ｂも入力されており、加算器５１２は信号Ｂに黒レベル比較回路５１１の出力を加算することによって、信号Ｂの黒レベルを信号Ａの黒レベルに一致させて黒レベル減算回路５１８に出力する。一方、信号Ａは黒レベル減算回路５１７に入力される。

黒レベル減算回路５１７は入力された信号Ａから黒レベルを減算し、黒レベル減算回路５１８は加算器５１２の出力から黒レベルを減算する。これにより、信号Ａ，Ｂは黒レベルが減算されて、白レベルの比較が可能となる。黒レベル減算回路５１８の出力は遅延素子５１３に与えられる。遅延素子５１３は信号Ａ，Ｂの読み出しの差の時間分だけ信号Ｂを遅延させて、信号Ａ，Ｂの時間軸を一致させる。

黒レベル減算回路５１７からの信号Ａ及び遅延素子５１３からの信号Ｂは、白レベル比較回路５１４に供給される。白レベル比較回路５１４は、２入力の比を求める。上述したように、分割領域１，２は共通の画素を含んでおり、この重複画素の画素信号は本来同一レベルであるものと考えられる。白レベル比較回路５１４は、信号Ａの重複画素の部分と信号Ｂの重複画素の部分とで比較を行って、特性ばらつきによるレベルの比を求める。

白レベル比較回路５１４の出力は乗算器５１５に与えられる。乗算器５１５は、黒レベルが除去された信号Ｂに白レベル比較回路５１４の出力を乗算することによって、信号Ｂを信号Ａの白レベルに応じて補正する。これにより、信号Ａ，Ｂの白レベルの特性を一致させることができる。乗算器５１５の出力は黒レベル再生回路５１９に与えられる。黒レベル再生回路５１９は、入力された信号Ｂの黒レベルを再生して、信号Ｂ3として出力するようになっている。

次に、このように構成された実施の形態の動作について図１０を参照して説明する。

図１０（ａ）は画素部２０１の各領域を示している。即ち、Ｘ1，Ｘ2は、夫々分割領域１，２において個別に読み出されるｎ個の画素を含む独立読出し領域を示し、Ｙは、分割領域１，２中の水平方向にお互いに重複して読出し可能なｍ個の画素を含む重複読出し領域を示し、Ｚ1，Ｚ2は、分割領域１，２中の夫々個別に読み出されるｌ個の画素であって、遮光されて黒レベルの基準となるオプティカルブラック画素（ＯＢ画素）を含む領域を示している（ｌ，ｍ，ｎは整数）。

各画素は垂直走査回路２０２により画素部２０１の上側のラインから下へ、水平走査回路２０３により左側の画素から右に順に走査するものとする。いま、図１０（ｂ）に示すように、水平方向左から右に向かって滑らかに明るさが変化する被写体を撮像したものとする。領域分割を行わないまま任意の１水平期間を走査して単線出力で映像信号を得た場合には、図１０（ｃ）の信号ｓに示す出力が得られる。

これに対し、各分割領域１，２に分割して、各分割領域１，２毎の映像信号を２線読出しによって出力した場合には、映像信号Ｓｉｇ１及びＳｉｇ２の任意の１水平期間における出力信号は夫々、図１０（ｄ），（ｅ）に示すＡ，Ｂのようになる。ここで横軸は画素位置に対応した時間を、縦軸は信号レベルを表す。

信号Ａ，Ｂは夫々ＡＤ変換器によってデジタル信号に変換された後、図９の演算処理部に送出される。演算処理部の黒レベル比較回路５１１は、信号Ａ，Ｂの黒レベルを比較する。即ち、黒レベル比較回路５１１にはタイミング発生回路５１６から図１０（ｇ），（ｈ）に示すパルスＡOB及びＢOBが与えられており、黒レベル比較回路５１１は、各信号出力におけるＯＢ部を１水平期間周期でサンプルホールドすることで、時間的にタイミングが異なって入力される双方の黒基準レベル同士の比較を可能にしている。黒レベル比較回路５１１によって算出された黒レベル差（Ｖao−Ｖbo）は、加算器５１２において信号Ｂに加算されて、双方の信号における黒レベルが一致した信号Ｂが生成される。

次に、加算器５１２からの信号Ｂは黒レベル減算回路５１８において黒レベルの減算（−Ｖao）が行われる。更に、信号Ｂは遅延素子５１３において、（ｌ＋ｎ）画素分だけ遅延され、図１０（ｆ）に示す信号Ｂ1が得られる。この信号Ｂ1は白レベル比較回路５１４に与えられる。

一方、演算処理部に入力された信号Ａについても、黒レベル減算回路５１７において信号Ｂと同様に、黒レベルＶaoが減算されて、白レベル比較回路５１４に供給される。白レベル比較回路５１４に入力された信号Ａ，Ｂ1の重複画素領域のタイミングは、信号画素単位で完全に一致した信号として入力されている。

白レベル比較回路５１４は、タイミングの一致した双方の信号における重複読出し画素部のレベルを比較し、（Ｖaw−Ｖao）／（Ｖbw−Ｖao）を得る。白レベル比較回路５１４の比較結果は、本来同一レベルであるはずの信号Ａ，Ｂ1の重複画素の振幅の比を示している。白レベル比較回路５１４の出力は乗算器５１５に与えられ、信号Ｂ1の振幅が補正される。即ち、乗算器５１５の出力は、Ｂ1×（Ｖaw−Ｖao）／（Ｖbw−Ｖao）となる。これにより、信号Ａ，Ｂ1の白レベルが一致する。

最後に、黒レベル再生回路５１９は、白レベルが補正された信号Ｂ2に対して黒レベルを再生して信号Ｂ3として出力する。これにより、信号Ａと信号Ｂ3とは、黒レベル及び白レベルが補正され、各出力線の特性のばらつきが一方の出力線を基準に補正されたものとなる。

このように本実施の形態においては、重複画素領域において、同一画素からの同一の被写体による信号レベルを各異なる領域毎に読出し、このレベルを一致させることで、各出力線毎の特性ばらつきを補正している。また、以上の処理は任意の画素についてリアルタイムで行うことができることから、撮像装置の温度変動等による特性変化にも随時対応することが可能となる。

なお、本実施の形態においても種々の変形が考えられ、例えば乗算器をメモリによるルックアップテーブルによって構成してもよく、また、黒レベル位置を遅延素子により一致させて差分を演算してもよいことは言うまでもない。

また、黒レベルを一定期間積分平均し、該当部のランダムノイズを減少させたレベルを比較して補正することで、更に高画質な特性ばらつき補正を行うことが可能である。

図１１及び図１２は本発明の第３の実施の形態に係り、図１１は第３の実施の形態に採用される演算処理部を示すブロック図であり、図１２は各部の信号波形を示す波形図である。

本実施の形態の全体構成は図１と同様であり、演算処理部の構成が図１と異なる。また、撮像素子の内部構造も第１の実施の形態と同様であり、第２の実施の形態と同様に、画素部を水平方向に２分割した２つの分割領域に設定される。各分割領域１，２は境界が直線状であり、境界部分における所定列は分割領域１，２の双方の重複画素である。なお、分割数及び分割方向は自由に設定可能である。

各分割領域１，２からの読み出しは、垂直走査回路２０２及び水平走査回路２０３によって、同時に行われる。即ち、いずれの分割領域についても、先頭の行から順に、各列毎に画素信号の読み出しが行われる。

各分割領域１，２に対応した映像信号Ｓｉｇ１，Ｓｉｇ２は、夫々信号Ａ，Ｂとして図１１の演算処理部に供給される。信号Ａ，Ｂは夫々メモリ等で構成されるルックアップテーブル５２１，５２２に入力される。タイミング発生回路５１６は、各信号Ａ，Ｂの重複画素のタイミング信号を夫々発生してルックアップテーブル５２１，５２２に出力する。ルックアップテーブル５２１，５２２には、画素位置に応じた係数が保持されており、入力された信号Ａ，Ｂに対して各画素位置毎に係数を乗算して出力するようになっている。ルックアップテーブル５２１，５２２は、例えば、重複画素領域では画素位置に応じて０と１の間で次第に変化する係数が設定されており、他の画素領域については、係数として０又は１が設定されている。

ルックアップテーブル５２１，５２２の出力は夫々加算器５２４、遅延素子５２３に与えられる。遅延素子５２３は入力された信号を読み出しの差の時間分だけ遅延させて、信号Ａ，Ｂの時間軸を一致させた後、加算器５２４に出力する。加算器５２４は入力された信号Ａ，Ｂを合成して出力するようになっている。

次に、このように構成された実施の形態の動作について図１２を参照して説明する。図１２は図１０と同様の記載法を採用している。

図１２においても画素部２０１からの所定の１行の全画素の読み出し（１水平期間）を示しており、図１２（ａ）は画素部２０１の各領域を示している。符号Ｚ1，Ｚ2，Ｘ1，Ｘ2，Ｙは図１０と同一の意味を示している。

各画素の読出し方法も図１０と同様であり、被写体も図１０と同一であるものとする。即ち、図１２（ｂ）に示すように、水平方向左から右に向かって滑らかに明るさが変化する画像が撮像されたものとする。

撮像素子２２が各分割領域１，２に分割して、各分割領域１，２毎の映像信号を２線読出しによって出力した場合には、映像信号Ｓｉｇ１及びＳｉｇ２の任意の１水平期間における出力信号は夫々、図１２（ｃ），（ｄ）に示すＡ，Ｂとなる。

信号Ａ，Ｂは夫々ＡＤ変換器によってデジタル信号に変換された後、図１１の演算処理部に送出される。タイミング発生回路５１６は、信号Ａ，Ｂに対応させて画素部２０１における画素位置（アドレス）を示す各タイミング信号ＡＬＵ，ＢＬＵ（図１２（ｆ），（ｅ））を発生する。演算処理部のルックアップテーブル５２１，５２２には、夫々タイミング発生回路５１６からタイミング信号ＢＬＵ及びＡＬＵが与えられる。ルックアップテーブル５２１，５２２は、入力されたタイミング信号に従って、各画素位置毎に信号Ａ，Ｂに対して保持している係数を乗算する。

即ち、ルックアップテーブル５２１，５２２は、信号Ａ，Ｂに対して、タイミング発生回路５１６により指定される各信号入力の夫々特定の位置での画素に、記憶している特定の乗算係数ｋ1（x,y）、ｋ2（x,y）を乗算する。なお、ｘ，ｙは画素部２０１における画素位置（アドレス）を示す。

ルックアップテーブル５２１，５２２は、信号入力Ａ，Ｂの夫々に対し図１２（ｇ），（ｈ）の特性Ａ，Ｂで示す乗算計算を行う。図１２の特性Ａ，Ｂは、重複画素が送られてくるタイミング時のみ水平方向の画素位置に応じてリニアに特性を変化させた乗算演算を実施することを示している。

ここで、時間軸を一致させて表現した先の信号Ａ，Ｂに対し、図１２（ｂ）の空間的な水平画素位置に照らし合わせたＥ信号レベルは、それぞれ図１２（ｉ），図１２（ｊ）の信号Ａ’，Ｂ’となり、Ａ’信号に対しては、図１２（ｇ）に示すように、領域Ｚ1，Ｘ1の画素、即ち図１２（ｇ）の水平位置ｘ0の１画素前までの信号にはゲインとして×１倍を付与し、領域Ｙ、即ち、水平位置ｘ0〜水平位置ｘmの重複画素の信号にはゲインとして×（１−ｎ／ｍ）（ｎはｘ0を基準とした水平画素位置）を付与し、領域Ｘ2，Ｚ2、即ち、水平位置ｘmの次の画素以降の信号にはゲインとして×０を付与する。

同様に、Ｂ’信号に対しては、図１２（ｈ）に示すように、領域Ｚ1，Ｘ1の画素、即ち図１２（ｇ）の水平位置ｘ0の１画素前までの信号にはゲインとして×０倍を付与し、領域Ｙ、即ち、水平位置ｘ0〜水平位置ｘmの重複画素の信号にはゲインとして×（０＋ｎ／ｍ）を付与し、領域Ｘ2，Ｚ2、即ち、水平位置ｘmの次の画素以降の信号にはゲインとして×１を付与する。

ルックアップテーブル５２１の出力は加算器５２４に与え、信号Ｂについてはルックアップテーブル５２２の出力をタイミングが信号Ａに一致するように遅延素子５２３によって遅延させて加算器５２４に与える。加算器５２４は入力された信号Ａ，Ｂを加算して、１フレームの映像信号を出力する。

加算器５２４からの映像信号は、水平位置ｘ0の１画素前まではＡ’×１＋Ｂ’×０、水平位置ｘ0〜ｘmはＡ’×（１−ｎ／ｍ）＋Ｂ’×（０＋ｎ／ｍ）、水平位置ｘm以降はＡ’×０＋Ｂ’×１となる。加算器５２４の出力は、後段の処理回路に送出され、重複読出し部画素については最終的な画素信号レベルとして、１フレーム画像の生成の際に置き換えられる。

このように本実施の形態においては、重複読出し領域Ｙにおいて、各出力線間の特性ばらつきが緩和される。即ち、特性ばらつきが視覚的に最も顕著となる分割領域境界部において、簡単な平均化演算によりスムージング処理を行えることから、より高画質な映像を得ることが可能となる。

なお、上記第２の実施の形態による処理を経た後に、本実施の形態を適用することで、更に高画質な映像を得ることが可能である。

図１３及び図１４は本発明の第４の実施の形態に係り、図１３は第４の実施の形態を示すブロック図であり、図１４は図１３中の撮像素子２１０の具体的な構成を示す説明図である。図１３及び図１４において図１又は図２と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態は撮像素子２２に代えて撮像素子２１０を採用すると共に、映像出力部２６、制御インタフェース部２８及び分割制御部２７を付加した点が図１の第１の実施の形態と異なる。

映像出力部２６は、演算処理部２５からの映像信号が入力され、表示機器等の外部機器に適した信号形態で映像信号を出力する。撮像素子２１０の画素数や表示機器に入力する画素数の条件等によっては、撮像素子２１０を複数の分割領域に分割し、各分割領域毎の映像信号を映像出力部２６から出力する必要がある。

例えば、撮像装置からの最終映像信号出力は所定の表示機器や記録機器等の外部機器に接続して映像として表現されるが、多画素の大量の映像信号データを高速に外部機器に送出するには、外部機器のデータ伝送速度や規格の制約から、映像信号を複数本に分けて並列出力する必要のあることが多い。

この場合において、制御インタフェース部２８は、制御入力線Ｃｏｎｔを介して外部機器からの分割制御命令を取込んで撮像装置に伝達することができるようになっている。

制御インタフェース部２８が取込んだ分割制御命令は、分割制御部２７に供給される。分割制御部２７は、分割制御命令に基づいて、外部機器が要求した映像信号出力フォーマットに応じて撮像素子２１０の読出し走査を制御するための制御信号を撮像素子２１０に出力する。

図１４において、走査制御回路２１１には、分割制御部２７からの制御信号が入力される。走査制御回路２１１は、垂直走査回路２０２及び水平走査回路２０３を制御して、画素部２０１を指定された分割領域に分割し、水平走査回路２０３は、各分割領域毎の映像信号を各出力線から出力するようになっている。

このように構成された実施の形態においては、画素部２０１の分割の仕方は、垂直及び水平走査回路２０２，２０３の走査によって決定される。この分割制御を行うための指令は、図１３の撮像装置の外部から入力可能である。例えば、制御入力線Ｃｏｎｔを汎用のＰＣ（パーソナルコンピュータ）出力ポートに接続して、ＰＣから撮像素子２１０の分割すべき仕様についての情報を得る。即ち、ＰＣによって入力された分割のための仕様の情報は、汎用のＰＣインタフェース、例えばＩＥＥＥ１３９４等のインタフェースから制御入力線Ｃｏｎｔを介して制御インタフェース部２８に入力される。

制御インタフェース部２８は取込んだ分割制御命令を分割制御部２７に供給する。分割制御部２７は、要求に応じて撮像素子２１０に向けて必要な内容の制御信号、例えば水平及び垂直方向の分割画素位置を示すアドレス信号div等を送出する。

分割制御部２７からの制御信号divを受信した走査制御回路２１１は、垂直及び水平走査回路２０２，２０３を制御して、画素部の分割読出し構成を変化させる。こうして、決定された各分割領域の画素信号は水平走査回路２０３によって各出力線から出力される。こうして、映像出力部２６は、指示された分割領域毎の映像信号を外部機器に出力する。

このように本実施の形態においては、撮像素子から同時並列出力する映像信号フォーマットを外部機器の求める仕様に併せて複数の映像信号に分けて出力すれば、撮像入力から出力までの経路において映像フォーマットの変換を行う必要がなく、固体撮像装置内回路のバッファメモリ等専用回路が不要となるため、低消費電力で且つ回路規模を削減することができ、また、処理時間の短縮が可能になる。

図１５乃至図１７は本発明の第５の実施の形態に係り、図１５は第５の実施の形態に採用される撮像素子を示す説明図であり、図１６は第５の実施の形態に採用される演算処理部を示すブロック図であり、図１７は各部の信号波形を示す波形図である。図１５及び図１６において夫々図２又は図９と同一の構成要素には同一符号を付して説明を省略する。

図９の第２の実施の形態においては、重複画素を利用して白レベルの補正を行った。本実施の形態においては、撮像素子からレベルが既知の疑似信号を出力させ、この疑似信号を利用して白レベルの補正を行うものである。

本実施の形態の全体構成は図１と略同様であり、撮像素子及び演算処理部の構成が図１と異なる。図１５は第５の実施の形態に採用される撮像素子を示している。本実施の形態においては、画素領域内に画素部２０１の他に疑似信号を生成する疑似信号生成部２２１が形成されている。疑似信号生成部２２１は、信号レベル制御部２２３に制御されて、所望レベルの疑似信号を生成する。疑似信号読出し部２２２は、水平走査回路２０３の読出しに同期して、疑似信号生成部からの疑似信号を読出して、水平走査回路２０３の出力に多重させて、各出力線から出力させるようになっている。信号レベル制御部２２３は、疑似信号生成部２２１が発生する疑似信号のレベルを制御すると共に、生成する疑似信号のレベルを示す信号Ｃｌｖｌを出力するようになっている。

なお、本実施の形態においては、画素部の分割構成は任意でよく、個々に映像信号を出力する複数の出力回路を有する撮像素子の全てに適用することができる。

水平走査回路２０３からは２系統の出力線に、画素部２０１から読出した映像信号が出力される。上述したように、これらの映像信号には疑似信号が含まれる。各出力線の特性ばらつきは、第２の実施の形態と同様に、黒レベル及び白レベルを一致させることで補正することができる。

図１６において、白レベル比較回路５１４には信号レベル制御部２２３からの信号Ｃｌｖｌが供給されるようになっている。撮像素子の出力に基づく映像信号Ｓｉｇ１，Ｓｉｇ２は、夫々信号Ｓａｄ，Ｓｂｄとして図１５の演算処理部に供給される。先ず、信号Ｓａｄ，Ｓｂｄは黒レベル比較回路５１１に入力される。黒レベル比較回路５１１によって、信号Ｓａｄ，Ｓｂｄの各ＯＢ画素の入力タイミングで、入力された信号Ｓａｄ，Ｓｂｄのレベルが比較され、信号Ｓａｄの黒レベルを基準にして、加算器５１２において信号Ｓｂｄの黒レベルを信号Ｓａｄの黒レベルに一致させる点は第２の実施の形態と同様である。

黒レベル減算回路５１７，５１８によって夫々黒レベルが減算された信号Ｓａｄ，Ｓｂｄは、白レベル比較回路５１４に供給される。タイミング発生回路５１６は、信号Ｓａｄ，Ｓｂｄ中の疑似信号の多重タイミングを夫々示すタイミング信号Ａｗ，Ｂｗを発生して白レベル比較回路５１４に出力する。

白レベル比較回路５１４は、疑似信号の挿入タイミングで、各信号Ｓａｄ，Ｓｂｄと疑似信号とのレベルを比較してその比を求める。これにより、白レベル比較回路５１４は、信号レベル制御部２２３から供給された疑似信号のレベルＣｌｖｌと各出力線から得た信号Ｓａｄ，Ｓｂｄに含まれる疑似信号との比によって、各出力線の特性を知ることができる。白レベル比較回路５１４は、信号ＳａｄとレベルＣｌｖｌとの比Ｐａｌ及び信号ＳｂｄとレベルＣｌｖｌとの比Ｐｂｌを乗算器５１５に出力する。

乗算器５１５は、黒レベルが除去された信号Ｓａｄ，Ｓｂｄに白レベル比較回路５１４からの比Ｐａｌ，Ｐｂｌを夫々乗算することによって、信号Ｓａｄ，Ｓｂｄの白レベルを補正する。これにより、信号Ｓａｄ，Ｓｂｄの白レベルの特性を一致させることができる。乗算器５１５からの白レベルが補正された信号Ｓａｄ，Ｓｂｄは夫々黒レベル再生回路５２０，５１９に与えられ、黒レベル再生回路５２０，５１９は、夫々入力された信号Ｓａｄ，Ｓｂｄの黒レベルを再生して、信号Ａｃｄ，Ｂｃｄとして出力するようになっている。

次に、このように構成された実施の形態の動作について図１７を参照して説明する。図１７の横軸は信号レベル、縦軸は時間を示している。

図１７は画素部２０１及び疑似信号生成部２２１からの所定の１列の読み出し（１垂直期間）を示している。図１７（ａ）は画素部２０１及び疑似信号生成部２２１の各領域を示している。Ｘ1，Ｘ2は、分割領域を示し、Ｄは疑似信号生成部２２１形成領域を示している。分割領域Ｘ1とその列の領域Ｄ及び分割領域Ｘ2とその列の領域Ｄについては、夫々垂直方向には１垂直期間で読み出しが行われる。なお、図１５の例では、疑似信号生成部２２１を画素部２０１における領域Ｄとして水平方向にあたかも画素のように連続して配置するものとしたが、疑似信号生成部２２１の配置を特に限定されるものではなく、疑似信号生成部２２１を画素部２０１の外部に設けてもよい。

分割領域Ｘ1，Ｘ2の各画素及び疑似信号生成部２２１は垂直走査回路２０２により上側のラインから下へ、水平走査回路２０３により左側から右に順に走査されるものとする。いま、図１７（ｂ）に示すように、垂直方向上から下に向かって滑らかに明るさが変化する被写体を撮像したものとする。

疑似信号生成部２２１は、レンズ２１を通して入射される光量に依存しない常に一定レベル（Ｖl）の擬似的な信号レベルを生成する。なお、擬似信号のレベルは、信号レベル制御部２２３によって所定のレベルに調整されるようになっている。擬似信号読出し部２２２によって、疑似信号生成部２２１が生成した疑似信号が読出される。また、信号レベル制御部２２３からは、生成される擬似信号レベルを特定するデータＣｌｖｌが送出ささる。

いま、図１７（ａ）に示すように、疑似信号は、画素部２０１の画素が垂直走査回路２０２及び水平走査回路２０３によって読み出されるのと全く同様のシーケンスで、水平方向に連続して配置された画素のように読み出されるものとする。分割領域Ｘ1，Ｘ2からの信号Ｓａｄ，Ｓｂｄは、本来夫々の領域における任意の垂直ライン毎に一致した特性に基づく信号レベルとなるはずであるが、各読出しライン毎に異なる電気的特性を有することから、相互に異なった特性の信号レベルで撮像素子から出力される。

信号Ｓａｄ，Ｓｂｄは図１６の演算処理部中の黒レベル比較回路５１１に供給されて、黒レベルが比較される。撮像素子から出力された映像信号Ｓａｄ，Ｓｂｄは、第２の実施の形態と同様に、図示しないＯＢ領域の信号レベルを参照して、分割領域Ｘ1の信号Ｓａｄを基準として、分割領域Ｘ2の信号Ｓｂｄの黒レベルが補正される。加算器５１２によって黒レベルが補正された信号Ｂdl（図１７（ｄ））は黒レベル減算回路５１８において黒レベルが減算されて白レベル比較回路５１４に供給される。一方、同様にＳａｄ信号も黒レベル減算回路５１７によって黒レベルが減算されて（図１７（ｃ））、白レベル比較回路５１４に供給される。

白レベル比較回路５１４には、夫々の分割領域からの信号における擬似信号レベルが入力されるタイミングを指示するためのタイミング信号Ａｗ，Ｂｗ（図１７（ｅ），図１７（ｆ））がタイミング発生回路５１６から供給されている。白レベル比較回路５１４は、タイミング信号によって疑似信号位置を認識し、白レベル比較回路５１４に入力された信号の擬似信号部分のレベルと、データＣｌｖｌによって与えられレベルＶｄとの比を求める。

これにより、本来あるべき擬似信号レベルＶdと信号Ｓａｄ，Ｓｂｄに含まれる擬似信号のレベルＶal，Ｖblから夫々黒レベルＶbbを引いた信号レベルから、比Ｐal＝Ｖd／（Ｖal−Ｖbb）及び比Ｐbl＝Ｖd／（Ｖbl−Ｖbb）を計算して、これらの比Ｐal，Ｐblを乗算器５１５に出力する。乗算器５１５には黒レベルが減算された信号Ａ2，Ｂ2も入力されており、これらの信号Ａ2，Ｂ2に夫々比Ｐal，Ｐblを乗算することによって、擬似信号レベル（例えば白レベル）を一致させた信号を得る。乗算器５１５の乗算結果は夫々黒レベル再生回路５２０，５１９に与えられて黒レベルが再生され、映像信号Ａcd，Ｂcdが得られる。

このように本実施の形態においては、レベルが明らかである特定レベル出力画素を各分割領域毎夫々個別に後段に送出できる撮像素子を利用し、本来の設定された擬似信号レベルと実際に各領域毎に読み出された擬似信号レベルとを比較して得られるその差異に基づく補正を行うことで、読出し回路毎の特性ばらつき、即ち、黒レベル補正によるオフセットばらつき及び白レベルばらつきによるゲインばらつきを夫々リアルタイムで補正することが可能になる。

また、静止画用のカメラ等、必ずしもリアルタイムでの補正が不要な撮像装置においては、外部スイッチ等からのトリガ入力に応じて擬似信号レベルだけを読出し、本実施の形態における補正動作を行うようにしてもよい。

また、擬似信号レベルを所定の間隔で変化させ、様々な白レベルで本実施の形態の補正処理を行うことでリニアリティばらつきを補正することも可能である。

図１８乃至図２０は本発明の第６の実施の形態に係り、図１８は第６の実施の形態に採用される撮像素子の構成を説明するための説明図、図１９は本実施の形態において採用される撮像素子の各出力線のばらつきに基づくノイズパターンを説明するための説明図、図２０は演算処理部のフィルタ処理を説明するためのグラフである。

本実施の形態の全体構成は図１と略同様であり、撮像素子の構成及び演算処理部の処理が図１と異なる。図１８（Ａ）は撮像素子の各出力線と画素との関係を示し、図１８（Ｂ）は各出力線の出力信号を示している。図１８は２行×６列の画素部を示している。

本実施の形態においては、図１８（Ａ）に示すように、撮像素子は水平方向に隣接する画素同士は、異なる出力線を介して画素信号の読み出しが行われるようになっている。画素Ｐxy（ｘ＝１，２、ｙ＝１〜６）のうち、奇数列の画素Ｐx1，Ｐx3，Ｐx5から読出した画素信号Ｐx1，Ｐx3，Ｐx5は一方の出力線を介して信号Ｓｉｇ１として出力され、偶数列の画素Ｐx2，Ｐx4，Ｐx6から読出した画素信号Ｐx2，Ｐx4，Ｐx6は他方の出力線を介して信号Ｓｉｇ２として出力される。各出力線からの信号Ｓｉｇ１，Ｓｉｇ２は、夫々図１８（Ｂ）に示すものとなる。なお、図１８（Ｂ）の横軸は時間を示し、縦軸は信号レベルを模式化して示している。

信号Ｓｉｇ１，Ｓｉｇ２は、出力線毎に特性が異なり、信号Ｓｉｇ１，Ｓｉｇ２を合成して得られる画像は、図１９の信号Ｓgで表される。即ち、Ｓｉｇ１，Ｓｉｇ２の合成画像の特性ばらつきは画像上に縦筋状に現れる。この合成画像の特性ぱらつきを時間軸上に展開して周波数成分にすると、そのパターン（雑音成分）は図１９のパターンＰgに示すものとなる。即ち、出力線の特性ばらつきは、周波数がｆｎ［Ｈz］の雑音成分として本来の画像に重畳される。なお、図１９のＣｇは画素の読出しクロック（サンプリングクロック）を示している。クロック（サンプリングクロック）Ｃｇの周波数ｆｓは、特性ばらつきに基づく雑音成分の周波数ｆｎの２倍である。

本実施の形態においても、信号Ｓｉｇ１，Ｓｉｇ２は、演算処理部においてフィルタ処理される。本実施の形態においては、演算処理部は、図２０に示すフィルタ処理を行う。図２０は縦軸に周波数ゲインをとり横軸に周波数をとって、本実施の形態における演算処理部のフィルタ処理を示している。即ち、本実施の形態における演算処理部は、理想的には、周波数がｆｎの成分に対するゲインが０のフィルタ処理を実施する。演算処理部によるフィルタ処理によって、周波数ｆｎの雑音成分が十分に抑圧され、雑音成分が除去された映像信号が得られる。

周波数ｆｓ＝２×ｆｎでサンプリングされる画素に基づく画像は、周知のナイキストの定理により、ｆｎ以上の周波数成分は正確に映像として再現することは元々不可能である。この原理を利用して、演算処理部は特性ばらつきに基づくノイズの周波数であるｆｎの周波数レスポンスを十分に低下させるようになっている。図２０に示す特性で周波数ｆｎの周波数レスポンスを低下させた場合でも、極度の画質劣化を生じさせることなく、雑音成分である縦じまを抑圧することが可能である。

このように、本実施の形態においては、演算処理部においてサンプリング周波数の２倍の周波数のレスポンスを十分に低下させるフィルタ処理を実施しており、撮像素子の如何に拘わらず、また、特定の画素信号を必要としない簡便なシステムで後段の回路単独で、複数出力線の特性ばらつきによる画像の劣化を防止することができる。

ところで、図１８の実施の形態は、水平方向に隣接する２画素単位で、出力線が異なる多線出力の例である。隣接する２画素単位で画素信号の出力に用いる出力線が異なる場合には、図２０に示すフィルタ処理によって、出力線のばらつきによる画質劣化を補正することができる。従って、垂直方向に隣接する２画素単位で画素信号の出力に用いる出力線が異なる場合にも適用可能であり、更に、水平及び垂直方向に隣接する２画素単位で画素信号の出力に用いる出力線が異なる場合にも適用可能である。

図２１及び図２２はこの場合の例を説明するためのものである。図２１は撮像素子の構成を説明するための説明図であり、図２１（Ａ）は撮像素子の各出力線と画素との関係を示し、図２１（Ｂ）は各出力線の出力信号を示している。図２１は２行×４列の画素部を示している。図２２は撮像素子の各出力線のばらつきに基づくノイズパターンを説明するための説明図である。

撮像素子は、図２１（Ａ）に示すように、水平及び垂直方向に隣接する画素同士が、異なる出力線を介して画素信号を出力するようになっている。画素Ｐxy（ｘ＝１，２、ｙ＝１〜４）のうち、奇数行、奇数列の画素Ｐ11，Ｐ13から読出した画素信号Ｐ11，Ｐ13は共通の出力線を介して信号Ｓｉｇ１として出力され、奇数行、偶数列の画素Ｐ12，Ｐ14から読出した画素信号Ｐ12，Ｐ14は共通の出力線を介して信号Ｓｉｇ２として出力され、偶数行、奇数列の画素Ｐ21，Ｐ23から読出した画素信号Ｐ21，Ｐ23は共通の出力線を介して信号Ｓｉｇ３として出力され、偶数行、偶数列の画素Ｐ22，Ｐ24から読出した画素信号Ｐ22，Ｐ24は共通の出力線を介して信号Ｓｉｇ４として出力される。各出力線からの信号Ｓｉｇ１〜Ｓｉｇ４は、夫々図１８（Ｂ）に示すものとなる。なお、図１８（Ｂ）の横軸は時間を示し、縦軸は信号レベルを模式化して示している。

信号Ｓｉｇ１〜Ｓｉｇ４は、出力線毎に特性が異なり、信号Ｓｉｇ１〜Ｓｉｇ４を合成して得られる画像は、図２２の信号Ｓg2で表される。即ち、Ｓｉｇ１〜Ｓｉｇ４の合成画像の特性ばらつきは画像上に縦横の縞状に現れる。即ち、出力線毎のばらつきに起因する雑音成分は、サンプリング周波数の２倍の周波数成分を有する。従って、この場合でも、合成画像の映像信号に対して、図２０に示す特性のフィルタ処理を実施することで、出力線毎のばらつきに起因する雑音成分を十分に抑圧することができる。

このように、隣接する２画素単位で画素信号を出力する出力線が異なる場合には、図２０に示すフィルタ処理を実施することによって、効果的に出力線毎のばらつきに起因する画質劣化を抑制することができる。

本発明の一実施の形態に係る撮像装置を示すブロック図。 図１中の撮像素子２２の具体的な構成を示す説明図。 図２中の画素部２０１の分割方法を説明するための説明図。 図１中の演算処理部２５の具体的な構成を示すブロック図。 フィルタ演算を説明するための説明図。 フィルタ演算を説明するための説明図。 フィルタ演算を説明するための説明図。 横軸に画素単位の画素位置をとり縦軸に画素数をとって、本実施の形態におけるフィルタ演算の特性を示すグラフ。 第２の実施の形態に採用される演算処理部を示すブロック図。 第２の実施の形態の演算処理部における各部の信号波形を示す波形図。 第３の実施の形態に採用される演算処理部を示すブロック図。 第３の実施の形態の演算処理部における各部の信号波形を示す波形図。 第４の実施の形態を示すブロック図。 １３中の撮像素子２１０の具体的な構成を示す説明図。 第５の実施の形態に採用される撮像素子を示す説明図。 第５の実施の形態に採用される演算処理部を示すブロック図。 第５の実施の形態の演算処理部における各部の信号波形を示す波形図。 第６の実施の形態に採用される撮像素子の構成を説明するための説明図。 第６の本実施の形態において採用される撮像素子の各出力線のばらつきに基づくノイズパターンを説明するための説明図。 第６の実施の形態における演算処理部のフィルタ処理を説明するためのグラフ。 撮像素子の他の構成を説明するための説明図。 撮像素子の各出力線のばらつきに基づくノイズパターンを説明するための説明図。 一般的なＭＯＳ型固体撮像素子における多チャンネル出力方式の構成を示す説明図。 複数の映像信号出力を処理する撮像装置の構成例。 特許文献１における撮像素子を示す説明図。

符号の説明

２１…レンズ、２２…撮像素子、２５…演算処理部。

代理人 弁理士 伊 藤 進

Claims (6)

1. 被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割し、隣接する領域において少なくとも一辺の領域境界部を画素単位で非直線状に分割して読み出す走査回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、
   上記領域境界部近傍の画素に係る、上記複数の出力回路の各々から出力される映像信号に対してフィルタ処理を行うフィルタ回路と、を有することを特徴とする撮像装置。
2. 被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割し、隣接する領域においてお互いに重複して映像信号の読出しを行う走査回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、
   上記重複領域に係る、上記複数の出力回路の各々からの映像出力を用い、上記複数の出力回路の各々からの映像信号の特性を補正するための演算処理部と、を有することを特徴とする撮像装置。
3. 被写体を電気信号に変換する画素部と、前記画素部を複数領域に分割して映像信号の読出しを行う走査回路と、前記走査回路の読み出し動作を制御する走査制御回路と、個々に映像信号を出力する複数の出力回路と、を有する撮像素子と、
   外部出力機器の入力フォーマットに合致する映像信号の分割方式を、上記走査制御回路に対する制御信号として出力する分割制御手段と、を有することを特徴とする撮像装置。
4. 被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、擬似的な画素信号を生成する擬似信号生成手段と、上記擬似信号生成手段から擬似信号を読み出して出力する擬似信号読出し手段と、上記擬似信号読出し手段が出力する信号のレベルを制御するレベル制御手段と、を有する撮像素子と、
   上記擬似信号読出し手段から出力される擬似信号を用い、上記複数の出力回路の各々からの映像信号の特性を補正する演算処理部と、を有することを特徴とする撮像装置。
5. 被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、垂直あるいは水平の少なくとも一方の方向で隣接する位置に係る画素からの出力信号を、上記複数の出力回路の内の、異なる出力回路から出力させるように制御する走査回路と、を有する撮像素子と、
   上記複数の出力回路からの映像信号を処理して１枚の合成画像を得る映像信号合成回路と、
   上記合成画像に対して、画素サンプリング周波数の１／２の周波数に対応する成分を減衰するフィルタ回路と、を有することを特徴とする撮像装置。
6. 被写体を電気信号に変換する画素部と、個々に映像信号を出力する複数の出力回路と、垂直および水平の双方の方向で隣接する位置に係る４つの画素からの出力信号を、上記複数の出力回路の内の、異なる出力回路から出力させるように制御する走査回路と、を有する撮像素子と、
   上記複数の出力回路からの映像信号を処理して１枚の合成画像を得る映像信号合成回路と、
   上記合成画像に対して、画素サンプリング周波数の１／２の周波数に対応する成分を減衰するフィルタ回路と、を有することを特徴とする撮像装置。

Images