JP2004147093A - 信号処理装置及び方法、及び撮像装置 - Google Patents
信号処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2004147093A JP2004147093A JP2002309899A JP2002309899A JP2004147093A JP 2004147093 A JP2004147093 A JP 2004147093A JP 2002309899 A JP2002309899 A JP 2002309899A JP 2002309899 A JP2002309899 A JP 2002309899A JP 2004147093 A JP2004147093 A JP 2004147093A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- correction
- gravity
- center
- odd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消すること。
【解決手段】原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子（２）であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、撮像素子から入力した信号に対して、所定の画像処理を行うカメラ信号処理部（６）と、カメラ信号処理部から出力される信号の重心位置を等間隔に補正して出力する重心ずれ補正部（１０）とを有する。
【選択図】 図１
【解決手段】原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子（２）であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、撮像素子から入力した信号に対して、所定の画像処理を行うカメラ信号処理部（６）と、カメラ信号処理部から出力される信号の重心位置を等間隔に補正して出力する重心ずれ補正部（１０）とを有する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法、及び撮像装置に関し、特に、固体撮像素子の撮像領域の画素を画素混合して読み出された信号に対して処理を施す信号処理装置及び方法、及び撮像装置に関する。
【０００２】
【従来の技術】
従来、撮像装置の各受光素子から得られる信号電荷を混合して読み出す撮像装置では、例えば、撮像素子の駆動手段が同色の色要素に対応する電荷どうしが垂直列に対応する垂直転送レジスタ上で混合されるように撮像素子を駆動する方法が考えられている（例えば、特許文献１参照。）。
【０００３】
図２に原色ベイヤー配列をもつ撮像素子を垂直方向に同色混合される場合の概念図を示す。原色ベイヤー配列の撮像素子では、図２（ａ）で示されるようにＲＧＢの色フィルタが配置されている。すなわち、水平方向に見た場合にＲ、Ｇの繰り返しのラインと、Ｇ、Ｂの繰り返しのラインとが交互に配置されている。画素混合が垂直方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、撮像素子駆動部は混合される画素も１画素おきのタイミングで混合されるように撮像素子を駆動する。
【０００４】
具体的には例えば図２（ａ）に示すＲ００、Ｇ０１のラインと Ｒ２０、Ｇ２１のラインの画素信号を混合して、図２（ｂ）に示すＲ１０、Ｇ１１のラインの画素信号が生成される。また、Ｇ１０、Ｂ１１のラインの画素信号とＧ３０、Ｂ３１のラインの画素信号からＧ２０、Ｂ２１のラインの画素信号が生成される。同様にして、Ｒ４０、Ｇ４１のラインとＲ６０、Ｇ６１のラインの画素信号からＲ５０、Ｇ５１のラインの画素信号が、Ｇ５０、Ｂ５１のラインとＧ７０、Ｂ７１のラインの画素信号からＧ６０、Ｂ６１のラインの画素信号が生成される。混合後の信号は、混合前と同じ原色のベイヤー配列になる。
【０００５】
【特許文献１】
特開２０００−２５３４１５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法で混合処理を行うと、混合後の信号の重心位置が混合前の２画素の中央になるので、重心位置に注目すると垂直方向に均等ではなく２ラインずつ接近した位置となってしまう。この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって、色差・輝度信号に変換すると変換後の信号の重心位置は、図２（ｂ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。このように信号配置が偏ると、画像がひずんだりモアレが生じたりするなどの課題があった。また、連続したフィールドの画像からなるインターレースの動画像に対して垂直方向に混合処理を行うと、フィールド間のインターレース関係が損なわれるという問題点もあった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消することを本発明の第１の目的とする。
【０００８】
また、動画像においては、更にインターレース関係を損なわず撮影することを第２の目的とする。
【０００９】
【課題を解決するための手段】
上記第１の目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、前記処理手段から出力される信号の重心位置を等間隔に補正して出力する補正手段とを有することを特徴とする。
【００１０】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理方法は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、前記処理工程で出力される信号の重心位置を等間隔に補正して出力する補正工程とを有することを特徴とする。
【００１１】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の別の信号処理装置は、前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【００１２】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する発明の別の信号処理方法は、前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正工程と、前記補正工程で出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程とを有することを特徴とする。
【００１３】
また、上記第２の目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、前記処理手段から出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段とを有することを特徴とする。
【００１４】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理方法は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、前記処理工程で出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程とを有することを特徴とする。
【００１５】
また、上記第２の目的を達成するために原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の他の信号処理装置は、前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【００１６】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法は、前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程とを有することを特徴とする。
【００１７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１８】
＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。なお、図１では、本第１の実施形態の説明に必要な構成のみを示している。
【００１９】
図１において、２は不図示の光学系を介して入射した光束を、その光量に応じて電気信号に変換するＣＣＤやＭＯＳ等の撮像素子、４は撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６はＡ／Ｄ変換器４から出力されたデジタル信号に対して、色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成するカメラ信号処理部、８は撮像素子２を制御するタイミング信号を生成する撮像素子駆動部、１０はカメラ信号処理部６から出力された色差・輝度信号に対して、後述する重心ずれの補正を行う重心ずれ補正処理部である。
【００２０】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。このようにして読み出された混合後の信号は、混合前と同じ原色のベイヤー配列になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図２（ｂ）に示すように、２ラインずつ接近した配置となる。
【００２１】
この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって色差・輝度信号に変換すると、変換後の信号の重心位置は、図２（ｃ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。
【００２２】
そこで、本第１の実施形態における重心ずれ補正処理部１０では、重心位置が均等になるように色差・輝度信号を補正する。
【００２３】
図３は、本第１の実施形態において重心ずれ補正処理部１０における補正動作を説明するための図である。
【００２４】
図３は、図２を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｙ２ｎ及びＹ（２ｎ±偶数）のラインは輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｙ（２ｎ±奇数）のラインは輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｙ’２ｎ及びＹ’（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の偶数ラインを、Ｙ’（２ｎ±奇数）のラインは重心ずれ補正後の輝度色差信号の奇数ラインを表す。なお、ｎは自然数を表す。
【００２５】
図３では、Ｙ２ｎとＹ２ｎ＋１の間隔と、Ｙ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。
Ｙ’２ｎ ＝ Ｙ２ｎ
Ｙ’２ｎ＋１ ＝ ２／３×Ｙ２ｎ＋１＋１／３×Ｙ２ｎ＋２
【００２６】
すなわち偶数ラインの信号はそのまま出力し、奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００２７】
または、
Ｙ’２ｎ ＝ ２／３×Ｙ２ｎ＋１／３×Ｙ２ｎ−１
Ｙ’２ｎ＋１＝Ｙ２ｎ＋１
のように奇数ラインの信号はそのまま出力し、偶数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行う。
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる画像の歪みやモアレのない画像を得ることができる。本第１の実施形態の重心ずれ補正処理方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００２８】
＜第２の実施形態＞
第２の実施形態では、第１の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００２９】
図４は、本第２の実施形態における重心ずれ補正処理部１０における補正動作を説明する説明図である。
【００３０】
図４は、撮像素子２にて図２に示す混合が行われた場合にカメラ信号処理部１０より出力された色差・輝度信号を表す。この例では、Ｙ２ｎとＹ２ｎ＋１の間隔とＹ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３なので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。
Ｙ’２ｎ ＝ １／６×Ｙ２ｎ−１＋５／６×Ｙ２ｎ
Ｙ’２ｎ＋１ ＝ ５／６×Ｙ２ｎ＋１＋１／６×Ｙ２ｎ＋２
【００３１】
すなわち偶数ラインの信号は前のラインの信号と５：１の比率になる用に補間演算を行い、奇数ラインの信号は次のラインの信号と５：１の比率になるように補間演算を行う。
【００３２】
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みの無い画像を得ることができる。本第２の実施形態の重心ずれ補正処理方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化するので、ライン毎に解像度が異なるということはない。
【００３３】
＜第３の実施形態＞
第３の実施形態では、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置について説明する。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００３４】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。図２（ｂ）に示す混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって、色差・輝度信号に変換すると変換後の信号の重心位置は、図２（ｃ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。
【００３５】
上記のように出力される、連続した２フィールド（ＯＤＤフィールドとＥＶＥＮフィールド）の信号の位置を上記第１または第２の実施形態で説明したようにして重心位置を補正すると、両フィールドにおいて信号の重心位置は同じになり、インターレース関係にならない。
【００３６】
そこで、本第３の実施形態では、図２（ｃ）に示す信号の重心位置を、連続した２フィールド間でインターレース関係となるように補正する。
【００３７】
図５を参照して、重心ずれ補正処理部１０における受信ずれ補正および、偶数フィールド及び奇数フィールドのインターレース化の動作について説明する。
【００３８】
図５は、図２を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｙ２ｎ及びＹ（２ｎ±偶数）のラインは輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｙ（２ｎ±奇数）のラインは輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の偶数フィールドの偶数ラインを、Ｅ（２ｎ±奇数）のラインは重心ずれ補正後の輝度・色差信号の偶数フィールドの奇数ラインを表す。また、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の奇数フィールドの偶数ライン、Ｏ（２ｎ±奇数）のラインは重心ずれ補正後の輝度・色差信号の奇数フィールドの奇数ラインのを表す。なお、ｎは自然数をあらわす。
【００３９】
図２及び図５に示す例では、Ｙ２ｎとＹ２ｎ＋１の間隔とＹ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３になるので、偶数、奇数フィールドそれぞれにおいて、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ２ｎ ＝ １／３×Ｙ２ｎ−１＋２／３×Ｙ２ｎ
Ｅ２ｎ＋１ ＝ Ｙ２ｎ＋１
【００４０】
により補正処理を行い、奇数フィールドでは、
Ｏ２ｎ ＝ Ｙ２ｎ
Ｏ２ｎ＋１＝ ２／３×Ｙ２ｎ＋１＋１／３×Ｙ２ｎ＋２
により補正処理を行う。
すなわち偶数フィールドの奇数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの偶数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００４１】
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みのない画像を得ることができと共に、インターレースの動画像を得ることができる。
【００４２】
＜第４の実施形態＞
第４の実施形態は、第３の実施形態と同様に連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００４３】
図６に、本第４の実施形態にかかる撮像素子２における画素混合の様子を示す。本第４の実施形態においても、図６（ａ）に示すように、ベイヤー配列の原色フィルタの撮像素子を例に説明する。画素混合が垂直方向に行われる場合、撮像素子駆動部８は、図６（ｂ）に示すように偶数フィールドと奇数フィールドとで各色の混合されるラインが互い違いになるようなタイミングで混合されるように撮像素子２を駆動する。
【００４４】
具体的には例えば奇数フィールドでは、図６（ａ）に示すＲ００、Ｇ０１のラインとＲ２０、Ｇ２１のラインの画素信号を混合して、図６（ｂ）に示すＲ１０、Ｇ１１のラインの画素信号が生成される。また、Ｇ１０、Ｂ１１のラインの画素信号とＧ３０、Ｂ３１のラインの画素信号からＧ２０、Ｂ２１のラインの画素信号が生成される。同様にして、Ｒ４０、Ｇ４１のラインとＲ６０、Ｇ６１のラインの画素信号からＲ５０、Ｇ５１のラインの画素信号が、Ｇ５０、Ｂ５１のラインとＧ７０、Ｂ７１のラインの画素信号からＧ６０、Ｂ６１のラインの画素信号が生成される。
【００４５】
一方、偶数フィールドでは、図６（ａ）に示すＲ２０、Ｇ２１のラインとＲ４０、Ｇ４１のラインの画素信号を混合して、図６（ｃ）に示すＲ３０、Ｇ３１のラインの画素信号が生成される。同様にして、Ｇ３０、Ｂ３１のラインとＧ５０、Ｂ５１のラインの画素信号からＧ４０、Ｂ４１のラインの画素信号が生成される。
【００４６】
しかし、従来例及び第１乃至第３の実施形態で説明したように、混合後の信号の重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、図６（ｂ）及び図６（ｃ）から分かるように、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になる。
【００４７】
この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって色差・輝度信号に変換すると、変換後の信号の重心位置は、図６（ｄ）のようになり、各フィールドにおいては２ラインずつの接近した不均等な色差・輝度信号になり、奇数・偶数フィールド間ではやはり２ラインずつの互い違いになった色差・輝度信号になる。このように、重心ずれが生じるとともにインターレース関係にならない。なお、図６（ｄ）のＥは偶数フィールドを、Ｏは奇数フィールドを示し、その後ろの数字は、各フィールドにおけるラインを示している。
【００４８】
そこで、本題４の実施形態における重心ずれ補正処理部１０では、重心位置が均等になると共に、偶数・奇数フィールド間で、信号が互いにインターレースとなるように、色差・輝度信号を補正する。
【００４９】
図７は本第４の実施形態において重心ずれ補正処理部１０における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明するための図である。
【００５０】
図７は、図６を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の輝度・色差信号の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。
【００５１】
また、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の輝度・色差信号の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。なお、ｎは自然数を表す。
【００５２】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎとＯ２ｎ＋１の間隔とＯ２ｎ＋１とＯ２ｎ＋２の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ ＝ Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ ２／３×Ｅ２ｎ＋１＋１／３×Ｅ２ｎ
【００５３】
により補正処理を行い、奇数フィールドでは、
Ｏ’２ｎ ＝ Ｏ２ｎ
Ｏ’２ｎ＋１ ＝ ２／３×Ｏ２ｎ＋１＋１／３×Ｏ２ｎ＋２
により補正処理を行う。
すなわち偶数フィールドの偶数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの奇数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００５４】
上記のような補間処理を行うことにより、図６に示すようなフィールド毎に異なる画素加算を行っても、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みのない画像を得ることができると共に、連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【００５５】
また、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００５６】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
【００５７】
図８は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。図８に示す構成とは、重心ずれ補正処理部１０と、カメラ信号処理部６の構成順が逆になっているところが異なる。従って、図８に示す構成では、Ａ／Ｄ変換器４から出力されたデジタル信号に対して、重心ずれ補正処理部１０が先に重心ずれの補正を行い、補正されたデジタル信号に対して、カメラ信号処理部６が、色分離処理、アパーチャー処理、ガンマ処理等を施し、輝度信号、色差信号を生成する。
【００５８】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。このようにして読み出された混合後の信号は、混合前と同じ原色のベイヤー配列になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図２（ｂ）に示すように、２ラインずつ接近した配置となる。
【００５９】
従って、本第５の実施形態における重心ずれ補正処理部１０では、重心位置が均等になるように画素信号の重心位置を補正する。
【００６０】
図９は、本第５の実施形態における重心ずれ補正処理部１０により行われる重心ずれ補正処理を説明する図である。なお、Ｐ２ｎ及びＰ２ｎ−２は偶数ラインを示し、偶数ラインでは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｐ２ｎ−１及びＰ２ｎ＋１は奇数ラインを示し、奇数ラインでは重心ずれによって接近した２ラインのうち下のラインとする。
【００６１】
Ｐ’２ｎ及びＰ’２ｎ−２は偶数ラインの重心ずれ補正後のライン、Ｐ’２ｎ−１及びＰ’２ｎ＋１は奇数ラインの重心ずれ補正後のラインを表す。なお、ｎは自然数を表す。
【００６２】
図９（ａ）は、図２を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。図９（ａ）に示すように、Ｐ２ｎ−２とＰ２ｎ−１の間隔と、Ｐ２ｎ−１とＰ２ｎの間隔の比は１：３になるため、本実施の形態における重心ずれ補正処理部１０は重心ずれ補正後の信号を図９（ｂ）に示すように等間隔にするため、以下の式によって補正処理を行う。
Ｐ’２ｎ ＝ １／８×Ｐ２ｎ−２ ＋ ７／８×Ｐ２ｎ
Ｐ’２ｎ−１ ＝ ７／８×Ｐ２ｎ−１ ＋ １／８×Ｐ２ｎ＋１
【００６３】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎラインの画素信号）と、２ライン前の画素信号（例えばＰ２ｎ−２ラインの画素信号）とを７：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎ−１ラインの画素信号）と、２ライン後のラインの画素信号（例えばＰ２ｎ＋１ラインの画素信号）とを７：１の比率で加重換算して補間を行う。
【００６４】
ここで、図２（ａ）に示す同色混合後の色信号順では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００６５】
重心ずれ補正処理部１０により上記の様な処理を行った後、図３（ｂ）に示すように垂直方向の重心位置が均等になった画素混合信号を図８のカメラ信号処理部６に入力し、輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。また、この方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化するので、ライン毎に解像度が異なるということはない。
【００６６】
＜第６の実施形態＞
第６の実施形態では、第５の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００６７】
図１０及び図１１は、本第６の実施形態における重心ずれ補正処理部１０が行う重心ずれ補正動作を説明するための図である。
【００６８】
図１０（ａ）及び図１１（ａ）は、それぞれ、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号を示す。
【００６９】
なお、図１０（ａ）及び図１１（ａ）において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００７０】
本第６の実施形態においては、重心ずれ補正後の信号を図１０（ｂ）に示すように等間隔にするため、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝Ｐ２ｎ
Ｐ’２ｎ−１＝３／４×Ｐ２ｎ−１＋１／４×Ｐ２ｎ＋１
【００７１】
すなわち、偶数ラインの信号はそのまま出力し、奇数ラインの信号は２ライン後の信号と３：１の比率になるように補間演算を行う。
また、重心ずれ補正後の信号を図１１（ｂ）に示すように等間隔にするためには、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝１／４×Ｐ２ｎ−２＋３／４×Ｐ２ｎ
Ｐ’２ｎ＋１＝Ｐ２ｎ＋１
【００７２】
すなわち、偶数ラインの信号は２ライン前の信号と３：１の比率になるように補間演算を行い、奇数ラインの信号はそのまま出力する。
ここで、図１０（ａ）及び図１１（ａ）に示す同色混合後の色信号順の配列では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００７３】
上記の様な処理を行った後、垂直方向の重心位置が均等になった画素混合信号から、図８のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。
【００７４】
なお、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００７５】
＜第７の実施形態＞
第７の実施形態では、第５及び第６の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００７６】
図１２は、本第７の実施形態における重心ずれ補正処理部１０の内部構成を示す図である。図１２において、１０２はＧ成分重心ずれ補正処理部、１０３はＲＢ成分重心ずれ補正処理部、１０１は入力する信号を、対応するＧ成分重心ずれ補正処理部１０２またはＲＢ成分重心ずれ補正処理部１０３に振り分けるスイッチ、１０４は、Ｇ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３から出力される信号を切り替えて合成処理部１０５に入力するスイッチ、１０５はＧ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３から重心ずれ補正された信号を合成する合成処理部である。
【００７７】
本第７の実施形態では、ＲＧＢ色フィルタが配置されている撮像素子において、ＲＧＢ色フィルタのＧ成分とＲＢ成分とで、Ｇ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３により異なる重心ずれ補正処理を行う。
【００７８】
垂直方向の同色画素混合によって生じる画質の劣化は、色差信号よりも輝度信号に顕著に現れるため、本第７の実施形態では、輝度信号の構成要素であるＧ成分に対して、垂直方向の重心ずれ補正の前に水平方向にＧ成分の補間を行う。これにより、垂直方向の重心ずれの補正は、１ラインおきの同色の画素信号でなく、隣り合うラインの画素信号による補間が可能となり、相関距離が短くなるという利点がある。一方、輝度信号に寄与しないＲＢ成分については、第６の実施の形態と同様の補正処理を行う。
【００７９】
図１３は、本第７の実施形態における重心ずれ補正処理部１０が行う受信ずれ補正動作を説明するための図である。
【００８０】
図１３（ｂ）〜図１３（ｄ）は、Ｇ成分重心ずれ補正処理部１０２において行われる、ＲＧＢ色フィルタのＧ成分に対して行われる重心ずれ補正処理手順を示し、図１３（ｅ）及び図１３（ｆ）は、ＲＢ成分重心ずれ補正処理部１０３において行われるＲＧＢ色フィルタのＲＢ成分に対して行われる重心ずれ補正処理手順を示す。なお、図１３において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００８１】
図１３（ｂ）は、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号のうち、Ｇ成分信号を抜き出したものである。
【００８２】
ＲＧＢ色フィルタのＧ成分は、偶数ラインＰ２ｎ及びＰ２ｎ−２上では、水平方向に図の右から見て奇数番目の画素位置に位置し、奇数ラインＰ２ｎ＋１及びＰ２ｎ−１上では、水平方向に図の右から見て偶数番目の画素位置に配置されている。本来はＲもしくはＢ成分が存在し、Ｇ成分が存在しない画素位置に対して、その点の両側のＧ成分の画素を用いて水平方向の補間を行うので、水平方向の画素の並びをＱｍ−２、Ｑｍ−１、Ｑｍ、Ｑｍ＋１とした場合に、偶数ラインＰ２ｎ上では、Ｇ成分が存在しない偶数番目の画素Ｑｍを、また、奇数ラインＰ２ｎ−１上では、Ｇ成分が存在しない奇数番目の画素Ｑｍ−１を以下の式によって算出する。なお、ここでｍは自然数とする。
Ｑｍ ＝ １／２×Ｑｍ−１＋１／２×Ｑｍ＋１
Ｑｍ−１＝ １／２×Ｑｍ−２＋１／２×Ｑｍ
【００８３】
たとえば、図１３（ｂ）のＧ２０及びＧ２２より、図１３（ｃ）のＧ’２１を、図１３（ｂ）のＧ５１及びＧ５３より、図１３（ｃ）のＧ’５２を補間によって求める。
【００８４】
水平方向への補間処理後、図１３（ｃ）に示すような信号が得られる。図１３（ｃ）に示すように、Ｐ２ｎ−２とＰ２ｎ−１の間隔とＰ２ｎ−１とＰ２ｎの間隔の比は１：３になるので、重心ずれ補正後の信号を図１３（ｄ）に示すように等間隔にするため、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝１／６×Ｐ２ｎ−１＋５／６×Ｐ２ｎ
Ｐ’２ｎ−１＝５／６×Ｐ２ｎ−１＋１／６×Ｐ２ｎ
【００８５】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎラインの画素信号）と、１ライン前の画素信号（例えばＰ２ｎ−１ラインの画素信号）とを５：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎ−１ラインの画素信号）と、１ライン後のラインの画素信号（例えばＰ２ｎラインの画素信号）とを５：１の比率で加重換算して補間を行う。
【００８６】
なお、重心ずれ補正後の画素が、前述の水平方向の補間によって得られたＧ成分に対応する画素である場合には重心ずれ補正処理は行わない。つまり、偶数ラインにおいては、水平方向に見て図の右から奇数番目の画素、奇数ラインにおいては、水平方向に見て図の右から偶数番目の画素に対してのみ、上記の補正を行う。これにより、図１３（ｄ）に示すように重心ずれ補正後のＧ成分信号を得る。
【００８７】
図１３（ｅ）は、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号のうち、ＲＢ成分信号を抜き出したものである。
【００８８】
ＲＧ成分に関しては、重心ずれ補正処理部１０は、第５の実施形態で説明した重心ずれ補正処理を行うが、ここでは説明を省略する。
【００８９】
以上のように、Ｇ成分とＲＢ成分に分けてそれぞれ補正処理を行った後、合成処理部１０５によって合成し、垂直方向の重心位置が均等になった画素混合信号を図８のカメラ信号処理部６に出力して、輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。 また、Ｇ成分とＲＢ成分に分けてそれぞれ補正処理を行っているため、輝度信号の劣化による画質の劣化を抑えることができる。なお、ＲＢ成分に対してもＧ成分と同様の補正処理を行うようにしてもよい。
【００９０】
＜第８の実施形態＞
第８の実施の形態では、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるため、ここでは説明を省略する。
【００９１】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。
【００９２】
図１４を参照して、本第８の実施形態における重心ずれ補正処理部１０における受信ずれ補正および、偶数フィールド及び奇数フィールドのインターレース化の動作について説明する。なお、図１４において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００９３】
図１４（ａ）は、図２を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。図１４（ａ）に示すように、この時点では、偶数フィールド及び奇数フィールドともに、画素の重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置にあり、連続したフィールド間の信号にインターレース関係が成立していない。従って、重心位置が均等なインターレース信号に補正するために、第６の実施形態で図１０及び図１１を参照して説明した重心ずれ補正対策処理を偶数フィールドと奇数フィールドとで切り替えて行うことにより、重心ずれの解消とフィールド間のインターレース化を実現する。
【００９４】
本第８の実施形態では、偶数フィールドでは図１１に示す方法で重心ずれ補正処理を行い、奇数フィールドでは図１０に示す方法で重心ずれ補正処理を行う。図１４（ｂ）は図１４（ａ）に対して前者の処理を行った信号を、図１４（ｃ）は後者の処理を行った信号を示している。なお、図１０及び図１１に示す方法は、図５の実施形態で説明したとおりであるので、ここでは説明を省略する。
【００９５】
なお、偶数フィールドで図１０に示す方法を行い、奇数フィールドで図１１に示す方法を行うことも可能である。
【００９６】
上記の様な処理を行った後、図８のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができ、かつ図１４（ｂ）及び図１４（ｃ）から分かるように、連続するフィールド間でインターレース関係の成り立つ動画像信号を得ることができる。
【００９７】
なお、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００９８】
＜第９の実施形態＞
第９の実施形態は、第８の実施形態と同様に連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００９９】
第９の実施形態では、第８の実施形態とは異なり、第４の実施形態において図６を参照して説明した様にして偶数フィールドと奇数フィールドで異なる組み合わせで画素混合し、撮像素子２から読み出す。
【０１００】
混合後の信号は、図６（ｂ）及び（ｃ）に示すように、重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になり、インターレース関係にならない。
【０１０１】
次に、図１５及び図１６を参照して、本第９の実施形態における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明する。図１５は偶数フィールド、図１６は奇数フィールドの処理の流れを示す。
【０１０２】
図１５（ｂ）は、偶数フィールドにおいて撮像素子２から出力される図６（ｃ）に対応する混合後の信号を示す。図１５（ｂ）において、Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。更に、図１５（ｃ）において、Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の奇数ラインを表す。
【０１０３】
また、図１６（ｂ）は、奇数フィールドにおいて撮像素子２から出力される図６（ｂ）に対応する混合後の信号を示す。図１６（ｂ）において、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。また、図１６（ｃ）において、Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の奇数ラインを表す。なお、ｎは自然数を表す。
【０１０４】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎ＋１とＯ２ｎの間隔とＯ２ｎとＯ２ｎ−１の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ ＝ Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ １／４×Ｅ２ｎ−１＋３／４×Ｅ２ｎ＋１
【０１０５】
により補正処理を行い、奇数フィールドでは、
Ｏ’２ｎ ＝ Ｏ２ｎ
Ｏ’２ｎ−１ ＝ １／４×Ｏ２ｎ＋１＋ ３／４×Ｏ２ｎ−１
により補正処理を行う。
すなわち偶数フィールドの偶数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの奇数ラインの信号は２ライン前の信号と３：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は２ライン後の信号と３：１の比率になるように補間演算を行う。
【０１０６】
上記の様な処理を行った後、図１５（ｃ）及び図１６（ｃ）に示す、垂直方向の重心位置が均等になった画素混合信号から、図８のカメラ信号処理部６によって図１５（ｄ）及び図１６（ｄ）に示す輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができりと共に、連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１０７】
また、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【０１０８】
次に、本発明の第１０の実施形態について説明する。
【０１０９】
第１０の実施の形態は、第８及び第９の実施の形態と同様に、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。
【０１１０】
図１７は、本発明の第１０の実施形態における撮像装置の概略構成を示すブロック図であり、連続した２フィールド間でインターレース関係が成立するように、図８に示すカメラ信号処理部６の後段に、画素ずらし処理部１２を追加したものである。その他の構成は、図８と同様であるため、説明を省略する。
【０１１１】
第５乃至第７の実施形態のいずれかで説明したようにして、重心ずれ補正処理部１０は図１８（ａ）に示す様な垂直方向の重心ずれ補正した信号を出力する。カメラ信号処理部６は、この出力された信号を処理し、輝度・色差信号を生成する。図１８（ｂ）は、処理後の連続する偶数及び奇数フィールドの輝度・色差信号を示す。ＥＮを偶数フィールド、ＯＮを奇数フィールドの輝度・色差信号とすると、図１８（ｂ）に示すように、両フィールドとも輝度・色差信号の重心位置が垂直方向について同じ位置になり、インターレース関係にならない。
【０１１２】
そこで、本第１０の実施形態では、偶数及び奇数フィールドそれぞれにおいて、重心ずれ補正処理部１０によって補正された等間隔な画素重心の位置関係を保ちながらも、連続するフィールド間でインターレースの関係になるようにカメラ信号処理部６による処理後の輝度・色差信号に対して下記の式のように画素ずらし処理を行う。
【０１１３】
図１８（ｃ）において、Ｅ’Ｎは偶数フィールドの画素ずらし処理後の輝度色差信号、Ｏ’Ｎは奇数フィールドの画素ずらし処理後の輝度色差信号を表すものとする。なお、Ｎは自然数を表す。
Ｅ’Ｎ ＝ １／４×ＥＮ−１＋３／４×ＥＮ
Ｏ’Ｎ＝ ３／４×ＯＮ＋１／４×ＯＮ＋１
【０１１４】
すなわち偶数フィールドでは各ラインにおいて、１ライン前の信号と３：１の比率になるように混合し、奇数フィールドでは、各ラインにおいて、１ライン後の信号と３：１の比率になるように混合して出力する。
【０１１５】
上記の様な画素ずらし処理を行うことにより、垂直方向の信号の重心位置は均等で、かつ連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１１６】
＜第１１の実施形態＞
第１１の実施の形態では、第８〜第１０の実施形態と同様に、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第１０の実施形態で図１７を参照して説明したものと同様であるためここでは説明を省略する。
【０１１７】
第１１の実施の形態は第９の実施の形態と同様に、第４の実施形態において図６を参照して説明した様にして偶数フィールドと奇数フィールドで異なる組み合わせで画素混合し、撮像素子２から読み出す。
【０１１８】
混合後の信号は、図６（ｂ）及び（ｃ）に示すように、重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になり、インターレース関係にならない。
【０１１９】
次に、図１９及び図２０を参照して、本第１１の実施形態における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明する。なお、本第１１の実施形態は、重心ずれ補正処理部１０は信号を偶数フィールド並びに奇数フィールドで垂直方向について同じ位置に補正し、カメラ信号処理部６による信号処理後の輝度・色差信号に対して、画素ずらし処理部１２によって偶数・奇数フィールド間でインターレース化するところが第９の実施形態と異なる。図１９は偶数フィールド、図２０は奇数フィールドの処理の流れを示す。
【０１２０】
図１９（ｂ）は、偶数フィールドにおいて撮像素子２から出力される図６（ｃ）に対応する混合後の信号を示す。図１９（ｂ）において、Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。更に、図１９（ｃ）において、Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の奇数ラインを表す。
【０１２１】
また、図２０（ｂ）は、奇数フィールドにおいて撮像素子２から出力される図６（ｂ）に対応する混合後の信号を示す。図２０（ｂ）において、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。なお、ｎは自然数を表す。
【０１２２】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎ＋１とＯ２ｎの間隔とＯ２ｎとＯ２ｎ−１の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ−２ ＝ ７／８×Ｅ２ｎ−２＋１／８×Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ １／８×Ｅ２ｎ−１＋７／８×Ｅ２ｎ＋１
【０１２３】
すなわち偶数ラインの信号は２ライン後の信号と７：１の比率になるように補間演算を行い、奇数ラインの信号は２ライン前の信号と７：１の比率になるように補間演算を行う。奇数フィールドでは、
Ｏ’２ｎ ＝ １／８×Ｏ２ｎ−２＋７／８×Ｏ２ｎ
Ｏ’２ｎ−１ ＝ ７／８×Ｏ２ｎ−１＋１／８×Ｏ２ｎ＋１
すなわち偶数ラインの信号は２ライン前の信号と７：１の比率になるように補間演算を行い、奇数ラインの信号は２ライン後の信号と７：１の比率になるように補間演算を行う。
上記の様な処理を行った後、図１９（ｃ）及び図２０（ｃ）に示す、垂直方向の重心位置が均等になった画素混合信号から、図１７のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。この方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化し、ラインごとに解像度が異なるということはない。
【０１２４】
図１９（ｄ）及び図２０（ｄ）は、重心ずれ補正処理部１０の出力信号からカメラ信号処理部６によって生成された、偶数フィールド及び奇数フィールドにおける輝度・色差信号を表すものであるが、両フィールドとも輝度・色差信号が同じ位置になり、インターレース関係が成立しない。
【０１２５】
偶数及び奇数フィールドそれぞれにおいて、重心ずれ補正処理１０によって補正された等間隔な画素重心の位置関係を保ちながらも、連続するフィールド間でインターレースの関係になるように、カメラ信号処理後の輝度・色差信号に対して下記の式のように更に画素ずらし処理を行う。
【０１２６】
図１９（ｄ）において、Ｅ２Ｎ及びＥ（２Ｎ±偶数）のラインは偶数フィールドの輝度・色差信号の偶数ライン、Ｅ（２Ｎ±奇数）のラインは偶数フィールドの輝度・色差信号の奇数ラインである。更に、図１９（ｅ）において、Ｅ’２Ｎ及びＥ’（２Ｎ±偶数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の偶数ラインを、Ｅ’（２Ｎ±奇数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の奇数ラインを表す。
【０１２７】
図２０（ｄ）において、Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の輝度・色差信号の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。更に、図２０（ｅ）において、Ｏ’２Ｎ及びＥ’（２Ｎ±偶数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の偶数ラインを、Ｏ’（２Ｎ±奇数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の奇数ラインを表す。なお、Ｎは自然数とする。
Ｅ’Ｎ ＝ １／４×ＥＮ−１＋３／４×ＥＮ
Ｏ’Ｎ＝ ３／４×ＯＮ＋１／４×ＯＮ＋１
【０１２８】
すなわち偶数フィールドでは、各ラインにおいて１ライン前の信号と３：１の比率になるように混合し、奇数フィールドでは、各ラインにおいて１ライン後の信号と３：１の比率になるように混合して出力する。
【０１２９】
上記の様な画素ずらし処理を行うことにより、垂直方向の信号の重心位置は均等で、かつ連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１３０】
【他の実施形態】
なお、以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。
【０１３１】
また、本発明は、以上の各実施の形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【０１３２】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１３３】
更に、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３〜図７、図９〜図１１、図１３、図１４、図１５及び図１６、図１８、図１９及び図２０のいずれかを参照して説明した処理に対応するプログラムコードが格納されることになる。
【０１３６】
【発明の効果】
上記の通り本発明によれば、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消することができる。
【０１３７】
更に、動画像のインターレースを損なうことなく撮影することができる。
【図面の簡単な説明】
【図１】本発明の第１乃至第４の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】従来の撮像素子における画素混合の様子を示す概念図である。
【図３】本発明の第１の実施形態における重心ずれ補正動作を説明するための図である。
【図４】本発明の第２の実施形態における重心ずれ補正動作を説明するための図である。
【図５】本発明の第３の実施形態における重心ずれ補正動作を説明するための図である。
【図６】第４の実施の形態における撮像素子における画素混合の様子を示す概念図である。
【図７】本発明の第４の実施形態における重心ずれ補正動作を説明するための図である。
【図８】本発明の第５乃至第９の実施形態における撮像装置の概略構成を示すブロック図である。
【図９】本発明の第５の実施形態における重心ずれ補正動作を説明するための図である。
【図１０】本発明の第６の実施形態における重心ずれ補正動作を説明するための図である。
【図１１】本発明の第６の実施形態における重心ずれ補正動作を説明するための図である。
【図１２】本発明の第７の実施形他における重心ずれ補正処理部の内部構成例を示すブロック図である。
【図１３】本発明の第７の実施形態における重心ずれ補正動作を説明するための図である。
【図１４】本発明の第８の実施形態における重心ずれ補正動作を説明するための図である。
【図１５】本発明の第９の実施形態における重心ずれ補正動作を説明するための図である。
【図１６】本発明の第９の実施形態における重心ずれ補正動作を説明するための図である。
【図１７】本発明の第１０及び第１１の実施形態における撮像装置の概略構成を示すブロック図である。
【図１８】本発明の第１０の実施形態における画素ずらし補正動作を説明するための図である。
【図１９】本発明の第１１の実施形態における重心ずれ及び画素ずらし補正動作を説明するための図である。
【図２０】本発明の第１１の実施形態における重心ずれ及び画素ずらし補正動作を説明するための図である。
【符号の説明】
２ 撮像素子
４ Ａ／Ｄ変換器
６ カメラ信号処理部
８ 撮像素子駆動部
１０ 重心ずれ補正処理部
１２ 画素ずらし補正処理部
【発明の属する技術分野】
本発明は、信号処理装置及び方法、及び撮像装置に関し、特に、固体撮像素子の撮像領域の画素を画素混合して読み出された信号に対して処理を施す信号処理装置及び方法、及び撮像装置に関する。
【０００２】
【従来の技術】
従来、撮像装置の各受光素子から得られる信号電荷を混合して読み出す撮像装置では、例えば、撮像素子の駆動手段が同色の色要素に対応する電荷どうしが垂直列に対応する垂直転送レジスタ上で混合されるように撮像素子を駆動する方法が考えられている（例えば、特許文献１参照。）。
【０００３】
図２に原色ベイヤー配列をもつ撮像素子を垂直方向に同色混合される場合の概念図を示す。原色ベイヤー配列の撮像素子では、図２（ａ）で示されるようにＲＧＢの色フィルタが配置されている。すなわち、水平方向に見た場合にＲ、Ｇの繰り返しのラインと、Ｇ、Ｂの繰り返しのラインとが交互に配置されている。画素混合が垂直方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、撮像素子駆動部は混合される画素も１画素おきのタイミングで混合されるように撮像素子を駆動する。
【０００４】
具体的には例えば図２（ａ）に示すＲ００、Ｇ０１のラインと Ｒ２０、Ｇ２１のラインの画素信号を混合して、図２（ｂ）に示すＲ１０、Ｇ１１のラインの画素信号が生成される。また、Ｇ１０、Ｂ１１のラインの画素信号とＧ３０、Ｂ３１のラインの画素信号からＧ２０、Ｂ２１のラインの画素信号が生成される。同様にして、Ｒ４０、Ｇ４１のラインとＲ６０、Ｇ６１のラインの画素信号からＲ５０、Ｇ５１のラインの画素信号が、Ｇ５０、Ｂ５１のラインとＧ７０、Ｂ７１のラインの画素信号からＧ６０、Ｂ６１のラインの画素信号が生成される。混合後の信号は、混合前と同じ原色のベイヤー配列になる。
【０００５】
【特許文献１】
特開２０００−２５３４１５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法で混合処理を行うと、混合後の信号の重心位置が混合前の２画素の中央になるので、重心位置に注目すると垂直方向に均等ではなく２ラインずつ接近した位置となってしまう。この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって、色差・輝度信号に変換すると変換後の信号の重心位置は、図２（ｂ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。このように信号配置が偏ると、画像がひずんだりモアレが生じたりするなどの課題があった。また、連続したフィールドの画像からなるインターレースの動画像に対して垂直方向に混合処理を行うと、フィールド間のインターレース関係が損なわれるという問題点もあった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消することを本発明の第１の目的とする。
【０００８】
また、動画像においては、更にインターレース関係を損なわず撮影することを第２の目的とする。
【０００９】
【課題を解決するための手段】
上記第１の目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、前記処理手段から出力される信号の重心位置を等間隔に補正して出力する補正手段とを有することを特徴とする。
【００１０】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理方法は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、前記処理工程で出力される信号の重心位置を等間隔に補正して出力する補正工程とを有することを特徴とする。
【００１１】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の別の信号処理装置は、前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【００１２】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する発明の別の信号処理方法は、前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正工程と、前記補正工程で出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程とを有することを特徴とする。
【００１３】
また、上記第２の目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、前記処理手段から出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段とを有することを特徴とする。
【００１４】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の信号処理方法は、前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、前記処理工程で出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程とを有することを特徴とする。
【００１５】
また、上記第２の目的を達成するために原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する本発明の他の信号処理装置は、前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【００１６】
また、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法は、前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程とを有することを特徴とする。
【００１７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１８】
＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。なお、図１では、本第１の実施形態の説明に必要な構成のみを示している。
【００１９】
図１において、２は不図示の光学系を介して入射した光束を、その光量に応じて電気信号に変換するＣＣＤやＭＯＳ等の撮像素子、４は撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６はＡ／Ｄ変換器４から出力されたデジタル信号に対して、色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成するカメラ信号処理部、８は撮像素子２を制御するタイミング信号を生成する撮像素子駆動部、１０はカメラ信号処理部６から出力された色差・輝度信号に対して、後述する重心ずれの補正を行う重心ずれ補正処理部である。
【００２０】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。このようにして読み出された混合後の信号は、混合前と同じ原色のベイヤー配列になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図２（ｂ）に示すように、２ラインずつ接近した配置となる。
【００２１】
この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって色差・輝度信号に変換すると、変換後の信号の重心位置は、図２（ｃ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。
【００２２】
そこで、本第１の実施形態における重心ずれ補正処理部１０では、重心位置が均等になるように色差・輝度信号を補正する。
【００２３】
図３は、本第１の実施形態において重心ずれ補正処理部１０における補正動作を説明するための図である。
【００２４】
図３は、図２を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｙ２ｎ及びＹ（２ｎ±偶数）のラインは輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｙ（２ｎ±奇数）のラインは輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｙ’２ｎ及びＹ’（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の偶数ラインを、Ｙ’（２ｎ±奇数）のラインは重心ずれ補正後の輝度色差信号の奇数ラインを表す。なお、ｎは自然数を表す。
【００２５】
図３では、Ｙ２ｎとＹ２ｎ＋１の間隔と、Ｙ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。
Ｙ’２ｎ ＝ Ｙ２ｎ
Ｙ’２ｎ＋１ ＝ ２／３×Ｙ２ｎ＋１＋１／３×Ｙ２ｎ＋２
【００２６】
すなわち偶数ラインの信号はそのまま出力し、奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００２７】
または、
Ｙ’２ｎ ＝ ２／３×Ｙ２ｎ＋１／３×Ｙ２ｎ−１
Ｙ’２ｎ＋１＝Ｙ２ｎ＋１
のように奇数ラインの信号はそのまま出力し、偶数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行う。
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる画像の歪みやモアレのない画像を得ることができる。本第１の実施形態の重心ずれ補正処理方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００２８】
＜第２の実施形態＞
第２の実施形態では、第１の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００２９】
図４は、本第２の実施形態における重心ずれ補正処理部１０における補正動作を説明する説明図である。
【００３０】
図４は、撮像素子２にて図２に示す混合が行われた場合にカメラ信号処理部１０より出力された色差・輝度信号を表す。この例では、Ｙ２ｎとＹ２ｎ＋１の間隔とＹ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３なので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。
Ｙ’２ｎ ＝ １／６×Ｙ２ｎ−１＋５／６×Ｙ２ｎ
Ｙ’２ｎ＋１ ＝ ５／６×Ｙ２ｎ＋１＋１／６×Ｙ２ｎ＋２
【００３１】
すなわち偶数ラインの信号は前のラインの信号と５：１の比率になる用に補間演算を行い、奇数ラインの信号は次のラインの信号と５：１の比率になるように補間演算を行う。
【００３２】
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みの無い画像を得ることができる。本第２の実施形態の重心ずれ補正処理方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化するので、ライン毎に解像度が異なるということはない。
【００３３】
＜第３の実施形態＞
第３の実施形態では、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置について説明する。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００３４】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。図２（ｂ）に示す混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって、色差・輝度信号に変換すると変換後の信号の重心位置は、図２（ｃ）のようになり、２ラインずつの接近した不均等な色差・輝度信号になる。
【００３５】
上記のように出力される、連続した２フィールド（ＯＤＤフィールドとＥＶＥＮフィールド）の信号の位置を上記第１または第２の実施形態で説明したようにして重心位置を補正すると、両フィールドにおいて信号の重心位置は同じになり、インターレース関係にならない。
【００３６】
そこで、本第３の実施形態では、図２（ｃ）に示す信号の重心位置を、連続した２フィールド間でインターレース関係となるように補正する。
【００３７】
図５を参照して、重心ずれ補正処理部１０における受信ずれ補正および、偶数フィールド及び奇数フィールドのインターレース化の動作について説明する。
【００３８】
図５は、図２を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｙ２ｎ及びＹ（２ｎ±偶数）のラインは輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｙ（２ｎ±奇数）のラインは輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の偶数フィールドの偶数ラインを、Ｅ（２ｎ±奇数）のラインは重心ずれ補正後の輝度・色差信号の偶数フィールドの奇数ラインを表す。また、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは重心ずれ補正後の輝度・色差信号の奇数フィールドの偶数ライン、Ｏ（２ｎ±奇数）のラインは重心ずれ補正後の輝度・色差信号の奇数フィールドの奇数ラインのを表す。なお、ｎは自然数をあらわす。
【００３９】
図２及び図５に示す例では、Ｙ２ｎとＹ２ｎ＋１の間隔とＹ２ｎ＋１とＹ２ｎ＋２の間隔の比は１：３になるので、偶数、奇数フィールドそれぞれにおいて、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ２ｎ ＝ １／３×Ｙ２ｎ−１＋２／３×Ｙ２ｎ
Ｅ２ｎ＋１ ＝ Ｙ２ｎ＋１
【００４０】
により補正処理を行い、奇数フィールドでは、
Ｏ２ｎ ＝ Ｙ２ｎ
Ｏ２ｎ＋１＝ ２／３×Ｙ２ｎ＋１＋１／３×Ｙ２ｎ＋２
により補正処理を行う。
すなわち偶数フィールドの奇数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの偶数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００４１】
上記の様な処理を行うことにより、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みのない画像を得ることができと共に、インターレースの動画像を得ることができる。
【００４２】
＜第４の実施形態＞
第４の実施形態は、第３の実施形態と同様に連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第１の実施形態で図１を参照して説明したものと同様であるためここでは説明を省略する。
【００４３】
図６に、本第４の実施形態にかかる撮像素子２における画素混合の様子を示す。本第４の実施形態においても、図６（ａ）に示すように、ベイヤー配列の原色フィルタの撮像素子を例に説明する。画素混合が垂直方向に行われる場合、撮像素子駆動部８は、図６（ｂ）に示すように偶数フィールドと奇数フィールドとで各色の混合されるラインが互い違いになるようなタイミングで混合されるように撮像素子２を駆動する。
【００４４】
具体的には例えば奇数フィールドでは、図６（ａ）に示すＲ００、Ｇ０１のラインとＲ２０、Ｇ２１のラインの画素信号を混合して、図６（ｂ）に示すＲ１０、Ｇ１１のラインの画素信号が生成される。また、Ｇ１０、Ｂ１１のラインの画素信号とＧ３０、Ｂ３１のラインの画素信号からＧ２０、Ｂ２１のラインの画素信号が生成される。同様にして、Ｒ４０、Ｇ４１のラインとＲ６０、Ｇ６１のラインの画素信号からＲ５０、Ｇ５１のラインの画素信号が、Ｇ５０、Ｂ５１のラインとＧ７０、Ｂ７１のラインの画素信号からＧ６０、Ｂ６１のラインの画素信号が生成される。
【００４５】
一方、偶数フィールドでは、図６（ａ）に示すＲ２０、Ｇ２１のラインとＲ４０、Ｇ４１のラインの画素信号を混合して、図６（ｃ）に示すＲ３０、Ｇ３１のラインの画素信号が生成される。同様にして、Ｇ３０、Ｂ３１のラインとＧ５０、Ｂ５１のラインの画素信号からＧ４０、Ｂ４１のラインの画素信号が生成される。
【００４６】
しかし、従来例及び第１乃至第３の実施形態で説明したように、混合後の信号の重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、図６（ｂ）及び図６（ｃ）から分かるように、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になる。
【００４７】
この混合後の信号に対して、Ａ／Ｄ変換器４でデジタル信号にし、カメラ信号処理部６によって色差・輝度信号に変換すると、変換後の信号の重心位置は、図６（ｄ）のようになり、各フィールドにおいては２ラインずつの接近した不均等な色差・輝度信号になり、奇数・偶数フィールド間ではやはり２ラインずつの互い違いになった色差・輝度信号になる。このように、重心ずれが生じるとともにインターレース関係にならない。なお、図６（ｄ）のＥは偶数フィールドを、Ｏは奇数フィールドを示し、その後ろの数字は、各フィールドにおけるラインを示している。
【００４８】
そこで、本題４の実施形態における重心ずれ補正処理部１０では、重心位置が均等になると共に、偶数・奇数フィールド間で、信号が互いにインターレースとなるように、色差・輝度信号を補正する。
【００４９】
図７は本第４の実施形態において重心ずれ補正処理部１０における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明するための図である。
【００５０】
図７は、図６を用いて説明した混合が行われた場合に、カメラ信号処理部６より出力された色差・輝度信号の重心位置を表す。Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の輝度・色差信号の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。
【００５１】
また、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの輝度・色差信号の偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の輝度・色差信号の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。なお、ｎは自然数を表す。
【００５２】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎとＯ２ｎ＋１の間隔とＯ２ｎ＋１とＯ２ｎ＋２の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ ＝ Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ ２／３×Ｅ２ｎ＋１＋１／３×Ｅ２ｎ
【００５３】
により補正処理を行い、奇数フィールドでは、
Ｏ’２ｎ ＝ Ｏ２ｎ
Ｏ’２ｎ＋１ ＝ ２／３×Ｏ２ｎ＋１＋１／３×Ｏ２ｎ＋２
により補正処理を行う。
すなわち偶数フィールドの偶数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの奇数ラインの信号は前のラインの信号と２：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。
【００５４】
上記のような補間処理を行うことにより、図６に示すようなフィールド毎に異なる画素加算を行っても、垂直方向の信号の重心位置は均等になり、重心ずれによる歪みのない画像を得ることができると共に、連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【００５５】
また、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００５６】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。
【００５７】
図８は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。図８に示す構成とは、重心ずれ補正処理部１０と、カメラ信号処理部６の構成順が逆になっているところが異なる。従って、図８に示す構成では、Ａ／Ｄ変換器４から出力されたデジタル信号に対して、重心ずれ補正処理部１０が先に重心ずれの補正を行い、補正されたデジタル信号に対して、カメラ信号処理部６が、色分離処理、アパーチャー処理、ガンマ処理等を施し、輝度信号、色差信号を生成する。
【００５８】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。このようにして読み出された混合後の信号は、混合前と同じ原色のベイヤー配列になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図２（ｂ）に示すように、２ラインずつ接近した配置となる。
【００５９】
従って、本第５の実施形態における重心ずれ補正処理部１０では、重心位置が均等になるように画素信号の重心位置を補正する。
【００６０】
図９は、本第５の実施形態における重心ずれ補正処理部１０により行われる重心ずれ補正処理を説明する図である。なお、Ｐ２ｎ及びＰ２ｎ−２は偶数ラインを示し、偶数ラインでは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｐ２ｎ−１及びＰ２ｎ＋１は奇数ラインを示し、奇数ラインでは重心ずれによって接近した２ラインのうち下のラインとする。
【００６１】
Ｐ’２ｎ及びＰ’２ｎ−２は偶数ラインの重心ずれ補正後のライン、Ｐ’２ｎ−１及びＰ’２ｎ＋１は奇数ラインの重心ずれ補正後のラインを表す。なお、ｎは自然数を表す。
【００６２】
図９（ａ）は、図２を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。図９（ａ）に示すように、Ｐ２ｎ−２とＰ２ｎ−１の間隔と、Ｐ２ｎ−１とＰ２ｎの間隔の比は１：３になるため、本実施の形態における重心ずれ補正処理部１０は重心ずれ補正後の信号を図９（ｂ）に示すように等間隔にするため、以下の式によって補正処理を行う。
Ｐ’２ｎ ＝ １／８×Ｐ２ｎ−２ ＋ ７／８×Ｐ２ｎ
Ｐ’２ｎ−１ ＝ ７／８×Ｐ２ｎ−１ ＋ １／８×Ｐ２ｎ＋１
【００６３】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎラインの画素信号）と、２ライン前の画素信号（例えばＰ２ｎ−２ラインの画素信号）とを７：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎ−１ラインの画素信号）と、２ライン後のラインの画素信号（例えばＰ２ｎ＋１ラインの画素信号）とを７：１の比率で加重換算して補間を行う。
【００６４】
ここで、図２（ａ）に示す同色混合後の色信号順では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００６５】
重心ずれ補正処理部１０により上記の様な処理を行った後、図３（ｂ）に示すように垂直方向の重心位置が均等になった画素混合信号を図８のカメラ信号処理部６に入力し、輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。また、この方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化するので、ライン毎に解像度が異なるということはない。
【００６６】
＜第６の実施形態＞
第６の実施形態では、第５の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００６７】
図１０及び図１１は、本第６の実施形態における重心ずれ補正処理部１０が行う重心ずれ補正動作を説明するための図である。
【００６８】
図１０（ａ）及び図１１（ａ）は、それぞれ、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号を示す。
【００６９】
なお、図１０（ａ）及び図１１（ａ）において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００７０】
本第６の実施形態においては、重心ずれ補正後の信号を図１０（ｂ）に示すように等間隔にするため、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝Ｐ２ｎ
Ｐ’２ｎ−１＝３／４×Ｐ２ｎ−１＋１／４×Ｐ２ｎ＋１
【００７１】
すなわち、偶数ラインの信号はそのまま出力し、奇数ラインの信号は２ライン後の信号と３：１の比率になるように補間演算を行う。
また、重心ずれ補正後の信号を図１１（ｂ）に示すように等間隔にするためには、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝１／４×Ｐ２ｎ−２＋３／４×Ｐ２ｎ
Ｐ’２ｎ＋１＝Ｐ２ｎ＋１
【００７２】
すなわち、偶数ラインの信号は２ライン前の信号と３：１の比率になるように補間演算を行い、奇数ラインの信号はそのまま出力する。
ここで、図１０（ａ）及び図１１（ａ）に示す同色混合後の色信号順の配列では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００７３】
上記の様な処理を行った後、垂直方向の重心位置が均等になった画素混合信号から、図８のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。
【００７４】
なお、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００７５】
＜第７の実施形態＞
第７の実施形態では、第５及び第６の実施形態と異なる重心ずれ補正処理方法について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００７６】
図１２は、本第７の実施形態における重心ずれ補正処理部１０の内部構成を示す図である。図１２において、１０２はＧ成分重心ずれ補正処理部、１０３はＲＢ成分重心ずれ補正処理部、１０１は入力する信号を、対応するＧ成分重心ずれ補正処理部１０２またはＲＢ成分重心ずれ補正処理部１０３に振り分けるスイッチ、１０４は、Ｇ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３から出力される信号を切り替えて合成処理部１０５に入力するスイッチ、１０５はＧ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３から重心ずれ補正された信号を合成する合成処理部である。
【００７７】
本第７の実施形態では、ＲＧＢ色フィルタが配置されている撮像素子において、ＲＧＢ色フィルタのＧ成分とＲＢ成分とで、Ｇ成分重心ずれ補正処理部１０２及びＲＢ成分重心ずれ補正処理部１０３により異なる重心ずれ補正処理を行う。
【００７８】
垂直方向の同色画素混合によって生じる画質の劣化は、色差信号よりも輝度信号に顕著に現れるため、本第７の実施形態では、輝度信号の構成要素であるＧ成分に対して、垂直方向の重心ずれ補正の前に水平方向にＧ成分の補間を行う。これにより、垂直方向の重心ずれの補正は、１ラインおきの同色の画素信号でなく、隣り合うラインの画素信号による補間が可能となり、相関距離が短くなるという利点がある。一方、輝度信号に寄与しないＲＢ成分については、第６の実施の形態と同様の補正処理を行う。
【００７９】
図１３は、本第７の実施形態における重心ずれ補正処理部１０が行う受信ずれ補正動作を説明するための図である。
【００８０】
図１３（ｂ）〜図１３（ｄ）は、Ｇ成分重心ずれ補正処理部１０２において行われる、ＲＧＢ色フィルタのＧ成分に対して行われる重心ずれ補正処理手順を示し、図１３（ｅ）及び図１３（ｆ）は、ＲＢ成分重心ずれ補正処理部１０３において行われるＲＧＢ色フィルタのＲＢ成分に対して行われる重心ずれ補正処理手順を示す。なお、図１３において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００８１】
図１３（ｂ）は、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号のうち、Ｇ成分信号を抜き出したものである。
【００８２】
ＲＧＢ色フィルタのＧ成分は、偶数ラインＰ２ｎ及びＰ２ｎ−２上では、水平方向に図の右から見て奇数番目の画素位置に位置し、奇数ラインＰ２ｎ＋１及びＰ２ｎ−１上では、水平方向に図の右から見て偶数番目の画素位置に配置されている。本来はＲもしくはＢ成分が存在し、Ｇ成分が存在しない画素位置に対して、その点の両側のＧ成分の画素を用いて水平方向の補間を行うので、水平方向の画素の並びをＱｍ−２、Ｑｍ−１、Ｑｍ、Ｑｍ＋１とした場合に、偶数ラインＰ２ｎ上では、Ｇ成分が存在しない偶数番目の画素Ｑｍを、また、奇数ラインＰ２ｎ−１上では、Ｇ成分が存在しない奇数番目の画素Ｑｍ−１を以下の式によって算出する。なお、ここでｍは自然数とする。
Ｑｍ ＝ １／２×Ｑｍ−１＋１／２×Ｑｍ＋１
Ｑｍ−１＝ １／２×Ｑｍ−２＋１／２×Ｑｍ
【００８３】
たとえば、図１３（ｂ）のＧ２０及びＧ２２より、図１３（ｃ）のＧ’２１を、図１３（ｂ）のＧ５１及びＧ５３より、図１３（ｃ）のＧ’５２を補間によって求める。
【００８４】
水平方向への補間処理後、図１３（ｃ）に示すような信号が得られる。図１３（ｃ）に示すように、Ｐ２ｎ−２とＰ２ｎ−１の間隔とＰ２ｎ−１とＰ２ｎの間隔の比は１：３になるので、重心ずれ補正後の信号を図１３（ｄ）に示すように等間隔にするため、以下の式を用いて補正処理を行う。
Ｐ’２ｎ＝１／６×Ｐ２ｎ−１＋５／６×Ｐ２ｎ
Ｐ’２ｎ−１＝５／６×Ｐ２ｎ−１＋１／６×Ｐ２ｎ
【００８５】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎラインの画素信号）と、１ライン前の画素信号（例えばＰ２ｎ−１ラインの画素信号）とを５：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ２ｎ−１ラインの画素信号）と、１ライン後のラインの画素信号（例えばＰ２ｎラインの画素信号）とを５：１の比率で加重換算して補間を行う。
【００８６】
なお、重心ずれ補正後の画素が、前述の水平方向の補間によって得られたＧ成分に対応する画素である場合には重心ずれ補正処理は行わない。つまり、偶数ラインにおいては、水平方向に見て図の右から奇数番目の画素、奇数ラインにおいては、水平方向に見て図の右から偶数番目の画素に対してのみ、上記の補正を行う。これにより、図１３（ｄ）に示すように重心ずれ補正後のＧ成分信号を得る。
【００８７】
図１３（ｅ）は、撮像素子２から従来例で図２を参照して説明した方法で混合が行われた場合に、Ａ／Ｄ変換器４より出力された同色画素混合信号のうち、ＲＢ成分信号を抜き出したものである。
【００８８】
ＲＧ成分に関しては、重心ずれ補正処理部１０は、第５の実施形態で説明した重心ずれ補正処理を行うが、ここでは説明を省略する。
【００８９】
以上のように、Ｇ成分とＲＢ成分に分けてそれぞれ補正処理を行った後、合成処理部１０５によって合成し、垂直方向の重心位置が均等になった画素混合信号を図８のカメラ信号処理部６に出力して、輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。 また、Ｇ成分とＲＢ成分に分けてそれぞれ補正処理を行っているため、輝度信号の劣化による画質の劣化を抑えることができる。なお、ＲＢ成分に対してもＧ成分と同様の補正処理を行うようにしてもよい。
【００９０】
＜第８の実施形態＞
第８の実施の形態では、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置について説明する。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるため、ここでは説明を省略する。
【００９１】
撮像素子２からは、従来例で図２を参照して説明した方法で画素信号が読み出される。
【００９２】
図１４を参照して、本第８の実施形態における重心ずれ補正処理部１０における受信ずれ補正および、偶数フィールド及び奇数フィールドのインターレース化の動作について説明する。なお、図１４において、Ｐ２ｎ−２〜Ｐ２ｎ＋１及びＰ’２ｎ−２〜Ｐ’２ｎ＋１は、第５の実施形態と同様である。
【００９３】
図１４（ａ）は、図２を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。図１４（ａ）に示すように、この時点では、偶数フィールド及び奇数フィールドともに、画素の重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置にあり、連続したフィールド間の信号にインターレース関係が成立していない。従って、重心位置が均等なインターレース信号に補正するために、第６の実施形態で図１０及び図１１を参照して説明した重心ずれ補正対策処理を偶数フィールドと奇数フィールドとで切り替えて行うことにより、重心ずれの解消とフィールド間のインターレース化を実現する。
【００９４】
本第８の実施形態では、偶数フィールドでは図１１に示す方法で重心ずれ補正処理を行い、奇数フィールドでは図１０に示す方法で重心ずれ補正処理を行う。図１４（ｂ）は図１４（ａ）に対して前者の処理を行った信号を、図１４（ｃ）は後者の処理を行った信号を示している。なお、図１０及び図１１に示す方法は、図５の実施形態で説明したとおりであるので、ここでは説明を省略する。
【００９５】
なお、偶数フィールドで図１０に示す方法を行い、奇数フィールドで図１１に示す方法を行うことも可能である。
【００９６】
上記の様な処理を行った後、図８のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができ、かつ図１４（ｂ）及び図１４（ｃ）から分かるように、連続するフィールド間でインターレース関係の成り立つ動画像信号を得ることができる。
【００９７】
なお、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【００９８】
＜第９の実施形態＞
第９の実施形態は、第８の実施形態と同様に連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第５の実施形態で図８を参照して説明したものと同様であるためここでは説明を省略する。
【００９９】
第９の実施形態では、第８の実施形態とは異なり、第４の実施形態において図６を参照して説明した様にして偶数フィールドと奇数フィールドで異なる組み合わせで画素混合し、撮像素子２から読み出す。
【０１００】
混合後の信号は、図６（ｂ）及び（ｃ）に示すように、重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になり、インターレース関係にならない。
【０１０１】
次に、図１５及び図１６を参照して、本第９の実施形態における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明する。図１５は偶数フィールド、図１６は奇数フィールドの処理の流れを示す。
【０１０２】
図１５（ｂ）は、偶数フィールドにおいて撮像素子２から出力される図６（ｃ）に対応する混合後の信号を示す。図１５（ｂ）において、Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。更に、図１５（ｃ）において、Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の奇数ラインを表す。
【０１０３】
また、図１６（ｂ）は、奇数フィールドにおいて撮像素子２から出力される図６（ｂ）に対応する混合後の信号を示す。図１６（ｂ）において、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。また、図１６（ｃ）において、Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の奇数ラインを表す。なお、ｎは自然数を表す。
【０１０４】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎ＋１とＯ２ｎの間隔とＯ２ｎとＯ２ｎ−１の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ ＝ Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ １／４×Ｅ２ｎ−１＋３／４×Ｅ２ｎ＋１
【０１０５】
により補正処理を行い、奇数フィールドでは、
Ｏ’２ｎ ＝ Ｏ２ｎ
Ｏ’２ｎ−１ ＝ １／４×Ｏ２ｎ＋１＋ ３／４×Ｏ２ｎ−１
により補正処理を行う。
すなわち偶数フィールドの偶数ラインおよび奇数フィールドの偶数ラインでは信号をそのまま出力し、偶数フィールドの奇数ラインの信号は２ライン前の信号と３：１の比率になるように補間演算を行い、奇数フィールドの奇数ラインの信号は２ライン後の信号と３：１の比率になるように補間演算を行う。
【０１０６】
上記の様な処理を行った後、図１５（ｃ）及び図１６（ｃ）に示す、垂直方向の重心位置が均等になった画素混合信号から、図８のカメラ信号処理部６によって図１５（ｄ）及び図１６（ｄ）に示す輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができりと共に、連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１０７】
また、この方法では、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じない。
【０１０８】
次に、本発明の第１０の実施形態について説明する。
【０１０９】
第１０の実施の形態は、第８及び第９の実施の形態と同様に、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。
【０１１０】
図１７は、本発明の第１０の実施形態における撮像装置の概略構成を示すブロック図であり、連続した２フィールド間でインターレース関係が成立するように、図８に示すカメラ信号処理部６の後段に、画素ずらし処理部１２を追加したものである。その他の構成は、図８と同様であるため、説明を省略する。
【０１１１】
第５乃至第７の実施形態のいずれかで説明したようにして、重心ずれ補正処理部１０は図１８（ａ）に示す様な垂直方向の重心ずれ補正した信号を出力する。カメラ信号処理部６は、この出力された信号を処理し、輝度・色差信号を生成する。図１８（ｂ）は、処理後の連続する偶数及び奇数フィールドの輝度・色差信号を示す。ＥＮを偶数フィールド、ＯＮを奇数フィールドの輝度・色差信号とすると、図１８（ｂ）に示すように、両フィールドとも輝度・色差信号の重心位置が垂直方向について同じ位置になり、インターレース関係にならない。
【０１１２】
そこで、本第１０の実施形態では、偶数及び奇数フィールドそれぞれにおいて、重心ずれ補正処理部１０によって補正された等間隔な画素重心の位置関係を保ちながらも、連続するフィールド間でインターレースの関係になるようにカメラ信号処理部６による処理後の輝度・色差信号に対して下記の式のように画素ずらし処理を行う。
【０１１３】
図１８（ｃ）において、Ｅ’Ｎは偶数フィールドの画素ずらし処理後の輝度色差信号、Ｏ’Ｎは奇数フィールドの画素ずらし処理後の輝度色差信号を表すものとする。なお、Ｎは自然数を表す。
Ｅ’Ｎ ＝ １／４×ＥＮ−１＋３／４×ＥＮ
Ｏ’Ｎ＝ ３／４×ＯＮ＋１／４×ＯＮ＋１
【０１１４】
すなわち偶数フィールドでは各ラインにおいて、１ライン前の信号と３：１の比率になるように混合し、奇数フィールドでは、各ラインにおいて、１ライン後の信号と３：１の比率になるように混合して出力する。
【０１１５】
上記の様な画素ずらし処理を行うことにより、垂直方向の信号の重心位置は均等で、かつ連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１１６】
＜第１１の実施形態＞
第１１の実施の形態では、第８〜第１０の実施形態と同様に、連続した２フィールドがインターレース関係にある動画像を撮影する撮像装置に関するものである。なお、撮像装置の基本的な構成は第１０の実施形態で図１７を参照して説明したものと同様であるためここでは説明を省略する。
【０１１７】
第１１の実施の形態は第９の実施の形態と同様に、第４の実施形態において図６を参照して説明した様にして偶数フィールドと奇数フィールドで異なる組み合わせで画素混合し、撮像素子２から読み出す。
【０１１８】
混合後の信号は、図６（ｂ）及び（ｃ）に示すように、重心位置は垂直方向に均等ではなく、２ラインずつ接近した位置になっており、更に、奇数・偶数フィールド間で２ラインずつ互い違いになった関係になり、インターレース関係にならない。
【０１１９】
次に、図１９及び図２０を参照して、本第１１の実施形態における重心ずれ補正および、偶数・奇数フィールド間で信号のインターレース化の動作を説明する。なお、本第１１の実施形態は、重心ずれ補正処理部１０は信号を偶数フィールド並びに奇数フィールドで垂直方向について同じ位置に補正し、カメラ信号処理部６による信号処理後の輝度・色差信号に対して、画素ずらし処理部１２によって偶数・奇数フィールド間でインターレース化するところが第９の実施形態と異なる。図１９は偶数フィールド、図２０は奇数フィールドの処理の流れを示す。
【０１２０】
図１９（ｂ）は、偶数フィールドにおいて撮像素子２から出力される図６（ｃ）に対応する混合後の信号を示す。図１９（ｂ）において、Ｅ２ｎ及びＥ（２ｎ±偶数）のラインは偶数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち下のラインとする。Ｅ（２ｎ±奇数）のラインは偶数フィールドの奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち上のラインとする。更に、図１９（ｃ）において、Ｅ’２ｎ及びＥ’（２ｎ±偶数）のラインは偶数フィールドの重心ずれ補正後の偶数ラインを、Ｅ’（２ｎ±奇数）のラインは偶数フィールドの重心ずれ補正後の奇数ラインを表す。
【０１２１】
また、図２０（ｂ）は、奇数フィールドにおいて撮像素子２から出力される図６（ｂ）に対応する混合後の信号を示す。図２０（ｂ）において、Ｏ２ｎ及びＯ（２ｎ±偶数）のラインは奇数フィールドの偶数ラインであり、偶数ラインは重心ずれによって接近した２ラインのうち上のラインとする。Ｏ（２ｎ±奇数）のラインは奇数フィールドの輝度・色差信号の奇数ラインであり、奇数ラインは重心ずれによって接近した２ラインのうち下のラインとする。なお、ｎは自然数を表す。
【０１２２】
この例では、Ｅ２ｎ−１とＥ２ｎの間隔と、Ｅ２ｎとＥ２ｎ＋１の間隔の比、及び、Ｏ２ｎ＋１とＯ２ｎの間隔とＯ２ｎとＯ２ｎ−１の間隔の比は１：３になるので、重心ずれ補正後の信号が等間隔になるように下記の式のように補正処理を行う。偶数フィールドでは、
Ｅ’２ｎ−２ ＝ ７／８×Ｅ２ｎ−２＋１／８×Ｅ２ｎ
Ｅ’２ｎ＋１ ＝ １／８×Ｅ２ｎ−１＋７／８×Ｅ２ｎ＋１
【０１２３】
すなわち偶数ラインの信号は２ライン後の信号と７：１の比率になるように補間演算を行い、奇数ラインの信号は２ライン前の信号と７：１の比率になるように補間演算を行う。奇数フィールドでは、
Ｏ’２ｎ ＝ １／８×Ｏ２ｎ−２＋７／８×Ｏ２ｎ
Ｏ’２ｎ−１ ＝ ７／８×Ｏ２ｎ−１＋１／８×Ｏ２ｎ＋１
すなわち偶数ラインの信号は２ライン前の信号と７：１の比率になるように補間演算を行い、奇数ラインの信号は２ライン後の信号と７：１の比率になるように補間演算を行う。
上記の様な処理を行った後、図１９（ｃ）及び図２０（ｃ）に示す、垂直方向の重心位置が均等になった画素混合信号から、図１７のカメラ信号処理部６によって輝度・色差信号を生成することにより、重心ずれによる画像の歪みやモアレのない画像を得ることができる。この方法では、すべてのラインが同じ係数で補間され、同じように解像度が劣化し、ラインごとに解像度が異なるということはない。
【０１２４】
図１９（ｄ）及び図２０（ｄ）は、重心ずれ補正処理部１０の出力信号からカメラ信号処理部６によって生成された、偶数フィールド及び奇数フィールドにおける輝度・色差信号を表すものであるが、両フィールドとも輝度・色差信号が同じ位置になり、インターレース関係が成立しない。
【０１２５】
偶数及び奇数フィールドそれぞれにおいて、重心ずれ補正処理１０によって補正された等間隔な画素重心の位置関係を保ちながらも、連続するフィールド間でインターレースの関係になるように、カメラ信号処理後の輝度・色差信号に対して下記の式のように更に画素ずらし処理を行う。
【０１２６】
図１９（ｄ）において、Ｅ２Ｎ及びＥ（２Ｎ±偶数）のラインは偶数フィールドの輝度・色差信号の偶数ライン、Ｅ（２Ｎ±奇数）のラインは偶数フィールドの輝度・色差信号の奇数ラインである。更に、図１９（ｅ）において、Ｅ’２Ｎ及びＥ’（２Ｎ±偶数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の偶数ラインを、Ｅ’（２Ｎ±奇数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の奇数ラインを表す。
【０１２７】
図２０（ｄ）において、Ｏ’２ｎ及びＯ’（２ｎ±偶数）のラインは奇数フィールドの重心ずれ補正後の輝度・色差信号の偶数ライン、Ｏ’（２ｎ±奇数）は奇数フィールドの重心ずれ補正後の輝度・色差信号の奇数ラインを表す。更に、図２０（ｅ）において、Ｏ’２Ｎ及びＥ’（２Ｎ±偶数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の偶数ラインを、Ｏ’（２Ｎ±奇数）のラインは偶数フィールドの画素ずらし補正後の輝度・色差信号の奇数ラインを表す。なお、Ｎは自然数とする。
Ｅ’Ｎ ＝ １／４×ＥＮ−１＋３／４×ＥＮ
Ｏ’Ｎ＝ ３／４×ＯＮ＋１／４×ＯＮ＋１
【０１２８】
すなわち偶数フィールドでは、各ラインにおいて１ライン前の信号と３：１の比率になるように混合し、奇数フィールドでは、各ラインにおいて１ライン後の信号と３：１の比率になるように混合して出力する。
【０１２９】
上記の様な画素ずらし処理を行うことにより、垂直方向の信号の重心位置は均等で、かつ連続する２フィールド間でインターレース関係が成立する動画像信号を得ることができる。
【０１３０】
【他の実施形態】
なお、以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。
【０１３１】
また、本発明は、以上の各実施の形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【０１３２】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１３３】
更に、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３〜図７、図９〜図１１、図１３、図１４、図１５及び図１６、図１８、図１９及び図２０のいずれかを参照して説明した処理に対応するプログラムコードが格納されることになる。
【０１３６】
【発明の効果】
上記の通り本発明によれば、１行おきに同じ色の受光素子から得られる信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消することができる。
【０１３７】
更に、動画像のインターレースを損なうことなく撮影することができる。
【図面の簡単な説明】
【図１】本発明の第１乃至第４の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】従来の撮像素子における画素混合の様子を示す概念図である。
【図３】本発明の第１の実施形態における重心ずれ補正動作を説明するための図である。
【図４】本発明の第２の実施形態における重心ずれ補正動作を説明するための図である。
【図５】本発明の第３の実施形態における重心ずれ補正動作を説明するための図である。
【図６】第４の実施の形態における撮像素子における画素混合の様子を示す概念図である。
【図７】本発明の第４の実施形態における重心ずれ補正動作を説明するための図である。
【図８】本発明の第５乃至第９の実施形態における撮像装置の概略構成を示すブロック図である。
【図９】本発明の第５の実施形態における重心ずれ補正動作を説明するための図である。
【図１０】本発明の第６の実施形態における重心ずれ補正動作を説明するための図である。
【図１１】本発明の第６の実施形態における重心ずれ補正動作を説明するための図である。
【図１２】本発明の第７の実施形他における重心ずれ補正処理部の内部構成例を示すブロック図である。
【図１３】本発明の第７の実施形態における重心ずれ補正動作を説明するための図である。
【図１４】本発明の第８の実施形態における重心ずれ補正動作を説明するための図である。
【図１５】本発明の第９の実施形態における重心ずれ補正動作を説明するための図である。
【図１６】本発明の第９の実施形態における重心ずれ補正動作を説明するための図である。
【図１７】本発明の第１０及び第１１の実施形態における撮像装置の概略構成を示すブロック図である。
【図１８】本発明の第１０の実施形態における画素ずらし補正動作を説明するための図である。
【図１９】本発明の第１１の実施形態における重心ずれ及び画素ずらし補正動作を説明するための図である。
【図２０】本発明の第１１の実施形態における重心ずれ及び画素ずらし補正動作を説明するための図である。
【符号の説明】
２ 撮像素子
４ Ａ／Ｄ変換器
６ カメラ信号処理部
８ 撮像素子駆動部
１０ 重心ずれ補正処理部
１２ 画素ずらし補正処理部
Claims (30)
- 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、
前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、
前記処理手段から出力される信号の重心位置を等間隔に補正して出力する補正手段と
を有することを特徴とする信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ ２／３×Ｐ２ｎ＋１＋１／３×Ｐ２ｎ＋２
の演算により補正することを特徴とする請求項１に記載の信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ ＝ ２／３×Ｐ２ｎ＋１／３×Ｐ２ｎ−１
Ｐ’２ｎ＋１＝Ｐ２ｎ＋１
の演算により補正することを特徴とする請求項１に記載の信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ ＝ １／６×Ｐ２ｎ−１＋５／６×Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ ５／６×Ｐ２ｎ＋１＋１／６×Ｐ２ｎ＋２
の演算により補正することを特徴とする請求項１に記載の信号処理装置。 - 前記補正手段は、連続する２つのフィールド間で、インターレース関係となるように、重心位置を補正することを特徴とする請求項１に記載の信号処理装置。
- 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に
Ｐ’２ｎ ＝ １／３×Ｐ２ｎ−１＋２／３×Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ Ｐ２ｎ＋１
の演算による補正と、
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１＝ ２／３×Ｐ２ｎ＋１＋１／３×Ｐ２ｎ＋２
の演算による補正とを、１フィールド毎に交互に行う
ことを特徴とする請求項５に記載の信号処理装置。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、
前記撮像素子から入力した信号に対して、所定の画像処理を行う処理手段と、
前記処理手段から出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段と
を有することを特徴とする信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ ２／３×Ｐ２ｎ＋１＋１／３×Ｐ２ｎ
の演算による補正と、
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ ２／３×Ｐ２ｎ＋１＋１／３×Ｐ２ｎ＋２
の演算による補正とを、１フィールド毎に交互に行う
ことを特徴とする請求項７に記載の信号処理装置。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、
前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正手段と、
前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段と
を有することを特徴とする信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ−１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ−１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ ＝ １／８×Ｐ２ｎ−２＋７／８×Ｐ２ｎ
Ｐ’２ｎ−１ ＝ ７／８×Ｐ２ｎ−１＋１／８×Ｐ２ｎ＋１
の演算により補正することを特徴とする請求項９に記載の信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ−１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ−１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ＝Ｐ２ｎ
Ｐ’２ｎ−１＝３／４×Ｐ２ｎ−１＋１／４×Ｐ２ｎ＋１
の演算により補正することを特徴とする請求項９に記載の信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ＝１／４×Ｐ２ｎ−２＋３／４×Ｐ２ｎ
Ｐ’２ｎ＋１＝Ｐ２ｎ＋１
の演算により補正することを特徴とする請求項９に記載の信号処理装置。 - 前記補正手段は、
緑（Ｇ）成分信号に対して、補間処理及び重心ずれ補正を行う第１の補正手段と、
緑以外の色成分信号に対して、前記第１の補正手段と異なる方法で重心ずれ補正処理を行う第２の補正手段と、
前記第１及び第２の補正手段により重心ずれを補正された信号を合成する合成手段と
を有することを特徴とする請求項９に記載の信号処理装置。 - 前記第１の補正手段は、補間する対象画素をＱｍ（ｍは自然数）とした場合に、
Ｑｍ ＝ １／２×Ｑｍ−１＋１／２×Ｑｍ＋１
の演算により各行の補間を行い、更に、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ−１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ−１（ｎは共に自然数）とした場合に、
Ｐ’２ｎ＝１／６×Ｐ２ｎ−１＋５／６×Ｐ２ｎ
Ｐ’２ｎ−１＝５／６×Ｐ２ｎ−１＋１／６×Ｐ２ｎ
の演算により補正することを特徴とする請求項９に記載の信号処理装置。 - 前記補正手段は、連続する２つのフィールド間で、インターレース関係となるように、重心位置を補正することを特徴とする請求項９に記載の信号処理装置。
- 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に
Ｐ’２ｎ＝Ｐ２ｎ
Ｐ’２ｎ−１＝３／４×Ｐ２ｎ−１＋１／４×Ｐ２ｎ＋１
の演算による補正と、
Ｐ’２ｎ＝１／４×Ｐ２ｎ−２＋３／４×Ｐ２ｎ
Ｐ’２ｎ＋１＝Ｐ２ｎ＋１
の演算による補正とを、１フィールド毎に交互に行う
ことを特徴とする請求項１３に記載の信号処理装置。 - 前記処理手段から出力される信号に対して、前記連続する２つのフィールド間で、インターレース関係となるように、重心位置を補正するずらし処理手段を更に有することを特徴とする請求項９乃至１４のいずれかに記載の信号処理装置。
- 前記ずらし処理手段は、補正する対象の信号の行をＰＮ、重心ずれ補正後の信号の行をＰ’Ｎ（Ｎは共に自然数）とした場合に
Ｐ’Ｎ ＝ １／４×ＰＮ−１＋３／４×ＰＮ
Ｐ’Ｎ＝ ３／４×ＰＮ＋１／４×ＰＮ＋１
の演算による補正を、１フィールド毎に交互に行う
ことを特徴とする請求項１７に記載の信号処理装置。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理装置であって、
前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正手段と、
前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段と
を有することを特徴とする信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ １／４×Ｐ２ｎ−１＋３／４×Ｐ２ｎ＋１
の演算による補正と、
Ｐ’２ｎ ＝ Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ １／４×Ｐ２ｎ＋３＋ ３／４×Ｐ２ｎ＋１
の演算による補正とを、１フィールド毎に交互に行う
ことを特徴とする請求項１９に記載の信号処理装置。 - 前記補正手段は、補正する対象の信号の偶数行をＰ２ｎ、奇数行をＰ２ｎ＋１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’２ｎ、奇数行をＰ’２ｎ＋１（ｎは共に自然数）とした場合に
Ｐ’２ｎ ＝ ７／８×Ｐ２ｎ＋１／８×Ｐ２ｎ＋２
Ｐ’２ｎ＋１ ＝ １／８×Ｐ２ｎ−１＋７／８×Ｐ２ｎ＋１
の演算による補正と、
Ｐ’２ｎ ＝ １／８×Ｐ２ｎ−２＋７／８×Ｐ２ｎ
Ｐ’２ｎ＋１ ＝ ７／８×Ｐ２ｎ＋１＋１／８×Ｐ２ｎ＋３
の演算による補正とを、１フィールド毎に交互に行い、
前記処理手段から出力される信号に対して、前記連続する２つのフィールド間で、インターレース関係となるように、重心位置を補正するずらし処理手段を更に有することを特徴とする請求項１９に記載の信号処理装置。 - 前記ずらし処理手段は、補正する対象の信号の行をＰＮ、重心ずれ補正後の信号の行をＰ’Ｎ（Ｎは共に自然数）とした場合に
Ｐ’Ｎ ＝ １／４×ＰＮ−１＋３／４×ＰＮ
Ｐ’Ｎ＝ ３／４×ＰＮ＋１／４×ＰＮ＋１
の演算による補正を、１フィールド毎に交互に行う
ことを特徴とする請求項２１に記載の信号処理装置。 - 請求項１乃至２２のいずれかに記載の信号処理装置を有する撮像装置。
- 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法であって、
前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、
前記処理工程で出力される信号の重心位置を等間隔に補正して出力する補正工程と
を有することを特徴とする信号処理方法。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法であって、
前記撮像素子から入力した信号に対して、所定の画像処理を行う処理工程と、
前記処理工程で出力される信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程と
を有することを特徴とする信号処理方法。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法であって、
前記撮像素子から入力した信号の重心位置を等間隔に補正して出力する補正工程と、
前記補正工程で出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程と
を有することを特徴とする信号処理方法。 - 原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、フィールド毎に異なる組み合わせで、１行おきに同じ色の受光素子から得られる信号を加算して読み出す撮像素子から出力される画像信号を処理する信号処理方法であって、
前記撮像素子から入力した信号を、連続する２フィールド間でインターレース関係となるように重心位置を等間隔に補正して出力する補正工程と、
前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理工程と
を有することを特徴とする信号処理方法。 - 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至２２のいずれかに記載の信号処理装置として機能させることを特徴とするプログラム。
- 請求項２４乃至２７のいずれかに記載の信号処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
- 請求項２８又は２９に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309899A JP2004147093A (ja) | 2002-10-24 | 2002-10-24 | 信号処理装置及び方法、及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309899A JP2004147093A (ja) | 2002-10-24 | 2002-10-24 | 信号処理装置及び方法、及び撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004147093A true JP2004147093A (ja) | 2004-05-20 |
Family
ID=32455579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002309899A Withdrawn JP2004147093A (ja) | 2002-10-24 | 2002-10-24 | 信号処理装置及び方法、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004147093A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7456866B2 (en) | 2002-10-24 | 2008-11-25 | Canon Kabushiki Kaisha | Correction of barycenters of signals obtained by adding and reading charges accumulated in solid-state image sensing device |
| JP2010193200A (ja) * | 2009-02-18 | 2010-09-02 | Nikon Corp | 撮像装置および撮像素子出力制御方法 |
| US8107775B2 (en) | 2007-02-09 | 2012-01-31 | Olympus Imaging Corp | Image processing apparatus and method, and electronic camera |
| US8330839B2 (en) | 2005-07-28 | 2012-12-11 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| US8416339B2 (en) | 2006-10-04 | 2013-04-09 | Omni Vision Technologies, Inc. | Providing multiple video signals from single sensor |
| JP2013197610A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
| JP2013197613A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
| JP2013229833A (ja) * | 2012-04-27 | 2013-11-07 | Hitachi Consumer Electronics Co Ltd | 撮像装置 |
| US8711452B2 (en) | 2005-07-28 | 2014-04-29 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| US8836813B2 (en) | 2010-10-20 | 2014-09-16 | Panasonic Corporation | Image processing device and image processing method |
-
2002
- 2002-10-24 JP JP2002309899A patent/JP2004147093A/ja not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7456866B2 (en) | 2002-10-24 | 2008-11-25 | Canon Kabushiki Kaisha | Correction of barycenters of signals obtained by adding and reading charges accumulated in solid-state image sensing device |
| US8330839B2 (en) | 2005-07-28 | 2012-12-11 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| US8711452B2 (en) | 2005-07-28 | 2014-04-29 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| US8416339B2 (en) | 2006-10-04 | 2013-04-09 | Omni Vision Technologies, Inc. | Providing multiple video signals from single sensor |
| US8107775B2 (en) | 2007-02-09 | 2012-01-31 | Olympus Imaging Corp | Image processing apparatus and method, and electronic camera |
| JP2010193200A (ja) * | 2009-02-18 | 2010-09-02 | Nikon Corp | 撮像装置および撮像素子出力制御方法 |
| US8836813B2 (en) | 2010-10-20 | 2014-09-16 | Panasonic Corporation | Image processing device and image processing method |
| JP2013197610A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
| JP2013197613A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 撮像装置、画像処理装置及び画像処理プログラム |
| JP2013229833A (ja) * | 2012-04-27 | 2013-11-07 | Hitachi Consumer Electronics Co Ltd | 撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3991543B2 (ja) | 撮像装置 | |
| US9154688B2 (en) | Solid-state image capture element, image capture device, and focus control method | |
| JP4142340B2 (ja) | 撮像装置 | |
| US20060158537A1 (en) | Imaging apparatus | |
| US8885089B2 (en) | Imaging device and focusing control method | |
| JPH10234047A (ja) | 単板式カラーカメラ | |
| JPH10336686A (ja) | 撮像装置 | |
| JP2004147093A (ja) | 信号処理装置及び方法、及び撮像装置 | |
| US8970748B2 (en) | Imaging device, storage medium storing a control program for imaging device, and control method for imaging device | |
| US7456866B2 (en) | Correction of barycenters of signals obtained by adding and reading charges accumulated in solid-state image sensing device | |
| US6795119B1 (en) | Solid-state image pickup apparatus for producing image signals with pixel signals mixed in a horizontal direction and a signal reading method for the same | |
| JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| US20040263645A1 (en) | Sequential scan imaging device | |
| JP4086618B2 (ja) | 信号処理装置及び方法 | |
| CN110169054B (zh) | 摄像装置、摄像方法 | |
| JP2010268354A (ja) | イメージセンサ及びそのイメージセンサを備える撮像装置 | |
| JP3767367B2 (ja) | 撮像装置 | |
| JPH06269010A (ja) | 色分解光学系，撮像方法，及び撮像装置 | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| KR100665489B1 (ko) | 촬상 장치 및 촬상 방법 | |
| JP3836198B2 (ja) | Ｙ／ｃ分離装置 | |
| JP3651477B2 (ja) | 画像信号処理装置 | |
| JP3767338B2 (ja) | 撮像装置 | |
| JP2000244821A (ja) | 撮像装置 | |
| JP2000261817A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |