JP2012009937A - 撮像装置 - Google Patents

Abstract

【課題】ＣＣＤ撮像素子から出力される画像信号の感度を向上し解像度を維持する。
【解決手段】ＣＣＤを用いた撮像装置において、赤緑青の色分解光学系と固体撮像素子を用い緑の固体撮像素子に対し赤青の固体撮像素子を水平方向に半画素ずらした撮像装置において、奇数走査線では緑が４Ｎ＋１，４Ｎ＋２，４Ｎ＋３，４Ｎ＋４の画素の信号電荷を加算し赤青が４Ｎ＋３，４Ｎ＋４，４Ｎ＋５，４Ｎ＋６の画素の信号電荷を加算、で青同一の水平２画素加算し、色差信号のレベルが小さいまたは色の薄い画面部分は輝度信号の高周波数成分を赤と緑とを交互に補間した信号の高周波数成分に差し替え、色差信号の多いまたは色の濃い画面部分は上下走査線信号の高周波数成分で補間する。
【選択図】図３Ａ

Description

本発明は、固体撮像素子を有するカラー撮像装置の感度向上に関するものである。

ＣＣＤ（Charge Coupled Device）撮像素子は、固体撮像素子の中でも、感度が高く、暗電流レベルが異常に高い白キズと呼ばれる画素が少ない。しかし、高温度時、高感度撮像時、および蓄積時には、白キズが多い。さらに、ＣＣＤ撮像素子の近赤外感度を高くするためには、フォトダイオードの光電変換位置を深くすることとなり、白キズが増加する。そのため、ＣＣＤ撮像素子では、蓄積動作で感度を向上させると、さらに白キズが増加する。このような事情から、実効感度向上が制限される。

特開平１１−３５５７９４号公報 特開２００３−１０２０２１号公報 特開平９−２４７７０１号公報

ＴＩ製TC246RGB-B0 680 x 500 PIXEL IMPACTRON TM PRIMARY COLOR CCD IMAGE SENSOR SOCS087 - DECEMBER 2004 - REVISED MARCH 2005

上述の従来技術には、ＣＣＤ撮像素子を蓄積動作で感度を向上させようとすると、白キズが増加するため、実効感度向上が制限される問題があった。

そこで、赤緑青それぞれの色分解光学系と、固体撮像素子を３ヶ用いたカラーテレビジョンカメラ等のカラー撮像装置において、従来は、昼の高解像度のため緑の固体撮像素子に対し、赤と青の固体撮像素子を水平方向に半画素ずらし、映像信号の高周波数成分を、緑と赤青の交互に出力して高解像度化していた（特許文献１参照。）。
また、高感度撮像を実現するため、赤緑青同一の順番で水平２画素加算し、輪郭強調周波数を低下させ、高感度撮像の雑音を低減させていた（特許文献２参照。）。
さらには、上下走査線の信号で補間して輪郭強調し、雑音を低減させていた。

また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（Digital Signal Processor）だけでなく、安価な汎用のＦＰＧＡ（Field Programmable Gate Array）でも容易に実現できるようになった。ただし、信号処理階調を減らすようにしないと回路規模が増大する。従って、肌色などの特定の色相を画素単位で検出し、特定の色相の画素のみ色を補正している（特許文献３参照。）。

さらに、ＣＣＤ撮像素子から出力された信号から、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control、以下ＡＧＣと称する）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog to Digital Converter）とを内蔵したＡＦＥ（Analog Front End）が普及してきた。ＡＦＥのＡＤＣ階調は、従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。ＡＤＣを２２ビットとし、ＡＧＣをＡＤＣの後に配置したＡＦＥも製品化された。

Ｉｎｔｅｒｌｉｎｅ Ｔｒａｎｓｆｅｒ−ＣＣＤ撮像素子（以下、ＩＴ−ＣＣＤと称する）は、単価が安い割に感度が高い。さらに、電子増倍型ＣＣＤ撮像素子（Electron Multiplying−ＣＣＤ、以下ＥＭ−ＣＣＤと称する）は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。

本発明の目的は、ＣＣＤ撮像素子から出力される画像信号の感度を向上し、解像度を維持することである。

上記の課題を解決するため、本発明は、赤緑青の色分解光学系と、前記色分解光学系で分離された赤緑青の光をそれぞれを受光し電気信号に変換して出力する赤緑青それぞれの固体撮像素子と、前記電気信号から雑音を除去し、暗電流補正と信号の利得を調整し、デジタル映像信号に変換して出力する赤緑青それぞれの回路と、前記それぞれの回路から出力される赤緑青それぞれのデジタル信号に種々の映像処理を施し、所定方式の映像信号に変換して出力する映像信号処理部と、撮像装置を制御する制御部とを備える撮像装置において、前記映像信号処理部は、緑の固体撮像素子に対し赤青の固体撮像素子を水平方向に半画素ずらし、前記赤緑青の各色の偶数の水平画素を加算し、各走査線で緑の水平画素加算の組み合わせと、赤青の水平画素加算の組み合わせとを交互にし、さらに、奇数走査線と偶数走査線とで、緑と赤青との水平画素加算の組み合わせを入れ替え、色の薄い画面部分を高周波信号は赤緑青の高周波数成分を赤と緑とを交互にした信号で補間するものである。
また、上記発明の撮像装置は、色の薄い画面部分または色差信号のレベルが小さい画面部分について赤緑青の高周波数成分を赤と緑とを交互にした信号で補間することと、補間した赤緑青の高周波数成分を各補間した赤緑青の上下走査信号の平均の高周波数成分で補間することと、の少なくとも一方を行うことを特徴とする。
さらに、上記発明の撮像装置は、色差信号のレベルが小さい画面部分または色差信号のレベルが小さい画面部分について、赤緑青の高周波数成分を赤と緑とを交互にした信号で補間するものである。

さらに上記発明の撮像装置において、奇数走査線では、緑の画素の信号電荷を水平４画素加算し、赤青の画素の信号電荷を緑の画素より２画素水平にずらした画素の信号電荷について水平４画素加算し、偶数走査線では、前記赤青の水平４画素加算と同じ水平位置の緑の画素の信号電荷を水平４画素加算し、前記緑の水平４画素加算と同じ水平位置の赤青の画素の信号電荷を水平４画素加算するものである。
また、上記発明の撮像装置において、色差信号のレベルが小さい画面部分または色の薄い画面部分について赤緑青の高周波数成分を赤と緑とを交互にした信号で補間し、色差信号のレベルの大きい画面部分または色の濃い画面部分について赤緑青の高周波数成分を各赤緑青の上下走査信号の平均の高周波数成分で補間することを特徴とする。

またさらに、上記発明の撮像装置において、奇数走査線では、緑の画素の信号電荷を水平２画素加算し、赤青の画素の信号電荷を緑の画素より１画素水平にずらした画素の水平２画素加算し、偶数走査線では、前記赤青の水平２画素加算と同じ水平位置の緑の画素の信号電荷を水平２画素加算し、前記緑の水平２画素加算と同じ水平位置の赤青の画素の信号電荷を水平２画素加算するものである。
また、上記発明の撮像装置において、前記赤緑青の各色を各赤緑青の上下走査線信号の平均の高周波数成分で補間し、色差信号のレベルが小さい画面部分または色の薄い画面部分について、前記赤緑青の高周波数成分を赤と緑とを交互にした信号で補間するものである。

本発明によれば、ＣＣＤ撮像素子から出力される画像信号の感度を向上しても、解像度を維持できる。

本発明の撮像装置の一実施例の全体構成を示すブロック図である。 本発明の撮像装置の一実施例の全体構成を示すブロック図である。 本発明の撮像装置の映像信号処理部の画素補間部の一実施例を示すブロック図である。 本発明の撮像装置の映像信号処理部の画素補間部の一実施例を示すブロック図である。 本発明の撮像装置の一実施例の動作を説明するための模式図である。 本発明の撮像装置の一実施例の動作を説明するための模式図である。 本発明の撮像装置の一実施例の動作を説明するための模式図である。 従来技術の撮像装置の動作を示す模式図である。 従来技術の全体構成の撮像装置の一例を示すブロック図である。 従来技術の全体構成の撮像装置の一例を示すブロック図である。

本発明は、赤緑青それぞれの色分解光学系と、３ヶの固体撮像素子とを用い、緑色の固体撮像素子に対し、赤色および青色の固体撮像素子を水平方向に半画素ずらして出力する撮像装置であって、
赤緑青各色の偶数の水平画素を加算し、各走査線で緑色の水平画素加算の組み合わせと、赤色と青色の水平画素加算の組み合わせとを交互に行い、さらに、奇数走査線と偶数走査線とで、緑と赤青との水平画素加算の組み合わせを入れ替え、
色差信号のレベルが小さい（つまり色の薄い）画面部分は、赤緑青の高周波数成分を赤と緑とを交互にした信号で補間するか、補間した赤緑青の高周波数成分を各補間した赤緑青の上下走査信号の平均の高周波数成分で補間するか、の少なくとも一方を行うものである。

具体的には、（Ｉ）赤緑青の色分解光学系と固体撮像素子を３ヶ用い、緑の色分解光学系に対応する固体撮像素子に対し、赤および青の色分解光学系に対応する固体撮像素子を水平方向に半画素ずらして信号を出力する撮像装置において、奇数走査線では、緑が４Ｎ＋１，４Ｎ＋２，４Ｎ＋３，４Ｎ＋４の画素の信号電荷を水平４画素加算し、赤青が４Ｎ＋３，４Ｎ＋４，４Ｎ＋５，４Ｎ＋６の画素の信号電荷を水平４画素加算する。また、偶数走査線では、緑が４Ｎ＋３，４Ｎ＋４，４Ｎ＋５，４Ｎ＋６の画素の信号電荷を水平４画素加算し、赤青が４Ｎ＋１，４Ｎ＋２，４Ｎ＋３，４Ｎ＋４の画素の信号電荷を水平４画素加算する。さらに、色差信号のレベルが小さい（つまり、色の薄い）画面部分は、赤緑青の高周波数成分を赤と緑とを交互にした信号で補間し、色差信号のレベルが大きい（つまり、色の濃い）画面部分は、赤緑青の高周波数成分を各赤緑青の上下走査信号の平均の高周波数成分に補間する。ここで、Ｎは０以上の整数である。

また、（ＩＩ）赤緑青の色分解光学系と固体撮像素子を３ヶ用い、緑の色分解光学系に対応する固体撮像素子に対し、赤および青の色分解光学系に対応する固体撮像素子を水平方向に半画素ずらして信号を出力する撮像装置において、Ｎを０以上の整数とし、奇数走査線では、緑が２Ｎ＋１，２Ｎ＋２の画素の信号電荷を水平２画素加算し、赤青が２Ｎ＋２，２Ｎ＋３の画素の信号電荷を水平２画素加算する。さらに、偶数走査線では、緑が２Ｎ＋２，２Ｎ＋３の画素の信号電荷を水平２画素加算し、赤青が２Ｎ＋１，２Ｎ＋２の画素の信号電荷を水平２画素加算し、赤緑青の各色を各赤緑青の上下走査線信号の平均の高周波数成分で補間する。またさらに、色差信号のレベルが小さい（つまり、色の薄い）画面部分は赤緑青の高周波数成分を赤と緑とを交互にした信号で補間する。

本発明の撮像装置は、上記（Ｉ）または上記（ＩＩ）の、少なくとも一方を行うものである。
さらに上記の撮像装置において、５以上の走査線信号から垂直輪郭補正信号を作成するものである。

以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
また、本書では、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、説明を省略する。

図１Ａ、図１Ｂ、図２Ａ、図２Ｂおよび図３Ａを用いて本発明の一実施例の全体構成を説明する。図１Ａと図１Ｂは、それぞれ、本発明の一実施例の全体構成の撮像装置を示すブロック図である。図２Ａと図２Ｂは、本発明の一実施例の映像信号処理部の画素補間部を示すブロック図である。図３Ａは、本発明の一実施例の動作を説明するための模式図である。図３Ａによって本発明の一実施例の水平４画素加算動作を説明する。なお、図２Ｂの説明は、後述する。

図１Ａ、図１Ｂにおいて、１は撮像装置、２は入射光を結像するレンズ等の光学系で、３は赤緑青それぞれに色分解する色分解光学系、４は撮像装置１内の各部とレンズ２とを制御するＣＰＵ（Central Processing Unit）である。なお、ＣＰＵ４から各部への制御線は、図示した以外は省略している。
また図１Ａ、図１Ｂにおいて、６は読出垂直転送駆動部（Ｖ−ＴＧ）、７、８および９はＥＭ−ＣＣＤ撮像素子、１６、１７および１８はＩＴ−ＣＣＤ等のＣＣＤ撮像素子である。なお、ＥＭ−ＣＣＤ撮像素子７、８および９、並びに、ＣＣＤ撮像素子１６、１７および１８は、色分解光学系３から入射した赤緑青の各光を電気信号に変換する固体撮像素子である。なお、本明細書では、ＥＭ−ＣＣＤ撮像素子以外のＣＣＤ撮像素子を、ＣＣＤ撮像素子と称し、ＥＭ−ＣＣＤ撮像素子についてのみＥＭ−ＣＣＤ撮像素子と称する。

図１Ａの固体撮像素子を３ヶ用いたカラーテレビジョンカメラ等のカラー撮像装置では、赤緑青それぞれの色分解光学系３で赤緑青に分離された光は、それぞれＥＭ−ＣＣＤ撮像素子７、８、または９に入力し、ＥＭ−ＣＣＤ撮像素子７、８、または９は、入力された赤緑青の光を、それぞれ赤緑青の映像信号に変換して、リセット付ＣＤＳ２５、２６、２７を介してＡＦＥ１０、１１、１２にそれぞれ出力する。ＡＦＥ１０、１１、１２は、入力された映像信号について、雑音を除去し、暗電流補正し、ＡＧＣ処理したデジタル映像信号Ｖｉに変換し、映像信号処理部５に出力する。映像信号処理部５は、入力された赤のデジタル映像信号ＲＶｉ、緑のデジタル映像信号ＧＶｉ、および青のデジタル映像信号ＢＶｉについて、後述する映像信号処理を行い、映像信号（Ｖｉｄｅｏ ＯＵＴ）を出力する。
また、図１Ｂの固体撮像素子を３ヶ用いたカラーテレビジョンカメラ等のカラー撮像装置では、赤緑青それぞれの色分解光学系３で赤緑青に分離された光は、それぞれＣＣＤ撮像素子１６、１７、または１８に入力し、ＣＣＤ撮像素子１６、１７、または１８は、入力された赤緑青の光を、それぞれ赤緑青の映像信号に変換して、リセット付ＣＤＳ２５、２６、２７を介してＡＦＥ１０、１１、１２にそれぞれ出力する。以下図１Ａと同様なので説明を省略する。

即ち、ＡＦＥ１０、１１および１２は、ＥＭ−ＣＣＤ撮像素子７、８および９またはＣＣＤ撮像素子１６、１７および１８から出力された信号から雑音を除去するＣＤＳ、暗電流補正と信号の利得を調整するＡＧＣ、デジタル映像信号Ｖｉに変換するＡＤＣ、並びに水平同期発生部（Timing-Generator：ＴＧ）からなる。但し、ＡＧＣやＴＧがＡＦＥに含まれない構成を用いても良い。さらに１３、１４および１５はＣＭＧ駆動部、１９および２０は水平転送駆動部（Ｈ−ＴＧ）である。
また図１Ａ、図１Ｂにおいて、映像信号処理部５は、ＡＦＥ１０、１１および１２からそれぞれ出力された信号に種々の映像処理を施し、ＮＴＳＣ（National Television System Committee）方式またはＰＡＬ（Phase Alternating by Line）方式の複合映像信号（Video Burst Sync、以下ＶＢＳと称する）またはＳＤＩ（Serial Digital Interface）映像信号、あるいはＨＤＴＶ（High Definition Tele-Vision）のＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する。

図１Ａおよび図１Ｂの本発明の撮像装置の全体構成の一実施例を示すブロック図と、図５Ａおよび図５Ｂの従来技術の撮像装置の全体構成の一例を示すブロック図との相違は、図１Ａおよび図１Ｂに水平転送駆動部（Ｈ−ＴＧ）１９、２０が追加され、映像信号処理部１に、画素補間部を含むことである。また映像信号処理部２４にも、独立マスキング用に色相検出部を含む。

図３Ａは、本発明の撮像装置の一実施例の水平４画素加算動作を示す模式図である。図３Ａにおいて、奇数走査線では、緑が４Ｎ＋１，４Ｎ＋２，４Ｎ＋３，４Ｎ＋４の画素の信号電荷を水平４画素加算し、赤青が４Ｎ＋３，４Ｎ＋４，４Ｎ＋５，４Ｎ＋６の画素の信号電荷を水平４画素加算する。また偶数走査線では、緑が４Ｎ＋３，４Ｎ＋４，４Ｎ＋５，４Ｎ＋６の画素の信号電荷を水平４画素加算し、赤青が４Ｎ＋１，４Ｎ＋２，４Ｎ＋３，４Ｎ＋４の画素の信号電荷を水平４画素加算する。さらに、色差信号のレベルが小さい（つまり、色の薄い）画面部分は、赤と緑とを交互に補間した信号に赤緑青の高周波数成分を補間し、色差信号のレベルが大きい（つまり、色の濃い）画面部分は、上下走査信号の平均の高周波数成分に赤緑青の高周波数成分を補間する。なお、Ｎは０以上の整数である。
なお、Ｈ−ＴＧ１９および２０を非加算の通常水平転送駆動の１つにして、高速論理ＩＣでリセットパルスを間引き、奇数走査線と偶数走査線とを交互に、かつ緑と赤青とを交互にすることによって、水平４画素の信号電荷を加算しても良い。好ましくは、高速論理ＩＣは映像信号処理部５に内蔵される。また好ましくは、高速論理ＩＣ撮像装置１または２１に外付けするようにしても良い。

また図３Ａの＜Ｒ−Ｙ小 ＧＶｏｍ＞に示すように、赤の色差信号Ｒ−Ｙのレベルが小さい（つまり、色の薄い）画面部分では、ＧＶｏｍは、（１）ＲＶｉｍの４Ｎ＋２と４Ｎ＋３との加算信号、（３）ＧＶｉｍの４Ｎ＋４と４Ｎ＋５との加算信号、（５）ＲＶｉｍの４Ｎ＋６と４Ｎ＋７の加算信号というように補間されていく。
さらに、図３Ａの＜Ｒ−Ｙ大 ＧＶｏｍ＞に示すように、赤の色差信号Ｒ−Ｙのレベルが大きい（つまり、色の濃い）画面部分では、ＧＶｏｍは、（２）上下走査線信号の平均となる（ＧＶｉｍ−１とＧＶｉｍ＋１）との走査線の４Ｎ＋２と４Ｎ＋３との加算信号の平均、（４）ＧＶｉｍの４Ｎ＋４と４Ｎ＋５との加算信号、（５）上下走査線信号の平均となる（ＧＶｉｍ−１とＧＶｉｍ＋１）との走査線の４Ｎ＋６と４Ｎ＋７との加算信号の平均というように補間され、高周波数成分が増強していく。
なお、実際の動作としては、補間は、合計値一定で色差レベルに従い連続的に比例を変えて加算していく。

ここで、図２Ａと図３Ａを用いて、本発明の撮像装置の映像信号処理部の画素補間部の一実施例を説明する。図２Ａにおいて、２３１〜２３６はラインメモリ、２３７〜２４２は偶数画素遅延部、２４３は可変増幅部、２４４、２５０〜２６７は加算器、２６８は高域通過濾波器（High-Pass-Filter：ＨＰＦ）、２６９〜２７１は低域通過濾波器（Low-Pass-Filter：ＬＰＦ）である。

図２Ａと図３Ａとにおいて、映像信号処理部５（図１Ａまたは図１Ｂ参照）の画素毎の色相検出の色差レベルに従い、連続的に加算平均していくと共に、赤と緑との合計が１となるように可変増幅部の増幅度を可変し画素補間していく。

また、低域通過濾波器（Low-Pass-Filter）と高域通過濾波器（High-Pass-Filter）と加算器とで、補間信号の高周波数成分は、補間信号のＲ＋Ｇに差し替える。

このように、上記の実施例１によれば、水平４画素の信号電荷を加算することにより、雑音はそのままで、感度は４倍になる。水平解像度も水平画素の１／２が確保できる。なお、４画素加算なら、半画素ずらしは、±１／８と無視できる割合であり、輪郭の色ずれも目立たない。

実施例２は、実施例１とは、図１Ａと図１Ｂが共通であり、図２Ａの偶数画素遅延が４画素から２画素、図２Ｂの遅延が２画素から半画素になり、水平画素加算動作を示す模式図が２画素加算動作を示す図３Ｂとなる。なお、実施例１と共通部分の構成と動作についての説明は、同一なので省略する。
また、比較のため、従来の撮像装置の一実施例の水平２画素加算動作を図４に示す。

図２Ｂは、本発明の一実施例の多走査線（Ｈ）垂直輪郭補正回路の詳細ブロック図である。
図２Ｂにおいて、３２０〜３２６、３３３は加算器であり、Ｍ１〜Ｍ７はラインメモリ部であり、Ｎ１〜Ｎ３とＮ５〜Ｎ７は負の掛け算器であり、Ｐ４は正の掛け算器である。さらに、３２７はレベル検出器であり、３３１は小振幅大振幅の圧縮制限器であり、３３２は正負と増幅度を可変する掛け算器である。
図２Ｂでは、オーバーシュートやアンダーシュートによる垂直輪郭の前後に偽の負の垂直輪郭が発生し、映像信号処理部における輪郭検出誤りや雑音の防止、輪郭が過剰に強くなるのを防止するため、小振幅大振幅の圧縮制限器３３１において小振幅の輪郭補正信号は圧縮制限しているる。さらに輪郭が過剰に強くなるのを防止するため、レベル検出器３２７で暗部を検出し、正負と増幅度を可変する掛け算器３３２で暗部の輪郭補正信号を減衰させる。そして、加算器３３３で４Ｈ映像信号に加算し垂直輪郭７Ｈ５Ｈ３Ｈ補正後の映像信号としている。

実施例２の実施形態は、赤緑青の色分解光学系と固体撮像素子を３ヶ用い、緑の固体撮像素子に対し赤青の固体撮像素子を水平方向に半画素ずらした撮像装置において、奇数走査線では、緑が２Ｎ＋１，２Ｎ＋２の画素の信号電荷を水平２画素加算し、赤青が２Ｎ＋２，２Ｎ＋３の画素の信号電荷を水平２画素加算する。
また、偶数走査線では、緑が２Ｎ＋２，２Ｎ＋３の画素の信号電荷を水平２画素加算し、赤青が２Ｎ＋１，２Ｎ＋２の画素の信号電荷を水平２画素加算し、かつ、赤緑青の各色を各赤緑青の上下走査線信号の平均の高周波数成分で補間し、色差信号のレベルが小さい（つまり、色の薄い）画面部分は、赤緑青の高周波数成分を赤と緑とを交互にした信号で補間する。なお、Ｎは０以上の整数である。
なお、Ｈ−ＴＧ１９および２０を非加算の通常水平転送駆動の１つにして、高速論理ＩＣでリセットパルスを間引き、奇数走査線と偶数走査線と交互に、かつ緑と赤青と交互に水平２画素の信号電荷を加算しても良い。好ましくは、高速論理ＩＣは映像信号処理部５に内蔵される。また好ましくは、高速論理ＩＣ撮像装置１または２１に外付けするようにしても良い。

図３Ｂにおいて、赤の色差信号Ｒ−Ｙのレベルが小さい（つまり、色の薄い）画面部分では、（１）ＧＶｏｍはＧＶｉｍの２Ｎ＋１と２Ｎ＋２との加算信号、（２）ＲＶｉｍの２Ｎ＋１と２Ｎ＋２との加算信号、（３）上下走査線信号の平均となるＧＶｉｍ−１とＧＶｉｍ＋１との走査線の２Ｎ＋２と２Ｎ＋３との加算信号の平均、（４）上下走査線信号の平均となるＲＶｉｍ−１とＲＶｉｍ＋１との走査線の２Ｎ＋２と２Ｎ＋３との加算信号の平均、（５）ＧＶｉｍの２Ｎ＋３と２Ｎ＋４との加算信号、（６）ＲＶｉｍの２Ｎ＋３と２Ｎ＋４との加算信号、（７）上下走査線信号の平均となるＧＶｉｍ−１とＧＶｉｍ＋１との２Ｎ＋３と２Ｎ＋４との加算信号の平均、（８）上下走査線信号の平均となるＲＶｉｍ−１とＲＶｉｍ＋１との２Ｎ＋３と２Ｎ＋４との加算信号の平均、（９）ＧＶｉｍの２Ｎ＋５と２Ｎ＋６との加算信号、（１０）ＲＶｉｍの２Ｎ＋５と２Ｎ＋６との加算信号、（１１）上下走査線信号の平均となるＧＶｉｍ−１とＧＶｉｍ＋１との２Ｎ＋５と２Ｎ＋６との加算信号の平均、（１２）上下走査線信号の平均となるＲＶｉｍ−１とＲＶｉｍ＋１との２Ｎ＋５と２Ｎ＋６との加算信号の平均、（１３）ＧＶｉｍの２Ｎ＋７と２Ｎ＋８との加算信号、（１４）ＲＶｉｍの２Ｎ＋７と２Ｎ＋８との加算信号、（１５）上下走査線信号の平均となるＧＶｉｍ−１とＧＶｉｍ＋１との走査線の２Ｎ＋７と２Ｎ＋８との加算信号の平均、（１６）上下走査線信号の平均となるＲＶｉｍ−１とＲＶｉｍ＋１との走査線の２Ｎ＋７と２Ｎ＋８との加算信号の平均、というように補間されて高周波数成分が増強していく。

上記実施例２によれば、水平２画素の信号電荷を加算することにより、雑音はそのままで、感度は２倍になる。水平解像度も水平画素の２倍確保できる。水平２画素加算して上下走査線信号で補間してから赤緑での半画素ずらし補間で、水平画素加算しない場合と同様に、水平半画素ずらしにより水平解像度が倍増し、輪郭の色ずれも目立たない。

実施例１では、赤緑青の色分解光学系と固体撮像素子を３ヶ用い、緑の色分解光学系に対応する固体撮像素子に対し、赤および青の色分解光学系に対応する固体撮像素子を水平方向に半画素ずらして信号を出力する撮像装置において、水平４画素加算を行い、実施例２では、水平２画素加算を行っている。しかし、４画素または２画素のどちらかを用いる必要はなく、ＮＴＳＣ方式等所定方式の映像信号に応じて、加算する水平画素の数は任意に設定して良い。
この場合、例えば、水平加算する画素数をＫ（Ｋは２以上の偶数）として、奇数走査線での緑の水平画素がＫＮ＋１、ＫＮ＋２、・・・の画素の信号電荷を加算する場合に、赤青の水平画素が（ＫＮ＋１）＋Ｋ／２、（ＫＮ＋２）＋Ｋ／２、・・・の画素の信号電荷を加算する。かつ、偶数走査線での緑の水平画素が（ＫＮ＋１）＋Ｋ／２、（ＫＮ＋２）＋Ｋ／２、・・・の画素の信号電荷を加算する場合に、赤青の水平画素がＮ＋１、ＫＮ＋２、・・・の画素の信号電荷を加算するようにしても良い。
また、別の実施例として、奇数走査線での緑の水平画素がＫＮ＋１、ＫＮ＋２、・・・の画素の信号電荷を加算する場合に、赤青の水平画素が（ＫＮ＋１）＋Ｌ、（ＫＮ＋２）＋Ｌ、・・・の画素の信号電荷を加算する。かつ、偶数走査線での緑の水平画素が（ＫＮ＋１）＋Ｌ、（ＫＮ＋２）＋Ｌ、・・・の画素の信号電荷を加算する場合に、赤青の水平画素がＮ＋１、ＫＮ＋２、・・・の画素の信号電荷を加算するようにしても良い（Ｌは０以上の整数、Ｌ＜Ｋ）。

図２Ｂと図３Ｃによって本発明の撮像装置の動作の一実施例を説明する。
図３Ｃは、本発明の一実施例の多走査線（Ｈ）垂直輪郭補正を示す模式図である。図３Ｃにおいて、（ａ）は垂直輪郭補正前信号、（ｂ）は垂直輪郭７Ｈ成分補正信号、（ｃ）は垂直輪郭５Ｈ成分補正信号、（ｄ）は垂直輪郭補正信号３Ｈ成分、（ｅ）は垂直輪郭７Ｈ５Ｈ３Ｈ補正後信号、（ｆ）は垂直輪郭３Ｈ補正後信号である。図３Ｃ（ａ）〜（ｆ）の横軸は、それぞれ映像信号レベルである。
図２Ｂの本発明の一実施例の映像信号処理部の輪郭補正部では、５以上の走査線信号から垂直輪郭補正信号を作成する。

図３Ｃにおいて、垂直輪郭補正前信号（ａ）の垂直輪郭補正７Ｈ成分と、垂直輪郭５Ｈ成分補正信号（ｃ）の垂直輪郭補正５Ｈ成分と、垂直輪郭補正信号３Ｈ成分（ｄ）の垂直輪郭補正３Ｈ成分とを加算することにより、垂直輪郭７Ｈ５Ｈ３Ｈ補正後信号（ｅ）は、垂直輪郭が再生され、オーバーシュートやアンダーシュートによる画像処理装置３における輪郭検出誤りがほとんどなくなり、輪郭検出が容易となる。
また、本発明では、垂直輪郭５Ｈ成分補正信号（ｃ）の垂直輪郭補正５Ｈ成分と、垂直輪郭補正信号３Ｈ成分（ｄ）とを加算することにより、垂直輪郭７Ｈ５Ｈ３Ｈ補正後信号（ｅ）は垂直輪郭がおおよそ再生され、輪郭検出誤りが少なく輪郭検出が容易となる。
それに対し、垂直輪郭３Ｈ補正後信号（ｆ）は、従来の可視光用垂直輪郭補正を適用した垂直輪郭３Ｈ補正後信号であり、オーバーシュートやアンダーシュートによる垂直輪郭の前後に偽の負の垂直輪郭が発生し、輪郭検出誤りが多くなる。
なお、雑音を防止し輪郭が過剰に強くなるのを防止するため、本発明でも、従来と同様に、小振幅大振幅の圧縮制限器３１において小振幅の輪郭補正信号は圧縮制限する。
さらに、本発明では、輪郭が過剰に強くなるのを防止するため、映像レベル判定器３２７で暗部を検出し、正負と増幅度を可変する掛け算器３３２で暗部の輪郭補正信号を減衰させる。そして、加算器３３３で４Ｈ映像信号に加算し、垂直輪郭７Ｈ５Ｈ３Ｈ補正後の映像信号とする。

以上、ＩＴ−ＣＣＤ撮像素子とＥＭ−ＣＣＤ撮像素子を用いた撮像装置について詳細に説明した。しかし、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外のＣＣＤ撮像素子を用いた撮像装置に広く適用することができることは言うまでもない。

１：撮像装置、 ２：光学系、 ３：色分解光学系、 ４：ＣＰＵ、 ５：映像信号処理部、 ６：Ｖ−ＴＧ、 ７、８、９：ＥＭ−ＣＣＤ撮像素子、 １０、１１、１２：ＡＦＥ、 １３、１４、１５：ＣＭＧ駆動部、 １６、１７、１８：ＣＣＤ撮像素子、 １９、２０：Ｈ−ＴＧ、 ２１、２２、２３：撮像装置、 ２４：映像信号処理部、 ２５、２６、２７：リセット付ＣＤＳ、 ２３１〜２３６：ラインメモリ、 ２３７〜２４２：偶数画素遅延部、 ２４３：可変増幅部、 ２４４、２５０〜２６７：加算器、 ２６８：ＨＰＦ、 ２６９〜２７１：ＬＰＦ、 ３２０〜３２６、３３３：加算器、 ３２７：レベル検出器、 ３３１：圧縮制限器、 ３３２：掛け算器、 Ｍ１〜Ｍ７：ラインメモリ部、 Ｎ１〜Ｎ３、Ｎ５〜Ｎ７：負の掛け算器、 Ｐ４：正の掛け算器。

Claims (3)

1. 赤緑青の色分解光学系と、前記色分解光学系で分離された赤緑青の光をそれぞれを受光し電気信号に変換して出力する赤緑青それぞれの固体撮像素子と、前記電気信号から雑音を除去し、暗電流補正と信号の利得を調整し、デジタル映像信号に変換して出力する赤緑青それぞれの回路と、前記それぞれの回路から出力される赤緑青それぞれのデジタル信号に種々の映像処理を施し、所定方式の映像信号に変換して出力する映像信号処理部と、撮像装置を制御する制御部とを備える撮像装置において、
   前記映像信号処理部は、緑の固体撮像素子に対し赤青の固体撮像素子を水平方向に半画素ずらし、前記赤緑青の各色の偶数の水平画素を加算し、各走査線で緑の水平画素加算の組み合わせと、赤青の水平画素加算の組み合わせとを交互にし、さらに、奇数走査線と偶数走査線とで、緑と赤青との水平画素加算の組み合わせを入れ替え、
   色の薄い画面部分を高周波信号について赤緑青の高周波数成分を赤と緑とを交互にした信号で補間することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置の前記映像信号処理部において、前記色の薄い画面部分について、色差信号のレベルが小さい画面部分であることを特徴とする撮像装置。
3. 請求項１または請求項２記載の撮像装置において、
   奇数走査線では、緑の画素の信号電荷を水平４画素加算し、赤青の画素の信号電荷を緑の画素より２画素水平にずらした画素の信号電荷について水平４画素加算し、
   偶数走査線では、前記赤青の水平４画素加算と同じ水平位置の緑の画素の信号電荷を水平４画素加算し、前記緑の水平４画素加算と同じ水平位置の赤青の画素の信号電荷を水平４画素加算することを特徴とする撮像装置。

Images