JP2016051987A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】モアレを少なく変調度を高くする。【解決手段】４板撮像装置において（ベイヤー配列に）Ｇ１ＲとＢＧ２画素を配置し、Ｒ出力映像の低域成分はＲの信号とし、B出力映像の低域成分はBの信号とし、G出力映像の低域成分はＧ１の信号とＧ２の信号との平均値とし、低感度の撮像時はＧ１信号とＲ信号との交互の信号とＧ２信号とＢ信号と交互の信号との平均をＲ出力映像の高域成分とＧ出力映像の高域成分とＢ出力映像の高域成分とし、高感度や芝生の撮像時は、Ｇ１の信号とＧ２の信号の交互の信号をＲ出力映像の高域成分とＧ出力映像の高域成分とＢ出力映像の高域成分とする。【選択図】図２Ａ

Description

本発明は、撮像素子からの映像信号を変換して出力する機能を有する撮像装置に関する。

近年、テレビジョンカメラシステムのデジタル技術の進歩により、撮像装置の画素数が、１９２０ｘ１０８０画素（２Ｋと略称される）から、概略４０００ｘ２０００画素（４Ｋと略称される）や概略８０００ｘ４０００画素（８Ｋと略称される）が要求されている。
そこで、画素ずらしによる高解像度化として、空間画素ずらしをした多板式カラーカメラにおいて、空間画素ずらしによりサンプリング位相が相互に反転したＲ信号とＧ信号とを、上記サンプリング周波数の互いに逆位相でスイッチングして交互にＲ信号とＧ信号とが切り替わる信号を生成し、さらにＲ信号を混合してからバンドパスフイルタで帯域制限した後に、マトリクス回路出力の輝度信号と合成している。（特許文献１参照）。
さらに、空間画素ずらしをした多板式カラーカメラにおいて、 輝度信号（Ｙ）はＲ，Ｇ，Ｂ信号から固体撮像素子のサンプリング周期（１／ｆｓ）の半分の周期ごとに倍速クロックのマトリクス演算で生成し、倍速サンプリングで出力し、マトリクス演算前に、Ｒ， Ｂ信号の高域を定格より増幅させＲ，Ｂ信号の位相より、Ｇ信号の高域位相を所定の周期（１／ｆｓ）のほぼ半分遅延させる（特許文献２参照）。
ところで、Ｇ（緑）１の撮像素子をＧ２の撮像素子に対して水平方向に１／２画素ピッチずらし垂直方向に１／２画素ピッチずらして配置する。そして、得られたＧ１，Ｇ２の信号から垂直方向と水平方向の高域成分を演算し、これをＧの信号に加算して垂直方向と水平方向の解像度の向上を図る（特許文献３参照）。
また、撮像装置をＢ（青），Ｒ（赤），Ｇ（緑）１，Ｇ２の撮像素子による４板構成とする。Ｂ，Ｒの撮像素子をＧ２の撮像素子に対して垂直方向に１／２画素ピッチずらして配置する。そして、得られたＢ，Ｒの信号から垂直方向の高域成分を演算し、これをＧの信号に加算して垂直方向の解像度の向上を図る。また、Ｇ１，Ｇ２の撮像素子を水平方向に１／２画素ピッチずらして配置し、水平方向の解像度の向上を図る（特許文献４参照）。
また、撮像装置をＢ（青），Ｒ（赤），Ｇ（緑）１，Ｇ２の撮像素子による４板構成とする。Ｒの撮像素子をＧ２の撮像素子に対して垂直方向に１／２画素ピッチずらして配置する。Ｂの撮像素子をＲの撮像素子に対して垂直方向に１画素ピッチずらして配置する。そして、得られたＢ及びＲの信号から垂直方向の高域成分を演算し、これをＧの信号に加算して垂直方向の解像度の向上を図る。同一フィールドの信号から高域成分が得られるので、偽の信号発生が防止される。（特許文献５参照）。

色分解光学系と撮像素子を３枚用いるテレビジョンカメラは、ズームレンズの製作を容易にするため、軸上色収差の典型値分、赤の撮像素子と青の撮像素子の軸上位置を緑の撮像素子の軸上位置からオフセットさせて色分解光学系に貼り合せてある。
そのため、３枚用ズームレンズを色分解光学系分のダミーガラス付のアダプタを介して、単板カラー撮像素子と組み合わせると、軸上色収差の典型値分、赤の撮像素子と青の撮像素子の軸上位置を緑の撮像素子の軸上位置が異なり、赤と青の変調度が劣化する。
また、ギローバルシャッタと呼ばれるフォトダイオードから映像信号電荷を一斉に読出すＣＭＯＳ撮像素子は、高価である。フォーカルプレーンシャッタまたはローリングシャッタと呼ばれるフォトダイオードから映像信号電荷を順次読出すＣＭＯＳ撮像素子は低価格で低消費電力で高速読出し可能であるが、被写体が動くと、フォトダイオードから映像信号電荷を順次読出す時間分、被写体の画面位置で読出す時間が異なり、動く被写体が変形する。

特開平１１−３５５７９４号 特開２０００−２０９６０１号 特開平６−３３９１４６号 特開平７−３２７２３３号 特開平８−９８１９０号

本発明は、上記のような従来の事情に鑑みて為されたものであり、３枚用ズームレンズと組み合わせ、モアレが少なく解像度と変調度が高いカメラシステムを、（高速読出しが容易なＣＭＯＳ撮像素子を活用し、）簡易な構成により実現することを目的とする。

本発明では、色分解光学系とＲ（赤）とＧ（緑）１とＧ２とＢ（青）との撮像素子による４板構成とする撮像装置において、Ｇ１の撮像素子に対してＧ２の撮像素子を垂直方向に１／２画素ピッチ水平方向に１／２画素ピッチずらして配置し、
Ｒの撮像素子を垂直方向にＧ１の撮像素子と同一位置で水平方向にＧ２の撮像素子と同一位置に配置しＢの撮像素子を垂直方向にＧ２の撮像素子と同一位置で水平方向にＧ１の撮像素子と同一位置に配置するか、Ｒの撮像素子を垂直方向にＧ２の撮像素子と同一位置で水平方向にＧ１の撮像素子と同一位置に配置しＢの撮像素子を垂直方向にＧ１の撮像素子と同一位置で水平方向にＧ２の撮像素子と同一位置に配置するかのどちらか一方とし、
Ｒ出力映像信号の低域成分はＲの撮像素子の信号とし、B出力映像信号の低域成分はBの撮像素子の信号とし、G出力映像信号の低域成分はＧ１の撮像素子の信号とＧ２の撮像素子の信号との平均値とし、
少なくとも（−３ｄＢ、−６ｄＢ、−９ｄＢ、−１２ｄＢ等スタジオ用途でＲＢ共に高Ｓ／Ｎの）低感度設定、電気的に（６８００Ｋ、５６００Ｋ、４８００Ｋ等の）高色温度または（周囲の）Ｂ／（Ｇ１＋Ｇ２）の平均比が（０．５以上等と）小さくない場合はＧ２の撮像素子の信号とＢの撮像素子の信号と交互の信号を偶数走査線の高域信号とし、周囲の）Ｒ／（Ｇ１＋Ｇ２）の平均比が（０．５以上等と）小さくない場合はとＧ１の撮像素子の信号とＲの撮像素子の信号と交互の信号を奇数走査線の高域信号とし、少なくとも（＋１８ｄＢ、＋２４ｄＢ、＋３６ｄＢ、＋４８ｄＢ、＋６０ｄＢ等監視用途の）高感度設定、電気的に（３２００Ｋ、２８００Ｋ等の）低色温度または（周囲の）Ｂ／（Ｇ１＋Ｇ２）の平均比が（０．５以下等と）小さい場合はＧ１の撮像素子の信号とＧ２の撮像素子の信号の交互の信号を偶数走査線の高域信号とし、Ｒ／（Ｇ１＋Ｇ２）の平均比が（０．５以下等と）小さい、または画面左右端の場合はＧ１の撮像素子の信号とＧ２の撮像素子の信号の交互の信号を奇数走査線の高域信号とすることを特徴とする撮像方法である。

さらに、上記撮像方法において、上記ＲとＧ１とＧ２とＢとの撮像素子を順次走査し、上記偶数走査線の高域信号と上記奇数走査線の高域信号との加算信号を、飛越走査の出力映像信号の高域信号とすることを特徴とする撮像方法である。

また、色分解光学系とＲ（赤）とＧ（緑）１とＧ２とＢ（青）との撮像素子による４板構成とする撮像装置において、
Ｇ１の撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に１／２画素ピッチずらして配置したＧ２の撮像素子と、Ｇ１の撮像素子の信号とＧ２の撮像素子の信号とを（撮像素子画素クロックの１／２分周クロックにより）交互に選択する第１の選択器と、第１の選択器の出力信号の低域成分を通過させる第１の低域通過濾波器（以下ＬＰＦ）と、第１のＬＰＦの出力信号を二値化させる第１の判定器と、第１の選択器の出力信号を遅延させる第１の遅延器と、を有し、
Ｇ１の撮像素子に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＲの撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＢの撮像素子と、Ｇ１の撮像素子の信号とＲの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第２の遅延器と、Ｇ２の撮像素子の信号とＢの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第３の遅延器と、を有するか又は
Ｇ１の撮像素子に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＢの撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＲの撮像素子と、Ｇ１の撮像素子の信号とＢの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第２の遅延器と、Ｇ２の撮像素子の信号とＲの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第３の遅延器とを有するかのどちらか一方を有し、
Ｒの撮像素子の信号の低域成分を通過させる第２のＬＰＦと、Ｂの撮像素子の信号の低域成分を通過させる第３のＬＰＦと、第１のＬＰＦの出力と第２のＬＰＦの出力との差を計算する第１の減算器と、前記第１の減算器の出力にＲ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＲ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第１の加算器と、を有し、
第１のＬＰＦの出力と第３のＬＰＦの出力との差を計算する第２の減算器と前記第２の減算器の出力にＢ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＢ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第２の加算器の組合せ又は、Bの撮像素子信号のゲイン又はB映像信号のゲインを制御するBゲイン制御信号とGの撮像素子信号のゲイン又はG映像信号のゲインを制御するGゲイン制御信号と、前記Bゲイン制御信号と前記Gゲイン制御信号との差を計算する減算器と前記減算器出力にゲインでの選択をオフセットさせるゲインオフセット信号を加算する第２の加算器の組合せ、または第２の加算器の出力に画面左右端信号を加算する第３の加算器の組合せ、の少なくとも一方の組合せを有し、
第１の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第２の遅延器の（G1+R）出力信号とを選択する第５の選択器と、第２の加算器の出力信号または第３の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第３の遅延器の（G2+B）出力信号とを選択する第６の選択器と、走査線奇数偶数フラグ信号により第５の選択器の出力信号と第６の選択器の出力信号とを選択する第７の選択器と、第７の選択器の出力信号の高域成分を通過させる高域通過濾波器（以下HＰＦ）とを有し、
前記HＰＦの出力信号を前記第１のＬＰＦの出力信号と前記第２のＬＰＦの出力信号と前記第３のＬＰＦの出力信号とに加算する第４の加算器と第５の加算器と第６の加算器とを有することを特徴とする撮像装置である。

さらに、上記撮像装置において、上記ＲとＧ１とＧ２とＢとの撮像素子を順次走査する手段と、上記偶数走査線の高域信号と上記奇数走査線の高域信号とを加算する手段と、上記加算する手段の出力信号を飛越走査の出力映像信号に加算する手段とを有することを特徴とする撮像装置である。

ここで、５９．９４Ｈｚ（約６０Ｈｚ）の総走査線１１２５本のプログレッシブ映像信号とは、一般的に１０８０／６０ｐ（或いは６０Ｐ）と表記されるフォーマット形式の映像信号を指す。すなわち、有効走査線１０８０本（総走査線１１２５本）、毎秒（約）６０フレーム、プログレッシブ方式の映像信号である。

また、２３．９８Ｈｚ（約２４Ｈｚ）の総走査線１１２５本のプログレッシブ映像信号とは、一般的に１０８０／２４ｐ（或いは２４Ｐ）と表記されるフォーマット形式の映像信号を指す。すなわち、有効走査線１０８０本（総走査線１１２５本）、毎秒２４（約）フレーム、プログレッシブ方式の映像信号である。

ここで、５９．９４Ｈｚ（約６０Ｈｚ）の総走査線１１２５本のインタレース映像信号とは、一般的に１０８０／６０ｉ（或いは６０Ｉ）と表記されるフォーマット形式の映像信号を指す。すなわち、有効走査線１０８０本（総走査線１１２５本）、毎秒６０（約）フレーム、インタレース方式の映像信号である。
また、７４．１７５ＭＨｚクロックは、１０８０／６０ｉの映像信号における１画素分のタイミングに相当する。
また、２９．９７ＭＨｚのフレームパルスは、１０８０／６０ｐの映像信号における２フレーム分、及び、１０８０／６０ｉの映像信号における１フレーム分のタイミングに相当する。つまり、２９．９７ＭＨｚのフレームパルスによって、１０８０／６０ｐと１０８０／６０ｉのフレームの開始タイミングを同期させることができる。

ここで、５９．９４Ｈｚ（約６０Ｈｚ）の総走査線５２５本のインタレース映像信号とは、一般的に４８０／６０ｉ（或いは６０Ｉ）と表記されるフォーマット形式の映像信号を指す。すなわち、有効走査線４８０本（総走査線５２５本）、毎秒６０（約）フレーム、インタレース方式の映像信号である。
また、２７ＭＨｚクロックは、４８０／６０ｉの映像信号における１画素分のタイミングに相当する。

本発明によれば、（放送局が購入済の高倍率超望遠等の多彩な２ＫのＨＤＴＶ用の）３枚用ズームレンズと組み合わせ、モアレが少なく解像度と変調度が高い（４Ｋテレビの）カメラシステムを、簡易な構成により実現することができる。

本発明の一実施例に係る撮像装置の構成例を示すブロック図 本発明の一実施例に係る信号処理の例を示すブロック図（順次走査出力） 本発明の一実施例に係る信号処理の例を示すブロック図（飛越走査出力） 本発明の一実施例に係る信号処理の例を示すブロック図（順次走査出力）（ＢゲインがＢゲイン制限信号以下ならＧゲインに関わらず、Ｇ2＋Ｂ信号を偶数走査線の高域信号にするために、図2Bに、ゲインオフセット信号と、Gゲイン制御信号と、Ｂゲイン制御信号と、Ｂゲイン制限信号とを追加。）（3つの波長で色収差が補正され、2つの波長で球面収差・コマ収差が補正されているレンズ（アッベが命名したアポクロマート）に残存する紫のｇ線435nmのコマ収差を避けるため、画面左右端では、B+G2は使わないでG1+RとG1+G2を高域信号にするために、図2Bに、画面左右端信号を追加。） 本発明の一実施例に係る信号処理の例を示すフローチャート（順次走査出力） 本発明の一実施例に係る信号処理の例を示すフローチャート（飛越走査出力） 本発明の一実施例に係る信号処理の例を示すフローチャート（順次走査出力）（3つの波長で色収差が補正され、2つの波長で球面収差・コマ収差が補正されているレンズ（アッベが命名したアポクロマート）に残存する紫のｇ線435nmのコマ収差を避けるため、画面左右端では、B+G2は使わないでG1+RとG1+G2を高域信号にするに、図3Bに、69の「画面左右端か」を追加。） 本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図（(a)４板の撮像素子の各画素の重なり具合、(b)４板の撮像素子の各画素中心の相対位置）

本発明の一実施例に係る撮像装置について図面を参照して説明する。
なお、以下の説明において、クロックやパルスの周波数等を表す各数値は小数以下を所定桁で丸めて表現したものであり、これらの数値に厳密に一致することを求めるものではない。

図１には、本発明の一実施例に係る撮像装置の構成例を示すブロック図を示してある。
撮像装置２は、ＲとＧ１とＧ２とＢとの４組の毎秒６０フレームのプログレッシブ走査で有効画素数１９２０×１０８０の撮像素子を動作させて得られる１０８０／６０ｐの撮像信号を選択と周波数成分選択と加算とにより、２１６０／６０ｐまたは２１６０／６０ｉの映像信号を生成する。

図２Ａには、２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図を示してある。
図２Ｂには、２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図を示してある。

図３Ａには、２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すフローチャートを示してある。
図３Ｂには、２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すフローチャートを示してある。

図４には、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図を示してある。(a)が４板の撮像素子の各画素の重なり具合、(b)が４板の撮像素子の各画素中心の相対位置である。(b)の４板の撮像素子の各画素中心の相対位置単板のベイヤー配列と同等であり、相違点は４板で半画素重なる事である。
なお(c) (d) (e) (f) (g)は４板の撮像素子の各画素の重なり具合である。

本発明の一実施例に係る撮像装置の構成例を示すブロック図の図１において、１はレンズ、２は撮像装置、３Ｇ１は第１の緑の（Ｇ１）撮像素子（周辺回路を集積したＣＭＯＳ撮像素子又は周辺回路を集積したＣＣＤ撮像素子）、３Ｇ２は第２の緑の（Ｇ２）撮像素子、３Ｒは赤の（Ｒ）撮像素子、３Ｂは青の（Ｂ）撮像素子であり、４はFPGAで構成される補間処理回路含む映像信号処理回路、５は（４板用の）色分解光学系であり、７はＣＰＵ、である。

２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ａと、２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ｂにおいて、１１は補間処理回路であり、２１，２２，２３は低域通過濾波器（ＬＰＦ）であり、２４は高域通過濾波器（HＰＦ）であり、２５，２６，２７，２８，２９，３０は加算器であり、３１，３２，３３は減算器であり、３４，３５，３６，３７，３８は画素遅延器であり、３９はビットシフト部、４１，４２，４３，４４，４５，４６，４７は選択器である。

以下詳細な構成と動作を説明する。本発明の一実施例に係る撮像装置の構成例を示すブロック図の図１において、レンズ１で収束された入射光は撮像装置２の４板用の色分解光学系５でＲ（赤）とＧ（緑）１とＧ２とＢ（青）とに色分解光学され、周辺回路を集積したＣＭＯＳ撮像素子又は周辺回路を集積したＣＣＤ撮像素子の第１の緑の（Ｇ１）撮像素子３Ｇ１と、第２の緑の（Ｇ２）撮像素子３Ｇ２と、赤の（Ｒ）撮像素子３Ｒと、青の（Ｂ）撮像素子３Ｂとにより、４組の１０８０／６０ｐの撮像信号となり、ＣＰＵ７で制御されるFPGAで構成される補間処理回路含む映像信号処理回路４で、２１６０／６０ｐ（順次走査出力）又は図２１６０／６０ｉ（飛越走査出力）に変換される。

本発明の一実施例に係る撮像装置の構成例を示すブロック図の図１と、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図の図４と、２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ａと、２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ｂにおいて、補間処理回路１１では、４０は１／２分周器であり撮像素子画素クロックを分周する。
そして、補間処理回路１１では、Ｇ１の撮像素子３Ｇ１とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に１／２画素ピッチずらして配置したＧ２の撮像素子３Ｇ２と、Ｇ１の撮像素子の信号とＧ２の撮像素子の信号とを（撮像素子画素クロックの１／２分周クロックにより）交互に選択する第１の選択器の４１と、第１の選択器の４１の出力信号の低域成分を通過させる第１の低域通過濾波器（以下ＬＰＦ）と、第１のＬＰＦの２１の出力信号を二値化させる第１の判定器と、第１の選択器の４１の出力信号を遅延させる第１の画素遅延器の３４と、を有する。

Ｇ１の撮像素子３Ｇ１に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＲの撮像素子３ＲとＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＢの撮像素子３Ｂと、Ｇ１の撮像素子３Ｇ１の信号とＲの撮像素子３Ｒの信号との交互に選択する第２の選択器の４２と、第２の選択器の４２の出力信号を遅延させる第２の画素遅延器の３５と、Ｇ２の撮像素子３Ｇ２の信号とＢの撮像素子３Ｂの信号との交互に選択する第２の選択器の４２と、第２の選択器の４２の出力信号を遅延させる第３の画素遅延器の３６と、を有するか又は
Ｇ１の撮像素子３Ｇ１に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＢの撮像素子３ＢとＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＲの撮像素子３Ｒと、Ｇ１の撮像素子３Ｇ１の信号とＢの撮像素子３Ｂの信号との交互に選択する第２の選択器の４２と、第２の選択器の４２の出力信号を遅延させる第２の遅延器の３５と、Ｇ２の撮像素子３Ｇ２の信号とＲの撮像素子３Ｒの信号との交互に選択する第２の選択器の４２と、第２の選択器の出力信号を遅延させる第３の画素遅延器の３７とを有するかのどちらか一方を有し、
Ｒの撮像素子３Ｒの信号の低域成分を通過させる第２のＬＰＦの２２と、Ｂの撮像素子３Ｂの信号の低域成分を通過させる第３のＬＰＦの２３と、第１のＬＰＦの２１の出力と第２のＬＰＦの２２の出力との差を計算する第１の減算器の３１と、前記第１の減算器の３１の出力にＲ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＲ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第１の加算器の２５と、を有する。
ここで、ＬＰＦの２１と２２と２３の様に同様の処理のＦＰＧＡ実装時は、消費電力の少なくなる低速の並列処理でもゲート数が少なくなる時分割処理でもよい

第１のＬＰＦの出力と第３のＬＰＦの出力との差を計算する第２の減算器の３２と前記第２の減算器の３２の出力にＢ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＢ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第２の加算器の２６の組合せ又は、Bの撮像素子信号のゲイン又はB映像信号のゲインを制御するBゲイン制御信号とGの撮像素子信号のゲイン又はG映像信号のゲインを制御するGゲイン制御信号と、前記Bゲイン制御信号と前記Gゲイン制御信号との差を計算する減算器と前記減算器出力にゲインでの選択をオフセットさせるゲインオフセット信号を加算する第２の加算器の２６の組合せの少なくとも一方の組合せを有し、
第１の加算器の出力信号により第１の遅延器の３４の（G1+G2）出力信号と第２の遅延器の３５の（G1+R）出力信号とを選択する第５の選択器の４５と、第２の加算器の２６の出力信号により第１の遅延器の（G1+G2）出力信号と第３の遅延器の３６の（G2+B）出力信号とを選択する第６の選択器の４６と、走査線奇数偶数フラグ信号により第５の選択器の４５の出力信号と第６の選択器の４６の出力信号とを選択する第７の選択器の４７と、第７の選択器の４７の出力信号の高域成分を通過させる高域通過濾波器（以下HＰＦ）２４とを有し、
前記HＰＦの出力信号を前記第１のＬＰＦの出力信号と前記第２のＬＰＦの出力信号と前記第３のＬＰＦの出力信号とに加算する第４の加算器の２８と第５の加算器の２９と第６の加算器の３０とを有する。

また、本発明の一実施例に係る信号処理の例を示すブロック図の図２Ａと図２Ｂの補間処理回路の１１内の２１，２２，２３の低域通過濾波器（ＬＰＦ）において、ＬＰＦ２１の様に、画素遅延器３８と加算器の２６のビットシフト部の３９で、低域通過濾波を実現している。
さらに、本発明の一実施例に係る信号処理の例を示すブロック図の図２Ａと図２Ｂの補間処理回路の１１内の高域通過濾波器（HＰＦ）の２４において、画素遅延器３６と減算器の３３で、高域通過濾波を実現している。

２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ａにおいて、３３，５０は減算器であり、５１，の５２は比較器であり、の５３，の５４は論理和であり、ＢゲインがＢゲイン制限信号以下ならＧゲインに関わらず、Ｇ2＋Ｂ信号を偶数走査線の高域信号にしている。

さらに、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図の図４（ａ）の様に貼り合せしたＲとＧ１とＧ２とＢとの撮像素子を順次走査させる。そして、２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すブロック図の図２Ｂにおいて、上記偶数走査線の高域信号と上記奇数走査線の高域信号とを加算する手段の加算器の４７と高域通過濾波器（HＰＦ）の２４と、上記加算する手段の出力信号を飛越走査の出力映像信号に加算する手段の加算器の２７と２８と２９とを有する。

本発明の一実施例に係る信号処理の例を示すフローチャートの図３Ａと図３Ｂにおいて、60は「開始」であり、61は「Bゲインが十分低いか」であり、62は「 (色温度は4800K以上等)BゲインがGゲインと大差ないか」であり、63は「（芝生でない等）平均のRレベルが平均のＧレベルと大差ないか」であり、64は「G2とＢと交互にした信号の高域信号を偶数数走査線の高域信号にする」であり、65は「G1とG2と交互にした信号の高域信号を偶数走査線の高域信号にする」であり、66は「（芝生でない等）平均のRレベルが平均のＧレベルと大差ないか」であり、67は「G1とＲと交互にした信号の高域信号を奇数走査線の高域信号にする」であり、68は「G1とＲと交互にした信号の高域信号を奇数走査線の高域信号にする」であり、72は「終了」である。
ここで、フローチャートの図３Ａと図３Ｂにおいて、61,62,63,64,65の処理と66,67,68の処理とはどちらが先でもよい。

２１６０／６０ｐ（順次走査出力）の本発明の一実施例に係る信号処理の例を示すフローチャートの図３Ａでは、69は「奇数走査線か」であり、70は「ＲＧＢの低域信号に奇数走査線の高域信号を加算した信号をＲＧＢの映像信号にする」であり、71は「ＲＧＢの低域信号に偶数走査線の高域信号を加算した信号をＲＧＢの映像信号にする」である。

２１６０／６０ｉ（飛越走査出力）の本発明の一実施例に係る信号処理の例を示すフローチャートの図３Ｂでは、73は「ＲＧＢの低域信号に偶数走査線の高域信号と奇数走査線の高域信号とを加算した信号をＲＧＢの映像信号にする」てある。

実施例１との相違点のみ説明する。
実施例２では、レンズのＲＧＢの残収差の光学設計情報または実測値に基づいて、高域輝度信号生成式をＧ１Ｒ、ＢＧ２とＧ１Ｇ２とを切り替える。具体的には、3つの波長で色収差が補正され、2つの波長で球面収差・コマ収差が補正されているレンズ（アッベが命名したアポクロマート）に残存する紫のｇ線435nmのコマ収差を避けるため、実施例2では、画面左右端では、B+G2は高域信号に使わないで、G1+RとG1+G2を高域信号に使用するために、フローチャートの図3Bに、69の「画面左右端か」を追加した、図３Ｃが、本発明の一実施例に係る信号処理の例を示すフローチャートとなる。
本発明の一実施例に係る信号処理の例を示すブロック図の図２Ｃは、図2Bに、画面左右端信号を追加してあるため、実施例１と共通である。

具体的には、第１のＬＰＦの出力と第３のＬＰＦの出力との差を計算する第２の減算器と前記第２の減算器の出力にＢ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＢ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第２の加算器の組合せ又は、Bの撮像素子信号のゲイン又はB映像信号のゲインを制御するBゲイン制御信号とGの撮像素子信号のゲイン又はG映像信号のゲインを制御するGゲイン制御信号と、前記Bゲイン制御信号と前記Gゲイン制御信号との差を計算する減算器と前記減算器出力にゲインでの選択をオフセットさせるゲインオフセット信号を加算する第２の加算器の組合せ、または第２の加算器の出力に画面左右端信号を加算する第３の加算器の組合せ、の少なくとも一方の組合せを有する。
そして、第１の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第２の遅延器の（G1+R）出力信号とを選択する第５の選択器と、第２の加算器の出力信号または第３の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第３の遅延器の（G2+B）出力信号とを選択する第６の選択器と、走査線奇数偶数フラグ信号により第５の選択器の出力信号と第６の選択器の出力信号とを選択する第７の選択器と、第７の選択器の出力信号の高域成分を通過させる高域通過濾波器（以下HＰＦ）とを有する。

なお、配置そのものはベイヤー配列から容易類推されるとしても、３枚用ズームレンズの軸上色収差の典型値分が軸上ではＧに対しＲＢがオフセットされて撮像素子が色分解光学系に張り合わせ、倍率色収差と画素面内での貼り合せ誤差とが補正されることにより、軸上色収差と倍率色収差が残存するレンズでも、Ｇ1Ｇ２だけでなく、ＲＢも解像度と変調度が高いことを活用することで本発明はより有効となる。
さらに、スタジオ用途の低感度設定、電気的に高色温度または高輝度の画素ではＧ１の撮像素子の信号とＲの撮像素子の信号と交互の信号として、水平方向と垂直の解像度と解像度と変調度を高くするだけでなく、斜め方向の解像度と解像度と変調度を高くすることでより有効は発明とすることができる。

本発明によれば、例えば放送局が購入済の高倍率超望遠等の多彩な２ＫのＨＤＴＶ用の３枚用ズームレンズと組み合わせ、モアレが少なく解像度と変調度が高い（４Ｋテレビの）カメラシステムを、簡易な構成により実現することができる。特に、撮像素子の軸上オフセット貼り合せにより軸上色収差を低減し、倍率色収差と貼合誤差との補正により軸上色収差を低減し、モアレが少なく解像度と変調度が高くすることが容易になる。
それに対し、スーパー３５ｍｍサイズの４Ｋ解像度のオンチップカラーフィルタ付撮像素子を用いた単板カラーカメラでは、本発明と異なり、軸上色収差と倍率色収差とを補正できない。軸上色収差と倍率色収差とを光学的に補正した大型で高価な専用レンズが必要となっている。
そのため、本発明によれば、１９２０ｘ１０８０画素（２Ｋ）の２／３型撮像素子を３枚と色分解光学系とを用いるＨＤＴＶカメラ用に広く普及しているＢ４マウントレンズを利用して、１９２０ｘ１０８０画素（２Ｋ）の２／３型撮像素子を４枚と色分解光学系とを用いて、３８４０ｘ２１６０画素等の４Ｋカメラの高解像度化と高変調度化につながる。また、３８４０ｘ２１６０画素等の４Ｋの２／３型撮像素子を４枚と色分解光学系とを用いて、７６８０ｘ４３２０画素等の８Ｋカメラの高解像度化と高変調度化につながる。
さらに、以前の３枚ＨＤＴＶカメラ用の１型マウントレンズも、以前の３管ＨＤＴＶカメラ用の１＋１／４型マウントレンズにも、適用することができる。
また、本発明では、低感度ではＧ１ＲとＢＧ２を映像の高域成分とし芝生はＧ１Ｇ２を映像の高域成分とするカメラとすることができる。

１：レンズ、２：撮像装置、
３Ｇ１：第１の緑の（Ｇ１）撮像素子（周辺回路を集積したＣＭＯＳ撮像素子又は周辺回路を集積したＣＣＤ撮像素子）、
３Ｇ２：第２の緑の（Ｇ２）撮像素子、３Ｒ：赤の（Ｒ）撮像素子、
３Ｂ：青の（Ｂ）撮像素子、
４：FPGAで構成される補間処理回路含む映像信号処理回路、５：色分解光学系、
７：ＣＰＵ、１１：補間処理回路、
２１，２２，２３：低域通過濾波器（ＬＰＦ）、２４：高域通過濾波器（HＰＦ）、
２５，２６，２７，２８，２９，３０，４７：加算器、
３１，３２，３３，５０：減算器、
３４，３５，３６，３７，３８：画素遅延器、
３９：ビットシフト部、
４１，４２，４３，４４，４５，４６：選択器、
５１，５２：比較器、５３，５４：論理和

Claims (4)

1. 色分解光学系とＲ（赤）とＧ（緑）１とＧ２とＢ（青）との撮像素子による４板構成とする撮像装置において、Ｇ１の撮像素子に対してＧ２の撮像素子を垂直方向に１／２画素ピッチ水平方向に１／２画素ピッチずらして配置し、
   Ｒの撮像素子を垂直方向にＧ１の撮像素子と同一位置で水平方向にＧ２の撮像素子と同一位置に配置しＢの撮像素子を垂直方向にＧ２の撮像素子と同一位置で水平方向にＧ１の撮像素子と同一位置に配置するか、Ｒの撮像素子を垂直方向にＧ２の撮像素子と同一位置で水平方向にＧ１の撮像素子と同一位置に配置しＢの撮像素子を垂直方向にＧ１の撮像素子と同一位置で水平方向にＧ２の撮像素子と同一位置に配置するかのどちらか一方とし、
   少なくとも低感度設定、電気的に高色温度またはＢ／（Ｇ１＋Ｇ２）の平均比が小さくない場合はＧ２の撮像素子の信号とＢの撮像素子の信号と交互の信号を偶数走査線の高域信号とし、Ｒ／（Ｇ１＋Ｇ２）の平均比が小さくない場合はとＧ１の撮像素子の信号とＲの撮像素子の信号と交互の信号を奇数走査線の高域信号とし、少なくとも高感度設定、電気的に低色温度、Ｂ／（Ｇ１＋Ｇ２）の平均比が小さい、または画面左右端の場合はＧ１の撮像素子の信号とＧ２の撮像素子の信号の交互の信号を偶数走査線の高域信号とし、Ｒ／（Ｇ１＋Ｇ２）の平均比が小さい場合はＧ１の撮像素子の信号とＧ２の撮像素子の信号の交互の信号を奇数走査線の高域信号とすることを特徴とする撮像方法。
2. 請求項１の撮像方法において、上記ＲとＧ１とＧ２とＢとの撮像素子を順次走査し、上記偶数走査線の高域信号と上記奇数走査線の高域信号との加算信号を、飛越走査の出力映像信号の高域信号とすることを特徴とする撮像方法。
3. 色分解光学系とＲ（赤）とＧ（緑）１とＧ２とＢ（青）との撮像素子による４板構成とする撮像装置において、
   Ｇ１の撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に１／２画素ピッチずらして配置したＧ２の撮像素子と、Ｇ１の撮像素子の信号とＧ２の撮像素子の信号とを（撮像素子画素クロックの１／２分周クロックにより）交互に選択する第１の選択器と、第１の選択器の出力信号の低域成分を通過させる第１の低域通過濾波器（以下ＬＰＦ）と、第１のＬＰＦの出力信号を二値化させる第１の判定器と、第１の選択器の出力信号を遅延させる第１の遅延器と、を有し、
   Ｇ１の撮像素子に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＲの撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＢの撮像素子と、Ｇ１の撮像素子の信号とＲの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第２の遅延器と、Ｇ２の撮像素子の信号とＢの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第３の遅延器と、を有するか又は
   Ｇ１の撮像素子に対して垂直方向に同一位置で水平方向に１／２画素ピッチずらして配置したＢの撮像素子とＧ１の撮像素子に対して垂直方向に１／２画素ピッチ水平方向に同一位置に配置したＲの撮像素子と、Ｇ１の撮像素子の信号とＢの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第２の遅延器と、Ｇ２の撮像素子の信号とＲの撮像素子の信号との交互に選択する第２の選択器と、第２の選択器の出力信号を遅延させる第３の遅延器とを有するかのどちらか一方を有し、
   Ｒの撮像素子の信号の低域成分を通過させる第２のＬＰＦと、Ｂの撮像素子の信号の低域成分を通過させる第３のＬＰＦと、第１のＬＰＦの出力と第２のＬＰＦの出力との差を計算する第１の減算器と、前記第１の減算器の出力にＲ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＲ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第１の加算器と、を有し、
   第１のＬＰＦの出力と第３のＬＰＦの出力との差を計算する第２の減算器と前記第２の減算器の出力にＢ／（Ｇ１＋Ｇ２）の平均比での選択をオフセットさせるＢ／（Ｇ１＋Ｇ２）の平均比オフセット信号を加算する第２の加算器の組合せ又は、Bの撮像素子信号のゲイン又はB映像信号のゲインを制御するBゲイン制御信号とGの撮像素子信号のゲイン又はG映像信号のゲインを制御するGゲイン制御信号と、前記Bゲイン制御信号と前記Gゲイン制御信号との差を計算する減算器と前記減算器出力にゲインでの選択をオフセットさせるゲインオフセット信号を加算する第２の加算器の組合せ、または第２の加算器の出力に画面左右端信号を加算する第３の加算器の組合せ、の少なくとも一方の組合せを有し、
   第１の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第２の遅延器の（G1+R）出力信号とを選択する第５の選択器と、第２の加算器の出力信号または第３の加算器の出力信号により第１の遅延器の（G1+G2）出力信号と第３の遅延器の（G2+B）出力信号とを選択する第６の選択器と、走査線奇数偶数フラグ信号により第５の選択器の出力信号と第６の選択器の出力信号とを選択する第７の選択器と、第７の選択器の出力信号の高域成分を通過させる高域通過濾波器（以下HＰＦ）とを有し、
   前記HＰＦの出力信号を前記第１のＬＰＦの出力信号と前記第２のＬＰＦの出力信号と前記第３のＬＰＦの出力信号とに加算する第４の加算器と第５の加算器と第６の加算器とを有することを特徴とする撮像装置。
4. 請求項３の撮像装置において、上記ＲとＧ１とＧ２とＢとの撮像素子を順次走査する手段と、上記偶数走査線の高域信号と上記奇数走査線の高域信号とを加算する手段と、上記加算する手段の出力信号を飛越走査の出力映像信号に加算する手段とを有することを特徴とする撮像装置。
   

Images