JP2005027137A

JP2005027137A - Imaging apparatus

Info

Publication number: JP2005027137A
Application number: JP2003191688A
Authority: JP
Inventors: Joichi Sato; 譲一佐藤; Kenji Tanaka; 健二田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-04
Filing date: 2003-07-04
Publication date: 2005-01-27
Anticipated expiration: 2023-07-04
Also published as: JP4378599B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus such as a CMOS image sensor in which the generation of a flicker and a ripple, etc. are suppressed in photography under illumination accompanied by a frequency variation. <P>SOLUTION: The imaging apparatus has a continuous exposure period of 1/100 seconds in each vertical section and performs a simultaneous exposure operation and a signal reading operation beginning at a dividing point determined by a division radix 3 x n (n is a positive integer) within the exposure period of 1/100 seconds in the case of performing the photography under an illumination of 50Hz by an imaging apparatus of 60Hz system. In addition, the imaging apparatus has a continuous exposure period of 1/60 seconds or 1/120 seconds in each vertical section and performs a simultaneous exposure operation and a signal reading operation beginning at a dividing point determined by a division radix 5 x n (n is a positive integer) within the exposure period of 1/60 seconds or 1/120 seconds in the case of performing the photography under an illumination of 60Hz by an imaging apparatus of 50Hz system. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、半導体基板上に２次元配列された複数の画素毎に光電変換素子と読み出し回路を設け、これを垂直走査手段と水平走査手段によって走査することによって撮像信号を出力するように構成されたいわゆるＣＭＯＳイメージセンサ等の撮像装置に関し、特に蛍光灯等の周期的変動を伴う照明光源下で撮影した際に出力画面上に生じる各種ノイズを除去または軽減することが可能な撮像装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオカメラや電子カメラ等に用いられる撮像装置では、代表的なものとしてＣＣＤイメージセンサとＣＭＯＳイメージセンサが普及している。
このうちＣＭＯＳイメージセンサは、２次元画素配列の撮像画素部を各画素行単位で順次走査することによって露光動作や信号読み出し動作を行なうことから、基本的に全画素同時露光のＣＣＤイメージセンサに比べて、照明光の周期的変動の影響を受けて出力画面上にノイズが生じ易いという問題がある。
例えば、垂直同期周波数が６０ＨｚのＮＴＳＣ系のデジタルビデオカメラでは、５０Ｈｚの周波数変動を有する照明光源下で撮影した場合、１画面分の露光走査中に照明光のレベルが変動し、各画素行のレベルがばらついて横縞状のノイズが生じる場合がある。以下、この１画面内で生じるノイズをリップルという。また、この場合、ある画素について１回目の露光時における照明光のレベルと２回目の露光時における照明光のレベルに差異がある場合には、信号レベルが時間軸方向に変化し、画素単位の細かいノイズが生じる場合がある。以下、この時間的なノイズをフリッカという。
なお、垂直同期周波数が５０ＨｚのＣＣＩＲ系のデジタルカメラで６０Ｈｚの周波数変動を有する照明光源下で撮影した場合も同様である。
また、垂直同期周波数と光源周波数が一致している場合でも、１画面分の露光走査中に照明光のレベルが変動することには変わりはなく、上述したリップルが生じることになる。
【０００３】
さらに、ＣＭＯＳイメージセンサでは、移動体の撮影において、１画面分の露光走査中に移動体が移動してしまい、画面の上部の映像と下部の映像が時間差を含むものとなるため、特に移動速度が速い場合に、歪んだ映像となってしまう問題があった。
【０００４】
なお、ＣＣＤイメージセンサのフリッカ対策としては、照明光の変動周期と露光期間の位相を一致させる方法が提案されている（例えば、特許文献１参照）。
そこで、この方法をＣＭＯＳイメージセンサに応用し、照明光の変動周期に応じた露光時間を用いることも可能である。例えば、５０Ｈｚの照明に対して電子シャッタを１／１００秒の周期で動作させることにより、フリッカやリップルの防止を図ることが可能である。
【０００５】
【特許文献１】
特開平１１−１５５１０６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述のようにＣＭＯＳイメージセンサにおいて、照明光の変動周期に応じた露光時間を用いてフリッカやリップルを防止する方法では、露光時間が固定されてしまい光量調整を行なうことが困難であり、仮に電子シャッタの速度を上げて露光時間を短くした場合には、再度、フリッカやリップルの発生を招いてしまうことになる。
また、例えば６０Ｈｚ系のＣＭＯＳイメージセンサで６０Ｈｚの照明下で電子シャッタを使用した場合には、同様の画面内のリップルが生じる場合がある。
さらに、上述した移動体撮影時の歪みも解消できないという問題がある。
【０００７】
本発明はこのような問題を解決するためになされたもので、その目的は、ＣＭＯＳイメージセンサ等の撮像装置について、周波数変動を伴う照明下の撮影時におけるフリッカ、リップルの発生を抑制でき、また、移動体撮影時の歪みを軽減することが可能な撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために本発明は、光電変換素子とその読み出し回路とを含む複数の画素を２次元配列して構成される撮像画素部と、前記撮像画素部を垂直方向に走査する垂直走査手段と、前記撮像画素部を水平方向に走査する水平走査手段と、前記垂直走査手段及び水平走査手段のタイミングを制御して前記撮像画素部における露光動作及び信号読み出し動作を実行する制御手段とを具備し、前記制御手段は、所定の照明周波数に対応して各垂直期間内で連続する所定の露光期間を設定するとともに、さらに前記所定の露光期間と垂直同期周波数との位相差によって決定される所定の分割基数を選択し、前記露光期間を分割基数の整数倍で割ることによって決定される各分割点を起点とする同時または略同時の露光動作及び信号読み出し動作を行ない、その読み出した信号を各画素毎に加算して撮像信号を生成するモードを有していることを特徴とする。
【０００９】
また本発明は、光電変換素子とその読み出し回路とを含む複数の画素を２次元配列して構成される撮像画素部と、前記撮像画素部を垂直方向に走査する垂直走査手段と、前記撮像画素部を水平方向に走査する水平走査手段と、前記垂直走査手段及び水平走査手段のタイミングを制御して前記撮像画素部における露光動作及び信号読み出し動作を実行する制御手段とを具備し、前記制御手段は、所定の照明周波数に対応して各垂直期間内で連続する所定の露光期間を設定するとともに、さらに前記所定の露光期間内で等間隔にｍ（ｍは正の整数）本の同時走査または略同時走査を行ない、各走査によって読み出された信号を各画素毎に加算して撮像信号を生成するモードを有し、前記モードにおいて、各垂直周期毎に垂直区間に対する露光区間の位相を、任意の整数をｋ、任意の係数をαとした場合に、（露光期間／２ｍ）×２ｋ＋αとなる第１の位相と、（露光期間／２ｍ）×（２ｋ＋１）＋αとなる第２の位相とのいずれか一方を選択して露光制御を行なうことを特徴とする。
【００１０】
また本発明は、光電変換素子とその読み出し回路とを含む複数の画素を２次元配列して構成される撮像画素部と、前記撮像画素部を垂直方向に走査する垂直走査手段と、前記撮像画素部を水平方向に走査する水平走査手段と、前記垂直走査手段及び水平走査手段のタイミングを制御して前記撮像画素部における露光動作及び信号読み出し動作を実行する制御手段とを具備し、前記制御手段は、画面の垂直方向の上部から下部までのスキャン時間をＴ（Ｔ≦１垂直周期）とした場合に、画面内でＮ個（Ｎは２以上の整数）の同時または略同時の露光動作及び信号読み出し動作を行ない、かつ、そのＮ個のスキャン間隔をＴ／Ｎとし、その読み出した信号を各画素毎に加算して撮像信号を生成するモードを有していることを特徴とする。
【００１１】
本発明の撮像装置では、例えば垂直同期周波数と異なる所定の照明周波数を有する照明下で撮影を行なう場合に、その所定の照明周波数に対応して各垂直期間内で連続する所定の露光期間を設定するとともに、さらに所定の露光期間と垂直同期周波数との位相差によって決定される所定の分割基数を選択し、露光期間を分割基数の整数倍で割ることによって決定される各分割点を起点とする同時または略同時の露光動作及び信号読み出し動作を行ない、その読み出した信号を各画素毎に加算して撮像信号を生成することにより、フリッカやリップルの発生を防止または抑制でき、画質の向上を図ることが可能となる。
【００１２】
また本発明の撮像装置では、所定の照明周波数に対応する各垂直期間内で連続する所定の露光期間を設定するとともに、さらに所定の露光期間内で等間隔にｍ（ｍは正の整数）本の同時走査または略同時走査を行ない、各走査によって読み出された信号を各画素毎に加算して撮像信号を生成する場合において、各垂直周期毎に垂直区間に対する露光区間の位相を、任意の整数をｋ、任意の係数をαとした場合に、（露光期間／２ｍ）×２ｋ＋αとなる第１の位相と、（露光期間／２ｍ）×（２ｋ＋１）＋αとなる第２の位相とのいずれか一方を選択して露光制御を行なうことにより、各垂直区間毎に生じるリップルをその位相の切り替えによって相殺することが可能となり、リップルを抑制した画像を出力することが可能となる。
【００１３】
また本発明の撮像装置では、画面の垂直方向の上部から下部までのスキャン時間をＴ（Ｔ≦１垂直周期）とした場合に、画面内でＮ個（Ｎは２以上の整数）の同時または略同時の露光動作及び信号読み出し動作を行ない、かつ、そのＮ個のスキャン間隔をＴ／Ｎとし、その読み出した信号を各画素毎に加算して撮像信号を生成することから、面内露光及び読み出し動作に含まれる時間差に起因する動画歪みを抑制でき、画質の向上をはかることが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明による撮像装置の実施の形態について説明する。
なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付加されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
【００１５】
図１は本発明の各実施の形態に共通する撮像装置の構成例を示すブロック図である。
この図１において、撮像画素部１０は、複数の画素を２次元に配列して構成されたものであり、各画素は、受光量に応じた信号電荷を生成して蓄積する光電変換素子（フォトダイオード）と、この光電変換素子が蓄積した信号電荷を読み出す読み出し回路とを含んでいる。なお、読み出し回路の構成としては、種々のものが採用されているが、例えば光電変換素子に蓄積した信号電荷をＦＤ（フローティングデフュージョン）部に転送する転送トランジスタ、ＦＤ部の信号電荷を電気信号に変換する増幅トランジスタ、増幅トランジスタの出力を信号線に読み出す読み出しトランジスタ、ＦＤ部の信号電荷をリセットするリセットトランジスタ等を有するものとする。
なお、本例の撮像画素部１０は垂直方向に３つの領域１０Ａ、１０Ｂ、１０Ｃに分割されており、それぞれの分割領域毎に露光及び信号読み出しのための走査が行われるようになっている。
【００１６】
第１〜第３垂直タイミング発生回路２１、２２、２３及び第１〜第３シャッタタイミング発生回路３１、３２、３３は、撮像画素部１０の各分割領域の各画素に対して所定のタイミングで各種パルス信号を供給し、撮像画素部１０の露光動作と信号読み出し動作を制御し、各分割領域に画素列毎に設けられた垂直信号線４１、４２、４３から各画素信号を出力させるものである。
この第１〜第３垂直タイミング発生回路２１、２２、２３及び第１〜第３シャッタタイミング発生回路３１、３２、３３の動作によって撮像画素部１０から垂直信号線４１、４２、４３に出力された画素信号は、画素行単位で図示しないレジスタに格納され、水平信号線５１、５２、５３を通してバッファ部６１、６２、６３に出力される。
水平タイミング発生回路７０は、このレジスタを水平方向に走査して各画素信号をバッファ部６１、６２、６３に転送するよう制御する。
バッファ部６１、６２、６３は、水平信号線５１、５２、５３から入力した画素信号のゲイン調整回路や増幅回路等を含み、その処理した画素信号を画像処理部８０に供給する。画像処理部８０は、バッファ部６１、６２、６３から入力した画素信号に対してノイズ除去や色信号処理等の各種信号処理を行なうものであり、その処理した画素信号を記憶部９０に出力する。
【００１７】
記憶部９０は、画像処理部８０からの画素信号を格納するものであり、マイコン１００は、以上のような構成を有する撮像装置の各部の制御を司るものである。
特に本例は、撮像画素部１０に対する各画素の露光動作及び信号読み出し動作のタイミングに特徴を有するものであり、この動作を実現するための制御をマイコン１００が実行する。
また、本例では各画素に対して複数回の露光動作と読み出し動作を行ない、各画素毎に複数の画素信号を取り出すようになっており、この複数の画素信号が記憶部９０に格納される。マイコン１００では、この記憶部９０に格納された複数の画素信号を各画素毎に加算して撮像信号を生成し、記憶部９０に再度格納するような処理を行なう。なお、このような画素信号の加算処理はマイコンによらず、他の専用回路を設けて行なうようにしてもよい。
【００１８】
次に、本発明の第１の実施の形態について説明する。
この第１の実施の形態は、例えばＮＴＳＣ系で用いられる垂直同期周波数が６０Ｈｚ系の撮像装置を、５０Ｈｚの照明周波数を有する蛍光灯の下で撮影を行なう場合のリップルやフリッカを除去ないし抑制するための露光制御に関するものである。
本例の撮像装置では、６０Ｈｚ系の撮像装置で各垂直区間に連続した１／１００秒の露光期間を有し、１／１００秒の露光期間内で分割基数３×ｎ（ｎは正の整数）で決定される分割点を起点とする同時露光動作及び信号読み出し動作を行うモードを設けるようにしたものである。ここで分割基数となる３という値は、照明光の変動周期と露光動作が１垂直期間において１／３周期ずれることに基づいて決定される値である。なお、以下で用いる同時の用語は、完全な同時である必要はなく、一定の許容範囲の中で一定の時差を有する略同時の動作を含むものとする。
【００１９】
そこでまず、本例の特徴をより明瞭に説明するために、本例の具体的な制御動作の説明に先立って、本例の先行技術となる制御例について順次説明する。なお、以下の説明において、蛍光灯は正弦波状（実際にはその半波整流波形）に発光しているものとした。また、１垂直期間には実際にはブランキング期間などがあり、画素のない区間もあるが、理解しやすくするため、１垂直期間全てに画素があるものとして説明する。
図２は６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合に１／６０秒の露光時間を用いた例を示す説明図であり、図２（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図２（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
なお、以下の各波形図において、各図の（Ｂ）に示すリップル波形図のスタート位相は計算の都合で示しており、必ずしも各図の（Ａ）に示す露光タイミング図による結果とは一致しておらず、あくまでリップルの形状、振幅を見るためのものである。
【００２０】
図２（Ａ）に示すように、画面上部の画素行の露光時間は、信号を読み出すＡ点の１／６０秒前から蓄積を開始し、Ａ点で終了する。また、画面中段の画素行の露光時間は、信号を読み出すＢ点の１／６０秒前から蓄積を開始し、Ｂ点で終了する。さらに、画面下部の画素行の露光時間は、信号を読み出すＣ点の１／６０秒前から蓄積を開始し、Ｃ点で終了する。
そして、図２（Ａ）に示す各ポイントＡ、Ｂ、Ｃの信号電荷は各蓄積期間の光量の積分となるので、Ａ点からＣ点まで連続的に計算すると図２（Ｂ）に示すようになる。なお、図２（Ｂ）において、縦軸はＡ点からＣ点までの平均信号を０とし、その平均信号に対する振れを％で表している。
この場合、照明光のレベルが５０Ｈｚで変化し、各画素行の露光時間が１／６０秒であるので、各画素の露光期間における光量の積分値が図２（Ｂ）に示すように変化する。
そして、この図２（Ｂ）では、ピーク・トゥ・ピーク（Ｐ−Ｐ）で約２２％の面内リップルが生じることを表している。また、この図２（Ｂ）に示すＡ点の値とＣ点の値が一致していないことにより、次の１垂直期間には照明との位相関係が全く異なるため、例えばＡ点とＣ点との信号電荷は全く異なるものとなり、これがフリッカとして現れる。
【００２１】
そこで、このような現象を回避するために、まず、露光時間を照明変動周期に合わせて１／１００秒とする方法が考えられる。
図３は６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合に１／１００秒の露光時間を用いた例を示す説明図であり、図３（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図３（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
この場合、照明光のレベルが５０Ｈｚで変化し、各画素行の露光時間が１／１００秒であるので、各画素の露光期間における光量の積分値は図３（Ｂ）に示すように一定となり、フリッカ及びリップルは防止できる。
しかし、この場合には露光時間が１／１００秒に固定されることになり、光量調整が困難になる。
【００２２】
そこで、電子シャッタのタイミングを変えて光量調整を行なうことが考えられる。
図４は６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合に１／３００秒の露光時間を用いた例を示す説明図であり、図４（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図４（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
この場合、フリッカはなくなるものの、リップルはピーク・トゥ・ピーク（Ｐ−Ｐ）で１００％近い面内リップルとなる。
さらに図５は６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合に１／３６００秒の露光時間を用いた例を示す説明図であり、図５（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図５（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
この場合、フリッカが発生し、リップルはピーク・トゥ・ピーク（Ｐ−Ｐ）で１４５％近い面内リップルとなる。
このようにシャッタ速度を速くして露光時間を短縮するほど、フリッカやリップルが顕著に現れることになる。
【００２３】
そこで、本実施の形態による撮像装置では、６０Ｈｚ系の撮像装置で各垂直区間に連続した１／１００秒の露光期間を有し、１／１００秒の露光期間内で分割基数３×ｎ（ｎは正の整数）で決定される分割点を起点とする同時露光動作及び信号読み出し動作（すなわち、１／１００／（３×ｎ）の時間差を有する（３×ｎ）本のスキャン動作）を行うモードにより、フリッカやリップルを除去ないし抑制する。
【００２４】
以下、第１の実施の形態による撮像装置のいくつかの具体的動作例について説明する。
図６は本実施の形態による撮像装置の第１の動作例を示す図であり、６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合に１／１００秒の露光期間を有し、この露光期間内に１／１００／３秒の時間差に相当する３ポイントを同時にスキャンする例を示している。なお、図６（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図６（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
一般に、ＣＭＯＳイメージセンサ等では、画面内で複数のポイントを同時に読み込んだりリセットしたりできるものが考えられる。そこで本実施の形態では、１／１００秒の期間内に１／１００／３秒の時間差に相当する３ポイントを同時にスキャンするものである。すなわち、本例は上述した正の整数ｎを１とした例である。
これにより、各画素の信号について１垂直区間に１／１００／３の間隔で３回の読み込み動作が行われることになる。
また、本例において、各画素のリセットタイミングは読み込みタイミングのそれぞれ１／１００／３秒前から略読み込みタイミングまでとする。なお、このように読み込みタイミングの１／１００／３秒前にリセットした場合、３回のスキャン動作合計で１／１００秒の電子シャッタをかけた場合と同等の輝度となり、リセットタイミングを読み込みタイミングに近づけるにつれて、高速のシャッタをかけたのと同等になる。
【００２５】
図６において、３本のスキャンは、互いに１／３００秒の時間差を有しており、例えばＡ点でいえば、第１のスキャンがくる１／３００秒前にリセットをかけ、第１のスキャンがＡ点にきたときに読み込むと同時にリセットする。次に第２のスキャンが１／３００秒後に来た時に読み込むと同時にリセットする。最後に第３のスキャンが１／３００秒後に来た時に読み込む。このような動作を３つのポイントで同時に行なう。
このような３ポイント同時読みによる３回の読み込み信号は、メモリ手段（記憶部９０）において画素毎に加算され、撮像信号として生成され出力される。
この例では各ポイントはそれぞれトータルで光源の１周期分を蓄積しており、リップル、フリッカ共に発生しないことになる。
【００２６】
図７は本実施の形態による撮像装置の第２の動作例を示す図であり、図７（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図７（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示す。第２の動作例は、図６の動作例に対して１スキャン毎の露光時間を１／９００秒に短縮し、３回のスキャン合計による実効シャッタ速度が１／３００となるように制御するものである。なお、その他の動作は図６に示す例と同様である。
図７（Ｂ）に示すように、本例の場合、リップルはＰ−Ｐで９．４％であり、上述した先行技術の場合に比べて２０ｄＢの改善である。
さらに、最上部のＡ点と最下部のＣ点の位相は一致している。これは次の垂直区間でも全く同一のリップル位相となることを示しており、言い換えれば時間軸方向のフリッカがなくなるということである。また、リップルの周波数も３倍となる。
【００２７】
図８は本実施の形態による撮像装置の第３の動作例を示す図であり、図８（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図８（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。第３の動作例は、図６の動作例に対して１スキャン毎の露光時間をさらに１／１０８００秒に短縮し、３回のスキャン合計による実効シャッタ速度が１／３６００となるように制御するものである。なお、その他の動作は図６に示す例と同様である。
図８（Ｂ）に示すように、本例の場合、リップルはＰ−Ｐで１３．８％であり、上述した先行技術の場合に比べて２０ｄＢ以上の改善である。
また、フリッカはもちろん発生せず、リップルの周波数も３倍となる。
【００２８】
以上、本発明の第１の実施の形態では、３ポイント同時読み（３×ｎ＝３）の例を示したが、ｎの値を増やし、ｎ＝２として６ポイント同時読み（３×ｎ＝３）としたり、ｎ＝３として９ポイント同時読み（３×ｎ＝９）として同時読みポイントを増やせば、さらにリップル抑圧効果は大きく向上する。また、リップルの周波数も６倍、９倍と増加させることができる。
図９は本実施の形態において実効シャッタ速度が１／３６００秒の場合にｎを１、２、３と増やして同時読みポイントを増やした場合のリップルの例を示す説明図であり、図９（Ａ）、（Ｂ）、（Ｃ）と順番に振幅方向に拡大して示した図である。また、図９（Ｄ）は、その改善効果を数値で表した表である。
【００２９】
なお、以上は６０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合のモード（第１のモード）について説明したが、６０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合、露光時間を１／１２０秒または１／６０秒に切り替えてシャッタ動作を行なう第２のモードに切り替えて撮影を行なうことが可能である。例えば、照明の周波数を検出する手段を搭載し、この検出手段の検出によって照明の周波数を判定してモードを切り替えるようにしてもよいし、あるいはユーザに使用地域等に応じて照明の周波数を切り替えるスイッチを操作させるような構成とし、このスイッチの入力によって照明の周波数を判定してモードを切り替えるようにしてもよい。
また、以上の例では、垂直周波数をＮＴＳＣ方式による６０Ｈｚ系としたことから、露光期間を１／１００秒とする場合について説明したが、デジタルカメラ等においては、垂直周波数が１／３０秒のものが知られており、このような垂直周波数を有する撮像装置では、露光期間を１／５０秒として上述した分割露光を行なうようにしてもフリッカやリップルの防止を図ることが可能である。
【００３０】
以上のような本発明の第１の実施の形態では、垂直周波数が６０Ｈｚ系の撮像装置において、以下のような効果を得ることが可能である。
（１）照明が６０Ｈｚであっても５０Ｈｚであっても蛍光灯下の時間方向フリッカをゼロにできる。したがって、時間積分なども容易で、リップルの周波数検出、位相検出が容易である。
（２）リップルの周波数が３×ｎ倍される。したがって、レンズシェーディングなどの要素からの分離が容易となり、リップルの周波数検出、位相検出が容易となる。
（３）５０Ｈｚの照明下ではそのままで、６０Ｈｚ照明下では露光期間を１／１２０秒または１／６０秒に切り替えることによりシャッタ動作をした際の垂直リップルが大幅に改善される。この効果は３×ｎが大きいほど大である。
（４）したがって蛍光灯下でのシャッタによるＡＥ動作が可能になる。そして、シャッタによるＡＥ動作が可能になったことにより、ＩＲＩＳ機構を省略可能である。
（５）さらに、スチルカメラにおいてはメカシャッタなしのものも実現可能である。
【００３１】
次に、本発明の第２の実施の形態について説明する。
上述した第１の実施の形態では、垂直周波数が６０Ｈｚ系の撮像装置において５０Ｈｚの照明下で撮影を行なう場合の動作について説明したが、以下に説明する第２の実施の形態は、垂直周波数が５０Ｈｚ系の撮像装置において６０Ｈｚの照明下で撮影を行なう場合の動作について説明する。なお、本例においても撮像装置の構成は基本的に図１に示すものと共通であるものとする。
この第２の実施の形態においても、周波数は異なるものの、上述した図２から図５で説明したのと同様の問題が生じることになる。
そこで、本実施の形態による撮像装置では、５０Ｈｚ系の撮像装置で各垂直区間に連続した１／６０秒または１／１２０秒の露光期間を有し、１／６０秒または１／１２０秒の露光期間内で分割基数５×ｎ（ｎは正の整数）で決定される分割点を起点とする同時露光動作及び信号読み出し動作（すなわち、１／６０／（５×ｎ）または１／１２０／（５×ｎ）の時間差を有する（５×ｎ）本のスキャン動作）を行うモードにより、フリッカやリップルを除去ないし抑制する。すなわち、本例の場合には分割基数が５となっている。
なお、以下の説明においては、便宜的に露光期間を１／６０秒とした場合をモードＡとし、露光期間を１／１２０秒とした場合をモードＢとして説明する。
【００３２】
まず、モードＡでは、前記のスキャンにより各ポイントは１垂直区間に１／６０／（５×ｎ）秒の間隔で５×ｎ回の読み込み動作が行われることになる。各ポイントのリセットタイミングは読み込みタイミングのそれぞれ１／６０／（５×ｎ）秒前から略読み込みタイミングまでの間に設定されることになる。
ここで総露光量（実効シャッタ速度）で考えると、読み込みタイミングの１／６０／（５×ｎ）秒前にリセットした場合に１／６０秒の電子シャッタをかけた場合と同等となり、リセットが読み込みタイミングに近づくにつれ高速のシャッタをかけたのと同等になる。
また、モードＢでは、前記のスキャンにより各ポイントは１垂直区間に１／１２０／（５×ｎ）秒の間隔で５×ｎ回の読み込み動作が行われることになる。各ポイントのリセットタイミングは読み込みタイミングのそれぞれ１／１２０／（５×ｎ）秒前から略読み込みタイミングまでの間に設定されることになる。
ここで総露光量（実効シャッタ速度）で考えると、読み込みタイミングの１／１２０／（５×ｎ）秒前にリセットした場合に１／１２０秒の電子シャッタをかけた場合と同等となり、リセットが読み込みタイミングに近づくにつれ高速のシャッタをかけたのと同等になる。
【００３３】
以下、第２の実施の形態による撮像装置のいくつかの具体的動作例について説明する。
まず実効シャッタ速度を１／６０秒または１／１２０秒として、リップル、フリッカを発生させないようにした例について説明する。
図１０は本実施の形態による撮像装置の第１の動作例を示す図であり、５０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合にモードＡによる１／６０秒の露光期間を有し、この露光期間内に１／６０／５秒の時間差に相当する５ポイントを同時にスキャンする例を示している。なお、図１０（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１０（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
第１、２、３、４、５のスキャンはそれぞれ１／３００秒の時間差を持っている。例えばＡ点でいえば、第１のスキャンがくる１／３００秒前にリセットをかけ、第１のスキャンがＡ点にきたときに読み込むと同時にリセットする。次に第２のスキャンが１／３００秒後にきたときに読み込むと同時にリセットする。さらに、第３、第４、第５のスキャンについても同様である。
このような位相差をもった５ポイントの同時スキャンによる５回の読み込み信号は、メモリ手段（記憶部９０）により加算され出力となる。この例では各ポイントはそれぞれトータルで光源の２周期分を蓄積しており、リップル、フリッカは共に発生しない。
なお、モードＡではもう１点（実効シャッタ速度が１／１２０秒の場合）、リップル、フリッカが共に発生しないポイントがある。
【００３４】
図１１は本実施の形態による撮像装置の第２の動作例を示す図であり、５０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合にモードＢによる１／１２０秒の露光期間を有し、この露光期間内に１／１２０／５秒の時間差に相当する５ポイントを同時にスキャンする例を示している。なお、図１１（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１１（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
第１、２、３、４、５のスキャンはそれぞれ１／６００秒の時間差を持っている。例えばＡ点でいえば、第１のスキャンがくる１／６００秒前にリセットをかけ、第１のスキャンがＡ点にきたときに読み込むと同時にリセットする。次に第２のスキャンが１／６００秒後にきたときに読み込むと同時にリセットする。さらに、第３、第４、第５のスキャンについても同様である。
位相差を持った５ポイントの同時スキャンによる５回の読み込み信号は、メモリ手段（記憶部９０）により加算され出力となる。この例では各ポイントはそれぞれトータルで光源の１周期分を蓄積しており、リップル、フリッカは共に発生しない。
【００３５】
図１２は本実施の形態による撮像装置の第３の動作例を示す図であり、５０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合にモードＡによる１／６０秒の露光期間を有し、この露光期間内に１／６０／５秒の時間差に相当する５ポイントを同時にスキャンする例を示している。なお、図１２（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１２（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
また、本例は実効シャッタ速度を１／３６０秒とした場合の例であり、各ポイントでの蓄積時間は１／１８００秒となっている。
この場合のリップルは図１２（Ｂ）に示すように、Ｐ−Ｐで３．３％となる。図示は省略するが、本実施の形態による機能を用いない場合に比べて３０ｄＢの改善となっている。
さらに、図１２（Ｂ）に示すように、最上部Ａ点と最下部Ｃ点の位相があっている。これは次の垂直区間でも全く同一のリップル位相となることを示しており、言い換えれば時間軸方向のフリッカがなくなるということである。また、リップルの周波数も５倍となっている。
【００３６】
図１３は本実施の形態による撮像装置の第４の動作例を示す図であり、５０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合にモードＢによる１／１２０秒の露光期間を有し、この露光期間内に１／１２０／５秒の時間差に相当する５ポイントを同時にスキャンする例を示している。なお、図１３（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１３（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
また、本例は実効シャッタ速度を１／３６０秒とした場合の例であり、各ポイントでの蓄積時間は１／１８００秒となっている。
この場合のリップル、フリッカの改善状態は図１２に示したモードＢの例と同様である。
【００３７】
なお、以上の各動作例は、５ポイント同時読み（５×ｎ＝５）の例を示したが、５×ｎ＝１０、１５と同時読みポイントを増やせば、リップル抑圧効果は大きく向上する。またリップルの周波数も１０倍、１５倍となっていく。
図１４は本実施の形態において実効シャッタ速度が１／３６００秒の場合にｎを１、２、３と増やして同時読みポイントを増やした場合のリップルの例を示す説明図であり、図１４（Ａ）、（Ｂ）、（Ｃ）と順番に振幅方向に拡大して示した図である。また、図１４（Ｄ）は、その改善効果を数値で表した表である。
【００３８】
なお、以上は５０Ｈｚ系の撮像装置で６０Ｈｚの照明下で撮影を行なう場合のモード（第１のモード）について説明したが、５０Ｈｚ系の撮像装置で５０Ｈｚの照明下で撮影を行なう場合、露光時間を１／１００秒に切り替えてシャッタ動作を行なう第２のモードに切り替えて撮影を行なうことが可能である。例えば、照明の周波数を検出する手段を搭載し、この検出手段の検出によって照明の周波数を判定してモードを切り替えるようにしてもよいし、あるいはユーザに使用地域等に応じて照明の周波数を切り替えるスイッチを操作させるような構成とし、このスイッチの入力によって照明の周波数を判定してモードを切り替えるようにしてもよい。
【００３９】
以上のような本発明の第２の実施の形態では、垂直周波数が５０Ｈｚ系の撮像装置において、以下のような効果を得ることが可能である。
（１）照明が６０Ｈｚであっても５０Ｈｚであっても蛍光灯下の時間方向フリッカをゼロにできる。したがって、時間積分なども容易でリップルの周波数検出、位相検出が容易である。
（２）リップルの周波数が５×ｎ倍される。したがって、レンズシェーディングなどの要素からの分離が容易となり、リップルの周波数検出、位相検出が容易となる。
（３）６０Ｈｚの照明下ではそのままで、６０Ｈｚの照明下では露光期間を１／１００秒に切り替えることにより、シャッタ動作をした際の垂直リップルが大幅に改善される。この効果は５×ｎが大きいほど大である。
（４）したがって、蛍光灯下でのシャッタによるＡＥ動作が可能になる。そして、シャッタによるＡＥ動作が可能になったことにより、ＩＲＩＳ機構を省略可能である。
（５）さらに、スチルカメラにおいては、メカシャッタなしのものも実現も可能である。
【００４０】
次に、本発明の第３の実施の形態について説明する。
上述した第１の実施の形態では、５０Ｈｚの照明下で露光期間１／１００秒を有し、その露光期間内で３×ｎの同時露光及び読み出し動作を行なうようにしたが、垂直周波数が６０Ｈｚ系の撮像装置では、正確に６０Ｈｚのシステムも存在するが、ＮＴＳＣのように音声信号との干渉を軽減させるため、６０／１．００１Ｈｚという値を用いることが多い。
したがって、この６０／１．００１Ｈｚのシステムに第１の実施の形態を適用した場合、リップルの振幅は減少するものの位相的には止まらず、垂直方向にゆっくり流れるという減少となる。そのため、視覚的に目立たなくするためには、リップルが止まったほうが好ましい。
そこで、この第３の実施の形態では、６０／１．００１Ｈｚのシステムでリップルが止まるような方法を提供するものである。
【００４１】
図１５は垂直周波数が６０Ｈｚの場合の蓄積（露光）、読み出し方法とその時のリップルの一例を示す説明図であり、図１５（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１５（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
この例では、１／１００秒の露光期間内に等間隔の６回の露光を行ない、各露光時間を（１／１００）×（１／６）×（１／３）秒としてある。
この場合は画面最上部と画面最下部のリップル位相は正確に一致している。ここで言う最上部、最下部というのは実際の撮像を行なう画素のある部分だけではなく、ブランキング等も含めた垂直期間の始まりと終わりという意味である。この一致によりリップルは垂直方向に流れず止まることになる。
図１６は垂直周波数が６０／１．００１Ｈｚのシステムに対して同じ読み出し方法を適用した場合の説明図であり、図１６（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１６（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示している。
なお、実際の６０Ｈｚシステムとの位相差はわずかであるが、わかりやすくするため誇張して表している。
【００４２】
リップルの位相は画面最上部から１／６０秒後に画面最上部の位相と一致するが、その後、１．００１／６０−１／６０＝０．００１／６０秒の間、走査が続くことになり、リップル位相はその分先へ進んでしまい、画面最上部の位相と一致しなくなってしまう。そして、次の垂直区間では画面最上部のリップル位相は前の垂直区間の最下部のリップル位相からスタートするため、リップルは止まらず、垂直方向にゆっくり流れることになる。
本実施の形態はこれを解決するために、各読み出しのタイミングを１垂直期間ごとに０．００１／６０秒ずつ進相側へシフトしていくものである。これにより垂直方向の各ポイントにおけるリップル位相は各垂直区間で変化せず、結果としてリップルが流れなくなり、視覚的にも有利となる。
【００４３】
次に本実施の形態における具体的な読み取り方法を説明する。
図１７は本実施の形態による動作例を示す図であり、１．００１／６０秒の垂直区間中に１／１００秒の露光期間を設け、その中で６回の等間隔の蓄積及び読み出しを行なう場合を表している。垂直区間が１．００１／６０秒であること以外は図１５で示した内容そのものである。
図１７（ａ）は画面の上端から下端の間のある１点の読み出し動作を示したものである。
今、ある垂直期間で図１７（ａ）に示すように最後（６回目）の読み込みが露光期間１／１００秒中の最後に一致しているとする。
【００４４】
図１５では次の１垂直区間ではリップルが０．００１／６０秒だけ後ろへずれることになるが、本例によれば、各読み込みタイミングが露光期間のなかで０．００１／６０秒だけ進相するので、ずれがキャンセルされる。
この後、図１７（ｂ）〜（ｄ）を経て１００垂直期間後には１回目の取り込みタイミングが露光期間の先頭の図１７（ｅ）に達する。
そして、この先頭に達した段階で一気に１／６００秒だけ取り込みタイミングを後ろへシフトする。当然リップルの位相も１／６００秒シフトするが、これはちょうどリップルの１周期に相当するため、連続性は保たれ、状態は図１７（ａ）へ戻る。以下これの繰り返しである。
【００４５】
以上のように本実施の形態では、図１５の動作例で問題となるリップルの垂直方向への流れをなくすことができ、視覚上リップルを目立たなくすることができる。すなわち、垂直６０Ｈｚ系のカメラの中でＮＴＳＣのように実際の垂直周波数が６０／１．００１Ｈｚのシステムでは図１５に示す方法でもリップルが垂直方向へゆっくり流れ、完全には止めることができなかったが、本例によってリップルを完全に静止でき、より目立たなくすることができる。
なお、本例を適用しない場合リップルは、１００垂直期間（約１．６７秒）で１リップル分、１０００垂直期間（約１６．６７秒）の間に画面の最上端から最下端に至るという速度で流れることになり、視覚的に捉えやすいものとなる。
【００４６】
次に、本発明の第４の実施の形態について説明する。
この第４の実施の形態は、上述した第１の実施の形態及び第２の実施の形態の動作に加えて、リップルの位相を１垂直区間毎に切り替えることにより、時間軸方向の視覚的積分効果を利用してさらにリップル軽減の効果を高めるようにしたものである。
図１８は垂直周波数が６０Ｈｚの場合の蓄積（露光）、読み出し方法とその時のリップルの一例を示す説明図であり、図１８（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１８（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示しており、１／１００秒の露光期間内に等間隔の６回の露光を行ない、各露光時間を（１／１００）×（１／６）×（１／３）秒とした例を示している（１／３００秒のシャッタに相当する）。
また、図１９も垂直周波数が６０Ｈｚの場合の蓄積（露光）、読み出し方法とその時のリップルの一例を示す説明図であり、図１９（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図１９（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示しており、露光期間長、露光回数、各露光時間が同じであるが、露光期間のタイミングが（１／１００）×（１／６）×（１／２）秒だけずれている例である。
図１８（Ｂ）及び図１９（Ｂ）に示すように、両者のリップル波形は位相が１８０°ずれている。
【００４７】
そして、この図１８に示す露光期間のタイミングと図１９に示す露光期間のタイミングとを各垂直期間ごとに切り替えるというのが本例の主旨である。
すなわち、露光期間内の等間隔で正の整数ｍの同時走査を行なうモードにおいて、図１８に示す露光区間の位相（第１の位相）は、任意の整数をｋ、任意の係数をαとした場合に、（露光期間／２ｍ）×２ｋ＋αとなり、図１９に示す露光区間の位相（第２の位相）は、（露光期間／２ｍ）×（２ｋ＋１）＋αとなり、この２種類の位相制御を切り替えて露光動作を実行する。
これにより時間的（視覚的）な積分効果によりリップルの見え方を軽減することができる。この切り替えは１垂直期間ごとに図１８と図１９を切り替えるのが一般的であるが、トータルでキャンセルするような組み合わせ（例えば、図１８、図１８、図１９、図１９の順序で切り替えるなど）としても効果は期待でき、このような制御方法も本発明に含まれるものである。
【００４８】
また、上述した第１の実施の形態及び第２の実施の形態では、リップルを静止させるために、６０Ｈｚ系の撮像装置では露光期間の分割基数を３として３×ｎの同時走査を行ない、５０Ｈｚ系の撮像装置では露光期間の分割基数を５として３×ｎの同時走査を行なうようにしたが、本例では任意の正の整数ｍを用いて同時走査数（＝露光回数）とすることができ、３や５の倍数に限定されないものである。
図２０及び図２１はｍを限定しない制御例を示す図であり、図２０（Ａ）、図２１（Ａ）は照明光の変化に対する各画素行毎の露光タイミングを示し、図２０（Ｂ）、図２１（Ｂ）は各画素行毎の露光動作時における照明光のレベル変化を示しており、１／１００秒の露光期間内に等間隔の５回の露光を行ない、各露光時間を（１／１００）×（１／５）×（１／３）とした場合の例である（１／３００秒シャッタに相当する）。
また、両者の露光タイミングのずらし量は、（１／１００）×（１／５）×（１／２）秒とする。
この場合は、画面上端と下端のリップル位相が合わないため流れることになるが、両者で位相が１８０°ずれており、キャンセル効果が得られる。
【００４９】
なお本発明の主旨である位相差は垂直のブランキング期間を利用して付けられることになる。
例えばＮＴＳＣの３×ｎなどのｎが大きいほどシフト量は小さくできるが、小さい側は必要位相シフト量がブランキング期間長を超える場合は設定できないため制限がある。例えばｎ＝１の３回露光は不可である。
しかし、図１に示すようにメモリ手段（記憶部９０）を使う方式では、スキャン速度を通常のＮＴＳＣより速くすることが可能で、この場合はイメージセンサの読み出し時のブランキング期間（時間）が長くできるため、３回露光なども充分に可能となる（なお、以下に説明する第５の実施の形態の動画像歪み改善用のスキャン方法はその一例である）。
【００５０】
本実施の形態では以下のような効果を得ることが可能である。
（１）上述した第１〜第３の実施の形態の制御と併用することにより、リップル軽減効果が大きくなる。
（２）本実施の形態によるリップル軽減効果を用いることにより、リップルを悪化させることなく、上述した第１〜第３の実施の形態による制御の同時走査数を減らすことができ、制御の簡素化を図ることも可能となる。
【００５１】
次に、本発明の第５の実施の形態について説明する。
上述のようにＣＭＯＳイメージセンサ等のライン順次でシャッタ走査を行なう撮像装置においては、画面内の位置によって露光タイミングが一定の時差を有することから、移動体の撮影を行なう場合に、露光タイミングの時差によって動画像に歪みが生じる。
そこで、本例では、この動画像歪みを改善する方法として、画面の垂直方向の上部から下部までのスキャン時間をＴ（Ｔ≦１垂直周期）とした場合に、画面内でＮ個（Ｎは２以上の整数）の同時または略同時の露光動作及び信号読み出し動作を行ない、かつ、そのＮ個のスキャン間隔をＴ／Ｎとし、その読み出した信号を各画素毎に加算して撮像信号を生成するモードを設けたものである。
【００５２】
まず、動画像歪みについて説明する。
図２２はＣＣＤイメージセンサなどの面内の露光期間に時間差がない場合の動画像の例を示す説明図である。
ここで棒状の被写体が左から右へ動いているとする。画面内各画素の露光時間が１垂直期間である場合、被写体はその時間内に移動するため得られる被写体像１１０Ａはその移動方向に広がりを持つことになる。
しかしながら、面内の露光期間に時間差がないため画面上部と下部で差異を生じることはない。
一方、図２３はＣＭＯＳイメージセンサなどの面内の露光期間に時間差がある場合の動画像の例を示す説明図である。
リセット・露光のタイミングは画面下ほど時間的に遅れるため、図示のように傾いた被写体像１１０Ｂが得られることになる。
【００５３】
そこで、これを緩和するため画面の複数ポイントを同時にスキャンする方法が考えられる。
ＣＭＯＳイメージセンサは、垂直走査手段の機能により、原理上はこのような複数ポイントを同時読みできるものも製作可能である。
図２４は垂直方向等分に２ポイントの同時スキャンをする例を示している。ここで、第１のスキャンは画面上部から始まり１垂直時間後に画面下部で終わる。第２のスキャンは画面中央から始まり、１／２垂直時間後に画面下部に到達した後、画面上部に移り、１垂直時間後には画面中央部で終わる。
各画素はスキャン直後にリセットをかけるとすると、それぞれの画素の露光時間は１垂直時間の１／２となり、被写体像１１０Ｃの広がりも１／２となる。この２つのスキャンにより得られた信号は、メモリ手段などによりそれぞれの画素ごとに合成（加算）されるので、結果的に被写体像の広がりは複数ポイント同時スキャンでない場合と同等になる。しかし、図２４からわかるとおり、画面の上半分と下半分を同時読みしているため、上下の時間差が縮小していることがわかる。
図２５はさらに同時読みポイントを増やして５ポイントとした例を示している。ここで各露光時間は１／５となり、メモリ手段による合成後は被写体像１１０Ｄの広がりは同じであるが、上下の時間差による歪みはかなり改善されることがわかる。
この歪み改善を効果的にするためには、各スキャンが画面内等分となっていることが重要である。
【００５４】
一方、例えば上述した第１〜第３の実施の形態で説明したもののように、この複数ポイント同時読みを１垂直期間内のある決まった区間中に行いたいという要請がある。
図２６は第１の実施の形態で説明した、１垂直期間１／６０秒のＮＴＳＣにおいて、横軸に時間、縦軸に画面垂直方向位置をとり、複数ポイント同時読みをしない場合のスキャンの様子を示した図である。
１垂直期間の始まりではスキャン位置は画面上部にあり、時間と共に画面下部に移っていき、１垂直期間後には画面下部へ到達する。
また、図２７は、３ポイント同時読みを行なった場合の図２６と同様の図である。
このように時間的に１垂直期間内等分にした複数ポイント同時スキャンでは、垂直方向の位置的にも画面内等分となり、前述の歪み改善にとって良い結果をもたらす。
【００５５】
しかしながら、複数ポイント同時読みを１垂直期間内のある決まった区間中に行うという場合は上記画面内等分という関係がくずれることになる。
図２８は１垂直期間内（１／１００秒）の間に３回の読み出し、すなわち３ポイントの同時読みをする例を示している。
時間的には１／１００秒内で等分であるが、位置的には画面内等分とはならないことがわかる。このような状況では前述の歪み改善効果はあまり期待できないことになる。
そこで本実施の形態では、１垂直期間内のある決まった区間をＴとする時に、画面の上部から下部までのスキャン時間もＴとし、そのスキャン時間内で複数ポイント同時読みをするようにした。
【００５６】
図２９は本実施の形態によるスキャン動作を示す図であり、横軸に時間、縦軸に画面垂直方向位置をとり、３ポイント同時読みをする場合のスキャンの様子を示している。時間的に１／１００秒内で等分となると同時に位置的に画面内等分となっている。
またこの場合のＴは、Ｔ≦１垂直周期となるが、メモリ手段などにより時間Ｔで書き込み・合成し、１垂直期間で読み出すという操作をすることになる。
このような垂直方向複数ポイント同時読み込みの効果により、面内露光・読み出し時間差による動画像の歪みを小さくできる。
さらに、スキャン時間を露光期間に合わせたので、露光期間が１垂直周期と異なっても画面の最上部から最下部までを等分にすることができ、面内露光・読み出し時間差による歪みをさらに小さくできる。
なお、同時読み込みの数を大きくするほどスキャンの間隔内での時間差が小さくなるため、歪みは小さくできる。
【００５７】
【発明の効果】
以上説明したように本発明の撮像装置では、例えば垂直同期周波数と異なる所定の照明周波数を有する照明下で撮影を行なう場合に、その所定の照明周波数に対応して各垂直期間内で連続する所定の露光期間を設定するとともに、さらに所定の露光期間と垂直同期周波数との位相差によって決定される所定の分割基数を選択し、露光期間を分割基数の整数倍で割ることによって決定される各分割点を起点とする同時または略同時の露光動作及び信号読み出し動作を行ない、その読み出した信号を各画素毎に加算して撮像信号を生成することにより、フリッカやリップルの発生を防止または抑制でき、画質の向上を図ることが可能となる。
【００５８】
また本発明の撮像装置では、所定の照明周波数に対応する各垂直期間内で連続する所定の露光期間を設定するとともに、さらに所定の露光期間内で等間隔にｍ（ｍは正の整数）本の同時走査または略同時走査を行ない、各走査によって読み出された信号を各画素毎に加算して撮像信号を生成する場合において、各垂直周期毎に垂直区間に対する露光区間の位相を、任意の整数をｋ、任意の係数をαとした場合に、（露光期間／２ｍ）×２ｋ＋αとなる第１の位相と、（露光期間／２ｍ）×（２ｋ＋１）＋αとなる第２の位相とのいずれか一方を選択して露光制御を行なうことにより、各垂直区間毎に生じるリップルをその位相の切り替えによって相殺することが可能となり、リップルを抑制した画像を出力することが可能となる。
【００５９】
また本発明の撮像装置では、画面の垂直方向の上部から下部までのスキャン時間をＴ（Ｔ≦１垂直周期）とした場合に、画面内でＮ個（Ｎは２以上の整数）の同時または略同時の露光動作及び信号読み出し動作を行ない、かつ、そのＮ個のスキャン間隔をＴ／Ｎとし、その読み出した信号を各画素毎に加算して撮像信号を生成することから、面内露光及び読み出し動作に含まれる時間差に起因する動画歪みを抑制でき、画質の向上をはかることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態による撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態に対する第１の先行動作例を示す説明図である。
【図３】本発明の実施の形態に対する第２の先行動作例を示す説明図である。
【図４】本発明の実施の形態に対する第３の先行動作例を示す説明図である。
【図５】本発明の実施の形態に対する第４の先行動作例を示す説明図である。
【図６】本発明の第１の実施の形態による第１の動作例を示す説明図である。
【図７】本発明の第１の実施の形態による第２の動作例を示す説明図である。
【図８】本発明の第１の実施の形態による第３の動作例を示す説明図である。
【図９】本発明の第１の実施の形態において同時読みポイントを増やした場合のリップルの例を示す説明図である。
【図１０】本発明の第２の実施の形態による第１の動作例を示す説明図である。
【図１１】本発明の第２の実施の形態による第２の動作例を示す説明図である。
【図１２】本発明の第２の実施の形態による第３の動作例を示す説明図である。
【図１３】本発明の第２の実施の形態による第４の動作例を示す説明図である。
【図１４】本発明の第２の実施の形態において同時読みポイントを増やした場合のリップルの例を示す説明図である。
【図１５】本発明の第３の実施の形態に対する第１の先行動作例を示す説明図である。
【図１６】本発明の第３の実施の形態に対する第２の先行動作例を示す説明図である。
【図１７】本発明の第３の実施の形態による動作例を示す説明図である。
【図１８】本発明の第４の実施の形態による第１の動作例を示す説明図である。
【図１９】本発明の第４の実施の形態による第２の動作例を示す説明図である。
【図２０】本発明の第４の実施の形態による第３の動作例を示す説明図である。
【図２１】本発明の第４の実施の形態による第４の動作例を示す説明図である。
【図２２】ＣＣＤイメージセンサで移動体を撮影した場合の画像の例を示す説明図である。
【図２３】ＣＭＯＳイメージセンサで移動体を撮影した場合の画像歪みの第１の例を示す説明図である。
【図２４】ＣＭＯＳイメージセンサで移動体を撮影した場合の画像歪みの第２の例を示す説明図である。
【図２５】ＣＭＯＳイメージセンサで移動体を撮影した場合の画像歪みの第３の例を示す説明図である。
【図２６】ＣＭＯＳイメージセンサにおけるスキャン動作を示す説明図である。
【図２７】ＣＭＯＳイメージセンサにおいて３ポイント同時読みを行なった場合のスキャン動作を示す説明図である。
【図２８】ＣＭＯＳイメージセンサにおいて垂直期間１／１００秒の間に３ポイント同時読みを行なった場合のスキャン動作を示す説明図である。
【図２９】本発明の第５の実施の形態で垂直期間１／１００秒の間に画面内等分による３ポイント同時読みを行なった場合のスキャン動作を示す説明図である。
【符号の説明】
１０……撮像画素部、２１、２２、２３……垂直タイミング発生回路。３１、３２、３３……シャッタタイミング発生回路、４１、４２、４３……垂直信号線、５１、５２、５３……水平信号線、６１、６２、６３……バッファ部、７０……水平タイミング発生回路、８０……画像処理部、９０……記憶部、１００……マイコン。[0001]
BACKGROUND OF THE INVENTION
The present invention is configured to provide a photoelectric conversion element and a readout circuit for each of a plurality of pixels arranged two-dimensionally on a semiconductor substrate, and to output an image pickup signal by scanning the photoelectric conversion element and the readout circuit with a vertical scanning unit and a horizontal scanning unit. The present invention relates to an imaging device such as a so-called CMOS image sensor, and more particularly to an imaging device capable of removing or reducing various noises generated on an output screen when photographing under an illumination light source with periodic fluctuation such as a fluorescent lamp. is there.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, CCD image sensors and CMOS image sensors have been widely used as imaging devices used in video cameras, electronic cameras, and the like.
Of these, the CMOS image sensor performs an exposure operation and a signal readout operation by sequentially scanning the imaging pixel portion of the two-dimensional pixel array in units of each pixel row. Thus, there is a problem that noise is likely to occur on the output screen due to the influence of the periodic fluctuation of the illumination light.
For example, in an NTSC digital video camera having a vertical synchronization frequency of 60 Hz, when shooting under an illumination light source having a frequency fluctuation of 50 Hz, the illumination light level fluctuates during exposure scanning for one screen, and each pixel row There are cases where the level varies and a horizontal stripe noise occurs. Hereinafter, noise generated in one screen is referred to as ripple. In this case, if there is a difference between the illumination light level at the first exposure and the illumination light level at the second exposure for a certain pixel, the signal level changes in the time axis direction, Fine noise may occur. Hereinafter, this temporal noise is referred to as flicker.
The same applies to a case where a CCIR digital camera having a vertical synchronization frequency of 50 Hz is photographed under an illumination light source having a frequency fluctuation of 60 Hz.
Even when the vertical synchronization frequency and the light source frequency coincide with each other, the illumination light level fluctuates during exposure scanning for one screen, and the ripple described above is generated.
[0003]
Furthermore, in the CMOS image sensor, since the moving body moves during exposure scanning for one screen during shooting of the moving body, the upper image and the lower image include a time difference. There is a problem that the video is distorted when the video is fast.
[0004]
As a countermeasure against flicker of the CCD image sensor, a method of matching the fluctuation period of illumination light and the phase of the exposure period has been proposed (for example, see Patent Document 1).
Therefore, it is possible to apply this method to a CMOS image sensor and use an exposure time corresponding to the fluctuation period of illumination light. For example, it is possible to prevent flicker and ripple by operating the electronic shutter with a period of 1/100 second with respect to illumination of 50 Hz.
[0005]
[Patent Document 1]
JP 11-155106 A
[0006]
[Problems to be solved by the invention]
However, in the CMOS image sensor as described above, the method of preventing flicker and ripple using the exposure time according to the fluctuation period of the illumination light makes it difficult to adjust the light amount because the exposure time is fixed, If the exposure time is shortened by increasing the speed of the electronic shutter, flicker and ripple will be caused again.
For example, when an electronic shutter is used under 60 Hz illumination in a 60 Hz CMOS image sensor, the same ripple in the screen may occur.
Furthermore, there is a problem that the above-described distortion at the time of moving body photographing cannot be eliminated.
[0007]
The present invention has been made to solve such a problem, and an object of the present invention is to suppress occurrence of flicker and ripple in an imaging device such as a CMOS image sensor at the time of shooting under illumination accompanied by frequency fluctuations. An object of the present invention is to provide an imaging apparatus capable of reducing distortion during moving body imaging.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and a readout circuit thereof, and a vertical scanning unit that scans the imaging pixel unit in a vertical direction. A scanning unit; a horizontal scanning unit that scans the imaging pixel unit in a horizontal direction; and a control unit that controls the timing of the vertical scanning unit and the horizontal scanning unit to execute an exposure operation and a signal reading operation in the imaging pixel unit. The control means sets a predetermined exposure period that is continuous within each vertical period corresponding to a predetermined illumination frequency, and is further determined by a phase difference between the predetermined exposure period and the vertical synchronization frequency. A predetermined division radix is selected, and the exposure operation and signal readout are performed simultaneously or substantially at the respective division points determined by dividing the exposure period by an integral multiple of the division radix. Performs operation, characterized in that it has a mode for generating an image signal by adding the readout signal for each pixel.
[0009]
The present invention also provides an imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and a readout circuit thereof, vertical scanning means for scanning the imaging pixel unit in a vertical direction, and the imaging pixel A horizontal scanning unit that scans a part in a horizontal direction; and a control unit that controls timing of the vertical scanning unit and the horizontal scanning unit to execute an exposure operation and a signal readout operation in the imaging pixel unit, and the control unit Sets a predetermined exposure period continuous in each vertical period corresponding to a predetermined illumination frequency, and further, m (m is a positive integer) simultaneous scans at equal intervals within the predetermined exposure period or It has a mode in which substantially simultaneous scanning is performed and an image signal is generated by adding signals read by each scanning for each pixel, and in this mode, an exposure section for a vertical section in each vertical period When the phase is k and an arbitrary coefficient is α, the first phase is (exposure period / 2m) × 2k + α, and the second phase is (exposure period / 2m) × (2k + 1) + α. The exposure control is performed by selecting one of the above phases.
[0010]
The present invention also provides an imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and a readout circuit thereof, vertical scanning means for scanning the imaging pixel unit in a vertical direction, and the imaging pixel A horizontal scanning unit that scans a part in a horizontal direction; and a control unit that controls timing of the vertical scanning unit and the horizontal scanning unit to execute an exposure operation and a signal readout operation in the imaging pixel unit, and the control unit N (N is an integer of 2 or more) simultaneous or substantially simultaneous exposure operations in the screen, where T (T ≦ 1 vertical period) is the scan time from the top to the bottom of the screen in the vertical direction. It has a mode in which a signal readout operation is performed, the N scan intervals are set to T / N, and the readout signals are added to each pixel to generate an imaging signal.
[0011]
In the imaging apparatus of the present invention, for example, when shooting is performed under illumination having a predetermined illumination frequency different from the vertical synchronization frequency, a predetermined exposure period that is continuous within each vertical period is set corresponding to the predetermined illumination frequency. In addition, a predetermined division radix determined by the phase difference between the predetermined exposure period and the vertical synchronization frequency is selected, and each division point determined by dividing the exposure period by an integral multiple of the division radix is used as a starting point. By performing simultaneous or substantially simultaneous exposure operation and signal readout operation and adding the readout signals for each pixel to generate an imaging signal, flicker and ripple can be prevented or suppressed, and image quality is improved. It becomes possible.
[0012]
In the imaging apparatus of the present invention, a predetermined exposure period that is continuous in each vertical period corresponding to a predetermined illumination frequency is set, and m (m is a positive integer) at regular intervals within the predetermined exposure period. In this case, the phase of the exposure interval with respect to the vertical interval is arbitrarily set for each vertical period. When the integer is k and the arbitrary coefficient is α, either the first phase of (exposure period / 2 m) × 2k + α or the second phase of (exposure period / 2 m) × (2k + 1) + α By selecting one of them and performing exposure control, it is possible to cancel the ripple generated in each vertical section by switching the phase, and it is possible to output an image in which the ripple is suppressed.
[0013]
In the imaging apparatus of the present invention, when the scanning time from the upper part to the lower part in the vertical direction of the screen is T (T ≦ 1 vertical period), N (N is an integer of 2 or more) simultaneous or Since substantially simultaneous exposure operation and signal readout operation are performed, the N scan intervals are set to T / N, and the readout signals are added for each pixel to generate an imaging signal. Moving image distortion caused by the time difference included in the read operation can be suppressed, and the image quality can be improved.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an imaging apparatus according to the present invention will be described.
The embodiments described below are preferred specific examples of the present invention, and various technically preferable limitations are added. However, the scope of the present invention is not limited to the following description. Unless otherwise specified, the present invention is not limited to these embodiments.
[0015]
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus common to the embodiments of the present invention.
In FIG. 1, an imaging pixel unit 10 is configured by two-dimensionally arranging a plurality of pixels, and each pixel generates a photoelectric charge element (photograph) that generates and accumulates signal charges according to the amount of received light. Diode) and a readout circuit for reading out signal charges accumulated in the photoelectric conversion element. Note that various configurations are employed as the readout circuit. For example, a transfer transistor that transfers signal charges accumulated in a photoelectric conversion element to an FD (floating diffusion) unit, and signal charges in the FD unit are electric signals. An amplifying transistor for converting the signal into the signal line, a reading transistor for reading the output of the amplifying transistor to the signal line, a reset transistor for resetting the signal charge in the FD portion, and the like.
Note that the imaging pixel unit 10 of the present example is divided into three regions 10A, 10B, and 10C in the vertical direction, and scanning for exposure and signal readout is performed for each of the divided regions.
[0016]
The first to third vertical timing generation circuits 21, 22, and 23 and the first to third shutter timing generation circuits 31, 32, and 33 are various at predetermined timing with respect to each pixel of each divided region of the imaging pixel unit 10. A pulse signal is supplied to control the exposure operation and signal readout operation of the imaging pixel unit 10, and each pixel signal is output from the vertical signal lines 41, 42, and 43 provided for each pixel column in each divided region. .
The first to third vertical timing generation circuits 21, 22, and 23 and the first to third shutter timing generation circuits 31, 32, and 33 output the image pickup pixel unit 10 to the vertical signal lines 41, 42, and 43. The pixel signal is stored in a register (not shown) for each pixel row, and is output to the buffer units 61, 62, 63 through the horizontal signal lines 51, 52, 53.
The horizontal timing generation circuit 70 controls this register to scan in the horizontal direction and transfer each pixel signal to the buffer units 61, 62 and 63.
The buffer units 61, 62, and 63 include a gain adjustment circuit and an amplifier circuit for pixel signals input from the horizontal signal lines 51, 52, and 53, and supply the processed pixel signals to the image processing unit 80. The image processing unit 80 performs various signal processing such as noise removal and color signal processing on the pixel signals input from the buffer units 61, 62, and 63, and outputs the processed pixel signals to the storage unit 90. .
[0017]
The storage unit 90 stores pixel signals from the image processing unit 80, and the microcomputer 100 controls each unit of the imaging apparatus having the above-described configuration.
In particular, this example is characterized by the timing of the exposure operation and signal readout operation of each pixel with respect to the imaging pixel unit 10, and the microcomputer 100 executes control for realizing this operation.
In this example, a plurality of exposure operations and readout operations are performed for each pixel, and a plurality of pixel signals are extracted for each pixel. The plurality of pixel signals are stored in the storage unit 90. . In the microcomputer 100, a process is performed in which a plurality of pixel signals stored in the storage unit 90 are added for each pixel to generate an imaging signal and stored in the storage unit 90 again. Such pixel signal addition processing may be performed by providing another dedicated circuit without using a microcomputer.
[0018]
Next, a first embodiment of the present invention will be described.
This first embodiment removes or suppresses ripples and flickers when an imaging apparatus having a vertical synchronization frequency of 60 Hz used in, for example, the NTSC system is photographed under a fluorescent lamp having an illumination frequency of 50 Hz. It is related with the exposure control for this.
In the imaging apparatus of this example, the 60 Hz system imaging apparatus has an exposure period of 1/100 seconds continuous in each vertical section, and the division radix 3 × n (n is a positive integer) within the exposure period of 1/100 seconds. A mode for performing a simultaneous exposure operation and a signal readout operation starting from the division point determined in (1) is provided. Here, the value of 3 as the division radix is a value determined based on a shift of the illumination light fluctuation period and the exposure operation by 1/3 period in one vertical period. The term “simultaneous” used in the following does not need to be completely simultaneous, but includes substantially simultaneous operations having a certain time difference within a certain tolerance.
[0019]
Therefore, in order to explain the features of this example more clearly, prior to the description of the specific control operation of this example, the control examples as prior art of this example will be described sequentially. In the following description, it is assumed that the fluorescent lamp emits light in a sinusoidal shape (actually, a half-wave rectified waveform). Further, although one vertical period actually includes a blanking period and there are sections without pixels, for the sake of easy understanding, description will be made assuming that all the vertical periods have pixels.
FIG. 2 is an explanatory diagram showing an example in which an exposure time of 1/60 seconds is used when shooting is performed with a 60 Hz imaging device under 50 Hz illumination. FIG. 2A shows each pixel with respect to changes in illumination light. The exposure timing for each row is shown, and FIG. 2B shows the change in the level of illumination light during the exposure operation for each pixel row.
In each of the following waveform diagrams, the start phase of the ripple waveform diagram shown in (B) of each diagram is shown for convenience of calculation, and does not necessarily match the result of the exposure timing diagram shown in (A) of each diagram. This is only for viewing the shape and amplitude of the ripple.
[0020]
As shown in FIG. 2A, the exposure time of the pixel row at the top of the screen starts accumulation at 1/60 seconds before point A for reading out signals, and ends at point A. Further, the exposure time of the pixel row in the middle stage of the screen starts accumulation at 1/60 seconds before point B for reading out signals, and ends at point B. Further, for the exposure time of the pixel row at the bottom of the screen, accumulation starts from 1/60 seconds before point C for reading out signals, and ends at point C.
The signal charges at the points A, B, and C shown in FIG. 2A are integrals of the light amounts in the respective accumulation periods, and therefore when calculated continuously from the point A to the point C, as shown in FIG. become. In FIG. 2B, the vertical axis represents the average signal from point A to point C as 0, and the fluctuation with respect to the average signal is expressed in%.
In this case, since the level of illumination light changes at 50 Hz and the exposure time of each pixel row is 1/60 second, the integrated value of the amount of light during the exposure period of each pixel changes as shown in FIG. .
FIG. 2B shows that about 22% in-plane ripple occurs at peak-to-peak (PP). Further, since the value of point A and the value of point C shown in FIG. 2B do not match, the phase relationship with the illumination is completely different in the next one vertical period. And the signal charges are completely different, and this appears as flicker.
[0021]
Therefore, in order to avoid such a phenomenon, first, a method is considered in which the exposure time is set to 1/100 second in accordance with the illumination fluctuation period.
FIG. 3 is an explanatory diagram showing an example in which an exposure time of 1/100 second is used when shooting is performed under a 50 Hz illumination with a 60 Hz imaging device, and FIG. The exposure timing for each row is shown, and FIG. 3B shows the change in the level of illumination light during the exposure operation for each pixel row.
In this case, since the illumination light level changes at 50 Hz and the exposure time of each pixel row is 1/100 second, the integrated value of the light amount in the exposure period of each pixel becomes constant as shown in FIG. Flicker and ripple can be prevented.
However, in this case, the exposure time is fixed to 1/100 second, and the light amount adjustment becomes difficult.
[0022]
Therefore, it is conceivable to adjust the light amount by changing the timing of the electronic shutter.
FIG. 4 is an explanatory diagram showing an example in which an exposure time of 1/300 seconds is used when shooting is performed under 50 Hz illumination with a 60 Hz imaging device, and FIG. 4A shows each pixel with respect to a change in illumination light. The exposure timing for each row is shown, and FIG. 4B shows the level change of the illumination light during the exposure operation for each pixel row.
In this case, although the flicker is eliminated, the ripple becomes an in-plane ripple close to 100% in peak-to-peak (PP).
Further, FIG. 5 is an explanatory diagram showing an example in which an exposure time of 1/3600 seconds is used when shooting is performed with a 60 Hz imaging apparatus under illumination of 50 Hz, and FIG. The exposure timing for each pixel row is shown, and FIG. 5B shows the change in the level of illumination light during the exposure operation for each pixel row.
In this case, flicker occurs, and the ripple becomes an in-plane ripple close to 145% at peak-to-peak (PP).
As the shutter speed is increased and the exposure time is shortened, flicker and ripple appear more remarkably.
[0023]
Therefore, in the imaging apparatus according to the present embodiment, the 60 Hz imaging apparatus has an exposure period of 1/100 second continuous in each vertical section, and the division radix 3 × n (n within the 1/100 second exposure period. Is a simultaneous exposure operation and a signal readout operation starting from a dividing point determined by (a positive integer) (that is, (3 × n) scanning operations having a time difference of 1/100 / (3 × n)). Depending on the mode, flicker and ripple are removed or suppressed.
[0024]
Hereinafter, some specific operation examples of the imaging apparatus according to the first embodiment will be described.
FIG. 6 is a diagram illustrating a first operation example of the image pickup apparatus according to the present embodiment, and has an exposure period of 1/100 second when shooting is performed with 50 Hz illumination under 50 Hz illumination. An example is shown in which three points corresponding to a time difference of 1/100/3 second are simultaneously scanned within the exposure period. 6A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. 6B shows the change in level of illumination light during the exposure operation for each pixel row.
In general, a CMOS image sensor or the like may be capable of simultaneously reading or resetting a plurality of points in a screen. Therefore, in the present embodiment, three points corresponding to a time difference of 1/100/3 second are scanned simultaneously within a period of 1/100 second. That is, this example is an example in which the positive integer n described above is 1.
As a result, the signal of each pixel is read three times at intervals of 1/100/3 in one vertical section.
In this example, the reset timing of each pixel is from 1/100/3 second before the reading timing to approximately the reading timing. If the reset is performed 1/100/3 second before the reading timing in this way, the luminance is equivalent to that when the electronic shutter is applied for 1/100 seconds in total for the three scanning operations, and the reset timing is used as the reading timing. As it gets closer, it becomes equivalent to applying a high-speed shutter.
[0025]
In FIG. 6, the three scans have a time difference of 1/300 seconds from each other. For example, at point A, the first scan is reset 1/300 seconds before the first scan. Is reset at the same time as reading at point A. Next, when the second scan comes after 1/300 second, it is reset simultaneously with reading. Finally, read when the third scan comes after 1/300 second. Such an operation is performed simultaneously at three points.
The three reading signals by the three-point simultaneous reading are added for each pixel in the memory means (storage unit 90), and are generated and output as an imaging signal.
In this example, each point accumulates one cycle of the light source in total, and neither ripple nor flicker occurs.
[0026]
FIG. 7 is a diagram showing a second operation example of the imaging apparatus according to the present embodiment. FIG. 7A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. The change in the level of illumination light during the exposure operation for each pixel row is shown. In the second operation example, the exposure time for each scan is shortened to 1/900 seconds with respect to the operation example of FIG. 6, and the effective shutter speed by the total of the three scans is controlled to be 1/300. It is. Other operations are the same as in the example shown in FIG.
As shown in FIG. 7B, in the case of this example, the ripple is 9.4% in PP, which is an improvement of 20 dB compared to the above-described prior art.
Further, the phases of the uppermost point A and the lowermost point C coincide with each other. This indicates that the same ripple phase is obtained in the next vertical section, in other words, flicker in the time axis direction is eliminated. Also, the ripple frequency is tripled.
[0027]
FIG. 8 is a diagram illustrating a third operation example of the imaging apparatus according to the present embodiment. FIG. 8A illustrates exposure timing for each pixel row with respect to a change in illumination light, and FIG. A change in the level of illumination light during an exposure operation for each pixel row is shown. In the third operation example, the exposure time for each scan is further reduced to 1/10800 seconds compared to the operation example in FIG. 6, and the effective shutter speed by the total of three scans is controlled to be 1/3600. Is. Other operations are the same as in the example shown in FIG.
As shown in FIG. 8B, in the case of this example, the ripple is 13.8% in PP, which is an improvement of 20 dB or more compared to the above-described prior art.
Of course, no flicker occurs and the ripple frequency is tripled.
[0028]
As described above, in the first embodiment of the present invention, the example of 3-point simultaneous reading (3 × n = 3) has been described. However, the value of n is increased and n = 2 and 6-point simultaneous reading (3 × n = If the number of simultaneous reading points is increased by 3) or n = 3 and 9 point simultaneous reading (3 × n = 9), the ripple suppression effect is further greatly improved. Further, the ripple frequency can be increased to 6 times or 9 times.
FIG. 9 is an explanatory diagram illustrating an example of ripples when the simultaneous reading points are increased by increasing n to 1, 2, and 3 when the effective shutter speed is 1/3600 seconds in the present embodiment. It is the figure expanded and shown to the amplitude direction in order of A), (B), (C). FIG. 9D is a table showing the improvement effect by numerical values.
[0029]
Although the above description has been given of the mode (first mode) in which shooting is performed with a 60 Hz imaging device under 50 Hz illumination, the exposure time is set when shooting with 60 Hz imaging device under 60 Hz illumination. It is possible to switch to the second mode in which the shutter operation is performed by switching to 1/120 second or 1/60 second, and photographing can be performed. For example, a means for detecting the frequency of the illumination may be installed, and the mode may be switched by determining the frequency of the illumination based on the detection by the detection means, or the frequency of the illumination may be switched to the user depending on the area of use. The switch may be configured to operate, and the mode may be switched by determining the illumination frequency based on the input of the switch.
In the above example, since the vertical frequency is set to 60 Hz based on the NTSC system, the exposure period is set to 1/100 second. However, in a digital camera or the like, the vertical frequency is 1/30 second. In an imaging apparatus having such a vertical frequency, flicker and ripple can be prevented even if the above-described divided exposure is performed with an exposure period of 1/50 second.
[0030]
In the first embodiment of the present invention as described above, the following effects can be obtained in an imaging apparatus having a vertical frequency of 60 Hz.
(1) Whether the illumination is 60 Hz or 50 Hz, the time direction flicker under the fluorescent lamp can be made zero. Therefore, time integration is easy, and ripple frequency detection and phase detection are easy.
(2) The ripple frequency is multiplied by 3 × n. Therefore, separation from elements such as lens shading is facilitated, and ripple frequency detection and phase detection are facilitated.
(3) The vertical ripple at the time of shutter operation is greatly improved by switching the exposure period to 1/120 seconds or 1/60 seconds under 60 Hz illumination as it is under 50 Hz illumination. This effect is greater as 3 × n is larger.
(4) Therefore, the AE operation by the shutter under the fluorescent lamp becomes possible. Since the AE operation by the shutter is possible, the IRIS mechanism can be omitted.
(5) Furthermore, a still camera without a mechanical shutter can be realized.
[0031]
Next, a second embodiment of the present invention will be described.
In the first embodiment described above, the operation when photographing is performed under illumination of 50 Hz in an imaging device having a vertical frequency of 60 Hz has been described. However, in the second embodiment described below, the vertical frequency is An operation in the case of shooting under 60 Hz illumination in a 50 Hz imaging device will be described. In this example as well, the configuration of the imaging apparatus is basically the same as that shown in FIG.
Even in the second embodiment, although the frequency is different, the same problem as described with reference to FIGS. 2 to 5 occurs.
Therefore, in the imaging apparatus according to the present embodiment, the 50 Hz imaging apparatus has an exposure period of 1/60 seconds or 1/120 seconds continuous in each vertical section, and exposure of 1/60 seconds or 1/120 seconds. Simultaneous exposure operation and signal readout operation starting from a division point determined by a division radix of 5 × n (n is a positive integer) within a period (that is, 1/60 / (5 × n) or 1/120 / ( Flicker and ripple are removed or suppressed by a mode in which (5 × n) scan operations having a time difference of 5 × n) are performed. That is, in the case of this example, the division radix is 5.
In the following description, for convenience, the case where the exposure period is 1/60 seconds is referred to as mode A, and the case where the exposure period is 1/120 seconds is described as mode B.
[0032]
First, in the mode A, the scanning operation of each point is performed 5 × n times at intervals of 1/60 / (5 × n) seconds in one vertical section. The reset timing of each point is set between 1/60 / (5 × n) seconds before the read timing and approximately the read timing.
Considering the total exposure (effective shutter speed) here, resetting 1/60 / (5 × n) seconds before the reading timing is equivalent to applying an electronic shutter of 1/60 seconds, and resetting is performed. As the reading timing approaches, it is equivalent to applying a high-speed shutter.
In the mode B, the scanning operation of each point is performed 5 × n times at an interval of 1/120 / (5 × n) seconds in one vertical section. The reset timing of each point is set between 1/120 / (5 × n) seconds before the read timing and approximately the read timing.
Here, considering the total exposure amount (effective shutter speed), resetting 1/120 / (5 × n) seconds before the reading timing is equivalent to applying an electronic shutter of 1/120 seconds, and resetting is performed. As the reading timing approaches, it is equivalent to applying a high-speed shutter.
[0033]
Hereinafter, some specific operation examples of the imaging apparatus according to the second embodiment will be described.
First, an example in which the effective shutter speed is set to 1/60 seconds or 1/120 seconds and ripples and flicker are not generated will be described.
FIG. 10 is a diagram illustrating a first operation example of the imaging apparatus according to the present embodiment, and has an exposure period of 1/60 seconds in mode A when shooting is performed with 60 Hz imaging apparatus under 60 Hz illumination. In the exposure period, 5 points corresponding to a time difference of 1/60/5 second are scanned simultaneously. 10A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. 10B shows the change in level of illumination light during the exposure operation for each pixel row.
The first, second, third, fourth and fifth scans each have a time difference of 1/300 seconds. For example, in the case of point A, a reset is applied 1/300 seconds before the first scan comes, and when the first scan comes to point A, it is reset simultaneously with reading. Next, when the second scan comes after 1/300 second, it is reset simultaneously with reading. The same applies to the third, fourth, and fifth scans.
The five read signals obtained by simultaneous scanning of five points having such a phase difference are added by the memory means (storage unit 90) and output. In this example, each point accumulates two light source cycles in total, and neither ripple nor flicker occurs.
In mode A, there is another point (when the effective shutter speed is 1/120 second), and there is a point where neither ripple nor flicker occurs.
[0034]
FIG. 11 is a diagram showing a second operation example of the imaging apparatus according to the present embodiment, and has an exposure period of 1/120 seconds in mode B when shooting is performed with 60 Hz imaging apparatus under 60 Hz illumination. In this example, 5 points corresponding to a time difference of 1/120/5 seconds are simultaneously scanned within the exposure period. FIG. 11A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. 11B shows the change in level of illumination light during the exposure operation for each pixel row.
The first, second, third, fourth, and fifth scans each have a time difference of 1/600 second. For example, in the case of point A, a reset is applied 1/600 second before the first scan comes, and when the first scan reaches point A, the reset is performed simultaneously with reading. Next, when the second scan comes after 1/600 second, it is reset simultaneously with reading. The same applies to the third, fourth, and fifth scans.
The read signals of 5 times by simultaneous scanning of 5 points having a phase difference are added by the memory means (storage unit 90) and output. In this example, each point accumulates one light source period in total, and neither ripple nor flicker occurs.
[0035]
FIG. 12 is a diagram showing a third operation example of the imaging apparatus according to the present embodiment, and has an exposure period of 1/60 seconds in mode A when shooting is performed with 60 Hz imaging apparatus under 60 Hz illumination. In the exposure period, 5 points corresponding to a time difference of 1/60/5 second are scanned simultaneously. 12A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. 12B shows the change in level of illumination light during the exposure operation for each pixel row.
In this example, the effective shutter speed is 1/360 seconds, and the accumulation time at each point is 1/1800 seconds.
As shown in FIG. 12B, the ripple in this case is 3.3% at PP. Although illustration is omitted, the improvement is 30 dB compared to the case where the function according to the present embodiment is not used.
Further, as shown in FIG. 12 (B), the phases of the uppermost point A and the lowermost point C match. This indicates that the same ripple phase is obtained in the next vertical section, in other words, flicker in the time axis direction is eliminated. The ripple frequency is also five times.
[0036]
FIG. 13 is a diagram showing a fourth operation example of the imaging apparatus according to the present embodiment, and has an exposure period of 1/120 seconds in mode B when shooting is performed with 60 Hz imaging apparatus under 60 Hz illumination. In this example, 5 points corresponding to a time difference of 1/120/5 seconds are simultaneously scanned within the exposure period. FIG. 13A shows the exposure timing for each pixel row with respect to the change in illumination light, and FIG. 13B shows the change in level of illumination light during the exposure operation for each pixel row.
In this example, the effective shutter speed is 1/360 seconds, and the accumulation time at each point is 1/1800 seconds.
The improved state of ripple and flicker in this case is the same as in the example of mode B shown in FIG.
[0037]
In addition, although the above each operation example showed the example of 5 point simultaneous reading (5xn = 5), if 5xn = 10,15 and a simultaneous reading point are increased, the ripple suppression effect will improve greatly. Also, the ripple frequency is 10 times and 15 times.
FIG. 14 is an explanatory diagram showing an example of ripples when the number of simultaneous reading points is increased by increasing n to 1, 2, and 3 when the effective shutter speed is 1/3600 seconds in the present embodiment. It is the figure expanded and shown to the amplitude direction in order of A), (B), (C). FIG. 14D is a table showing the improvement effect by numerical values.
[0038]
In the above, the mode (first mode) in the case of shooting under 60 Hz illumination with a 50 Hz imaging device has been described. However, the exposure time when shooting under 50 Hz illumination with a 50 Hz imaging device. Can be switched to the second mode in which the shutter operation is performed by switching to 1/100 second. For example, a means for detecting the frequency of the illumination may be installed, and the mode may be switched by determining the frequency of the illumination based on the detection by the detection means, or the frequency of the illumination may be switched to the user depending on the area of use. The switch may be configured to operate, and the mode may be switched by determining the illumination frequency based on the input of the switch.
[0039]
In the second embodiment of the present invention as described above, the following effects can be obtained in an imaging apparatus having a vertical frequency of 50 Hz.
(1) Whether the illumination is 60 Hz or 50 Hz, the time direction flicker under the fluorescent lamp can be made zero. Therefore, time integration and the like are easy, and ripple frequency detection and phase detection are easy.
(2) The ripple frequency is multiplied by 5 × n. Therefore, separation from elements such as lens shading is facilitated, and ripple frequency detection and phase detection are facilitated.
(3) By switching the exposure period to 1/100 seconds under 60 Hz illumination as it is under 60 Hz illumination, the vertical ripple at the time of shutter operation is greatly improved. This effect is greater as 5 × n is larger.
(4) Therefore, the AE operation by the shutter under the fluorescent lamp can be performed. Since the AE operation by the shutter is possible, the IRIS mechanism can be omitted.
(5) Furthermore, a still camera without a mechanical shutter can be realized.
[0040]
Next, a third embodiment of the present invention will be described.
In the first embodiment described above, the exposure period is 1/100 second under 50 Hz illumination, and 3 × n simultaneous exposure and readout operations are performed within the exposure period. However, the vertical frequency is 60 Hz. In the system imaging apparatus, there is an accurate 60 Hz system, but a value of 60 / 1.001 Hz is often used in order to reduce interference with an audio signal like NTSC.
Therefore, when the first embodiment is applied to this 60 / 1.001 Hz system, the ripple amplitude decreases, but it does not stop in phase but decreases slowly in the vertical direction. Therefore, in order to make it visually inconspicuous, it is preferable that the ripple stops.
Therefore, in the third embodiment, a method is provided in which the ripple stops in a 60 / 1.001 Hz system.
[0041]
FIG. 15 is an explanatory diagram showing an example of a storage (exposure) and readout method and a ripple at that time when the vertical frequency is 60 Hz, and FIG. 15A shows the exposure timing for each pixel row with respect to the change in illumination light. FIG. 15B shows a change in the level of illumination light during the exposure operation for each pixel row.
In this example, six exposures are performed at equal intervals within an exposure period of 1/100 seconds, and each exposure time is (1/100) × (1/6) × (1/3) seconds.
In this case, the ripple phases at the top of the screen and the bottom of the screen exactly match. Here, the uppermost part and the lowermost part mean not only a part where pixels are actually imaged but also the beginning and end of a vertical period including blanking. Due to this coincidence, the ripple stops without flowing in the vertical direction.
FIG. 16 is an explanatory diagram when the same readout method is applied to a system with a vertical frequency of 60 / 1.001 Hz. FIG. 16A shows the exposure timing for each pixel row with respect to the change in illumination light. FIG. 16B shows a change in the level of illumination light during the exposure operation for each pixel row.
The phase difference with the actual 60 Hz system is slight, but is exaggerated for the sake of clarity.
[0042]
The phase of the ripple coincides with the phase at the top of the screen 1/60 seconds after the top of the screen, but after that, scanning continues for 1.001 / 60-1 / 60 = 0.0001 / 60 seconds. The ripple phase advances to that extent and does not match the phase at the top of the screen. In the next vertical section, the ripple phase at the top of the screen starts from the ripple phase at the bottom of the previous vertical section, so the ripple does not stop and flows slowly in the vertical direction.
In this embodiment, in order to solve this problem, the timing of each reading is shifted to the phase advance side by 0.001 / 60 seconds every vertical period. Thereby, the ripple phase at each point in the vertical direction does not change in each vertical section, and as a result, the ripple does not flow, which is visually advantageous.
[0043]
Next, a specific reading method in the present embodiment will be described.
FIG. 17 is a diagram showing an operation example according to the present embodiment, in which an exposure period of 1/100 seconds is provided in a vertical section of 1.001 / 60 seconds, in which accumulation and reading at six equal intervals are performed. It represents the case of performing. The contents are the same as those shown in FIG. 15 except that the vertical interval is 1.001 / 60 seconds.
FIG. 17A shows a reading operation at one point between the upper end and the lower end of the screen.
Now, it is assumed that the last (sixth) reading coincides with the last in the exposure period 1/100 seconds as shown in FIG. 17A in a certain vertical period.
[0044]
In FIG. 15, the ripple shifts backward by 0.001 / 60 seconds in the next vertical section. However, according to this example, each reading timing is advanced by 0.001 / 60 seconds in the exposure period. Therefore, the deviation is cancelled.
Thereafter, after 100 vertical periods through FIGS. 17B to 17D, the first capture timing reaches FIG. 17E at the beginning of the exposure period.
Then, at the stage when the head is reached, the capturing timing is shifted backward by 1/600 second at a stretch. Of course, the phase of the ripple is also shifted by 1/600 second, but this corresponds to just one period of the ripple, so that the continuity is maintained and the state returns to FIG. This is repeated below.
[0045]
As described above, in this embodiment, the flow of ripples in the vertical direction, which is a problem in the operation example of FIG. 15, can be eliminated, and the ripples can be visually inconspicuous. That is, in a system with an actual vertical frequency of 60 / 1.001 Hz, such as NTSC, among vertical 60 Hz cameras, ripples slowly flow in the vertical direction even with the method shown in FIG. 15, and could not be completely stopped. However, the ripple can be completely stopped by this example and can be made less noticeable.
When this example is not applied, the ripple is a rate of 1 ripple for 100 vertical periods (about 1.67 seconds) and the bottom edge of the screen during 1000 vertical periods (about 16.67 seconds). It will be easy to catch visually.
[0046]
Next, a fourth embodiment of the present invention will be described.
In the fourth embodiment, in addition to the operations of the first embodiment and the second embodiment described above, the visual phase integration in the time axis direction is performed by switching the phase of the ripple every vertical section. The effect of ripple reduction is further enhanced by utilizing the effect.
FIG. 18 is an explanatory diagram showing an example of storage (exposure) and readout methods and ripples at that time when the vertical frequency is 60 Hz, and FIG. 18 (A) shows the exposure timing for each pixel row with respect to changes in illumination light. FIG. 18B shows a change in the level of illumination light during the exposure operation for each pixel row. Six exposures at equal intervals are performed within an exposure period of 1/100 seconds, and each exposure time is expressed as ( An example in which 1/100) × (1/6) × (1/3) second is shown (corresponding to a 1/300 second shutter).
FIG. 19 is also an explanatory diagram showing an example of accumulation (exposure) and readout methods and ripples at that time when the vertical frequency is 60 Hz. FIG. 19A is an exposure timing for each pixel row with respect to a change in illumination light. FIG. 19B shows a change in the level of illumination light during the exposure operation for each pixel row. The exposure period length, the number of exposures, and the exposure times are the same, but the timing of the exposure period is ( In this example, the time is shifted by 1/100) × (1/6) × (1/2) seconds.
As shown in FIGS. 18B and 19B, the ripple waveforms of both are out of phase by 180 °.
[0047]
The gist of this example is to switch the exposure period timing shown in FIG. 18 and the exposure period timing shown in FIG. 19 for each vertical period.
That is, in the mode in which positive integer m is simultaneously scanned at equal intervals within the exposure period, the phase (first phase) of the exposure section shown in FIG. 18 is set to an arbitrary integer k and an arbitrary coefficient α. In this case, (exposure period / 2m) × 2k + α, and the phase of the exposure section (second phase) shown in FIG. 19 is (exposure period / 2m) × (2k + 1) + α, and the two types of phase control are switched. Execute the exposure operation.
As a result, the appearance of ripples can be reduced by the temporal (visual) integration effect. This switching is generally performed between FIG. 18 and FIG. 19 every vertical period, but a combination that cancels in total (for example, switching in the order of FIG. 18, FIG. 18, FIG. 19, FIG. 19). However, the effect can be expected, and such a control method is also included in the present invention.
[0048]
Further, in the first embodiment and the second embodiment described above, in order to make the ripples stationary, the 60 Hz imaging device performs 3 × n simultaneous scanning with the division radix of the exposure period being 3, and 50 Hz In the imaging apparatus of the system, 3 × n simultaneous scanning is performed by setting the division radix of the exposure period to 5, but in this example, an arbitrary positive integer m is used as the simultaneous scanning number (= exposure number). It is not limited to a multiple of 3 or 5.
20 and 21 are diagrams showing control examples in which m is not limited. FIGS. 20A and 21A show the exposure timing for each pixel row with respect to a change in illumination light, and FIG. FIG. 21B shows a change in the level of illumination light during the exposure operation for each pixel row. Five exposures at equal intervals are performed within an exposure period of 1/100 seconds, and each exposure time is expressed as ( This is an example in the case of 1/100) × (1/5) × (1/3) (corresponding to 1/300 second shutter).
Also, the shift amount of the exposure timing of both is (1/100) × (1/5) × (1/2) seconds.
In this case, since the ripple phases at the upper end and the lower end of the screen do not match, it flows, but the phase is shifted by 180 ° between them, and a canceling effect can be obtained.
[0049]
Note that the phase difference, which is the gist of the present invention, is applied using a vertical blanking period.
For example, the larger the n, such as NTSC 3 × n, the smaller the shift amount, but the smaller side has a limitation because it cannot be set when the required phase shift amount exceeds the blanking period length. For example, three exposures with n = 1 are not possible.
However, in the method using the memory means (storage unit 90) as shown in FIG. 1, the scanning speed can be made faster than normal NTSC. In this case, the blanking period (time) at the time of reading of the image sensor is long. Since the length can be increased, exposure to three times or the like can be sufficiently performed (the moving image distortion improving scanning method of the fifth embodiment described below is an example thereof).
[0050]
In the present embodiment, the following effects can be obtained.
(1) The ripple reduction effect is increased by using together with the control of the first to third embodiments described above.
(2) By using the ripple reduction effect according to the present embodiment, the number of simultaneous scans of the control according to the first to third embodiments described above can be reduced without deteriorating the ripple, thereby simplifying the control. Can also be achieved.
[0051]
Next, a fifth embodiment of the present invention will be described.
As described above, in an imaging device that performs shutter scanning line-sequentially, such as a CMOS image sensor, the exposure timing has a certain time difference depending on the position in the screen. Distorts the moving image.
Therefore, in this example, as a method of improving the moving image distortion, when the scan time from the upper part to the lower part in the vertical direction of the screen is T (T ≦ 1 vertical period), N (N is (Integer greater than or equal to 2) (simultaneous or substantially simultaneous exposure operation and signal readout operation), and N scan intervals are set to T / N, and the readout signals are added to each pixel to generate an imaging signal. This mode is provided.
[0052]
First, moving image distortion will be described.
FIG. 22 is an explanatory diagram showing an example of a moving image when there is no time difference in the in-plane exposure period of a CCD image sensor or the like.
Here, it is assumed that the rod-shaped subject is moving from left to right. When the exposure time of each pixel in the screen is one vertical period, the subject image 110A obtained has a spread in the moving direction because the subject moves within that time.
However, since there is no time difference in the in-plane exposure period, there is no difference between the upper part and the lower part of the screen.
On the other hand, FIG. 23 is an explanatory diagram showing an example of a moving image when there is a time difference in the in-plane exposure period of a CMOS image sensor or the like.
Since the reset / exposure timing is delayed in time toward the bottom of the screen, a tilted subject image 110B is obtained as shown.
[0053]
To alleviate this, a method of simultaneously scanning a plurality of points on the screen can be considered.
In principle, a CMOS image sensor capable of simultaneously reading such a plurality of points can be manufactured by the function of the vertical scanning means.
FIG. 24 shows an example in which two points are simultaneously scanned in the vertical direction. Here, the first scan starts from the top of the screen and ends at the bottom of the screen after one vertical time. The second scan starts from the center of the screen, reaches the bottom of the screen after 1/2 vertical time, moves to the top of the screen, and ends at the center of the screen after 1 vertical time.
If each pixel is reset immediately after scanning, the exposure time of each pixel is ½ of one vertical time, and the spread of the subject image 110C is also halved. Since the signals obtained by these two scans are synthesized (added) for each pixel by the memory means or the like, as a result, the spread of the subject image is equivalent to the case where the plural points are not simultaneously scanned. However, as can be seen from FIG. 24, since the upper half and the lower half of the screen are simultaneously read, it can be seen that the time difference between the upper and lower sides is reduced.
FIG. 25 shows an example in which the simultaneous reading points are further increased to 5 points. Here, each exposure time is 1/5, and after the composition by the memory means, the spread of the subject image 110D is the same, but it can be seen that the distortion due to the time difference between the top and bottom is considerably improved.
In order to effectively improve the distortion, it is important that each scan is equally divided in the screen.
[0054]
On the other hand, there is a request to perform simultaneous reading of a plurality of points during a certain interval within one vertical period, for example, as described in the first to third embodiments.
FIG. 26 shows a scan in the case where NTSC having a vertical period of 1/60 seconds described in the first embodiment takes time on the horizontal axis and the vertical position on the screen on the vertical axis and does not read a plurality of points simultaneously. FIG.
At the beginning of one vertical period, the scan position is at the top of the screen and moves to the bottom of the screen with time, and reaches the bottom of the screen after one vertical period.
FIG. 27 is a diagram similar to FIG. 26 when three-point simultaneous reading is performed.
As described above, in the multiple point simultaneous scanning which is equally divided in one vertical period in time, the position in the vertical direction is equally divided in the screen, and a good result is obtained for the above-described distortion improvement.
[0055]
However, when simultaneous reading of a plurality of points is performed in a certain section within one vertical period, the above-mentioned relationship of equal division in the screen is lost.
FIG. 28 shows an example in which reading is performed three times within one vertical period (1/100 second), that is, three points are simultaneously read.
It can be seen that the time is equally divided within 1/100 second, but the position is not equally divided within the screen. In such a situation, the above-described distortion improvement effect cannot be expected so much.
Therefore, in this embodiment, when T is a certain interval in one vertical period, the scanning time from the upper part to the lower part of the screen is also T, and a plurality of points are simultaneously read within the scanning time.
[0056]
FIG. 29 is a diagram showing a scanning operation according to the present embodiment, and shows the state of scanning in the case where the horizontal axis represents time and the vertical axis represents the screen vertical direction position, and three-point simultaneous reading is performed. The time is equally divided within 1/100 second, and at the same time, the position is equally divided within the screen.
Further, T in this case is T ≦ 1 vertical period, but an operation of writing / combining at time T by a memory means or the like and reading out at one vertical period is performed.
Due to the effect of simultaneous reading of a plurality of points in the vertical direction, it is possible to reduce the distortion of the moving image due to the in-plane exposure / readout time difference.
In addition, since the scan time is adjusted to the exposure period, even if the exposure period is different from one vertical cycle, the uppermost part to the lowermost part of the screen can be equally divided, and the distortion due to the in-plane exposure / readout time difference is further reduced it can.
In addition, since the time difference within the scan interval becomes smaller as the number of simultaneous readings is increased, the distortion can be reduced.
[0057]
【The invention's effect】
As described above, in the imaging apparatus of the present invention, for example, when shooting is performed under illumination having a predetermined illumination frequency different from the vertical synchronization frequency, a predetermined sequence that continues in each vertical period corresponding to the predetermined illumination frequency. Each division determined by selecting a predetermined division radix determined by the phase difference between the predetermined exposure period and the vertical synchronization frequency, and dividing the exposure period by an integral multiple of the division radix. By performing simultaneous or substantially simultaneous exposure operation and signal readout operation starting from the point, and adding the readout signal for each pixel to generate an imaging signal, it is possible to prevent or suppress the occurrence of flicker and ripple, It is possible to improve the image quality.
[0058]
In the imaging apparatus of the present invention, a predetermined exposure period that is continuous in each vertical period corresponding to a predetermined illumination frequency is set, and m (m is a positive integer) at regular intervals within the predetermined exposure period. In this case, the phase of the exposure interval with respect to the vertical interval is arbitrarily set for each vertical period. When the integer is k and the arbitrary coefficient is α, either the first phase of (exposure period / 2 m) × 2k + α or the second phase of (exposure period / 2 m) × (2k + 1) + α By selecting one of them and performing exposure control, it is possible to cancel the ripple generated in each vertical section by switching the phase, and it is possible to output an image in which the ripple is suppressed.
[0059]
In the imaging apparatus of the present invention, when the scanning time from the upper part to the lower part in the vertical direction of the screen is T (T ≦ 1 vertical period), N (N is an integer of 2 or more) simultaneous or Since substantially simultaneous exposure operation and signal readout operation are performed, the N scan intervals are set to T / N, and the readout signals are added for each pixel to generate an imaging signal. Moving image distortion caused by the time difference included in the read operation can be suppressed, and the image quality can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a first preceding operation example according to the embodiment of the present invention.
FIG. 3 is an explanatory diagram showing a second preceding operation example according to the embodiment of the present invention.
FIG. 4 is an explanatory diagram illustrating a third preceding operation example according to the embodiment of the present invention.
FIG. 5 is an explanatory diagram showing a fourth preceding operation example according to the embodiment of the present invention.
FIG. 6 is an explanatory diagram showing a first operation example according to the first embodiment of the present invention.
FIG. 7 is an explanatory diagram showing a second operation example according to the first embodiment of the present invention.
FIG. 8 is an explanatory diagram showing a third operation example according to the first embodiment of the present invention.
FIG. 9 is an explanatory diagram showing an example of ripple when the simultaneous reading points are increased in the first embodiment of the present invention;
FIG. 10 is an explanatory diagram showing a first operation example according to the second embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a second operation example according to the second embodiment of the present invention.
FIG. 12 is an explanatory diagram showing a third operation example according to the second embodiment of the present invention.
FIG. 13 is an explanatory diagram showing a fourth operation example according to the second embodiment of the present invention.
FIG. 14 is an explanatory diagram showing an example of ripples when the simultaneous reading points are increased in the second embodiment of the present invention.
FIG. 15 is an explanatory diagram showing a first preceding operation example according to the third embodiment of the present invention.
FIG. 16 is an explanatory diagram showing a second example of a preceding operation with respect to the third embodiment of the present invention.
FIG. 17 is an explanatory diagram showing an operation example according to the third embodiment of the present invention;
FIG. 18 is an explanatory diagram showing a first operation example according to the fourth embodiment of the present invention.
FIG. 19 is an explanatory diagram showing a second operation example according to the fourth embodiment of the present invention.
FIG. 20 is an explanatory diagram showing a third operation example according to the fourth embodiment of the present invention.
FIG. 21 is an explanatory diagram showing a fourth operation example according to the fourth embodiment of the present invention;
FIG. 22 is an explanatory diagram showing an example of an image when a moving body is photographed by a CCD image sensor.
FIG. 23 is an explanatory diagram showing a first example of image distortion when a moving body is imaged by a CMOS image sensor.
FIG. 24 is an explanatory diagram showing a second example of image distortion when a moving body is imaged by a CMOS image sensor.
FIG. 25 is an explanatory diagram showing a third example of image distortion when a moving body is imaged by a CMOS image sensor.
FIG. 26 is an explanatory diagram showing a scanning operation in a CMOS image sensor.
FIG. 27 is an explanatory diagram showing a scanning operation when 3-point simultaneous reading is performed in a CMOS image sensor.
FIG. 28 is an explanatory diagram showing a scanning operation when three-point simultaneous reading is performed in a vertical period of 1/100 second in a CMOS image sensor.
FIG. 29 is an explanatory diagram showing a scanning operation when three-point simultaneous reading is performed by equally dividing the screen during a vertical period of 1/100 seconds in the fifth embodiment of the present invention.
[Explanation of symbols]
10: Imaging pixel unit, 21, 22, 23: Vertical timing generation circuit. 31, 32, 33... Shutter timing generation circuit, 41, 42, 43... Vertical signal line, 51, 52, 53 .. horizontal signal line, 61, 62, 63. Circuit, 80... Image processing unit, 90... Storage unit, 100.

Claims

An imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and its readout circuit, vertical scanning means for scanning the imaging pixel unit in the vertical direction, and the imaging pixel unit in the horizontal direction Horizontal scanning means for scanning, and control means for controlling the timing of the vertical scanning means and the horizontal scanning means to execute an exposure operation and a signal readout operation in the imaging pixel unit,
The control means sets a predetermined exposure period continuous within each vertical period corresponding to a predetermined illumination frequency, and further, a predetermined division determined by a phase difference between the predetermined exposure period and the vertical synchronization frequency A radix is selected, and a simultaneous or substantially simultaneous exposure operation and signal readout operation starting from each division point determined by dividing the exposure period by an integral multiple of the division radix is performed, and the read signal is applied to each pixel. A mode for generating an imaging signal by adding to
An imaging apparatus characterized by that.

The imaging apparatus according to claim 1, wherein the predetermined illumination frequency is different from a vertical synchronization frequency unique to the apparatus.

The image pickup apparatus having a vertical synchronization frequency of 60 Hz, having an exposure period of 1/100 seconds continuous in each vertical section, and a division radix of 3 × n (n is a positive value) within the exposure period of 1/100 seconds. The imaging apparatus according to claim 2, further comprising: a first mode that performs a simultaneous or substantially simultaneous exposure operation and signal readout operation starting from a dividing point determined by the integer).

4. The apparatus according to claim 3, further comprising a second mode in which when the illumination frequency is 60 Hz, the first mode is turned off, and an exposure operation is performed at an exposure time of 1/120 Hz or 1/60 Hz. Imaging device.

The imaging apparatus according to claim 4, further comprising a detection unit configured to detect the illumination frequency, wherein the second mode is selected when the detection unit detects that the illumination frequency is 60 Hz.

5. The apparatus according to claim 4, further comprising an input unit configured to input information regarding the illumination frequency, wherein the second mode is selected when the illumination frequency is determined to be 60 Hz by an input from the input unit. Imaging device.

4. The image pickup apparatus according to claim 3, wherein in the first mode, the timing of the signal reading operation is shifted in the phase-advancing direction by 0.001 / 60 seconds every vertical period.

An imaging apparatus having a vertical synchronization frequency of 50 Hz, having an exposure period of 1/60 second or 1/120 second continuous in each vertical section, and within the exposure period of 1/60 second or 1/120 second 3. A first mode for performing an exposure operation and a signal readout operation simultaneously or substantially simultaneously starting from a dividing point determined by a dividing radix of 5 × n (n is a positive integer). The imaging device described.

9. The imaging apparatus according to claim 8, wherein when the illumination frequency is 50 Hz, the imaging apparatus has a second mode in which the first mode is turned off and an exposure operation is performed with an exposure time of 1/50 Hz.

The imaging apparatus according to claim 9, further comprising a detection unit configured to detect the illumination frequency, wherein the second mode is selected when the detection unit detects that the illumination frequency is 50 Hz.

10. The input device according to claim 9, further comprising an input unit configured to input information relating to the illumination frequency, wherein the second mode is selected when the illumination frequency is determined to be 50 Hz by an input from the input unit. Imaging device.

An imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and its readout circuit, vertical scanning means for scanning the imaging pixel unit in the vertical direction, and the imaging pixel unit in the horizontal direction Horizontal scanning means for scanning, and control means for controlling the timing of the vertical scanning means and the horizontal scanning means to execute an exposure operation and a signal readout operation in the imaging pixel unit,
The control means sets a predetermined exposure period continuous in each vertical period corresponding to a predetermined illumination frequency, and further m (m is a positive integer) number of equal intervals within the predetermined exposure period. A mode in which simultaneous scanning or substantially simultaneous scanning is performed, and a signal read out by each scanning is added to each pixel to generate an imaging signal;
In the above mode, when the phase of the exposure section with respect to the vertical section for each vertical period is set to an arbitrary integer k and an arbitrary coefficient α,
A first phase of (exposure period / 2 m) × 2 k + α;
A second phase of (exposure period / 2 m) × (2k + 1) + α;
Select one of these to perform exposure control.
An imaging apparatus characterized by that.

The imaging apparatus according to claim 12, wherein the predetermined illumination frequency is a frequency different from a vertical synchronization frequency unique to the apparatus.

13. The imaging apparatus according to claim 12, wherein exposure control is performed by alternately switching the first phase and the second phase every vertical period.

14. The imaging apparatus according to claim 13, wherein the vertical synchronization frequency is an imaging apparatus having a 60 Hz system, wherein each vertical section has a continuous 1/100 second exposure period, and the m is a multiple of 3. apparatus.

The image pickup apparatus having a vertical synchronization frequency of 50 Hz, wherein each vertical section has a continuous exposure period of 1/60 seconds or 1/120 seconds, and m is a multiple of 5. Item 14. The imaging device according to Item 13.

An imaging pixel unit configured by two-dimensionally arranging a plurality of pixels including a photoelectric conversion element and its readout circuit, vertical scanning means for scanning the imaging pixel unit in the vertical direction, and the imaging pixel unit in the horizontal direction Horizontal scanning means for scanning, and control means for controlling the timing of the vertical scanning means and the horizontal scanning means to execute an exposure operation and a signal readout operation in the imaging pixel unit,
When the scanning time from the upper part to the lower part in the vertical direction of the screen is T (T ≦ 1 vertical period), the control means N (N is an integer of 2 or more) simultaneous or substantially simultaneous in the screen. The exposure operation and the signal readout operation are performed, the N scan intervals are set to T / N, and the readout signal is added to each pixel to generate an imaging signal.
An imaging apparatus characterized by that.

18. The imaging apparatus according to claim 17, wherein the vertical synchronization frequency is an imaging apparatus having a 60 Hz system, and the scan time T is 1/100 second.

18. The imaging apparatus according to claim 17, wherein the vertical synchronization frequency is an imaging apparatus of a 50 Hz system, and the scan time T is 1/60 second or 1/120 second.

The image pickup apparatus according to claim 17, wherein the vertical synchronization frequency is an image pickup apparatus of a 60 Hz system, and the N is a multiple of three.

The image pickup apparatus according to claim 17, wherein the vertical synchronization frequency is an image pickup apparatus of a 50 Hz system, and the N is a multiple of 5.