JP2009124238A - Imaging device and its flicker detecting method - Google Patents

Imaging device and its flicker detecting method Download PDF

Info

Publication number
JP2009124238A
JP2009124238A JP2007293243A JP2007293243A JP2009124238A JP 2009124238 A JP2009124238 A JP 2009124238A JP 2007293243 A JP2007293243 A JP 2007293243A JP 2007293243 A JP2007293243 A JP 2007293243A JP 2009124238 A JP2009124238 A JP 2009124238A
Authority
JP
Japan
Prior art keywords
unit
pixel
flicker
photoelectric conversion
reset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007293243A
Other languages
Japanese (ja)
Other versions
JP5106055B2 (en
Inventor
Koji Oshima
孝治 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007293243A priority Critical patent/JP5106055B2/en
Priority to US12/248,627 priority patent/US8081235B2/en
Publication of JP2009124238A publication Critical patent/JP2009124238A/en
Application granted granted Critical
Publication of JP5106055B2 publication Critical patent/JP5106055B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device capable of accurately detecting flickers in a short time independently of object status and photographic scenes. <P>SOLUTION: A signal of pixels undergoing rolling readout operation and a signal of pixels undergoing collective reset/collective transfer readout operation are obtained from a single photographic picture. The signal processing circuit 8 calculates a difference between the output of pixels undergone the collective reset/collective transfer readout operation on the left one column and the output of pixels that are adjoining to the pixels and undergone the rolling readout operation on each line. As the result of this subtraction, when there is a periodic difference of a prescribed threshold value or more in the vertical direction, the signal processing circuit 8 determines the image is affected by a flicker. When a flicker exists and a pixel signal has a readout time difference in each line, the flicker due to the time difference appears on the line. Contrarily, when the pixel signal has no readout time difference, no flicker appears on every line. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、動画撮影時に撮像素子の信号読み出しにおいてフリッカを検出する撮像装置及びそのフリッカ検出方法に関する。   The present invention relates to an imaging apparatus that detects flicker in reading a signal from an image sensor during moving image shooting, and a flicker detection method thereof.

デジタルカメラ等の撮像装置においては、固体撮像素子として低電圧、低消費電力等の点からCMOSイメージセンサが使用され、近年その使用頻度も増してきている。   In an imaging apparatus such as a digital camera, a CMOS image sensor is used as a solid-state imaging device in terms of low voltage, low power consumption, and the frequency of use thereof has increased in recent years.

ところで、撮影環境の光源に蛍光灯など点滅する光源がある場合、撮像装置の撮影画像はその光源によるフリッカの影響を受ける。特に、CMOSイメージセンサにおいては、画素信号の読み出しが走査ライン毎に順次行われるため、走査ライン毎に読み出し開始の時刻がずれ、露光時間が異なることが知られている。   By the way, when there is a blinking light source such as a fluorescent lamp as the light source in the photographing environment, the photographed image of the imaging device is affected by flicker by the light source. In particular, in the CMOS image sensor, since pixel signals are sequentially read out for each scanning line, it is known that the reading start time is shifted for each scanning line and the exposure time is different.

このため、走査ラインが行毎である場合、発生するフリッカは、図5に示す画像のように、画面垂直方向に出力が変化するラインフリッカとなる。図5はラインフリッカの発生を示す図である。   Therefore, when the scanning line is line by line, the flicker that occurs is a line flicker whose output changes in the vertical direction of the screen, as in the image shown in FIG. FIG. 5 is a diagram showing the occurrence of line flicker.

このようなフリッカによる影響を除去もしくは低減させるために、フリッカを検出して補正する方法として、次のようなものが知られている。例えば、1フレーム内の所定ライン毎の画素信号レベルを積算し、過去の複数フレームにおける同一位置のラインの積算結果を用いることで、フリッカを検出するものが提案されている(特許文献1参照)。また、1フレーム内においてライン毎に画素レベルを積算してライン明度を算出し、ライン明度の垂直方向の変動周期を検出することで、フリッカを検出するものも提案されている(特許文献2参照)。
特許第3476400号公報 特開2004−260574号公報
In order to remove or reduce the influence of such flicker, the following methods are known as methods for detecting and correcting flicker. For example, there has been proposed one that detects flicker by integrating pixel signal levels for each predetermined line in one frame and using the integration result of lines at the same position in a plurality of past frames (see Patent Document 1). . In addition, there has been proposed one that detects flicker by calculating the line brightness by integrating the pixel level for each line within one frame and detecting the fluctuation period in the vertical direction of the line brightness (see Patent Document 2). ).
Japanese Patent No. 3476400 JP 2004-260574 A

しかしながら、特許文献1においては、フリッカを検出するために少なくとも2フレーム以上の撮像画像が必要であり、またフリッカ検出のために複数フレームの積算値を用いるため、処理時間も長くかかり撮影時間が余計にかかってしまうことになった。   However, in Patent Document 1, a captured image of at least two frames is necessary to detect flicker, and an integrated value of a plurality of frames is used for flicker detection. I was going to get it.

また、フリッカ検出に用いる画像と実際の撮影画像の撮影時刻には、必ず時間差が発生するため、その間にフリッカの状態が変化してしまうと、正しくフリッカパターンを除去できないおそれもあった。   In addition, since there is always a time difference between the shooting time of the image used for flicker detection and the actual captured image, if the flicker state changes during that time, the flicker pattern may not be correctly removed.

また、特許文献2においては、図5のように被写体が“均一輝度面”である場合、その信号振幅から精度良くフリッカパターンを検出することは可能だが、現実的には撮影画面内には様々な被写体が存在しており、“均一輝度面”であることは極めて稀である。よって、撮影された画像から、その画像の持つフリッカパターンを検出することは、通常困難であった。   Further, in Patent Document 2, when the subject is a “uniform luminance surface” as shown in FIG. 5, it is possible to detect the flicker pattern with high accuracy from the signal amplitude, but in reality, there are various in the shooting screen. It is very rare that there is a uniform subject and a “uniform luminance surface”. Therefore, it is usually difficult to detect the flicker pattern of the captured image.

本発明は、上記問題点を鑑みてなされたものであり、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる撮像装置及びそのフリッカ検出方法を提供することを目的とする。   The present invention has been made in view of the above problems, and provides an imaging apparatus and a flicker detection method capable of detecting flicker more accurately in a short time regardless of the state of a subject and a shooting scene. With the goal.

上記目的を達成するために、本発明の撮像装置は、光電変換により電荷を生成して蓄積する光電変換部と、前記生成された電荷を蓄積する浮遊拡散部とを有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置であって、前記二次元に配置された複数の画素部のうち、一部の列または行からなる所定範囲内の画素部の前記光電変換部および浮遊拡散部に対し、一括でリセットを行う一括リセット手段と、前記一括でリセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送手段と、前記一部の列または行からなる所定範囲内の画素部を除く、前記二次元に配置された複数の画素部の前記光電変換部と浮遊拡散部に対し、所定単位毎に順次リセットを行う順次リセット手段と、前記順次リセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送手段と、前記一括転送手段で得られた前記画素部の画素信号と前記順次転送手段で得られた前記画素部の画素信号とを用いて差分情報を算出し、前記算出された差分情報を基にフリッカを検出する検出手段とを備えたことを特徴とする。   In order to achieve the above object, an imaging apparatus according to the present invention includes two pixel units each including a photoelectric conversion unit that generates and accumulates charges by photoelectric conversion and a floating diffusion unit that accumulates the generated charges. An image pickup apparatus using an image pickup device arranged in a dimension, wherein the photoelectric conversion unit of the pixel unit within a predetermined range consisting of some columns or rows among the plurality of pixel units arranged in two dimensions, and Batch reset means for collectively resetting the floating diffusion portion, and batch transferring the charges accumulated in the photoelectric conversion portion collectively to the floating diffusion portion after a predetermined time has elapsed since the batch reset. The transfer means and the photoelectric conversion units and the floating diffusion units of the plurality of pixel units arranged in a two-dimensional manner, excluding the pixel unit within a predetermined range made up of the partial columns or rows, sequentially in predetermined units. Sequential reset with reset And a sequential transfer means for sequentially transferring the electric charge accumulated in the photoelectric conversion unit to the floating diffusion unit for each predetermined unit after a predetermined time has elapsed since the sequential reset is performed. A detection unit that calculates difference information using the pixel signal of the pixel unit obtained and the pixel signal of the pixel unit obtained by the sequential transfer unit, and detects flicker based on the calculated difference information; It is characterized by having.

本発明の撮像装置のフリッカ検出方法は、光電変換により電荷を生成して蓄積する光電変換部と、前記生成された電荷を蓄積する浮遊拡散部とを有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置のフリッカ検出方法であって、前記二次元に配置された複数の画素部のうち、一部の列または行からなる所定範囲内の画素部の前記光電変換部および浮遊拡散部に対し、一括でリセットを行う一括リセットステップと、前記一括でリセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送ステップと、前記一部の列または行からなる所定範囲内の画素部を除く、前記二次元に配置された複数の画素部の前記光電変換部と浮遊拡散部に対し、所定単位毎に順次リセットを行う順次リセットステップと、前記順次リセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送ステップと、前記一括転送ステップで得られた前記画素部の画素信号と前記順次転送ステップで得られた前記画素部の画素信号とを用いて差分情報を算出し、前記算出された差分情報を基にフリッカを検出する検出ステップとを有することを特徴とする。   According to the flicker detection method of the imaging apparatus of the present invention, a plurality of pixel units each including a photoelectric conversion unit that generates and accumulates charges by photoelectric conversion and a floating diffusion unit that accumulates the generated charges are two-dimensionally arranged. A flicker detection method for an image pickup apparatus using an image pickup device, wherein among the plurality of pixel portions arranged in two dimensions, the photoelectric conversion portion of a pixel portion within a predetermined range consisting of some columns or rows, and A batch reset step for collectively resetting the floating diffusion portion, and a batch for transferring charges accumulated in the photoelectric conversion portion to the floating diffusion portion after a predetermined time has elapsed since the batch reset was performed. The transfer step and the photoelectric conversion unit and the floating diffusion unit of the plurality of pixel units arranged in two dimensions, excluding the pixel unit within a predetermined range composed of the partial columns or rows, sequentially in predetermined units. reset A sequential reset step, a sequential transfer step of sequentially transferring the charge accumulated in the photoelectric conversion unit to the floating diffusion unit for each predetermined unit after a predetermined time has elapsed since the sequential reset is performed, and the batch transfer Detection that calculates difference information using the pixel signal of the pixel unit obtained in the step and the pixel signal of the pixel unit obtained in the sequential transfer step, and detects flicker based on the calculated difference information And a step.

本発明の請求項1に係る撮像装置によれば、一枚の撮影画像に対し、一括転送手段で得られた画素部の画素信号と順次転送手段で得られた画素部の画素信号とを用いて差分情報を算出し、この算出された差分情報を基にフリッカを検出する。これにより、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる。   According to the imaging device of the first aspect of the present invention, the pixel signal of the pixel unit obtained by the batch transfer unit and the pixel signal of the pixel unit obtained by the sequential transfer unit are used for one photographed image. Thus, difference information is calculated, and flicker is detected based on the calculated difference information. Thereby, flicker can be detected more accurately in a short time regardless of the state of the subject and the shooting scene.

請求項2に係る撮像装置によれば、フリッカの検出を容易に行うことができる。請求項3に係る撮像装置によれば、近接する画素間の出力を用いることで、フリッカの検出に必要な差分情報を簡単に得ることができる。請求項4に係る撮像装置によれば、有効画素領域を確保しつつ、フリッカを検出することができる。請求項5に係る撮像装置によれば、有効画素領域を効率的に活用することができ、一括でリセットおよび一括で転送が行われる画素領域を有効画素領域とは別に設けなくて済む。   According to the imaging device of the second aspect, flicker can be easily detected. According to the imaging apparatus of the third aspect, difference information necessary for flicker detection can be easily obtained by using an output between adjacent pixels. According to the imaging device of the fourth aspect, it is possible to detect flicker while ensuring an effective pixel area. According to the imaging device of the fifth aspect, the effective pixel area can be efficiently used, and it is not necessary to provide a pixel area that is reset and transferred in a batch separately from the effective pixel area.

本発明の撮像装置及びそのフリッカ検出方法の実施の形態について図面を参照しながら説明する。図1は実施の形態における撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、動画/静止画撮影を選択して行えるデジタルカメラに適用される。   Embodiments of an imaging apparatus and a flicker detection method of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment. The image pickup apparatus of the present embodiment is applied to a digital camera that can perform moving image / still image shooting.

撮像装置は、レンズおよび絞りからなる光学系1、フォーカルプレーン式のメカニカルシャッタ(メカシャッタ)2および撮像素子3を有する。動画/静止画撮影モードを切り替える撮影モード切替SW(図示せず)により静止画撮影モードが選択された際、メカシャッタ2は、先幕および後幕の走行時刻の差により撮像素子への露光時間を制御する。また、動画撮影モードが選択された際、メカシャッタ2は全開となり、撮像素子3へ常に光が導光される状態となる。   The imaging apparatus includes an optical system 1 including a lens and a diaphragm, a focal plane mechanical shutter (mechanical shutter) 2, and an imaging element 3. When the still image shooting mode is selected by a shooting mode switching SW (not shown) for switching between the moving image / still image shooting mode, the mechanical shutter 2 sets the exposure time to the image sensor due to the difference in travel time between the front curtain and the rear curtain. Control. When the moving image shooting mode is selected, the mechanical shutter 2 is fully opened and light is always guided to the image sensor 3.

撮像素子3は、CMOSイメージセンサであり、一部の画素について、他の画素とは読み出し方法を異ならせることが可能である。具体的に、本実施形態においては、撮像素子3は、ローリング読み出し可能な画素部と一括リセット一括転送読み出し可能な画素部とを有している。なお、この異なる読み出し方法により得られた画素情報を基に、後述するフリッカの検出が可能となる。   The imaging device 3 is a CMOS image sensor, and a part of pixels can be read out differently from other pixels. Specifically, in the present embodiment, the imaging device 3 includes a pixel unit that can perform rolling readout and a pixel unit that can perform batch reset batch transfer readout. Note that flicker detection described later can be detected based on pixel information obtained by this different readout method.

また、撮像装置は、アナログ信号処理を行うCDS回路4、アナログ信号をデジタル信号に変換するA/D変換器5およびタイミング信号発生回路6を有する。タイミング信号発生回路6は、撮像素子3、CDS回路4およびA/D変換器5を動作させる信号を発生する。また、撮像装置は、光学系1、メカニカルシャッタ2および撮像素子3の駆動回路7、撮影した画像データに必要な信号処理を行う信号処理回路8、および信号処理された画像データを記憶する画像メモリ9を有する。   The imaging apparatus also includes a CDS circuit 4 that performs analog signal processing, an A / D converter 5 that converts an analog signal into a digital signal, and a timing signal generation circuit 6. The timing signal generation circuit 6 generates a signal for operating the image sensor 3, the CDS circuit 4 and the A / D converter 5. In addition, the imaging apparatus includes an optical system 1, a mechanical shutter 2, a driving circuit 7 for the imaging device 3, a signal processing circuit 8 that performs signal processing necessary for captured image data, and an image memory that stores the signal processed image data. 9

また、撮像装置は、撮像装置から取り外し可能な画像記録媒体10、信号処理された画像データを画像記録媒体10に記録する記録回路11、信号処理された画像データを表示する画像表示装置12、および画像表示装置12に画像を表示する表示回路13を有する。また、撮像装置は、撮像装置全体を制御するシステム制御部14、不揮発性メモリ(ROM)15および揮発性メモリ(RAM)16を有する。   In addition, the imaging device includes an image recording medium 10 that is removable from the imaging device, a recording circuit 11 that records signal processed image data on the image recording medium 10, an image display device 12 that displays signal processed image data, and The image display device 12 includes a display circuit 13 that displays an image. The imaging apparatus also includes a system control unit 14 that controls the entire imaging apparatus, a nonvolatile memory (ROM) 15, and a volatile memory (RAM) 16.

不揮発性メモリ(ROM)15には、システム制御部14で実行される制御方法を記述したプログラム、およびこのプログラムを実行する際に使用されるパラメータやテーブル等の制御データが記憶される。揮発性メモリ(RAM)16には、不揮発性メモリ15に記憶されたプログラム、制御データおよび補正データが転送されて記憶される。揮発性メモリ(RAM)16は、システム制御部14が撮像装置を制御する際に使用される。   The nonvolatile memory (ROM) 15 stores a program describing a control method executed by the system control unit 14 and control data such as parameters and tables used when the program is executed. In the volatile memory (RAM) 16, the program, control data, and correction data stored in the nonvolatile memory 15 are transferred and stored. The volatile memory (RAM) 16 is used when the system control unit 14 controls the imaging apparatus.

上記構成を有する撮像装置において、動画撮影モードが選択された場合の動作について説明する。ここで、撮影動作に先立ち、撮像装置の電源投入時など、システム制御部14の動作開始時において、不揮発性メモリ15から必要なプログラム、制御データ等を揮発性メモリ16に転送して記憶しておくものとする。これらのプログラムやデータは、システム制御部14が撮像装置を制御する際に使用される。また、システム制御部14は、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ16に転送したり、不揮発性メモリ15内のデータを直接読み出して使用する。   An operation when the moving image shooting mode is selected in the imaging apparatus having the above configuration will be described. Here, prior to the shooting operation, when the operation of the system control unit 14 is started, such as when the imaging apparatus is turned on, necessary programs and control data are transferred from the nonvolatile memory 15 to the volatile memory 16 and stored. I shall keep it. These programs and data are used when the system control unit 14 controls the imaging apparatus. Further, the system control unit 14 transfers additional programs and data from the nonvolatile memory 15 to the volatile memory 16 or directly reads and uses data in the nonvolatile memory 15 as necessary.

まず、駆動回路7は、システム制御部14からの制御信号に従って、絞りとレンズからなる光学系1を駆動し、また、メカニカルシャッタ2を全開とする。そして、光学系1は、適切な明るさに設定された被写体像を撮像素子3に結像させる。   First, the drive circuit 7 drives the optical system 1 including a diaphragm and a lens in accordance with a control signal from the system control unit 14 and fully opens the mechanical shutter 2. Then, the optical system 1 forms a subject image set to an appropriate brightness on the image sensor 3.

撮像素子3は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。なお、撮像素子3の駆動方法については後述する。   The image pickup device 3 is driven by a drive pulse based on an operation pulse generated by the timing signal generation circuit 6 controlled by the system control unit 14, converts the subject image into an electrical signal by photoelectric conversion, and outputs it as an analog image signal. To do. A method for driving the image sensor 3 will be described later.

撮像素子3から出力されたアナログ画像信号は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスに従って、CDS回路4でクロック同期性ノイズが除去され、A/D変換器5でデジタル画像信号に変換される。   The analog image signal output from the image pickup device 3 is subjected to clock synchronization noise removal by the CDS circuit 4 in accordance with an operation pulse generated by the timing signal generation circuit 6 controlled by the system control unit 14, and the A / D converter 5. Is converted into a digital image signal.

一旦、デジタル画像は画像メモリ9に記憶されると、システム制御部14により制御される信号処理回路8において、デジタル画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。   Once the digital image is stored in the image memory 9, the signal processing circuit 8 controlled by the system control unit 14 performs image processing such as color conversion, white balance, gamma correction, and resolution conversion processing on the digital image signal. Then, image compression processing or the like is performed.

画像メモリ9は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶するために用いられる。信号処理回路8で信号処理された画像データや画像メモリ9に記憶されている画像データは、記録回路11において画像記録媒体10に適したデータ(例えば、階層構造を持つファイルシステムデータ)に変換されて画像記録媒体10に記録される。また、信号処理回路8で解像度変換処理が行われた後、画像データは、表示回路13において画像表示装置12に適した信号(例えばNTSC方式のアナログ信号等)に変換され、画像表示装置12で表示される。   The image memory 9 is used for temporarily storing a digital image signal during signal processing or for storing image data which is a digital image signal subjected to signal processing. The image data signal-processed by the signal processing circuit 8 and the image data stored in the image memory 9 are converted into data suitable for the image recording medium 10 (for example, file system data having a hierarchical structure) in the recording circuit 11. Is recorded on the image recording medium 10. After the resolution conversion process is performed by the signal processing circuit 8, the image data is converted into a signal suitable for the image display device 12 (for example, an NTSC analog signal) by the display circuit 13, and the image display device 12 performs the conversion. Is displayed.

信号処理回路8は、システム制御部14から要求があった場合、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部14に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいはそれらから抽出された情報が出力される。さらに、信号処理回路8は、CMOSイメージセンサ3内の異なる読み出し方法で得られた画像信号から演算を行い、フリッカ情報の生成も行う。また、信号処理回路8は、得られたフリッカ情報をもとに、ライン毎に画像補正を行い、フリッカによる影響を低減させる画像処理も行う。記録回路11は、システム制御部14から要求があった場合、画像記録媒体10の種類や空き容量等の情報をシステム制御部14に出力する。   When requested by the system control unit 14, the signal processing circuit 8 outputs information on digital image signals and image data generated in the signal processing process to the system control unit 14. For example, information such as the spatial frequency of the image, the average value of the designated area, the data amount of the compressed image, or information extracted from the information is output. Further, the signal processing circuit 8 performs an operation from image signals obtained by different reading methods in the CMOS image sensor 3, and also generates flicker information. In addition, the signal processing circuit 8 performs image correction for each line based on the obtained flicker information, and also performs image processing for reducing the influence of flicker. When requested by the system control unit 14, the recording circuit 11 outputs information such as the type and free capacity of the image recording medium 10 to the system control unit 14.

また、画像記録媒体10に画像データが記録されている場合の再生動作について説明する。記録回路11は、システム制御部14からの制御信号に従って、画像記録媒体10から画像データを読み出す。信号処理回路8は、同じくシステム制御部14からの制御信号に従って、画像データが圧縮画像であった場合、画像伸長処理を行い、画像メモリ9に記憶する。画像メモリ9に記憶されている画像データは、信号処理回路8で解像度変換処理が行われた後、表示回路13において画像表示装置12に適した信号に変換され、画像表示装置12で表示される。   A reproduction operation when image data is recorded on the image recording medium 10 will be described. The recording circuit 11 reads image data from the image recording medium 10 in accordance with a control signal from the system control unit 14. Similarly, when the image data is a compressed image, the signal processing circuit 8 performs an image expansion process according to a control signal from the system control unit 14 and stores it in the image memory 9. The image data stored in the image memory 9 is subjected to resolution conversion processing in the signal processing circuit 8, converted into a signal suitable for the image display device 12 in the display circuit 13, and displayed on the image display device 12. .

つぎに、本実施形態におけるCMOSイメージセンサ3およびその駆動方法について詳細に説明する。図2はCMOSイメージセンサ3の概略的構成を示す図である。図2では、簡略化のために、単位画素(画素部)101が3行×3列のみ配置された画素構成が示されているが、実際には撮影画面として多数の画素が二次元に配置されている。   Next, the CMOS image sensor 3 and the driving method thereof in the present embodiment will be described in detail. FIG. 2 is a diagram showing a schematic configuration of the CMOS image sensor 3. For the sake of simplicity, FIG. 2 shows a pixel configuration in which unit pixels (pixel portions) 101 are arranged in only 3 rows × 3 columns. However, in reality, a large number of pixels are two-dimensionally arranged as a shooting screen. Has been.

また、同図において、左1列に位置する画素については他の画素と異なり、転送スイッチ103およびリセットスイッチ107のゲートの接続先がそれぞれ転送パルスφTX0およびリセットパルスφRES0となっている。また、この左1列の画素は、最終的な画像データとして出力される領域に位置するものでないので、駆動方法の違いによって支障をきたすものではない。   In the same figure, the pixels located in the left column are different from the other pixels in that the connection destinations of the gates of the transfer switch 103 and the reset switch 107 are the transfer pulse φTX0 and the reset pulse φRES0, respectively. Further, since the pixels in the left one column are not located in the region output as final image data, there is no problem due to the difference in driving method.

フォトダイオード(PD)102は、光電変換部として、光を電荷に変換する。転送スイッチ103は、左1列に位置する画素については転送パルスφTX0、それ以外の画素については転送パルスφTXによって、PD102で発生した電荷を後述する蓄積領域(フローティングデフュージョン:FD)104に転送する。浮遊拡散部である蓄積領域(FD)104は、電荷を一時的に蓄積しておく。増幅MOSアンプ105はソースフォロアとして機能する。   The photodiode (PD) 102 converts light into electric charge as a photoelectric conversion unit. The transfer switch 103 transfers charges generated in the PD 102 to a storage area (floating diffusion: FD) 104 to be described later by a transfer pulse φTX0 for the pixels located in the left column and a transfer pulse φTX for the other pixels. . An accumulation region (FD) 104 that is a floating diffusion portion temporarily accumulates charges. The amplification MOS amplifier 105 functions as a source follower.

選択スイッチ106は選択パルスφSELによって画素を選択する。リセットスイッチ107は、左1列に位置する画素についてはリセットパルスφRES0、それ以外の画素についてはリセットパルスφRESによって、FD104に蓄積された電荷を除去する。   The selection switch 106 selects a pixel by a selection pulse φSEL. The reset switch 107 removes the charge accumulated in the FD 104 by the reset pulse φRES0 for the pixels located in the left column and the reset pulse φRES for the other pixels.

ここで、FD104、増幅MOSアンプ105および後述する定電流源109でフローティングディフュージョンアンプが構成され、選択スイッチ106で選択された画素の信号電荷が電圧に変換され、信号出力線108を経て読み出し回路113に出力される。定電流源109は増幅MOSアンプ105の負荷となる。   Here, the FD 104, the amplification MOS amplifier 105, and a constant current source 109, which will be described later, constitute a floating diffusion amplifier, and the signal charge of the pixel selected by the selection switch 106 is converted into a voltage. Is output. The constant current source 109 serves as a load for the amplification MOS amplifier 105.

列選択スイッチ110は、水平走査回路114によって駆動され、読み出し回路113からの出力信号を選択する。出力アンプ111は、読み出し回路113からの出力信号を撮像素子3の外部に出力する。また、垂直走査回路(シフトレジスタ)112は、スイッチ103、106、107を選択するためものである。読み出し回路113は、信号出力線108に発生した出力信号を一時的に保持する。水平走査回路114は、読み出し回路113の列毎の出力となる画素出力を出力アンプ111に順次出力する。   The column selection switch 110 is driven by the horizontal scanning circuit 114 and selects an output signal from the readout circuit 113. The output amplifier 111 outputs an output signal from the readout circuit 113 to the outside of the image sensor 3. The vertical scanning circuit (shift register) 112 is for selecting the switches 103, 106, and 107. The read circuit 113 temporarily holds the output signal generated on the signal output line 108. The horizontal scanning circuit 114 sequentially outputs pixel outputs that are output for each column of the readout circuit 113 to the output amplifier 111.

なお、パルス信号であるφTX、φRES、φSELについて、垂直走査回路112によって選択された、例えばn番目の走査ラインに印加するパルス信号をそれぞれφTXn、φRESn、φSELnと記述する。また、パルス信号φTX0、φRES0については、走査ラインのn番目にかかわらず、各走査ラインに同パルス信号が印加される。   For the pulse signals φTX, φRES, and φSEL, the pulse signals applied by, for example, the nth scan line selected by the vertical scanning circuit 112 are described as φTXn, φRESn, and φSELn, respectively. For the pulse signals φTX0 and φRES0, the same pulse signal is applied to each scan line regardless of the nth scan line.

つぎに、動画撮影モードにおける撮像素子の駆動動作について説明する。図3は撮像素子3の駆動動作を示すタイミングチャートである。本実施形態では、CMOSイメージセンサ3内の画素を、ローリング読み出しを行う画素と一括リセット一括転送読み出しを行う画素とに、1フレーム中で分けて駆動することにより、駆動方法の違いから得られる出力結果を基に、フリッカが検出可能である。   Next, the driving operation of the image sensor in the moving image shooting mode will be described. FIG. 3 is a timing chart showing the driving operation of the image sensor 3. In the present embodiment, the pixels in the CMOS image sensor 3 are driven to be divided into pixels for performing rolling readout and pixels for performing batch reset batch transfer readout in one frame, thereby obtaining an output obtained from a difference in driving method. Based on the result, flicker can be detected.

まず、ローリング読み出しが行われる左1列以外の画素の駆動について説明する。垂直走査回路112は、nラインにおいて、時刻t11からt12の期間、リセットパルスφRESnと転送パルスφTXnを印加し、転送スイッチ103およびリセットスイッチ107をオンにする。そして、垂直走査回路112は、nラインの左1列目以外のPD102とFD104に蓄積されている不用電荷を、所定単位毎(ライン毎)に順次リセットを行って除去するリセット動作を行う。   First, driving of pixels other than the left one column in which rolling readout is performed will be described. The vertical scanning circuit 112 applies the reset pulse φRESn and the transfer pulse φTXn and turns on the transfer switch 103 and the reset switch 107 during the period from time t11 to t12 on the n line. Then, the vertical scanning circuit 112 performs a reset operation for sequentially removing unnecessary charges accumulated in the PD 102 and the FD 104 other than the first column on the left of the n line by every predetermined unit (for each line).

時刻t12で転送スイッチ103がオフになると、PD102で発生した光電荷を所定時間Tint1だけ蓄積する蓄積動作が開始される。ここで蓄積動作が開始されるPD102は、左1列以外に位置するものであり、左1列に位置するPD102については、後述するタイミングで蓄積が開始されることになる。   When the transfer switch 103 is turned off at time t12, an accumulation operation for accumulating the photoelectric charge generated in the PD 102 for a predetermined time Tint1 is started. Here, the PD 102 for which the accumulation operation is started is located in a position other than the left one column, and the accumulation of the PD 102 located in the left one column is started at a timing described later.

つぎに、垂直走査回路112は、所定時間Tint1である所定時間経過後の時刻t17において、転送パルスφTXnを印加し、転送スイッチ103をオンにし、PD102に蓄積された光電荷をFD104に転送する転送動作を行う。   Next, the vertical scanning circuit 112 applies a transfer pulse φTXn at time t17 after a predetermined time, which is the predetermined time Tint1, turns on the transfer switch 103, and transfers the photocharge accumulated in the PD 102 to the FD 104. Perform the action.

なお、この転送動作に先んじて、リセットスイッチ107をオフにする必要があり、時刻t12で転送スイッチ103と同時にオフにしている。ここで、左1列以外の画素については、リセット動作終了の時刻t12から転送終了の時刻t17までの所定時間Tint1が蓄積時間となる。   Prior to this transfer operation, the reset switch 107 needs to be turned off, and is turned off simultaneously with the transfer switch 103 at time t12. Here, for pixels other than the left one column, a predetermined time Tint1 from the reset operation end time t12 to the transfer end time t17 is the accumulation time.

nラインの転送動作終了後、垂直走査回路112は、時刻t18において選択パルスφSELnを印加して選択スイッチ106をオンにすることにより、FD104に保持されたnラインの電荷が電圧に変換され、読み出し回路113に出力される。読み出し回路113で一時的に保持された信号が水平走査回路(HSR)114によって時刻t19より順次出力される。   After completion of the n-line transfer operation, the vertical scanning circuit 112 applies the selection pulse φSELn at time t18 to turn on the selection switch 106, whereby the n-line charge held in the FD 104 is converted into a voltage and read. It is output to the circuit 113. The signals temporarily held in the readout circuit 113 are sequentially output from the time t19 by the horizontal scanning circuit (HSR) 114.

nラインでリセットパルスφTXnを印加後、nラインの次の行となるn+1ラインに対しても同様の動作が行われる。すなわち、n+1ラインに対し、所定時間後の時刻t13に、nラインと同様、各ラインに対応したパルス信号の印加が開始され、nラインと同蓄積時間となる所定時間Tint1で電荷が蓄積された後、その信号が順次出力され、読み出される。さらに、その次の行となるn+2ラインに対しても、時刻t15に、nライン、n+1ラインと同様の動作が行われる。   After the reset pulse φTXn is applied to the n line, the same operation is performed on the n + 1 line which is the next row of the n line. That is, for the n + 1 line, at time t13 after a predetermined time, as with the n line, application of a pulse signal corresponding to each line is started, and charges are accumulated at a predetermined time Tint1 that is the same accumulation time as the n line. Thereafter, the signals are sequentially output and read. Further, for the n + 2 line which is the next row, the same operation as the n line and the n + 1 line is performed at time t15.

一方、左1列目の画素については、一括リセット一括転送で読み出しが行われる。この左1列に位置する所定範囲内の画素の駆動について説明する。まず、特定のラインに限らず、全ライン共通に同時間にリセット動作が行われる。   On the other hand, the pixels in the left first column are read by batch reset batch transfer. The driving of pixels within a predetermined range located in the left column will be described. First, the reset operation is performed not only on a specific line but also on all lines at the same time.

垂直走査回路112は、時刻t15からt16の期間、リセットパルスφRES0と転送パルスφTX0を印加し、左1列に位置する画素の転送スイッチ103およびリセットスイッチ107をオンにする。そして、垂直走査回路112は、PD102とFD104に蓄積されている不用電荷を除去するリセット動作を行う。なお、このリセット動作は全ラインで同時刻に行われる。   The vertical scanning circuit 112 applies the reset pulse φRES0 and the transfer pulse φTX0 during the period from time t15 to t16, and turns on the transfer switch 103 and the reset switch 107 of the pixels located in the left column. The vertical scanning circuit 112 performs a reset operation for removing unnecessary charges accumulated in the PD 102 and the FD 104. This reset operation is performed on all lines at the same time.

時刻t16で転送スイッチ103がオフになると、PD102で発生した光電荷を所定時間Tint0だけ蓄積する蓄積動作が開始される。   When the transfer switch 103 is turned off at time t16, an accumulation operation for accumulating the photoelectric charge generated in the PD 102 for a predetermined time Tint0 is started.

つぎに、垂直走査回路112は、所定時間Tint0である所定時間経過後の時刻t17において、転送パルスφTX0を印加し、転送スイッチ103をオンにし、PD102に蓄積された光電荷をFD104に転送する転送動作を行う。この転送動作も全ラインで同時刻に行われる。   Next, the vertical scanning circuit 112 applies a transfer pulse φTX0 at time t17 after a predetermined time, which is a predetermined time Tint0, turns on the transfer switch 103, and transfers the photocharge accumulated in the PD 102 to the FD 104. Perform the action. This transfer operation is also performed on all lines at the same time.

全ライン同時に行われた転送動作の終了、および各ラインからの読み出しのタイミングについては、前述したローリング読み出しが行われた画素と同じである。すなわち、各ラインにおいて、一括リセット一括転送が行われる画素は、一旦FD104に保持されてから、同ライン上にあるローリング読み出しが行われる画素と同タイミングで、一ライン上の画素信号としてFD104から読み出し回路113に読み出される。こうして得られた画素信号は、ライン毎で読み出し時刻が異なることもなく、全ラインについて蓄積時間、およびその時刻も同じである画素信号となる。   The end of the transfer operation performed on all the lines simultaneously and the timing of reading from each line are the same as those of the pixels on which the above-described rolling reading has been performed. That is, in each line, a pixel for which batch reset batch transfer is performed is once held in the FD 104 and then read from the FD 104 as a pixel signal on one line at the same timing as a pixel on which rolling reading is performed on the same line. Read out to the circuit 113. The pixel signal thus obtained is a pixel signal in which the readout time does not differ from line to line, and the accumulation time and the time are the same for all lines.

このような駆動動作により、一枚の撮影画像からローリング読み出しが行われた画素の信号と、一括リセット一括転送読み出しが行われた画素の信号が得られる。   By such a driving operation, a pixel signal that has been subjected to rolling readout from one photographed image and a pixel signal that has been subjected to batch reset batch transfer readout can be obtained.

信号処理回路8は、このようにして読み出された画素信号の演算処理を行い、フリッカ情報の検出を行う。すなわち、信号処理回路8は、上記演算処理において、左1列に位置する一括リセット一括転送読み出しが行われた画素の出力(画素信号)と、その画素に近接するローリング読み出しが行われた画素の出力(画素信号)との減算処理をライン毎に行う。この減算処理の結果、所定の閾値以上の差があって、この差(差分情報)が順次転送が行われる行のラインに対して垂直方向に周期性を有する場合、信号処理回路8は、フリッカによる影響があると判定する。   The signal processing circuit 8 performs arithmetic processing on the pixel signal read out in this way, and detects flicker information. That is, the signal processing circuit 8 outputs, in the above arithmetic processing, the output (pixel signal) of the pixel that has been subjected to batch reset batch transfer readout that is positioned in the left column and the pixel that has undergone rolling readout adjacent to that pixel. A subtraction process with the output (pixel signal) is performed for each line. As a result of the subtraction process, when there is a difference equal to or greater than a predetermined threshold value and this difference (difference information) has periodicity in the vertical direction with respect to the lines of the row to be sequentially transferred, the signal processing circuit 8 causes the flicker. It is determined that there is an influence by.

フリッカが存在する場合、ライン毎で読み出し時刻に差が発生している画素信号では、その時刻の差によるフリッカがライン毎に乗る。一方、ライン毎で読み出し時刻に差が無い画素信号では、ライン毎にフリッカが乗らない。このため、上記減算処理を行ってその差分情報を算出することにより、フリッカを検出することが可能である。また、近接する画素間の出力を用いることで、フリッカの検出に必要な差分情報を簡単に得ることができる。このように、フリッカの検出を容易に行うことができる。また、検出されたフリッカの量をライン毎に画素信号から減ずることで、フリッカの影響を除去することができる。   In the case where there is flicker, in a pixel signal in which a difference occurs in readout time for each line, flicker due to the difference in the time is applied for each line. On the other hand, flicker is not applied to each line for pixel signals that have no difference in readout time for each line. Therefore, flicker can be detected by performing the above subtraction process and calculating the difference information. Further, difference information necessary for flicker detection can be easily obtained by using an output between adjacent pixels. In this way, flicker can be easily detected. Further, the influence of flicker can be removed by subtracting the detected amount of flicker from the pixel signal for each line.

図4は信号処理回路8におけるフリッカ情報検出処理手順を示すフローチャートである。まず、信号処理回路8は、変数nに値1をセットする(ステップS1)。そして、信号処理回路8は、画像メモリ9に記憶された撮影画像のnライン目の画像を読み出す(ステップS2)。   FIG. 4 is a flowchart showing a flicker information detection processing procedure in the signal processing circuit 8. First, the signal processing circuit 8 sets a value 1 to the variable n (step S1). Then, the signal processing circuit 8 reads an image on the nth line of the captured image stored in the image memory 9 (step S2).

そして、信号処理回路8は、読み出されたnライン目の画像のうち、左1列に位置する画素の出力(一括リセット一括転送読み出しの画素出力)から、その画素に近接する画素の出力(ローリング読み出しの画素出力)を減算する(ステップS3)。この減算の結果、両画素出力間の差分値が得られ、画像メモリ9に記憶される。   Then, the signal processing circuit 8 outputs, from the output of the pixel located in the left one column (pixel output of batch reset batch transfer readout) of the read n-th line image, the output of the pixel close to that pixel ( The pixel output of rolling readout) is subtracted (step S3). As a result of this subtraction, a difference value between the two pixel outputs is obtained and stored in the image memory 9.

信号処理回路8は、変数nが総ライン数Nを超えたか否かを判別する(ステップS4)。総ライン数Nを超えていない場合、信号処理回路8は、変数nに値1を加え(ステップS5)、ステップS2に戻り、同様の処理を行う。   The signal processing circuit 8 determines whether or not the variable n has exceeded the total number of lines N (step S4). If the total number of lines N is not exceeded, the signal processing circuit 8 adds 1 to the variable n (step S5), returns to step S2, and performs the same processing.

一方、変数nが総ライン数Nを超えた場合、信号処理回路8は、画像の垂直方向に周期性があるか否かを判別する(ステップS6)。すなわち、信号処理回路8は、画像メモリ9に記憶された各ラインの差分値を参照し、この差分値が所定の閾値以上の値であって、順次転送が行われる行のラインに対して垂直方向に対して周期性を有するか否かを判別する。   On the other hand, when the variable n exceeds the total number N of lines, the signal processing circuit 8 determines whether or not there is periodicity in the vertical direction of the image (step S6). That is, the signal processing circuit 8 refers to the difference value of each line stored in the image memory 9, and the difference value is a value equal to or larger than a predetermined threshold value, and is perpendicular to the line of the row to be sequentially transferred. It is determined whether or not there is periodicity in the direction.

差分値が画像の垂直方向に周期性を有する場合、信号処理回路8は、フリッカが発生していると判定し(ステップS7)、本処理を終了する。一方、差分値が画像の垂直方向に周期性を有しない場合、信号処理回路8は、フリッカが発生していないと判定し(ステップS8)、本処理を終了する。   If the difference value has periodicity in the vertical direction of the image, the signal processing circuit 8 determines that flicker has occurred (step S7), and ends this processing. On the other hand, if the difference value does not have periodicity in the vertical direction of the image, the signal processing circuit 8 determines that no flicker has occurred (step S8), and ends this processing.

このように、CMOSイメージセンサ3内で画素の駆動方法を異ならせて読み出すことにより、一枚の撮影画像で、その駆動方法による画素の読み出しの時刻の差から得られる、画素出力の差分情報を基に、フリッカ情報の検出が可能となる。   In this way, by reading out the CMOS image sensor 3 with different pixel driving methods, the difference information of the pixel output obtained from the difference in the reading time of the pixels by the driving method can be obtained for one photographed image. Based on this, flicker information can be detected.

また、上記実施形態においては、一括リセット一括転送読み出しを行う所定範囲内の画素の列を左1列としていたが、これに限られるものではない。つまり、光が導光される有効画素領域以外の画素の列であればよく、有効画素領域外の画素の位置および列数は特に限定されない。これにより、有効画素領域を確保しつつ、フリッカを精度良く検出することができる。   In the above-described embodiment, the pixel column within a predetermined range in which batch reset batch transfer readout is performed is the left one column. However, the present invention is not limited to this. That is, it is only necessary to have a column of pixels other than the effective pixel region where light is guided, and the position and the number of columns of the pixel outside the effective pixel region are not particularly limited. Thereby, flicker can be detected with high accuracy while ensuring an effective pixel area.

また、列間引きによる画像撮影が行われる撮像装置の場合、間引かれる列を一括リセット一括転送読み出しが行われる画素の列とし、間引かれない列をローリング読み出しが行われる画素の列とする構成としてもよく、同様にフリッカを検出することができる。これにより、有効画素領域を効率的に活用することができ、一括リセット一括転送読み出しが行われる画素領域を有効画素領域とは別に設けなくて済む。   In addition, in the case of an imaging apparatus that performs image shooting by column thinning, a column to be thinned is a column of pixels for which batch reset batch transfer readout is performed, and a column that is not to be thinned is a column of pixels for which rolling readout is performed. Similarly, flicker can be detected in the same manner. Accordingly, the effective pixel area can be efficiently used, and it is not necessary to provide a pixel area where batch reset batch transfer reading is performed separately from the effective pixel area.

また、行間引きによる画像撮影が行われる撮像装置の場合、間引かれる行を一括リセット一括転送読み出しが行われる画素の行とし、間引かれない行をローリング読み出しが行われる画素の行とする構成としてもよく、同様にフリッカを検出することができる。なお、この場合、垂直走査回路により間引かれる行については、その選択を一度に同タイミングとすることで実現が可能となる。さらに、一括リセット一括転送読み出し用としてのリセットパルスφRES0と転送パルスφTX0は必要なくなる。   Further, in the case of an imaging apparatus that performs image shooting by thinning out rows, a configuration in which thinned rows are rows of pixels that are subjected to batch reset batch transfer readout, and rows that are not thinned out are rows of pixels that are subjected to rolling readout Similarly, flicker can be detected in the same manner. In this case, the rows to be thinned out by the vertical scanning circuit can be realized by selecting them at the same timing at a time. Further, the reset pulse φRES0 and the transfer pulse φTX0 for reading the batch reset batch transfer are not necessary.

本実施形態の撮像装置によれば、CMOSイメージセンサ3内の画素の読み出し方法として、ローリング読み出しと一括リセット一括転送読み出しとを一枚の撮影画像で行わせる。これにより、その駆動方法による画素の読み出しの時刻の差から得られる画素出力の差分情報を基に、フリッカ情報を検出することができる。このように、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる。従って、検出されたフリッカの影響を除去することが可能である。   According to the imaging apparatus of the present embodiment, rolling readout and batch reset batch transfer readout are performed on a single photographed image as a pixel readout method in the CMOS image sensor 3. Accordingly, flicker information can be detected based on the difference information of the pixel output obtained from the difference in the pixel readout time according to the driving method. In this way, flicker can be detected more accurately in a short time regardless of the state of the subject and the shooting scene. Therefore, it is possible to remove the influence of the detected flicker.

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。   The present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.

実施の形態における撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device in embodiment. CMOSイメージセンサ3の概略的構成を示す図である。2 is a diagram showing a schematic configuration of a CMOS image sensor 3. FIG. 撮像素子3の駆動動作を示すタイミングチャートである。3 is a timing chart illustrating a driving operation of the image sensor 3. 信号処理回路8におけるフリッカ情報検出処理手順を示すフローチャートである。6 is a flowchart showing a flicker information detection processing procedure in the signal processing circuit 8; ラインフリッカの発生を示す図である。It is a figure which shows generation | occurrence | production of a line flicker.

符号の説明Explanation of symbols

3 CMOSイメージセンサ(撮像素子)
7 駆動回路
8 信号処理回路
101 画素部
102 フォトダイオード(PD)
103 転送スイッチ
104 蓄積領域(FD)
107 リセットスイッチ
3 CMOS image sensor (image sensor)
7 Driving Circuit 8 Signal Processing Circuit 101 Pixel Unit 102 Photodiode (PD)
103 Transfer switch 104 Storage area (FD)
107 Reset switch

Claims (6)

光電変換により電荷を生成して蓄積する光電変換部と、前記生成された電荷を蓄積する浮遊拡散部とを有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置であって、
前記二次元に配置された複数の画素部のうち、一部の列または行からなる所定範囲内の画素部の前記光電変換部および浮遊拡散部に対し、一括でリセットを行う一括リセット手段と、
前記一括でリセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送手段と、
前記一部の列または行からなる所定範囲内の画素部を除く、前記二次元に配置された複数の画素部の前記光電変換部と浮遊拡散部に対し、所定単位毎に順次リセットを行う順次リセット手段と、
前記順次リセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送手段と、
前記一括転送手段で得られた前記画素部の画素信号と前記順次転送手段で得られた前記画素部の画素信号とを用いて差分情報を算出し、前記算出された差分情報を基にフリッカを検出する検出手段とを備えたことを特徴とする撮像装置。
An imaging apparatus using an imaging device in which a plurality of pixel units each having a photoelectric conversion unit that generates and accumulates charges by photoelectric conversion and a floating diffusion unit that accumulates the generated charges are two-dimensionally arranged ,
Batch reset means for collectively resetting the photoelectric conversion unit and the floating diffusion unit of the pixel unit within a predetermined range consisting of some columns or rows among the plurality of pixel units arranged in two dimensions;
A batch transfer means for collectively transferring charges accumulated in the photoelectric conversion unit to the floating diffusion unit after a predetermined time has elapsed since the batch reset was performed;
Sequentially resets the photoelectric conversion units and the floating diffusion units of the plurality of two-dimensionally arranged pixel units excluding the pixel unit within a predetermined range composed of some of the columns or rows sequentially for each predetermined unit. Resetting means;
Sequential transfer means for sequentially transferring the charge accumulated in the photoelectric conversion unit to the floating diffusion unit for each predetermined unit after a predetermined time has elapsed since the sequential reset was performed;
The difference information is calculated using the pixel signal of the pixel unit obtained by the batch transfer unit and the pixel signal of the pixel unit obtained by the sequential transfer unit, and flicker is calculated based on the calculated difference information. An imaging apparatus comprising: a detecting means for detecting.
前記検出手段は、前記差分情報が所定の閾値以上であって、前記順次転送が行われる行または列のラインに対して垂直方向に周期性を有する場合、フリッカを検出することを特徴とする請求項1記載の撮像装置。   The detection means detects flicker when the difference information is equal to or greater than a predetermined threshold and has periodicity in a vertical direction with respect to a row or column line to be sequentially transferred. Item 2. The imaging device according to Item 1. 前記検出手段は、前記一括転送手段で得られた前記画素部の画素信号と、当該画素部と近接し、前記順次転送手段で得られた前記画素部の画素信号とを用いて、差分情報を算出することを特徴とする請求項1記載の撮像装置。   The detection unit uses the pixel signal of the pixel unit obtained by the batch transfer unit and the pixel signal of the pixel unit which is adjacent to the pixel unit and obtained by the sequential transfer unit to obtain difference information. The imaging device according to claim 1, wherein the imaging device is calculated. 前記一括転送手段で画素信号が得られる、前記一部の列または行からなる所定範囲内の画素部は、前記撮像素子の有効画素領域外に位置することを特徴とする請求項1記載の撮像装置。   2. The imaging according to claim 1, wherein a pixel portion within a predetermined range including a part of columns or rows from which a pixel signal is obtained by the batch transfer unit is located outside an effective pixel region of the imaging device. apparatus. 列または行の間引き動作を行って画像が撮影される場合、前記一部の列または行からなる所定範囲内の画素部は、前記間引き動作により間引かれる列または行の画素部であることを特徴とする請求項1記載の撮像装置。   When an image is captured by performing a thinning operation on columns or rows, a pixel portion within a predetermined range consisting of the partial columns or rows is a pixel portion of a column or row thinned out by the thinning operation. The imaging apparatus according to claim 1, wherein: 光電変換により電荷を生成して蓄積する光電変換部と、前記生成された電荷を蓄積する浮遊拡散部とを有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置のフリッカ検出方法であって、
前記二次元に配置された複数の画素部のうち、一部の列または行からなる所定範囲内の画素部の前記光電変換部および浮遊拡散部に対し、一括でリセットを行う一括リセットステップと、
前記一括でリセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送ステップと、
前記一部の列または行からなる所定範囲内の画素部を除く、前記二次元に配置された複数の画素部の前記光電変換部と浮遊拡散部に対し、所定単位毎に順次リセットを行う順次リセットステップと、
前記順次リセットが行われてから所定時間経過後、前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送ステップと、
前記一括転送ステップで得られた前記画素部の画素信号と前記順次転送ステップで得られた前記画素部の画素信号とを用いて差分情報を算出し、前記算出された差分情報を基にフリッカを検出する検出ステップとを有することを特徴とする撮像装置のフリッカ検出方法。
Flicker detection of an imaging apparatus using an imaging device in which a plurality of pixel units each having a photoelectric conversion unit that generates and accumulates charges by photoelectric conversion and a floating diffusion unit that accumulates the generated charges are arranged two-dimensionally A method,
A batch reset step for collectively resetting the photoelectric conversion unit and the floating diffusion unit of the pixel unit within a predetermined range consisting of some columns or rows among the plurality of pixel units arranged in two dimensions;
A batch transfer step of collectively transferring charges accumulated in the photoelectric conversion unit to the floating diffusion unit after a predetermined time has elapsed since the batch reset was performed;
Sequentially resets the photoelectric conversion units and the floating diffusion units of the plurality of two-dimensionally arranged pixel units excluding the pixel unit within a predetermined range composed of some of the columns or rows sequentially for each predetermined unit. A reset step,
A sequential transfer step of sequentially transferring the charge accumulated in the photoelectric conversion unit to the floating diffusion unit for each predetermined unit after a predetermined time has elapsed since the sequential reset was performed;
Difference information is calculated using the pixel signal of the pixel unit obtained in the batch transfer step and the pixel signal of the pixel unit obtained in the sequential transfer step, and flicker is calculated based on the calculated difference information. A flicker detection method for an image pickup apparatus, comprising: a detection step for detecting.
JP2007293243A 2007-11-12 2007-11-12 Imaging apparatus and flicker detection method thereof Expired - Fee Related JP5106055B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007293243A JP5106055B2 (en) 2007-11-12 2007-11-12 Imaging apparatus and flicker detection method thereof
US12/248,627 US8081235B2 (en) 2007-11-12 2008-10-09 Image pickup apparatus and flicker detection method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007293243A JP5106055B2 (en) 2007-11-12 2007-11-12 Imaging apparatus and flicker detection method thereof

Publications (2)

Publication Number Publication Date
JP2009124238A true JP2009124238A (en) 2009-06-04
JP5106055B2 JP5106055B2 (en) 2012-12-26

Family

ID=40815963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007293243A Expired - Fee Related JP5106055B2 (en) 2007-11-12 2007-11-12 Imaging apparatus and flicker detection method thereof

Country Status (1)

Country Link
JP (1) JP5106055B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124239A (en) * 2007-11-12 2009-06-04 Canon Inc Imaging apparatus, and flicker detection method therefor
JP2010263526A (en) * 2009-05-11 2010-11-18 Sony Corp Solid-state imaging apparatus, method for driving the same and electronic device
JP2011035533A (en) * 2009-07-30 2011-02-17 Hamamatsu Photonics Kk Blinking signal detector
JP2013153511A (en) * 2013-03-18 2013-08-08 Sony Corp Solid-state imaging apparatus, method for driving solid-state imaging apparatus, and electronic device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189129A (en) * 2001-12-18 2003-07-04 Sony Corp Image pickup signal processing apparatus and flicker detection method
JP2004007402A (en) * 2002-03-25 2004-01-08 Seiko Epson Corp Flicker detecting device, flicker correcting device, imaging device, flicker detecting program, and flicker correcting program
JP2006245784A (en) * 2005-03-01 2006-09-14 Canon Inc Solid-state imaging apparatus and driving method thereof, and imaging system
JP2006303815A (en) * 2005-04-19 2006-11-02 Sony Corp Flicker correction method, flicker correction apparatus, and imaging apparatus
JP2007028337A (en) * 2005-07-19 2007-02-01 Canon Inc Imaging apparatus and control method therefor, program, and recording medium
JP2007060585A (en) * 2005-08-26 2007-03-08 Sony Corp Exposure control method, exposure control apparatus, and imaging apparatus
JP2009512383A (en) * 2005-10-17 2009-03-19 ノキア コーポレイション Prevention of flicker effects in video electronic devices
JP2009124239A (en) * 2007-11-12 2009-06-04 Canon Inc Imaging apparatus, and flicker detection method therefor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189129A (en) * 2001-12-18 2003-07-04 Sony Corp Image pickup signal processing apparatus and flicker detection method
JP2004007402A (en) * 2002-03-25 2004-01-08 Seiko Epson Corp Flicker detecting device, flicker correcting device, imaging device, flicker detecting program, and flicker correcting program
JP2006245784A (en) * 2005-03-01 2006-09-14 Canon Inc Solid-state imaging apparatus and driving method thereof, and imaging system
JP2006303815A (en) * 2005-04-19 2006-11-02 Sony Corp Flicker correction method, flicker correction apparatus, and imaging apparatus
JP2007028337A (en) * 2005-07-19 2007-02-01 Canon Inc Imaging apparatus and control method therefor, program, and recording medium
JP2007060585A (en) * 2005-08-26 2007-03-08 Sony Corp Exposure control method, exposure control apparatus, and imaging apparatus
JP2009512383A (en) * 2005-10-17 2009-03-19 ノキア コーポレイション Prevention of flicker effects in video electronic devices
JP2009124239A (en) * 2007-11-12 2009-06-04 Canon Inc Imaging apparatus, and flicker detection method therefor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124239A (en) * 2007-11-12 2009-06-04 Canon Inc Imaging apparatus, and flicker detection method therefor
JP2010263526A (en) * 2009-05-11 2010-11-18 Sony Corp Solid-state imaging apparatus, method for driving the same and electronic device
JP2011035533A (en) * 2009-07-30 2011-02-17 Hamamatsu Photonics Kk Blinking signal detector
US8670042B2 (en) 2009-07-30 2014-03-11 Hamamatsu Photonics K.K. Blinking-signal detecting device
JP2013153511A (en) * 2013-03-18 2013-08-08 Sony Corp Solid-state imaging apparatus, method for driving solid-state imaging apparatus, and electronic device

Also Published As

Publication number Publication date
JP5106055B2 (en) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5226552B2 (en) Imaging device
JP5614993B2 (en) Imaging apparatus and solid-state imaging device driving method
JP4948090B2 (en) Imaging apparatus and drive control method
JP5215262B2 (en) Imaging device
JP5852324B2 (en) Imaging apparatus, control method therefor, and program
JP6159105B2 (en) Imaging apparatus and control method thereof
JP5311987B2 (en) Imaging device
US10313588B2 (en) Image capturing system and control method of image capturing system
JP5523065B2 (en) Imaging apparatus and control method thereof
JP2008016976A (en) Imaging apparatus, its controlling method, and imaging system
JP2007028339A (en) Imaging apparatus, control method and program thereof and storage medium
JP2007329658A (en) Imaging apparatus and driving method therefor
JP2008109504A (en) Imaging device and correcting method
JP5106055B2 (en) Imaging apparatus and flicker detection method thereof
JP5452269B2 (en) Imaging device
JP2006033381A (en) Imaging device and control method
US8081235B2 (en) Image pickup apparatus and flicker detection method therefor
JP2006108889A (en) Solid-state image pickup device
JP5106056B2 (en) Imaging apparatus and flicker detection method thereof
JP4908939B2 (en) Imaging device
JP6362099B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2006222762A (en) Imaging apparatus
JP2018093301A (en) Image pick-up device and control method of the same
JP4847281B2 (en) Imaging apparatus, control method therefor, and imaging system
JP2008072512A (en) Photographing apparatus and its control method, and photographing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20120227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121002

R151 Written notification of patent or utility model registration

Ref document number: 5106055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees