JP2017126921A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2017126921A
JP2017126921A JP2016005666A JP2016005666A JP2017126921A JP 2017126921 A JP2017126921 A JP 2017126921A JP 2016005666 A JP2016005666 A JP 2016005666A JP 2016005666 A JP2016005666 A JP 2016005666A JP 2017126921 A JP2017126921 A JP 2017126921A
Authority
JP
Japan
Prior art keywords
solid
image
accumulation
time
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016005666A
Other languages
Japanese (ja)
Inventor
康一 松村
Koichi Matsumura
康一 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016005666A priority Critical patent/JP2017126921A/en
Publication of JP2017126921A publication Critical patent/JP2017126921A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide means of improving detection precision of a period and a phase of a flicker when a subject moves at high speed during flicker-free photography.SOLUTION: An imaging apparatus comprises: a solid-state imaging element A and a solid-state imaging element B having a light reception part for generating and accumulating optical charges according to a light reception quantity; means of calculating a first accumulation time; means of generating a first accumulation start timing signal and a read start timing signal using the first accumulation time; means of calculating a second accumulation time longer than the first accumulation time; means of generating a second accumulation start timing signal and a read timing signal such that the first accumulation time is included in the second accumulation time, and controlling accumulation and reading of optical charges of the solid-state imaging element B; detecting means of detecting timing where variation in light quantity due to a flicker is small on the basis of an image obtained from the solid-state imaging element A; and photographing means of photographing a still image at the detected timing where the variation in light quantity due to the flicker is small.SELECTED DRAWING: Figure 1

Description

本発明は、デジタルカメラに代表される撮像装置に関し、特に撮影時に発生する外光の光量変化(一般的にはフリッカーと呼ばれる)による露光ムラを低減する撮影におけるフリッカー検知精度向上に関する。   The present invention relates to an imaging apparatus typified by a digital camera, and more particularly to an improvement in flicker detection accuracy in shooting that reduces exposure unevenness due to a change in the amount of external light (generally called flicker) that occurs during shooting.

従来、フリッカーを含んだ人工光源下では光量が足りず高速のシャッター速度での撮影が出来なかったため、フリッカーによる露光ムラという問題は発生していなかった。   Conventionally, under an artificial light source including flicker, the amount of light is insufficient and photographing at a high shutter speed cannot be performed, so that the problem of uneven exposure due to flicker has not occurred.

しかし、近年、デジタルカメラの高ISO化に伴いこの様なフリッカーを含んだ人工光源下でも、高速シャッター撮影時に適切な露出レベルが得られるようになったため、実際に使用されるようになってきた。   However, in recent years, with the increase in ISO of digital cameras, an appropriate exposure level can be obtained at the time of high-speed shutter photography even under an artificial light source including such flicker, so that it is actually used. .

しかしながら、フリッカー光源下で高速シャッター撮影をすると外光の光量変化により、連続撮影でコマ毎の露出にバラツキが発生する。   However, when high-speed shutter shooting is performed under a flicker light source, the exposure for each frame varies in continuous shooting due to a change in the amount of external light.

この様な問題に対して、シャッターが走行するタイミングをフリッカーの光量変化が少ないタイミングに合わせることによりコマ毎の露出バラツキが発生しないように制御しているものもある。   In order to deal with such a problem, there is a control in which exposure variation for each frame does not occur by matching the timing when the shutter travels with the timing at which the change in the amount of flicker light is small.

また、この様なフリッカー光源において、特許文献1には、ライブビュー(以降、LV)からの静止画撮影時に、フリッカーの周期、ピークタイミングを検出し、ピークタイミングで静止画を撮影することで、フリッカーによる露光ムラを低減する技術が開示されている。   In addition, in such a flicker light source, Patent Document 1 discloses that at the time of still image shooting from live view (hereinafter referred to as LV), the flicker cycle and peak timing are detected, and a still image is shot at the peak timing. A technique for reducing exposure unevenness due to flicker is disclosed.

特開2015−088917号公報Japanese Patent Laying-Open No. 2015-08917

しかしながら、上述の特許文献1に開示された従来技術では、フリッカーの周期と位相を検知するために比較する2枚の画像は異なる時刻に撮影するため、被写体が高速に移動するなどして画面にズレが生じた場合、フリッカーの周期と位相の検知精度が低下してしまう。   However, in the conventional technique disclosed in Patent Document 1 described above, two images to be compared to detect the flicker period and phase are taken at different times, so that the subject moves at high speed on the screen. When the deviation occurs, the flicker period and the phase detection accuracy are lowered.

そこで、本発明の目的は、フリッカーによる露光ムラを低減する技術において、被写体が高速に移動する場合の、フリッカーの周期と位相の検知精度を向上することを可能にした手段を提供することにある。   Accordingly, an object of the present invention is to provide means capable of improving flicker period and phase detection accuracy when a subject moves at high speed in a technique for reducing exposure unevenness due to flicker. .

上記の目的を達成するために、本発明に係る撮影装置は、
受光量に応じて光電荷を発生し蓄積する受光部を有し、この複数の受光部が2次元に配列された固体撮像素子Aおよび固体撮像素子Bと、第一の蓄積時間を算出する手段と、前記第一の蓄積時間を用いて第一の蓄積開始タイミング信号と読出し開始タイミング信号を生成し、固体撮像素子Aの光電荷の蓄積と読出しを制御する手段と、前記第一の蓄積時間より長い第二の蓄積時間を算出する手段と、前記第二の蓄積時間に前記第一の蓄積時間を内包させる第二の蓄積開始タイミング信号と読出し開始タイミング信号を生成し固体撮像素子Bの光電荷の蓄積と読出しを制御する手段と、固体撮像素子Aから得られた画像Aをもとにフリッカーの光量変化の少ないタイミングを検出する検出手段と、検出されたフリッカーによる光量変化の少ないタイミングで静止画の撮影を行う撮影手段とを備えることを特徴とする。
In order to achieve the above object, a photographing apparatus according to the present invention includes:
A solid-state imaging device A and a solid-state imaging device B each having a light-receiving unit that generates and accumulates photocharges according to the amount of received light, the plurality of light-receiving units being arranged two-dimensionally, and means for calculating a first accumulation time And means for generating a first accumulation start timing signal and a read start timing signal using the first accumulation time, and controlling the accumulation and reading of the photocharges of the solid-state imaging device A, and the first accumulation time Means for calculating a longer second accumulation time, and a second accumulation start timing signal and a read start timing signal for including the first accumulation time in the second accumulation time to generate light of the solid-state image sensor B Means for controlling charge accumulation and reading, detection means for detecting a timing at which the light quantity change of the flicker is small based on the image A obtained from the solid-state imaging device A, and a light quantity change by the detected flicker is small. Characterized in that it comprises an imaging means for performing still image shooting in timing.

本発明によれば、LVからの静止画撮影時に、フリッカーの周期、ピークタイミングを検出し、フリッカーによる露光ムラを低減する技術において、被写体が高速に移動する場合の、フリッカーの周期と位相の検知精度を向上する手段を提供することができる。   According to the present invention, in a technique for detecting flicker cycle and peak timing during still image shooting from LV and reducing exposure unevenness due to flicker, detection of flicker cycle and phase when a subject moves at high speed. Means for improving accuracy can be provided.

本発明の実施形態に係るカメラのブロック図である。It is a block diagram of a camera concerning an embodiment of the present invention. 本発明の実施形態に係る交換レンズ、カメラおよび各ブロックの配置図である。It is an arrangement plan of an interchangeable lens, a camera, and each block concerning an embodiment of the present invention. 本発明の実施形態に係る撮像装置に用いられる撮像素子を示す図である。It is a figure which shows the image pick-up element used for the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係るスリットローリングシャッター駆動方法のタイミングチャートである。4 is a timing chart of a slit rolling shutter driving method according to an embodiment of the present invention. 本発明の実施形態に係る電子先幕シャッター駆動方法のタイミングチャートである。3 is a timing chart of an electronic front curtain shutter driving method according to an embodiment of the present invention. 本発明の実施形態に係るフリッカーの光量が高いタイミングで撮影した場合の撮影画像を示した図である。It is the figure which showed the picked-up image at the time of image | photographing at the timing when the light quantity of the flicker which concerns on embodiment of this invention is high. 本発明の実施形態に係るフリッカーの光量が低いタイミングで撮影した場合の撮影画像を示した図である。It is the figure which showed the picked-up image at the time of image | photographing at the timing when the light quantity of the flicker concerning embodiment of this invention is low. 本発明の第一の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker which concerns on 1st embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time. 本発明の実施形態に係るフリッカーの光量変化とその時に撮影される画像を示した図である。It is the figure which showed the light quantity change of the flicker which concerns on embodiment of this invention, and the image image | photographed at that time. 本発明の実施形態に係るフリッカーによるシマのある画像とシマの無い画像とからフリッカーによるシマ成分を抽出するための演算を示した画像である。It is the image which showed the calculation for extracting the flicker component by flicker from the image with a flicker by flicker and the image without a flicker concerning an embodiment of the present invention. 本発明の実施形態に係るフリッカーの周期及び光量が最大になるタイミングを検出するための手順を示した図である。It is the figure which showed the procedure for detecting the timing when the period and light quantity of flicker which concern on embodiment of this invention become the maximum. 本発明の第二の実施形態に係る2つの固定撮像素子の画素数と間引き量と読出し時間の関係を示した図である。It is the figure which showed the relationship between the pixel count of two fixed image sensors which concern on 2nd embodiment of this invention, the amount of thinning-out, and read-out time. 本発明の第三の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker which concerns on 3rd embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time. 本発明の第四の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker which concerns on 4th embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time. 本発明の第五の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker concerning the 5th embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time. 本発明の第六の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker concerning the 6th embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time. 本発明の第七の実施形態に係るフリッカーの光量変化とその時に撮影される画像の蓄積タイミングを示した図である。It is the figure which showed the light quantity change of the flicker concerning the 7th embodiment of this invention, and the accumulation | storage timing of the image image | photographed at that time.

以下、本発明の実施例について図面を用いて説明する。ここで、本発明の実施形態においては、本発明に係る撮像装置として、デジタル一眼レフカメラを適用した例を挙げて説明を行う。   Embodiments of the present invention will be described below with reference to the drawings. Here, in the embodiment of the present invention, an example in which a digital single-lens reflex camera is applied as an imaging apparatus according to the present invention will be described.

(第一の実施形態)
図1は本発明の実施形態に係るデジタル一眼レフカメラ(撮像装置)の概略構成を示す実施例1のブロック図であり、100がカメラの本体、200が交換式のレンズである。また、図2は図1で示したブロックのカメラ内での実際の配置について示した図となっている。
(First embodiment)
FIG. 1 is a block diagram of Example 1 showing a schematic configuration of a digital single-lens reflex camera (imaging device) according to an embodiment of the present invention, in which 100 is a camera body and 200 is an interchangeable lens. FIG. 2 is a diagram showing the actual arrangement of the blocks shown in FIG. 1 in the camera.

図1と図2において、101は各種の演算処理と当該撮像装置であるデジタル一眼レフカメラ100と交換レンズ200の全体を統括的に制御する全体制御・演算部である。   1 and 2, reference numeral 101 denotes an overall control / arithmetic unit that performs overall control of various arithmetic processes and the entire digital single-lens reflex camera 100 and the interchangeable lens 200 as the imaging apparatus.

200はデジタル一眼レフカメラ用の交換レンズであり、202は被写体の光学像を撮像素子A106と撮像素子B116に結像させる撮像レンズで、203は撮影レンズをピント(焦点)が合うように駆動する駆動装置、204は被写体像からの反射光がレンズを通る光量を制御する絞り機構で、205は絞り機構を駆動する絞り駆動装置である。   Reference numeral 200 denotes an interchangeable lens for a digital single-lens reflex camera, 202 denotes an imaging lens that forms an optical image of a subject on the imaging device A106 and the imaging device B116, and 203 drives the photographing lens so that the focus is in focus. A driving device 204 is a diaphragm mechanism that controls the amount of light reflected from the subject image through the lens, and 205 is a diaphragm driving device that drives the diaphragm mechanism.

撮影用の交換レンズ200とデジタル一眼レフカメラ100との間は、交換のため取り外すことが可能で、交換レンズ200とデジタル一眼レフカメラ100との間は情報交換のための通信を行っている。このときの通信はデジタル一眼レフカメラ100に関しては、全体制御・演算部101とレンズ制御部201が通信をしていて、送信/受信の管理を行っている。   The interchangeable lens 200 for photographing and the digital single-lens reflex camera 100 can be removed for replacement, and the interchangeable lens 200 and the digital single-lens reflex camera 100 communicate for information exchange. As for the communication at this time, with respect to the digital single-lens reflex camera 100, the overall control / calculation unit 101 and the lens control unit 201 communicate to manage transmission / reception.

100は撮像装置の本体であるデジタル一眼レフカメラで、102は撮影レンズ202を通った光学像を分光して、撮像素子A106と撮像素子B116へと導くハーフミラーである。   Reference numeral 100 denotes a digital single-lens reflex camera which is a main body of the image pickup apparatus, and reference numeral 102 denotes a half mirror that splits an optical image that has passed through the taking lens 202 and guides it to the image pickup element A 106 and the image pickup element B 116.

104はいわゆる一眼レフカメラに使用されるフォーカルプレーン型の先幕/後幕に相当するシャッター幕を有するシャッター機構であり、撮像レンズ202を通ってきた光学像の露光時間の制御と遮光を行う。   Reference numeral 104 denotes a shutter mechanism having a shutter plane corresponding to a focal plane type front curtain / rear curtain used in a so-called single-lens reflex camera, and controls the exposure time of an optical image that has passed through the imaging lens 202 and blocks light.

105はシャッター機構104の駆動を行うシャッター駆動装置である。   Reference numeral 105 denotes a shutter driving device that drives the shutter mechanism 104.

106は撮像レンズ202により結像された被写体の光学像を画像信号として取り込むための(固体)撮像素子Aである。 本実施形態の撮像素子A106は例えば、CMOSセンサーのような2次元のXYアドレス走査型で形成されている。撮像素子A106は主に静止画の撮像を目的とする。   Reference numeral 106 denotes a (solid-state) image sensor A for capturing an optical image of a subject imaged by the image pickup lens 202 as an image signal. The image sensor A106 of the present embodiment is formed by a two-dimensional XY address scanning type such as a CMOS sensor, for example. The image sensor A106 is mainly intended to capture still images.

107は撮像素子A106から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うA/D変換処理、A/D変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う撮像信号処理部Aである。   Reference numeral 107 denotes various correction processes such as an amplification process of an image signal output from the image sensor A106, an A / D conversion process for converting from analog to digital, and a defect correction for image data after A / D conversion, or An imaging signal processing unit A that performs compression processing for compressing image data.

108は撮像素子A106と撮像信号処理部A107に対して各種のタイミング信号を出力するタイミング発生部Aである。   Reference numeral 108 denotes a timing generator A that outputs various timing signals to the image sensor A106 and the image signal processor A107.

109は画像信号処理部A107により処理された画像データ等を一時的に記憶し、また各種の調整値や全体制御・演算部101による各種の制御を実行させるためのプログラムなどを恒久的に記憶するためのメモリ部である。   109 temporarily stores image data and the like processed by the image signal processing unit A107, and permanently stores various adjustment values and programs for executing various controls by the overall control / arithmetic unit 101. It is a memory part for.

110は記録媒体111に対する画像データ等の記録処理又は記録媒体111から画像データ等の読み出し処理を行うための記録媒体制御インターフェース(I/F)部である。   Reference numeral 110 denotes a recording medium control interface (I / F) unit for performing recording processing of image data and the like on the recording medium 111 or reading processing of image data and the like from the recording medium 111.

111は画像データ等の各種のデータを記録する半導体メモリ等からなる着脱可能な記録媒体である。   A detachable recording medium 111 includes a semiconductor memory or the like for recording various data such as image data.

112は撮影した静止画像や動画像等を表示する表示部113を駆動する駆動部である。   Reference numeral 112 denotes a drive unit that drives a display unit 113 that displays captured still images, moving images, and the like.

114は外部インターフェースであり、コンピュータ115の用な外部機器と画像信号、制御信号等の情報のやりとりを行う。   An external interface 114 exchanges information such as image signals and control signals with an external device for the computer 115.

116は撮像レンズ202により結像された被写体の光学像を画像信号として取り込むための(固体)撮像素子Bである。本実施形態の撮像素子B116は、本実施形態の撮像素子A106と同じく、CMOSセンサーのような2次元のXYアドレス走査型で形成されている。また、本実施形態の撮像素子B116は、撮像素子A106と同じ画素数であり、読出し時間も同じである。撮像素子B116は主に動画やLVの撮像を目的とする。   Reference numeral 116 denotes a (solid-state) imaging element B for taking in an optical image of a subject formed by the imaging lens 202 as an image signal. The image sensor B116 of this embodiment is formed by a two-dimensional XY address scanning type like a CMOS sensor, like the image sensor A106 of this embodiment. Further, the image sensor B116 of the present embodiment has the same number of pixels as the image sensor A106, and has the same readout time. The image sensor B116 is mainly intended for capturing moving images and LVs.

117は撮像素子B116から出力される画像信号の増幅処理や、アナログからデジタルへの変換を行うA/D変換処理、A/D変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う撮像信号処理部Bである。   Reference numeral 117 denotes various correction processes such as an amplification process of an image signal output from the image sensor B116, an A / D conversion process for converting from analog to digital, and a defect correction for image data after A / D conversion, or An imaging signal processing unit B that performs compression processing for compressing image data.

118は撮像素子B116と撮像信号処理部B117に対して各種のタイミング信号を出力するタイミング発生部Bである。   Reference numeral 118 denotes a timing generator B that outputs various timing signals to the image sensor B116 and the image signal processor B117.

121は、位相差方式による測距部であり、ハーフミラー102を透過した光線により被写体のデフォーカス量により位相が変化する2つの1対の画像を取得する。この2画像のズレ量から被写体のデファーカス量を演算して、撮像レンズ202を移動させる。   Reference numeral 121 denotes a distance measuring unit using a phase difference method, which acquires two pairs of images whose phases change according to the defocus amount of the subject by the light beam that has passed through the half mirror 102. The defocus amount of the subject is calculated from the shift amount of the two images, and the imaging lens 202 is moved.

120は、位相差測距部121を駆動する測距部駆動装置である。   Reference numeral 120 denotes a distance measuring unit driving device that drives the phase difference distance measuring unit 121.

図3は撮像装置に具備される固体撮像素子の概略構成図である。この図は2次元の走査方法を採る固体撮像素子A106および固体撮像素子B116の構成を示したものである。   FIG. 3 is a schematic configuration diagram of a solid-state imaging device included in the imaging apparatus. This figure shows the configuration of a solid-state image sensor A106 and a solid-state image sensor B116 that employ a two-dimensional scanning method.

301は、駆動の単位である1つの画素を示している。   Reference numeral 301 denotes one pixel which is a unit of driving.

302は、光を電荷に変換するフォトダイオード(以下、このフォトダイオードを「PD」と称する)である。   Reference numeral 302 denotes a photodiode that converts light into electric charges (hereinafter, this photodiode is referred to as “PD”).

306は、電荷を一時的に蓄積しておく領域であるフローティングディフュージョン(以下、このフローティングディフュージョンを「FD」と称する)である。   Reference numeral 306 denotes a floating diffusion (hereinafter, this floating diffusion is referred to as “FD”), which is a region for temporarily accumulating charges.

303は、転送パルスφTXによってPD302で発生した電荷をFD306に転送する転送スイッチである。   A transfer switch 303 transfers charges generated in the PD 302 to the FD 306 by the transfer pulse φTX.

307は、ソースフォロアとして機能する増幅MOSアンプである。   Reference numeral 307 denotes an amplification MOS amplifier that functions as a source follower.

308は、選択パルスφSELVによって画素を選択する選択スイッチである。   Reference numeral 308 denotes a selection switch that selects a pixel by the selection pulse φSELV.

309は、リセットパルスφRESによってFD306に蓄積された電荷を除去するリセットスイッチである。   Reference numeral 309 denotes a reset switch that removes charges accumulated in the FD 306 by the reset pulse φRES.

311は、増幅MOSアンプ307の負荷となる定電流源である。   Reference numeral 311 denotes a constant current source serving as a load of the amplification MOS amplifier 307.

315は、選択スイッチ308で選択された画素のFD306に蓄積された電荷を、増幅MOSアンプ307と定電流源311による電荷・電圧変換で電圧に変換された後、信号出力線310を経て画素データとして読み出す読み出し回路である。   Reference numeral 315 denotes a pixel that is stored in the FD 306 of the pixel selected by the selection switch 308 into a voltage by charge / voltage conversion by the amplification MOS amplifier 307 and the constant current source 311, and then the pixel data via the signal output line 310. As a readout circuit.

312は、読み出し回路315で読み出した画素データ(画素信号)を選択する選択スイッチであり、水平走査回路316によって駆動される。水平走査回路316によって選択された画素データは出力アンプ313で増幅されて固体撮像素子A106から出力される。   Reference numeral 312 denotes a selection switch that selects pixel data (pixel signal) read by the reading circuit 315 and is driven by the horizontal scanning circuit 316. The pixel data selected by the horizontal scanning circuit 316 is amplified by the output amplifier 313 and output from the solid-state image sensor A106.

314は、スイッチ303,308,309を選択するための垂直走査回路である。ここで、φTX、φRES、φSELVのそれぞれにおいて、垂直走査回路314によって走査選択された第n番目の走査ラインをφTXn、φRESn、φSELVn、第n+1番目の走査ラインをφTXn+1、φRESn+1、φSELVn+1とする。図1には、便宜上、第n番目の走査ラインから第n+6番目の走査ラインまでを示している。また、FD306、増幅MOSアンプ307及び定電流源311により、「フローティングディフュージョンアンプ」が構成される。   Reference numeral 314 denotes a vertical scanning circuit for selecting the switches 303, 308, and 309. Here, in each of φTX, φRES, and φSELV, the nth scan line selected by the vertical scanning circuit 314 is φTXn, φRESn, φSELVn, and the (n + 1) th scan line is φTXn + 1, φRESn + 1, φSELVn + 1. FIG. 1 shows from the nth scan line to the (n + 6) th scan line for convenience. The FD 306, the amplification MOS amplifier 307 and the constant current source 311 constitute a “floating diffusion amplifier”.

次に、図4を用いて、固体撮像素子A106および固体撮像素子B116の露光量を制御するスリットローリングシャッター動作を説明する。   Next, a slit rolling shutter operation for controlling the exposure amounts of the solid-state image sensor A106 and the solid-state image sensor B116 will be described with reference to FIG.

図4はスリットローリングシャッター撮影の際に電子の先幕シャッターと電子の後幕シャッターとを用いて露光量が適正となるように制御を行い、画素データを読み出す固体撮像素子の動作を示すシーケンス図である。   FIG. 4 is a sequence diagram showing the operation of a solid-state imaging device that reads out pixel data by controlling the exposure amount to be appropriate using an electronic front curtain shutter and an electronic rear curtain shutter during slit rolling shutter photography. It is.

電子先幕シャッターの動作では、第nラインにおいて、まず時刻t401からt402の間、φRESnとφTXnにパルスが印加されて、転送スイッチ303及びリセットスイッチ309がオンする。これにより、第nラインのPD302とFD306に蓄積されている不要電荷が除去されてリセット動作が行われる。   In the operation of the electronic front curtain shutter, first, a pulse is applied to φRESn and φTXn from time t401 to t402 on the nth line, and the transfer switch 303 and the reset switch 309 are turned on. As a result, unnecessary charges accumulated in the PD 302 and FD 306 of the nth line are removed, and the reset operation is performed.

続いて、時刻t402でφRESnとφTXnへのパルスの印加が解除されて、転送スイッチ303及びリセットスイッチ309がオフになり、第nラインのPD302に発生する電荷の蓄積動作が開始される。   Subsequently, at time t402, the application of pulses to φRESn and φTXn is released, the transfer switch 303 and the reset switch 309 are turned off, and the operation of accumulating the charge generated in the PD 302 of the nth line is started.

n+1ライン及びn+2ラインは画像として使用しないので、ここでは何も処理を行わない。   Since the n + 1 line and the n + 2 line are not used as an image, no processing is performed here.

本実施形ではn+1ライン及びn+2ラインに対して処理を行っていないが、PDに電荷がたまり周辺の画素へと漏れ出す事を考慮するのであれば、n+1ライン及びn+2ラインのφRESnとφTXnをオンし、PDの電荷を常にリセットしておく必要がある。   In this embodiment, processing is not performed for the n + 1 line and the n + 2 line, but if it is considered that charges accumulate in the PD and leak to the surrounding pixels, the φRESn and φTXn of the n + 1 line and the n + 2 line are turned on. However, it is necessary to always reset the charge of the PD.

時刻t403で時刻t402と同様に、第n+3ラインの蓄積動作が開始し、時刻t404で第n+6ラインの蓄積動作が開始する。   At time t403, the accumulation operation for the (n + 3) th line is started as at time t402, and at time t404, the accumulation operation for the (n + 6) th line is started.

この様に、一定間隔で順次ラインのリセットを解除し電荷の蓄積動作を開始する事で電子的な先幕シャッター動作を実現している。   In this way, an electronic front curtain shutter operation is realized by sequentially releasing the line reset at regular intervals and starting the charge accumulation operation.

ここで第nラインに戻り、時刻t405からt406の間、φTXnにパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。   Here, returning to the n-th line, a pulse is applied to φTXn from time t 405 to time t 406, the transfer switch 303 is turned on, and a transfer operation for transferring the charge accumulated in the PD 302 to the FD 306 is performed.

第nラインの転送動作の終了に続いて、時刻t406からt407の間、φSELVnにパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データ(画素信号)として読み出し回路315に出力される。   Subsequent to the end of the transfer operation of the nth line, a pulse is applied to φSELVn and the selection switch 308 is turned on from time t406 to t407, whereby the charge held in the FD 306 is converted into voltage, and pixel data (pixel Signal) is output to the reading circuit 315.

読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t407より順次出力される。そして、時刻t408で第nラインにおける画素からの画素データの読み出しが完了する。   The pixel data temporarily held by the readout circuit 315 is sequentially output from the time t407 by the horizontal scanning circuit 316. At time t408, reading of pixel data from the pixels on the nth line is completed.

第n+3ラインにおいて、時刻t408からt409の間、φTXn+3にパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。   In the (n + 3) th line, between time t408 and t409, a pulse is applied to φTXn + 3, the transfer switch 303 is turned on, and a transfer operation for transferring the charge accumulated in the PD 302 to the FD 306 is performed.

第n+3ラインの転送動作の終了に続いて、時刻t409からt410の間、φSELVn+3にパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データとして読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t410より順次出力される。そして、時刻t411で第n+3ラインにおける画素からの画素データの読み出しが完了する。   Subsequent to the end of the transfer operation of the n + 3 line, between time t409 and t410, a pulse is applied to φSELVn + 3 and the selection switch 308 is turned on, whereby the charge held in the FD 306 is converted into voltage and read as pixel data. It is output to the circuit 315. The pixel data temporarily held by the readout circuit 315 is sequentially output from the time t410 by the horizontal scanning circuit 316. At time t411, reading of pixel data from the pixels in the (n + 3) th line is completed.

この様に、一定間隔で電荷の転送及び読出しを行う事により電子的な後幕シャッターを実現している。   In this way, an electronic rear curtain shutter is realized by transferring and reading out charges at regular intervals.

各ラインのPDのリセットから転送まで時間が各画素の露光時間となっている。   The time from PD reset of each line to transfer is the exposure time of each pixel.

次に、図5を用いて、電子の先幕シャッターとメカの後幕シャッターを用いて固体撮像素子A106の露光量を制御する電子先幕シャッター動作を説明する。   Next, the electronic front curtain shutter operation for controlling the exposure amount of the solid-state imaging device A 106 using the electronic front curtain shutter and the mechanical rear curtain shutter will be described with reference to FIG.

図5は電子先幕シャッター撮影の際に電子の先幕シャッターとメカの後幕シャッターとを用いて露光量が適正となるように制御を行い、画素データを読み出す固体撮像素子の動作を示すシーケンス図である。   FIG. 5 is a sequence showing the operation of a solid-state image sensor that reads out pixel data by controlling the exposure amount to be appropriate using an electronic front curtain shutter and a mechanical rear curtain shutter during electronic front curtain shutter photography. FIG.

電子先幕シャッターの動作では、第nラインにおいて、まずPDとFDをリセットするためにφRESnとφTXnをオンする。これにより、転送スイッチ303及びリセットスイッチ309がオンする。これにより、第nラインのPD302とFD306に蓄積されている不要電荷が除去されてリセット動作が行われる。   In the operation of the electronic front curtain shutter, on the n-th line, φRESn and φTXn are first turned on to reset PD and FD. As a result, the transfer switch 303 and the reset switch 309 are turned on. As a result, unnecessary charges accumulated in the PD 302 and FD 306 of the nth line are removed, and the reset operation is performed.

続いて、時刻t502でφRESnとφTXnが解除されて、転送スイッチ303及びリセットスイッチ309がオフになり、第nラインのPD302に発生する電荷の蓄積動作が開始される。   Subsequently, at time t502, φRESn and φTXn are released, the transfer switch 303 and the reset switch 309 are turned off, and the accumulation operation of the charge generated in the PD 302 of the nth line is started.

同様に、時刻t503で第n+1ラインの蓄積動作が開始し、時刻t504で第n+2ラインの蓄積動作、時刻t505で第n+3ラインの蓄積動作、時刻t508で第n+4ラインの蓄積動作、時刻t510で第n+5ラインの蓄積動作、時刻t513で第n+6ラインの蓄積動作が開始する。   Similarly, the accumulation operation of the (n + 1) th line starts at time t503, the accumulation operation of the (n + 2) th line at time t504, the accumulation operation of the (n + 3) th line at time t505, the accumulation operation of the (n + 4) th line at time t508, and the accumulation operation at the time t510. The accumulation operation for the n + 5 line, and the accumulation operation for the (n + 6) th line starts at time t513.

この様に、順次ラインのリセットを解除し電荷の蓄積動作を開始する事で電子的な先幕シャッター動作を実現している。   In this way, the electronic front curtain shutter operation is realized by sequentially releasing the line reset and starting the charge accumulation operation.

これに続いて、メカの後幕シャッターを走行する。   Following this, the rear curtain shutter of the mechanism travels.

電子的な先幕シャッターとメカの後幕シャッターの間が露光時間となり、各ラインの露光量が適切になるように電子的な先幕シャッターのリセットタイミングを制御している。   The exposure time is between the electronic front curtain shutter and the mechanical rear curtain shutter, and the reset timing of the electronic front curtain shutter is controlled so that the exposure amount of each line is appropriate.

ここで第nラインに戻り、後幕シャッターが走行し終えた後、時刻t515からt516の間、φTXnにパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。   Here, returning to the n-th line, after the trailing shutter has finished running, a pulse is applied to φTXn from time t515 to t516, the transfer switch 303 is turned on, and the charge accumulated in the PD 302 is transferred to the FD 306. A transfer operation is performed.

第nラインの転送動作の終了に続いて、時刻t516からt517の間、φSELVnにパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データ(画素信号)として読み出し回路315に出力される。   Subsequent to the end of the transfer operation of the nth line, a pulse is applied to φSELVn and the selection switch 308 is turned on from time t516 to t517, whereby the charge held in the FD 306 is converted into voltage, and pixel data (pixel Signal) is output to the reading circuit 315.

読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t517より順次出力される。そして、時刻t519で第nラインにおける画素からの画素データの読み出しが完了する。   The pixel data temporarily held in the readout circuit 315 is sequentially output from the time t517 by the horizontal scanning circuit 316. At time t519, reading of pixel data from the pixels on the nth line is completed.

第n+1ラインにおいて、時刻t519からt521の間、φTXn+1にパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。   In the (n + 1) th line, during time t519 to t521, a pulse is applied to φTXn + 1, the transfer switch 303 is turned on, and a transfer operation for transferring the charge accumulated in the PD 302 to the FD 306 is performed.

第n+1ラインの転送動作の終了に続いて、時刻t521からt522の間、φSELVn+1にパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データとして読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t522より順次出力される。そして、時刻t523で第n+1ラインにおける画素からの画素データの読み出しが完了する。   Subsequent to the end of the transfer operation of the (n + 1) th line, between time t521 and t522, a pulse is applied to φSELVn + 1 and the selection switch 308 is turned on, whereby the charge held in the FD 306 is converted into voltage and read as pixel data. It is output to the circuit 315. Pixel data temporarily held in the readout circuit 315 is sequentially output from the time t522 by the horizontal scanning circuit 316. At time t523, reading of pixel data from the pixels in the (n + 1) th line is completed.

図6と図7はフリッカー光源下で撮影される静止画の一例としてフリッカー光源の光量変化、シャッターの切れるタイミング、そのタイミングで撮影される静止画画像を示している。   6 and 7 show an example of a still image photographed under a flicker light source, a change in the light amount of the flicker light source, a timing at which the shutter is released, and a still image image photographed at that timing.

シャッターの切れるタイミングに関して、図5では固体撮像素子の走査方向に合わせて上から下に動いているが、図6、図7では実際のシャッターがカメラに対して下から上に走行するため、この方向に合わせて下から上に動いている。そして、図5と図6、図7は同じ動作を示している。   In FIG. 5, the shutter release timing moves from the top to the bottom in accordance with the scanning direction of the solid-state imaging device. However, in FIGS. 6 and 7, the actual shutter travels from the bottom to the top with respect to the camera. It moves from bottom to top according to the direction. 5 and 6 and 7 show the same operation.

近年、デジタルカメラはどんどん高感度化され、体育館といった人工光源下で従来は高速シャッターで撮影した場合、適正な露光が得られなかった環境でも、1/4000秒、1/8000秒といった高速シャッターでの撮影で、適正な露光を得ることが可能になってきている。   In recent years, digital cameras have become more and more sensitive, and when shooting with a high-speed shutter under an artificial light source such as a gymnasium, even with an environment where proper exposure could not be obtained, a high-speed shutter such as 1/4000 seconds or 1/8000 seconds was used. It is now possible to obtain an appropriate exposure.

これにより、例えば蛍光灯いった光量の変化する光源下で高速シャッターでの撮影を行うと、図6の様に光量が多いタイミングでシャッターが走行すると露光量が多めの静止画が撮影され、逆に図7の様に光量が少ないタイミングでシャッターが走行すると露光量の足りない超アンダーの静止画が撮影されてしまう。   As a result, for example, when shooting with a high-speed shutter under a light source of varying light quantity such as a fluorescent lamp, a still image with a larger exposure amount is shot when the shutter travels at a timing when the light quantity is large as shown in FIG. As shown in FIG. 7, when the shutter travels at a timing when the amount of light is small, a still image with an underexposure amount that is insufficient is taken.

このシャッターが走行するタイミングは人間が意図的に合わせることは出来ない程高速なので、実際にはキリムラとして露光量のバラバラな静止画が撮影されることになる。   Since the timing at which the shutter travels is so fast that humans cannot adjust it intentionally, actually, still images with different exposure amounts are photographed as Kilimra.

図8は本実施形態におけるシーケンスをセンサーの蓄積と読出しで示している。点線がセンサーのリセットで、実線が読出し、点線から実線の横方向の間がその画像の蓄積時間、縦方向はその画像の垂直位置となっている。固体撮像素子B116は、フリッカーの周期よりも十分に長い時間で蓄積した画像を取得する。そして、この画像をLVの表示として使用する。ここで、静止画撮影のトリガ信号がLowになると、固体撮像素子A106はフリッカーの周期よりも短い蓄積時間でAを取得する。このAはLVの表示としては使用しない。   FIG. 8 shows the sequence in the present embodiment by sensor accumulation and readout. The dotted line is the sensor reset, the solid line is read out, the horizontal direction from the dotted line to the solid line is the accumulation time of the image, and the vertical direction is the vertical position of the image. The solid-state image sensor B116 acquires an image accumulated in a time sufficiently longer than the flicker cycle. This image is used as an LV display. Here, when the trigger signal for still image shooting becomes Low, the solid-state imaging device A 106 acquires A in an accumulation time shorter than the flicker cycle. This A is not used as an LV display.

この、AとBとで取得された画像を元に図10および図11で示す演算(詳細は後述する)を行い、フリッカーの光量がピークとなるタイミングを求めて、光量がピークとなるタイミングで(図5で示した)電子先幕シャッター走行が始まるように、タイミング発生部A108が転送スイッチとリセットスイッチを制御して撮影を行う。   The calculation shown in FIGS. 10 and 11 (details will be described later) is performed based on the images acquired by A and B, and the timing at which the light amount of flicker reaches a peak is obtained. At the timing at which the light amount reaches a peak. The timing generator A108 controls the transfer switch and the reset switch so that the electronic front curtain shutter travel (shown in FIG. 5) starts.

本発明の特徴として、固体撮像素子A106の読出し時間と画素数は、固体撮像素子B116と同じである。画像Aと画像Bの一致度を上げるために、固体撮像素子B116の蓄積時間は、固体撮像素子A106の蓄積時間を内包するように制約を設けている。   As a feature of the present invention, the readout time and the number of pixels of the solid-state image sensor A106 are the same as those of the solid-state image sensor B116. In order to increase the degree of coincidence between the image A and the image B, the accumulation time of the solid-state image sensor B116 is restricted so as to include the accumulation time of the solid-state image sensor A106.

ここで、静止画撮影時のシャッター走行している時間が長いように示されているが、これは図示するために幅を広げている。   Here, it is shown that the time during which the shutter travels at the time of still image shooting is long, but this is widened for the purpose of illustration.

実際の走行時間はフリッカー周期と比較して非常に短いため、光量がピークの間にシャッターの走行は完了する。   Since the actual travel time is very short compared to the flicker cycle, the travel of the shutter is completed during the peak light amount.

これは、以降の図でも同様である。   The same applies to the following drawings.

図9は図8のシーケンスで撮影した固体撮像素子Aの画像と固体撮像素子Bの画像を示している。固体撮像素子Bは、フリッカーの周期よりも十分に長い時間で蓄積しているため、フリッカーによる露光ムラを軽減した画像が得られる。本実施例では、この画像を通常のLV画像として取得して表示している。また、固体撮像素子Aは、フリッカーの周期よりも短い時間で蓄積しているため、フリッカーによる露光ムラが発生した画像が得られる。この画像はLV表示されない。   FIG. 9 shows an image of the solid-state image sensor A and an image of the solid-state image sensor B taken in the sequence of FIG. Since the solid-state image sensor B accumulates in a time sufficiently longer than the flicker cycle, an image with reduced exposure unevenness due to flicker can be obtained. In this embodiment, this image is acquired and displayed as a normal LV image. Further, since the solid-state imaging device A accumulates in a time shorter than the flicker cycle, an image in which uneven exposure due to flicker occurs can be obtained. This image is not displayed in LV.

図10は図9で取得された画像に対する演算処理を示した図である。   FIG. 10 is a diagram showing a calculation process for the image acquired in FIG.

図10−Aはフリッカーによる露光ムラが発生するように撮影された画像、図10−Bは露光ムラを軽減するように撮影した画像、この2つの画像に対して割り算を行い図10−Cを取得する。図10−Cはフリッカーによる露光ムラが発生している画像をフリッカーによる露光ムラを軽減した画像で割ることにより、フリッカーによる露光ムラ成分だけを抽出することが出来る。ただし、図10−Aの様にフリッカーによる露光ムラが発生した画像はフリッカーによる露光ムラを出やすくするために短い露光時間で撮影していて、反対に図10−Bの様にフリッカーによる露光ムラを軽減した画像はフリッカーによる露光ムラが出ないようにフリッカーの周期の整数倍もしくはそれ以上の露光時間で撮影しているため、そのままでは露光量に差が出てしまう。   FIG. 10A shows an image shot so as to cause exposure unevenness due to flicker, and FIG. 10B shows an image shot so as to reduce exposure unevenness. The two images are divided and FIG. get. In FIG. 10C, by dividing an image in which exposure unevenness due to flicker is generated by an image in which exposure unevenness due to flicker is reduced, only the exposure unevenness component due to flicker can be extracted. However, as shown in FIG. 10-A, an image in which exposure unevenness due to flicker has occurred is taken with a short exposure time in order to make exposure unevenness due to flicker easy to occur, and conversely, exposure unevenness due to flicker as shown in FIG. 10-B. Since an image with reduced exposure is taken with an exposure time that is an integral multiple of the flicker cycle or longer so that exposure unevenness due to flicker does not occur, there will be a difference in exposure amount.

そこで、画像取得時のゲインを調整したり、取得された画像にゲインをかけたりして、露光量を一致させる必要がある。また、画像Aと画像Bの間に被写体の位置が移動したり、カメラの向きが変わっていた場合には、画像の画面を分割しそれぞれの画像の一致度を計算して画像の位置合わせを行ってから割り算を行う必要がある。   Therefore, it is necessary to adjust the exposure amount by adjusting the gain at the time of image acquisition or by applying gain to the acquired image. In addition, when the position of the subject moves between the images A and B or the direction of the camera changes, the image screen is divided and the degree of coincidence between the images is calculated to align the images. It is necessary to divide after doing.

この様にして得られたフリッカーによる露光ムラ成分だけの画像Cを元にしてVDからのフリッカー光量がピークとなるタイミングを見つける。また、この画像を元にしてフリッカーの周期も求める。   The timing at which the amount of flicker light from VD peaks is found based on the image C of only the exposure unevenness component by flicker obtained in this way. Also, the flicker cycle is obtained based on this image.

図11は図10−Cで示した垂直方向の光量変化(実線)と、この光量変化データの隣接差分(破線)とを示した図であり、図10−CでPeakを検出する方法を示す図となっている。   FIG. 11 is a diagram showing the light amount change (solid line) in the vertical direction shown in FIG. 10-C and the adjacent difference (broken line) of this light amount change data, and shows a method of detecting Peak in FIG. 10-C. It is a figure.

ここで、破線の値が“0”の時が光量変化の極大値もしくは極小値を示している。特に、破線の値が正から負へ変化する時の“0”値は極大値になる。このPeakが画面の何行目か分かれば、HDの周期を元にしてVDからPeakまでの時間を求める事が出来る。また、破線の“0”から“0”までの時間を求める事によりフリッカーの周期を求める事が可能となる。ここで求めたPeakの時間とフリッカーの周期から、次の撮影タイミングをいつにすれば良いかを求める事が出来る。   Here, when the value of the broken line is “0”, the maximum value or the minimum value of the light amount change is indicated. In particular, the “0” value when the broken line value changes from positive to negative is a local maximum value. If this Peak is known as the number of lines on the screen, the time from VD to Peak can be obtained based on the HD cycle. Further, it is possible to obtain the flicker cycle by obtaining the time from “0” to “0” of the broken line. From the Peak time obtained here and the flicker cycle, it is possible to determine when the next shooting timing should be set.

本実施形態の固有の効果として、このように2枚のセンサーを使って画像Aと画像Bを読み出すことで、画像Aと画像Bの一致度が上がり、フリッカーの周期と位相を検知する精度を向上することが可能になる。また、画像の一致度が上がることで、図10に示した演算を行う際の画像一致度計算や位置合わせの処理が不要になり、シャッター走行タイミングを計算する時間が短くなり、レリーズタイムラグを短くすることが可能になる。   As a unique effect of this embodiment, by reading out images A and B using two sensors in this way, the degree of coincidence between images A and B increases, and the accuracy of detecting the flicker period and phase is improved. It becomes possible to improve. Further, since the degree of coincidence of the images is increased, it is not necessary to calculate the degree of coincidence of the image and the alignment process when performing the calculation shown in FIG. 10, shorten the time for calculating the shutter travel timing, and shorten the release time lag. It becomes possible to do.

(第二の実施形態)
第一の実施形態では、固体撮像素子A106と固体撮像素子B116の画素数と読出し時間が同じであることを前提としている。しかしながら、固体撮像素子A106は主に静止画撮像、固体撮像素子B116は主にLVや動画を撮像するため、固体撮像素子B116は固体撮像素子A106に比べて画素数が少なく、読出し時間も短い場合がある。本実施形態では、このような場合で同様の効果を得られる手段について説明する。
(Second embodiment)
In the first embodiment, it is assumed that the number of pixels and the readout time of the solid-state image sensor A106 and the solid-state image sensor B116 are the same. However, since the solid-state image sensor A106 mainly captures still images, and the solid-state image sensor B116 mainly captures LV and moving images, the solid-state image sensor B116 has a smaller number of pixels and a shorter readout time than the solid-state image sensor A106. There is. In the present embodiment, means for obtaining the same effect in such a case will be described.

図12で示すように、固体撮像素子A106の読み出し時間は固体撮像素子B116と比較して長いが、読み出す画素数を水平方向または垂直方向(もしくはその両方)について間引くことで、固体撮像素子B116のフリッカーによる露光ムラを軽減した画像を読出す時間と、固体撮像素子A106のフリッカーによる露光ムラが発生している画像の読出し時間を同じにする。それ以外の動作は第一の実施形態と同じである。図8の説明と同様に、画像Aの蓄積時間を画像Bの蓄積時間に内包するように制約を設ける。   As shown in FIG. 12, the readout time of the solid-state image sensor A106 is longer than that of the solid-state image sensor B116, but by thinning out the number of pixels to be read out in the horizontal direction and / or the vertical direction (or both), The time for reading an image with reduced exposure unevenness due to flicker and the time for reading an image with uneven exposure due to flicker of the solid-state image sensor A106 are made the same. Other operations are the same as those in the first embodiment. Similar to the description of FIG. 8, a restriction is provided so that the accumulation time of the image A is included in the accumulation time of the image B.

本実施形態の固有の効果として、固体撮像素子B116の画素数と固体撮像素子A106の画素数が異なる場合で、フリッカーの周期と位相を検知する精度を向上することが可能になる。また、レリーズタイムラグを短くすることが可能になる。   As a unique effect of the present embodiment, when the number of pixels of the solid-state image sensor B116 and the number of pixels of the solid-state image sensor A106 are different, it is possible to improve the accuracy of detecting the flicker cycle and phase. Also, the release time lag can be shortened.

(第三の実施形態)
第二の実施形態では、固体撮像素子A106の読み出す画素数を間引いた結果、読出し時間が同じになることを前提としている。しかしながら、間引いた結果の読み出し時間が同じにならない場合がある。本実施形態では、この課題を解決するための手段とシーケンスについて説明する。
(Third embodiment)
In the second embodiment, it is assumed that the readout time is the same as a result of thinning out the number of pixels read out by the solid-state imaging device A106. However, there are cases where the readout time of the thinned result is not the same. In the present embodiment, means and a sequence for solving this problem will be described.

固体撮像素子A106の読出し時間が、固体撮像素子B116の読出す時間より短くなるように、固体撮像素子A106の読み出す画素数を間引く。これにより、固体撮像素子A106の蓄積時間を固体撮像素子B116の蓄積時間に内包しやすくなる。それ以外の動作は第二の実施形態と同じである。   The number of pixels to be read by the solid-state image sensor A106 is thinned out so that the read time of the solid-state image sensor A106 is shorter than the time to read by the solid-state image sensor B116. This makes it easy to include the accumulation time of the solid-state image sensor A106 in the accumulation time of the solid-state image sensor B116. Other operations are the same as those in the second embodiment.

図13は固体撮像素子A106の読出し時間を、固体撮像素子B116の読出し時間より短くした場合のシーケンスである。図8の説明と同様に、画像Aの蓄積時間を画像Bの蓄積時間に内包するように制約を設ける。   FIG. 13 shows a sequence when the readout time of the solid-state image sensor A106 is shorter than the readout time of the solid-state image sensor B116. Similar to the description of FIG. 8, a restriction is provided so that the accumulation time of the image A is included in the accumulation time of the image B.

本実施形態の固有の効果として、読み出す画素数を間引いても読出し時間が同じにならない場合で、フリッカーの周期と位相を検知する精度を向上することが可能になる。また、レリーズタイムラグを短くすることが可能になる。   As a unique effect of the present embodiment, it is possible to improve the accuracy of detecting the flicker period and phase when the readout time is not the same even if the number of readout pixels is thinned out. Also, the release time lag can be shortened.

(第四の実施形態)
第一の実施形態では、固体撮像素子A106が画像Aを読み出すタイミングは、静止画撮影のトリガ信号がLowになった直後としている。しかしながら、固体撮像素子B116は静止画撮影のトリガ信号と関係なく動作しているため、固体撮像素子A106の蓄積時間が、固体撮像素子B116の蓄積時間に内包されない場合がある。本実施形態では、この課題を解決するための手段とシーケンスについて説明する。
(Fourth embodiment)
In the first embodiment, the timing at which the solid-state imaging device A 106 reads the image A is immediately after the trigger signal for still image shooting becomes Low. However, since the solid-state image sensor B116 operates regardless of the trigger signal for still image shooting, the accumulation time of the solid-state image sensor A106 may not be included in the accumulation time of the solid-state image sensor B116. In the present embodiment, means and a sequence for solving this problem will be described.

固体撮像素子A106の読み出し開始タイミングと固体撮像素子B116の読み出し開始タイミングは、それぞれタイミング発生部A108とタイミング発生部B118で制御している。タイミング発生部A108とタイミング発生部B118が制御信号を出力するタイミングは、全体制御・演算部101が決定している。画像Aの読み出し開始タイミングの制御信号と画像Bの読み出し開始タイミングの制御信号が同時に出力されるように、全体制御・演算部101で制御する。それ以外の動作は第一の実施形態と同じである。   The read start timing of the solid-state image sensor A106 and the read start timing of the solid-state image sensor B116 are controlled by the timing generator A108 and the timing generator B118, respectively. The overall control / arithmetic unit 101 determines the timing at which the timing generator A 108 and the timing generator B 118 output the control signal. The overall control / calculation unit 101 performs control so that the control signal for the read start timing of the image A and the control signal for the read start timing of the image B are output simultaneously. Other operations are the same as those in the first embodiment.

図14は画像Aの読み出し開始タイミングの制御信号と画像Bの読み出し開始タイミングの制御信号が同時に出力する場合のシーケンスである。画像Aの読み出し開始タイミングの制御信号と画像Bの読み出し開始タイミングの制御信号が同時に出力されるように制御することで、固体撮像素子A106の蓄積時間が固体撮像素子B116の蓄積時間に内包されることがわかる。   FIG. 14 is a sequence when the control signal for the read start timing of the image A and the control signal for the read start timing of the image B are output simultaneously. By controlling so that the read start timing control signal for image A and the read start timing control signal for image B are output simultaneously, the accumulation time of solid-state image sensor A106 is included in the accumulation time of solid-state image sensor B116. I understand that.

本実施形態の固有の効果として、固体撮像素子A106の蓄積時間が、固体撮像素子B116の蓄積時間に内包が容易になる。   As an inherent effect of the present embodiment, the storage time of the solid-state image sensor A106 is easily included in the storage time of the solid-state image sensor B116.

(第五の実施形態)
第四の実施形態では、固体撮像素子A106が画像Aを読み出すのは、静止画撮影のトリガ信号がLowになった後に一回だけだが、本実施形態では固体撮像素子A106は静止画撮影のトリガ信号がLowになる前から画像Aの読出しを繰り返す。それ以外の動作は第四の実施形態と同じである。
(Fifth embodiment)
In the fourth embodiment, the solid-state imaging device A106 reads the image A only once after the trigger signal for the still image shooting becomes Low, but in this embodiment, the solid-state imaging device A106 performs the trigger for the still image shooting. Reading of image A is repeated before the signal becomes low. Other operations are the same as those in the fourth embodiment.

図15は固体撮像素子A106は静止画撮影のトリガ信号がLowになる前から画像Aの読出しを繰り返す場合のシーケンスである。また、図10および図11で示した演算を画像Aと画像Bを読み出すごとに毎回実施することで、フリッカーの周期と位相を静止画撮影のトリガ信号がLowになる前から検知することができる。静止画撮影のトリガ信号がLowになった後に、最後の検知結果を使用して静止画撮影のタイミングを決定する。   FIG. 15 shows a sequence in the case where the solid-state imaging device A106 repeats reading of the image A before the trigger signal for still image shooting becomes Low. Further, by performing the calculation shown in FIGS. 10 and 11 every time the image A and the image B are read, the flicker cycle and phase can be detected before the still image shooting trigger signal becomes Low. . After the still image shooting trigger signal becomes Low, the last detection result is used to determine the still image shooting timing.

本実施形態の固有の効果として、レリーズタイムラグをさらに短くすることが可能になる。   As a unique effect of the present embodiment, the release time lag can be further shortened.

(第六の実施形態)
第五の実施形態では、固体撮像素子A106は固体撮像素子B116の読み出しと同じタイミングで、毎回画像Aを読み出していたが、本実施形態では固体撮像素子A106は間欠的に読出している。それ以外の動作は第五の実施形態と同じである。
(Sixth embodiment)
In the fifth embodiment, the solid-state imaging device A106 reads the image A every time at the same timing as the reading of the solid-state imaging device B116, but in this embodiment, the solid-state imaging device A106 reads intermittently. Other operations are the same as those in the fifth embodiment.

図16は間欠的に読み出す場合のシーケンスである。   FIG. 16 shows a sequence for intermittent reading.

本実施形態の固有の効果として、第五の実施形態の動作と比較すると、消費電力を抑えることができる。   As a unique effect of the present embodiment, power consumption can be suppressed as compared with the operation of the fifth embodiment.

(第七の実施形態)
第一の実施形態では、固体撮像素子A106の読出し時間の中に、フリッカー光量のピークが複数回内包されることを前提としている。しかしながら、LVのフレームレートが高速化して固体撮像素子A106と固体撮像素子B116の読み出し時間を高速化するなどして、フリッカー光量のピークが複数回内包しない場合がある。本実施形態では、この課題を解決するための手段とシーケンスについて説明する。
(Seventh embodiment)
In the first embodiment, it is assumed that the peak of the flicker light amount is included a plurality of times during the readout time of the solid-state imaging device A106. However, the flicker light quantity peak may not be included a plurality of times, for example, by increasing the frame rate of the LV and increasing the readout time of the solid-state image sensor A106 and the solid-state image sensor B116. In the present embodiment, means and a sequence for solving this problem will be described.

LVのフレームレートを高速化するために、固体撮像素子A106と固体撮像素子B116の読み出し時間を高速化することで、固体撮像素子A106の読出し時間内にフリッカー周期を複数回内包できなくなった場合、フリッカーによる露光ムラ成分だけの画像にピークの数が少なくなり、図10および図11で示した演算からフリッカー光量がピークとなるタイミングを見つけることができなくなる。それを解決するために、固体撮像素子A106の読み出し期間中にフリッカー周期を複数回内包するために、図4で示した行ごとの転送スイッチおよびリセットスイッチを、n行目オンするタイミングとn+1行目オンするタイミングの間隔を広くするように制御することで、固体撮像素子A106の読み出し時間を長くしている。それ以外の動作は第一の実施形態と同じである。   In order to increase the frame rate of the LV, if the read time of the solid-state image sensor A106 and the solid-state image sensor B116 is increased, the flicker cycle cannot be included a plurality of times within the read time of the solid-state image sensor A106. The number of peaks in the image having only the exposure unevenness component due to flicker is reduced, and it becomes impossible to find the timing at which the amount of flicker light reaches the peak from the calculations shown in FIGS. In order to solve this problem, in order to include the flicker cycle a plurality of times during the readout period of the solid-state imaging device A106, the transfer switch and reset switch for each row shown in FIG. By controlling so that the eye-on timing interval is widened, the readout time of the solid-state image sensor A106 is lengthened. Other operations are the same as those in the first embodiment.

図17はLVのフレームレートが高速である場合のシーケンスを示している。LVのフレームレートが高速化して、固体撮像素子B116の読出し時間が高速化していることがわかる。この場合、固体撮像素子B116と同じ時間で固体撮像素子A106を読み出すと、画像Aにフリッカー周期を複数回内包できないことがわかる。よって、固体撮像素子A106の読出し時間を長くして、画像Aにフリッカー周期を複数回内包させる。   FIG. 17 shows a sequence when the frame rate of the LV is high. It can be seen that the frame rate of the LV is increased and the readout time of the solid-state image sensor B116 is increased. In this case, when the solid-state image sensor A106 is read out in the same time as the solid-state image sensor B116, it can be seen that the flicker cycle cannot be included in the image A a plurality of times. Therefore, the reading time of the solid-state image sensor A106 is lengthened, and the flicker cycle is included in the image A a plurality of times.

本実施形態の固有の効果として、LVのフレームレートが高速である場合も、フリッカーの周期と位相を検知することができる。   As a unique effect of the present embodiment, the flicker cycle and phase can be detected even when the LV frame rate is high.

以上、本発明の好ましい実施形態について説明した。 この説明ではLV撮影における実施形として説明を行ったが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   The preferred embodiments of the present invention have been described above. Although this embodiment has been described as embodiments in LV photography, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist.

100 カメラ、101 全体制御部・演算部、102 ハーフミラー、
104 シャッター、105 シャッター駆動装置、106 撮像素子A、
107 撮像信号処理部A、108 タイミング発生部A、109 メモリ部、
110 記録媒体制御I/F部、111 記録媒体、112 表示駆動・外部I/F部、
113 表示装置、114 外部I/F、115 マクロコンピューター、
116 撮像素子B、117 撮像信号処理部B、118 タイミング発生部B、
120 測距部駆動装置、121 位相差測距部(AFセンサー)、
200 交換レンズ、201 レンズ制御部、202 撮像レンズ部、
203 レンズ駆動装置、204 絞り機構、205 絞り駆動装置
100 cameras, 101 overall control unit / calculation unit, 102 half mirror,
104 shutter, 105 shutter driving device, 106 image sensor A,
107 imaging signal processing unit A, 108 timing generation unit A, 109 memory unit,
110 recording medium control I / F unit, 111 recording medium, 112 display drive / external I / F unit,
113 Display device, 114 External I / F, 115 Macro computer,
116 Image sensor B, 117 Image signal processor B, 118 Timing generator B,
120 ranging drive unit, 121 phase difference ranging unit (AF sensor),
200 interchangeable lens, 201 lens control unit, 202 imaging lens unit,
203 lens driving device, 204 aperture mechanism, 205 aperture driving device

Claims (8)

受光量に応じて光電荷を発生し蓄積する受光部を有し、この複数の受光部が2次元に配列された固体撮像素子A(106)および固体撮像素子B(116)と、
第一の蓄積時間を算出する手段(101)と、
前記第一の蓄積時間を用いて第一の蓄積開始タイミング信号と読出し開始タイミング信号を生成し、固体撮像素子A(106)の光電荷の蓄積と読出しを制御する手段(108)と、
前記第一の蓄積時間より長い第二の蓄積時間を算出する手段(101)と、
前記第二の蓄積時間に前記第一の蓄積時間を内包させる第二の蓄積開始タイミング信号と読出し開始タイミング信号を生成し固体撮像素子B(116)の光電荷の蓄積と読出しを制御する手段(118)と、
固体撮像素子A(106)から得られた画像Aをもとにフリッカーの光量変化の少ないタイミングを検出する検出手段(101)と、
検出されたフリッカーによる光量変化の少ないタイミングで静止画の撮影を行う撮影手段(101)と、
を備えることを特徴とする撮影装置。
A solid-state imaging device A (106) and a solid-state imaging device B (116) each having a light-receiving portion that generates and accumulates photocharges according to the amount of received light, and in which the plurality of light-receiving portions are two-dimensionally arranged;
Means (101) for calculating a first accumulation time;
Means (108) for generating a first accumulation start timing signal and a read start timing signal using the first accumulation time, and controlling the accumulation and reading of photocharges of the solid-state imaging device A (106);
Means (101) for calculating a second accumulation time longer than the first accumulation time;
Means for generating a second accumulation start timing signal and a read start timing signal that include the first accumulation time in the second accumulation time, and controlling accumulation and reading of the photocharges of the solid-state imaging device B (116). 118)
Detection means (101) for detecting a timing with a small change in the amount of flicker light based on the image A obtained from the solid-state image sensor A (106);
A photographing means (101) for photographing a still image at a timing with little change in the amount of light caused by the detected flicker;
An imaging apparatus comprising:
受光量に応じて光電荷を発生し蓄積する受光部を有し、この複数の受光部が2次元に配列された固体撮像素子A(106)および固体撮像素子B(116)と、
第一の蓄積時間を算出する手段(101)と、
第一の読み出し時間を算出する手段(101)と、
第一の読み出し時間を所定値より長く算出する手段(101)と、
前記第一の蓄積時間と前記第一の読み出し時間を用いて第一の蓄積開始タイミング信号と読出し開始タイミング信号を生成し、固体撮像素子A(106)の光電荷の蓄積と読出しを制御する手段(108)と、
第一の蓄積時間より長い第二の蓄積時間を算出する手段(101)と、
第二の読み出し時間を算出する手段(101)と、
前記第二の蓄積時間と前記第二の読み出し時間を用いて第二の蓄積開始タイミング信号と読出し開始タイミング信号を生成し固体撮像素子B(116) の光電荷の蓄積と読出しを制御する手段(118)と、
固体撮像素子A(106)から得られた画像Aをもとにフリッカーの光量変化の少ないタイミングを検出する検出手段(101)と、
検出されたフリッカーによる光量変化の少ないタイミングで静止画の撮影を行う撮影手段(101)と、
を備えることを特徴とする撮影装置。
A solid-state imaging device A (106) and a solid-state imaging device B (116) each having a light-receiving portion that generates and accumulates photocharges according to the amount of received light, and in which the plurality of light-receiving portions are two-dimensionally arranged;
Means (101) for calculating a first accumulation time;
Means (101) for calculating a first readout time;
Means (101) for calculating the first readout time longer than a predetermined value;
Means for generating a first accumulation start timing signal and a read start timing signal using the first accumulation time and the first readout time, and controlling the accumulation and readout of the photoelectric charges of the solid-state imaging device A (106). (108) and
Means (101) for calculating a second accumulation time longer than the first accumulation time;
Means (101) for calculating a second readout time;
Means (2) for generating a second accumulation start timing signal and a read start timing signal using the second accumulation time and the second read time to control the accumulation and reading of the photocharges of the solid-state imaging device B (116). 118)
Detection means (101) for detecting a timing with a small change in the amount of flicker light based on the image A obtained from the solid-state image sensor A (106);
A photographing means (101) for photographing a still image at a timing with little change in the amount of light caused by the detected flicker;
An imaging apparatus comprising:
前記所定値がフリッカー周期分の時間であることを特徴とする請求項2に記載の撮影装置。 The photographing apparatus according to claim 2, wherein the predetermined value is a time corresponding to a flicker period. 前記固体撮像素子B(116)から得られた画像Bを取得する手段(101)と、
前記固体撮像素子B(116)から得られた画像Bを表示に用いる手段(101)と、
を有し、表示部(112)への表示には前記固体撮像素子B(116)から得られた画像Bを用いることを特徴とする請求項1乃至請求項3の何れか一項に記載の撮影装置。
Means (101) for obtaining an image B obtained from the solid-state image sensor B (116);
Means (101) for displaying an image B obtained from the solid-state image sensor B (116);
The image B obtained from the said solid-state image sensor B (116) is used for the display on a display part (112), The Claim 1 thru | or 3 characterized by the above-mentioned. Shooting device.
前記固体撮像素子A(106)から得られた画像Aと前記固体撮像素子B(116)から得られた画像Bを周期的に取得することを特徴とする請求項4に記載の撮影装置。 The imaging apparatus according to claim 4, wherein the image A obtained from the solid-state image sensor A (106) and the image B obtained from the solid-state image sensor B (116) are periodically acquired. 前記固体撮像素子A(106)から得られた画像Aを間欠的に取得することを特徴とする請求項5に記載の撮影装置。 6. The photographing apparatus according to claim 5, wherein the image A obtained from the solid-state imaging device A (106) is acquired intermittently. 前記固体撮像素子A(106)から得られた画像Aと前記固体撮像素子B(116)から得られた画像Bとの蓄積時間の違いによる露光量の差を画像取得時のゲインもしくは画像処理によるゲインで補正することを特徴とする請求項4乃至請求項6の何れか一項に記載の撮影装置。 The difference in exposure amount due to the difference in accumulation time between the image A obtained from the solid-state image sensor A (106) and the image B obtained from the solid-state image sensor B (116) is determined by gain at the time of image acquisition or image processing. The imaging apparatus according to claim 4, wherein correction is performed using a gain. 前記固体撮像素子A(106)から得られた画像Aと前記固体撮像素子B(116)から得られた画像Bの割り算結果からフリッカーの光量変化が少ないタイミングを検出する光源のフリッカーの有無を検出し、その結果からフリッカーの光量変化が少ないタイミングで撮影を行うかどうかを切り換えることを特徴とする請求項4乃至請求項6の何れか一項に記載の撮影装置。 The presence or absence of flicker of the light source is detected from the division result of the image A obtained from the solid-state image sensor A (106) and the image B obtained from the solid-state image sensor B (116). The photographing apparatus according to any one of claims 4 to 6, wherein whether or not to perform photographing is switched based on the result, at a timing when the change in the amount of flicker light is small.
JP2016005666A 2016-01-15 2016-01-15 Imaging apparatus Pending JP2017126921A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005666A JP2017126921A (en) 2016-01-15 2016-01-15 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005666A JP2017126921A (en) 2016-01-15 2016-01-15 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2017126921A true JP2017126921A (en) 2017-07-20

Family

ID=59365305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005666A Pending JP2017126921A (en) 2016-01-15 2016-01-15 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2017126921A (en)

Similar Documents

Publication Publication Date Title
JP6220225B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP5226552B2 (en) Imaging device
CN109309793B (en) Image pickup apparatus, control method thereof, and storage medium
JP5911445B2 (en) Imaging apparatus and control method thereof
JP6099904B2 (en) Imaging device
US10397502B2 (en) Method and apparatus for imaging an object
JP2013005017A (en) Image pickup apparatus, image pickup apparatus control method, and program
JP2013038597A (en) Imaging device
JP2016027696A (en) Image pickup element, method for controlling the same, and image pickup apparatus
JP2016213661A (en) Imaging apparatus, method for detecting change in quantity of light and program
JP5484617B2 (en) Imaging device
JP2014157338A (en) Distance measurement device, distance measurement method, and imaging apparatus
JPWO2014041845A1 (en) Imaging apparatus and signal processing method
JP5279638B2 (en) Imaging device
JP6238578B2 (en) Imaging apparatus and control method thereof
JP2015111252A (en) Imaging device, imaging device control method, program, and storage medium
JP4637029B2 (en) Imaging apparatus and control method thereof
JP6393091B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP5530262B2 (en) Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program
JP5452269B2 (en) Imaging device
JP2008187614A (en) Photographing apparatus
JP2011182321A (en) Solid-state imaging apparatus, driving method and imaging apparatus
JP2017126921A (en) Imaging apparatus
JP6704725B2 (en) Imaging device, control method, and program thereof
JP6704718B2 (en) Imaging device, control method thereof, and control program