JP2014022943A - Imaging device and control method thereof, image processor and control method thereof - Google Patents

Imaging device and control method thereof, image processor and control method thereof Download PDF

Info

Publication number
JP2014022943A
JP2014022943A JP2012159796A JP2012159796A JP2014022943A JP 2014022943 A JP2014022943 A JP 2014022943A JP 2012159796 A JP2012159796 A JP 2012159796A JP 2012159796 A JP2012159796 A JP 2012159796A JP 2014022943 A JP2014022943 A JP 2014022943A
Authority
JP
Japan
Prior art keywords
row
frame
diaphragm
aperture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012159796A
Other languages
Japanese (ja)
Other versions
JP5961058B2 (en
Inventor
Minoru Hirose
稔 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012159796A priority Critical patent/JP5961058B2/en
Publication of JP2014022943A publication Critical patent/JP2014022943A/en
Application granted granted Critical
Publication of JP5961058B2 publication Critical patent/JP5961058B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To correctly correct exposure amount difference in a frame even in the case of continuously operating a diaphragm within one frame in an imaging device for driving an imaging element by a rolling shutter method during moving image recording and photographing.SOLUTION: An imaging device having an imaging element in which a plurality of photoelectric conversion elements for photoelectrically converting light made incident through an aperture and outputting an image signal are two-dimensionally arranged calculates a reference integrated value (ΔS(n)) being a time integrated value of a relative aperture stopping amount to a reference aperture stopping amount of the aperture during an accumulation time in a reference row of the imaging element and a row integrated value (ΔS(k)) being a time integrated value of a relative aperture stopping amount during an accumulation time in each row other than the reference row about a frame with the aperture changed in the case where the aperture changes when driving the imaging element by a rolling shutter method, and corrects an image signal outputted from the frame so as to correct a difference between the reference integrated value and the row integrated value on the basis of the reference integrated value and the row integrated value.

Description

本発明は、絞り駆動中の撮像信号のシェーディング補正方法に関するものである。   The present invention relates to a method for correcting shading of an imaging signal during aperture driving.

現在、ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置において、静止画撮影前のプレビュー画像を撮像装置の背面などに設置されたＴＦＴモニタ等に表示するライブビュー機能を備えたり、動画記録撮影が可能な撮像装置が多く製品化されている。また、これらの撮像装置においては、適切な明るさになるように蓄積時間（シャッター速度）、絞り、ゲイン等を自動的に調節するＡＥ機能（自動露出制御機能）を有するものが一般的である。   Currently, an imaging device having a solid-state imaging device such as a CMOS sensor has a live view function that displays a preview image before taking a still image on a TFT monitor or the like installed on the back surface of the imaging device, and can record and shoot movies. Many image pickup devices have been commercialized. In addition, these imaging apparatuses generally have an AE function (automatic exposure control function) that automatically adjusts an accumulation time (shutter speed), an aperture, a gain, and the like so as to obtain appropriate brightness. .

動画記録撮影においては、動画フレーム間の被写体像が滑らかに変化することが望まれるため、蓄積時間は、フレームレートによる制限範囲内で十分に長い時間に固定されることが求められる。また、動画フレーム間の露出変化においても滑らかに変化することが望ましく、蓄積時間、絞り、ゲイン等の露出制御パラメータは、ＡＥ制御により、フレーム間での露出変化量が小さくなるように適宜調節される。   In moving image recording and shooting, since it is desired that the subject image between the moving image frames changes smoothly, the accumulation time is required to be fixed to a sufficiently long time within the range limited by the frame rate. Also, it is desirable that the exposure change between moving image frames changes smoothly, and exposure control parameters such as storage time, aperture, and gain are adjusted as appropriate by AE control so that the amount of exposure change between frames is reduced. The

また、一般的なＣＭＯＳセンサにおいては、画素毎にメモリを持たず、行毎に読み出し処理が行われる。そのため、ライブビューや動画記録撮影の際には、画面内で各画素の蓄積時間が一定となるように、行毎に順次リセット動作と読み出し動作が制御される、いわゆるローリングシャッター方式が知られている。   Further, in a general CMOS sensor, a reading process is performed for each row without having a memory for each pixel. For this reason, a so-called rolling shutter system is known in which the reset operation and the readout operation are sequentially controlled for each row so that the accumulation time of each pixel is constant in the screen during live view or movie recording shooting. Yes.

しかしながら、ローリングシャッター方式により蓄積制御を行う撮像装置において、絞りを低速駆動させてフレーム間の露出変化量を調節すると、行毎の蓄積タイミングのズレにより、１フレーム内において異なる絞り位置が設定される。このような場合、均一被写体面においても露光量差（露光ムラ）が発生してしまう。   However, in an imaging apparatus that performs accumulation control using the rolling shutter method, when the aperture is driven at a low speed to adjust the amount of change in exposure between frames, different aperture positions are set within one frame due to a shift in accumulation timing for each row. . In such a case, a difference in exposure amount (exposure unevenness) occurs even on a uniform subject surface.

また、このフレーム内の露出量差は、動画再生時には人間の目が露出変化に対して鈍感であるために気にならない程度であっても、動画フレームから１フレームを切り出して静止画として利用する際にはより顕著な問題となる。   Also, even if the difference in the amount of exposure in this frame is such that the human eye is insensitive to exposure changes during video playback, one frame is cut out from the video frame and used as a still image. Sometimes it becomes a more prominent problem.

上記欠点を解消するために、特許文献１においては、絞り駆動を行った前（後）の動画フレームとの差分を検出することにより、露光量差をゲイン補正する方法が開示されている。   In order to eliminate the above-described drawbacks, Patent Document 1 discloses a method for gain correction of an exposure amount difference by detecting a difference from a moving image frame before (after) aperture driving.

特開２０１０−０７４３１３号公報JP 2010-074313 A

しかしながら、特許文献１において、絞りが動作したフレームの前（後）フレームを使用して露光量差を補正するため、絞りが複数フレームに跨って連続的に変化した場合や点滅光源などの被写体を撮影した場合、正確な露光量差を求めることができない。このような場合、精度よく補正を行うことができないという問題が発生していた。   However, in Patent Document 1, since the exposure amount difference is corrected using a frame before (after) the frame in which the aperture is operated, an object such as a blinking light source is used when the aperture is continuously changed over a plurality of frames. When photographing, it is not possible to obtain an accurate exposure amount difference. In such a case, there has been a problem that correction cannot be performed with high accuracy.

本発明は上記問題点を鑑みてなされたものであり、動画記録撮影時にローリングシャッター方式で撮像素子を駆動する撮像装置において、１フレーム内で絞りを連続して動作させた場合に、フレーム内の露出量差を正しく補正することを目的とする。   The present invention has been made in view of the above problems, and in an image pickup apparatus that drives an image pickup element by a rolling shutter method at the time of moving image recording and shooting, when an aperture is continuously operated within one frame, The purpose is to correct the exposure difference correctly.

上記目的を達成するために、本発明の撮像装置は、絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正する補正手段とを有する。   In order to achieve the above object, an image pickup apparatus according to the present invention includes an image pickup element in which a plurality of photoelectric conversion elements that photoelectrically convert light incident through a diaphragm and output an image signal are two-dimensionally arranged; When the aperture changes while the device is driven by a rolling shutter system, the frame with the aperture changed relative to the reference aperture amount of the aperture during the accumulation time in the reference row as the reference in the image sensor. Based on the reference integral value that is the time integral value of the narrowing amount and the row integral value that is the time integral value of the relative narrowing amount during the accumulation time in each row other than the reference row, the reference integral value and Correction means for correcting an image signal output from the frame so as to correct a difference from the row integration value;

本発明によれば、動画記録撮影時にローリングシャッター方式で撮像素子を駆動する撮像装置において、１フレーム内で絞りを連続して動作させた場合にも、フレーム内の露出量差を正しく補正することができる。   According to the present invention, in an image pickup apparatus that drives an image pickup device by a rolling shutter method during moving image recording and shooting, even when the aperture is continuously operated in one frame, the exposure amount difference in the frame can be corrected correctly. Can do.

本発明の実施の形態におけるデジタルカメラシステムの構成を示す図。The figure which shows the structure of the digital camera system in embodiment of this invention. 実施の形態における固体撮像素子のブロック図。1 is a block diagram of a solid-state image sensor in an embodiment. 実施の形態における全画素読み出しの説明図。Explanatory drawing of all the pixel readout in embodiment. 実施の形態における間引き読み出しの説明図。Explanatory drawing of the thinning-out reading in embodiment. 第１の実施形態における動作を説明するフローチャート。The flowchart explaining the operation | movement in 1st Embodiment. 従来の絞りを用いた場合の動画の露出制御を説明するプログラム線図。The program diagram explaining the exposure control of the moving image at the time of using the conventional aperture_diaphragm | restriction. 動画撮影動作を説明するタイミングチャート。6 is a timing chart for explaining a moving image shooting operation. 第１の実施形態における絞りを用いた場合の動画の露出制御を説明するプログラム線図。The program diagram explaining the exposure control of the moving image at the time of using the aperture_diaphragm | restriction in 1st Embodiment. 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。Explanatory drawing of the brightness nonuniformity correction by the aperture drive during the video recording in 1st Embodiment. 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。Explanatory drawing of the brightness nonuniformity correction by the aperture drive during the video recording in 1st Embodiment. 第１の実施形態における動画撮影中の絞り駆動による輝度ムラ補正の説明図。Explanatory drawing of the brightness nonuniformity correction by the aperture drive during the video recording in 1st Embodiment. 第２の実施形態における動画の記録動作を説明するフローチャート。9 is a flowchart for explaining a moving image recording operation according to the second embodiment. 第２の実施形態における再生動作を説明するフローチャート。9 is a flowchart for explaining a reproduction operation in the second embodiment. 第２の実施形態における絞り駆動情報の一例を示す図。FIG. 10 is a diagram illustrating an example of aperture drive information according to the second embodiment.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

＜第１の実施形態＞
図１は本発明の第１の実施形態における一眼レフタイプデジタルカメラシステムの構成を示すブロック図である。図１に示すように、本実施形態のデジタルカメラのカメラ本体１００には、撮影レンズユニット２００が不図示のマウント機構を介し着脱可能に取り付けられる。マウント部は電気的接点群２１０を有している。接点群２１０はカメラ本体１００と撮影レンズユニット２００との間で制御信号、状態信号、データ信号などを伝え合う。また更に、接点群２１０は各種電圧の電流を供給する機能と、撮影レンズユニット２００が接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりカメラ本体１００と撮影レンズユニット２００との間で通信を行い、撮影レンズユニット２００内の撮影レンズ２０１、絞り２０２の駆動を行うことが可能となる。また、接点群２１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。 <First Embodiment>
FIG. 1 is a block diagram showing a configuration of a single-lens reflex type digital camera system according to the first embodiment of the present invention. As shown in FIG. 1, a photographic lens unit 200 is detachably attached to a camera body 100 of a digital camera of this embodiment via a mount mechanism (not shown). The mount portion has an electrical contact group 210. The contact group 210 transmits a control signal, a status signal, a data signal, and the like between the camera body 100 and the photographing lens unit 200. Further, the contact group 210 has a function of supplying currents of various voltages and a function of transmitting a signal to the system controller 120 when the photographing lens unit 200 is connected. Accordingly, communication can be performed between the camera body 100 and the photographing lens unit 200, and the photographing lens 201 and the diaphragm 202 in the photographing lens unit 200 can be driven. The contact group 210 may be configured to transmit not only electrical communication but also optical communication, voice communication, and the like.

なお、図１では、本実施の形態では撮影レンズユニット２００内のレンズを便宜上１枚の撮影レンズ２０１で示しているが、実際は多数のレンズから構成されていることは周知の通りである。   In FIG. 1, the lens in the photographing lens unit 200 is shown as a single photographing lens 201 for the sake of convenience in this embodiment, but it is well known that it is actually composed of a large number of lenses.

不図示の被写体像からの光束が、撮影レンズ２０１及び絞り２０２を介して、図１に示す矢印方向に駆動可能なクイックリターンミラー１０２に導かれる。クイックリターンミラー１０２の中央部はハーフミラーになっており、クイックリターンミラー１０２がダウンした際に一部の光束が透過する。そして、この透過した光束は、クイックリターンミラー１０２の後方に設置されたサブミラー１０３で下方に向けて反射される。なお、クイックリターンミラー１０２のアップ時には、サブミラー１０３は折り畳まれるようになっている。   A light beam from a subject image (not shown) is guided to a quick return mirror 102 that can be driven in the arrow direction shown in FIG. The central portion of the quick return mirror 102 is a half mirror, and a part of the light beam is transmitted when the quick return mirror 102 is lowered. The transmitted light beam is reflected downward by the sub mirror 103 installed behind the quick return mirror 102. The sub mirror 103 is folded when the quick return mirror 102 is up.

１０４は、不図示の結像面近傍に配置された、フィールドレンズ、反射ミラー、２次結像レンズ、絞り、及び、複数のＣＣＤから成るラインセンサ等から構成されている周知の位相差方式のＡＦセンサユニットである。そして、システムコントローラ１２０からの制御信号から、焦点検出回路１０５はＡＦセンサユニット１０４を制御して、周知の位相差検出方式により焦点検出を行う。   Reference numeral 104 denotes a well-known phase difference system composed of a field lens, a reflecting mirror, a secondary imaging lens, a diaphragm, a line sensor composed of a plurality of CCDs, and the like disposed in the vicinity of an imaging surface (not shown). AF sensor unit. Then, the focus detection circuit 105 controls the AF sensor unit 104 from the control signal from the system controller 120, and performs focus detection by a known phase difference detection method.

一方、クイックリターンミラー１０２で反射された撮影光束は、ペンタプリズム１０１、接眼レンズ１０６を介して撮影者の目に至る。また、接眼レンズ１０６の近傍に不図示の測光センサが配設され、被写体の輝度を測定し、その出力は測光回路１０７を経てシステムコントローラ１２０へ供給される。   On the other hand, the photographing light beam reflected by the quick return mirror 102 reaches the eyes of the photographer via the pentaprism 101 and the eyepiece 106. In addition, a photometric sensor (not shown) is disposed in the vicinity of the eyepiece 106 to measure the luminance of the subject, and the output is supplied to the system controller 120 via the photometric circuit 107.

また、クイックリターンミラー１０２がアップした際には、撮影レンズ２０１からの光束は、機械シャッタであるフォーカルプレーンシャッタ１０８、フィルタ１０９を介してＣＭＯＳセンサ等の撮像素子等により構成されるイメージセンサ１１２に入射する。フィルタ１０９は２つの機能を有している。１つは赤外線をカットし、可視光線のみをイメージセンサ１１２へ導く機能であり、もう１つは光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ１０８は、先幕及び後幕を有して成るもので、撮影レンズ２０１からの光束の透過、遮断を制御する。   When the quick return mirror 102 is raised, the light beam from the photographic lens 201 passes through the focal plane shutter 108, which is a mechanical shutter, and the image sensor 112, which includes an image sensor such as a CMOS sensor, through a filter 109. Incident. The filter 109 has two functions. One is a function of cutting infrared rays and guiding only visible light to the image sensor 112, and the other is a function as an optical low-pass filter. The focal plane shutter 108 has a front curtain and a rear curtain, and controls transmission and blocking of a light beam from the photographing lens 201.

また、本実施形態のデジタルカメラは、デジタルカメラシステム全体の制御を司るＣＰＵにより構成されるシステムコントローラ１２０を備え、後述する各部の動作を適宜制御する。なお、システムコントローラ１２０は、補正手段に相当する。   In addition, the digital camera of this embodiment includes a system controller 120 that includes a CPU that controls the entire digital camera system, and appropriately controls the operation of each unit described below. The system controller 120 corresponds to correction means.

システムコントローラ１２０には、撮影レンズ２０１を光軸方向に移動してピント合わせを行うためのレンズ駆動機構２０３を制御するレンズ制御回路２０４がレンズ制御マイコン２０７を介して接続されている。更にシステムコントローラ１２０には、絞り２０２を駆動するための絞り駆動機構２０５を制御する絞り制御回路２１６がレンズ制御マイコン２０７を介して接続されている。また、システムコントローラ１２０には、クイックリターンミラー１０２のアップ・ダウンの駆動及びフォーカルプレーンシャッタ１０８のシャッタチャージを制御するシャッタチャージ・ミラー駆動機構１１０が接続されている。また、システムコントローラ１２０には、フォーカルプレーンシャッタ１０８の先幕、後幕の走行を制御するためのシャッタ制御回路１１１とが接続されている。さらにシステムコントローラ１２０には、デジタルカメラを制御する上で調整が必要なパラメータ、デジタルカメラの個体識別が可能なカメラＩＤ情報、基準レンズで調整されたＡＦ補正データ、自動露出補正値等が記憶されたＥＥＰＲＯＭ１２２が接続されている。   A lens control circuit 204 for controlling a lens driving mechanism 203 for moving the photographing lens 201 in the optical axis direction and focusing is connected to the system controller 120 via a lens control microcomputer 207. Further, a diaphragm control circuit 216 for controlling a diaphragm driving mechanism 205 for driving the diaphragm 202 is connected to the system controller 120 via a lens control microcomputer 207. The system controller 120 is connected to a shutter charge / mirror drive mechanism 110 that controls the up / down drive of the quick return mirror 102 and the shutter charge of the focal plane shutter 108. The system controller 120 is connected to a shutter control circuit 111 for controlling the traveling of the front curtain and rear curtain of the focal plane shutter 108. Further, the system controller 120 stores parameters that need to be adjusted for controlling the digital camera, camera ID information that enables individual identification of the digital camera, AF correction data adjusted by the reference lens, automatic exposure correction value, and the like. The EEPROM 122 is connected.

撮影レンズユニット２００のレンズ制御マイコン２０７は、レンズ固有の情報、例えば焦点距離、開放絞り、レンズ個々に割り振られるレンズＩＤという情報、システムコントローラ１２０から受け取った情報等を記憶するレンズ記憶装置を有している。システムコントローラ１２０は、レンズ制御マイコン２０７を介してレンズ駆動機構２０３を制御することにより、被写体像をイメージセンサ１１２上に結像させる。また、設定されたＡｖ値に基づいて、絞り２０２を駆動する絞り駆動機構２０５をレンズ制御マイコン２０７を介して制御し、更に、設定されたＴｖ値に基づいて、シャッタ制御回路１１１へ制御信号を出力することで露出制御を行う。   The lens control microcomputer 207 of the photographic lens unit 200 has a lens storage device that stores lens-specific information such as focal length, open aperture, lens ID assigned to each lens, information received from the system controller 120, and the like. ing. The system controller 120 controls the lens driving mechanism 203 via the lens control microcomputer 207 to form a subject image on the image sensor 112. Further, the aperture driving mechanism 205 for driving the aperture 202 is controlled via the lens control microcomputer 207 based on the set Av value, and further a control signal is sent to the shutter control circuit 111 based on the set Tv value. Exposure control is performed by outputting.

フォーカルプレーンシャッタ１０８の先幕、後幕は、駆動源がバネにより構成されており、シャッタ走行後次の動作のためにバネチャージを要する。シャッタチャージ・ミラー駆動機構１１０は、このバネチャージを制御する。また、シャッタチャージ・ミラー駆動機構１１０によりクイックリターンミラー１０２のアップ・ダウンが行われる。   The drive source of the front curtain and rear curtain of the focal plane shutter 108 is constituted by a spring, and a spring charge is required for the next operation after the shutter travels. The shutter charge / mirror drive mechanism 110 controls this spring charge. Also, the quick return mirror 102 is raised and lowered by the shutter charge / mirror drive mechanism 110.

また、システムコントローラ１２０には、画像データコントローラ１１５が接続されている。この画像データコントローラ１１５は、ＤＳＰ（デジタル信号プロセッサ）により構成され、イメージセンサ１１２の制御、イメージセンサ１１２から入力された画像データの補正や加工等をシステムコントローラ１２０の指令に基づいて実行するものである。画像データの補正・加工の項目の中にはオートホワイトバランスも含まれている。オートホワイトバランスとは、撮影画像中の最大輝度の部分を所定の色（白色）に補正する機能である。オートホワイトバランスは、システムコントローラ１２０からの命令により補正量を変更することが可能である。   An image data controller 115 is connected to the system controller 120. The image data controller 115 is configured by a DSP (digital signal processor), and executes control of the image sensor 112, correction and processing of image data input from the image sensor 112, etc., based on commands of the system controller 120. is there. Auto white balance is also included in the image data correction and processing items. Auto white balance is a function that corrects a portion of maximum brightness in a captured image to a predetermined color (white). In the auto white balance, the correction amount can be changed by a command from the system controller 120.

さらに、画像データコントローラ１１５によって、画像信号を領域分割し、それぞれの領域でベイヤ画素毎に積分した値をシステムコントローラ１２０に供給し、システムコントローラ１２０で積分信号を評価することで測光を行う。   Further, the image data controller 115 divides the image signal into regions, supplies a value obtained by integrating each Bayer pixel in each region to the system controller 120, and the system controller 120 evaluates the integrated signal to perform photometry.

画像データコントローラ１１５には、イメージセンサ１１２を駆動する際に必要なパルス信号を出力するタイミングパルス発生回路１１４が接続されている。また、イメージセンサ１１２と共にタイミングパルス発生回路１１４で発生されたタイミングパルスを受けて、イメージセンサ１１２から出力される被写体像に対応したアナログ信号をデジタル信号に変換するためのＡ／Ｄコンバータ１１３も接続されている。更に、得られた画像データ（デジタルデータ）を一時的に記憶しておくＤＲＡＭ１２１と、Ｄ／Ａコンバータ１１６、及び、画像圧縮回路１１９が接続されている。   The image data controller 115 is connected to a timing pulse generation circuit 114 that outputs a pulse signal necessary for driving the image sensor 112. In addition, an A / D converter 113 for receiving a timing pulse generated by the timing pulse generation circuit 114 together with the image sensor 112 and converting an analog signal corresponding to a subject image output from the image sensor 112 into a digital signal is also connected. Has been. Further, a DRAM 121 for temporarily storing the obtained image data (digital data), a D / A converter 116, and an image compression circuit 119 are connected.

ＤＲＡＭ１２１は、加工や所定のフォーマットへのデータ変換が行われる前の画像データを一時的に記憶するために使用される。画像圧縮回路１１９には、記録媒体４０１が接続される。画像圧縮回路１１９は、ＤＲＡＭ１２１に記憶された画像データの圧縮や変換（例えばＪＰＥＧ）を行うための回路である。変換された画像データは、記録媒体４０１へ格納される。この記録媒体４０１としては、ハードディスク、フラッシュメモリ、フロッピー（登録商標）ディスク等が使用される。なお、画像データコントローラ１１５と画像圧縮回路１１９と記録媒体４０１とから記録手段を構成している。   The DRAM 121 is used for temporarily storing image data before processing or data conversion into a predetermined format. A recording medium 401 is connected to the image compression circuit 119. The image compression circuit 119 is a circuit for performing compression and conversion (for example, JPEG) of image data stored in the DRAM 121. The converted image data is stored in the recording medium 401. As the recording medium 401, a hard disk, a flash memory, a floppy (registered trademark) disk, or the like is used. The image data controller 115, the image compression circuit 119, and the recording medium 401 constitute a recording unit.

また、Ｄ／Ａコンバータ１１６には、エンコーダ回路１１７を介して画像表示回路１１８が接続される。画像表示回路１１８は、イメージセンサ１１２で撮像された画像データを表示するための回路であり、一般にはカラーの液晶表示素子により構成される。画像データコントローラ１１５は、ＤＲＡＭ１２１上の画像データを、Ｄ／Ａコンバータ１１６によりアナログ信号に変換してエンコーダ回路１１７へ出力する。エンコーダ回路１１７はこのＤ／Ａコンバータ１１６の出力を、画像表示回路１１８を駆動する際に必要な映像信号（例えばＮＴＳＣ信号）に変換する。   In addition, an image display circuit 118 is connected to the D / A converter 116 via an encoder circuit 117. The image display circuit 118 is a circuit for displaying image data picked up by the image sensor 112, and is generally composed of a color liquid crystal display element. The image data controller 115 converts the image data on the DRAM 121 into an analog signal by the D / A converter 116 and outputs the analog signal to the encoder circuit 117. The encoder circuit 117 converts the output of the D / A converter 116 into a video signal (for example, NTSC signal) necessary for driving the image display circuit 118.

画像データコントローラ１１５は、補正した画像データに対し、所定の周波数特性を持つフィルタを通し、所定のガンマ処理を行って得られる画像信号の所定方向のコントラストを評価し、その結果はシステムコントローラ１２０に供給される。システムコントローラ１２０は、レンズ制御回路２０４と通信を行って焦点位置を調節し、コントラスト評価値が所定レベルよりも高くなるように焦点位置を調節する。   The image data controller 115 passes a filter having a predetermined frequency characteristic to the corrected image data, evaluates the contrast in a predetermined direction of an image signal obtained by performing a predetermined gamma process, and the result is sent to the system controller 120. Supplied. The system controller 120 communicates with the lens control circuit 204 to adjust the focal position, and adjust the focal position so that the contrast evaluation value is higher than a predetermined level.

さらにシステムコントローラ１２０には、デジタルカメラの動作モードの情報や露出情報（シャッタ秒時、絞り値等）などを外部液晶表示装置１２４や内部液晶表示装置１２５に表示させる動作表示回路１２３が接続されている。また、システムコントローラ１２０には、デジタルカメラの操作を行うための各種スイッチ、ボタンなどの操作部が接続されている。操作部としては、ユーザが所望の動作をデジタルカメラに実行させるべくモードを設定する撮影モード選択ボタン１３０、メイン電子ダイヤル１３１、決定ＳＷ１３２を含む。また、ＡＦセンサユニット１０４が持つ複数の焦点検出位置から使用する焦点検出位置を選択するための測距点選択ボタン１３３、ＡＦモード選択ボタン１３４、測光モード選択ボタン１３５を含む。更に、測光・測距などの撮影準備動作を開始させるためのレリーズＳＷ１（１３６）、撮像動作を開始させるためのレリーズＳＷ２（１３７）と、ファインダーモード選択ＳＷ１３８を含む。   Further, the system controller 120 is connected to an operation display circuit 123 for displaying information on the operation mode of the digital camera, exposure information (shutter speed, aperture value, etc.) on the external liquid crystal display device 124 and the internal liquid crystal display device 125. Yes. The system controller 120 is connected to operation units such as various switches and buttons for operating the digital camera. The operation unit includes a shooting mode selection button 130 for setting a mode for causing the digital camera to execute a desired operation by the user, a main electronic dial 131, and a determination SW 132. In addition, a focus detection point selection button 133 for selecting a focus detection position to be used from a plurality of focus detection positions of the AF sensor unit 104, an AF mode selection button 134, and a photometry mode selection button 135 are included. Furthermore, a release SW1 (136) for starting a photographing preparation operation such as photometry and distance measurement, a release SW2 (137) for starting an imaging operation, and a finder mode selection SW138 are included.

また、ファインダーモード選択ＳＷ１３８は、接眼レンズ１０６を通過する光束を確認することが可能な光学ファインダーモードと、イメージセンサ１１２で受光した像信号を、逐次、画像表示回路１１８によって表示を行うライブビュー表示モードとを切り替える。   The finder mode selection SW 138 also displays an optical finder mode in which the light beam passing through the eyepiece lens 106 can be confirmed, and a live view display in which the image display circuit 118 sequentially displays the image signal received by the image sensor 112. Switch between modes.

さらに、カメラ本体１００には、フラッシュ装置３００を不図示のマウント機構を介して着脱可能に取り付けることができる。マウント部は、電気的接点群３１０を有している。接点群３１０はカメラ本体１００とフラッシュ装置３００との間で制御信号、状態信号、データ信号などを伝え合う。また更に、発光タイミングを制御するＸ端子（発光端子）と、フラッシュ装置３００が接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりカメラ本体１００とフラッシュ装置３００との間で通信を行い、フラッシュ装置３００の発光制御を行うことが可能となる。また、接点群３１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。   Furthermore, the flash device 300 can be detachably attached to the camera body 100 via a mount mechanism (not shown). The mount portion has an electrical contact group 310. The contact group 310 transmits control signals, status signals, data signals, and the like between the camera body 100 and the flash device 300. Furthermore, an X terminal (light emission terminal) for controlling the light emission timing and a function of transmitting a signal to the system controller 120 when the flash device 300 is connected are provided. As a result, communication between the camera body 100 and the flash device 300 can be performed, and light emission control of the flash device 300 can be performed. The contact group 310 may be configured to transmit not only electrical communication but also optical communication, voice communication, and the like.

フラッシュ装置３００は、キセノン（Ｘｅ）管３０１、反射笠３０２、Ｘｅ管３０１の発光を制御するＩＧＢＴなどで構成された発光制御回路３０３、Ｘｅ管３０１に給電するために３００Ｖ程度の電圧を発生する充電回路３０４を含む。更に、充電回路３０４に給電する電池などの電源３０５、フラッシュの発光、充電などを制御するとともに、カメラ本体１００のシステムコントローラ１２０と通信を制御するフラッシュ制御マイコン３０６から構成される。   The flash device 300 generates a voltage of about 300 V to supply power to the light emission control circuit 303 and the Xe tube 301 configured by an xenon (Xe) tube 301, a reflective shade 302, an IGBT for controlling light emission of the Xe tube 301, and the like. A charging circuit 304 is included. Further, the power supply 305 such as a battery for supplying power to the charging circuit 304, a flash emission and charging, and the like, and a flash control microcomputer 306 for controlling communication with the system controller 120 of the camera body 100 are configured.

図２は、本発明の実施の形態におけるイメージセンサ１１２の構成を示すブロック図である。なお、図２は、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、光電変換部２１１は、光電変換素子であるフォトダイオード、画素アンプ、リセット用のスイッチなどで構成されており、ｍ列×ｎ行の光電変換部が２次元状に配置されている。   FIG. 2 is a block diagram showing a configuration of the image sensor 112 according to the embodiment of the present invention. Note that FIG. 2 shows a minimum configuration that can explain a readout operation described later, and a pixel reset signal and the like are omitted. In FIG. 2, the photoelectric conversion unit 211 includes a photodiode that is a photoelectric conversion element, a pixel amplifier, a reset switch, and the like, and m columns × n rows of photoelectric conversion units are two-dimensionally arranged. .

スイッチ２１２は、光電変換部２１１の出力を選択するためのスイッチであり、後述の垂直走査回路２１８により、行単位で選択される。ラインメモリ２１３は、光電変換部２１１の出力を一時的に記憶するために設けられており、垂直走査回路２１８により選択された行の光電変換部２１１の出力を、信号ＭＥＭがＨレベルとなったときに、垂直出力線ＶＬを介して記憶する。ラインメモリ２１３としては、通常は、コンデンサが使用される。スイッチ２１４は、水平出力線ＨＬを所定の電位ＶＨＲＳＴにリセットするための水平出力線ＨＬに接続されたスイッチであり、信号ＨＲＳＴにより制御される。スイッチ２１５は、ラインメモリ２１３に記憶された光電変換部２１１の出力を水平出力線ＨＬに順次出力するためのスイッチである。   The switch 212 is a switch for selecting the output of the photoelectric conversion unit 211 and is selected in units of rows by a vertical scanning circuit 218 described later. The line memory 213 is provided to temporarily store the output of the photoelectric conversion unit 211, and the signal MEM becomes the H level from the output of the photoelectric conversion unit 211 of the row selected by the vertical scanning circuit 218. Sometimes it is stored via the vertical output line VL. As the line memory 213, a capacitor is usually used. The switch 214 is a switch connected to the horizontal output line HL for resetting the horizontal output line HL to a predetermined potential VHRST, and is controlled by a signal HRST. The switch 215 is a switch for sequentially outputting the output of the photoelectric conversion unit 211 stored in the line memory 213 to the horizontal output line HL.

水平走査回路２１６は、信号Ｈ0からＨm-1を用いてスイッチ２１５を順次走査することにより、ラインメモリ２１３に記憶された光電変換部２１１の出力を順次、水平出力線ＨＬに出力させる。信号ＰＨＳＴは水平走査回路２１６のデータ入力、信号ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１がＨレベルの時にデータがセットされ、ＰＨ２がＨレベルの時にデータがラッチされる構成となっている。信号ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、信号Ｈ0からＨm-1を順次Ｈレベルにし、スイッチ２１５を順次オンさせることができる。ＳＫＩＰは、後述の一部の画素から信号を読み出す間引き読み出し時に設定を行わせる信号である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２１６を所定間隔でスキップさせることが可能になる。なお、読み出し動作に関する詳細は後述する。 The horizontal scanning circuit 216 sequentially scans the switch 215 using the signals H 0 to H m−1 to sequentially output the output of the photoelectric conversion unit 211 stored in the line memory 213 to the horizontal output line HL. The signal PHST is a data input of the horizontal scanning circuit 216, and the signals PH1 and PH2 are shift clock inputs. The data is set when PH1 is at H level, and the data is latched when PH2 is at H level. By inputting the shift clock signal PH1, PH2, by sequentially shifting the PHST, from signals H 0 to H level sequentially the H m-1, it is possible to sequentially turn on the switch 215. SKIP is a signal for performing setting at the time of thinning-out reading for reading signals from some pixels described later. By setting the SKIP terminal to the H level, the horizontal scanning circuit 216 can be skipped at predetermined intervals. Details regarding the read operation will be described later.

アンプ２１７は、ラインメモリ２１３から水平出力線ＨＬを介して出力された画素信号を所定の割合で増幅し、ＶＯＵＴとして出力する。   The amplifier 217 amplifies the pixel signal output from the line memory 213 via the horizontal output line HL at a predetermined ratio and outputs it as VOUT.

垂直走査回路２１８は、信号Ｖ0からＶn-1をＨレベルにすることにより、選択スイッチ２１２を行単位で選択することができる。垂直走査回路２１８は、水平走査回路２１６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定信号ＳＫＩＰにより制御される。動作に関しては、水平走査回路２１６と同様であるので詳細説明は省略する。 The vertical scanning circuit 218 can select the selection switch 212 in units of rows by setting the signals V 0 to V n−1 to the H level. Similar to the horizontal scanning circuit 216, the vertical scanning circuit 218 is controlled by a data input PVST, shift clocks PV1 and PV2, and a thinning / reading setting signal SKIP. Since the operation is the same as that of the horizontal scanning circuit 216, detailed description thereof is omitted.

図３は、図２に示す構成を有するイメージセンサ１１２の全画素を読み出す場合の説明図である。図３（ａ）において、Ｒ、Ｇ、Ｂの記号は、各画素を覆うカラーフィルタの色を表している。本実施の形態の説明においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置したベイヤー配列として説明する。また、図３（ａ）の画素配列の上および左側に付記された番号は、Ｘ及びＹ方向の番号である。また、斜線の引かれた画素が、読み出し対象である。ここでは、全画素読み出しなので、図３（ａ）のすべての画素に斜線が引かれている。なお、イメージセンサ１１２には、通常、黒レベルを検出するために遮光されたＯＢ（オプティカルブラック）画素なども配置され、ＯＢ画素からも読み出しを行うが、本実施の形態では、説明が煩雑になるため省略する。   FIG. 3 is an explanatory diagram for reading out all the pixels of the image sensor 112 having the configuration shown in FIG. In FIG. 3A, symbols R, G, and B represent the color of the color filter that covers each pixel. In the description of the present embodiment, out of 4 pixels of 2 rows × 2 columns, pixels having G (green) spectral sensitivity are arranged in 2 diagonal pixels, and R (red) and B are arranged in the other 2 pixels. The description will be made on the basis of a Bayer array in which one pixel having (blue) spectral sensitivity is arranged. Also, the numbers appended to the top and the left side of the pixel array in FIG. 3A are numbers in the X and Y directions. In addition, the hatched pixels are read targets. Here, since all pixels are read out, all the pixels in FIG. 3A are hatched. The image sensor 112 is usually provided with an OB (optical black) pixel that is shielded to detect a black level, and reading is performed from the OB pixel. However, in this embodiment, the description is complicated. Therefore, it is omitted.

図３（ｂ）は、イメージセンサ１１２の全画素を読み出す場合のタイミングチャートを示しており、タイミングパルス発生回路１１４がイメージセンサ１１２にパルスを送ることにより、読み出しが行われる。ここで図３（ｂ）を参照して、全画素読み出し動作を説明する。   FIG. 3B shows a timing chart when all the pixels of the image sensor 112 are read out, and reading is performed when the timing pulse generation circuit 114 sends a pulse to the image sensor 112. Here, the all-pixel readout operation will be described with reference to FIG.

まず、垂直走査回路２１８を駆動して、Ｖ0をアクティブにする。このとき、０行目の画素の出力が、垂直出力線ＶＬにそれぞれ出力される。この状態で、信号ＭＥＭをアクティブにして、各画素のデータをラインメモリ２１３にホールドする。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H0からＨm-1をアクティブにすることで、水平出力線ＨＬに画素出力を出力する。出力された画素出力は、アンプ２１７を介して、ＶＯＵＴとして出力され、Ａ／Ｄコンバータ１１３でデジタルデータに変換され、画像データコントローラ１１５で所定の画像処理が施される。 First, the vertical scanning circuit 218 is driven to make V 0 active. At this time, the outputs of the pixels in the 0th row are respectively output to the vertical output lines VL. In this state, the signal MEM is activated and the data of each pixel is held in the line memory 213. Next, PHST is activated, a shift clock is input to PH1 and PH2, and H 0 to H m-1 are sequentially activated to output a pixel output to the horizontal output line HL. The output pixel output is output as VOUT via the amplifier 217, converted into digital data by the A / D converter 113, and subjected to predetermined image processing by the image data controller 115.

次に、垂直走査回路２１８がV1をアクティブにすることで、１行目の画素出力が垂直出力線ＶＬに出力され、この状態で同様に信号ＭＥＭをアクティブにすることによりラインメモリ２１３に画素出力がホールドされる。次に、ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H0からＨm-1をアクティブにすることで、水平出力線ＨＬに画素出力を出力する動作は同じである。同様にして、Vn-1まで順にアクティブにしていくことで、n-1行目までの読み出しを順次行う。 Next, when the vertical scanning circuit 218 activates V 1 , the pixel output of the first row is output to the vertical output line VL. In this state, the signal MEM is activated in the same manner, and the pixel is stored in the line memory 213. The output is held. Next, activate the PHST, by entering the shift clock PH1, PH2, that activate the H m-1 from sequential H 0, the operation for outputting the pixel output to the horizontal output line HL is the same . Similarly, reading up to the (n-1) th row is sequentially performed by sequentially activating up to Vn -1 .

図４は、図２に示す構成を有するイメージセンサ１１２から一部の画素を読み出す間引き読み出しの一例を説明する図である。図４（ａ）では、図３（ａ）と同様に、斜線の引かれた画素が、間引き読み出し時の読み出し対象画素である。ここでは、Ｘ、Ｙ方向ともに１／３の間引きの読み出しの場合を示している。   FIG. 4 is a diagram for explaining an example of thinning readout for reading out some pixels from the image sensor 112 having the configuration shown in FIG. In FIG. 4A, similarly to FIG. 3A, the hatched pixels are read target pixels at the time of thinning readout. Here, a case of reading by 1/3 decimation in both the X and Y directions is shown.

図４（ｂ）は、間引き読み出し時のタイミングチャートを示しており、図４（ｂ）のタイミングチャートを参照して、間引き読み出しの動作説明を行う。間引き読み出しの設定は、水平走査回路２１６の制御端子であるＳＫＩＰ端子をアクティブにすることで行う。ＳＫＩＰ端子をアクティブにすることで、垂直走査回路２１８、水平走査回路２１６は、１画素ごとの順次走査から３画素ごとの順次走査に動作が変更される。具体的方法に関しては、公知の技術なので詳細は省略する。   FIG. 4B shows a timing chart at the time of decimation reading, and the operation of decimation reading will be described with reference to the timing chart of FIG. Setting for thinning readout is performed by activating the SKIP terminal, which is the control terminal of the horizontal scanning circuit 216. By making the SKIP terminal active, the operations of the vertical scanning circuit 218 and the horizontal scanning circuit 216 are changed from sequential scanning for each pixel to sequential scanning for every three pixels. Since the specific method is a known technique, the details are omitted.

間引き読み出し時は、まず、垂直走査回路２１８を駆動して、V0をアクティブにする。このとき、0行目の画素の出力が、垂直出力線ＶＬにそれぞれ出力される。この状態で、信号ＭＥＭをアクティブにして、各画素のデータをラインメモリ２１３にホールドする。次に、ＰＨＳＴをアクティブして、ＰＨ１、ＰＨ２にシフトクロックを入力する。このとき、ＳＫＩＰ端子をアクティブ設定にすることにより、シフトレジスタの経路が変更され、順次H0、H3、H6・・・Ｈm-3のように、３画素ごとに水平出力線ＨＬに画素出力を出力する。出力された画素出力は、アンプ２１７を介してＶＯＵＴとして出力され、Ａ／Ｄコンバータ１１３でデジタルデータに変換され、画像データコントローラ１１５で所定の画像処理が施される。 At the time of thinning-out reading, first, the vertical scanning circuit 218 is driven to make V 0 active. At this time, the outputs of the pixels in the 0th row are respectively output to the vertical output lines VL. In this state, the signal MEM is activated and the data of each pixel is held in the line memory 213. Next, PHST is activated and a shift clock is input to PH1 and PH2. At this time, the path of the shift register is changed by setting the SKIP terminal to be active, and sequentially to the horizontal output line HL every three pixels as in H 0 , H 3 , H 6 ... H m-3. Output pixel output. The output pixel output is output as VOUT via the amplifier 217, converted into digital data by the A / D converter 113, and subjected to predetermined image processing by the image data controller 115.

次に、垂直走査回路２１８は、水平走査回路２１６と同様に、V1、V2をスキップさせて、Ｖ3をアクティブにして、３行目の画素出力を垂直出力線ＶＬに出力する。その後、信号ＭＥＭによりラインメモリ２１３に画素出力がホールドされる。ＰＨＳＴをアクティブにして、ＰＨ１、ＰＨ２にシフトクロックを入力して、順次H0、H3、H6・・・Ｈm-3をアクティブにして、水平出力線ＨＬに画素出力を出力する動作は０行目と同じである。以上のように、n-３行目までの読み出しを順次行う。以上のように、水平、垂直ともに１／３の間引き読み出しが行われる。 Next, similarly to the horizontal scanning circuit 216, the vertical scanning circuit 218 skips V 1 and V 2 to activate V 3 and outputs the pixel output of the third row to the vertical output line VL. Thereafter, the pixel output is held in the line memory 213 by the signal MEM. The operation of making PHST active, inputting a shift clock to PH1 and PH2, sequentially making H 0 , H 3 , H 6 ... H m-3 active, and outputting the pixel output to the horizontal output line HL is as follows. Same as 0th line. As described above, reading up to the n-3th row is sequentially performed. As described above, 1/3 thinning-out reading is performed both in the horizontal and vertical directions.

以上のように構成されたシステムにおける第１の実施形態の動作について、図５から図１１を用いて詳細に説明する。   The operation of the first embodiment in the system configured as described above will be described in detail with reference to FIGS.

図５は、本発明の第１の実施形態における動作を示すフローチャートである。Ｓ１０１では、電池交換等の電源投入により、システムコントローラ１２０はフラグや制御変数等の初期化を行うために、不揮発性メモリであるＥＥＰＲＯＭ１２２より制御パラメータや設定値を読み出してシステムの初期化処理を行う。   FIG. 5 is a flowchart showing the operation in the first embodiment of the present invention. In S101, the system controller 120 reads the control parameters and setting values from the EEPROM 122, which is a non-volatile memory, and performs system initialization processing in order to initialize flags, control variables, and the like upon power-on such as battery replacement. .

Ｓ１０２では、ライブビュー、または、動画記録開始の待ち状態となり、不図示の動作開始ボタンが押されるとＳ１０３に移行する。Ｓ１０３では、システムコントローラ１２０はレンズ制御マイコン２０７と接点２１０を介し、現在、装着されているレンズユニット２００が、低速絞り駆動に対応しているか否かの判定を行う。低速絞り駆動に対応していない場合はＳ１０４に移行し、低速絞り駆動に対応しているレンズであると判定した場合は、Ｓ１１０に移行する。この判定により、絞りの駆動特性に応じた最適なプログラム線図が選択される。   In S102, a live view or moving image recording start state is entered, and when an operation start button (not shown) is pressed, the process proceeds to S103. In S103, the system controller 120 determines whether or not the currently mounted lens unit 200 supports low-speed aperture driving via the lens control microcomputer 207 and the contact point 210. If it is not compatible with low-speed aperture driving, the process proceeds to S104, and if it is determined that the lens is compatible with low-speed aperture driving, the process proceeds to S110. By this determination, an optimum program diagram corresponding to the driving characteristic of the diaphragm is selected.

Ｓ１０４では、図６に示す低速絞り駆動非対応レンズ用のプログラム線図が選択されＳ１０５に移行する。図６に示すプログラム線図の特徴は、設定される絞り値（Ａｖ）の分解能が大きく（例えば３段）、所定輝度範囲においては、蓄積時間（Ｔｖ）、ＩＳＯ感度（Ｓｖ）で露出の調節を行うように設定される。例えば、絞り値がＦ８に設定されている場合、Ｅｖ７〜Ｅｖ１３の輝度範囲においては、絞り駆動は発生しない。   In S104, the program diagram for the lens not supporting low-speed aperture driving shown in FIG. 6 is selected, and the process proceeds to S105. The feature of the program diagram shown in FIG. 6 is that the aperture value (Av) to be set has a large resolution (for example, 3 steps), and within a predetermined luminance range, the exposure is adjusted by the accumulation time (Tv) and ISO sensitivity (Sv). Is set to do. For example, when the aperture value is set to F8, aperture driving does not occur in the luminance range of Ev7 to Ev13.

また、絞りを開く輝度と絞る輝度が異なる輝度として、絞り駆動設定にヒステリシスを持たせ、絞り駆動の発生回数の抑制を行っている。これにより、絞りの制御性の悪いレンズであってもライブビュー及び動画記録中に絞り駆動の発生を抑え、絞り動作に起因する動画露出のちらつきなどの問題を抑制することが可能になる。   Further, as the brightness at which the aperture is opened and the brightness at which the aperture is stopped are different, the aperture drive setting is provided with hysteresis to suppress the number of times the aperture drive is generated. Accordingly, even with a lens having poor aperture controllability, it is possible to suppress the occurrence of aperture driving during live view and moving image recording, and to suppress problems such as flickering of moving image exposure caused by the aperture operation.

Ｓ１０５〜Ｓ１０８では、イメージセンサ１１２より順次、画像信号が読み出され、外部液晶表示装置１２４に表示される、いわゆるライブビュー駆動、または、記録媒体４０１に動画記録が行われる。   In S <b> 105 to S <b> 108, image signals are sequentially read from the image sensor 112 and displayed on the external liquid crystal display device 124, so-called live view driving, or moving image recording is performed on the recording medium 401.

ここで、ライブビュー駆動について説明する。図７は、イメージセンサ１１２としてＣＭＯＳセンサを用いたライブビュー、または、動画記録時の撮像動作シーケンスの概要を説明するタイミングチャートである。ライブビュー機能を実現する場合には連続的にイメージセンサ１１２から画像信号を読み出す必要があるが、ＣＭＯＳセンサではＣＣＤ方式のような一括転送、一括読み出しができないため、一般的にローリングシャッター方式が使用されている。   Here, live view driving will be described. FIG. 7 is a timing chart for explaining an outline of a live view using a CMOS sensor as the image sensor 112 or an imaging operation sequence during moving image recording. In order to realize the live view function, it is necessary to continuously read out the image signal from the image sensor 112. However, since the CMOS sensor cannot perform batch transfer and batch readout like the CCD method, the rolling shutter method is generally used. Has been.

ローリングシャッター方式では、図７に示すように、イメージセンサ１１２において露光動作が行われた後、イメージセンサ１１２内の各画素の蓄積電荷が画像信号として読み出される。この読み出し動作は、制御パルスである垂直同期信号ＶＤ、および不図示の水平同期信号ＨＤに同期して行われる。垂直同期信号ＶＤは、１フレームを表す信号であり、本第１の実施形態では、たとえば１／３０秒（３０フレーム／秒）ごとにシステムコントローラ１２０からのコマンドを受けて、タイミングパルス発生回路１１４より、イメージセンサ１１２へ送られる。また、水平同期信号ＨＤは、１フレーム期間に水平ラインのライン数に応じた数のパルスが所定間隔で送出され、水平ラインごとの読み出しが行われる。また、水平同期信号ＨＤに同期して、設定された蓄積時間となるように、水平ライン毎に画素リセットが行われる（図中に点線で示す）。そのため、１フレームの画像信号において、ライン毎に蓄積期間、及び、読み出しタイミングに時差が発生する。   In the rolling shutter system, as shown in FIG. 7, after an exposure operation is performed in the image sensor 112, the accumulated charge of each pixel in the image sensor 112 is read out as an image signal. This read operation is performed in synchronization with a vertical synchronization signal VD as a control pulse and a horizontal synchronization signal HD (not shown). The vertical synchronization signal VD is a signal representing one frame. In the first embodiment, for example, the timing pulse generation circuit 114 receives a command from the system controller 120 every 1/30 seconds (30 frames / second). Thus, the image is sent to the image sensor 112. In addition, the horizontal synchronization signal HD is transmitted at a predetermined interval in the number of pulses corresponding to the number of horizontal lines in one frame period, and reading is performed for each horizontal line. In addition, pixel reset is performed for each horizontal line (indicated by a dotted line in the figure) so that the set accumulation time is reached in synchronization with the horizontal synchronization signal HD. For this reason, in an image signal of one frame, a time difference occurs in the accumulation period and readout timing for each line.

また、ライブビュー動作のようにフレームレートによって読出し時間の制約を受ける場合、水平方向、及び、垂直方向に画素間引きを行い、高速に画像信号を読み出す必要がある。本第１の実施形態では、図４を参照して説明したようにして水平１／３、垂直１／３に間引いて読み出すものとする。   Further, when the readout time is restricted by the frame rate as in the live view operation, it is necessary to perform pixel thinning in the horizontal direction and the vertical direction and read out the image signal at high speed. In the first embodiment, as described with reference to FIG. 4, reading is performed by thinning out to horizontal 1/3 and vertical 1/3.

垂直同期信号ＶＤ、水平同期信号ＨＤにより、蓄積及び読み出しが実行されると、読み出された画像信号は、画像データコントローラ１１５へ転送され、欠陥画素補正などの画像処理が実行される。画像処理された画像データは、外部液晶表示装置１２４に表示されたり、また、画像圧縮回路１１９に送られて、記録媒体４０１などに記録される。   When accumulation and readout are executed by the vertical synchronization signal VD and the horizontal synchronization signal HD, the read image signal is transferred to the image data controller 115 and image processing such as defective pixel correction is executed. The processed image data is displayed on the external liquid crystal display device 124 or sent to the image compression circuit 119 and recorded on the recording medium 401 or the like.

また、読み出された画像信号は、不図示のコントラスト検出回路にも送られ、被写体像のコントラストを評価することで被写体の焦点状態を検出する。システムコントローラ１２０は、検出された焦点状態に応じて、レンズ制御マイコン２０７、レンズ制御回路２０４、レンズ駆動機構２０３を通じて焦点状態の調節を行う、いわゆるＡＦ動作を行うことができる。   The read image signal is also sent to a contrast detection circuit (not shown), and the focus state of the subject is detected by evaluating the contrast of the subject image. The system controller 120 can perform a so-called AF operation in which the focus state is adjusted through the lens control microcomputer 207, the lens control circuit 204, and the lens driving mechanism 203 in accordance with the detected focus state.

更に、Ｓ１０８において、読み出された信号は不図示の測光検出回路にも送られ、被写体像の明るさを検出する。システムコントローラ１２０は、検出された明るさに応じて、Ｓ１０４で選択したプログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。   In S108, the read signal is also sent to a photometric detection circuit (not shown) to detect the brightness of the subject image. The system controller 120 performs so-called automatic exposure control (AE) that adjusts the aperture, the accumulation time, the ISO sensitivity, and the like based on the program diagram selected in S104 according to the detected brightness.

Ｓ１０９では、ライブビュー、または、動画記録の終了を検出すると、システムコントローラ１２０は処理を終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。ライブビュー、または、動画記録の終了が検出されない場合は、Ｓ１０５に戻って、引き続きライブビュー、または、動画記録動作を継続させる。   In S109, when the end of the live view or moving image recording is detected, the system controller 120 ends the processing, stores various parameters and ends the recording medium, and enters a standby state. If the end of the live view or moving image recording is not detected, the process returns to S105 and the live view or moving image recording operation is continued.

一方、Ｓ１０３で低速絞り駆動に対応しているレンズと判定された場合、Ｓ１１０に進んで、図８に示す低速絞り駆動対応レンズ用のプログラム線図が選択され、Ｓ１１１に移行する。図８に示すプログラム線図の特徴は、設定される絞り値（Ａｖ）の分解能が小さく（例えば０．１段）、所定輝度範囲において露出調節を行う際は、連続的に低速で絞りを駆動する。これにより、動画フレーム間の露出変化量を抑えた滑らかな動画露出制御を実現している。   On the other hand, if it is determined in S103 that the lens is compatible with low-speed aperture driving, the process proceeds to S110, the program diagram for the low-speed aperture driving compatible lens shown in FIG. 8 is selected, and the process proceeds to S111. The feature of the program diagram shown in FIG. 8 is that the resolution of the set aperture value (Av) is small (for example, 0.1 step), and the aperture is continuously driven at a low speed when performing exposure adjustment within a predetermined luminance range. To do. As a result, smooth moving image exposure control with reduced exposure change between moving image frames is realized.

Ｓ１１１〜Ｓ１１７では、イメージセンサ１１２より順次、画像信号が読み出され、外部液晶表示装置１２４に表示される、いわゆるライブビュー駆動、または、記録媒体４０１に動画記録が行われる。なお、ライブビューまたは動画記録駆動では、図７を参照して前述した駆動方式で、イメージセンサ１１２の蓄積、読み出し動作、及び、ライブビュー表示、動画記録、ＡＦ、ＡＥ動作が実施される。   In S111 to S117, image signals are sequentially read from the image sensor 112 and displayed on the external liquid crystal display device 124, so-called live view driving, or moving image recording is performed on the recording medium 401. Note that in live view or moving image recording driving, the accumulation and reading operations of the image sensor 112 and live view display, moving image recording, AF, and AE operations are performed by the driving method described above with reference to FIG.

Ｓ１１２では、絞り駆動が行われたか否かの判定が行われ、絞りが駆動した場合は、Ｓ１１３に移行し、絞り駆動が行われていない場合はＳ１１４へ移行する。Ｓ１１３では、イメージセンサ１１２への露光期間中に絞りが駆動した場合に発生する輝度ムラの補正処理を行う。   In S112, it is determined whether or not the diaphragm drive has been performed. If the diaphragm has been driven, the process proceeds to S113, and if the diaphragm drive has not been performed, the process proceeds to S114. In S113, a process for correcting unevenness in brightness that occurs when the diaphragm is driven during the exposure period of the image sensor 112 is performed.

ここで、図９〜図１１を用いて、本第１の実施形態にかかるライブビュー駆動中に絞りを低速駆動させた場合に発生する輝度ムラの補正処理について説明する。   Here, with reference to FIG. 9 to FIG. 11, a process for correcting luminance unevenness that occurs when the aperture is driven at a low speed during live view driving according to the first embodiment will be described.

図９は、イメージセンサ１１２をローリングシャッター方式で駆動する場合の電荷蓄積タイミングと、絞りを低速駆動させた時の関係を示している。同図に示す通り、ローリングシャッター方式では、動画の１フレーム内において、イメージセンサ１１２の各ラインの画素リセット、及び、読み出し動作は異なるタイミングで順次実行されているため、各ラインの蓄積期間には時差が発生している。つまり、例えば、図９のｋ行目では、時刻t(k)からt(k’)の期間、イメージセンサ１１２は露光状態となり電荷の蓄積を行うが、ｌ行目では、時刻t(l)からt(l’)の期間、イメージセンサ１１２は露光状態となり電荷の蓄積を行う。   FIG. 9 shows the charge accumulation timing when the image sensor 112 is driven by the rolling shutter method and the relationship when the diaphragm is driven at a low speed. As shown in the figure, in the rolling shutter system, the pixel reset and readout operations of each line of the image sensor 112 are sequentially executed at different timings within one frame of the moving image. A time difference has occurred. That is, for example, in the k-th row in FIG. 9, the image sensor 112 is in an exposure state and accumulates charges during the period from time t (k) to t (k ′), but in the l-th row, time t (l) From t to l (l ′), the image sensor 112 is in an exposure state and accumulates charges.

そのため、図９に示すタイミングで絞りを駆動すると、ラインｋとラインｌでは、異なる絞り状態で露光されるため、蓄積される露光量に差が生じてしまう。この露光量差は、動画の１フレーム画像内においては、画面上部から下部にかけて輝度ムラとなって現れる。この輝度ムラの影響度合いは、イメージセンサ１１２から信号を読み出す速度と絞りの駆動速度、及び、駆動方向によって変化する。   Therefore, when the aperture is driven at the timing shown in FIG. 9, the line k and the line l are exposed with different aperture states, so that a difference occurs in the accumulated exposure amount. This exposure amount difference appears as luminance unevenness from the upper part to the lower part of the screen in one frame image of the moving image. The degree of influence of this luminance unevenness varies depending on the speed at which a signal is read from the image sensor 112, the driving speed of the diaphragm, and the driving direction.

ここで、イメージセンサ１１２における１ラインの読み出しに掛かる時間をHDTIME（単位：[msec/line]）とし、対象フレームから最後に読み出される最下部のｎ行目（基準行）の読み出し時刻t(n)を基準とする。この場合、ｋ行目（基準行以外の行）の蓄積開始時刻t(k)との時刻差Δt(k-n)は、式（１）により求めることができる。
Δt(k-n) = ( k − n ) × HDTIME + 蓄積時間 …（１） Here, the time required to read one line in the image sensor 112 is HDTIME (unit: [msec / line]), and the reading time t (n) of the lowest nth row (reference row) read out last from the target frame. ) In this case, the time difference Δt (kn) from the accumulation start time t (k) of the k-th row (rows other than the reference row) can be obtained by Expression (1).
Δt (kn) = (k − n) × HDTIME + accumulation time (1)

また、ｎ行目の読み出し時刻t(n)の絞り値を基準とした場合（基準絞り込み量）、ｋ行目の蓄積開始時刻t(k)における、基準の絞り値からの相対的な絞り込み量である相対絞り込み量ΔAv(k-n)は、次式（２）により表すことができる。すなわち、絞り駆動速度をAVSPDとすると（開方向を負、閉方向を正とする。単位：[段数/sec]）、
ΔAv(k-n) ＝ Δt(k-n) × AVSPD ／ 1000 …（２）
ここで、動画の１フレーム内での蓄積時間、及び、ＩＳＯ感度を同一設定とする。この場合、時刻t(n)における絞り込み量を基準とすると、ｋ行目の蓄積時間中の相対絞り込み量の時間積分値ΔS(k)は、上記時刻t(k)と時刻t(k’)の期間の相対絞り込み量の時間積分結果として表すことができる。即ち、次式（３）で求めることができる。 In addition, when the aperture value at the read time t (n) of the nth row is used as a reference (reference aperture amount), the relative aperture value from the reference aperture value at the accumulation start time t (k) of the kth row The relative narrowing amount ΔAv (kn) can be expressed by the following equation (2). That is, when the aperture driving speed is AVSPD (the opening direction is negative and the closing direction is positive. Unit: [number of steps / sec])
ΔAv (kn) = Δt (kn) × AVSPD / 1000 (2)
Here, the accumulation time within one frame of the moving image and the ISO sensitivity are set to be the same. In this case, based on the narrowing amount at time t (n), the time integral value ΔS (k) of the relative narrowing amount during the accumulation time of the k-th row is the time t (k) and time t (k ′). It can be expressed as a time integration result of the relative narrowing-down amount in the period. That is, it can be obtained by the following equation (3).

Figure 2014022943
Figure 2014022943

よって、ｋ行目とｎ行目の露出差を補正する場合は、式（３）で求めたΔS(k)（行積分値）とΔS(n)（基準積分値）の差分をゲイン処理することにより補正することができる。実際には、補正値R(k/n)は、リニア系の補正値として求めるため、ゲイン１倍をGAINRとすると、式（４）によって求めることができる。
補正値R(k/n) = 2(ΔS(k)-ΔS(n))×GAINR …（４）
また、ｌ行目とｎ行目の露出差を補正する場合は、同様に式（３）で求めた相対絞り込み量の時間積分値ΔS(l)とΔS(n)の差分をゲイン処理することにより補正することができる。 Therefore, when the exposure difference between the k-th row and the n-th row is corrected, the difference between ΔS (k) (row integral value) and ΔS (n) (reference integral value) obtained by Expression (3) is gain processed. This can be corrected. Actually, since the correction value R (k / n) is obtained as a linear correction value, it is possible to obtain the correction value R (k / n) according to the equation (4) when the gain of 1 is GAINR.
Correction value R (k / n) = 2 (ΔS (k) −ΔS (n)) × GAINR (4)
Similarly, when correcting the exposure difference between the l-th row and the n-th row, similarly, gain processing is performed on the difference between the time integral values ΔS (l) and ΔS (n) of the relative narrowing amount obtained by the equation (3). Can be corrected.

以上より、ｋ行目とｎ行目との露出差が補正可能であるため、各ラインにおいて同様の処理を実施することで、動画の１フレーム内の全領域において、ローリングシャッター方式による駆動時に絞り駆動に起因する輝度ムラを補正することができる。   As described above, the exposure difference between the k-th row and the n-th row can be corrected. Therefore, the same processing is performed on each line, so that the entire aperture in one frame of the moving image can be stopped when driven by the rolling shutter method. Luminance unevenness due to driving can be corrected.

次に、絞りが補正フレームの途中から動作し始め、次フレーム以降まで駆動した場合の補正処理について、図１０を用いて説明する。   Next, correction processing when the diaphragm starts to operate from the middle of the correction frame and is driven to the next frame and thereafter will be described with reference to FIG.

図１０に示す例においては、対象フレーム内の時刻t(av_s)で、絞りが開方向に駆動を開始し、次フレーム以降まで駆動を継続している。ここで、最終行であるｌ行目（基準行）の読み出し時刻t(l’)の絞り位置Av(l’)（基準絞り込み量）を基準として説明する。ｋ行目の蓄積開始時刻t(k)が時刻t(av_s)より前の時刻である場合、ｋ行目（基準行以外の行）の蓄積開始時刻t(k)の相対絞り込み量ΔAv(k-l)は、相対絞り込み量ΔAv(av_s-l)として、上述した式（２）より求めることができる。また、時刻t(av_s)より後の時刻となるｋ行目の読み出し時刻t(k’)の相対絞り込み量ΔAv(k’-l)は、上述した式（２）より求めることができる。これらから、ｋ行目の相対絞り込み量ΔS(k)（行積分値）は、式（５）により求めることができる。   In the example shown in FIG. 10, at time t (av_s) within the target frame, the diaphragm starts to drive in the opening direction, and continues to drive until the next frame and thereafter. Here, the description will be made based on the aperture position Av (l ′) (reference aperture amount) at the read time t (l ′) of the l-th row (reference row) as the last row. When the accumulation start time t (k) of the k-th row is a time before the time t (av_s), the relative narrowing amount ΔAv (kl of the accumulation start time t (k) of the k-th row (row other than the reference row) ) Can be obtained from the above-described equation (2) as the relative narrowing amount ΔAv (av_s-l). Further, the relative narrowing amount ΔAv (k′−l) at the reading time t (k ′) of the k-th row that is later than the time t (av_s) can be obtained from the above-described equation (2). From these, the relative narrowing amount ΔS (k) (row integral value) of the k-th row can be obtained by the equation (5).

Figure 2014022943
Figure 2014022943

このように、１行の蓄積時間内に駆動開始時刻t(av_s)を含む場合、上記式（５）及び式（４）より、ｌ行目を基準とした場合のｋ行目の補正量R(k/l)を求め、ゲイン補正することにより、ｋ行目の露出差を補正することが可能となる。また、１行の蓄積時間内に駆動開始時刻t(av_s)が含まれない場合、上記式（３）及び式（４）を用いて露出差を補正することができる。また、各ラインにおいて同様の処理を実施することで、絞りが対象フレームの途中から動作し始め、次フレーム以降まで駆動した場合にも動画の１フレーム内の輝度ムラを補正することができる。   As described above, when the driving start time t (av_s) is included in the accumulation time of one row, the correction amount R for the k-th row when the l-th row is used as a reference from the above formulas (5) and (4). By obtaining (k / l) and correcting the gain, the exposure difference in the k-th row can be corrected. Further, when the drive start time t (av_s) is not included in the accumulation time of one row, the exposure difference can be corrected using the above equations (3) and (4). In addition, by performing the same processing in each line, it is possible to correct luminance unevenness in one frame of a moving image even when the diaphragm starts to operate from the middle of the target frame and is driven to the next frame and thereafter.

次に、絞りが補正フレームの蓄積開始以前に駆動され、同フレーム内で停止した場合の補正処理について、図１１を用いて説明する。   Next, correction processing when the aperture is driven before the start of correction frame accumulation and stopped within the same frame will be described with reference to FIG.

図１１に示す例においては、対象フレームの蓄積開始以前の時刻t(av_s)で、絞りが開方向に駆動を開始し、同フレーム内の時刻t(av_e)で駆動が停止している。ここで、最終行であるｌ行目（基準行）の読み出し時刻t(l’)時の絞り位置Av(l’)（基準絞り込み量）を基準として説明する。ｋ行目（基準行以外の行）の蓄積開始時刻t(k)が時刻t(av_e)より前の時刻である場合、ｋ行目の蓄積開始時刻t(k)の相対絞り込み量ΔAv(k-l)は、相対絞り込み量ΔAv(k-av_e)として、上述した式（２）より求めることができる。また、時刻t(av_e)より後の時刻となるｋ行目の読み出し時刻t(k’)の相対絞り込み量ΔAv(k’-l)は、図１１より明らかな通り０となる。これらから、ｋ行目の蓄積時間における相対絞り込み量の時間積分値ΔS(k)（行積分値）は、式（６）により求めることができる。   In the example shown in FIG. 11, the aperture starts to drive in the opening direction at time t (av_s) before the start of accumulation of the target frame, and the drive stops at time t (av_e) in the same frame. Here, the description will be made based on the aperture position Av (l ′) (reference aperture amount) at the read time t (l ′) of the l-th row (reference row) as the last row. When the accumulation start time t (k) of the kth row (rows other than the reference row) is a time before the time t (av_e), the relative narrowing amount ΔAv (kl of the kth row accumulation start time t (k) ) Can be obtained from the above-described equation (2) as the relative narrowing amount ΔAv (k-av_e). Further, the relative narrowing amount ΔAv (k′−l) at the readout time t (k ′) of the k-th row that is later than the time t (av_e) is 0 as is apparent from FIG. From these, the time integral value ΔS (k) (row integral value) of the relative narrowing-down amount in the accumulation time of the k-th row can be obtained by Expression (6).

Figure 2014022943
Figure 2014022943

このように、１行の蓄積時間内に駆動開始時刻t(av_e)を含む場合、上記式（６）及び式（４）より、ｌ行目を基準とした場合のｋ行目の補正量R(k/l)を求め、ゲイン補正することにより、ｋ行目の露出差を補正することが可能となる。また、１行の蓄積時間内に駆動開始時刻t(av_e)が含まれない場合、上記式（３）及び式（４）を用いて露出差を補正することができる。また、各ラインにおいて同様の処理を実施することで、絞りが対象フレームの蓄積開始以前に駆動され、同フレーム内で停止した場合にも動画の１フレーム内の輝度ムラを補正することができる。   As described above, when the drive start time t (av_e) is included in the accumulation time of one row, the correction amount R for the k-th row when the l-th row is used as a reference from the above formulas (6) and (4). By obtaining (k / l) and correcting the gain, the exposure difference in the k-th row can be corrected. When the drive start time t (av_e) is not included in the accumulation time of one row, the exposure difference can be corrected using the above equations (3) and (4). Further, by performing the same processing in each line, it is possible to correct luminance unevenness in one frame of a moving image even when the diaphragm is driven before the start of accumulation of the target frame and stopped in the same frame.

なお、本第１の実施形態では、１フレーム内の補正目標となる基準ライン（式（３）ではｎ行目、式（４）、式（５）ではｌ行目に相当）を決定する際に、絞りが開方向に駆動される場合は１フレームにおいて最後に読み出される最下部のラインとする。一方、絞りが閉方向に駆動される場合には、１フレームにおいて最初に読み出される最上部のラインとする。これは、補正処理時に常に正のゲイン補正量となるようにするためであり、イメージセンサ１１２から読み出した画像信号が飽和している場合に負のゲイン処理を行うことで色比がずれてしまうことを回避するためである。   In the first embodiment, a reference line (corresponding to the nth row in Equation (3) and the 1st row in Equation (4) and Equation (5)) to be a correction target in one frame is determined. When the aperture is driven in the opening direction, the lowermost line is read last in one frame. On the other hand, when the diaphragm is driven in the closing direction, the uppermost line is read first in one frame. This is so that a positive gain correction amount is always obtained during the correction process. When the image signal read from the image sensor 112 is saturated, the color ratio is shifted by performing the negative gain process. This is to avoid this.

よって、画像信号出力が飽和しない条件においては、補正目標となる基準ラインを他のラインに設定してもよい。例えば、画面中央のラインを基準ラインにすることで、ゲイン補正量の最大値を減らし、ノイズ量を改善することができる。   Therefore, under the condition that the image signal output is not saturated, the reference line as the correction target may be set to another line. For example, by making the center line of the screen the reference line, the maximum value of the gain correction amount can be reduced and the noise amount can be improved.

図５に戻り、Ｓ１１４では、画像データコントローラ１１５により、イメージセンサ１１２から読み出した画像信号の補正や加工処理を実行する。この加工処理には、記録媒体４０１に記録するための画像データの生成、及び、画像表示回路１１８に表示するための画像データの生成が含まれる。   Returning to FIG. 5, in S <b> 114, the image data controller 115 performs correction and processing of the image signal read from the image sensor 112. This processing includes generation of image data to be recorded on the recording medium 401 and generation of image data to be displayed on the image display circuit 118.

Ｓ１１５では、Ｓ１１４で加工された画像データが、記録媒体４０１に送られ記録される。また、Ｄ／Ａコンバータ１１６を通し、画像表示回路１１８に送られ表示される。   In S115, the image data processed in S114 is sent to the recording medium 401 and recorded. Further, it is sent to the image display circuit 118 through the D / A converter 116 and displayed.

また、Ｓ１１６において、読み出された信号は不図示の測光検出回路に送られ、被写体像の明るさを検出する。システムコントローラ１２０は、検出された明るさに応じて、Ｓ１１０で選択したプログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。   In S116, the read signal is sent to a photometric detection circuit (not shown) to detect the brightness of the subject image. The system controller 120 performs so-called automatic exposure control (AE) that adjusts the aperture, accumulation time, ISO sensitivity, and the like based on the program diagram selected in S110 according to the detected brightness.

Ｓ１１７では、ライブビュー、または、動画記録の終了を検出すると、システムコントローラ１２０はライブビュー、または、動画記録駆動を終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。ライブビュー、または、動画記録の終了が検出されない場合は、Ｓ１１１に移行し、引き続きライブビュー駆動を継続させる。   In S117, when the end of the live view or moving image recording is detected, the system controller 120 ends the live view or moving image recording drive, stores various parameters, and finishes the recording medium, and enters a standby state. When the live view or the end of moving image recording is not detected, the process proceeds to S111, and the live view drive is continued.

上記の通り本第１の実施形態によれば、ローリングシャッター方式による駆動を行っている際に、絞りを駆動することによってフレーム内で生じる輝度ムラの補正量を、撮像素子の読み出し速度と絞りの駆動速度及び駆動方向から演算によって求めることができる。そのため、前後のフレームを使用することなく、フレーム内の輝度ムラを補正することが可能となる。   As described above, according to the first embodiment, when the driving by the rolling shutter method is performed, the correction amount of the luminance unevenness generated in the frame by driving the aperture is determined by the readout speed of the image sensor and the aperture of the aperture. It can be obtained by calculation from the driving speed and the driving direction. Therefore, it is possible to correct luminance unevenness in the frame without using the previous and next frames.

また、補正量を求める際に前後フレームを使用しないため、複数のフレームに跨って絞りが駆動した場合や、点光源被写体などを撮影した場合においても、フレーム内の輝度ムラを正しく補正することが可能となる。   In addition, since the front and rear frames are not used when calculating the correction amount, even when the aperture is driven across multiple frames or when a point light source subject is photographed, the luminance unevenness in the frame can be corrected correctly. It becomes possible.

＜第２の実施形態＞
以下、本発明の第２の実施形態について図面を参照しながら説明する。なお、第２の実施形態におけるカメラシステムの構成は第１の実施形態と同様であるので、ここでの説明は省略する。 <Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. In addition, since the structure of the camera system in 2nd Embodiment is the same as that of 1st Embodiment, description here is abbreviate | omitted.

第２の実施形態における動作について、図１２から図１４を用いて詳細に説明する。図１２は、本第２の実施形態における絞り駆動情報を動画ファイルへ記録する動作を示すフローチャートである。Ｓ２０１では、電池交換等の電源投入により、システムコントローラ１２０はフラグや制御変数等の初期化を行うために、不揮発性メモリであるＥＥＰＲＯＭ１２２より制御パラメータや設定値を読み出してシステムの初期化処理を行う。   The operation in the second embodiment will be described in detail with reference to FIGS. FIG. 12 is a flowchart showing an operation of recording aperture drive information in a moving image file in the second embodiment. In step S201, the system controller 120 reads out control parameters and setting values from the EEPROM 122, which is a nonvolatile memory, and performs system initialization processing in order to initialize flags, control variables, and the like by turning on power such as battery replacement. .

Ｓ２０２では、動画記録開始の待ち状態となり、不図示の動作開始ボタンが押されるとＳ２０３に移行する。Ｓ２０３では、イメージセンサ１１２より順次、画像信号が読み出され、画像信号の補正、及び加工処理が行われた後、記録媒体４０１へ記録する動画記録が行われる。   In S202, a moving image recording start state is entered, and when an operation start button (not shown) is pressed, the process proceeds to S203. In S203, image signals are sequentially read from the image sensor 112, and after correction and processing of the image signals are performed, moving image recording to be recorded on the recording medium 401 is performed.

Ｓ２０４において、イメージセンサ１１２より読み出された信号は不図示の測光検出回路に送られ、被写体像の明るさを検出する。システムコントローラ１２０は、プログラム線図に基づき、絞り、蓄積時間、ＩＳＯ感度などを調節する、いわゆる自動露出制御（ＡＥ）を行う。   In S204, the signal read from the image sensor 112 is sent to a photometric detection circuit (not shown) to detect the brightness of the subject image. The system controller 120 performs so-called automatic exposure control (AE) that adjusts the aperture, accumulation time, ISO sensitivity, and the like based on the program diagram.

Ｓ２０５で、システムコントローラ１２０が接点２１０を介し、レンズ制御マイコン２０７と通信することにより、絞りの駆動開始、駆動停止、駆動中を検出する。絞り駆動が行われていると判定した場合はＳ２０６に移行し、絞り駆動が停止していると判定した場合はＳ２０７へ移行する。   In step S205, the system controller 120 communicates with the lens control microcomputer 207 via the contact 210 to detect the start, stop, and driving of the diaphragm. If it is determined that the aperture driving is being performed, the process proceeds to S206, and if it is determined that the aperture driving is stopped, the process proceeds to S207.

Ｓ２０６では、絞り駆動情報を動画記録ファイルに記録する。ここで、絞り駆動情報について、図１４を参照しながら詳細に説明する。   In S206, aperture drive information is recorded in a moving image recording file. Here, the aperture drive information will be described in detail with reference to FIG.

図１４のフレームＩＤは、動画ファイルに記録されるフレームの内、任意の１フレームを特定可能な固有ＩＤであり、現在処理している絞りが動作中のフレームＩＤを記録する。同図の絞り駆動速度は、絞りを開方向に駆動した場合には負の値を、絞りを閉方向に駆動した場合は正の値を取る絞りの駆動速度（単位：[段数/sec]）であり、現在駆動している絞りの駆動速度を記録する。   The frame ID in FIG. 14 is a unique ID that can identify any one of the frames recorded in the moving image file, and records the frame ID in which the currently processed aperture is operating. The aperture drive speed shown in the figure is a negative value when the aperture is driven in the opening direction, and a positive value when the aperture is driven in the closing direction (unit: [number of steps / sec]). The drive speed of the currently driven aperture is recorded.

図１４の駆動開始時刻は、絞りが駆動し始めた時間を示すものであり、現在処理しているフレーム内で絞り駆動が開始した場合は、対象フレームの読み出し開始時刻からの相対時間を記録する。また、駆動停止時刻は、絞り駆動が停止した時間を示すものであり、現在処理しているフレーム内で絞り駆動が停止した場合は、対象フレームの読み出し開始時刻からの相対時間を記録する。   The drive start time in FIG. 14 indicates the time when the diaphragm starts to be driven. When the diaphragm drive is started within the currently processed frame, the relative time from the read start time of the target frame is recorded. . The drive stop time indicates the time when the aperture drive is stopped, and when the aperture drive is stopped within the currently processed frame, the relative time from the read start time of the target frame is recorded.

更に、蓄積時間は、イメージセンサ１１２が露光状態となるローリングシャッターの蓄積時間を示すものであり、対象フレームにおける蓄積時間を記録する。   Furthermore, the accumulation time indicates the accumulation time of the rolling shutter in which the image sensor 112 is in the exposure state, and the accumulation time in the target frame is recorded.

上記の絞り駆動情報を動画に関連付けて動画ファイルに記録することで、絞りの駆動期間（駆動開始タイミング、駆動停止タイミング）と絞りの駆動方向、絞りの駆動速度、及び、イメージセンサ１１２の蓄積時間を保存することができる。つまり、図１４に示す例では、フレームＩＤが７０のフレームの読み出し開始時刻から24[msec]後に絞りが開方向に5.0[段/sec]の速度で駆動し始め、フレームＩＤが７２のフレームの読み出し開始時刻から12[msec]後に絞りが停止したことが確認できる。また、フレームＩＤが７０から７２の期間では、蓄積時間が30[msec]であることが分かる。   By recording the aperture drive information in the movie file in association with the moving image, the aperture drive period (drive start timing, drive stop timing), aperture drive direction, aperture drive speed, and accumulation time of the image sensor 112 Can be saved. That is, in the example shown in FIG. 14, the aperture starts to be driven in the opening direction at a speed of 5.0 [stage / sec] 24 [msec] after the read start time of the frame with the frame ID 70, and the frame ID 72 It can be confirmed that the diaphragm stops 12 [msec] after the read start time. Further, it can be seen that the accumulation time is 30 [msec] in the period of the frame ID of 70 to 72.

Ｓ２０７では、動画記録の終了を検出すると、システムコントローラ１２０は動画記録処理を終了し、各種パラメータの保存や記録媒体の終了処理を行い、スタンバイ状態になる。動画記録の終了が検出されない場合は、Ｓ２０３に戻り、引き続き動画記録駆動を継続させる。   In S207, when the end of the moving image recording is detected, the system controller 120 ends the moving image recording process, performs various parameter storage and recording medium end processing, and enters a standby state. If the end of the moving image recording is not detected, the process returns to S203, and the moving image recording drive is continued.

図１３は、絞り駆動情報が記録された動画ファイルから、所定の１フレームを選択して静止画像を取得するための動作フロー図である。   FIG. 13 is an operation flowchart for acquiring a still image by selecting a predetermined frame from a moving image file in which aperture drive information is recorded.

Ｓ２２１では、不図示の動画再生ボタンにより指示を受け、システムコントローラ１２０は、記録媒体４０１に記録された動画ファイルから動画データの読み出しを行い、動画再生モードに移行する。   In step S <b> 221, an instruction is received from a moving image playback button (not illustrated), and the system controller 120 reads out moving image data from the moving image file recorded on the recording medium 401 and shifts to the moving image playback mode.

Ｓ２２２では、不図示の選択ボタンにより指示を受けると、システムコントローラ１２０は動画データの中の１フレームを選択し、対象フレームを外部液晶表示装置１２４へ表示する。   In S222, upon receiving an instruction from a selection button (not shown), the system controller 120 selects one frame in the moving image data and displays the target frame on the external liquid crystal display device 124.

Ｓ２２３では、決定ＳＷ１３２より指示を受け、選択フレームの静止画切り出しが選択されるとＳ２２４へ移行し、静止画切り出しの中止が選択されるとＳ２２２に移行する。Ｓ２２４では、選択されたフレームの画像信号をデコード処理した後、静止画用の画像データとしてＤＲＡＭ１２１に記憶する。   In S223, upon receiving an instruction from the decision SW 132, the process proceeds to S224 if still image clipping of the selected frame is selected, and to S222 if cancellation of still image clipping is selected. In S224, the image signal of the selected frame is decoded and stored in the DRAM 121 as still image data.

Ｓ２２５では、静止画切り出しフレームとして選択されたフレームが、動画ファイル内の絞り駆動情報のフレームＩＤに該当するか否かを判定し、絞りが駆動したフレームであると判定されるとＳ２２６に移行する。また、絞りが駆動したフレームではないと判定された場合は、Ｓ２２７に移行する。   In S225, it is determined whether or not the frame selected as the still image cut-out frame corresponds to the frame ID of the aperture drive information in the moving image file. If it is determined that the aperture is driven, the process proceeds to S226. . On the other hand, if it is determined that the aperture is not the driven frame, the process proceeds to S227.

Ｓ２２６では、静止画用の画像データに対して、絞り駆動情報を用いて、ローリングシャッター読み出し駆動時に絞りが駆動した際に発生する１フレーム内の輝度ムラの補正を行う。補正処理は、上述した第１の実施形態で説明した手法を用いて行う。   In S 226, luminance unevenness in one frame that occurs when the diaphragm is driven during rolling shutter read driving is corrected for the still image data using the aperture driving information. The correction process is performed using the method described in the first embodiment.

Ｓ２２７では、静止画用の画像データを記録媒体４０１に保存する。Ｓ２２８で、不図示の終了ボタンにより動画再生モードの終了が指示されると、システムコントローラ１２０は動画再生モードを終了し、各種パラメータの保存や記録メディアの終了処理を行いスタンバイ状態になる。動画再生モードの終了が検出されない場合は、Ｓ２２２に移行し、引き続き動画再生モードを継続させる。   In S227, the image data for the still image is stored in the recording medium 401. In S228, when an end button (not shown) instructs the end of the moving image playback mode, the system controller 120 ends the moving image playback mode, stores various parameters, and ends the recording media, and enters a standby state. If the end of the moving image playback mode is not detected, the process proceeds to S222, and the moving image playback mode is continued.

本第２の実施形態においては、動画ファイルから静止画を切り出して、切り出し画像の輝度ムラ補正をカメラで処理しているが、本発明はこれに限定されるものではなく、後処理をＰＣなどの画像処理装置を用いて実施しても構わない。   In the second embodiment, a still image is cut out from a moving image file, and luminance unevenness correction of the cut-out image is processed by a camera. However, the present invention is not limited to this, and post-processing is performed by a PC or the like. The image processing apparatus may be used.

上記の通り、本第２の実施形態によれば、動画記録中に絞り駆動が発生した際に絞り駆動情報を動画ファイルに記録する。そして、動画再生中に動画フレームから静止画画像を生成する際に、動画ファイルに記録された絞り駆動情報を用いて、動画の１フレーム内の輝度ムラを補正する。このように、ローリングシャッター方式で撮像素子の駆動を行っている際に、絞りを駆動することによって生じる動画の１フレーム内の輝度ムラが補正された静止画を生成することが可能になる。   As described above, according to the second embodiment, the aperture driving information is recorded in the moving image file when the aperture driving occurs during the moving image recording. Then, when a still image is generated from a moving image frame during moving image reproduction, the luminance unevenness in one frame of the moving image is corrected using the aperture drive information recorded in the moving image file. As described above, when the image sensor is driven by the rolling shutter system, it is possible to generate a still image in which luminance unevenness within one frame of a moving image generated by driving the diaphragm is corrected.

また、補正量を求める際に前後フレームを使用しないため、複数のフレームに跨って絞りが駆動した場合や、点光源被写体などを撮影した場合においても、フレーム内の輝度ムラを正しく補正することが可能となる。   In addition, since the front and rear frames are not used when calculating the correction amount, even when the aperture is driven across multiple frames or when a point light source subject is photographed, the luminance unevenness in the frame can be corrected correctly. It becomes possible.

＜他の実施形態＞
また、本発明の図１３に示す制御は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
The control shown in FIG. 13 of the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (14)

絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、
前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正する補正手段と
を有することを特徴とする撮像装置。 An image sensor in which a plurality of photoelectric conversion elements that photoelectrically convert light incident through a diaphragm and output an image signal are two-dimensionally arranged;
When the aperture changes while the image sensor is driven by a rolling shutter method, relative to the reference aperture amount of the aperture during the accumulation time in the reference row that is the reference in the image sensor for the frame in which the aperture has changed Based on a reference integral value that is a time integral value of a general narrowing amount and a row integral value that is a time integral value of the relative narrowing amount during an accumulation time in each row other than the reference row. An image pickup apparatus comprising: correction means for correcting an image signal output from the frame so as to correct a difference between the value and the row integral value. 前記基準絞り込み量は、前記絞りが変化したフレームにおいて、前記絞りが最も開いている状態での絞り込み量であることを特徴とする請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the reference aperture amount is an aperture amount in a state where the aperture is most open in a frame in which the aperture has changed. 前記基準行は、前記絞りが開方向に変化している場合には、前記撮像素子から最後に読み出される行であり、前記絞りが閉方向に変化している場合には、前記撮像素子から最初に読み出される行であることを特徴とする請求項１または２に記載の撮像装置。   The reference row is a row that is read last from the image sensor when the diaphragm changes in the open direction, and the first row from the image sensor when the diaphragm changes in the close direction. The imaging device according to claim 1, wherein the imaging device is a row that is read out in a row. 前記補正手段は、前記基準積分値と前記行積分値との差に基づいて、前記基準行以外の各行の画像信号にかけるゲインをそれぞれ求め、該求めたゲインを前記各行の画像信号にそれぞれかけることを特徴とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。   The correction means obtains gains to be applied to the image signals of the respective rows other than the reference row based on the difference between the reference integral value and the row integral value, and applies the obtained gains to the image signals of the respective rows. The imaging apparatus according to any one of claims 1 to 3, wherein the imaging apparatus is characterized. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子と、
前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りの駆動速度と、前記絞りの駆動を開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを取得する取得手段と、
前記取得手段により取得した情報を、前記撮像素子から出力された画像信号に関連付けて記録する記録手段と
を有することを特徴とする撮像装置。 An image sensor in which a plurality of photoelectric conversion elements that photoelectrically convert light incident through a diaphragm and output an image signal are two-dimensionally arranged;
When the diaphragm changes while driving the image sensor by a rolling shutter system, the drive speed of the diaphragm, information for identifying the frame that started driving the diaphragm, and the drive start time of the diaphragm in the frame, Obtaining information for identifying a frame in which driving of the diaphragm is stopped, acquisition stop time of the diaphragm in the frame, and accumulation time in a frame while the diaphragm is changing;
An image pickup apparatus comprising: a recording unit that records information acquired by the acquisition unit in association with an image signal output from the image pickup device. 撮像素子から取得し、記録された画像信号と、該画像信号に関連付けて記録された、前記撮像素子をローリングシャッター方式で駆動中に絞りが変化した場合に、前記絞りが駆動開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを入力する入力手段と、
前記入力手段により入力した情報に基づいて、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値との差を補正するように、前記フレームの画像信号を補正する補正手段と
を有することを特徴とする画像処理装置。 The image signal acquired from the image sensor and recorded, and the frame that was recorded in association with the image signal is identified when the aperture changes while the image sensor is driven by the rolling shutter method. Information for identifying the frame in which the driving of the diaphragm is stopped in the frame, information for specifying a frame in which the driving of the diaphragm is stopped, the driving stop time of the diaphragm in the frame, and a frame during which the diaphragm is changing An input means for inputting the accumulation time in
Based on the information input by the input means, the time integrated value of the amount of restriction relative to the reference amount of restriction of the diaphragm during the accumulation time in the reference row as a reference in the image sensor for the frame in which the diaphragm has changed. The image signal of the frame is corrected so as to correct the difference between the reference integral value that is and the row integral value that is the time integral value of the relative narrowing amount during the accumulation time in each row other than the reference row. And an image processing apparatus. 前記基準絞り込み量は、前記絞りが変化したフレームにおいて、前記絞りが最も開いている状態での絞り込み量であることを特徴とする請求項６に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the reference narrowing amount is a narrowing amount in a state where the diaphragm is most open in a frame in which the diaphragm is changed. 前記基準行は、前記絞りが開方向に変化している場合には、前記撮像素子から最後に読み出される行であり、前記絞りが閉方向に変化している場合には、前記撮像素子から最初に読み出される行であることを特徴とする請求項６または７に記載の画像処理装置。   The reference row is a row that is read last from the image sensor when the diaphragm changes in the open direction, and the first row from the image sensor when the diaphragm changes in the close direction. The image processing device according to claim 6, wherein the image processing device is a row read out in a row. 前記補正手段は、前記基準積分値と前記行積分値との差に基づいて、前記基準行以外の各行の画像信号にかけるゲインをそれぞれ求め、該求めたゲインを前記各行の画像信号にそれぞれかけることを特徴とすることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。   The correction means obtains gains to be applied to the image signals of the respective rows other than the reference row based on the difference between the reference integral value and the row integral value, and applies the obtained gains to the image signals of the respective rows. The image processing apparatus according to claim 6, wherein the image processing apparatus is an image processing apparatus. 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子を有する撮像装置の制御方法であって、
補正手段が、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とを求めるステップと、
前記補正手段が、前記基準積分値と前記行積分値とに基づいて、前記基準積分値と前記行積分値との差を補正するように、前記フレームから出力される画像信号を補正するステップと
を有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having an imaging element in which a plurality of photoelectric conversion elements that photoelectrically convert light incident through a diaphragm and output an image signal are arranged two-dimensionally,
When the diaphragm is changed while the image sensor is driven by a rolling shutter method, the correction means, for the frame in which the diaphragm has changed, the reference of the diaphragm during the accumulation time in the reference row that is the reference in the image sensor A step of obtaining a reference integral value that is a time integral value of a narrowing amount relative to a narrowing amount and a row integral value that is a time integral value of the relative narrowing amount during an accumulation time in each row other than the reference row. When,
Correcting the image signal output from the frame so that the correction means corrects a difference between the reference integration value and the row integration value based on the reference integration value and the row integration value; A method for controlling an imaging apparatus, comprising: 絞りを介して入射する光を光電変換して画像信号を出力する複数の光電変換素子が２次元に配置された撮像素子を有する撮像装置の制御方法であって、
取得手段が、前記撮像素子をローリングシャッター方式で駆動中に前記絞りが変化した場合に、前記絞りの駆動速度と、前記絞りの駆動を開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを取得する取得ステップと、
記録手段が、前記取得ステップで取得した情報を、前記撮像素子から出力された画像信号に関連付けて記録する記録ステップと
を有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having an imaging element in which a plurality of photoelectric conversion elements that photoelectrically convert light incident through a diaphragm and output an image signal are arranged two-dimensionally,
When the aperture changes while the image sensor is driven by a rolling shutter system, the acquisition means specifies the drive speed of the aperture, information that identifies the frame from which the aperture is started, and the aperture of the aperture in the frame An acquisition step for acquiring a drive start time, information for identifying a frame in which the drive of the diaphragm is stopped, a drive stop time of the diaphragm in the frame, and an accumulation time in a frame while the diaphragm is changing; ,
An image pickup apparatus control method, comprising: a recording step in which recording means records the information acquired in the acquisition step in association with an image signal output from the image sensor. 入力手段が、撮像素子から取得し、記録された画像信号と、該画像信号に関連付けて記録された、前記撮像素子をローリングシャッター方式で駆動中に絞りが変化した場合に、前記絞りが駆動開始したフレームを特定する情報と、該フレームにおける前記絞りの駆動開始時刻と、前記絞りの駆動を停止したフレームを特定する情報と、該フレームにおける前記絞りの駆動停止時刻と、前記絞りが変化している間のフレームにおける蓄積時間とを入力する入力ステップと、
取得手段が、前記入力ステップで入力した情報に基づいて、前記絞りが変化したフレームについて、前記撮像素子において基準とする基準行における蓄積時間中の、前記絞りの基準絞り込み量に対する相対的な絞り込み量の時間積分値である基準積分値と、前記基準行以外の各行における蓄積時間中の、前記相対的な絞り込み量の時間積分値である行積分値とを求める取得ステップと、
補正手段が、前記基準積分値と前記行積分値との差を補正するように、前記フレームの画像信号を補正する補正ステップと
を有することを特徴とする画像処理方法。 When the iris changes while the input means is driving the image pickup device acquired and recorded from the image pickup device and the image signal is recorded in association with the image signal, the drive of the stop starts. Information for identifying the frame, the drive start time of the diaphragm in the frame, information for identifying the frame in which the drive of the diaphragm is stopped, the drive stop time of the diaphragm in the frame, and the diaphragm change An input step for inputting an accumulation time in a frame during
Based on the information input in the input step by the acquisition unit, a relative narrowing amount with respect to a reference narrowing amount of the diaphragm during a storage time in a reference row as a reference in the image sensor for the frame in which the diaphragm has changed An acquisition step for obtaining a reference integration value that is a time integration value of the first row and a row integration value that is a time integration value of the relative narrowing amount during the accumulation time in each row other than the reference row;
An image processing method comprising: a correction step of correcting the image signal of the frame so that the correction means corrects a difference between the reference integration value and the row integration value. コンピュータに、請求項１２に記載の画像処理方法の各工程を実行させるためのプログラム。   A program for causing a computer to execute each step of the image processing method according to claim 12. 請求項１３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 13.
JP2012159796A 2012-07-18 2012-07-18 Imaging apparatus and control method thereof, image processing apparatus and control method thereof Expired - Fee Related JP5961058B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012159796A JP5961058B2 (en) 2012-07-18 2012-07-18 Imaging apparatus and control method thereof, image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012159796A JP5961058B2 (en) 2012-07-18 2012-07-18 Imaging apparatus and control method thereof, image processing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2014022943A true JP2014022943A (en) 2014-02-03
JP5961058B2 JP5961058B2 (en) 2016-08-02

Family

ID=50197382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012159796A Expired - Fee Related JP5961058B2 (en) 2012-07-18 2012-07-18 Imaging apparatus and control method thereof, image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5961058B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003830A (en) * 2015-06-12 2017-01-05 オリンパス株式会社 Imaging device, imaging method, and program
WO2019235049A1 (en) * 2018-06-06 2019-12-12 ソニー株式会社 Imaging apparatus, gain setting method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228047A (en) * 2006-02-21 2007-09-06 Canon Inc Imaging unit, control method of imaging unit, image data correction method, and program
JP2010074313A (en) * 2008-09-16 2010-04-02 Canon Inc Imaging apparatus and method for controlling the same
JP2010245604A (en) * 2009-04-01 2010-10-28 Nikon Corp Imaging device
JP2013031010A (en) * 2011-07-28 2013-02-07 Olympus Imaging Corp Imaging apparatus, imaging method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228047A (en) * 2006-02-21 2007-09-06 Canon Inc Imaging unit, control method of imaging unit, image data correction method, and program
JP2010074313A (en) * 2008-09-16 2010-04-02 Canon Inc Imaging apparatus and method for controlling the same
JP2010245604A (en) * 2009-04-01 2010-10-28 Nikon Corp Imaging device
JP2013031010A (en) * 2011-07-28 2013-02-07 Olympus Imaging Corp Imaging apparatus, imaging method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003830A (en) * 2015-06-12 2017-01-05 オリンパス株式会社 Imaging device, imaging method, and program
WO2019235049A1 (en) * 2018-06-06 2019-12-12 ソニー株式会社 Imaging apparatus, gain setting method and program
US11523065B2 (en) 2018-06-06 2022-12-06 Sony Corporation Imaging device and gain setting method

Also Published As

Publication number Publication date
JP5961058B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
US7783189B2 (en) Imaging apparatus and control method thereof
US8274598B2 (en) Image capturing apparatus and control method therefor
JP2008187615A (en) Imaging device, imaging apparatus, control method, and program
JP6362091B2 (en) Imaging device, control method thereof, and control program
US8471935B2 (en) Imaging apparatus having an image correction function and method for controlling the same
US11290648B2 (en) Image capture apparatus and control method thereof
JP4745851B2 (en) Imaging device
JP5597243B2 (en) Imaging device
US8497919B2 (en) Imaging apparatus and control method thereof for controlling a display of an image and an imaging condition
JP5791765B2 (en) Imaging apparatus and control method thereof
JP5852356B2 (en) Imaging device
JP6960755B2 (en) Imaging device and its control method, program, storage medium
JP5961058B2 (en) Imaging apparatus and control method thereof, image processing apparatus and control method thereof
JP4926654B2 (en) Imaging apparatus and method
JP2012095116A (en) Imaging device and control method of the same
CN106993110B (en) Image pickup apparatus and control method thereof
JP5436139B2 (en) Imaging device
JP2016005250A (en) Imaging apparatus, control method thereof, program and storage medium
JP2019004416A (en) Imaging apparatus, control method for the same, and control program
JP2018005161A (en) Control device, image capturing device, control method, program, and storage medium
JP5914044B2 (en) Photometric device, imaging device, and photometric method
JP2015126421A (en) Imaging apparatus
JP2014127770A (en) Imaging apparatus
JP2010130211A (en) Imaging apparatus and method for calibrating shutter characteristics of the same
JP5265416B2 (en) Camera device with flash dimming function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160624

R151 Written notification of patent or utility model registration

Ref document number: 5961058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees