JP2013089991A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2013089991A
JP2013089991A JP2011225672A JP2011225672A JP2013089991A JP 2013089991 A JP2013089991 A JP 2013089991A JP 2011225672 A JP2011225672 A JP 2011225672A JP 2011225672 A JP2011225672 A JP 2011225672A JP 2013089991 A JP2013089991 A JP 2013089991A
Authority
JP
Japan
Prior art keywords
flicker
imaging
integration time
integration
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011225672A
Other languages
Japanese (ja)
Other versions
JP5945395B2 (en
JP2013089991A5 (en
Inventor
Yasunori Kudo
泰則 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2011225672A priority Critical patent/JP5945395B2/en
Publication of JP2013089991A publication Critical patent/JP2013089991A/en
Publication of JP2013089991A5 publication Critical patent/JP2013089991A5/ja
Application granted granted Critical
Publication of JP5945395B2 publication Critical patent/JP5945395B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus which, even when a frame rate synchronizes with the frequency of a flicker light source, accurately detects flicker without deteriorating the display quality of a live view.SOLUTION: In flicker detection performed periodically during display of a live view, the variation of imaging output in the same integration time and the variation of imaging output in a different integration time are obtained, and the variation of imaging output in a different integration time is determined on the basis of the variation of imaging output in the same integration time, thereby performing the flicker detection.

Description

本発明は、撮像装置に関する。   The present invention relates to an imaging apparatus.

一般にフリッカ光源と呼ばれる、明滅を繰り返す照明に照らされた被写体を撮像素子で撮像した場合、撮像素子によって得られる像は、露光タイミングによって輝度差が生じるという技術的課題がある。   When a subject that is illuminated by illumination that repeats blinking, generally called a flicker light source, is imaged by the imaging device, there is a technical problem that an image obtained by the imaging device has a luminance difference depending on exposure timing.

この明滅成分を検出する方法として、以下の特許文献1、特許文献2、特許文献3、等に開示される技術が知られている。これらの特許文献1〜特許文献3の従来技術は、フリッカ周期よりも短い積分時間で撮影したとき、連続する所定数の複数フレームの撮像出力を平均化することでフリッカ成分の影響を弱めた画像データを得ようとする技術である。   As a method of detecting this blinking component, techniques disclosed in the following Patent Document 1, Patent Document 2, Patent Document 3, and the like are known. The conventional techniques of these Patent Documents 1 to 3 are images in which the influence of a flicker component is weakened by averaging the imaging outputs of a predetermined number of consecutive frames when shooting is performed with an integration time shorter than the flicker cycle. It is a technology that tries to obtain data.

また、特許文献4には、複数の異なる積分時間でフリッカを検出してホワイトバランスを補正し、測色センサの制御を行う技術が開示されている。   Further, Patent Document 4 discloses a technique for detecting a flicker at a plurality of different integration times, correcting white balance, and controlling a colorimetric sensor.

また、特許文献5には、フリッカ成分の発生しない、フリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速で取得した画像を比較することでフリッカ成分を抽出する技術が開示されている。   Further, Patent Document 5 discloses a technique for extracting a flicker component by comparing an image acquired at the same integration time as the flicker cycle, which does not generate a flicker component, and an image acquired at a half shutter speed. .

特開2008−011226号公報JP 2008-011226 A 特開2007−060585号公報JP 2007-060585 A 特公平03−074551号公報Japanese Patent Publication No. 03-074551 特許第03150988号公報Japanese Patent No. 03150988 特許第4337353号公報Japanese Patent No. 4337353

図1Aは、ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、特許文献1〜特許文献3のような連続フレームを平均して表示する場合の効果を示す概念図である。この図1Aには、フリッカ成分の輝度と経過時間の関係を示す曲線(図中の上段)と、積分タイミング(図中の中段)と、撮影画像(図中の下段)とが対応して時系列に示されている。   FIG. 1A is a conceptual diagram showing the influence of flicker in a camera using a rolling shutter type image sensor and the effect when displaying continuous frames as in Patent Documents 1 to 3. In FIG. 1A, a curve indicating the relationship between the luminance of the flicker component and the elapsed time (upper part in the figure), an integration timing (middle part in the figure), and a captured image (lower part in the figure) correspond to each other. Shown in the series.

蛍光灯を代表とするフリッカ光源は、商用電源周波数の半分の周期で輝度変動が発生する。図1Aの中段のように、撮像のVD同期信号と同期したタイミングで撮像の上のラインが積分を開始し、上から順次下のラインへ時間差をもって積分を開始する例である。   In a flicker light source represented by a fluorescent lamp, luminance fluctuations occur at a cycle that is half the commercial power supply frequency. As shown in the middle part of FIG. 1A, the upper line of imaging starts integration at the timing synchronized with the VD synchronization signal of imaging, and integration is started with a time difference from the top to the lower line sequentially.

1フレーム取得中に被写体の輝度が変化すれば、積分するタイミングにより得られる撮像出力は異なる。フリッカ成分の輝度が一番低いタイミングで積分した場合、そのラインは他のラインに比べ撮像出力が小さく、その結果、図1Aの下段の撮影画像のように、中央に暗い縞模様が入ることになる。   If the luminance of the subject changes during acquisition of one frame, the imaging output obtained varies depending on the integration timing. When integration is performed at the timing when the luminance of the flicker component is the lowest, the imaging output of the line is smaller than that of the other lines, and as a result, a dark striped pattern appears in the center as in the photographed image in the lower part of FIG. 1A. Become.

フリッカ周期とフレームレートが同期していない場合、次の駒(フレーム)では、輝度の一番暗いタイミングで積分するラインが前のフレームと異なり、暗い縞の位置が変化した撮像データが得られる。   When the flicker cycle and the frame rate are not synchronized, the next frame (frame) obtains image data in which the line to be integrated at the darkest timing of luminance is different from the previous frame, and the position of the dark stripe is changed.

フリッカ周期と、画像取得周期(図では垂直同期信号VDで表される信号の周期)の最小公倍数となるフレーム数の撮像出力の平均値は、上下ライン間の撮像出力差が無くなり、結果としてフリッカ成分の影響がほとんど無い撮像データを得られる。よって、ある1フレームの撮像データと、前記複数フレーム分を平均した撮像データの差分をとることで、フリッカ成分を得るものである。   The average value of the imaging output of the number of frames, which is the least common multiple of the flicker cycle and the image acquisition cycle (the cycle of the signal represented by the vertical synchronization signal VD in the figure), eliminates the imaging output difference between the upper and lower lines. Imaging data with almost no influence of components can be obtained. Therefore, a flicker component is obtained by taking a difference between imaging data of a certain frame and imaging data obtained by averaging the plurality of frames.

ところが、この図1Aのように連続フレームを平均して表示する技術では、フリッカ周波数とフレームレートが同期した場合、複数画像を平均化してもフリッカの影響は検出できない、という技術的課題がある。   However, in the technique of averaging and displaying continuous frames as shown in FIG. 1A, there is a technical problem that when flicker frequency and frame rate are synchronized, the influence of flicker cannot be detected even if a plurality of images are averaged.

図1Bは、この技術的課題を説明する概念図である。この図1Bの表示態様は、上述の図1Aと同様である。すなわち、フリッカ周波数とフレームレートが同期した場合は、フリッカの輝度とラインの積分タイミングが複数のフレームで同一となるため、複数の撮影画像の平均を取得してもフリッカの影響を取り除いた撮像データを取得できず、フリッカ成分を検出できないという技術的課題がある。   FIG. 1B is a conceptual diagram illustrating this technical problem. The display mode of FIG. 1B is the same as that of FIG. 1A described above. That is, when the flicker frequency and the frame rate are synchronized, the flicker luminance and the line integration timing are the same in a plurality of frames. There is a technical problem that the flicker component cannot be detected.

ここで、積分時間を利用してフリッカ検出する方法も考えられる。積分時間が長いほどフリッカの輝度変動は平均化される。逆に積分時間が短いほど、フリッカの輝度変動分、撮像出力も変動しやすくなる。   Here, a method of detecting flicker using the integration time is also conceivable. The longer the integration time, the more the flicker luminance variation is averaged. On the other hand, the shorter the integration time, the more easily the fluctuation of the flicker luminance and the imaging output change.

図2Aは、積分時間を利用してフリッカ検出する方法の概念図である。暗いタイミングで積分したときのデータと、明るいタイミングで積分したときの撮像出力の差は、積分時間が短いほど差が大きくなる関係を示している。   FIG. 2A is a conceptual diagram of a method for detecting flicker using integration time. The difference between the data when the integration is performed at the dark timing and the imaging output when the integration is performed at the bright timing shows a relationship in which the difference becomes larger as the integration time is shorter.

この現象について、図2Bおよび図2Cを参照して説明する。図2Bおよび図2Cは、輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。   This phenomenon will be described with reference to FIGS. 2B and 2C. FIG. 2B and FIG. 2C are conceptual diagrams that are expressed by actually putting numerical values of luminance in bar graphs indicating luminance values.

図2Bに示されるように、フリッカ成分の輝度が時間の経過と共に変化するところを、数値に置き換えている。説明の簡略化のため単位系は無く、一番明るいタイミングでの撮像素子に入射する光量を10とおいて、相対的に時間による変化を表したものである。1周期を6等分している。   As shown in FIG. 2B, the place where the luminance of the flicker component changes with the passage of time is replaced with a numerical value. For simplification of explanation, there is no unit system, and the amount of light incident on the image sensor at the brightest timing is set to 10, and the change with time is expressed relatively. One cycle is divided into six equal parts.

積分時間tsがフリッカ周期の4/6の場合、一番上のラインは1+6+9+10=26と計算される。同様に他のラインも計算して図示している。   When the integration time ts is 4/6 of the flicker period, the top line is calculated as 1 + 6 + 9 + 10 = 26. Similarly, other lines are calculated and shown.

比較のために、短い時間の例を図2Cに図示する。フリッカ周期の2/6で積分した場合で、比較のために撮像に入射する光量を2倍にしている。これは図2Bに比べてシャッタ速を1段速めた分、レンズの絞りを1段開いて露光量が同一になるようにした制御の例である。   For comparison, a short time example is illustrated in FIG. 2C. In the case of integration with 2/6 of the flicker cycle, the amount of light incident on the imaging is doubled for comparison. This is an example of control in which the shutter speed is increased by one step compared to FIG. 2B, so that the exposure amount is the same by opening the lens diaphragm one step.

露光時間の長い図2Bの例では、最小19に対し最大でも1.7倍の33にあるのに対し、露光時間の短い図2Cの例では最大と最小の比が38/10=3.8と、明暗差が大きくフリッカの影響を強く受けたことを示している。   In the example of FIG. 2B with a long exposure time, it is 33 times 1.7 at the maximum with respect to the minimum 19, whereas in the example of FIG. 2C with a short exposure time, the ratio between the maximum and the minimum is 38/10 = 3.8. It shows that the difference between brightness and darkness is large and it is strongly influenced by flicker.

このように積分時間tsの長短でフリッカによる輝度変動の影響の大小を利用して、積分時間tsの異なる撮像出力の差分をとることで、フリッカ成分を抜き出す方法がある。このような方法が、上述の特許文献4の技術であり、撮像素子でも異なる積分時間tsで撮影すればフリッカの影響は異なるので検出することができる。   As described above, there is a method of extracting a flicker component by taking the difference between the imaging outputs having different integration times ts by using the magnitude of the influence of the luminance fluctuation due to flicker with the length of the integration time ts. Such a method is the technique of the above-mentioned patent document 4, and even if the image sensor takes an image with a different integration time ts, the influence of flicker is different and can be detected.

また、上述の特許文献5のように、フリッカ成分の発生しないフリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速(積分時間)で取得した画像を比較することで輝度変動を求めフリッカ成分を抽出する方法も同様である。   Further, as in the above-mentioned Patent Document 5, flicker is obtained by comparing the image acquired at the same integration time as the flicker cycle in which no flicker component occurs with the image acquired at half the shutter speed (integration time) to obtain the luminance fluctuation. The method for extracting the components is the same.

しかしながら、被写体の移動や手ブレによって発生する輝度変動が撮像出力に重畳するので、フリッカ成分が小さい場合にフリッカの影響ありと誤判定してしまうことや、フリッカ成分が大きい場合にフリッカに影響が小さいと誤判定してしまう技術的課題がある。   However, luminance fluctuations caused by subject movement and camera shake are superimposed on the imaging output, so if the flicker component is small, it may be erroneously determined that there is an effect of flicker, or if the flicker component is large, flicker will be affected. There is a technical problem that it is erroneously determined to be small.

本発明の目的は、フレームレートとフリッカ光源の周波数(周期)が同期する場合でも、高精度なフリッカ検出を行うことが可能であり、ライブビューの表示画質や動画像の画質を低下させることのない技術を提供することにある。   An object of the present invention is to enable high-precision flicker detection even when the frame rate and the frequency (period) of the flicker light source are synchronized, and to reduce the display quality of live view and the quality of moving images. There is no technology to provide.

本発明の第1の観点は、ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、互いに異なる積分時間で取得した複数の撮像出力の変化から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを判断する際に、同一の積分時間で取得した複数の撮像出力に応じて、フリッカ成分が存在するかどうかの判断基準を変更する
ことを特徴とする撮像装置を提供する。
According to a first aspect of the present invention, there is provided an imaging device having a rolling shutter type electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the image sensor,
The flicker detection means includes light that includes flicker components in which light from a subject flickers at a cycle that is 1 / integer multiple of the cycle of the imaging output of the imaging device, from changes in a plurality of imaging outputs acquired at different integration times. When the determination is made, an imaging apparatus is provided in which a criterion for determining whether or not a flicker component is present is changed according to a plurality of imaging outputs acquired at the same integration time.

本発明の第2の観点は、ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、第1の積分時間で取得した撮像出力と前記第1の積分時間と異なる第2の積分時間で取得した撮像出力の差から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを所定の判断基準に基づいて判断する際に、前記第1の積分時間、第2の積分時間と異なる第3の積分時間で取得した撮像出力と第1の積分時間で取得した撮像出力との差に応じて、前記判断基準を変更する
ことを特徴とする撮像装置を提供する。
According to a second aspect of the present invention, there is provided an imaging device having a rolling shutter type electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the image sensor,
The flicker detection means detects light from the subject from the difference between the imaging output acquired at the first integration time and the imaging output acquired at the second integration time different from the first integration time. A third integration time different from the first integration time and the second integration time when determining based on a predetermined determination criterion that the light contains a flicker component that flickers at a cycle that is 1 / integer multiple of According to another aspect of the present invention, there is provided an imaging apparatus characterized in that the determination criterion is changed in accordance with a difference between an imaging output acquired during the integration time and an imaging output acquired during the first integration time.

本発明によれば、フレームレートとフリッカ光源の周波数が同期する場合であっても、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことが可能な技術を提供することができる。   According to the present invention, even when the frame rate and the flicker light source frequency are synchronized, it is possible to provide a technique capable of performing flicker detection without degrading the display image quality of the live view.

ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、連続フレームを平均化して表示する場合の効果を示す概念図である。It is a conceptual diagram which shows the effect in the case of averaging the display of the influence of the flicker in the camera using the image sensor of a rolling shutter system, and a continuous frame. 連続フレーム平均化出力の技術的課題を説明する概念図である。It is a conceptual diagram explaining the technical subject of a continuous frame averaged output. 積分時間を利用してフリッカ検出する方法の概念図である。It is a conceptual diagram of the method of detecting flicker using integration time. 輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。It is the conceptual diagram which put and expressed the numerical value of the brightness | luminance in the bar graph which shows a brightness | luminance value. 輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。It is the conceptual diagram which put and expressed the numerical value of the brightness | luminance in the bar graph which shows a brightness | luminance value. 本発明の一実施の形態である撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device which is one embodiment of the present invention. 本発明の一実施の形態である撮像装置の基本的な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the basic operation | movement of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置のフリッカ検出処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of flicker detection processing of the imaging apparatus according to the embodiment of the present invention. 本発明の一実施の形態である撮像装置の撮像領域における測光領域の配置の一例を示す図である。It is a figure which shows an example of arrangement | positioning of the photometry area | region in the imaging area of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の撮像素子のローリングシャッタ動作の一例を示す図である。It is a figure which shows an example of the rolling shutter operation | movement of the image pick-up element of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置のライブビュー表示に現れるフリッカ縞の一例を示す図である。It is a figure which shows an example of the flicker stripe which appears in the live view display of the imaging device which is one embodiment of this invention. フリッカ光源下で移動しない被写体の一例を示す図である。It is a figure which shows an example of the to-be-photographed object which does not move under a flicker light source. 本発明の一実施の形態である撮像装置のフリッカ光源下での積分時間と輝度値の関係の一例を示す図である。It is a figure which shows an example of the relationship between the integration time under the flicker light source of the imaging device which is one embodiment of this invention, and a luminance value. フリッカレス光源下で移動する被写体の一例を示す図である。It is a figure which shows an example of the to-be-photographed object moved under a flickerless light source. 本発明の一実施の形態である撮像装置のフリッカレス光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。It is a figure which shows an example of the relationship between the integration time with respect to the to-be-photographed object which moves under the flickerless light source of the imaging device which is one embodiment of this invention, and a luminance value. フリッカ光源下で移動する被写体の一例を示す図である。It is a figure which shows an example of the to-be-photographed object moved under a flicker light source. 本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。It is a figure which shows an example of the relationship between the integration time with respect to the to-be-photographed object under the flicker light source of the imaging device which is one embodiment of this invention, and a luminance value. 本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する同じ積分時間と異なる積分時間の輝度値の差の時間変化の一例を示す図である。It is a figure which shows an example of the time change of the difference of the luminance value of the same integration time with respect to the to-be-photographed object which is under the flicker light source of the imaging device which is one embodiment of this invention, and different integration time. 本発明の一実施の形態である撮像装置のフリッカ光源下で積分時間を変化させた時の輝度値の違いの一例を示す図である。It is a figure which shows an example of the difference in a luminance value when integration time is changed under the flicker light source of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の移動する被写体について積分時間を変化させた時の輝度値の違いの一例を示す図である。It is a figure which shows an example of the difference in a luminance value when the integration time is changed about the to-be-moved subject of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の異なる積分時間の輝度値の差の時間変化の一例を示す図である。It is a figure which shows an example of the time change of the difference of the luminance value of the different integration time of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の撮像領域において測光領域の配置を示す図である。It is a figure which shows arrangement | positioning of the photometry area | region in the imaging area of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の切り替わりポイントとなる測光領域を示す図である。It is a figure which shows the photometry area | region used as the switching point of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置のフリッカ判定処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of flicker determination processing performed by the imaging apparatus according to the embodiment of the present invention. 本発明の一実施の形態である撮像装置にてフレームを間引いて1駒おきの撮像出力に基づく輝度値によりフリッカを検出する例を示す図である。It is a figure which shows the example which detects a flicker by the luminance value based on the imaging output of every other frame by thinning | decimating a frame with the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置にて1回目と3回目の積分時間を同一とし、2回目の積分時間を異ならせてフリッカを検出する例を示す図である。It is a figure which shows the example which detects the flicker by making the integration time of the 1st time and the 3rd time the same, and making the integration time of the 2nd time different in the imaging device which is one embodiment of the present invention. 撮影画面内の被写体の移動の一例を示す図である。It is a figure which shows an example of the movement of the to-be-photographed object in an imaging | photography screen. 撮影画面内の被写体の移動の際の移動の前後の対応点の一例を示す図であるIt is a figure which shows an example of the corresponding point before and behind the movement at the time of the movement of the to-be-photographed object in a photographing screen. 本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動に関する動きベクトルの一例を示す図である。It is a figure which shows an example of the motion vector regarding the movement of the to-be-photographed object in the imaging | photography screen of the imaging device which is one embodiment of this invention. 本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動とフリッカ縞の移動に関する動きベクトルの一例を示す図である。It is a figure which shows an example of the motion vector regarding the movement of the to-be-photographed object in the imaging | photography screen of the imaging device which is one embodiment of this invention, and the movement of a flicker stripe. 本発明の一実施の形態である撮像装置の積分時間が長い場合の表示画面のフリッカ縞の一例を示す図である。It is a figure which shows an example of the flicker fringe of a display screen when the integration time of the imaging device which is one embodiment of this invention is long. 本発明の一実施の形態である撮像装置の積分時間が短い場合の表示画面のフリッカ縞の一例を示す図である。It is a figure which shows an example of the flicker stripe of a display screen when the integration time of the imaging device which is one embodiment of this invention is short.

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図3は、本発明の一実施の形態である撮像装置を実現するカメラの構成例を示すブロック図である。本実施の形態では、カメラの一例として、デジタル一眼レフカメラに適用した例を説明する。   FIG. 3 is a block diagram illustrating a configuration example of a camera that realizes the imaging apparatus according to the embodiment of the present invention. In the present embodiment, an example applied to a digital single-lens reflex camera will be described as an example of a camera.

図3に示されているように、このデジタル一眼カメラ(以下、単に「カメラ」と称する)は、ボディユニット100と、例えば交換可能なレンズユニット(すなわちレンズ鏡筒)200と、撮影した画像データを記録しておく記録メディア131で構成されている。   As shown in FIG. 3, the digital single-lens camera (hereinafter simply referred to as “camera”) includes a body unit 100, an interchangeable lens unit (ie, a lens barrel) 200, and captured image data. It is comprised with the recording medium 131 which records.

ここで、記録メディア131は、通信コネクタ130を介してボディユニット100に接続される。   Here, the recording medium 131 is connected to the body unit 100 via the communication connector 130.

レンズユニット200は、ボディユニット100の前面に設けられた、不図示のレンズマウントを介して着脱自在であり、レンズユニット200はボディユニット100に対して交換可能である。   The lens unit 200 is detachable via a lens mount (not shown) provided on the front surface of the body unit 100, and the lens unit 200 is replaceable with the body unit 100.

このレンズユニット200は、撮影レンズ210aおよび撮影レンズ210b(光学手段)と、絞り203と、レンズ駆動機構204と、絞り駆動機構202と、レンズ制御用マイクロコンピュータ(以下、「Lμcom」と称する)201とから構成されている。   The lens unit 200 includes a photographing lens 210a and a photographing lens 210b (optical means), a diaphragm 203, a lens driving mechanism 204, a diaphragm driving mechanism 202, and a lens control microcomputer (hereinafter referred to as “Lμcom”) 201. It consists of and.

撮影レンズ210aおよび撮影レンズ210bは、レンズ駆動機構204内に備えられている不図示のステッピングモータによって、光軸方向に駆動される。   The taking lens 210a and the taking lens 210b are driven in the optical axis direction by a stepping motor (not shown) provided in the lens driving mechanism 204.

絞り203は、絞り駆動機構202内に備えられている不図示のステッピングモータによって駆動される。   The diaphragm 203 is driven by a stepping motor (not shown) provided in the diaphragm drive mechanism 202.

また、Lμcom201は、レンズ駆動機構204や絞り駆動機構202などの、レンズユニット200内の各部を駆動制御する。   The Lμcom 201 controls driving of each part in the lens unit 200 such as the lens driving mechanism 204 and the diaphragm driving mechanism 202.

このLμcom201は、後述するボディ制御用マイクロコンピュータであるBμcom101(制御手段)(撮像制御手段)(フリッカ検出手段)と、通信コネクタ160を介して電気的に接続されており、Bμcom101と各種のデータの授受が可能であり、Bμcom101により制御される。   The Lμcom 201 is electrically connected to a Bμcom 101 (control means) (imaging control means) (flicker detection means), which is a body control microcomputer, which will be described later, via a communication connector 160. It can be exchanged and is controlled by Bμcom 101.

一方、ボディユニット100は、以下のように構成されている。   On the other hand, the body unit 100 is configured as follows.

レンズユニット200内の撮影レンズ210aおよび撮影レンズ210b、絞り203を介して入射される不図示の被写体からの光束の光軸上には、フォーカルプレーン式のシャッタユニット120と、光学系を通過した被写体像を光電変換するための撮像素子111が配置されている。撮影レンズ210aおよび撮影レンズ210bを通った光束は、撮像素子111に結像される。   A focal plane type shutter unit 120 and a subject that has passed through the optical system are placed on the optical axis of a light beam from a subject (not shown) incident through the photographing lens 210a and the photographing lens 210b and the diaphragm 203 in the lens unit 200. An image sensor 111 for photoelectrically converting an image is disposed. The light flux that has passed through the photographing lens 210 a and the photographing lens 210 b is imaged on the image sensor 111.

撮像素子111は、撮像素子駆動IC110(撮像制御手段)により光電変換動作を制御される。撮像素子111は、このカメラの結像光学系によりこのようにして結像された被写体像を光電変換して、アナログ電気信号に変換する。   The photoelectric conversion operation of the image sensor 111 is controlled by the image sensor driving IC 110 (imaging control means). The image sensor 111 photoelectrically converts the subject image formed in this way by the imaging optical system of the camera and converts it into an analog electrical signal.

撮像素子111から出力される前記電気信号は、撮像素子駆動IC110により、画像処理IC102(フリッカ検出手段)が処理するためのデジタル電気信号に変換され、画像処理IC102により、画像信号に変換される。   The electric signal output from the image sensor 111 is converted into a digital electric signal for processing by the image processing IC 102 (flicker detection means) by the image sensor driving IC 110, and converted into an image signal by the image processing IC 102.

また、本実施の形態のボディユニット100においては、撮像素子111、撮像素子駆動IC110と、記憶領域として設けられたSDRAM(Synchronous Dynamic Random Access Memory)等の半導体メモリ104と、液晶モニタ140(表示手段)と、画像処理を行うための画像処理IC102に接続されている。また、通信コネクタ130を介して記録メディア131が画像処理IC102に接続されている。   Further, in the body unit 100 of the present embodiment, an image sensor 111, an image sensor drive IC 110, a semiconductor memory 104 such as an SDRAM (Synchronous Dynamic Random Access Memory) provided as a storage area, and a liquid crystal monitor 140 (display means) ) And an image processing IC 102 for performing image processing. A recording medium 131 is connected to the image processing IC 102 via the communication connector 130.

このように、ボディユニット100は、本実施の形態のカメラが、電子撮像機能と共に電子記録表示機能を提供できるように構成されている。   As described above, the body unit 100 is configured such that the camera of the present embodiment can provide the electronic recording display function together with the electronic imaging function.

記録メディア131は、各種の半導体メモリカードや外付けのハードディスクドライブ(HDD)等の外部記録媒体であり、通信コネクタ130を介してボディユニット100と通信可能、且つ交換可能に装着される。   The recording medium 131 is an external recording medium such as various semiconductor memory cards or an external hard disk drive (HDD), and is attached to the body unit 100 via the communication connector 130 so as to be exchangeable.

また、画像処理IC102は、このボディユニット100内の各部を制御するためのボディ制御用マイクロコンピュータ(以下、Bμcomと略記する)101に接続されている。このBμcom101は、カメラの全体の動作を制御する制御手段の他、計数手段、モード設定手段、検出手段、判定手段、演算手段等の機能を有している。   The image processing IC 102 is connected to a body control microcomputer (hereinafter abbreviated as Bμcom) 101 for controlling each part in the body unit 100. The Bμcom 101 has functions such as a counting unit, a mode setting unit, a detection unit, a determination unit, and a calculation unit in addition to a control unit that controls the overall operation of the camera.

これらの各手段は、例えば、Bμcom101にファームウェアあるいはソフトウェアとして実装された制御プログラム103を、当該Bμcom101が実行することによって実現される。あるいは、これらの各手段は、例えば、Bμcom101を構成するハードウェアの論理回路によって実現されるようにしてもよい。   Each of these means is realized, for example, when the Bμcom 101 executes a control program 103 mounted as firmware or software on the Bμcom 101. Alternatively, each of these means may be realized by, for example, a hardware logic circuit configuring the Bμcom 101.

なお、Bμcom101は、通信コネクタ160と、シャッタ制御駆動回路121等と接続されており、更に、カメラの動作状態を表示出力によって撮影者へ告知するための液晶モニタ140と、カメラ操作スイッチ(SW)150と、図示されていない電源が接続されている。   The Bμcom 101 is connected to the communication connector 160, the shutter control drive circuit 121, and the like, and further, a liquid crystal monitor 140 for notifying the photographer of the operation state of the camera by display output, and a camera operation switch (SW). 150 and a power source (not shown) are connected.

なお、Bμcom101とLμcom201とは、レンズユニット200をボディユニット100へ装着することにより、通信コネクタ160を介して通信可能に電気的接続がなされる。そして、Lμcom201がBμcom101に対して従属的に協働しながら、デジタルカメラとして稼動するようになっている。   Bμcom 101 and Lμcom 201 are electrically connected to each other via communication connector 160 by attaching lens unit 200 to body unit 100. The Lμcom 201 operates as a digital camera while cooperating with the Bμcom 101 in a dependent manner.

シャッタ制御駆動回路121は、シャッタユニット120における不図示の先幕と後幕との動きを制御すると共に、Bμcom101との間で、シャッタの開閉動作を制御する信号と先幕が走行完了時の信号の授受を行う。   The shutter control drive circuit 121 controls the movement of a front curtain and a rear curtain (not shown) in the shutter unit 120, and also controls a signal for controlling the opening / closing operation of the shutter with the Bμcom 101 and a signal when the front curtain completes traveling. Give and receive.

液晶モニタ140は、カメラの動作状態を表示出力によってユーザ(撮影者)へ告知するためのものである。   The liquid crystal monitor 140 is for notifying the user (photographer) of the operation state of the camera by display output.

カメラ操作スイッチ150は、例えば撮影動作の実行を指示するレリーズスイッチ、撮影モードを連写モードや通常撮影モードなどに切り替えるモード変更スイッチ、電源のオン・オフを切り替えるパワースイッチなど、ユーザがカメラを操作するために必要な操作ボタン(操作手段)を含むスイッチ群で構成される。   The camera operation switch 150 is, for example, a release switch for instructing execution of a shooting operation, a mode change switch for switching a shooting mode to a continuous shooting mode or a normal shooting mode, a power switch for switching the power on / off, and the like. It is composed of a group of switches including operation buttons (operation means) necessary for the operation.

本実施の形態のボディユニット100は、図示されない電源回路を備え、この電源回路は、電源としての図示されない電池の電圧を、カメラの各回路ユニットが必要とする電圧に変換して当該各回路ユニットに供給する。   The body unit 100 according to the present embodiment includes a power supply circuit (not shown). The power supply circuit converts a voltage of a battery (not shown) as a power source into a voltage required for each circuit unit of the camera, and the circuit unit. To supply.

次に、このカメラによる撮影動作について説明する。   Next, the photographing operation by this camera will be described.

まず、Bμcom101により画像処理IC102が制御されて、撮像素子111と撮像素子駆動IC110から画像データが画像処理IC102に入力されると、画像処理IC102は、この画像データを、一時保存用メモリである半導体メモリ104に保存する。なお、半導体メモリ104は、画像処理IC102が画像処理のためにワークエリアとしても使用される。例えば、本実施の形態の場合には、半導体メモリ104にはフレーム500が格納される。   First, when the image processing IC 102 is controlled by the Bμcom 101 and image data is input from the image sensor 111 and the image sensor driving IC 110 to the image processing IC 102, the image processing IC 102 stores the image data in a semiconductor that is a temporary storage memory. Save in the memory 104. The semiconductor memory 104 is also used as a work area for the image processing IC 102 to perform image processing. For example, in the present embodiment, the frame 500 is stored in the semiconductor memory 104.

また、画像処理IC102は、この画像データをJPEGデータに変換する画像処理を行って、記録メディア131で保存させることができる。   In addition, the image processing IC 102 can perform image processing for converting the image data into JPEG data and store the image data in the recording medium 131.

シャッタ制御駆動回路121は、Bμcom101からシャッタを駆動制御するための信号を受け取るとシャッタユニット120を制御してシャッタの開閉動作を行わせる。   When receiving a signal for controlling the driving of the shutter from the Bμcom 101, the shutter control driving circuit 121 controls the shutter unit 120 to perform the opening / closing operation of the shutter.

このときに撮像素子111より撮像素子駆動IC110を介して出力された撮像データに対して所定の画像処理を行って画像データを生成し、記録メディア131に記録することで撮影動作が完了する。   At this time, predetermined image processing is performed on the image data output from the image sensor 111 via the image sensor driving IC 110 to generate image data, and the image data is recorded on the recording medium 131, whereby the photographing operation is completed.

次に、このカメラによるライブビュー動作について説明する。   Next, the live view operation by this camera will be described.

撮影レンズ210aおよび撮影レンズ210bからの光束は撮像素子111へと導かれ、撮像素子111の出力信号が撮像素子駆動IC110で処理され撮像データが生成される。   Light beams from the photographing lens 210a and the photographing lens 210b are guided to the image sensor 111, and an output signal of the image sensor 111 is processed by the image sensor driving IC 110 to generate image data.

例えば1秒当たり30枚程度の割合で連続的に露光を行い、このときに撮像素子111から撮像素子駆動IC110を介して出力される撮像データを、画像処理IC102によりビデオ信号に変換して液晶モニタ140に与えることで、被写体の動画像を液晶モニタ140に実時間で表示させることができる。   For example, exposure is continuously performed at a rate of about 30 images per second, and image data output from the image sensor 111 via the image sensor driving IC 110 at this time is converted into a video signal by the image processing IC 102 to be a liquid crystal monitor As a result, the moving image of the subject can be displayed on the liquid crystal monitor 140 in real time.

このような表示は「ライブビュー」と呼ばれており、周知である。なお、液晶モニタ140での画像データのライブビュー表示をこのカメラで行わせるには、ユーザが上述したカメラ操作スイッチ150の中のモード変更スイッチを操作して、ライブビューモードを選択すればよい。以降の説明では、ライブビューを「LV」と略すこともある。   Such a display is called “live view” and is well known. In order to display the live view display of the image data on the liquid crystal monitor 140 with this camera, the user may select the live view mode by operating the mode change switch in the camera operation switch 150 described above. In the following description, the live view may be abbreviated as “LV”.

なお、LV動作時には、撮影レンズ210aおよび撮影レンズ210bからの光束は常に撮像素子111へと導かれているので、被写体の明るさの測光処理や、被写体に対する周知の測距処理を、撮像素子111と撮像素子駆動IC110から出力される画像データに基づいて画像処理IC102に行わせることができる。   During the LV operation, the light flux from the photographic lens 210a and the photographic lens 210b is always guided to the image sensor 111. Therefore, the photometric process of the brightness of the subject and the well-known distance measuring process for the subject are performed. And the image processing IC 102 based on the image data output from the image sensor driving IC 110.

図4は、本実施の形態のカメラのBμcom101による基本的な動作の一例を示すフローチャートである。   FIG. 4 is a flowchart illustrating an example of a basic operation performed by the Bμcom 101 of the camera according to the present embodiment.

ステップS101では、ボディユニット100の電源がオフからオンになったことで行う制御を行う。一般的にイニシャライズ処理と呼ばれているもので、Bμcom101や撮像素子駆動IC110、画像処理IC102などの回路の起動、ボディユニット100に接続されているレンズユニット200へ電源供給と通信、などを行う。   In step S101, the control performed when the power of the body unit 100 is turned on from off is performed. This is generally called an initialization process, and activates circuits such as the Bμcom 101, the image sensor driving IC 110, and the image processing IC 102, and supplies power to and communicates with the lens unit 200 connected to the body unit 100.

ステップS102では、前述のライブビュー動作を開始する準備として、レンズユニット200へ通信コネクタ160を介して所定の絞り駆動指示、撮像素子駆動IC110へ電子シャッタ速(積分時間)と感度の設定、シャッタ制御駆動回路121によりシャッタユニット120を開いて撮像素子111が受光するようにする、という制御を行う。   In step S102, as a preparation for starting the above-described live view operation, a predetermined aperture driving instruction is sent to the lens unit 200 via the communication connector 160, an electronic shutter speed (integration time) and sensitivity are set to the image sensor driving IC 110, and shutter control is performed. Control is performed such that the shutter unit 120 is opened by the drive circuit 121 so that the image sensor 111 receives light.

ステップS103では、前述のライブビュー動作を開始する。撮像素子111は設定された電子シャッタ速で積分動作を行い、撮像素子駆動IC110を介して画像処理IC102へ撮像出力データが送られる。   In step S103, the above live view operation is started. The image sensor 111 performs an integration operation at the set electronic shutter speed, and image output data is sent to the image processing IC 102 via the image sensor drive IC 110.

画像処理IC102は、図6に例示されるように、撮像出力を画像データに変換して液晶モニタ140に表示し、同時に画像処理IC102は、Bμcom101に被写体の輝度算出用のデータを送信する。   As illustrated in FIG. 6, the image processing IC 102 converts the imaging output into image data and displays it on the liquid crystal monitor 140, and at the same time, the image processing IC 102 transmits data for calculating the luminance of the subject to the Bμcom 101.

この被写体輝度算出用のデータは、例えば、撮像素子111に結像した像を所定の領域に分割して平均化したデータなどを含み、Bμcom101で被写体の輝度を計算できるような数値データとして当該Bμcom101に送信される。   The subject luminance calculation data includes, for example, data obtained by dividing an image formed on the image sensor 111 into predetermined regions and averaging the numerical values, and the Bμcom101 can be calculated as numerical data that allows the Bμcom101 to calculate the luminance of the subject. Sent to.

このステップS104では、Bμcom101は被写体を領域分割したデータから、それぞれの分割に応じた輝度値を算出する。   In step S104, the Bμcom 101 calculates a luminance value corresponding to each division from data obtained by dividing the subject into regions.

輝度値は撮像素子111と、設定した感度、レンズユニット200に制御させた絞り値、電子シャッタ速(撮像素子111の積分時間と同値)によって、撮像素子111の各領域にどのくらいの光が照射したかが計算される。

ここで、輝度を測定するエリア(測光領域)を、図6に示す9個の領域とする。図7に示す、画面上(または下)から逐次積分を開始するローリングシャッタ方式の撮像素子において、フリッカ光源下で撮影を行うと、図2A、図2Bを使って説明したとおりフリッカ成分が図8に示されるように縞模様で現れる。よって、図6のように縦方向に分割して輝度を測定することで、後述する縞の周期を調べることができる。なお、輝度を測定するエリア(測光領域)の数は9個に限るものではない。
The luminance value is applied to each area of the image sensor 111 by the image sensor 111, the set sensitivity, the aperture value controlled by the lens unit 200, and the electronic shutter speed (the same value as the integration time of the image sensor 111). Is calculated.

Here, it is assumed that the areas (photometry areas) for measuring the luminance are nine areas shown in FIG. In the rolling shutter type imaging device that starts sequential integration from the top (or bottom) of the screen shown in FIG. 7, when shooting is performed under a flicker light source, the flicker component is shown in FIG. 8 as described with reference to FIGS. 2A and 2B. Appears in a striped pattern as shown in. Therefore, by dividing the vertical direction as shown in FIG. 6 and measuring the luminance, the period of fringes described later can be examined. Note that the number of areas (photometry areas) for measuring the luminance is not limited to nine.

ステップS105では、後述するステップS113にてフリッカが検出されたか否かをチェックし、フリッカが検出されていた場合にはステップS114に移行する。一方、フリッカが検出されていない場合はステップS106へ移行する。   In step S105, it is checked whether or not flicker is detected in step S113 described later. If flicker is detected, the process proceeds to step S114. On the other hand, if flicker is not detected, the process proceeds to step S106.

ステップS101の電源オンの処理を開始してから最初にステップS105の処理を行う場合には、フリッカが検出されていないと判定されるのでステップS106に進む。   When the process of step S105 is first performed after the power-on process of step S101 is started, it is determined that no flicker is detected, and the process proceeds to step S106.

ステップS106では、電源投入直後からの経過時間、または、過去に当該ステップS106を経過してからフリッカ検出周期td(例えば、td=500ms)が経過したかの判断を行う。このフリッカ検出周期tdはフリッカ検出を行うタイミングを制御するものである。     In step S106, it is determined whether or not an elapsed time immediately after the power is turned on or whether a flicker detection period td (for example, td = 500 ms) has elapsed since the step S106 was passed in the past. The flicker detection period td controls the timing for performing flicker detection.

フリッカ検出周期td以上経過していればステップS108へ、経過していなければステップS107へ移行する。   If the flicker detection period td or more has elapsed, the process proceeds to step S108, and if not, the process proceeds to step S107.

ステップS107では、ステップS104で取得した輝度値に基づき露出レベルが適正となるような絞り値、シャッタ速、感度を算出する。これらの算出された値を交換レンズ200の絞り203、撮像素子111の電子シャッタ速、感度として設定することにより、適正な露出レベルの撮像出力を得ることができる。   In step S107, an aperture value, shutter speed, and sensitivity that calculate an appropriate exposure level are calculated based on the luminance value acquired in step S104. By setting these calculated values as the aperture 203 of the interchangeable lens 200, the electronic shutter speed and sensitivity of the image sensor 111, an image output with an appropriate exposure level can be obtained.

ステップS107はフリッカが発生していない場合に実行される処理であるので、後述するステップS114とは異なり、シャッタ速に関する制約はない。この処理を実行した後にステップS115に進む。   Since step S107 is a process executed when no flicker occurs, unlike step S114 described later, there is no restriction on the shutter speed. After executing this process, the process proceeds to step S115.

ステップS108にてフリッカ判定処理を行う。詳細については後述する。   In step S108, flicker determination processing is performed. Details will be described later.

ステップS109ではステップS108にてフリッカが検出された場合はステップS111に進む。一方、フリッカが検出されなかった場合にはステップS110に進む。   In step S109, if flicker is detected in step S108, the process proceeds to step S111. On the other hand, if no flicker is detected, the process proceeds to step S110.

ステップS110は、ステップS108でフリッカ光源と判定されない場合に行われる処理であって、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタをクリアしてステップS115へ進む
ステップS111では、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタを+1だけカウントして、ステップS112へ進む。
Step S110 is processing that is performed when the flicker light source is not determined in step S108, and clears a counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or more, and proceeds to step S115. In S111, a counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or more is counted by +1, and the process proceeds to step S112.

ステップS112では、500ms以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタが、「3」であるか否かを確認する。3回連続でフリッカが検出された場合は、ステップS113に進む。検出されない場合は、ステップS115へ進む。   In step S112, it is confirmed whether or not the counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or longer is “3”. If flicker is detected three times in succession, the process proceeds to step S113. If not detected, the process proceeds to step S115.

ステップS113では、被写体はフリッカ光源下であると判定する。   In step S113, it is determined that the subject is under a flicker light source.

ステップS106、108、109、111、112、113の一連の処理によって、500m以上の間隔でフリッカ検出動作を行い、連続して3回フリッカを検出したら、被写体はフリッカ光源下であると判定する処理を行う。一般的に、被写体がフリッカ光源環境下になったり、ならなかったり、ということを数秒レベルで変化することは無いので、1.5秒程度の時間でフリッカの判断を行い、1.5秒間全てフリッカを検出したら、フリッカと判断する。   Processing for determining that the subject is under the flicker light source when flicker detection operation is performed at intervals of 500 m or more through a series of processing of steps S106, 108, 109, 111, 112, and 113, and flicker is detected three times in succession. I do. Generally, it does not change that the subject is in the flicker light source environment at the level of several seconds, so the flicker is judged in about 1.5 seconds, and all the 1.5 seconds are determined. If flicker is detected, it is determined as flicker.

被写体が一瞬だけフリッカ光源を横切るような場合は、ステップS114で後述するフリッカ対策した露出制御を行うことはなく、安定してフリッカ光源環境下に被写体があるときにフリッカ対策の露出制御を行う。   When the subject crosses the flicker light source only for a moment, exposure control with anti-flicker described later is not performed in step S114, and exposure control with anti-flicker is performed when the subject is stably in the flicker light source environment.

ステップS114では、被写体がフリッカ光源下にある場合に、フリッカの影響を低減したフリッカ対策の露出制御が実行される。フリッカ対策の露出制御は、積分時間がフリッカ周期よりも短くならないようにし、かつ、フリッカ周期の倍数となる積分時間に電子シャッタ速を設定する。   In step S114, when the subject is under a flicker light source, exposure control for flicker countermeasures that reduces the influence of flicker is executed. In the exposure control for preventing flicker, the integration time is set not to be shorter than the flicker cycle, and the electronic shutter speed is set to the integration time that is a multiple of the flicker cycle.

電子シャッタ速をより低速と設定することに対して、交換レンズ200の絞り203を制御することで、撮像素子に到達する光量を制限し、積分時間をフリッカ周期の倍数にしても露出がオーバーにならないようにする。   In contrast to setting the electronic shutter speed to a lower speed, the aperture 203 of the interchangeable lens 200 is controlled to limit the amount of light reaching the image sensor, and even if the integration time is a multiple of the flicker cycle, the exposure is overexposed. Do not become.

しかしながら、絞り値を変更するための絞り駆動は、メカニカルな機構を駆動して行われるので、電子シャッタ速変更や感度変更の制御と比較して追従性が遅く、ライブビュー動作中の絞り制御は好ましいものではない。   However, since the aperture drive for changing the aperture value is performed by driving a mechanical mechanism, the follow-up performance is slower than the control for changing the electronic shutter speed and sensitivity, and the aperture control during live view operation is It is not preferable.

また、被写体の輝度変化に対応するために、フレーム周期よりも短いシャッタ速を使わず絞りで対応することは、輝度変化の追従のレスポンスを遅らせることになり、一瞬を切り取る静止画撮影の構図確認用としてつかわれるライブビュー表示としては好ましくない。   Also, in order to respond to changes in the brightness of the subject, responding with an aperture without using a shutter speed shorter than the frame period delays the response to follow-up of the change in brightness. It is not preferable as a live view display used for the purpose.

さらに絞りを絞ることで被写界深度が深くなり、ユーザがピントの合焦状態を確認しにくくなる、オートフォーカス時、合焦精度を確保するべく被写界深度を浅くする必要があるので、オートフォーカスを行うたびに絞りを開放にする必要がありレリーズタイムラグが長くなるというような多くの課題がある。   In addition, it is necessary to reduce the depth of field in order to secure the focusing accuracy when autofocusing, since the depth of field will be deepened by further reducing the aperture, making it difficult for the user to check the in-focus state. There are many problems that the release time lag becomes longer because it is necessary to open the aperture each time auto-focusing is performed.

このような理由により、ライブビュー動作中においては、絞りは開放とし、輝度追従は撮像素子の電子シャッタや感度で行うのが望ましい。よって、本実施例では、上述のフリッカ対策の露出制御は、被写体がフリッカ光源下であると判定されたときに行われる制御としている。   For these reasons, it is desirable that the aperture is opened during live view operation, and luminance tracking is performed by the electronic shutter and sensitivity of the image sensor. Therefore, in the present embodiment, the above-described exposure control for preventing flicker is performed when it is determined that the subject is under the flicker light source.

ステップS115では、カメラ操作スイッチ150にあるレリーズがオンされた場合は、ステップS116のスチル撮影動作を行う。   In step S115, when the release on the camera operation switch 150 is turned on, the still photographing operation in step S116 is performed.

ステップS116では、ライブビュー動作を一旦停止し、ステップS104で得られた輝度値から、静止画撮影として最適な絞り値、電子シャッタ速、感度を算出する。算出された値から、前述の撮影動作を行う。   In step S116, the live view operation is temporarily stopped, and the optimum aperture value, electronic shutter speed, and sensitivity for still image shooting are calculated from the luminance value obtained in step S104. From the calculated value, the above-described photographing operation is performed.

ステップS117では、カメラ操作スイッチ150にある電源SWがオフされていないか判別する。そして、電源SWがオフされていない場合は、次のフレームの露出動作を行うため、ステップS104に戻り、輝度値を取得する処理を行う。   In step S117, it is determined whether or not the power SW in the camera operation switch 150 is turned off. If the power switch is not turned off, the process returns to step S104 to perform the process of acquiring the luminance value in order to perform the exposure operation for the next frame.

電源SWがオフされないかぎり、ステップS104からステップS116の処理を繰り返し行う。また、さらにレリーズSWがオフの場合は、ステップS104からステップS114の処理を繰り返し行う。この処理を繰り返している間、液晶モニタ140には連続した画像が表示されるライブビュー動作となる。電源SWがオフされていたら、カメラの電源のオフ制御を行う。   Unless the power SW is turned off, the processing from step S104 to step S116 is repeated. Further, when the release SW is off, the processing from step S104 to step S114 is repeated. While this process is repeated, a live view operation is performed in which continuous images are displayed on the liquid crystal monitor 140. If the power SW is turned off, the camera is turned off.

図5は、本実施の形態のカメラにおけるBμcom101によるフリッカ検出処理の一例を示すフローチャートである。次に、この図5を参照して、上述のステップS108のフリッカ検出処理の一例を詳細に説明する。   FIG. 5 is a flowchart showing an example of flicker detection processing by Bμcom 101 in the camera of the present embodiment. Next, an example of the flicker detection process in step S108 described above will be described in detail with reference to FIG.

図4のフローチャートに例示されるように、このステップS108のフリッカ検出処理は基本的には周期tdの時間間隔で処理される。

図5の制御の概要としては、ステップS104で得られた輝度値を元に、所定の周期で繰り返される撮像出力のうち、3駒連続した駒の輝度値を取得する制御で、1駒目と2駒目は同じシャッタ速で行う。3駒目は1,2駒目で制御されたシャッタ速を1段分速くし、感度を1段上げて露出レベルを維持してシャッタ速を変更する制御を行う。この3駒の輝度値を用いてフリッカ判定を行う。
As illustrated in the flowchart of FIG. 4, the flicker detection process in step S <b> 108 is basically performed at a time interval of a period td.

As an overview of the control in FIG. 5, based on the luminance value obtained in step S <b> 104, control is performed to acquire the luminance value of three consecutive frames out of the imaging output repeated at a predetermined cycle. Frames are performed at the same shutter speed. In the third frame, the shutter speed controlled in the first and second frames is increased by one step, the sensitivity is increased by one step, the exposure level is maintained, and the shutter speed is changed. Flicker determination is performed using the luminance values of these three frames.

ステップS201では、上述の図4のステップS104で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、シャッタ速、感度を算出し、算出した各値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を行い、撮像出力を取得する。ステップS202では、ステップS104と同様にして、撮像出力に基づいて図6に示される各領域の輝度値を算出する。   In step S201, based on the luminance value obtained in step S104 of FIG. 4 described above, an aperture value, shutter speed, and sensitivity that obtain an appropriate exposure level are calculated. An imaging operation is performed by setting the electronic shutter and sensitivity of the element, and an imaging output is acquired. In step S202, as in step S104, the luminance value of each region shown in FIG. 6 is calculated based on the imaging output.

ステップS203では、ステップS201と同じ絞り値、シャッタ速、感度にて撮像動作を行い、2駒目の撮像出力を取得し、ステップS204では、2駒目の撮像出力に基づいて、図6に示される各領域の輝度値を算出する。   In step S203, an imaging operation is performed with the same aperture value, shutter speed, and sensitivity as in step S201, and an imaging output of the second frame is acquired. In step S204, an image output based on the imaging output of the second frame is shown in FIG. The brightness value of each area to be calculated is calculated.

ステップS205では、ステップS202で制御した絞り値、シャッタ速、感度のうち、シャッタ速を1段分速くする。シャッタ速を高速にした分により露出がアンダーにならないように感度を1段増加させる。そして3駒目の撮像動作を行い、撮像出力を取得する。ステップS206では、3駒目の撮像出力に基づいて、図6に示される各領域の輝度値を算出する。   In step S205, among the aperture value, shutter speed, and sensitivity controlled in step S202, the shutter speed is increased by one step. By increasing the shutter speed, the sensitivity is increased by one step so that the exposure does not become under. Then, an imaging operation for the third frame is performed to obtain an imaging output. In step S206, the brightness value of each area shown in FIG. 6 is calculated based on the imaging output of the third frame.

ステップS207では、1駒目と2駒目で得られた各領域の輝度値について対応する領域毎に輝度値の差分を算出する。領域Nについて2個の駒の輝度値の差分を算出するためには、N=1〜9の場合について、それぞれ以下の(1)式の計算を行う。   In step S207, the brightness value difference is calculated for each corresponding region with respect to the brightness value of each region obtained in the first frame and the second frame. In order to calculate the difference between the brightness values of the two frames for the region N, the following equation (1) is calculated for each of N = 1 to 9.

領域N差分=2駒目の領域Nの輝度値−1駒目の領域Nの輝度値・・・(1)
ここまでの処理によって、フリッカ判定のために必要な撮像出力である、積分時間が同じ2つの駒の撮像出力と、積分時間が異なる2つの駒の撮像出力が得られた。さらに、この撮像出力から、図6に示す領域の輝度を算出し、式(1)の計算により領域ごとに積分時間が同じ2つの駒の輝度変化と積分時間が異なる2つの駒の輝度変化を取得した。
Area N difference = luminance value of area N of the second frame-1 luminance value of area N of the first frame (1)
Through the processing so far, the imaging output of two frames having the same integration time and the imaging output of two frames having different integration times, which are imaging outputs necessary for flicker determination, are obtained. Further, the luminance of the area shown in FIG. 6 is calculated from this imaging output, and the luminance change of the two frames having the same integration time and the luminance change of the two frames having different integration times are obtained for each area by the calculation of Expression (1). .

ステップS209以降で行う、フリッカの判定を行う処理の説明をする前に、ステップS201からS208までに得られたデータと、フリッカ光源との関係を、図9〜15を用いて説明する。   Before describing the flicker determination process performed in step S209 and subsequent steps, the relationship between the data obtained in steps S201 to S208 and the flicker light source will be described with reference to FIGS.

図9は、フリッカを有する照明が、被写体を均一に照射しているケースである。被写体とフリッカ光源の位置関係は固定としている。このような設定における輝度と積分時間の関係を図10に示す。ここでは、商用電源周波数は60Hzで、フリッカ明滅周波数が120Hz、また撮像出力のフレームレートは120fpsで、フリッカ明滅周波数と撮像出力のフレームレートが同期している場合を例に説明する。   FIG. 9 shows a case where the illumination having flicker uniformly illuminates the subject. The positional relationship between the subject and the flicker light source is fixed. FIG. 10 shows the relationship between the luminance and the integration time in such a setting. Here, a case where the commercial power supply frequency is 60 Hz, the flicker blinking frequency is 120 Hz, the imaging output frame rate is 120 fps, and the flicker blinking frequency and the imaging output frame rate are synchronized will be described as an example.

図10の一番上のグラフ「A:照射面輝度変動」は被写体の輝度変動を示す。横軸はグラフA、B、C共通の時間軸である経過時間、縦軸は輝度を示す。120Hzのフリッカは、8.33msの周期で明滅を繰り返し、特に消灯するタイミングでは輝度の単位時間当たりの変化が大きくなる特徴がある。   The top graph “A: Irradiation surface luminance fluctuation” in FIG. 10 shows the luminance fluctuation of the subject. The horizontal axis represents elapsed time that is a common time axis for graphs A, B, and C, and the vertical axis represents luminance. The 120 Hz flicker repeats blinking at a cycle of 8.33 ms, and has a feature that the change in luminance per unit time becomes large particularly at the timing of turning off the light.

次に、ある積分時間「T」で、積分した場合の、図6で示された9個の領域の積分時間とタイミングについて、図10の上から2番目のグラフ「B:積分時間Tによる逐次積分」に基づいて説明する。   Next, with respect to the integration time and timing of the nine regions shown in FIG. 6 when integration is performed at a certain integration time “T”, the second graph “B: Sequential by integration time T” from the top of FIG. This will be described based on “integration”.

図7のように、上から逐次積分を開始する撮像素子では、画素ごとに上から逐次積分が開始される。図6で示される領域の中には複数の画素が存在しており、その画素の積分タイミングは領域内部でも画素ごとに異なるが、領域内の画素の出力を平均して「領域の輝度値」とし、領域1から領域9へ逐次積分を開始しているとみなして図示したのが図10のグラフBである。   As shown in FIG. 7, in an image sensor that starts sequential integration from the top, sequential integration is started from the top for each pixel. There are a plurality of pixels in the region shown in FIG. 6, and the integration timing of the pixels varies from pixel to pixel even within the region, but the output of the pixels in the region is averaged to obtain a “region luminance value”. The graph B in FIG. 10 shows that the sequential integration from the region 1 to the region 9 is started.

120fpsで領域1から積分開始し、領域9まで逐次積分動作を行い、これを積分1回目とする。グラフBでは3回繰り返して120fpsで積分動作が行われている様子を示している。   Integration is started from region 1 at 120 fps, and sequential integration operation is performed up to region 9, which is the first integration. Graph B shows a state where the integration operation is performed at 120 fps repeatedly three times.

まず、積分1回目に着目すると、グラフAに示される照射面の輝度が一番高いタイミングに、積分時間の中心が来ている領域は「領域2」である。よって、領域2から算出される輝度値は、他の領域に比べ高くなる。一方、グラフAで照射面の輝度が一番低くなるのが「領域7」であり、領域7から算出される輝度値は、9つの領域の中で一番低い輝度となる。   First, focusing on the first integration, the region where the center of the integration time is at the timing when the luminance of the irradiated surface shown in graph A is the highest is “region 2”. Therefore, the luminance value calculated from the area 2 is higher than that of other areas. On the other hand, in the graph A, the luminance of the irradiated surface is the lowest in “region 7”, and the luminance value calculated from the region 7 is the lowest among the nine regions.

フリッカ周期と撮像の周期は同期しているので、明るい領域と暗い領域の関係は、積分2回目、積分3回目でも保たれる。このように、積分時間が同じ場合、すなわち積分1回目、2回目、3回目で得られる各領域の輝度値を比較すると、同じ輝度値が得られることがわかる。   Since the flicker cycle and the imaging cycle are synchronized, the relationship between the bright region and the dark region is maintained even during the second integration and the third integration. As described above, when the integration times are the same, that is, when the luminance values of the respective areas obtained in the first integration, second integration, and third integration are compared, it can be seen that the same luminance value is obtained.

図10のグラフ「C:積分時間「t」による逐次積分」は、積分時間をTとは異なる時間「t」で積分した場合を示す。   The graph “C: Sequential integration by integration time“ t ”” in FIG. 10 shows a case where the integration time is integrated at a time “t” different from T.

積分開始タイミングは、グラフBと同じだが、積分時間が短いために、積分時間の中心が変わり、結果として積分時間「t」で一番明るい領域は「領域4」、一番暗い領域は「領域9」となる。図11のグラフA,B,Cより、フリッカ照明下では積分時間を変えると、領域ごとに出てくる輝度値が異なるということになる。   The integration start timing is the same as graph B, but the integration time is short because the integration time is short. As a result, the brightest region at integration time “t” is “region 4”, and the darkest region is “region”. 9 ". From the graphs A, B, and C in FIG. 11, when the integration time is changed under flicker illumination, the luminance value that appears in each region is different.

そして、積分時間Tで取得したグラフBの領域7と、積分時間tで取得したグラフCの領域9を比較すると、最も暗くなる時刻を積分時間の中心とするものの、積分時間Tは比較的明るい時刻も含めて積分しており、一方、積分時間の短い方は、輝度が暗い時間に限って積分しているので、グラフBの積分時間Tの領域7よりも、グラフCの積分時間tの領域9から算出される輝度値の方が、輝度が暗いことが示されている。   When comparing the region 7 of the graph B acquired at the integration time T and the region 9 of the graph C acquired at the integration time t, the integration time T is relatively bright although the darkest time is the center of the integration time. On the other hand, the integration is performed including the time. On the other hand, the shorter integration time is integrated only in the time when the luminance is dark. Therefore, the integration time t of the graph C is higher than the region 7 of the integration time T of the graph B. It is indicated that the luminance value calculated from the region 9 is darker.

図10のグラフ「D:積分により得られた輝度値(測光値)」は、横軸の時間軸に9つの領域の積分時間の中心時刻を記載し、縦軸に各領域から得られた輝度値を示す。積分時間Tは実線、積分時間tは破線で示し、積分時間を変更すると得られる輝度値が変化する関係になる。   The graph “D: Luminance value (photometric value) obtained by integration” in FIG. 10 describes the central time of the integration time of nine regions on the horizontal axis, and the luminance obtained from each region on the vertical axis. Indicates the value. The integration time T is indicated by a solid line, the integration time t is indicated by a broken line, and the obtained luminance value changes when the integration time is changed.

図9、図10に示すように、蛍光灯のフリッカによる明滅以外に照射面の輝度変動要因が無いケースでは、フリッカ成分のみが輝度値として現れるので、積分時間が異なる撮像出力を比較することによりフリッカ光源か否かの判定が可能である。   As shown in FIGS. 9 and 10, in the case where there is no luminance fluctuation factor on the irradiated surface other than the flickering caused by flickering of the fluorescent lamp, only the flicker component appears as the luminance value. Therefore, by comparing the imaging outputs having different integration times, It is possible to determine whether the light source is a flicker light source.

しかし、実際の撮影シーンでは図11に示すように、被写体が動く状況があり、光源がフリッカ明滅のないフリッカレス光源であっても取得する輝度値が変化する。   However, in an actual shooting scene, as shown in FIG. 11, there is a situation where the subject moves, and even if the light source is a flickerless light source that does not flicker, the acquired luminance value changes.

図12は、図11の状況における輝度変化等を、図10と同様の形態で表示したものである。図12のグラフAはランダムな輝度変化を繰り返す。このような被写体状況では、シャッタ速の変更に関わらず輝度値の変動は生じる。   FIG. 12 shows changes in luminance and the like in the situation of FIG. 11 in the same form as in FIG. Graph A in FIG. 12 repeats random luminance changes. In such a subject situation, the luminance value fluctuates regardless of the change in the shutter speed.

図12では、積分時間が同じ積分1回目、2回目、3回目でも各領域とも輝度変動は発生する。また、積分時間「T」と積分時間「t」による違いも発生する。   In FIG. 12, the luminance fluctuation occurs in each region even at the first integration, second integration, and third integration with the same integration time. Further, a difference due to the integration time “T” and the integration time “t” also occurs.

従って、図12に示すように、フリッカ光源下かつ被写体が動いているという一般的な被写体の照射面輝度は、フリッカ明滅による変動成分と被写体の動きによる変動成分が重畳したものとなる。   Therefore, as shown in FIG. 12, the illumination surface luminance of a general subject in which the subject is moving under the flicker light source is obtained by superimposing a variation component due to flicker blinking and a variation component due to subject movement.

そのため、フリッカ成分と被写体の変動成分が重畳した被写体の照射面輝度から、被写体がフリッカ光源か否かを判断することは、積分時間が異なる撮像出力の比較のみで行うのは困難である。   For this reason, it is difficult to determine whether or not the subject is a flicker light source from the illumination surface luminance of the subject in which the flicker component and the subject variation component are superimposed only by comparing the imaging outputs with different integration times.

本実施例では、図5のフリッカ検出処理によりこのような問題を解決する。また、本実施例の動作を、図10、12と同様の形態にて図14に示す。   In the present embodiment, such a problem is solved by the flicker detection process of FIG. The operation of this embodiment is shown in FIG. 14 in the same manner as in FIGS.

図14のグラフ「A:照射面輝度変動」は、フリッカ明滅による8.33ms周期で輝度変化する成分と、ランダムな被写体の移動により変化する輝度成分が重畳している状態を示す。積分1回目と2回目は同じ積分時間とし、積分3回目について積分時間を短くして取得している。これは図5のステップS201からS206までで説明した状態であり、図5の1駒目が積分1回目、2駒目が積分2回目、3駒目が積分3回目に対応するものである。   The graph “A: Irradiation surface luminance fluctuation” in FIG. 14 shows a state in which a component that changes in luminance in a cycle of 8.33 ms due to flicker blinking and a luminance component that changes due to random movement of the subject are superimposed. The first integration time and the second integration time are the same integration time, and the third integration time is obtained by shortening the integration time. This is the state described in steps S201 to S206 in FIG. 5. The first frame in FIG. 5 corresponds to the first integration, the second to the second integration, and the third to the third integration.

図15は、ステップS207で得られた1、2駒目の変動量と、S208で得られた2、3駒目で得られた変動量の時間変化を示すものである。1、2駒目の変動量である「2駒目−1駒目」は、同じ積分時間で撮像動作を行った2駒目と1駒目の輝度値の差分である。また、2、3駒目の変動量である「3駒目−2駒目」は、異なる積分時間で撮像動作を行った3駒目と2駒目の輝度値の差分である。   FIG. 15 shows the change over time of the first and second frame variation obtained in step S207 and the second and third frame variation obtained in S208. “2nd frame-1 frame” which is the variation amount of the 1st frame and the 2nd frame is a difference between the luminance values of the 2nd frame and the 1st frame in which the imaging operation is performed with the same integration time. “3rd frame-2th frame” which is the variation amount of the 2nd frame and the 3rd frame is a difference between the luminance values of the 3rd frame and the 2nd frame in which the imaging operation is performed with different integration times.

さらに、ステップS208にて、図15に示す「3駒目−2駒目」の最大値と最小値の差である「3駒目−2駒目の振幅」を算出する。またステップS207では、同様に「2駒目−1駒目の振幅」を算出する。   Further, in step S208, the “amplitude of the third frame-2 frame” that is the difference between the maximum value and the minimum value of “third frame-2 frame” shown in FIG. 15 is calculated. In step S207, “the amplitude of the second frame-1 frame” is similarly calculated.

後述するステップS209では、ステップS208で得られた「3駒目−2駒目の振幅」が、ステップS207で得られた「2駒目−1駒目の振幅」よりも十分大きいかどうかを比較し、十分大きいと判断された場合にフリッカ判定のうちの一つの条件に該当したと判定するものである。具体的には以下の式(2)を満たす場合にフリッカ判定のうちの一つの条件に該当すると判定する。   In step S209, which will be described later, a comparison is made as to whether or not the “amplitude of the 3rd frame-2 frame” obtained in step S208 is sufficiently larger than the “amplitude of the 2nd frame-1 frame” obtained in step S207. However, when it is determined that it is sufficiently large, it is determined that one of the conditions for flicker determination is met. Specifically, when the following expression (2) is satisfied, it is determined that one of the flicker determination conditions is met.

(3駒目−2駒目の振幅)/(2駒目−1駒目の振幅)> 閾値D・・・(2)
閾値Dは、後述するように1例として2としてもよいし、さまざまな条件に応じて適宜変更してもよい。このように輝度値の差分の振幅を比較することにより、フリッカ光源下か否かの判定を行う原理について説明する。
(Amplitude of 3rd frame-2nd frame) / (Amplitude of 2nd frame-1st frame)> Threshold value D (2)
The threshold value D may be 2 as an example as will be described later, or may be changed as appropriate according to various conditions. The principle of determining whether or not the flicker light source is present by comparing the amplitudes of the luminance value differences in this way will be described.

人の目では視認できないほど早いフリッカ明滅に比べ、視認できるような被写体の移動による輝度変動は比較的緩やかで単位時間当たりの輝度変動は少ない。   Compared with flicker blinking that is too fast to be visually recognized by human eyes, the luminance fluctuation due to the movement of the subject that can be visually recognized is relatively gradual and the luminance fluctuation per unit time is small.

図16に示す1例のように、積分時間を4ms、感度をISO200で取得した撮像出力と、積分時間を1段分減らした2ms、その分だけ感度を1段増やしてISO400とした場合を比較すると、輝度変化がなければ同じ輝度値が得られるが、例えば8.33msの周期でフリッカ明滅するような輝度が早く変化する状況に対しては、積分時間の違いによる輝度値の違いは大きくなる。   Compared to the imaging output acquired with integration time of 4 ms and sensitivity acquired by ISO 200, and the integration time reduced by one step, 2 ms, and the sensitivity increased by one step to ISO 400 as shown in the example shown in FIG. Then, if there is no change in luminance, the same luminance value can be obtained. However, for a situation where the luminance changes rapidly such as flickering in a cycle of 8.33 ms, the difference in luminance value due to the difference in integration time becomes large. .

なお、輝度値は、図16にて積分時間2ms(ISO400)の場合はL(2ms)(右上がり斜線部の面積)、積分時間4ms(ISO200)の場合はL(4ms)(右下がり斜線部の面積)にそれぞれ相当し、輝度値に換算して比較する場合は、感度の差を考慮して2×L(2ms)とL(4ms)とを比較する。   Note that the luminance values in FIG. 16 are L (2 ms) (the area of the upward-sloping shaded area) when the integration time is 2 ms (ISO400), and L (4 ms) (the downward-sloping shaded part when the integration time is 4 ms (ISO200)). 2 × L (2 ms) and L (4 ms) are compared in consideration of the difference in sensitivity.

一方、被写体の移動のようにゆるやかな変化をするものに対しては、図16と同様な表記により図17に示す。図17に示されるように、積分時間を2ms(ISO400)と4ms(ISO200)変化させた場合の輝度値の差は、フリッカ明滅の状況における測光値の差よりも小さくなる。   On the other hand, for a subject that slowly changes like the movement of the subject, FIG. 17 shows the same notation as in FIG. As shown in FIG. 17, the difference in luminance value when the integration time is changed by 2 ms (ISO 400) and 4 ms (ISO 200) is smaller than the difference between the photometric values in the flicker blinking situation.

また、フリッカ明滅に匹敵するほどの被写体の変化が激しい場合は、上記判定方法ではフリッカと見分けがつきにくい。しかし、フリッカ成分と被写体の動きが同じ程度で変動しているような被写体においては、フリッカによる縞模様が、被写体の激しい変化にまぎれて目立たないので、フリッカ光源下かどうかを判定する必要性は小さい。   In addition, when the subject changes so much as to flicker flickering, it is difficult to distinguish it from flicker by the above determination method. However, for a subject whose flicker component and subject's movement fluctuate at the same level, the flickering pattern due to flicker is inconspicuous due to the drastic change of the subject, so there is no need to determine whether it is under the flicker light source. small.

以上に述べた原理に基づき、積分時間が異なる撮像出力の変動と、積分時間が同じ撮像出力の変動との比が所定値(例えば2)よりも大きい場合、フリッカ有りと判定する。   Based on the principle described above, if the ratio of fluctuations in imaging output with different integration times and fluctuations in imaging output with the same integration time is greater than a predetermined value (for example, 2), it is determined that there is flicker.

一方、積分時間が異なる撮像出力の変動と積分時間が同じ撮像出力の変動との比が所定値(例えば2)より小さい場合、フリッカ成分があったとしてもフリッカの影響はライブビュー表示で目立つレベルではないと考えられ、フリッカの影響は十分に小さいと判断しフリッカなしと判定する。上記所定値は、さまざまな条件により変更してもよい。   On the other hand, if the ratio of fluctuations in imaging output with different integration times and fluctuations in imaging output with the same integration time is smaller than a predetermined value (for example, 2), even if there is a flicker component, the effect of flicker is conspicuous in live view display. Therefore, it is determined that the influence of flicker is sufficiently small, and it is determined that there is no flicker. The predetermined value may be changed according to various conditions.

次に、図5に戻って説明する。   Next, referring back to FIG.

ステップS209にて、ステップS208で得られた変動量が、ステップS207で得られた変動量に比べて2倍以上ある場合、被写体はフリッカ光源下であると判断し、ステップS210へ進む。一方、2倍より小さい場合は、被写体はフリッカ光源下ではない、もしくはフリッカ光源の影響は十分に小さいと判断し、フリッカ判定処理を終了する。   In step S209, if the amount of variation obtained in step S208 is more than twice the amount of variation obtained in step S207, it is determined that the subject is under a flicker light source, and the process proceeds to step S210. On the other hand, if it is smaller than twice, it is determined that the subject is not under the flicker light source or the influence of the flicker light source is sufficiently small, and the flicker determination process is terminated.

ステップS210にて、輝度変動の周期を調べ、フリッカ周期に同期したものかどうか調べ、周期性がフリッカ周期に該当するかを判断する。   In step S210, the luminance fluctuation period is checked to determine whether it is synchronized with the flicker period, and it is determined whether the periodicity corresponds to the flicker period.

図18に示すように、3駒目と2駒目の差分について、正から負に切り替わる切り替わりポイントを調べる。「領域N」と「領域N+1」を比較し、「領域N」が正、「領域N+1」が負または0、となるNを探す。   As shown in FIG. 18, the switching point at which switching from positive to negative is examined for the difference between the third frame and the second frame. The “region N” and the “region N + 1” are compared, and an N in which “region N” is positive and “region N + 1” is negative or 0 is searched.

被写体がフリッカ光源下の場合、このような複数の切り替わりポイントの間隔である図18に示す間隔1がフリッカ1周期分の時間に相当しているか判定する。   When the subject is under a flicker light source, it is determined whether the interval 1 shown in FIG. 18 which is the interval between a plurality of switching points corresponds to the time corresponding to one flicker cycle.

図10、12、14には示していないが、領域1から領域9の間に1周期分以上かけて画面全体を積分する撮像素子の場合は、フリッカ1周期分、8.33ms積分開始時間がずれる領域数分、切り替わりポイントが離れているか否かで判断できる。   Although not shown in FIGS. 10, 12, and 14, in the case of an image sensor that integrates the entire screen over one period or more between region 1 and region 9, flicker one period, 8.33 ms integration start time It can be determined by whether or not the switching points are separated by the number of areas to be shifted.

同様に、「領域N」と「領域N+1」の比較により、負から正に切り替わる切り替わりポイントも求めると、図18に示す例では3個の切り替わりポイントが得られ、例えば間隔2がフリッカ周期の概略半分かどうか、という方法で調べることもできる。   Similarly, when a switching point for switching from negative to positive is also obtained by comparing “region N” and “region N + 1”, three switching points are obtained in the example shown in FIG. 18, for example, interval 2 is an outline of the flicker cycle. You can also check whether it is half or not.

1画面分の撮像出力を取得する時間が、フリッカ周期よりも数倍長くライブビュー上に縞が多く発生するような場合では、領域数を9個より多く増やしてフーリエ変換など周波数成分を調べる方法も有効である。   When the time to acquire the imaging output for one screen is several times longer than the flicker cycle and many stripes are generated on the live view, the number of areas is increased by more than 9 and frequency components such as Fourier transform are examined. Is also effective.

このように、輝度値の変動周期が、フリッカ周期と略一致し、周期性評価としてフリッカ周期に該当すると判定した場合に、ステップS211へ進む。そして、ステップS211にてフリッカを検出したという判定をする。   As described above, when it is determined that the fluctuation cycle of the luminance value substantially coincides with the flicker cycle and corresponds to the flicker cycle as the periodicity evaluation, the process proceeds to step S211. In step S211, it is determined that flicker has been detected.

以上で、図5のフリッカ判定処理の動作について説明を終了する。   The description of the operation of the flicker determination process in FIG.

なお、本実施例における同じ積分時間とは、両方の積分時間の比率が0.75より大きく、1.25より小さい範囲内を同じ積分時間とする。また、異なる積分時間とは、両方の積分時間の比率が0.75以下または1.25以上を異なる積分時間とする。   In the present embodiment, the same integration time means that the ratio of both integration times is greater than 0.75 and less than 1.25 is the same integration time. Further, different integration times are defined as different integration times when the ratio of both integration times is 0.75 or less or 1.25 or more.

次に、第1実施例の変形例を以下に説明する。フリッカが横の縞としてライブビュー表示に影響を与えることを利用して、図19に示すように測光領域を撮影画面の横方向にもさらに隣接して配置し、ステップS210にて周期性評価の判定を行う。即ち、図19にて撮像領域400の測光領域401の横方向に測光領域402、403を配置する。測光領域402、403は測光領域401と同様にそれぞれ領域1から領域9を有する。   Next, a modification of the first embodiment will be described below. Utilizing the fact that flicker affects live view display as horizontal stripes, as shown in FIG. 19, the photometric area is arranged further adjacent in the horizontal direction of the shooting screen, and periodicity evaluation is performed in step S210. Make a decision. That is, the photometric areas 402 and 403 are arranged in the lateral direction of the photometric area 401 of the imaging area 400 in FIG. Similar to the photometric area 401, the photometric areas 402 and 403 have areas 1 to 9, respectively.

そして、上記ステップS210で求めた領域1から領域9の中での切り替わりポイントが、図20に示すように測光領域401とその横方向に隣接する測光領域402、および測光領域403とで一致するかどうかを判別し、これらが一致した場合にステップS211に進むようにする。   Then, whether the switching point in the region 1 to the region 9 obtained in step S210 is the same in the photometric region 401, the photometric region 402 adjacent in the lateral direction, and the photometric region 403 as shown in FIG. It is discriminated whether or not, and if they match, the process proceeds to step S211.

このようにして、周期性評価の確実性をより向上させることが可能である。   In this way, the certainty of periodicity evaluation can be further improved.

なお、撮像のフレームレートが60fpsのケースでは、フリッカ2周期分と同期することとなり、30fpsはフリッカ4周期分と同期することとなるので、本実施例の120fpsの場合と同じ現象が発生し、撮像のフレームレートが60fps、30fpsであっても本実施例によるフリッカ判定処理は有効である。   In the case where the imaging frame rate is 60 fps, the flicker is synchronized with 2 cycles, and 30 fps is synchronized with 4 flickers, so the same phenomenon as in the case of 120 fps in this embodiment occurs. Even if the imaging frame rate is 60 fps or 30 fps, the flicker determination processing according to this embodiment is effective.

以上説明したように、第1実施例においては、同じ積分時間による撮像出力の変動量に基づいて、異なる積分時間による撮像出力の変動量を、フリッカ成分として判定するかどうかを判断することで、被写体の動きによる誤判定を取り除くことが可能となる。   As described above, in the first embodiment, by determining whether or not the fluctuation amount of the imaging output due to the different integration time is determined as the flicker component based on the fluctuation amount of the imaging output due to the same integration time, It is possible to eliminate erroneous determination due to movement of the subject.

また、被写体がフラットで動きが少ない場合は、微弱なフリッカ縞でもライブビュー表示上で目立つが、同じ積分時間による撮像出力の変化量が小さいので、異なる積分時間による撮像出力の変動量が小さくてもフリッカ成分として判断することができ、フリッカ検出能力を向上させることが可能である。また、被写体の動きによる影響だけでなく、カメラの手ブレの影響についても同様の方法で、フリッカ検出の誤判定を取り除くことが可能となる。   In addition, when the subject is flat and moves little, even a slight flicker stripe is conspicuous on the live view display, but since the amount of change in image output due to the same integration time is small, the amount of change in image output due to different integration time is small. Can also be determined as a flicker component, and the flicker detection capability can be improved. In addition to the influence of the movement of the subject, it is possible to remove the erroneous determination of flicker detection by the same method for the influence of camera shake.

次に、第2実施例について説明する。第2実施例の構成は、第1実施例の構成を示す図1と同様であり、図4のカメラの基本動作の処理も同様である。以下、第1実施例と異なる部分についてのみ説明する。   Next, a second embodiment will be described. The configuration of the second embodiment is the same as that of FIG. 1 showing the configuration of the first embodiment, and the processing of the basic operation of the camera of FIG. 4 is also the same. Only the parts different from the first embodiment will be described below.

図5に示す第1実施例のフリッカ判定処理では、積分1回目と積分2回目を、同じ積分時間で撮像出力を取得し、積分3回目を前の2回とは異なる短い積分時間で積分する例を示した。   In the flicker determination process of the first embodiment shown in FIG. 5, the imaging output is acquired with the same integration time for the first integration and the second integration, and the integration is integrated with a shorter integration time than the previous two integration times. An example is shown.

第2実施例では、積分1回目、積分2回目、積分3回目を同じ時間とし、積分4回目を前の3回とは異なる積分時間とすることで、商用電源周波数60Hzと50Hzの両方のフリッカについて判別する能力を有するものである。   In the second embodiment, the first integration time, the second integration time, and the third integration time are set to the same time, and the fourth integration time is set to a different integration time from the previous three times. It has the ability to discriminate about.

撮像出力のフレームレートが30fpsの場合、商用電源周波数60Hz地域でのフリッカ照明は120Hzのフリッカ周期であり、図2Bで説明したように撮像出力のフレームレートと同期する。一方、商用電源周波数50Hz地域でのフリッカ照明では、図2Aで記載したように、フレーム間で縞模様が変化する。この変化は、フリッカ周期10msと、撮像出力周期33.3ms(1/30fps)の最小公倍数である100msで同期する。積分時間が同じである3回分の積分値を平均すると、フリッカ成分の影響を弱めたデータが得られることは、前述した先行技術のように公知である。従って、撮像出力と同期しないフリッカ成分を検出する場合は3駒比較の方が、積分時間変更による検出よりも良好に検出できることから、撮像出力のフレームレートと同期しないフリッカである100Hzのフリッカと、同期する120Hzのフリッカを別々の判断方法で検出するものである。   When the frame rate of the imaging output is 30 fps, the flicker illumination in the commercial power supply frequency 60 Hz region has a flicker cycle of 120 Hz, and is synchronized with the frame rate of the imaging output as described with reference to FIG. 2B. On the other hand, in flicker illumination in a region where the commercial power supply frequency is 50 Hz, as described in FIG. 2A, the stripe pattern changes between frames. This change is synchronized at a flicker cycle of 10 ms and 100 ms, which is the least common multiple of the imaging output cycle of 33.3 ms (1/30 fps). It is known as in the prior art described above that the average of the integration values for three times with the same integration time can provide data in which the influence of the flicker component is weakened. Therefore, when detecting a flicker component that is not synchronized with the imaging output, the three-frame comparison can be detected better than the detection by changing the integration time. The synchronized 120 Hz flicker is detected by different judgment methods.

図21に、第2実施例のフリッカ判定処理のフローチャートを示す。   FIG. 21 shows a flowchart of the flicker determination process of the second embodiment.

ステップS301にて、図4のステップS104で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、積分時間、感度を算出して、この算出された値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を実行し撮像出力を得る。   In step S301, based on the luminance value obtained in step S104 of FIG. 4, an aperture value, an integration time, and a sensitivity for obtaining an appropriate exposure level are calculated, and the calculated value is used as a lens aperture, An image pickup operation is executed by setting the electronic shutter and sensitivity of the image pickup element to obtain an image pickup output.

ステップS302からS304では、ステップS104と同様にして、撮像出力に基づいて図6に示す測光領域ごとに輝度値を算出する。   In steps S302 to S304, the luminance value is calculated for each photometric area shown in FIG. 6 based on the imaging output in the same manner as in step S104.

ステップS302では1駒目の、ステップS303では2駒目の、ステップS304では3駒目の輝度値を取得し、ステップS302、S303、S304では全て同じ積分時間で撮像動作を行う。   In step S302, the luminance value of the first frame is acquired, in step S303 the second frame is acquired, and in step S304, the luminance value of the third frame is acquired. In steps S302, S303, and S304, the imaging operation is performed with the same integration time.

ステップS305では、ステップS302、S303、S304で制御した絞り値、積分時間、感度のうち、積分時間を1段分速く設定する。そして、シャッタ速を速くした分だけ露出がアンダーにならないように感度を1段増加する。   In step S305, among the aperture value, integration time, and sensitivity controlled in steps S302, S303, and S304, the integration time is set faster by one step. Then, the sensitivity is increased by one step so that the exposure does not become under as much as the shutter speed is increased.

そして、ステップS306にて4駒目の撮像動作を行い、撮像出力を取得して、図6で示される領域の輝度値を得る。   In step S306, the fourth frame imaging operation is performed to acquire the imaging output, and the luminance value of the region shown in FIG. 6 is obtained.

ステップS307にて、同じ積分時間で撮像動作を行った1、2、3駒目の輝度値に基づいて、50Hzフリッカを検出する。フリッカ検出方法は、すでに公知であり前述した先行技術にも記載しているため簡単に以下に記載する。   In step S307, 50 Hz flicker is detected based on the luminance values of the first, second, and third frames in which the imaging operation is performed with the same integration time. Since the flicker detection method is already known and described in the prior art described above, it will be briefly described below.

上記1〜3駒について算出された各領域の輝度値の平均値を算出する。例えば領域1について下記の式により求める。
[(1駒目の領域1の輝度値)+(2駒目の領域1の輝度値)+(3駒目の領域1の輝度値)]/3 ・・・ (3)
式(3)の計算を9個の領域について行う。
The average value of the luminance values of the respective areas calculated for the above 1 to 3 frames is calculated. For example, the region 1 is obtained by the following formula.
[(Brightness value of area 1 of the first frame) + (Brightness value of area 1 of the second frame) + (Brightness value of area 1 of the third frame)] / 3 (3)
The calculation of Equation (3) is performed for nine regions.

この9個の領域の輝度値は、フリッカ成分がかなり軽減されたものとなる。1駒目の領域1〜9について、各領域に輝度値から3駒分の輝度値の平均値を引き算すると、フリッカ環境下の場合、フリッカ成分のみが抽出される。   The luminance values of these nine areas are obtained by considerably reducing the flicker component. When the average value of the luminance values of three frames is subtracted from the luminance values for the first frame regions 1 to 9, only the flicker component is extracted in a flicker environment.

他の2駒についても同様にして、各領域の輝度値から3駒分の輝度値の平均値の差分をとり、得られた差分はフリッカ成分に相当するので、フリッカ成分の特徴量、例えば周波数成分などを調べることで、50Hzフリッカと判断するものである。   Similarly, for the other two frames, the average value of the luminance values of three frames is calculated from the luminance value of each region, and the obtained difference corresponds to the flicker component. Therefore, the feature amount of the flicker component, for example, the frequency By examining the components and the like, it is determined that the flicker is 50 Hz.

このように撮像のフレームレートと同期しないフリッカ成分を、1、2、3駒目の撮像出力から判断し、フリッカ成分と判断された場合は、ステップS313へ進む。一方、フリッカ成分と判断されない場合はステップS308へ進む。   The flicker components that are not synchronized with the imaging frame rate are determined from the imaging output of the first, second, and third frames. If the flicker components are determined to be flicker components, the process proceeds to step S313. On the other hand, if the flicker component is not determined, the process proceeds to step S308.

ステップS308では、ステップS208と同様にして、以下の計算を行う。
「領域N差分」=「3駒目・領域Nの輝度」−「2駒目・領域Nの輝度」 ・・・(4)
上記(4)式により、3駒目と2駒目の各領域の輝度値の変動量を算出する。
In step S308, the following calculation is performed as in step S208.
“Region N difference” = “Brightness of the third frame / region N” − “Brightness of the second frame / region N” (4)
The variation amount of the luminance value of each area of the third frame and the second frame is calculated by the above equation (4).

ステップS309にて、ステップS308と同様にして、以下の計算を行う。
「領域N差分」=「4駒目・領域Nの輝度」−「3駒目・領域Nの輝度」 ・・・(5)
上記(5)式により、4駒目と3駒目の各領域の輝度値の変動量を算出する。
In step S309, the following calculation is performed in the same manner as in step S308.
“Region N difference” = “Brightness of the fourth frame / region N” − “Brightness of the third frame / region N” (5)
The variation amount of the luminance value of each area of the fourth frame and the third frame is calculated by the above equation (5).

ステップS310、S311にて、ステップS209、S210と同様のチェックを行う。ステップS310にて4駒目と3駒目の変動量が所定の閾値を超える場合、かつステップS311にて周期性評価により60Hzフリッカ周期に該当すると判定された場合にステップS312に進み、60Hzのフリッカが有ると判定する。   In steps S310 and S311, the same checks as in steps S209 and S210 are performed. If the variation amount of the fourth frame and the third frame exceeds the predetermined threshold value in step S310, and if it is determined in step S311 that it corresponds to the 60 Hz flicker period by the periodicity evaluation, the process proceeds to step S312 and flickers of 60 Hz It is determined that there is.

ただし、50Hzのフリッカの環境下にある場合は、ステップS307の分岐によりステップS311に進むことはないので、ステップS312にて判定するのは同期している60Hzのフリッカである。   However, in a 50 Hz flicker environment, the process does not proceed to step S 311 due to the branching of step S 307, and therefore, it is the synchronized 60 Hz flicker that is determined in step S 312.

ステップS313にて、50Hzフリッカと判定する。このように、撮像フレームレートに同期していないフリッカは、同期しているフリッカと比べて縞の挙動が大きく異なるので、50Hzと60Hzのフリッカを別々に検出する方が良好な検出が可能である。   In step S313, it is determined as 50 Hz flicker. Thus, flicker that is not synchronized with the imaging frame rate has a greatly different fringe behavior than that of synchronized flicker. Therefore, it is possible to perform better detection by separately detecting 50 Hz and 60 Hz flicker. .

また、図21に示すフリッカ判定処理は、撮像フレームレートが30fpsに限定されるものではない。撮像フレームレートが60fps(周期16.6ms)の場合は、50Hzフリッカの周期100msとの最小公倍数は6駒分なので、6駒平均のデータを用いてもよい。   Further, the flicker determination process shown in FIG. 21 is not limited to the imaging frame rate of 30 fps. When the imaging frame rate is 60 fps (cycle: 16.6 ms), the least common multiple with the 50 Hz flicker cycle of 100 ms is six frames, so six-frame average data may be used.

また、変形例として図22に示すように、フレームを間引いて1駒おきの撮像出力に基づく輝度値を用いてもよい。撮像フレームレートが120fpsの場合は、4駒おきの撮像出力も基づく輝度値を用いてもよい。このように撮像フレームレートが増加した場合は、適切に間引いた撮像出力を用いることで、図21と同様の方法でフリッカ判定が可能である。   As a modification, as shown in FIG. 22, a luminance value based on imaging output every other frame by thinning out frames may be used. When the imaging frame rate is 120 fps, a luminance value based on imaging output every four frames may be used. When the imaging frame rate increases in this way, flicker determination can be performed by the same method as in FIG. 21 by using the imaging output appropriately thinned out.

さらに他の変形例を図23に示す。図23においては、3回の積分動作のうちの1回目と3回目の積分時間をTとし、2回目の積分時間をtとする。この場合、積分1回目と積分3回目を同じ積分時間の撮像出力として輝度値を比較し、積分1回目と2回目の撮像出力を、積分時間の異なる撮像出力として輝度値を比較することにより、同様の効果を得ることができる。このように、同じ積分時間と、異なる積分時間の順序は特に限定されるものではない。   Yet another modification is shown in FIG. In FIG. 23, the first and third integration times of the three integration operations are T, and the second integration time is t. In this case, by comparing the luminance value as the imaging output of the same integration time for the first integration and the third integration, and comparing the luminance value as the imaging output of the first integration and the second integration, Similar effects can be obtained. Thus, the order of the same integration time and different integration times is not particularly limited.

次に、第3実施例について説明する。   Next, a third embodiment will be described.

第1、2実施例では、図6に示す測光領域401の撮像出力より求められる輝度値の差に基づきフリッカ判定処理を行っているのに対して、第3実施例では複数の撮像出力に基づいて動きベクトルを求め、さらに動きベクトルに基づいてフリッカ判定処理を行う点が異なる。   In the first and second embodiments, the flicker determination processing is performed based on the difference in luminance value obtained from the imaging output of the photometry area 401 shown in FIG. 6, whereas in the third embodiment, based on a plurality of imaging outputs. The difference is that a motion vector is obtained and flicker determination processing is further performed based on the motion vector.

画像処理IC102の内部には、不図示の動きベクトル算出部が設けられている。動きベクトル算出部は、撮像素子111より撮像素子駆動IC110を介して出力される複数の駒(フレーム)の撮像出力に基づいて動きベクトルを算出する。   A motion vector calculation unit (not shown) is provided inside the image processing IC 102. The motion vector calculation unit calculates a motion vector based on the imaging output of a plurality of frames (frames) output from the imaging element 111 via the imaging element driving IC 110.

図24で示されるように、撮影画面400に対して被写体Aの移動が2つの駒で発生した場合、図25に示すように、移動前の駒の撮像出力に位置する被写体上の特定の点が、移動後の駒の撮像出力のどこに位置するかを、2つの駒の撮像出力に関するパターンマッチング等の手法を用いて動いた方向を検出する技術が知られている。   As shown in FIG. 24, when the movement of the subject A occurs with respect to the shooting screen 400 by two frames, as shown in FIG. 25, a specific point on the subject located at the imaging output of the frame before the movement is A technique is known in which the position of the imaged output of the moved frame is detected using a method such as pattern matching related to the imaged output of two frames.

第3実施例は、上記公知の技術を利用するとともに、積分時間を変更して撮像動作を行うことにより、ライブビュー表示に発生する縞の濃さや太さが変わることを利用してフリッカを検出するものである。   The third embodiment uses the above known technique and detects flicker by changing the density and thickness of the stripes generated in the live view display by changing the integration time and performing the imaging operation. To do.

(フリッカ周期×整数倍)の撮像出力周期である場合、同じ積分時間の場合は前述のように、ライブビュー表示に現れるフリッカによる縞は、複数の駒にわたって移動することなく、一定の位置を保持して表示される。この時の動きベクトル算出部により算出される動きベクトルの例を図26に示す。図26に示すように被写体に関する動きベクトル410のみが発生し、フリッカによる縞の動きベクトルは発生しない。   When the imaging output cycle is (flicker cycle x integer multiple), the flicker fringes appearing in the live view display are maintained at a fixed position without moving across multiple frames as described above for the same integration time. Is displayed. An example of the motion vector calculated by the motion vector calculation unit at this time is shown in FIG. As shown in FIG. 26, only the motion vector 410 relating to the subject is generated, and the stripe motion vector due to flicker is not generated.

一方、同じ条件下で異なる積分時間の場合にはフリッカによる縞が変化するので、図27に示すように、縞の変化に応じた撮影画面400の横方向に並んで発生する動きベクトル411も動きベクトル算出部により算出される。Bμcom101は、画像処理IC102の動きベクトル算出部より、フレームごとに算出された動きベクトル情報を受信し、図26と図27の動きベクトルの違いを検出することにより、フリッカの有無を判定することができる。   On the other hand, since the fringes due to flicker change in the case of different integration times under the same conditions, as shown in FIG. 27, the motion vector 411 generated side by side in the horizontal direction of the shooting screen 400 corresponding to the change of the fringes also moves. Calculated by the vector calculation unit. The Bμcom 101 receives the motion vector information calculated for each frame from the motion vector calculation unit of the image processing IC 102, and determines the presence or absence of flicker by detecting the difference between the motion vectors in FIGS. it can.

次に変形例について説明する。   Next, a modified example will be described.

撮像出力は、RGBの色情報を持っていることから、RGBの割合の変化を見ても良い。蛍光灯の明滅時、色の変動が発生するので、ライブビューに表示される縞は、蛍光灯によっては赤色が目立つ縞となることがある。そのため積分時間が長い場合の撮像出力により図28に示す撮影画面上にフリッカの縞405Aが存在した場合、積分時間をより短くした場合の撮像出力により図29に示す撮影画面上のフリッカの縞405Bとなり、より赤さが強くなるという変化が生じる。   Since the imaging output has RGB color information, a change in the RGB ratio may be observed. When the fluorescent lamp flickers, color fluctuations occur, so that the stripe displayed in the live view may be a red-contrast stripe depending on the fluorescent lamp. Therefore, if flicker fringes 405A exist on the shooting screen shown in FIG. 28 due to the imaging output when the integration time is long, flicker fringes 405B on the shooting screen shown in FIG. 29 due to the imaging output when the integration time is shortened. Thus, a change occurs in which red becomes stronger.

例えば、図6に示す領域が、輝度情報ではなく、RGBそれぞれの積分値を分けてデータとして持たせることで、9個の領域ごとに、積分時間が同じ2つの駒の色の変動量と、積分時間が異なる駒の色の変動量を比較する、というように比較する変動量を置き換えてもよい。いずれも積分時間が同じ撮像出力の比較と積分時間が異なる撮像出力の比較の両方用いて判断するものであり同様な効果が得られる。   For example, the region shown in FIG. 6 is not luminance information but separates RGB integrated values as data, so that for each of the nine regions, the amount of change in color of two frames with the same integration time, and integration The amount of variation to be compared may be replaced, for example, the amount of variation in color of frames having different times is compared. In both cases, determination is made using both comparison of imaging outputs having the same integration time and comparison of imaging outputs having different integration times, and the same effect can be obtained.

以上説明したように、本実施の形態によれば、フリッカ周期とフレームレートが同期する場合、もしくは完全には同期していないが、フレームレートがフリッカ周期と同期する周波数に近い場合に、電子シャッタ速を変更した撮像出力を比較する手法を用いたフリッカ検出を用いても、ユーザの構図確認用として液晶モニタ140に表示するライブビューの動画の画質を落とすことなく、適切にフリッカ検出することが可能となる。   As described above, according to the present embodiment, when the flicker cycle and the frame rate are synchronized, or when the frame rate is close to the frequency synchronized with the flicker cycle although not completely synchronized, Even if flicker detection using a method of comparing imaging outputs with different speeds is used, flicker detection can be appropriately performed without degrading the image quality of the live view moving image displayed on the liquid crystal monitor 140 for user composition confirmation. It becomes possible.

すなわち、本実施の形態によれば、フレームレートとフリッカ光源の周波数が同期する場合でも、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことができる。   That is, according to the present embodiment, even when the frame rate and the flicker light source frequency are synchronized, flicker detection can be performed without degrading the display quality of the live view.

なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。   Needless to say, the present invention is not limited to the configuration exemplified in the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.

100 ボディユニット
101 Bμcom
101a 制御プログラム
102 画像処理IC
104 半導体メモリ
104a 制御テーブル
110 撮像素子駆動IC
111 撮像素子
120 シャッタユニット
121 シャッタ制御駆動回路
130 通信コネクタ
131 記録メディア
140 液晶モニタ
150 カメラ操作スイッチ(SW)
160 通信コネクタ
200 レンズユニット
201 Lμcom
202 絞り駆動機構
203 絞り
204 レンズ駆動機構
210a 撮影レンズ
210b 撮影レンズ
400 フレーム(撮影画面)
401 測光領域
VD 垂直同期信号
td フリッカ検出周期
100 Body unit 101 Bμcom
101a Control program 102 Image processing IC
104 Semiconductor memory 104a Control table 110 Image sensor drive IC
111 Image sensor 120 Shutter unit 121 Shutter control drive circuit 130 Communication connector 131 Recording medium 140 Liquid crystal monitor 150 Camera operation switch (SW)
160 Communication connector 200 Lens unit 201 Lμcom
202 Diaphragm drive mechanism 203 Diaphragm 204 Lens drive mechanism 210a Shooting lens 210b Shooting lens 400 Frame (shooting screen)
401 Photometry area VD Vertical synchronization signal td Flicker detection cycle

Claims (4)

ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、互いに異なる積分時間で取得した複数の撮像出力の変化から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを判断する際に、同一の積分時間で取得した複数の撮像出力に応じて、フリッカ成分が存在するかどうかの判断基準を変更する
ことを特徴とする撮像装置。
An imaging device having a rolling shutter electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the image sensor,
The flicker detection means includes light that includes flicker components in which light from a subject flickers at a cycle that is 1 / integer multiple of the cycle of the imaging output of the imaging device, from changes in a plurality of imaging outputs acquired at different integration times. When judging that, an imaging apparatus characterized by changing a criterion for determining whether or not a flicker component is present according to a plurality of imaging outputs acquired at the same integration time.
ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と
を有し、
前記フリッカ検出手段は、第1の積分時間で取得した撮像出力と前記第1の積分時間と異なる第2の積分時間で取得した撮像出力の差から、被写体からの光が前記撮像素子の撮像出力の周期の1/整数倍の周期で明滅するフリッカ成分が含まれる光であることを所定の判断基準に基づいて判断する際に、前記第1の積分時間、第2の積分時間と異なる第3の積分時間で取得した撮像出力と第1の積分時間で取得した撮像出力との差に応じて、前記判断基準を変更する
ことを特徴とする撮像装置。
An imaging device having a rolling shutter electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the image sensor,
The flicker detection means detects light from the subject from the difference between the imaging output acquired at the first integration time and the imaging output acquired at the second integration time different from the first integration time. A third integration time different from the first integration time and the second integration time when determining based on a predetermined determination criterion that the light contains a flicker component that flickers at a cycle that is 1 / integer multiple of The determination criterion is changed according to a difference between an imaging output acquired during the integration time and an imaging output acquired during the first integration time.
前記第2の積分時間は、前記第1の積分時間に対して0.75以下または1.25以上の比を有する
ことを特徴とする請求項2に記載の撮像装置。
The imaging apparatus according to claim 2, wherein the second integration time has a ratio of 0.75 or less or 1.25 or more with respect to the first integration time.
前記第3の積分時間は、前記第1の積分時間に対して0.75から1.25の間の比を有する
ことを特徴とする請求項2に記載の撮像装置。
The imaging apparatus according to claim 2, wherein the third integration time has a ratio between 0.75 and 1.25 with respect to the first integration time.
JP2011225672A 2011-10-13 2011-10-13 Imaging device Active JP5945395B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011225672A JP5945395B2 (en) 2011-10-13 2011-10-13 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011225672A JP5945395B2 (en) 2011-10-13 2011-10-13 Imaging device
CN201210385710.1A CN103051843B (en) 2011-10-13 2012-10-12 The flicker detection method of camera head and camera head

Publications (3)

Publication Number Publication Date
JP2013089991A true JP2013089991A (en) 2013-05-13
JP2013089991A5 JP2013089991A5 (en) 2014-11-20
JP5945395B2 JP5945395B2 (en) 2016-07-05

Family

ID=48064334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011225672A Active JP5945395B2 (en) 2011-10-13 2011-10-13 Imaging device

Country Status (2)

Country Link
JP (1) JP5945395B2 (en)
CN (1) CN103051843B (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5564636B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP5564630B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP2015097381A (en) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Control method, information communication device and program
CN108111767A (en) * 2018-01-24 2018-06-01 努比亚技术有限公司 A kind of image pickup method, terminal and computer readable storage medium
WO2018101092A1 (en) * 2016-11-30 2018-06-07 オリンパス株式会社 Imaging device and flicker determination method
US10623656B2 (en) 2016-12-28 2020-04-14 Olympus Corporation Imaging device and flicker detection method

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
JP2014232972A (en) * 2013-05-29 2014-12-11 ソニー株式会社 Imaging device, flicker detection method, and information processing device
CN103327239A (en) * 2013-05-31 2013-09-25 Tcl通讯(宁波)有限公司 Camera data processing method based on mobile terminal and mobile terminal
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6381380B2 (en) * 2014-09-08 2018-08-29 キヤノン株式会社 Imaging apparatus, control method and program thereof
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
WO2016139847A1 (en) 2015-03-02 2016-09-09 富士フイルム株式会社 Imaging device, flicker detection method, and flicker detection program
CN105007429B (en) * 2015-08-10 2018-01-19 广东欧珀移动通信有限公司 A kind of method, system and mobile terminal for eliminating flicker
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
WO2018010149A1 (en) 2016-07-14 2018-01-18 广东虚拟现实科技有限公司 Method and apparatus for identifying flickering light source
JP6691012B2 (en) * 2016-07-28 2020-04-28 マレリ株式会社 Vehicle periphery monitoring device and vehicle periphery monitoring method
WO2018057975A1 (en) 2016-09-23 2018-03-29 Apple Inc. Stacked backside illuminated spad array
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
WO2018140522A2 (en) 2017-01-25 2018-08-02 Apple Inc. Spad detector having modulated sensitivity
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
TWI670686B (en) * 2018-03-02 2019-09-01 群光電子股份有限公司 Image capture system and capture process adjusting method thereof
CN110266964A (en) * 2018-03-12 2019-09-20 群光电子股份有限公司 Image acquisition system and its method for capturing process adjustment
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (en) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp Image pickup device and automatic level adjustment method
JP2007329604A (en) * 2006-06-07 2007-12-20 Hitachi Ltd Fluorescent light flicker detection circuit
JP2007329658A (en) * 2006-06-07 2007-12-20 Canon Inc Imaging apparatus and driving method therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483744B2 (en) * 2005-08-26 2010-06-16 ソニー株式会社 Imaging apparatus and imaging control method
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
JP4840578B2 (en) * 2006-06-29 2011-12-21 京セラ株式会社 Flicker detection method and apparatus for imaging apparatus
JP4936534B2 (en) * 2007-06-11 2012-05-23 キヤノン株式会社 Imaging apparatus and focus control method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (en) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp Image pickup device and automatic level adjustment method
JP2007329604A (en) * 2006-06-07 2007-12-20 Hitachi Ltd Fluorescent light flicker detection circuit
JP2007329658A (en) * 2006-06-07 2007-12-20 Canon Inc Imaging apparatus and driving method therefor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097381A (en) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Control method, information communication device and program
JP5564631B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP5564632B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP5564630B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP2015046860A (en) * 2012-12-27 2015-03-12 パナソニック株式会社 Information communication method
JP2015046862A (en) * 2012-12-27 2015-03-12 パナソニック株式会社 Information communication method
JP5564636B1 (en) * 2012-12-27 2014-07-30 パナソニック株式会社 Information communication method
JP2015097376A (en) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Information communication method
WO2018101092A1 (en) * 2016-11-30 2018-06-07 オリンパス株式会社 Imaging device and flicker determination method
US10674093B2 (en) 2016-11-30 2020-06-02 Olympus Corporation Imaging device and flicker determination method
US10623656B2 (en) 2016-12-28 2020-04-14 Olympus Corporation Imaging device and flicker detection method
CN108111767A (en) * 2018-01-24 2018-06-01 努比亚技术有限公司 A kind of image pickup method, terminal and computer readable storage medium
CN108111767B (en) * 2018-01-24 2020-07-28 努比亚技术有限公司 Shooting method, terminal and computer readable storage medium

Also Published As

Publication number Publication date
CN103051843A (en) 2013-04-17
CN103051843B (en) 2015-09-02
JP5945395B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP5945395B2 (en) Imaging device
US8670658B2 (en) Image capture apparatus and method of controlling the same
JP5753371B2 (en) Imaging apparatus and control method thereof
US9854178B2 (en) Image pickup apparatus with flicker detection and having plurality of unit pixel areas, control method therefor, and storage medium
JP2016015615A (en) Imaging device, control method for the same and control program
US9380200B2 (en) Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image
JP5775732B2 (en) Camera and camera control method
CN105915807B (en) Method for calculating light quantity change characteristic and electronic device
US9602714B2 (en) Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
WO2018101092A1 (en) Imaging device and flicker determination method
US8823863B2 (en) Image capturing apparatus and control method therefor
JP2010039284A (en) Image pick-up apparatus and control method therefor
JP2017216637A (en) Imaging apparatus and control method
JP6399843B2 (en) Imaging apparatus and control method thereof
JP5586415B2 (en) Camera control method and camera
JP6768372B2 (en) Imaging device, its control method, and program
JP6704718B2 (en) Imaging device, control method thereof, and control program
JP2018133826A (en) Imaging apparatus, control method thereof, and control program
JP2017005495A (en) Imaging apparatus, method for controlling the same, and program
JP2013054256A (en) Image pickup device
JP5598156B2 (en) Imaging device
JP2020068393A (en) Imaging apparatus
JP2016152537A (en) Imaging apparatus, control method therefor, and control program
JP2013042297A (en) Imaging apparatus and flicker generation frequency detection method
JP2017223872A (en) Focus detection device and method, as well as imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141003

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5945395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250