JP5945395B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5945395B2 JP5945395B2 JP2011225672A JP2011225672A JP5945395B2 JP 5945395 B2 JP5945395 B2 JP 5945395B2 JP 2011225672 A JP2011225672 A JP 2011225672A JP 2011225672 A JP2011225672 A JP 2011225672A JP 5945395 B2 JP5945395 B2 JP 5945395B2
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- imaging
- integration
- integration time
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
一般にフリッカ光源と呼ばれる、明滅を繰り返す照明に照らされた被写体を撮像素子で撮像した場合、撮像素子によって得られる像は、露光タイミングによって輝度差が生じるという技術的課題がある。 When a subject that is illuminated by illumination that repeats blinking, generally called a flicker light source, is imaged by the imaging device, there is a technical problem that an image obtained by the imaging device has a luminance difference depending on exposure timing.
この明滅成分を検出する方法として、以下の特許文献１、特許文献２、特許文献３、等に開示される技術が知られている。これらの特許文献１〜特許文献３の従来技術は、フリッカ周期よりも短い積分時間で撮影したとき、連続する所定数の複数フレームの撮像出力を平均化することでフリッカ成分の影響を弱めた画像データを得ようとする技術である。
As a method of detecting this blinking component, techniques disclosed in the following
また、特許文献４には、複数の異なる積分時間でフリッカを検出してホワイトバランスを補正し、測色センサの制御を行う技術が開示されている。 Further, Patent Document 4 discloses a technique for detecting a flicker at a plurality of different integration times, correcting white balance, and controlling a colorimetric sensor.
また、特許文献５には、フリッカ成分の発生しない、フリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速で取得した画像を比較することでフリッカ成分を抽出する技術が開示されている。
Further,
図１Ａは、ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、特許文献１〜特許文献３のような連続フレームを平均して表示する場合の効果を示す概念図である。この図１Ａには、フリッカ成分の輝度と経過時間の関係を示す曲線（図中の上段）と、積分タイミング（図中の中段）と、撮影画像（図中の下段）とが対応して時系列に示されている。
FIG. 1A is a conceptual diagram showing the influence of flicker in a camera using a rolling shutter type image sensor and the effect when displaying continuous frames as in
蛍光灯を代表とするフリッカ光源は、商用電源周波数の半分の周期で輝度変動が発生する。図１Ａの中段のように、撮像のＶＤ同期信号と同期したタイミングで撮像の上のラインが積分を開始し、上から順次下のラインへ時間差をもって積分を開始する例である。 In a flicker light source represented by a fluorescent lamp, luminance fluctuations occur at a cycle that is half the commercial power supply frequency. As shown in the middle part of FIG. 1A, the upper line of imaging starts integration at the timing synchronized with the VD synchronization signal of imaging, and integration is started with a time difference from the top to the lower line sequentially.
１フレーム取得中に被写体の輝度が変化すれば、積分するタイミングにより得られる撮像出力は異なる。フリッカ成分の輝度が一番低いタイミングで積分した場合、そのラインは他のラインに比べ撮像出力が小さく、その結果、図１Ａの下段の撮影画像のように、中央に暗い縞模様が入ることになる。 If the luminance of the subject changes during acquisition of one frame, the imaging output obtained varies depending on the integration timing. When integration is performed at the timing when the luminance of the flicker component is the lowest, the imaging output of the line is smaller than that of the other lines, and as a result, a dark striped pattern appears in the center as in the photographed image in the lower part of FIG. 1A. Become.
フリッカ周期とフレームレートが同期していない場合、次の駒（フレーム）では、輝度の一番暗いタイミングで積分するラインが前のフレームと異なり、暗い縞の位置が変化した撮像データが得られる。 When the flicker cycle and the frame rate are not synchronized, the next frame (frame) obtains image data in which the line to be integrated at the darkest timing of luminance is different from the previous frame, and the position of the dark stripe is changed.
フリッカ周期と、画像取得周期（図では垂直同期信号ＶＤで表される信号の周期）の最小公倍数となるフレーム数の撮像出力の平均値は、上下ライン間の撮像出力差が無くなり、結果としてフリッカ成分の影響がほとんど無い撮像データを得られる。よって、ある１フレームの撮像データと、前記複数フレーム分を平均した撮像データの差分をとることで、フリッカ成分を得るものである。 The average value of the imaging output of the number of frames, which is the least common multiple of the flicker cycle and the image acquisition cycle (the cycle of the signal represented by the vertical synchronization signal VD in the figure), eliminates the imaging output difference between the upper and lower lines. Imaging data with almost no influence of components can be obtained. Therefore, a flicker component is obtained by taking a difference between imaging data of a certain frame and imaging data obtained by averaging the plurality of frames.
ところが、この図１Ａのように連続フレームを平均して表示する技術では、フリッカ周波数とフレームレートが同期した場合、複数画像を平均化してもフリッカの影響は検出できない、という技術的課題がある。 However, in the technique of averaging and displaying continuous frames as shown in FIG. 1A, there is a technical problem that when flicker frequency and frame rate are synchronized, the influence of flicker cannot be detected even if a plurality of images are averaged.
図１Ｂは、この技術的課題を説明する概念図である。この図１Ｂの表示態様は、上述の図１Ａと同様である。すなわち、フリッカ周波数とフレームレートが同期した場合は、フリッカの輝度とラインの積分タイミングが複数のフレームで同一となるため、複数の撮影画像の平均を取得してもフリッカの影響を取り除いた撮像データを取得できず、フリッカ成分を検出できないという技術的課題がある。 FIG. 1B is a conceptual diagram illustrating this technical problem. The display mode of FIG. 1B is the same as that of FIG. 1A described above. That is, when the flicker frequency and the frame rate are synchronized, the flicker luminance and the line integration timing are the same in a plurality of frames. There is a technical problem that the flicker component cannot be detected.
ここで、積分時間を利用してフリッカ検出する方法も考えられる。積分時間が長いほどフリッカの輝度変動は平均化される。逆に積分時間が短いほど、フリッカの輝度変動分、撮像出力も変動しやすくなる。 Here, a method of detecting flicker using the integration time is also conceivable. The longer the integration time, the more the flicker luminance variation is averaged. On the other hand, the shorter the integration time, the more easily the fluctuation of the flicker luminance and the imaging output change.
図２Ａは、積分時間を利用してフリッカ検出する方法の概念図である。暗いタイミングで積分したときのデータと、明るいタイミングで積分したときの撮像出力の差は、積分時間が短いほど差が大きくなる関係を示している。 FIG. 2A is a conceptual diagram of a method for detecting flicker using integration time. The difference between the data when the integration is performed at the dark timing and the imaging output when the integration is performed at the bright timing shows a relationship in which the difference becomes larger as the integration time is shorter.
この現象について、図２Ｂおよび図２Ｃを参照して説明する。図２Ｂおよび図２Ｃは、輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。 This phenomenon will be described with reference to FIGS. 2B and 2C. FIG. 2B and FIG. 2C are conceptual diagrams that are expressed by actually putting numerical values of luminance in bar graphs indicating luminance values.
図２Ｂに示されるように、フリッカ成分の輝度が時間の経過と共に変化するところを、数値に置き換えている。説明の簡略化のため単位系は無く、一番明るいタイミングでの撮像素子に入射する光量を１０とおいて、相対的に時間による変化を表したものである。１周期を６等分している。 As shown in FIG. 2B, the place where the luminance of the flicker component changes with the passage of time is replaced with a numerical value. For simplification of explanation, there is no unit system, and the amount of light incident on the image sensor at the brightest timing is set to 10, and the change with time is expressed relatively. One cycle is divided into six equal parts.
積分時間ｔｓがフリッカ周期の４／６の場合、一番上のラインは１＋６＋９＋１０＝２６と計算される。同様に他のラインも計算して図示している。 When the integration time ts is 4/6 of the flicker period, the top line is calculated as 1 + 6 + 9 + 10 = 26. Similarly, other lines are calculated and shown.
比較のために、短い時間の例を図２Ｃに図示する。フリッカ周期の２／６で積分した場合で、比較のために撮像に入射する光量を２倍にしている。これは図２Ｂに比べてシャッタ速を１段速めた分、レンズの絞りを１段開いて露光量が同一になるようにした制御の例である。 For comparison, a short time example is illustrated in FIG. 2C. In the case of integration with 2/6 of the flicker cycle, the amount of light incident on the imaging is doubled for comparison. This is an example of control in which the shutter speed is increased by one step compared to FIG. 2B, so that the exposure amount is the same by opening the lens diaphragm one step.
露光時間の長い図２Ｂの例では、最小１９に対し最大でも１．７倍の３３にあるのに対し、露光時間の短い図２Ｃの例では最大と最小の比が３８／１０＝３．８と、明暗差が大きくフリッカの影響を強く受けたことを示している。
In the example of FIG. 2B with a long exposure time, it is 33 times 1.7 at the maximum with respect to the
このように積分時間ｔｓの長短でフリッカによる輝度変動の影響の大小を利用して、積分時間ｔｓの異なる撮像出力の差分をとることで、フリッカ成分を抜き出す方法がある。このような方法が、上述の特許文献４の技術であり、撮像素子でも異なる積分時間ｔｓで撮影すればフリッカの影響は異なるので検出することができる。 As described above, there is a method of extracting a flicker component by taking the difference between the imaging outputs having different integration times ts by using the magnitude of the influence of the luminance fluctuation due to flicker with the length of the integration time ts. Such a method is the technique of the above-mentioned patent document 4, and even if the image sensor takes an image with a different integration time ts, the influence of flicker is different and can be detected.
また、上述の特許文献５のように、フリッカ成分の発生しないフリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速（積分時間）で取得した画像を比較することで輝度変動を求めフリッカ成分を抽出する方法も同様である。
Further, as in the above-mentioned
しかしながら、被写体の移動や手ブレによって発生する輝度変動が撮像出力に重畳するので、フリッカ成分が小さい場合にフリッカの影響ありと誤判定してしまうことや、フリッカ成分が大きい場合にフリッカに影響が小さいと誤判定してしまう技術的課題がある。 However, luminance fluctuations caused by subject movement and camera shake are superimposed on the imaging output, so if the flicker component is small, it may be erroneously determined that there is an effect of flicker, or if the flicker component is large, flicker will be affected. There is a technical problem that it is erroneously determined to be small.
本発明の目的は、フレームレートとフリッカ光源の周波数（周期）が同期する場合でも、高精度なフリッカ検出を行うことが可能であり、ライブビューの表示画質や動画像の画質を低下させることのない技術を提供することにある。 An object of the present invention is to enable high-precision flicker detection even when the frame rate and the frequency (period) of the flicker light source are synchronized, and to reduce the display quality of live view and the quality of moving images. There is no technology to provide.
本発明の第１の観点は、
ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と、
を有し、
前記フリッカ検出手段は、
前記電子シャッタ機能の走査方向に沿って前記撮像素子の撮像領域に複数の検出領域を設け、同一の検出領域にて異なるフレームで同一の積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度差である第１の変動量と、
同一の検出領域にて異なるフレームで異なる積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度の差である第２の変動量を算出し、
前記複数の検出領域に対応する前記第２の変動量のうちの最大値と最小値の差と、前記複数の検出領域に対応する前記第１の変動量のうちの最大値と最小値の差の比に基づいてフリッカ成分が含まれているか否かを検出する。
The first aspect of the present invention is:
An imaging device having a rolling shutter electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the imaging device;
Have
The flicker detection means includes
A plurality of detection areas are provided in the imaging area of the image sensor along the scanning direction of the electronic shutter function, and the same plurality of imaging outputs obtained by integrating with the same integration time in different frames in the same detection area A first variation that is a luminance difference with respect to the detection region;
Calculating a second variation amount that is a difference in luminance with respect to the same detection area of a plurality of imaging outputs obtained by integrating with different integration times in different frames in the same detection area;
The difference between the maximum value and the minimum value among the second variation amounts corresponding to the plurality of detection regions, and the difference between the maximum value and the minimum value among the first variation amounts corresponding to the plurality of detection regions. Whether or not a flicker component is included is detected based on the ratio .
本発明によれば、フレームレートとフリッカ光源の周波数が同期する場合であっても、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことが可能な技術を提供することができる。 According to the present invention, even when the frame rate and the flicker light source frequency are synchronized, it is possible to provide a technique capable of performing flicker detection without degrading the display image quality of the live view.
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図３は、本発明の一実施の形態である撮像装置を実現するカメラの構成例を示すブロック図である。本実施の形態では、カメラの一例として、デジタル一眼レフカメラに適用した例を説明する。 FIG. 3 is a block diagram illustrating a configuration example of a camera that realizes the imaging apparatus according to the embodiment of the present invention. In the present embodiment, an example applied to a digital single-lens reflex camera will be described as an example of a camera.
図３に示されているように、このデジタル一眼カメラ（以下、単に「カメラ」と称する）は、ボディユニット１００と、例えば交換可能なレンズユニット（すなわちレンズ鏡筒）２００と、撮影した画像データを記録しておく記録メディア１３１で構成されている。
As shown in FIG. 3, the digital single-lens camera (hereinafter simply referred to as “camera”) includes a
ここで、記録メディア１３１は、通信コネクタ１３０を介してボディユニット１００に接続される。
Here, the
レンズユニット２００は、ボディユニット１００の前面に設けられた、不図示のレンズマウントを介して着脱自在であり、レンズユニット２００はボディユニット１００に対して交換可能である。
The
このレンズユニット２００は、撮影レンズ２１０ａおよび撮影レンズ２１０ｂ（光学手段）と、絞り２０３と、レンズ駆動機構２０４と、絞り駆動機構２０２と、レンズ制御用マイクロコンピュータ（以下、「Ｌμｃｏｍ」と称する）２０１とから構成されている。
The
撮影レンズ２１０ａおよび撮影レンズ２１０ｂは、レンズ駆動機構２０４内に備えられている不図示のステッピングモータによって、光軸方向に駆動される。
The taking
絞り２０３は、絞り駆動機構２０２内に備えられている不図示のステッピングモータによって駆動される。
The
また、Ｌμｃｏｍ２０１は、レンズ駆動機構２０４や絞り駆動機構２０２などの、レンズユニット２００内の各部を駆動制御する。
The
このＬμｃｏｍ２０１は、後述するボディ制御用マイクロコンピュータであるＢμｃｏｍ１０１（制御手段）（撮像制御手段）（フリッカ検出手段）と、通信コネクタ１６０を介して電気的に接続されており、Ｂμｃｏｍ１０１と各種のデータの授受が可能であり、Ｂμｃｏｍ１０１により制御される。
The
一方、ボディユニット１００は、以下のように構成されている。
On the other hand, the
レンズユニット２００内の撮影レンズ２１０ａおよび撮影レンズ２１０ｂ、絞り２０３を介して入射される不図示の被写体からの光束の光軸上には、フォーカルプレーン式のシャッタユニット１２０と、光学系を通過した被写体像を光電変換するための撮像素子１１１が配置されている。撮影レンズ２１０ａおよび撮影レンズ２１０ｂを通った光束は、撮像素子１１１に結像される。
A focal plane
撮像素子１１１は、撮像素子駆動ＩＣ１１０（撮像制御手段）により光電変換動作を制御される。撮像素子１１１は、このカメラの結像光学系によりこのようにして結像された被写体像を光電変換して、アナログ電気信号に変換する。
The photoelectric conversion operation of the
撮像素子１１１から出力される前記電気信号は、撮像素子駆動ＩＣ１１０により、画像処理ＩＣ１０２（フリッカ検出手段）が処理するためのデジタル電気信号に変換され、画像処理ＩＣ１０２により、画像信号に変換される。
The electric signal output from the
また、本実施の形態のボディユニット１００においては、撮像素子１１１、撮像素子駆動ＩＣ１１０と、記憶領域として設けられたＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ１０４と、液晶モニタ１４０（表示手段）と、画像処理を行うための画像処理ＩＣ１０２に接続されている。また、通信コネクタ１３０を介して記録メディア１３１が画像処理ＩＣ１０２に接続されている。
Further, in the
このように、ボディユニット１００は、本実施の形態のカメラが、電子撮像機能と共に電子記録表示機能を提供できるように構成されている。
As described above, the
記録メディア１３１は、各種の半導体メモリカードや外付けのハードディスクドライブ（ＨＤＤ）等の外部記録媒体であり、通信コネクタ１３０を介してボディユニット１００と通信可能、且つ交換可能に装着される。
The
また、画像処理ＩＣ１０２は、このボディユニット１００内の各部を制御するためのボディ制御用マイクロコンピュータ（以下、Ｂμｃｏｍと略記する）１０１に接続されている。このＢμｃｏｍ１０１は、カメラの全体の動作を制御する制御手段の他、計数手段、モード設定手段、検出手段、判定手段、演算手段等の機能を有している。
The
これらの各手段は、例えば、Ｂμｃｏｍ１０１にファームウェアあるいはソフトウェアとして実装された制御プログラム１０３を、当該Ｂμｃｏｍ１０１が実行することによって実現される。あるいは、これらの各手段は、例えば、Ｂμｃｏｍ１０１を構成するハードウェアの論理回路によって実現されるようにしてもよい。
Each of these means is realized, for example, when the
なお、Ｂμｃｏｍ１０１は、通信コネクタ１６０と、シャッタ制御駆動回路１２１等と接続されており、更に、カメラの動作状態を表示出力によって撮影者へ告知するための液晶モニタ１４０と、カメラ操作スイッチ（ＳＷ）１５０と、図示されていない電源が接続されている。
The
なお、Ｂμｃｏｍ１０１とＬμｃｏｍ２０１とは、レンズユニット２００をボディユニット１００へ装着することにより、通信コネクタ１６０を介して通信可能に電気的接続がなされる。そして、Ｌμｃｏｍ２０１がＢμｃｏｍ１０１に対して従属的に協働しながら、デジタルカメラとして稼動するようになっている。
シャッタ制御駆動回路１２１は、シャッタユニット１２０における不図示の先幕と後幕との動きを制御すると共に、Ｂμｃｏｍ１０１との間で、シャッタの開閉動作を制御する信号と先幕が走行完了時の信号の授受を行う。
The shutter
液晶モニタ１４０は、カメラの動作状態を表示出力によってユーザ（撮影者）へ告知するためのものである。
The
カメラ操作スイッチ１５０は、例えば撮影動作の実行を指示するレリーズスイッチ、撮影モードを連写モードや通常撮影モードなどに切り替えるモード変更スイッチ、電源のオン・オフを切り替えるパワースイッチなど、ユーザがカメラを操作するために必要な操作ボタン（操作手段）を含むスイッチ群で構成される。
The
本実施の形態のボディユニット１００は、図示されない電源回路を備え、この電源回路は、電源としての図示されない電池の電圧を、カメラの各回路ユニットが必要とする電圧に変換して当該各回路ユニットに供給する。
The
次に、このカメラによる撮影動作について説明する。 Next, the photographing operation by this camera will be described.
まず、Ｂμｃｏｍ１０１により画像処理ＩＣ１０２が制御されて、撮像素子１１１と撮像素子駆動ＩＣ１１０から画像データが画像処理ＩＣ１０２に入力されると、画像処理ＩＣ１０２は、この画像データを、一時保存用メモリである半導体メモリ１０４に保存する。なお、半導体メモリ１０４は、画像処理ＩＣ１０２が画像処理のためにワークエリアとしても使用される。例えば、本実施の形態の場合には、半導体メモリ１０４にはフレーム５００が格納される。
First, when the
また、画像処理ＩＣ１０２は、この画像データをＪＰＥＧデータに変換する画像処理を行って、記録メディア１３１で保存させることができる。
In addition, the
シャッタ制御駆動回路１２１は、Ｂμｃｏｍ１０１からシャッタを駆動制御するための信号を受け取るとシャッタユニット１２０を制御してシャッタの開閉動作を行わせる。
When receiving a signal for controlling the driving of the shutter from the
このときに撮像素子１１１より撮像素子駆動ＩＣ１１０を介して出力された撮像データに対して所定の画像処理を行って画像データを生成し、記録メディア１３１に記録することで撮影動作が完了する。
At this time, predetermined image processing is performed on the image data output from the
次に、このカメラによるライブビュー動作について説明する。 Next, the live view operation by this camera will be described.
撮影レンズ２１０ａおよび撮影レンズ２１０ｂからの光束は撮像素子１１１へと導かれ、撮像素子１１１の出力信号が撮像素子駆動ＩＣ１１０で処理され撮像データが生成される。
Light beams from the photographing
例えば１秒当たり３０枚程度の割合で連続的に露光を行い、このときに撮像素子１１１から撮像素子駆動ＩＣ１１０を介して出力される撮像データを、画像処理ＩＣ１０２によりビデオ信号に変換して液晶モニタ１４０に与えることで、被写体の動画像を液晶モニタ１４０に実時間で表示させることができる。
For example, exposure is continuously performed at a rate of about 30 images per second, and image data output from the
このような表示は「ライブビュー」と呼ばれており、周知である。なお、液晶モニタ１４０での画像データのライブビュー表示をこのカメラで行わせるには、ユーザが上述したカメラ操作スイッチ１５０の中のモード変更スイッチを操作して、ライブビューモードを選択すればよい。以降の説明では、ライブビューを「ＬＶ」と略すこともある。
Such a display is called “live view” and is well known. In order to display the live view display of the image data on the liquid crystal monitor 140 with this camera, the user may select the live view mode by operating the mode change switch in the
なお、ＬＶ動作時には、撮影レンズ２１０ａおよび撮影レンズ２１０ｂからの光束は常に撮像素子１１１へと導かれているので、被写体の明るさの測光処理や、被写体に対する周知の測距処理を、撮像素子１１１と撮像素子駆動ＩＣ１１０から出力される画像データに基づいて画像処理ＩＣ１０２に行わせることができる。
During the LV operation, the light flux from the
図４は、本実施の形態のカメラのＢμｃｏｍ１０１による基本的な動作の一例を示すフローチャートである。
FIG. 4 is a flowchart illustrating an example of a basic operation performed by the
ステップＳ１０１では、ボディユニット１００の電源がオフからオンになったことで行う制御を行う。一般的にイニシャライズ処理と呼ばれているもので、Ｂμｃｏｍ１０１や撮像素子駆動ＩＣ１１０、画像処理ＩＣ１０２などの回路の起動、ボディユニット１００に接続されているレンズユニット２００へ電源供給と通信、などを行う。
In step S101, the control performed when the power of the
ステップＳ１０２では、前述のライブビュー動作を開始する準備として、レンズユニット２００へ通信コネクタ１６０を介して所定の絞り駆動指示、撮像素子駆動ＩＣ１１０へ電子シャッタ速（積分時間）と感度の設定、シャッタ制御駆動回路１２１によりシャッタユニット１２０を開いて撮像素子１１１が受光するようにする、という制御を行う。
In step S102, as a preparation for starting the above-described live view operation, a predetermined aperture driving instruction is sent to the
ステップＳ１０３では、前述のライブビュー動作を開始する。撮像素子１１１は設定された電子シャッタ速で積分動作を行い、撮像素子駆動ＩＣ１１０を介して画像処理ＩＣ１０２へ撮像出力データが送られる。
In step S103, the above live view operation is started. The
画像処理ＩＣ１０２は、図６に例示されるように、撮像出力を画像データに変換して液晶モニタ１４０に表示し、同時に画像処理ＩＣ１０２は、Ｂμｃｏｍ１０１に被写体の輝度算出用のデータを送信する。
As illustrated in FIG. 6, the
この被写体輝度算出用のデータは、例えば、撮像素子１１１に結像した像を所定の領域に分割して平均化したデータなどを含み、Ｂμｃｏｍ１０１で被写体の輝度を計算できるような数値データとして当該Ｂμｃｏｍ１０１に送信される。
The subject luminance calculation data includes, for example, data obtained by dividing an image formed on the
このステップＳ１０４では、Ｂμｃｏｍ１０１は被写体を領域分割したデータから、それぞれの分割に応じた輝度値を算出する。
In step S104, the
輝度値は撮像素子１１１と、設定した感度、レンズユニット２００に制御させた絞り値、電子シャッタ速（撮像素子１１１の積分時間と同値）によって、撮像素子１１１の各領域にどのくらいの光が照射したかが計算される。
ここで、輝度を測定するエリア（測光領域）を、図６に示す９個の領域とする。図７に示す、画面上（または下）から逐次積分を開始するローリングシャッタ方式の撮像素子において、フリッカ光源下で撮影を行うと、図２Ａ、図２Ｂを使って説明したとおりフリッカ成分が図８に示されるように縞模様で現れる。よって、図６のように縦方向に分割して輝度を測定することで、後述する縞の周期を調べることができる。なお、輝度を測定するエリア（測光領域）の数は９個に限るものではない。
The luminance value is applied to each area of the
Here, it is assumed that the areas (photometry areas) for measuring the luminance are nine areas shown in FIG. In the rolling shutter type imaging device that starts sequential integration from the top (or bottom) of the screen shown in FIG. 7, when shooting is performed under a flicker light source, the flicker component is shown in FIG. 8 as described with reference to FIGS. 2A and 2B. Appears in a striped pattern as shown in. Therefore, by dividing the vertical direction as shown in FIG. 6 and measuring the luminance, the period of fringes described later can be examined. Note that the number of areas (photometry areas) for measuring the luminance is not limited to nine.
ステップＳ１０５では、後述するステップＳ１１３にてフリッカが検出されたか否かをチェックし、フリッカが検出されていた場合にはステップＳ１１４に移行する。一方、フリッカが検出されていない場合はステップＳ１０６へ移行する。 In step S105, it is checked whether or not flicker is detected in step S113 described later. If flicker is detected, the process proceeds to step S114. On the other hand, if flicker is not detected, the process proceeds to step S106.
ステップＳ１０１の電源オンの処理を開始してから最初にステップＳ１０５の処理を行う場合には、フリッカが検出されていないと判定されるのでステップＳ１０６に進む。 When the process of step S105 is first performed after the power-on process of step S101 is started, it is determined that no flicker is detected, and the process proceeds to step S106.
ステップＳ１０６では、電源投入直後からの経過時間、または、過去に当該ステップＳ１０６を経過してからフリッカ検出周期ｔｄ（例えば、ｔｄ＝５００ｍｓ）が経過したかの判断を行う。このフリッカ検出周期ｔｄはフリッカ検出を行うタイミングを制御するものである。 In step S106, it is determined whether or not an elapsed time immediately after the power is turned on or whether a flicker detection period td (for example, td = 500 ms) has elapsed since the step S106 was passed in the past. The flicker detection period td controls the timing for performing flicker detection.
フリッカ検出周期ｔｄ以上経過していればステップＳ１０８へ、経過していなければステップＳ１０７へ移行する。 If the flicker detection period td or more has elapsed, the process proceeds to step S108, and if not, the process proceeds to step S107.
ステップＳ１０７では、ステップＳ１０４で取得した輝度値に基づき露出レベルが適正となるような絞り値、シャッタ速、感度を算出する。これらの算出された値を交換レンズ２００の絞り２０３、撮像素子１１１の電子シャッタ速、感度として設定することにより、適正な露出レベルの撮像出力を得ることができる。
In step S107, an aperture value, shutter speed, and sensitivity that calculate an appropriate exposure level are calculated based on the luminance value acquired in step S104. By setting these calculated values as the
ステップＳ１０７はフリッカが発生していない場合に実行される処理であるので、後述するステップＳ１１４とは異なり、シャッタ速に関する制約はない。この処理を実行した後にステップＳ１１５に進む。 Since step S107 is a process executed when no flicker occurs, unlike step S114 described later, there is no restriction on the shutter speed. After executing this process, the process proceeds to step S115.
ステップＳ１０８にてフリッカ判定処理を行う。詳細については後述する。 In step S108, flicker determination processing is performed. Details will be described later.
ステップＳ１０９ではステップＳ１０８にてフリッカが検出された場合はステップＳ１１１に進む。一方、フリッカが検出されなかった場合にはステップＳ１１０に進む。 In step S109, if flicker is detected in step S108, the process proceeds to step S111. On the other hand, if no flicker is detected, the process proceeds to step S110.
ステップＳ１１０は、ステップＳ１０８でフリッカ光源と判定されない場合に行われる処理であって、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタをクリアしてステップＳ１１５へ進む
ステップＳ１１１では、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタを＋１だけカウントして、ステップＳ１１２へ進む。
Step S110 is processing that is performed when the flicker light source is not determined in step S108, and clears a counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or more, and proceeds to step S115. In S111, a counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or more is counted by +1, and the process proceeds to step S112.
ステップＳ１１２では、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタが、「３」であるか否かを確認する。３回連続でフリッカが検出された場合は、ステップＳ１１３に進む。検出されない場合は、ステップＳ１１５へ進む。 In step S112, it is confirmed whether or not the counter that counts how many times the flicker light source is determined continuously in a cycle of 500 ms or longer is “3”. If flicker is detected three times in succession, the process proceeds to step S113. If not detected, the process proceeds to step S115.
ステップＳ１１３では、被写体はフリッカ光源下であると判定する。 In step S113, it is determined that the subject is under a flicker light source.
ステップＳ１０６、１０８、１０９、１１１、１１２、１１３の一連の処理によって、５００ｍ以上の間隔でフリッカ検出動作を行い、連続して３回フリッカを検出したら、被写体はフリッカ光源下であると判定する処理を行う。一般的に、被写体がフリッカ光源環境下になったり、ならなかったり、ということを数秒レベルで変化することは無いので、１．５秒程度の時間でフリッカの判断を行い、１．５秒間全てフリッカを検出したら、フリッカと判断する。 Processing for determining that the subject is under the flicker light source when flicker detection operation is performed at intervals of 500 m or more through a series of processing of steps S106, 108, 109, 111, 112, and 113, and flicker is detected three times in succession. I do. Generally, it does not change that the subject is in the flicker light source environment at the level of several seconds, so the flicker is judged in about 1.5 seconds, and all the 1.5 seconds are determined. If flicker is detected, it is determined as flicker.
被写体が一瞬だけフリッカ光源を横切るような場合は、ステップＳ１１４で後述するフリッカ対策した露出制御を行うことはなく、安定してフリッカ光源環境下に被写体があるときにフリッカ対策の露出制御を行う。 When the subject crosses the flicker light source only for a moment, exposure control with anti-flicker described later is not performed in step S114, and exposure control with anti-flicker is performed when the subject is stably in the flicker light source environment.
ステップＳ１１４では、被写体がフリッカ光源下にある場合に、フリッカの影響を低減したフリッカ対策の露出制御が実行される。フリッカ対策の露出制御は、積分時間がフリッカ周期よりも短くならないようにし、かつ、フリッカ周期の倍数となる積分時間に電子シャッタ速を設定する。 In step S114, when the subject is under a flicker light source, exposure control for flicker countermeasures that reduces the influence of flicker is executed. In the exposure control for preventing flicker, the integration time is set not to be shorter than the flicker cycle, and the electronic shutter speed is set to the integration time that is a multiple of the flicker cycle.
電子シャッタ速をより低速と設定することに対して、交換レンズ２００の絞り２０３を制御することで、撮像素子に到達する光量を制限し、積分時間をフリッカ周期の倍数にしても露出がオーバーにならないようにする。
In contrast to setting the electronic shutter speed to a lower speed, the
しかしながら、絞り値を変更するための絞り駆動は、メカニカルな機構を駆動して行われるので、電子シャッタ速変更や感度変更の制御と比較して追従性が遅く、ライブビュー動作中の絞り制御は好ましいものではない。 However, since the aperture drive for changing the aperture value is performed by driving a mechanical mechanism, the follow-up performance is slower than the control for changing the electronic shutter speed and sensitivity, and the aperture control during live view operation is It is not preferable.
また、被写体の輝度変化に対応するために、フレーム周期よりも短いシャッタ速を使わず絞りで対応することは、輝度変化の追従のレスポンスを遅らせることになり、一瞬を切り取る静止画撮影の構図確認用としてつかわれるライブビュー表示としては好ましくない。 Also, in order to respond to changes in the brightness of the subject, responding with an aperture without using a shutter speed shorter than the frame period delays the response to follow-up of the change in brightness. It is not preferable as a live view display used for the purpose.
さらに絞りを絞ることで被写界深度が深くなり、ユーザがピントの合焦状態を確認しにくくなる、オートフォーカス時、合焦精度を確保するべく被写界深度を浅くする必要があるので、オートフォーカスを行うたびに絞りを開放にする必要がありレリーズタイムラグが長くなるというような多くの課題がある。 In addition, it is necessary to reduce the depth of field in order to secure the focusing accuracy when autofocusing, since the depth of field will be deepened by further reducing the aperture, making it difficult for the user to check the in-focus state. There are many problems that the release time lag becomes longer because it is necessary to open the aperture each time auto-focusing is performed.
このような理由により、ライブビュー動作中においては、絞りは開放とし、輝度追従は撮像素子の電子シャッタや感度で行うのが望ましい。よって、本実施例では、上述のフリッカ対策の露出制御は、被写体がフリッカ光源下であると判定されたときに行われる制御としている。 For these reasons, it is desirable that the aperture is opened during live view operation, and luminance tracking is performed by the electronic shutter and sensitivity of the image sensor. Therefore, in the present embodiment, the above-described exposure control for preventing flicker is performed when it is determined that the subject is under the flicker light source.
ステップＳ１１５では、カメラ操作スイッチ１５０にあるレリーズがオンされた場合は、ステップＳ１１６のスチル撮影動作を行う。
In step S115, when the release on the
ステップＳ１１６では、ライブビュー動作を一旦停止し、ステップＳ１０４で得られた輝度値から、静止画撮影として最適な絞り値、電子シャッタ速、感度を算出する。算出された値から、前述の撮影動作を行う。 In step S116, the live view operation is temporarily stopped, and the optimum aperture value, electronic shutter speed, and sensitivity for still image shooting are calculated from the luminance value obtained in step S104. From the calculated value, the above-described photographing operation is performed.
ステップＳ１１７では、カメラ操作スイッチ１５０にある電源ＳＷがオフされていないか判別する。そして、電源ＳＷがオフされていない場合は、次のフレームの露出動作を行うため、ステップＳ１０４に戻り、輝度値を取得する処理を行う。
In step S117, it is determined whether or not the power SW in the
電源ＳＷがオフされないかぎり、ステップＳ１０４からステップＳ１１６の処理を繰り返し行う。また、さらにレリーズＳＷがオフの場合は、ステップＳ１０４からステップＳ１１４の処理を繰り返し行う。この処理を繰り返している間、液晶モニタ１４０には連続した画像が表示されるライブビュー動作となる。電源ＳＷがオフされていたら、カメラの電源のオフ制御を行う。
Unless the power SW is turned off, the processing from step S104 to step S116 is repeated. Further, when the release SW is off, the processing from step S104 to step S114 is repeated. While this process is repeated, a live view operation is performed in which continuous images are displayed on the
図５は、本実施の形態のカメラにおけるＢμｃｏｍ１０１によるフリッカ検出処理の一例を示すフローチャートである。次に、この図５を参照して、上述のステップＳ１０８のフリッカ検出処理の一例を詳細に説明する。
FIG. 5 is a flowchart showing an example of flicker detection processing by
図４のフローチャートに例示されるように、このステップＳ１０８のフリッカ検出処理は基本的には周期ｔｄの時間間隔で処理される。
図５の制御の概要としては、ステップＳ１０４で得られた輝度値を元に、所定の周期で繰り返される撮像出力のうち、３駒連続した駒の輝度値を取得する制御で、１駒目と２駒目は同じシャッタ速で行う。３駒目は１，２駒目で制御されたシャッタ速を１段分速くし、感度を１段上げて露出レベルを維持してシャッタ速を変更する制御を行う。この３駒の輝度値を用いてフリッカ判定を行う。
As illustrated in the flowchart of FIG. 4, the flicker detection process in step S <b> 108 is basically performed at a time interval of a period td.
As an overview of the control in FIG. 5, based on the luminance value obtained in step S <b> 104, control is performed to acquire the luminance value of three consecutive frames out of the imaging output repeated at a predetermined cycle. Frames are performed at the same shutter speed. In the third frame, the shutter speed controlled in the first and second frames is increased by one step, the sensitivity is increased by one step, the exposure level is maintained, and the shutter speed is changed. Flicker determination is performed using the luminance values of these three frames.
ステップＳ２０１では、上述の図４のステップＳ１０４で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、シャッタ速、感度を算出し、算出した各値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を行い、撮像出力を取得する。ステップＳ２０２では、ステップＳ１０４と同様にして、撮像出力に基づいて図６に示される各領域の輝度値を算出する。 In step S201, based on the luminance value obtained in step S104 of FIG. 4 described above, an aperture value, shutter speed, and sensitivity that obtain an appropriate exposure level are calculated. An imaging operation is performed by setting the electronic shutter and sensitivity of the element, and an imaging output is acquired. In step S202, as in step S104, the luminance value of each region shown in FIG. 6 is calculated based on the imaging output.
ステップＳ２０３では、ステップＳ２０１と同じ絞り値、シャッタ速、感度にて撮像動作を行い、２駒目の撮像出力を取得し、ステップＳ２０４では、２駒目の撮像出力に基づいて、図６に示される各領域の輝度値を算出する。 In step S203, an imaging operation is performed with the same aperture value, shutter speed, and sensitivity as in step S201, and an imaging output of the second frame is acquired. In step S204, an image output based on the imaging output of the second frame is shown in FIG. The brightness value of each area to be calculated is calculated.
ステップＳ２０５では、ステップＳ２０２で制御した絞り値、シャッタ速、感度のうち、シャッタ速を１段分速くする。シャッタ速を高速にした分により露出がアンダーにならないように感度を１段増加させる。そして３駒目の撮像動作を行い、撮像出力を取得する。ステップＳ２０６では、３駒目の撮像出力に基づいて、図６に示される各領域の輝度値を算出する。 In step S205, among the aperture value, shutter speed, and sensitivity controlled in step S202, the shutter speed is increased by one step. By increasing the shutter speed, the sensitivity is increased by one step so that the exposure does not become under. Then, an imaging operation for the third frame is performed to obtain an imaging output. In step S206, the brightness value of each area shown in FIG. 6 is calculated based on the imaging output of the third frame.
ステップＳ２０７では、１駒目と２駒目で得られた各領域の輝度値について対応する領域毎に輝度値の差分を算出する。領域Ｎについて２個の駒の輝度値の差分を算出するためには、Ｎ＝１〜９の場合について、それぞれ以下の（１）式の計算を行う。 In step S207, the brightness value difference is calculated for each corresponding region with respect to the brightness value of each region obtained in the first frame and the second frame. In order to calculate the difference between the brightness values of the two frames for the region N, the following equation (1) is calculated for each of N = 1 to 9.
領域Ｎ差分＝２駒目の領域Ｎの輝度値−１駒目の領域Ｎの輝度値・・・（１）
ここまでの処理によって、フリッカ判定のために必要な撮像出力である、積分時間が同じ２つの駒の撮像出力と、積分時間が異なる２つの駒の撮像出力が得られた。さらに、この撮像出力から、図６に示す領域の輝度を算出し、式（１）の計算により領域ごとに積分時間が同じ２つの駒の輝度変化と積分時間が異なる２つの駒の輝度変化を取得した。
Area N difference = luminance value of area N of the second frame-1 luminance value of area N of the first frame (1)
Through the processing so far, the imaging output of two frames having the same integration time and the imaging output of two frames having different integration times, which are imaging outputs necessary for flicker determination, are obtained. Further, the luminance of the area shown in FIG. 6 is calculated from this imaging output, and the luminance change of the two frames having the same integration time and the luminance change of the two frames having different integration times are obtained for each area by the calculation of Expression (1). .
ステップＳ２０９以降で行う、フリッカの判定を行う処理の説明をする前に、ステップＳ２０１からＳ２０８までに得られたデータと、フリッカ光源との関係を、図９〜１５を用いて説明する。 Before describing the flicker determination process performed in step S209 and subsequent steps, the relationship between the data obtained in steps S201 to S208 and the flicker light source will be described with reference to FIGS.
図９は、フリッカを有する照明が、被写体を均一に照射しているケースである。被写体とフリッカ光源の位置関係は固定としている。このような設定における輝度と積分時間の関係を図１０に示す。ここでは、商用電源周波数は６０Ｈｚで、フリッカ明滅周波数が１２０Ｈｚ、また撮像出力のフレームレートは１２０ｆｐｓで、フリッカ明滅周波数と撮像出力のフレームレートが同期している場合を例に説明する。 FIG. 9 shows a case where the illumination having flicker uniformly illuminates the subject. The positional relationship between the subject and the flicker light source is fixed. FIG. 10 shows the relationship between the luminance and the integration time in such a setting. Here, a case where the commercial power supply frequency is 60 Hz, the flicker blinking frequency is 120 Hz, the imaging output frame rate is 120 fps, and the flicker blinking frequency and the imaging output frame rate are synchronized will be described as an example.
図１０の一番上のグラフ「Ａ：照射面輝度変動」は被写体の輝度変動を示す。横軸はグラフＡ、Ｂ、Ｃ共通の時間軸である経過時間、縦軸は輝度を示す。１２０Ｈｚのフリッカは、８．３３ｍｓの周期で明滅を繰り返し、特に消灯するタイミングでは輝度の単位時間当たりの変化が大きくなる特徴がある。 The top graph “A: Irradiation surface luminance fluctuation” in FIG. 10 shows the luminance fluctuation of the subject. The horizontal axis represents elapsed time that is a common time axis for graphs A, B, and C, and the vertical axis represents luminance. The 120 Hz flicker repeats blinking at a cycle of 8.33 ms, and has a feature that the change in luminance per unit time becomes large particularly at the timing of turning off the light.
次に、ある積分時間「Ｔ」で、積分した場合の、図６で示された９個の領域の積分時間とタイミングについて、図１０の上から２番目のグラフ「Ｂ：積分時間Ｔによる逐次積分」に基づいて説明する。 Next, with respect to the integration time and timing of the nine regions shown in FIG. 6 when integration is performed at a certain integration time “T”, the second graph “B: Sequential by integration time T” from the top of FIG. This will be described based on “integration”.
図７のように、上から逐次積分を開始する撮像素子では、画素ごとに上から逐次積分が開始される。図６で示される領域の中には複数の画素が存在しており、その画素の積分タイミングは領域内部でも画素ごとに異なるが、領域内の画素の出力を平均して「領域の輝度値」とし、領域１から領域９へ逐次積分を開始しているとみなして図示したのが図１０のグラフＢである。
As shown in FIG. 7, in an image sensor that starts sequential integration from the top, sequential integration is started from the top for each pixel. There are a plurality of pixels in the region shown in FIG. 6, and the integration timing of the pixels varies from pixel to pixel even within the region, but the output of the pixels in the region is averaged to obtain a “region luminance value”. The graph B in FIG. 10 shows that the sequential integration from the
１２０ｆｐｓで領域１から積分開始し、領域９まで逐次積分動作を行い、これを積分１回目とする。グラフＢでは３回繰り返して１２０ｆｐｓで積分動作が行われている様子を示している。
Integration is started from
まず、積分１回目に着目すると、グラフＡに示される照射面の輝度が一番高いタイミングに、積分時間の中心が来ている領域は「領域２」である。よって、領域２から算出される輝度値は、他の領域に比べ高くなる。一方、グラフＡで照射面の輝度が一番低くなるのが「領域７」であり、領域７から算出される輝度値は、９つの領域の中で一番低い輝度となる。
First, focusing on the first integration, the region where the center of the integration time is at the timing when the luminance of the irradiated surface shown in graph A is the highest is “
フリッカ周期と撮像の周期は同期しているので、明るい領域と暗い領域の関係は、積分２回目、積分３回目でも保たれる。このように、積分時間が同じ場合、すなわち積分１回目、２回目、３回目で得られる各領域の輝度値を比較すると、同じ輝度値が得られることがわかる。 Since the flicker cycle and the imaging cycle are synchronized, the relationship between the bright region and the dark region is maintained even during the second integration and the third integration. As described above, when the integration times are the same, that is, when the luminance values of the respective areas obtained in the first integration, second integration, and third integration are compared, it can be seen that the same luminance value is obtained.
図１０のグラフ「Ｃ：積分時間「ｔ」による逐次積分」は、積分時間をＴとは異なる時間「ｔ」で積分した場合を示す。 The graph “C: Sequential integration by integration time“ t ”” in FIG. 10 shows a case where the integration time is integrated at a time “t” different from T.
積分開始タイミングは、グラフＢと同じだが、積分時間が短いために、積分時間の中心が変わり、結果として積分時間「ｔ」で一番明るい領域は「領域４」、一番暗い領域は「領域９」となる。図１１のグラフＡ，Ｂ,Ｃより、フリッカ照明下では積分時間を変えると、領域ごとに出てくる輝度値が異なるということになる。 The integration start timing is the same as graph B, but the integration time is short because the integration time is short. As a result, the brightest region at integration time “t” is “region 4”, and the darkest region is “region”. 9 ". From the graphs A, B, and C in FIG. 11, when the integration time is changed under flicker illumination, the luminance value that appears in each region is different.
そして、積分時間Ｔで取得したグラフＢの領域７と、積分時間ｔで取得したグラフＣの領域９を比較すると、最も暗くなる時刻を積分時間の中心とするものの、積分時間Ｔは比較的明るい時刻も含めて積分しており、一方、積分時間の短い方は、輝度が暗い時間に限って積分しているので、グラフＢの積分時間Ｔの領域７よりも、グラフＣの積分時間ｔの領域９から算出される輝度値の方が、輝度が暗いことが示されている。
When comparing the
図１０のグラフ「Ｄ：積分により得られた輝度値（測光値）」は、横軸の時間軸に９つの領域の積分時間の中心時刻を記載し、縦軸に各領域から得られた輝度値を示す。積分時間Ｔは実線、積分時間ｔは破線で示し、積分時間を変更すると得られる輝度値が変化する関係になる。 The graph “D: Luminance value (photometric value) obtained by integration” in FIG. 10 describes the central time of the integration time of nine regions on the horizontal axis, and the luminance obtained from each region on the vertical axis. Indicates the value. The integration time T is indicated by a solid line, the integration time t is indicated by a broken line, and the obtained luminance value changes when the integration time is changed.
図９、図１０に示すように、蛍光灯のフリッカによる明滅以外に照射面の輝度変動要因が無いケースでは、フリッカ成分のみが輝度値として現れるので、積分時間が異なる撮像出力を比較することによりフリッカ光源か否かの判定が可能である。 As shown in FIGS. 9 and 10, in the case where there is no luminance fluctuation factor on the irradiated surface other than the flickering caused by flickering of the fluorescent lamp, only the flicker component appears as the luminance value. Therefore, by comparing the imaging outputs having different integration times, It is possible to determine whether the light source is a flicker light source.
しかし、実際の撮影シーンでは図１１に示すように、被写体が動く状況があり、光源がフリッカ明滅のないフリッカレス光源であっても取得する輝度値が変化する。 However, in an actual shooting scene, as shown in FIG. 11, there is a situation where the subject moves, and even if the light source is a flickerless light source that does not flicker, the acquired luminance value changes.
図１２は、図１１の状況における輝度変化等を、図１０と同様の形態で表示したものである。図１２のグラフＡはランダムな輝度変化を繰り返す。このような被写体状況では、シャッタ速の変更に関わらず輝度値の変動は生じる。 FIG. 12 shows changes in luminance and the like in the situation of FIG. 11 in the same form as in FIG. Graph A in FIG. 12 repeats random luminance changes. In such a subject situation, the luminance value fluctuates regardless of the change in the shutter speed.
図１２では、積分時間が同じ積分１回目、２回目、３回目でも各領域とも輝度変動は発生する。また、積分時間「Ｔ」と積分時間「ｔ」による違いも発生する。 In FIG. 12, the luminance fluctuation occurs in each region even at the first integration, second integration, and third integration with the same integration time. Further, a difference due to the integration time “T” and the integration time “t” also occurs.
従って、図１２に示すように、フリッカ光源下かつ被写体が動いているという一般的な被写体の照射面輝度は、フリッカ明滅による変動成分と被写体の動きによる変動成分が重畳したものとなる。 Therefore, as shown in FIG. 12, the illumination surface luminance of a general subject in which the subject is moving under the flicker light source is obtained by superimposing a variation component due to flicker blinking and a variation component due to subject movement.
そのため、フリッカ成分と被写体の変動成分が重畳した被写体の照射面輝度から、被写体がフリッカ光源か否かを判断することは、積分時間が異なる撮像出力の比較のみで行うのは困難である。 For this reason, it is difficult to determine whether or not the subject is a flicker light source from the illumination surface luminance of the subject in which the flicker component and the subject variation component are superimposed only by comparing the imaging outputs with different integration times.
本実施例では、図５のフリッカ検出処理によりこのような問題を解決する。また、本実施例の動作を、図１０、１２と同様の形態にて図１４に示す。 In the present embodiment, such a problem is solved by the flicker detection process of FIG. The operation of this embodiment is shown in FIG. 14 in the same manner as in FIGS.
図１４のグラフ「Ａ：照射面輝度変動」は、フリッカ明滅による８．３３ｍｓ周期で輝度変化する成分と、ランダムな被写体の移動により変化する輝度成分が重畳している状態を示す。積分１回目と２回目は同じ積分時間とし、積分３回目について積分時間を短くして取得している。これは図５のステップＳ２０１からＳ２０６までで説明した状態であり、図５の１駒目が積分１回目、２駒目が積分２回目、３駒目が積分３回目に対応するものである。 The graph “A: Irradiation surface luminance fluctuation” in FIG. 14 shows a state in which a component that changes in luminance in a cycle of 8.33 ms due to flicker blinking and a luminance component that changes due to random movement of the subject are superimposed. The first integration time and the second integration time are the same integration time, and the third integration time is obtained by shortening the integration time. This is the state described in steps S201 to S206 in FIG. 5. The first frame in FIG. 5 corresponds to the first integration, the second to the second integration, and the third to the third integration.
図１５は、ステップＳ２０７で得られた１、２駒目の変動量と、Ｓ２０８で得られた２、３駒目で得られた変動量の時間変化を示すものである。１、２駒目の変動量である「２駒目−１駒目」は、同じ積分時間で撮像動作を行った２駒目と１駒目の輝度値の差分である。また、２、３駒目の変動量である「３駒目−２駒目」は、異なる積分時間で撮像動作を行った３駒目と２駒目の輝度値の差分である。 FIG. 15 shows the change over time of the first and second frame variation obtained in step S207 and the second and third frame variation obtained in S208. “2nd frame-1 frame” which is the variation amount of the 1st frame and the 2nd frame is a difference between the luminance values of the 2nd frame and the 1st frame in which the imaging operation is performed with the same integration time. “3rd frame-2th frame” which is the variation amount of the 2nd frame and the 3rd frame is a difference between the luminance values of the 3rd frame and the 2nd frame in which the imaging operation is performed with different integration times.
さらに、ステップＳ２０８にて、図１５に示す「３駒目−２駒目」の最大値と最小値の差である「３駒目−２駒目の振幅」を算出する。またステップＳ２０７では、同様に「２駒目−１駒目の振幅」を算出する。 Further, in step S208, the “amplitude of the third frame-2 frame” that is the difference between the maximum value and the minimum value of “third frame-2 frame” shown in FIG. 15 is calculated. In step S207, “the amplitude of the second frame-1 frame” is similarly calculated.
後述するステップＳ２０９では、ステップＳ２０８で得られた「３駒目−２駒目の振幅」が、ステップＳ２０７で得られた「２駒目−１駒目の振幅」よりも十分大きいかどうかを比較し、十分大きいと判断された場合にフリッカ判定のうちの一つの条件に該当したと判定するものである。具体的には以下の式（２）を満たす場合にフリッカ判定のうちの一つの条件に該当すると判定する。 In step S209, which will be described later, a comparison is made as to whether or not the “amplitude of the 3rd frame-2 frame” obtained in step S208 is sufficiently larger than the “amplitude of the 2nd frame-1 frame” obtained in step S207. However, when it is determined that it is sufficiently large, it is determined that one of the conditions for flicker determination is met. Specifically, when the following expression (2) is satisfied, it is determined that one of the flicker determination conditions is met.
（３駒目−２駒目の振幅）／（２駒目−１駒目の振幅）＞ 閾値Ｄ・・・（２）
閾値Ｄは、後述するように１例として２としてもよいし、さまざまな条件に応じて適宜変更してもよい。このように輝度値の差分の振幅を比較することにより、フリッカ光源下か否かの判定を行う原理について説明する。
(Amplitude of 3rd frame-2nd frame) / (Amplitude of 2nd frame-1st frame)> Threshold value D (2)
The threshold value D may be 2 as an example as will be described later, or may be changed as appropriate according to various conditions. The principle of determining whether or not the flicker light source is present by comparing the amplitudes of the luminance value differences in this way will be described.
人の目では視認できないほど早いフリッカ明滅に比べ、視認できるような被写体の移動による輝度変動は比較的緩やかで単位時間当たりの輝度変動は少ない。 Compared with flicker blinking that is too fast to be visually recognized by human eyes, the luminance fluctuation due to the movement of the subject that can be visually recognized is relatively gradual and the luminance fluctuation per unit time is small.
図１６に示す１例のように、積分時間を４ｍｓ、感度をＩＳＯ２００で取得した撮像出力と、積分時間を１段分減らした２ｍｓ、その分だけ感度を１段増やしてＩＳＯ４００とした場合を比較すると、輝度変化がなければ同じ輝度値が得られるが、例えば８.３３ｍｓの周期でフリッカ明滅するような輝度が早く変化する状況に対しては、積分時間の違いによる輝度値の違いは大きくなる。
Compared to the imaging output acquired with integration time of 4 ms and sensitivity acquired by
なお、輝度値は、図１６にて積分時間２ｍｓ（ＩＳＯ４００）の場合はＬ（２ｍｓ）（右上がり斜線部の面積）、積分時間４ｍｓ（ＩＳＯ２００）の場合はＬ（４ｍｓ）（右下がり斜線部の面積）にそれぞれ相当し、輝度値に換算して比較する場合は、感度の差を考慮して２×Ｌ（２ｍｓ）とＬ（４ｍｓ）とを比較する。 Note that the luminance values in FIG. 16 are L (2 ms) (the area of the upward-sloping shaded area) when the integration time is 2 ms (ISO400), and L (4 ms) (the downward-sloping shaded part when the integration time is 4 ms (ISO200)). 2 × L (2 ms) and L (4 ms) are compared in consideration of the difference in sensitivity.
一方、被写体の移動のようにゆるやかな変化をするものに対しては、図１６と同様な表記により図１７に示す。図１７に示されるように、積分時間を２ｍｓ（ＩＳＯ４００）と４ｍｓ（ＩＳＯ２００）変化させた場合の輝度値の差は、フリッカ明滅の状況における測光値の差よりも小さくなる。 On the other hand, for a subject that slowly changes like the movement of the subject, FIG. 17 shows the same notation as in FIG. As shown in FIG. 17, the difference in luminance value when the integration time is changed by 2 ms (ISO 400) and 4 ms (ISO 200) is smaller than the difference between the photometric values in the flicker blinking situation.
また、フリッカ明滅に匹敵するほどの被写体の変化が激しい場合は、上記判定方法ではフリッカと見分けがつきにくい。しかし、フリッカ成分と被写体の動きが同じ程度で変動しているような被写体においては、フリッカによる縞模様が、被写体の激しい変化にまぎれて目立たないので、フリッカ光源下かどうかを判定する必要性は小さい。 In addition, when the subject changes so much as to flicker flickering, it is difficult to distinguish it from flicker by the above determination method. However, for a subject whose flicker component and subject's movement fluctuate at the same level, the flickering pattern due to flicker is inconspicuous due to the drastic change of the subject, so there is no need to determine whether it is under the flicker light source. small.
以上に述べた原理に基づき、積分時間が異なる撮像出力の変動と、積分時間が同じ撮像出力の変動との比が所定値（例えば２）よりも大きい場合、フリッカ有りと判定する。 Based on the principle described above, if the ratio of fluctuations in imaging output with different integration times and fluctuations in imaging output with the same integration time is greater than a predetermined value (for example, 2), it is determined that there is flicker.
一方、積分時間が異なる撮像出力の変動と積分時間が同じ撮像出力の変動との比が所定値（例えば２）より小さい場合、フリッカ成分があったとしてもフリッカの影響はライブビュー表示で目立つレベルではないと考えられ、フリッカの影響は十分に小さいと判断しフリッカなしと判定する。上記所定値は、さまざまな条件により変更してもよい。 On the other hand, if the ratio of fluctuations in imaging output with different integration times and fluctuations in imaging output with the same integration time is smaller than a predetermined value (for example, 2), even if there is a flicker component, the effect of flicker is conspicuous in live view display. Therefore, it is determined that the influence of flicker is sufficiently small, and it is determined that there is no flicker. The predetermined value may be changed according to various conditions.
次に、図５に戻って説明する。 Next, referring back to FIG.
ステップＳ２０９にて、ステップＳ２０８で得られた変動量が、ステップＳ２０７で得られた変動量に比べて２倍以上ある場合、被写体はフリッカ光源下であると判断し、ステップＳ２１０へ進む。一方、２倍より小さい場合は、被写体はフリッカ光源下ではない、もしくはフリッカ光源の影響は十分に小さいと判断し、フリッカ判定処理を終了する。 In step S209, if the amount of variation obtained in step S208 is more than twice the amount of variation obtained in step S207, it is determined that the subject is under a flicker light source, and the process proceeds to step S210. On the other hand, if it is smaller than twice, it is determined that the subject is not under the flicker light source or the influence of the flicker light source is sufficiently small, and the flicker determination process is terminated.
ステップＳ２１０にて、輝度変動の周期を調べ、フリッカ周期に同期したものかどうか調べ、周期性がフリッカ周期に該当するかを判断する。 In step S210, the luminance fluctuation period is checked to determine whether it is synchronized with the flicker period, and it is determined whether the periodicity corresponds to the flicker period.
図１８に示すように、３駒目と２駒目の差分について、正から負に切り替わる切り替わりポイントを調べる。「領域Ｎ」と「領域Ｎ＋１」を比較し、「領域Ｎ」が正、「領域Ｎ＋１」が負または０、となるＮを探す。 As shown in FIG. 18, the switching point at which switching from positive to negative is examined for the difference between the third frame and the second frame. The “region N” and the “region N + 1” are compared, and an N in which “region N” is positive and “region N + 1” is negative or 0 is searched.
被写体がフリッカ光源下の場合、このような複数の切り替わりポイントの間隔である図１８に示す間隔１がフリッカ１周期分の時間に相当しているか判定する。
When the subject is under a flicker light source, it is determined whether the
図１０、１２、１４には示していないが、領域１から領域９の間に１周期分以上かけて画面全体を積分する撮像素子の場合は、フリッカ１周期分、８.３３ｍｓ積分開始時間がずれる領域数分、切り替わりポイントが離れているか否かで判断できる。
Although not shown in FIGS. 10, 12, and 14, in the case of an image sensor that integrates the entire screen over one period or more between
同様に、「領域Ｎ」と「領域Ｎ＋１」の比較により、負から正に切り替わる切り替わりポイントも求めると、図１８に示す例では３個の切り替わりポイントが得られ、例えば間隔２がフリッカ周期の概略半分かどうか、という方法で調べることもできる。
Similarly, when a switching point for switching from negative to positive is also obtained by comparing “region N” and “region N + 1”, three switching points are obtained in the example shown in FIG. 18, for example,
１画面分の撮像出力を取得する時間が、フリッカ周期よりも数倍長くライブビュー上に縞が多く発生するような場合では、領域数を９個より多く増やしてフーリエ変換など周波数成分を調べる方法も有効である。 When the time to acquire the imaging output for one screen is several times longer than the flicker cycle and many stripes are generated on the live view, the number of areas is increased by more than 9 and frequency components such as Fourier transform are examined. Is also effective.
このように、輝度値の変動周期が、フリッカ周期と略一致し、周期性評価としてフリッカ周期に該当すると判定した場合に、ステップＳ２１１へ進む。そして、ステップＳ２１１にてフリッカを検出したという判定をする。 As described above, when it is determined that the fluctuation cycle of the luminance value substantially coincides with the flicker cycle and corresponds to the flicker cycle as the periodicity evaluation, the process proceeds to step S211. In step S211, it is determined that flicker has been detected.
以上で、図５のフリッカ判定処理の動作について説明を終了する。 The description of the operation of the flicker determination process in FIG.
なお、本実施例における同じ積分時間とは、両方の積分時間の比率が０．７５より大きく、１．２５より小さい範囲内を同じ積分時間とする。また、異なる積分時間とは、両方の積分時間の比率が０．７５以下または１．２５以上を異なる積分時間とする。 In the present embodiment, the same integration time means that the ratio of both integration times is greater than 0.75 and less than 1.25 is the same integration time. Further, different integration times are defined as different integration times when the ratio of both integration times is 0.75 or less or 1.25 or more.
次に、第１実施例の変形例を以下に説明する。フリッカが横の縞としてライブビュー表示に影響を与えることを利用して、図１９に示すように測光領域を撮影画面の横方向にもさらに隣接して配置し、ステップＳ２１０にて周期性評価の判定を行う。即ち、図１９にて撮像領域４００の測光領域４０１の横方向に測光領域４０２、４０３を配置する。測光領域４０２、４０３は測光領域４０１と同様にそれぞれ領域１から領域９を有する。
Next, a modification of the first embodiment will be described below. Utilizing the fact that flicker affects live view display as horizontal stripes, as shown in FIG. 19, the photometric area is arranged further adjacent in the horizontal direction of the shooting screen, and periodicity evaluation is performed in step S210. Make a decision. That is, the
そして、上記ステップＳ２１０で求めた領域１から領域９の中での切り替わりポイントが、図２０に示すように測光領域４０１とその横方向に隣接する測光領域４０２、および測光領域４０３とで一致するかどうかを判別し、これらが一致した場合にステップＳ２１１に進むようにする。
Then, whether the switching point in the
このようにして、周期性評価の確実性をより向上させることが可能である。 In this way, the certainty of periodicity evaluation can be further improved.
なお、撮像のフレームレートが６０ｆｐｓのケースでは、フリッカ２周期分と同期することとなり、３０ｆｐｓはフリッカ４周期分と同期することとなるので、本実施例の１２０ｆｐｓの場合と同じ現象が発生し、撮像のフレームレートが６０ｆｐｓ、３０ｆｐｓであっても本実施例によるフリッカ判定処理は有効である。 In the case where the imaging frame rate is 60 fps, the flicker is synchronized with 2 cycles, and 30 fps is synchronized with 4 flickers, so the same phenomenon as in the case of 120 fps in this embodiment occurs. Even if the imaging frame rate is 60 fps or 30 fps, the flicker determination processing according to this embodiment is effective.
以上説明したように、第１実施例においては、同じ積分時間による撮像出力の変動量に基づいて、異なる積分時間による撮像出力の変動量を、フリッカ成分として判定するかどうかを判断することで、被写体の動きによる誤判定を取り除くことが可能となる。 As described above, in the first embodiment, by determining whether or not the fluctuation amount of the imaging output due to the different integration time is determined as the flicker component based on the fluctuation amount of the imaging output due to the same integration time, It is possible to eliminate erroneous determination due to movement of the subject.
また、被写体がフラットで動きが少ない場合は、微弱なフリッカ縞でもライブビュー表示上で目立つが、同じ積分時間による撮像出力の変化量が小さいので、異なる積分時間による撮像出力の変動量が小さくてもフリッカ成分として判断することができ、フリッカ検出能力を向上させることが可能である。また、被写体の動きによる影響だけでなく、カメラの手ブレの影響についても同様の方法で、フリッカ検出の誤判定を取り除くことが可能となる。 In addition, when the subject is flat and moves little, even a slight flicker stripe is conspicuous on the live view display, but since the amount of change in image output due to the same integration time is small, the amount of change in image output due to different integration time is small. Can also be determined as a flicker component, and the flicker detection capability can be improved. In addition to the influence of the movement of the subject, it is possible to remove the erroneous determination of flicker detection by the same method for the influence of camera shake.
次に、第２実施例について説明する。第２実施例の構成は、第１実施例の構成を示す図１と同様であり、図４のカメラの基本動作の処理も同様である。以下、第１実施例と異なる部分についてのみ説明する。 Next, a second embodiment will be described. The configuration of the second embodiment is the same as that of FIG. 1 showing the configuration of the first embodiment, and the processing of the basic operation of the camera of FIG. 4 is also the same. Only the parts different from the first embodiment will be described below.
図５に示す第１実施例のフリッカ判定処理では、積分１回目と積分２回目を、同じ積分時間で撮像出力を取得し、積分３回目を前の２回とは異なる短い積分時間で積分する例を示した。 In the flicker determination process of the first embodiment shown in FIG. 5, the imaging output is acquired with the same integration time for the first integration and the second integration, and the integration is integrated with a shorter integration time than the previous two integration times. An example is shown.
第２実施例では、積分１回目、積分２回目、積分３回目を同じ時間とし、積分４回目を前の３回とは異なる積分時間とすることで、商用電源周波数６０Ｈｚと５０Ｈｚの両方のフリッカについて判別する能力を有するものである。 In the second embodiment, the first integration time, the second integration time, and the third integration time are set to the same time, and the fourth integration time is set to a different integration time from the previous three times. It has the ability to discriminate about.
撮像出力のフレームレートが３０ｆｐｓの場合、商用電源周波数６０Ｈｚ地域でのフリッカ照明は１２０Ｈｚのフリッカ周期であり、図２Ｂで説明したように撮像出力のフレームレートと同期する。一方、商用電源周波数５０Ｈｚ地域でのフリッカ照明では、図２Ａで記載したように、フレーム間で縞模様が変化する。この変化は、フリッカ周期１０ｍｓと、撮像出力周期３３．３ｍｓ（１/３０ｆｐｓ）の最小公倍数である１００ｍｓで同期する。積分時間が同じである３回分の積分値を平均すると、フリッカ成分の影響を弱めたデータが得られることは、前述した先行技術のように公知である。従って、撮像出力と同期しないフリッカ成分を検出する場合は３駒比較の方が、積分時間変更による検出よりも良好に検出できることから、撮像出力のフレームレートと同期しないフリッカである１００Ｈｚのフリッカと、同期する１２０Ｈｚのフリッカを別々の判断方法で検出するものである。 When the frame rate of the imaging output is 30 fps, the flicker illumination in the commercial power supply frequency 60 Hz region has a flicker cycle of 120 Hz, and is synchronized with the frame rate of the imaging output as described with reference to FIG. 2B. On the other hand, in flicker illumination in a region where the commercial power supply frequency is 50 Hz, as described in FIG. 2A, the stripe pattern changes between frames. This change is synchronized at a flicker cycle of 10 ms and 100 ms, which is the least common multiple of the imaging output cycle of 33.3 ms (1/30 fps). It is known as in the prior art described above that the average of the integration values for three times with the same integration time can provide data in which the influence of the flicker component is weakened. Therefore, when detecting a flicker component that is not synchronized with the imaging output, the three-frame comparison can be detected better than the detection by changing the integration time. Therefore, the flicker at 100 Hz, which is a flicker that is not synchronized with the frame rate of the imaging output, The synchronized 120 Hz flicker is detected by different judgment methods.
図２１に、第２実施例のフリッカ判定処理のフローチャートを示す。 FIG. 21 shows a flowchart of the flicker determination process of the second embodiment.
ステップＳ３０１にて、図４のステップＳ１０４で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、積分時間、感度を算出して、この算出された値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を実行し撮像出力を得る。 In step S301, based on the luminance value obtained in step S104 of FIG. 4, an aperture value, an integration time, and a sensitivity for obtaining an appropriate exposure level are calculated, and the calculated value is used as a lens aperture, An image pickup operation is executed by setting the electronic shutter and sensitivity of the image pickup element to obtain an image pickup output.
ステップＳ３０２からＳ３０４では、ステップＳ１０４と同様にして、撮像出力に基づいて図６に示す測光領域ごとに輝度値を算出する。 In steps S302 to S304, the luminance value is calculated for each photometric area shown in FIG. 6 based on the imaging output in the same manner as in step S104.
ステップＳ３０２では１駒目の、ステップＳ３０３では２駒目の、ステップＳ３０４では３駒目の輝度値を取得し、ステップＳ３０２、Ｓ３０３、Ｓ３０４では全て同じ積分時間で撮像動作を行う。 In step S302, the luminance value of the first frame is acquired, in step S303 the second frame is acquired, and in step S304, the luminance value of the third frame is acquired. In steps S302, S303, and S304, the imaging operation is performed with the same integration time.
ステップＳ３０５では、ステップＳ３０２、Ｓ３０３、Ｓ３０４で制御した絞り値、積分時間、感度のうち、積分時間を１段分速く設定する。そして、シャッタ速を速くした分だけ露出がアンダーにならないように感度を１段増加する。 In step S305, among the aperture value, integration time, and sensitivity controlled in steps S302, S303, and S304, the integration time is set faster by one step. Then, the sensitivity is increased by one step so that the exposure does not become under as much as the shutter speed is increased.
そして、ステップＳ３０６にて４駒目の撮像動作を行い、撮像出力を取得して、図６で示される領域の輝度値を得る。 In step S306, the fourth frame imaging operation is performed to acquire the imaging output, and the luminance value of the region shown in FIG. 6 is obtained.
ステップＳ３０７にて、同じ積分時間で撮像動作を行った１、２、３駒目の輝度値に基づいて、５０Ｈｚフリッカを検出する。フリッカ検出方法は、すでに公知であり前述した先行技術にも記載しているため簡単に以下に記載する。 In step S307, 50 Hz flicker is detected based on the luminance values of the first, second, and third frames in which the imaging operation is performed with the same integration time. Since the flicker detection method is already known and described in the prior art described above, it will be briefly described below.
上記１〜３駒について算出された各領域の輝度値の平均値を算出する。例えば領域１について下記の式により求める。
[（１駒目の領域１の輝度値）＋（２駒目の領域１の輝度値）＋（３駒目の領域１の輝度値）]/３ ・・・ （３）
式（３）の計算を９個の領域について行う。
The average value of the luminance values of the respective areas calculated for the above 1 to 3 frames is calculated. For example, the
[(Brightness value of
The calculation of Equation (3) is performed for nine regions.
この９個の領域の輝度値は、フリッカ成分がかなり軽減されたものとなる。１駒目の領域１〜９について、各領域に輝度値から３駒分の輝度値の平均値を引き算すると、フリッカ環境下の場合、フリッカ成分のみが抽出される。
The luminance values of these nine areas are obtained by considerably reducing the flicker component. When the average value of the luminance values of three frames is subtracted from the luminance values for the
他の２駒についても同様にして、各領域の輝度値から３駒分の輝度値の平均値の差分をとり、得られた差分はフリッカ成分に相当するので、フリッカ成分の特徴量、例えば周波数成分などを調べることで、５０Ｈｚフリッカと判断するものである。 Similarly, for the other two frames, the average value of the luminance values of three frames is calculated from the luminance value of each region, and the obtained difference corresponds to the flicker component. Therefore, the feature amount of the flicker component, for example, the frequency By examining the components and the like, it is determined that the flicker is 50 Hz.
このように撮像のフレームレートと同期しないフリッカ成分を、１、２、３駒目の撮像出力から判断し、フリッカ成分と判断された場合は、ステップＳ３１３へ進む。一方、フリッカ成分と判断されない場合はステップＳ３０８へ進む。 The flicker components that are not synchronized with the imaging frame rate are determined from the imaging output of the first, second, and third frames. If the flicker components are determined to be flicker components, the process proceeds to step S313. On the other hand, if the flicker component is not determined, the process proceeds to step S308.
ステップＳ３０８では、ステップＳ２０８と同様にして、以下の計算を行う。
「領域Ｎ差分」＝「３駒目・領域Ｎの輝度」−「２駒目・領域Ｎの輝度」 ・・・（４）
上記（４）式により、３駒目と２駒目の各領域の輝度値の変動量を算出する。
In step S308, the following calculation is performed as in step S208.
“Region N difference” = “Brightness of the third frame / region N” − “Brightness of the second frame / region N” (4)
The variation amount of the luminance value of each area of the third frame and the second frame is calculated by the above equation (4).
ステップＳ３０９にて、ステップＳ３０８と同様にして、以下の計算を行う。
「領域Ｎ差分」＝「４駒目・領域Ｎの輝度」−「３駒目・領域Ｎの輝度」 ・・・（５）
上記（５）式により、４駒目と３駒目の各領域の輝度値の変動量を算出する。
In step S309, the following calculation is performed in the same manner as in step S308.
“Region N difference” = “Brightness of the fourth frame / region N” − “Brightness of the third frame / region N” (5)
The variation amount of the luminance value of each area of the fourth frame and the third frame is calculated by the above equation (5).
ステップＳ３１０、Ｓ３１１にて、ステップＳ２０９、Ｓ２１０と同様のチェックを行う。ステップＳ３１０にて４駒目と３駒目の変動量が所定の閾値を超える場合、かつステップＳ３１１にて周期性評価により６０Ｈｚフリッカ周期に該当すると判定された場合にステップＳ３１２に進み、６０Ｈｚのフリッカが有ると判定する。 In steps S310 and S311, the same checks as in steps S209 and S210 are performed. If the variation amount of the fourth frame and the third frame exceeds the predetermined threshold value in step S310, and if it is determined in step S311 that it corresponds to the 60 Hz flicker period by the periodicity evaluation, the process proceeds to step S312 and flickers of 60 Hz It is determined that there is.
ただし、５０Ｈｚのフリッカの環境下にある場合は、ステップＳ３０７の分岐によりステップＳ３１１に進むことはないので、ステップＳ３１２にて判定するのは同期している６０Ｈｚのフリッカである。
However, in a 50 Hz flicker environment, the process does not proceed to step
ステップＳ３１３にて、５０Ｈｚフリッカと判定する。このように、撮像フレームレートに同期していないフリッカは、同期しているフリッカと比べて縞の挙動が大きく異なるので、５０Ｈzと６０Ｈｚのフリッカを別々に検出する方が良好な検出が可能である。 In step S313, it is determined as 50 Hz flicker. Thus, flicker that is not synchronized with the imaging frame rate has a greatly different fringe behavior than that of synchronized flicker. Therefore, it is possible to perform better detection by separately detecting 50 Hz and 60 Hz flicker. .
また、図２１に示すフリッカ判定処理は、撮像フレームレートが３０ｆｐｓに限定されるものではない。撮像フレームレートが６０ｆｐｓ（周期１６．６ｍｓ）の場合は、５０Ｈｚフリッカの周期１００ｍｓとの最小公倍数は６駒分なので、６駒平均のデータを用いてもよい。 Further, the flicker determination process shown in FIG. 21 is not limited to the imaging frame rate of 30 fps. When the imaging frame rate is 60 fps (cycle: 16.6 ms), the least common multiple with the 50 Hz flicker cycle of 100 ms is six frames, so six-frame average data may be used.
また、変形例として図２２に示すように、フレームを間引いて１駒おきの撮像出力に基づく輝度値を用いてもよい。撮像フレームレートが１２０ｆｐｓの場合は、４駒おきの撮像出力も基づく輝度値を用いてもよい。このように撮像フレームレートが増加した場合は、適切に間引いた撮像出力を用いることで、図２１と同様の方法でフリッカ判定が可能である。 As a modification, as shown in FIG. 22, a luminance value based on imaging output every other frame by thinning out frames may be used. When the imaging frame rate is 120 fps, a luminance value based on imaging output every four frames may be used. When the imaging frame rate increases in this way, flicker determination can be performed by the same method as in FIG. 21 by using the imaging output appropriately thinned out.
さらに他の変形例を図２３に示す。図２３においては、３回の積分動作のうちの１回目と３回目の積分時間をＴとし、２回目の積分時間をｔとする。この場合、積分１回目と積分３回目を同じ積分時間の撮像出力として輝度値を比較し、積分１回目と２回目の撮像出力を、積分時間の異なる撮像出力として輝度値を比較することにより、同様の効果を得ることができる。このように、同じ積分時間と、異なる積分時間の順序は特に限定されるものではない。 Yet another modification is shown in FIG. In FIG. 23, the first and third integration times of the three integration operations are T, and the second integration time is t. In this case, by comparing the luminance value as the imaging output of the same integration time for the first integration and the third integration, and comparing the luminance value as the imaging output of the first integration and the second integration, Similar effects can be obtained. Thus, the order of the same integration time and different integration times is not particularly limited.
次に、第３実施例について説明する。 Next, a third embodiment will be described.
第１、２実施例では、図６に示す測光領域４０１の撮像出力より求められる輝度値の差に基づきフリッカ判定処理を行っているのに対して、第３実施例では複数の撮像出力に基づいて動きベクトルを求め、さらに動きベクトルに基づいてフリッカ判定処理を行う点が異なる。
In the first and second embodiments, the flicker determination processing is performed based on the difference in luminance value obtained from the imaging output of the
画像処理ＩＣ１０２の内部には、不図示の動きベクトル算出部が設けられている。動きベクトル算出部は、撮像素子１１１より撮像素子駆動ＩＣ１１０を介して出力される複数の駒（フレーム）の撮像出力に基づいて動きベクトルを算出する。
A motion vector calculation unit (not shown) is provided inside the
図２４で示されるように、撮影画面４００に対して被写体Ａの移動が２つの駒で発生した場合、図２５に示すように、移動前の駒の撮像出力に位置する被写体上の特定の点が、移動後の駒の撮像出力のどこに位置するかを、２つの駒の撮像出力に関するパターンマッチング等の手法を用いて動いた方向を検出する技術が知られている。
As shown in FIG. 24, when the movement of the subject A occurs with respect to the
第３実施例は、上記公知の技術を利用するとともに、積分時間を変更して撮像動作を行うことにより、ライブビュー表示に発生する縞の濃さや太さが変わることを利用してフリッカを検出するものである。 The third embodiment uses the above known technique and detects flicker by changing the density and thickness of the stripes generated in the live view display by changing the integration time and performing the imaging operation. To do.
（フリッカ周期×整数倍）の撮像出力周期である場合、同じ積分時間の場合は前述のように、ライブビュー表示に現れるフリッカによる縞は、複数の駒にわたって移動することなく、一定の位置を保持して表示される。この時の動きベクトル算出部により算出される動きベクトルの例を図２６に示す。図２６に示すように被写体に関する動きベクトル４１０のみが発生し、フリッカによる縞の動きベクトルは発生しない。
When the imaging output cycle is (flicker cycle x integer multiple), the flicker fringes appearing in the live view display are maintained at a fixed position without moving across multiple frames as described above for the same integration time. Is displayed. An example of the motion vector calculated by the motion vector calculation unit at this time is shown in FIG. As shown in FIG. 26, only the
一方、同じ条件下で異なる積分時間の場合にはフリッカによる縞が変化するので、図２７に示すように、縞の変化に応じた撮影画面４００の横方向に並んで発生する動きベクトル４１１も動きベクトル算出部により算出される。Ｂμｃｏｍ１０１は、画像処理ＩＣ１０２の動きベクトル算出部より、フレームごとに算出された動きベクトル情報を受信し、図２６と図２７の動きベクトルの違いを検出することにより、フリッカの有無を判定することができる。
On the other hand, since the fringes due to flicker change in the case of different integration times under the same conditions, as shown in FIG. 27, the
次に変形例について説明する。 Next, a modified example will be described.
撮像出力は、ＲＧＢの色情報を持っていることから、ＲＧＢの割合の変化を見ても良い。蛍光灯の明滅時、色の変動が発生するので、ライブビューに表示される縞は、蛍光灯によっては赤色が目立つ縞となることがある。そのため積分時間が長い場合の撮像出力により図２８に示す撮影画面上にフリッカの縞４０５Ａが存在した場合、積分時間をより短くした場合の撮像出力により図２９に示す撮影画面上のフリッカの縞４０５Ｂとなり、より赤さが強くなるという変化が生じる。
Since the imaging output has RGB color information, a change in the RGB ratio may be observed. When the fluorescent lamp flickers, color fluctuations occur, so that the stripe displayed in the live view may be a red-contrast stripe depending on the fluorescent lamp. Therefore, if
例えば、図６に示す領域が、輝度情報ではなく、ＲＧＢそれぞれの積分値を分けてデータとして持たせることで、９個の領域ごとに、積分時間が同じ２つの駒の色の変動量と、積分時間が異なる駒の色の変動量を比較する、というように比較する変動量を置き換えてもよい。いずれも積分時間が同じ撮像出力の比較と積分時間が異なる撮像出力の比較の両方用いて判断するものであり同様な効果が得られる。 For example, the region shown in FIG. 6 is not luminance information but separates RGB integrated values as data, so that for each of the nine regions, the amount of change in color of two frames with the same integration time, and integration The amount of variation to be compared may be replaced, for example, the amount of variation in color of frames having different times is compared. In both cases, determination is made using both comparison of imaging outputs having the same integration time and comparison of imaging outputs having different integration times, and the same effect can be obtained.
以上説明したように、本実施の形態によれば、フリッカ周期とフレームレートが同期する場合、もしくは完全には同期していないが、フレームレートがフリッカ周期と同期する周波数に近い場合に、電子シャッタ速を変更した撮像出力を比較する手法を用いたフリッカ検出を用いても、ユーザの構図確認用として液晶モニタ１４０に表示するライブビューの動画の画質を落とすことなく、適切にフリッカ検出することが可能となる。 As described above, according to the present embodiment, when the flicker cycle and the frame rate are synchronized, or when the frame rate is close to the frequency synchronized with the flicker cycle although not completely synchronized, Even if flicker detection using a method of comparing imaging outputs with different speeds is used, flicker detection can be appropriately performed without degrading the image quality of the live view moving image displayed on the liquid crystal monitor 140 for user composition confirmation. It becomes possible.
すなわち、本実施の形態によれば、フレームレートとフリッカ光源の周波数が同期する場合でも、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことができる。 That is, according to the present embodiment, even when the frame rate and the flicker light source frequency are synchronized, flicker detection can be performed without degrading the display quality of the live view.
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。 Needless to say, the present invention is not limited to the configuration exemplified in the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
１００ ボディユニット
１０１ Ｂμｃｏｍ
１０１ａ 制御プログラム
１０２ 画像処理ＩＣ
１０４ 半導体メモリ
１０４ａ 制御テーブル
１１０ 撮像素子駆動ＩＣ
１１１ 撮像素子
１２０ シャッタユニット
１２１ シャッタ制御駆動回路
１３０ 通信コネクタ
１３１ 記録メディア
１４０ 液晶モニタ
１５０ カメラ操作スイッチ（ＳＷ）
１６０ 通信コネクタ
２００ レンズユニット
２０１ Ｌμｃｏｍ
２０２ 絞り駆動機構
２０３ 絞り
２０４ レンズ駆動機構
２１０ａ 撮影レンズ
２１０ｂ 撮影レンズ
４００ フレーム（撮影画面）
４０１ 測光領域
ＶＤ 垂直同期信号
ｔｄ フリッカ検出周期
100
104 Semiconductor memory 104a Control table 110 Image sensor drive IC
111
160
202
401 Photometry area VD Vertical synchronization signal td Flicker detection cycle
Claims (8)
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と、
を有し、
前記フリッカ検出手段は、
前記電子シャッタ機能の走査方向に沿って前記撮像素子の撮像領域に複数の検出領域を設け、同一の検出領域にて異なるフレームで同一の積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度差である第１の変動量と、
同一の検出領域にて異なるフレームで異なる積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度の差である第２の変動量を算出し、
前記複数の検出領域に対応する前記第２の変動量のうちの最大値と最小値の差と、前記複数の検出領域に対応する前記第１の変動量のうちの最大値と最小値の差の比に基づいてフリッカ成分が含まれているか否かを検出することを特徴とする撮像装置。 An imaging device having a rolling shutter electronic shutter function;
Optical means for guiding light from a subject to the image sensor;
Imaging control means for causing the imaging device to perform an imaging operation at a predetermined cycle and controlling an integration time of the imaging device;
Flicker detection means for detecting a flicker component based on the imaging output of the imaging device;
Have
The flicker detection means includes
A plurality of detection areas are provided in the imaging area of the image sensor along the scanning direction of the electronic shutter function, and the same plurality of imaging outputs obtained by integrating with the same integration time in different frames in the same detection area A first variation that is a luminance difference with respect to the detection region;
Calculating a second variation amount that is a difference in luminance with respect to the same detection area of a plurality of imaging outputs obtained by integrating with different integration times in different frames in the same detection area;
The difference between the maximum value and the minimum value among the second variation amounts corresponding to the plurality of detection regions, and the difference between the maximum value and the minimum value among the first variation amounts corresponding to the plurality of detection regions. An image pickup apparatus that detects whether or not a flicker component is included based on the ratio of.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011225672A JP5945395B2 (en) | 2011-10-13 | 2011-10-13 | Imaging device |
| CN201210385710.1A CN103051843B (en) | 2011-10-13 | 2012-10-12 | The flicker detection method of camera head and camera head |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011225672A JP5945395B2 (en) | 2011-10-13 | 2011-10-13 | Imaging device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013089991A JP2013089991A (en) | 2013-05-13 |
| JP2013089991A5 JP2013089991A5 (en) | 2014-11-20 |
| JP5945395B2 true JP5945395B2 (en) | 2016-07-05 |
Family
ID=48064334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011225672A Active JP5945395B2 (en) | 2011-10-13 | 2011-10-13 | Imaging device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5945395B2 (en) |
| CN (1) | CN103051843B (en) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2940897B1 (en) * | 2012-12-27 | 2020-03-11 | Panasonic Intellectual Property Corporation of America | Information communication method |
| EP2940903B1 (en) * | 2012-12-27 | 2021-05-12 | Panasonic Intellectual Property Corporation of America | Information communication method |
| CN107395977B (en) * | 2012-12-27 | 2019-12-17 | 松下电器（美国）知识产权公司 | Information communication method |
| US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| JP2014232972A (en) * | 2013-05-29 | 2014-12-11 | ソニー株式会社 | Imaging device, flicker detection method, and information processing device |
| CN103327239A (en) * | 2013-05-31 | 2013-09-25 | Tcl通讯（宁波）有限公司 | Camera data processing method based on mobile terminal and mobile terminal |
| US9473706B2 (en) * | 2013-12-09 | 2016-10-18 | Apple Inc. | Image sensor flicker detection |
| US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
| US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
| JP6381380B2 (en) * | 2014-09-08 | 2018-08-29 | キヤノン株式会社 | Imaging apparatus, control method and program thereof |
| US9584704B2 (en) * | 2015-01-08 | 2017-02-28 | Gean Technology Co. Limited | Method for detecting electronic lighting flickering |
| JP6175587B2 (en) * | 2015-03-02 | 2017-08-02 | 富士フイルム株式会社 | Imaging apparatus, flicker detection method, and flicker detection program |
| CN105007429B (en) * | 2015-08-10 | 2018-01-19 | 广东欧珀移动通信有限公司 | A kind of method, system and mobile terminal for eliminating flicker |
| US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
| CN110325872B (en) * | 2016-07-14 | 2023-04-28 | 广东虚拟现实科技有限公司 | Method and device for identifying flicker light source |
| JP6691012B2 (en) * | 2016-07-28 | 2020-04-28 | マレリ株式会社 | Vehicle periphery monitoring device and vehicle periphery monitoring method |
| CN111682039B (en) | 2016-09-23 | 2021-08-03 | 苹果公司 | Stacked back side illumination SPAD array |
| JP2018093275A (en) | 2016-11-30 | 2018-06-14 | オリンパス株式会社 | Imaging apparatus and flicker determination method |
| JP6320503B1 (en) | 2016-12-28 | 2018-05-09 | オリンパス株式会社 | Imaging apparatus, flicker detection method, and program |
| EP3574344A2 (en) | 2017-01-25 | 2019-12-04 | Apple Inc. | Spad detector having modulated sensitivity |
| US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
| US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
| US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
| US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
| CN108111767B (en) * | 2018-01-24 | 2020-07-28 | 努比亚技术有限公司 | Shooting method, terminal and computer readable storage medium |
| TWI670686B (en) * | 2018-03-02 | 2019-09-01 | 群光電子股份有限公司 | Image capture system and capture process adjusting method thereof |
| CN110266964A (en) * | 2018-03-12 | 2019-09-20 | 群光电子股份有限公司 | Image acquisition system and its method for capturing process adjustment |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| WO2020079946A1 (en) * | 2018-10-17 | 2020-04-23 | コニカミノルタ株式会社 | Flicker measurement device, flicker measurement method, flicker measurement program, flicker evaluation assistance device, flicker evaluation assistance method, and flicker evaluation assistance program |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
| CN115499597A (en) * | 2022-09-13 | 2022-12-20 | 豪威集成电路(成都)有限公司 | Method and device for identifying target frequency light source of imaging system and terminal equipment |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3370979B2 (en) * | 2000-09-08 | 2003-01-27 | 三菱電機株式会社 | Imaging apparatus and automatic level adjustment method |
| JP4483744B2 (en) * | 2005-08-26 | 2010-06-16 | ソニー株式会社 | Imaging apparatus and imaging control method |
| US8068148B2 (en) * | 2006-01-05 | 2011-11-29 | Qualcomm Incorporated | Automatic flicker correction in an image capture device |
| JP2007329604A (en) * | 2006-06-07 | 2007-12-20 | Hitachi Ltd | Fluorescent light flicker detection circuit |
| JP2007329658A (en) * | 2006-06-07 | 2007-12-20 | Canon Inc | Imaging apparatus and driving method therefor |
| JP4840578B2 (en) * | 2006-06-29 | 2011-12-21 | 京セラ株式会社 | Flicker detection method and apparatus for imaging apparatus |
| JP4936534B2 (en) * | 2007-06-11 | 2012-05-23 | キヤノン株式会社 | Imaging apparatus and focus control method |
-
2011
- 2011-10-13 JP JP2011225672A patent/JP5945395B2/en active Active
-
2012
- 2012-10-12 CN CN201210385710.1A patent/CN103051843B/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103051843B (en) | 2015-09-02 |
| JP2013089991A (en) | 2013-05-13 |
| CN103051843A (en) | 2013-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5945395B2 (en) | Imaging device | |
| JP6370134B2 (en) | Imaging device, control method thereof, and control program | |
| WO2018101092A1 (en) | Imaging device and flicker determination method | |
| JP5775732B2 (en) | Camera and camera control method | |
| US9854178B2 (en) | Image pickup apparatus with flicker detection and having plurality of unit pixel areas, control method therefor, and storage medium | |
| JP5753371B2 (en) | Imaging apparatus and control method thereof | |
| US9602714B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
| US9380200B2 (en) | Image pickup apparatus and control method in which object searching based on an image depends on pixel combining on the image | |
| CN105915807B (en) | Method for calculating light quantity change characteristic and electronic device | |
| US8823863B2 (en) | Image capturing apparatus and control method therefor | |
| JP2010039284A (en) | Image pick-up apparatus and control method therefor | |
| JP6399843B2 (en) | Imaging apparatus and control method thereof | |
| JP5586415B2 (en) | Camera control method and camera | |
| JP2017005495A (en) | Imaging apparatus, method for controlling the same, and program | |
| JP6997544B2 (en) | Imaging device and its control method, program, storage medium | |
| JP6768372B2 (en) | Imaging device, its control method, and program | |
| JP6704718B2 (en) | Imaging device, control method thereof, and control program | |
| JP2018133826A (en) | Imaging apparatus, control method thereof, and control program | |
| JP2013054256A (en) | Image pickup device | |
| US20220345611A1 (en) | Image capturing apparatus and control method thereof and storage medium | |
| JP5672922B2 (en) | Imaging device | |
| US20220337736A1 (en) | Image capturing apparatus, control method thereof, and storage medium | |
| JP6504845B2 (en) | Imaging device, control method therefor, and control program | |
| JP2010272966A (en) | Photometric device, and imaging apparatus | |
| JP2020068393A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141003 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20141003 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160530 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5945395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |