JP2015169927A - Imaging apparatus, method for controlling imaging apparatus, program, and storage medium - Google Patents
Imaging apparatus, method for controlling imaging apparatus, program, and storage medium Download PDFInfo
- Publication number
- JP2015169927A JP2015169927A JP2014047111A JP2014047111A JP2015169927A JP 2015169927 A JP2015169927 A JP 2015169927A JP 2014047111 A JP2014047111 A JP 2014047111A JP 2014047111 A JP2014047111 A JP 2014047111A JP 2015169927 A JP2015169927 A JP 2015169927A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vibration
- imaging apparatus
- mode
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims description 43
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 230000008859 change Effects 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 28
- 230000006641 stabilisation Effects 0.000 description 25
- 238000011105 stabilization Methods 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、像ブレ補正機能を有する撮像装置に関する。 The present invention relates to an imaging apparatus having an image blur correction function.
従来から、像ブレ補正機構を備えた撮像装置において、撮像装置の振れを検出する角速度センサなどの振動検出手段が用いられている。しかし、撮像装置を三脚などに据え付けて使用する場合、振動検出手段から出力される低周波のドリフト信号（ゆらぎ）により、像ブレ補正機構は、撮像装置の振れとは関係のない振れ補正を行って像ブレを助長してしまう可能性がある。 2. Description of the Related Art Conventionally, in an imaging apparatus provided with an image blur correction mechanism, vibration detection means such as an angular velocity sensor that detects shake of the imaging apparatus has been used. However, when the imaging device is installed on a tripod or the like, the image blur correction mechanism performs shake correction that is not related to the shake of the imaging device due to the low-frequency drift signal (fluctuation) output from the vibration detection means. Image blurring may be promoted.
そこで、振動検出手段からの出力信号が微小である場合、撮像装置が三脚などに据え付けられているものと判定し、像ブレ補正を行わないように制御する構成が知られている。また特許文献１には、像ブレ補正モードに応じて支持状態判定手段を動作させるか否かを判定し、無駄な演算を防止する構成が開示されている。 Therefore, a configuration is known in which when the output signal from the vibration detection means is very small, it is determined that the imaging device is installed on a tripod or the like, and control is performed so as not to perform image blur correction. Further, Patent Document 1 discloses a configuration that determines whether or not to operate the support state determination unit according to the image blur correction mode and prevents useless calculation.
しかしながら、特許文献１の構成では、像ブレ補正を行っていない場合、像ブレ補正系をレンズ保持機構に固定した状態でも振動検出手段は動作している。このため、振動検出手段が不要な状態においても、振動検出手段により電力が消費されてしまう。 However, in the configuration of Patent Document 1, when image blur correction is not performed, the vibration detection unit operates even when the image blur correction system is fixed to the lens holding mechanism. For this reason, even in a state where the vibration detection means is unnecessary, power is consumed by the vibration detection means.
そこで本発明は、消費電力を低減した撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。 Therefore, the present invention provides an imaging device, a control method for the imaging device, a program, and a storage medium with reduced power consumption.
本発明の一側面としての撮像装置は、振動を検出する振動検出手段と、前記振動による像ブレを低減するように補正手段の目標位置を算出する算出手段と、前記補正手段の位置を検出する位置検出手段と、前記位置検出手段により検出された前記補正手段の位置および前記算出手段により算出された前記補正手段の目標位置に基づいて、帰還制御を行う帰還制御手段と、前記帰還制御手段による制御に基づいて前記補正手段を駆動する駆動手段と、前記帰還制御手段、前記位置検出手段、または、前記駆動手段の少なくとも一つの出力信号に基づいて振動状態を判定する判定手段とを有する。 An imaging apparatus according to one aspect of the present invention detects a vibration detection unit that detects vibration, a calculation unit that calculates a target position of the correction unit so as to reduce image blur due to the vibration, and a position of the correction unit. A position detection unit, a feedback control unit for performing feedback control based on the position of the correction unit detected by the position detection unit and the target position of the correction unit calculated by the calculation unit; and the feedback control unit Drive means for driving the correction means based on control, and determination means for determining a vibration state based on at least one output signal of the feedback control means, the position detection means, or the drive means.
本発明の他の側面としての撮像装置の制御方法は、振動検出手段を用いて振動を検出するステップと、前記振動による像ブレを低減するように補正手段の目標位置を算出するステップと、位置検出手段を用いて前記補正手段の位置を検出するステップと、帰還制御手段を用いて、前記補正手段の位置および前記補正手段の目標位置に基づいて帰還制御を行うステップと、駆動手段を用いて、前記帰還制御手段による制御に基づいて前記補正手段を駆動するステップと、振動状態を判定するステップとを有し、前記振動状態は、前記帰還制御手段、前記位置検出手段、または、前記駆動手段の少なくとも一つの出力信号に基づいて判定される。 According to another aspect of the present invention, there is provided a method for controlling an imaging apparatus, the step of detecting vibration using a vibration detection unit, the step of calculating a target position of a correction unit so as to reduce image blur due to the vibration, Detecting the position of the correction means using the detection means, performing feedback control based on the position of the correction means and the target position of the correction means using the feedback control means, and using the drive means Driving the correction unit based on control by the feedback control unit, and determining a vibration state, the vibration state being the feedback control unit, the position detection unit, or the driving unit. Is determined based on at least one of the output signals.
本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させるように構成されている。 A program according to another aspect of the present invention is configured to cause a computer to execute a method for controlling the imaging apparatus.
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。 A storage medium according to another aspect of the present invention stores the program.
本発明の他の目的及び特徴は、以下の実施例において説明される。 Other objects and features of the present invention are illustrated in the following examples.
本発明によれば、消費電力を低減した撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which reduced power consumption, the control method of an imaging device, a program, and a storage medium can be provided.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
まず、図１を参照して、本発明の実施例１における撮像装置の構成について説明する。図１は、本実施例における撮像装置１００（デジタルカメラ）の構成を示すブロック図である。 First, with reference to FIG. 1, the configuration of the imaging apparatus according to the first embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 (digital camera) in the present embodiment.
撮像装置１００において、ズームユニット１０１は、変倍を行うズームレンズを含む。ズーム駆動制御部１０２は、ズームユニット１０１を駆動制御する。シフトレンズユニット１０３（ＩＳユニット）はシフトレンズ１０３１（補正光学系）を含み、撮像装置１００の振れ（振動）による像ブレを低減する（補正する）ように、撮影光学系の光軸ＯＡに対して略直交な面内において移動可能な補正手段である。シフトレンズ駆動制御部１０４（ＩＳ駆動制御部）は、シフトレンズユニット１０３を駆動制御する。本実施例において、ズーム駆動制御部１０２およびシフトレンズ駆動制御部１０４は、例えば省電力時において、ズームユニット１０１およびシフトレンズユニット１０３のそれぞれの電源（駆動電源）の供給を停止する。 In the imaging apparatus 100, the zoom unit 101 includes a zoom lens that performs zooming. The zoom drive control unit 102 drives and controls the zoom unit 101. The shift lens unit 103 (IS unit) includes a shift lens 1031 (correction optical system), and reduces (corrects) image blur due to shake (vibration) of the imaging apparatus 100 with respect to the optical axis OA of the photographing optical system. The correction means is movable in a substantially orthogonal plane. The shift lens drive control unit 104 (IS drive control unit) drives and controls the shift lens unit 103. In the present embodiment, the zoom drive control unit 102 and the shift lens drive control unit 104 stop supplying the respective power sources (drive power sources) to the zoom unit 101 and the shift lens unit 103, for example, during power saving.
絞り・シャッタユニット１０５は、撮影光学系における絞り動作およびシャッタ動作を行う。絞り・シャッタ駆動制御部１０６は、絞り・シャッタユニット１０５を駆動制御する。フォーカスユニット１０７は、ピント調整（焦点調整）を行うフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。ズームユニット１０１、シフトレンズユニット１０３、絞り・シャッタユニット１０５、および、フォーカスユニット１０７により撮影光学系が構成される。なお本実施例において、撮影光学系は撮像部１０９を備えた撮像装置本体と一体的に構成されているが、これに限定されるものではない。撮影光学系（レンズ装置）が撮像装置本体に対して着脱可能に取り付けられる交換レンズであっても、本実施例は適用可能である。 The aperture / shutter unit 105 performs an aperture operation and a shutter operation in the photographing optical system. The aperture / shutter drive control unit 106 controls the drive of the aperture / shutter unit 105. The focus unit 107 includes a focus lens that performs focus adjustment (focus adjustment). The focus drive control unit 108 controls the drive of the focus unit 107. The zoom unit 101, the shift lens unit 103, the aperture / shutter unit 105, and the focus unit 107 constitute a photographing optical system. In this embodiment, the photographic optical system is configured integrally with the imaging apparatus main body including the imaging unit 109, but is not limited to this. The present embodiment can also be applied to an interchangeable lens in which the photographing optical system (lens device) is detachably attached to the imaging device main body.
撮像部１０９は、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を含み、撮影光学系（各レンズ群）を通過した光学像を光電変換して電気信号を出力する。撮像信号処理部１１０は、撮像部１０９から出力された電気信号を映像信号へ変換する。映像信号処理部１１１は、撮像信号処理部１１０から出力された映像信号を用途に応じて加工する。表示部１１２は、ＬＣＤなどのディスプレイを備え、映像信号処理部１１１から出力された信号に基づいて、必要に応じて画像表示を行う。 The imaging unit 109 includes an imaging element such as a CMOS sensor or a CCD sensor, and photoelectrically converts an optical image that has passed through the photographing optical system (each lens group) to output an electrical signal. The imaging signal processing unit 110 converts the electrical signal output from the imaging unit 109 into a video signal. The video signal processing unit 111 processes the video signal output from the imaging signal processing unit 110 according to the application. The display unit 112 includes a display such as an LCD, and displays an image as necessary based on the signal output from the video signal processing unit 111.
電源部１１３は、撮像装置１００の全体（各要素）に用途に応じて電源を供給する。外部入出力端子部１１４は、外部装置との間で通信信号および映像信号を入出力する。操作部１１５は、撮像装置１００を操作するために設けられている。記憶部１１６は、撮影により得られた映像情報などの種々のデータを記憶する。制御部１１７は、撮像装置１００の全体の制御を行う。 The power supply unit 113 supplies power to the entire imaging apparatus 100 (each element) according to the application. The external input / output terminal unit 114 inputs / outputs communication signals and video signals to / from external devices. The operation unit 115 is provided for operating the imaging apparatus 100. The storage unit 116 stores various data such as video information obtained by shooting. The control unit 117 performs overall control of the imaging apparatus 100.
次に、撮像装置１００の動作について説明する。操作部１１５は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように構成されたシャッタレリーズボタン（不図示）を有している。シャッタレリーズボタンを約半分だけ押し込んだときに第１スイッチ（ＳＷ１）がオンし、シャッタレリーズボタンを最後まで押し込んだときに第２スイッチ（ＳＷ２）がオンする。 Next, the operation of the imaging apparatus 100 will be described. The operation unit 115 has a shutter release button (not shown) configured so that the first switch (SW1) and the second switch (SW2) are sequentially turned on according to the amount of pressing. The first switch (SW1) is turned on when the shutter release button is pushed by about half, and the second switch (SW2) is turned on when the shutter release button is pushed to the end.
第１スイッチ（ＳＷ１）がオンされると、フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動してピント調整を行う。また、絞り・シャッタ駆動制御部１０６は、絞り・シャッタユニット１０５を駆動して、露光量を適正に設定する。続いて、第２スイッチ（ＳＷ２）がオンされると、撮像部１０９に光学像が露光され、撮像素子（撮像部１０９）により光電変換された電気信号に基づいて得られた画像データが記憶部１１６に記憶される。 When the first switch (SW1) is turned on, the focus drive control unit 108 drives the focus unit 107 to perform focus adjustment. The diaphragm / shutter drive control unit 106 drives the diaphragm / shutter unit 105 to set the exposure amount appropriately. Subsequently, when the second switch (SW2) is turned on, an optical image is exposed to the imaging unit 109, and image data obtained based on an electrical signal photoelectrically converted by the imaging element (imaging unit 109) is stored in the storage unit. 116.
操作部１１５から防振機能をオンにする指示が入力された場合、制御部１１７は、シフトレンズ駆動制御部１０４に防振動作を指示する。シフトレンズ駆動制御部１０４は、制御部１１７からの指示に基づいて防振動作を行う。防振動作は、操作部１１５により防振機能をオフにする指示がなされるまで行われる。制御部１１７は、操作部１１５が一定時間操作されなかった場合、省電力のために表示部１１２のディスプレイの電源を遮断するなどの指示を出力する。本実施例において、撮像装置１００は、静止画撮影モードおよび動画撮影モードから一方の撮影モードを操作部１１５の操作によって選択可能である。制御部１１７は、選択された撮影モードに応じて、撮像装置１００（撮影光学系）の各アクチュエータ（可動素子または駆動手段）の動作条件を変更する。 When an instruction to turn on the image stabilization function is input from the operation unit 115, the control unit 117 instructs the shift lens drive control unit 104 to perform the image stabilization operation. The shift lens drive control unit 104 performs an image stabilization operation based on an instruction from the control unit 117. The image stabilization operation is performed until the operation unit 115 instructs to turn off the image stabilization function. When the operation unit 115 has not been operated for a certain period of time, the control unit 117 outputs an instruction such as shutting off the power source of the display unit 112 for power saving. In this embodiment, the imaging apparatus 100 can select one of the shooting modes from the still image shooting mode and the moving image shooting mode by operating the operation unit 115. The control unit 117 changes the operating condition of each actuator (movable element or driving unit) of the imaging apparatus 100 (imaging optical system) according to the selected imaging mode.
操作部１１５を介してズームユニット１０１（ズームレンズ）による変倍の指示が入力されると、ズーム駆動制御部１０２は、制御部１１７からの指示に基づいて、ズームユニット１０１を駆動し、指示されたズーム位置にズームレンズを移動させる。そしてフォーカス駆動制御部１０８は、撮像信号処理部１１０および映像信号処理部１１１にて処理された画像情報（画像データ）に基づいて、フォーカスユニット１０７を駆動し、ピント調整（フォーカス制御）を行う。 When an instruction for zooming by the zoom unit 101 (zoom lens) is input via the operation unit 115, the zoom drive control unit 102 drives the zoom unit 101 based on an instruction from the control unit 117 and is instructed. Move the zoom lens to the zoom position. The focus drive control unit 108 drives the focus unit 107 based on the image information (image data) processed by the imaging signal processing unit 110 and the video signal processing unit 111, and performs focus adjustment (focus control).
次に、図２を参照して、シフトレンズ駆動制御部１０４の構成について説明する。図２は、シフトレンズ駆動制御部１０４の構成を示すブロック図である。 Next, the configuration of the shift lens drive control unit 104 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a configuration of the shift lens drive control unit 104.
シフトレンズ駆動制御部１０４は、撮像装置１００に加わる振れ（振動）を検出する振動検出手段として、ピッチ方向振れ検出部２０１ａ（ピッチ方向ジャイロ部）およびヨー方向振れ検出部２０１ｂ（ヨー方向ジャイロ部）を備えている。ピッチ方向振れ検出部２０１ａ、ヨー方向振れ検出部２０１ｂは、例えば、角速度センサや速度センサを備えて構成される。ピッチ方向振れ検出部２０１ａは、通常姿勢（画像フレームの長さ方向が水平方向とほぼ一致する姿勢）の撮像装置１００の垂直方向（ピッチ方向）の振れを検出し、振れ信号を出力する。ヨー方向振れ検出部２０１ｂは、通常姿勢の撮像装置１００の水平方向（ヨー方向）の振れを検出し、振れ信号を出力する。 The shift lens drive control unit 104 serves as a vibration detection unit that detects a shake (vibration) applied to the imaging apparatus 100. The pitch direction shake detection unit 201a (pitch direction gyro unit) and the yaw direction shake detection unit 201b (yaw direction gyro unit). It has. The pitch direction shake detection unit 201a and the yaw direction shake detection unit 201b include, for example, an angular velocity sensor and a speed sensor. The pitch direction shake detection unit 201a detects the shake in the vertical direction (pitch direction) of the imaging apparatus 100 in the normal posture (the posture in which the length direction of the image frame substantially matches the horizontal direction), and outputs a shake signal. The yaw direction shake detection unit 201b detects a shake in the horizontal direction (yaw direction) of the imaging apparatus 100 in the normal posture, and outputs a shake signal.
防振制御部２０２ａは、ピッチ方向振れ検出部２０１ａから出力された振れ信号に基づいて、ピッチ方向のシフトレンズ補正位置の制御信号を算出する。同様に、防振制御部２０２ｂは、ヨー方向振れ検出部２０１ｂから出力された振れ信号に基づいて、ヨー方向のシフトレンズ補正位置の制御信号を算出する。シフトレンズ１０３１は磁石が設けられている。位置検出部２０５ａ、２０５ｂ（位置検出手段）は、それぞれ、シフトレンズ１０３１の磁石の磁場を検出するホール素子を備え、シフトレンズ１０３１のピッチ方向およびヨー方向のそれぞれの位置を検出して位置信号（位置情報）を出力する。 The image stabilization control unit 202a calculates a control signal for the shift lens correction position in the pitch direction based on the shake signal output from the pitch direction shake detection unit 201a. Similarly, the image stabilization control unit 202b calculates a control signal for the shift lens correction position in the yaw direction based on the shake signal output from the yaw direction shake detection unit 201b. The shift lens 1031 is provided with a magnet. Each of the position detection units 205a and 205b (position detection means) includes a Hall element that detects the magnetic field of the magnet of the shift lens 1031. The position detection unit 205a and 205b detect the position of the shift lens 1031 in the pitch direction and the yaw direction. Position information).
ＰＩＤ部２０３ａ、２０３ｂ（帰還制御手段）は、それぞれ、比例制御を行う比例制御部、積分制御を行う積分制御部、および、微分制御を行う微分制御部を有する。このような構成により、ＰＩＤ部２０３ａ、２０３ｂは、それぞれ、防振制御部２０２ａ、２０２ｂからのシフトレンズ補正位置の制御信号と、位置検出部２０５ａ、２０５ｂの位置信号との偏差に基づいて制御量を算出し、ドライブ指令信号を出力する。ドライブ部２０４ａ、２０４ｂ（駆動手段）は、それぞれ、アクチュエータ（またはモータ）を有し、ＰＩＤ部２０３ａ、２０３ｂから出力されたドライブ指令信号（駆動制御信号）に基づいて、シフトレンズ１０３１を駆動する。このようにＰＩＤ部２０３ａ、２０３ｂは、位置検出部２０５ａ、２００５ｂから出力される位置信号が防振制御部２０２ａ、２０２ｂから出力されるシフトレンズ補正位置の制御信号に収束するように、フィードバック制御を行う。 Each of the PID units 203a and 203b (feedback control means) includes a proportional control unit that performs proportional control, an integral control unit that performs integral control, and a differential control unit that performs differential control. With such a configuration, the PID units 203a and 203b are controlled based on the deviation between the control signal of the shift lens correction position from the image stabilization control units 202a and 202b and the position signal of the position detection units 205a and 205b, respectively. Is calculated and a drive command signal is output. The drive units 204a and 204b (drive means) each have an actuator (or motor), and drive the shift lens 1031 based on drive command signals (drive control signals) output from the PID units 203a and 203b. In this way, the PID units 203a and 203b perform feedback control so that the position signals output from the position detection units 205a and 2005b converge to the control signal for the shift lens correction position output from the image stabilization control units 202a and 202b. Do.
ピッチ方向振れ検出部２０１ａからの振れ信号に基づいて算出される、防振制御部２０２ａのピッチ方向のシフトレンズ補正位置の制御信号は、ピッチ方向の移動目標位置（振れ補正位置）を表す信号である。同様に、ヨー方向振れ検出部２０１ｂからの振れ信号に基づいて算出される、防振制御部２０２ｂのヨー方向のシフトレンズ補正位置の制御信号は、ヨー方向の移動目標位置（振れ補正位置）を表す信号である。このため、シフトレンズ駆動制御部１０４は、防振制御部２０２ａ、２０２ｂのそれぞれから出力されるシフトレンズ補正位置の制御信号に基づいて、撮像装置１００の振れによる像ブレを補正する方向にシフトレンズ１０３１の位置を移動させる。このように、振れ補正を行うシフトレンズ１０３１が、光軸ＯＡと直交する方向（ピッチ方向およびヨー方向）に移動することにより、撮像装置１００に手振れなどの振動が発生した場合でも、像ブレを低減することができる。 The control signal for the shift lens correction position in the pitch direction of the image stabilization control unit 202a, which is calculated based on the shake signal from the pitch direction shake detection unit 201a, is a signal representing the movement target position (shake correction position) in the pitch direction. is there. Similarly, the control signal for the shift lens correction position in the yaw direction of the image stabilization control unit 202b, which is calculated based on the shake signal from the yaw direction shake detection unit 201b, indicates the movement target position (shake correction position) in the yaw direction. It is a signal to represent. For this reason, the shift lens drive control unit 104 shifts the shift lens in a direction to correct image blur due to shake of the imaging apparatus 100 based on the control signal of the shift lens correction position output from each of the image stabilization control units 202a and 202b. The position 1031 is moved. As described above, the shift lens 1031 that performs shake correction moves in a direction (pitch direction and yaw direction) orthogonal to the optical axis OA, thereby causing image blur even when vibration such as camera shake occurs in the imaging apparatus 100. Can be reduced.
次に、図３を参照して、防振制御部２０２（防振制御部２０２ａ、２０２ｂ）の構成について説明する。図３は、防振制御部２０２の構成を示すブロック図である。 Next, the configuration of the image stabilization control unit 202 (image stabilization control units 202a and 202b) will be described with reference to FIG. FIG. 3 is a block diagram illustrating a configuration of the image stabilization control unit 202.
振れ検出部２０１（角速度センサ）は、撮像装置１００の振れ（振動）を検出して振れ情報（振れ信号）を出力する。増幅器３０１（信号増幅手段）は、振れ検出部２０１から出力された振れ信号を特定の倍率に増幅する。Ａ／Ｄ変換器３０２は、増幅器３０１により増幅された振れ信号を、デジタル信号に変換する（デジタル数値化）。ＨＰＦ３０３（デジタルハイパスフィルタ）、ＬＰＦ３０４（デジタルローパスフィルタ）は、所定周波数を通過させるカットオフ変更可能なフィルタ手段であり、Ａ／Ｄ変換器３０２により変換された振れ信号（デジタル信号）を処理する。振れ補正量算出部３０５（算出手段）は、フィルタ処理された振れ信号を、シフトレンズの目標位置に換算し、振れ補正量を算出する。すなわち振れ補正量算出部３０５は、撮像装置１００の振動による像ブレを低減するようにシフトレンズ１０３１（補正手段）の目標位置を算出する。 The shake detection unit 201 (angular velocity sensor) detects shake (vibration) of the imaging apparatus 100 and outputs shake information (a shake signal). The amplifier 301 (signal amplification means) amplifies the shake signal output from the shake detection unit 201 to a specific magnification. The A / D converter 302 converts the shake signal amplified by the amplifier 301 into a digital signal (digital digitization). HPF 303 (digital high-pass filter) and LPF 304 (digital low-pass filter) are filter means capable of changing the cutoff to pass a predetermined frequency, and process the shake signal (digital signal) converted by the A / D converter 302. The shake correction amount calculation unit 305 (calculation unit) converts the shake signal subjected to the filter processing into a target position of the shift lens, and calculates a shake correction amount. That is, the shake correction amount calculation unit 305 calculates the target position of the shift lens 1031 (correction unit) so as to reduce image blur due to vibration of the imaging apparatus 100.
ＰＩＤ部２０３は、シフトレンズの現在位置（位置検出部２０５ａ、２０５ｂにより検出されたシフトレンズの実位置）、および、シフトレンズの目標位置（振れ補正量算出部３０５により算出されたシフトレンズの目標位置）に基づいて制御量を算出する。このようにシフトレンズ駆動制御部１０４は、ＰＩＤ部２０３により算出された制御量に基づいて、シフトレンズ１０３１（補正手段）を駆動し、像ブレを低減するように補正（防振制御）を行う。 The PID unit 203 includes the current position of the shift lens (the actual position of the shift lens detected by the position detection units 205a and 205b) and the target position of the shift lens (the target of the shift lens calculated by the shake correction amount calculation unit 305). The control amount is calculated based on (position). Thus, the shift lens drive control unit 104 drives the shift lens 1031 (correction unit) based on the control amount calculated by the PID unit 203 and performs correction (anti-vibration control) so as to reduce image blur. .
振動状態判定部３０７（判定手段）は、Ａ／Ｄ変換器３０２の出力信号（デジタル化された振れ信号の振幅および周波数に関する情報）に基づいて、撮像装置１００の振動状態（支持状態）を判定する。また振動状態判定部３０７は、ズーム倍率変倍部３０９およびＰＩＤ部２０３からの出力信号に基づいて、カットオフ変更部３０６の変更指示、振れ補正量算出部３０５の変更指示、および、振れ検出制御部３０８の制御指示を行う。振れ検出制御部３０８は、振れ検出部２０１のモードを設定する設定手段である。例えば振れ検出制御部３０８は、振れ検出部２０１に対して省電力モードを設定し、または、設定した省電力モードを解除して通常モードに設定する。 The vibration state determination unit 307 (determination unit) determines the vibration state (support state) of the imaging apparatus 100 based on the output signal of the A / D converter 302 (information regarding the amplitude and frequency of the digitized shake signal). To do. Further, the vibration state determination unit 307, based on the output signals from the zoom magnification changing unit 309 and the PID unit 203, the change instruction of the cutoff change unit 306, the change instruction of the shake correction amount calculation unit 305, and the shake detection control The control instruction of the unit 308 is issued. The shake detection control unit 308 is a setting unit that sets the mode of the shake detection unit 201. For example, the shake detection control unit 308 sets the power saving mode for the shake detection unit 201 or cancels the set power saving mode and sets the normal mode.
次に、図４を参照して、本実施例における像ブレ補正動作を含む撮影動作（撮像装置１００の制御方法）について説明する。図４は、撮像動作を示すフローチャートである。図４の各ステップは、主に、制御部１１７の指令に基づいてシフトレンズ駆動制御部１０４の各部により実行される。 Next, with reference to FIG. 4, a photographing operation (control method of the imaging apparatus 100) including an image blur correcting operation in the present embodiment will be described. FIG. 4 is a flowchart showing the imaging operation. Each step in FIG. 4 is mainly executed by each unit of the shift lens drive control unit 104 based on a command from the control unit 117.
まずステップＳ１０１において、撮像装置１００の電源がオンすると、シフトレンズ駆動制御部１０４は像振れ補正動作を開始する。ここで、像振れ補正動作は、一定周期毎（例えば２５０μｓｅｃ毎）に発生する割り込み処理によって行われる。また本実施例では、第１の方向例えばピッチ方向（縦方向）と、第２の方向例えばヨー方向（横方向）のそれぞれにおける制御が行われる。 First, in step S101, when the power of the imaging apparatus 100 is turned on, the shift lens drive control unit 104 starts an image blur correction operation. Here, the image blur correction operation is performed by an interrupt process that occurs at regular intervals (for example, every 250 μsec). In the present embodiment, control is performed in each of the first direction, for example, the pitch direction (vertical direction) and the second direction, for example, the yaw direction (lateral direction).
割り込み処理が発生すると、ステップＳ１０２において、防振制御部２０２のＡ／Ｄ変換器３０２は、振れ検出部２０１（角速度センサ）から出力された振れ信号をＡ／Ｄ変換する。続いてステップＳ１０３において、制御部１１７は、像ブレ補正モード（像ブレ補正機能）がオンまたはオフのいずれであるかを判定する。像振れ補正モードがオフの場合、ステップＳ１０４へ進み、防振制御部２０２は、シフトレンズ１０３１を中央（シフトレンズ１０３１の移動中心）に固定する。その後、ステップＳ１１２へ進み、振れ検出部２０１を省電力モードに設定する。 When interrupt processing occurs, in step S102, the A / D converter 302 of the image stabilization control unit 202 performs A / D conversion on the shake signal output from the shake detection unit 201 (angular velocity sensor). Subsequently, in step S103, the control unit 117 determines whether the image blur correction mode (image blur correction function) is on or off. When the image blur correction mode is off, the process proceeds to step S104, and the image stabilization control unit 202 fixes the shift lens 1031 at the center (the movement center of the shift lens 1031). Then, it progresses to step S112 and sets the shake detection part 201 to a power saving mode.
一方、ステップＳ１０３にて像振れ補正モードがオンの場合、ステップＳ１０５へ進み、防振制御部２０２の振動状態判定部３０７は、撮像装置１００の振れ（振動）の振幅を算出する。続いてステップＳ１０６において、振動状態判定部３０７は、撮像装置１００の振れの周波数を算出する。そしてステップＳ１０７において、振動状態判定部３０７は、算出された振幅と所定の第１振幅（振動検出用振幅所定値）とを比較する。また振動状態判定部３０７は、算出された周波数と所定の第１周波数（振動検出用周波数所定値）とを比較する。これらの比較の結果、算出された振幅が所定の第１振幅以下であって、かつ、算出された周波数が所定の第１周波数以下である場合、ステップＳ１０９へ進む。ステップＳ１０９において、振動状態判定部３０７は、振動検出カウンタをインクリメント（＋１）する。 On the other hand, when the image blur correction mode is on in step S103, the process proceeds to step S105, and the vibration state determination unit 307 of the image stabilization control unit 202 calculates the amplitude of vibration (vibration) of the imaging apparatus 100. Subsequently, in step S <b> 106, the vibration state determination unit 307 calculates the vibration frequency of the imaging apparatus 100. In step S107, the vibration state determination unit 307 compares the calculated amplitude with a predetermined first amplitude (vibration detection amplitude predetermined value). Further, the vibration state determination unit 307 compares the calculated frequency with a predetermined first frequency (predetermined value for vibration detection frequency). As a result of these comparisons, if the calculated amplitude is equal to or lower than the predetermined first amplitude and the calculated frequency is equal to or lower than the predetermined first frequency, the process proceeds to step S109. In step S109, the vibration state determination unit 307 increments (+1) the vibration detection counter.
一方、ステップＳ１０７において、算出された振幅が所定の第１振幅よりも大きいか、または、算出された周波数が所定の第１周波数よりも高い場合、ステップＳ１０８へ進む。ステップＳ１０８において、振動状態判定部３０７は、撮像装置１００が手持ちされているか否かを判定する。具体的には、振動状態判定部３０７は、算出された振幅と所定の第２振幅（手持ち検出用振幅所定値）とを比較する。また振動状態判定部３０７は、算出された周波数と所定の第２周波数（手持ち検出用周波数所定値）とを比較する。ここで、算出された振幅が所定の第２振幅以上であって、かつ、算出された周波数が所定の第２周波数以上である場合、振動状態判定部３０７は撮像装置１００が手持ちされていると判定し、ステップＳ１１０へ進む。ステップＳ１１０において、振動状態判定部３０７は、振動検出カウンタをクリアする。一方、ステップＳ１０８において、算出された振幅が所定の第２振幅よりも小さいか、または、算出された周波数が所定の第２周波数よりも低い場合、ステップＳ１１１へ進む。 On the other hand, when the calculated amplitude is larger than the predetermined first amplitude in step S107 or the calculated frequency is higher than the predetermined first frequency, the process proceeds to step S108. In step S <b> 108, the vibration state determination unit 307 determines whether or not the imaging apparatus 100 is held. Specifically, the vibration state determination unit 307 compares the calculated amplitude with a predetermined second amplitude (hand-held detection amplitude predetermined value). In addition, the vibration state determination unit 307 compares the calculated frequency with a predetermined second frequency (predetermined value for hand-held detection frequency). Here, when the calculated amplitude is equal to or greater than the predetermined second amplitude and the calculated frequency is equal to or greater than the predetermined second frequency, the vibration state determination unit 307 indicates that the imaging apparatus 100 is held. Determine and proceed to step S110. In step S110, the vibration state determination unit 307 clears the vibration detection counter. On the other hand, if the calculated amplitude is smaller than the predetermined second amplitude in step S108 or the calculated frequency is lower than the predetermined second frequency, the process proceeds to step S111.
ステップＳ１１１において、振動状態判定部３０７は、振動検出カウンタの値と第１所定値（振動検出用カウンタ所定値）とを比較する。その比較の結果、振動検出カウンタの値が第１所定値よりも小さい場合、撮像装置１００に小さい振動（小さい振幅および低い周波数を有する振動）が継続して加えられた状態ではない。この場合、振動状態判定部３０７は、撮像装置１００が手持ち状態であると判定し、ステップＳ１１９へ進む。ステップＳ１１９において、制御部１１７は、第２スイッチが押されたか否かを判定する。第２スイッチが押された場合、ステップＳ１２１へ進み、制御部１１７は露光動作を実行する。一方、第２スイッチが押されなかった場合、ステップＳ１０２へ戻る。 In step S111, the vibration state determination unit 307 compares the value of the vibration detection counter with a first predetermined value (vibration detection counter predetermined value). As a result of the comparison, when the value of the vibration detection counter is smaller than the first predetermined value, it is not in a state where a small vibration (vibration having a small amplitude and a low frequency) is continuously applied to the imaging apparatus 100. In this case, the vibration state determination unit 307 determines that the imaging apparatus 100 is in the handheld state, and proceeds to step S119. In step S119, the control unit 117 determines whether or not the second switch has been pressed. When the second switch is pressed, the process proceeds to step S121, and the control unit 117 performs an exposure operation. On the other hand, if the second switch has not been pressed, the process returns to step S102.
一方、ステップＳ１１１において、振動検出カウンタの値が振動検出用カウンタ所定値以上である場合、撮像装置１００に小さい振幅かつ低い周波数を有する振動が継続して加えられた状態である。この場合、振動状態判定部３０７は、撮像装置１００の振動は小さく、振れ検出部２０１の出力（ジャイロ出力）を使用する必要はない状態であると判定する。そしてステップＳ１１２において、防振制御部２０２の振れ検出制御部３０８は、振れ検出部２０１（ジャイロ）を省電力モードに設定する。 On the other hand, if the value of the vibration detection counter is greater than or equal to the predetermined value for the vibration detection counter in step S111, a vibration having a small amplitude and a low frequency is continuously applied to the imaging apparatus 100. In this case, the vibration state determination unit 307 determines that the vibration of the imaging device 100 is small and it is not necessary to use the output (gyro output) of the shake detection unit 201. In step S112, the shake detection control unit 308 of the image stabilization control unit 202 sets the shake detection unit 201 (gyro) to the power saving mode.
続いてステップＳ１１３において、振動状態判定部３０７は、ＰＩＤ部２０３からレンズ制御値（ＰＩＤ部２０３からの出力信号）を取得する。本実施例において、レンズ制御値は、ＰＩＤ部２０３の積分制御部の制御量（積分制御部の出力信号（振幅値））である。積分制御部の出力信号は、重力の作用により生じるシフトレンズ１０３１の移動分の補償量と比例し、シフトレンズ１０３１にかかる重力を含む加速度の影響を示す。すなわち積分制御部の出力信号は、撮像装置１００に加わる振動を表していることになる。このため振動状態判定部３０７は、積分制御部の出力信号（振幅値）を取得することにより、撮像装置１００が振動しているか否かを判定するための指標とすることができる。 Subsequently, in step S <b> 113, the vibration state determination unit 307 acquires a lens control value (output signal from the PID unit 203) from the PID unit 203. In this embodiment, the lens control value is a control amount (output signal (amplitude value) of the integration control unit) of the integration control unit of the PID unit 203. The output signal of the integration control unit is proportional to the amount of compensation for the movement of the shift lens 1031 caused by the action of gravity, and indicates the influence of acceleration including gravity on the shift lens 1031. That is, the output signal of the integration control unit represents the vibration applied to the imaging device 100. Therefore, the vibration state determination unit 307 can obtain an output signal (amplitude value) of the integration control unit, and can be used as an index for determining whether or not the imaging device 100 is vibrating.
続いてステップＳ１１４において、振動状態判定部３０７は、ステップＳ１１３にて取得されたレンズ制御値（積分制御部の出力信号）と所定の判定閾値とを比較する。レンズ制御値が所定の判定閾値以下である場合、ステップＳ１１６へ進む。ステップＳ１１６において、振動状態判定部３０７は、省電力解除カウンタをクリアする。一方、ステップＳ１１４にてレンズ制御値が所定の判定閾値よりも大きい場合、ステップＳ１１５へ進む。ステップＳ１１５において、振動状態判定部３０７は、省電力解除カウンタをインクリメント（＋１）する。 Subsequently, in step S114, the vibration state determination unit 307 compares the lens control value (output signal of the integration control unit) acquired in step S113 with a predetermined determination threshold value. If the lens control value is equal to or smaller than the predetermined determination threshold value, the process proceeds to step S116. In step S116, the vibration state determination unit 307 clears the power saving cancellation counter. On the other hand, if the lens control value is larger than the predetermined determination threshold value in step S114, the process proceeds to step S115. In step S115, the vibration state determination unit 307 increments (+1) the power saving cancellation counter.
続いてステップＳ１１７において、振動状態判定部３０７は、省電力解除カウンタの値と解除閾値（省電力解除検出用カウンタ所定値）とを比較する。省電力解除カウンタの値が解除閾値以上である場合、撮像装置１００に振動が継続して加えられた状態であると推測されるため、ステップＳ１１８に進む。ステップＳ１１８において、振れ検出制御部３０８は、振れ検出部２０１に対して省電力モードを解除する。このとき振れ検出部２０１は通常モードに設定される。一方、ステップＳ１１７にて省電力解除カウンタの値が解除閾値よりも小さい場合、撮像装置１００に振動が継続して加えられた状態ではない推測されるため、省電力モードを継続する。 Subsequently, in step S117, the vibration state determination unit 307 compares the value of the power saving cancellation counter with a cancellation threshold (power saving cancellation detection counter predetermined value). If the value of the power saving cancellation counter is equal to or greater than the cancellation threshold, it is presumed that the vibration is continuously applied to the imaging apparatus 100, and thus the process proceeds to step S118. In step S <b> 118, the shake detection control unit 308 cancels the power saving mode for the shake detection unit 201. At this time, the shake detection unit 201 is set to the normal mode. On the other hand, when the value of the power saving cancellation counter is smaller than the cancellation threshold value in step S117, it is estimated that vibration is not continuously applied to the imaging apparatus 100, and thus the power saving mode is continued.
その後、ステップＳ１２０へ進み、制御部１１７は第２スイッチが押されたか否かを判定する。第２スイッチが押された場合、ステップＳ１２１へ進み、制御部１１７は露光動作を実行する。一方、第２スイッチが押されなかった場合、ステップＳ１０２に戻り、ステップＳ１０２〜Ｓ１２０を繰り返す。 Thereafter, the process proceeds to step S120, where the control unit 117 determines whether or not the second switch has been pressed. When the second switch is pressed, the process proceeds to step S121, and the control unit 117 performs an exposure operation. On the other hand, if the second switch has not been pressed, the process returns to step S102 and steps S102 to S120 are repeated.
なお本実施例において、ステップＳ１１３にて取得される制御量として、ＰＩＤ部の積分成分の振幅値（積分制御部の出力信号）を用いているが、これに限定されるものではない。例えば、位置検出部２０５の出力信号、または、ドライブ部２０４の出力信号を、撮像装置１００が振動しているか否かを判定するための指標（ステップＳ１１３にて取得される制御量）として用いてもよい。また本実施例において、振動状態判定部３０７は、振れ検出部２０１として角速度センサからの出力信号に基づいて振動状態の判定を行っているが、これに限定されるものではない。加速度センサなどの振動を検出する他のセンサからの出力信号に基づいて振動状態の判定を行うように構成することもできる。これらの点は、以下の実施例２についても同様である。 In the present embodiment, the amplitude value of the integral component of the PID unit (the output signal of the integral control unit) is used as the control amount acquired in step S113, but the present invention is not limited to this. For example, the output signal of the position detection unit 205 or the output signal of the drive unit 204 is used as an index (control amount acquired in step S113) for determining whether or not the imaging apparatus 100 is vibrating. Also good. In the present embodiment, the vibration state determination unit 307 determines the vibration state based on the output signal from the angular velocity sensor as the vibration detection unit 201, but is not limited thereto. The vibration state may be determined based on an output signal from another sensor that detects vibration such as an acceleration sensor. These points are the same in the second embodiment.
次に、図５を参照して、本発明の実施例２における像ブレ補正動作を含む撮影動作（撮像装置１００の制御方法）について説明する。図５は、撮像動作を示すフローチャートである。図５の各ステップは、主に、制御部１１７の指令に基づいてシフトレンズ駆動制御部１０４の各部により実行される。なお、本実施例における撮像装置の基本構成は実施例１と同様であるため、それらの説明は省略する。 Next, with reference to FIG. 5, a photographing operation (a control method of the imaging apparatus 100) including an image blur correction operation according to the second embodiment of the present invention will be described. FIG. 5 is a flowchart showing the imaging operation. Each step in FIG. 5 is mainly executed by each unit of the shift lens drive control unit 104 based on a command from the control unit 117. Note that the basic configuration of the imaging apparatus according to the present embodiment is the same as that of the first embodiment, and thus the description thereof is omitted.
まずステップＳ２０１において、撮像装置１００の電源がオンすると、シフトレンズ駆動制御部１０４は像振れ補正動作を開始する。本実施例のステップＳ２０１〜Ｓ２０３は、実施例１のステップＳ１０１〜Ｓ１０３とそれぞれ同様である。ステップＳ２０３において、像ブレ補正モード（像ブレ補正機能）がオフの場合、ステップＳ２０４へ進み、防振制御部２０２は、シフトレンズ１０３１を中央（シフトレンズ１０３１の移動中心）に固定する。その後、ステップＳ２０２へ戻る。 First, in step S201, when the power of the imaging apparatus 100 is turned on, the shift lens drive control unit 104 starts an image blur correction operation. Steps S201 to S203 in the present embodiment are the same as steps S101 to S103 in the first embodiment, respectively. If the image blur correction mode (image blur correction function) is off in step S203, the process proceeds to step S204, and the image stabilization control unit 202 fixes the shift lens 1031 at the center (the movement center of the shift lens 1031). Thereafter, the process returns to step S202.
一方、ステップＳ２０３にて像ブレ補正モードがオンの場合、ステップＳ２０５、Ｓ２０６において、防振制御部２０２の振動状態判定部３０７は、実施例１のステップＳ１０５、Ｓ１０６と同様に、振動の振幅および周波数を算出する。そしてステップＳ２０７において、振動状態判定部３０７は、算出された振幅と所定の第１振幅（三脚検出用振幅所定値）とを比較する。また振動状態判定部３０７は、算出された周波数と所定の第１周波数（三脚検出用周波数所定値）とを比較する。これらの比較の結果、算出された振幅が所定の第１振幅以下であって、かつ、算出された周波数が所定の第１周波数以下である場合、ステップＳ２０９へ進む。ステップＳ２０９において、振動状態判定部３０７は、三脚検出カウンタをインクリメント（＋１）する。 On the other hand, when the image blur correction mode is on in step S203, in steps S205 and S206, the vibration state determination unit 307 of the image stabilization control unit 202 determines the vibration amplitude and the vibration in the same manner as in steps S105 and S106 of the first embodiment. Calculate the frequency. In step S207, the vibration state determination unit 307 compares the calculated amplitude with a predetermined first amplitude (a tripod detection amplitude predetermined value). The vibration state determination unit 307 compares the calculated frequency with a predetermined first frequency (a predetermined value for tripod detection frequency). As a result of these comparisons, when the calculated amplitude is equal to or smaller than the predetermined first amplitude and the calculated frequency is equal to or smaller than the predetermined first frequency, the process proceeds to step S209. In step S209, the vibration state determination unit 307 increments (+1) the tripod detection counter.
一方、ステップＳ２０７において、算出された振幅が所定の第１振幅よりも大きいか、または、算出された周波数が所定の第１周波数よりも高い場合、ステップＳ２０８へ進む。ステップＳ２０８において、振動状態判定部３０７は、撮像装置１００が手持ちされているか否かを判定する。具体的には、振動状態判定部３０７は、算出された振幅と所定の第２振幅（手持ち検出用振幅所定値）とを比較する。また振動状態判定部３０７は、算出された周波数と所定の第２周波数（手持ち検出用周波数所定値）とを比較する。ここで、算出された振幅が所定の第２振幅以上であって、かつ、算出された周波数が所定の第２周波数以上である場合、振動状態判定部３０７は撮像装置１００が手持ちされていると判定し、ステップＳ２１０へ進む。ステップＳ２１０において、振動状態判定部３０７は、三脚検出カウンタをクリアする。一方、ステップＳ２０８において、算出された振幅が所定の第２振幅よりも小さいか、または、算出された周波数が所定の第２周波数よりも低い場合、ステップＳ２１１へ進む。 On the other hand, if the calculated amplitude is larger than the predetermined first amplitude in step S207 or the calculated frequency is higher than the predetermined first frequency, the process proceeds to step S208. In step S <b> 208, the vibration state determination unit 307 determines whether or not the imaging device 100 is handheld. Specifically, the vibration state determination unit 307 compares the calculated amplitude with a predetermined second amplitude (hand-held detection amplitude predetermined value). In addition, the vibration state determination unit 307 compares the calculated frequency with a predetermined second frequency (predetermined value for hand-held detection frequency). Here, when the calculated amplitude is equal to or greater than the predetermined second amplitude and the calculated frequency is equal to or greater than the predetermined second frequency, the vibration state determination unit 307 indicates that the imaging apparatus 100 is held. Determine and proceed to step S210. In step S210, the vibration state determination unit 307 clears the tripod detection counter. On the other hand, if the calculated amplitude is smaller than the predetermined second amplitude in step S208 or the calculated frequency is lower than the predetermined second frequency, the process proceeds to step S211.
ステップＳ２１１において、振動状態判定部３０７は、三脚検出カウンタの値と第２所定値（三脚検出用カウンタ所定値）とを比較する。その比較の結果、三脚検出カウンタの値が第２所定値よりも小さい場合、撮像装置１００に小さい振動（小さい振幅および低い周波数を有する振動）が継続して加えられた状態ではない。この場合、振動状態判定部３０７は、撮像装置１００が手持ち状態であると判定し、ステップＳ２１４へ進む。ステップＳ２１４において、制御部１１７は像ブレ補正モードに設定し、シフトレンズ駆動制御部１０４は通常の防振動作を行う。その後、ステップＳ２２３へ進む。ステップＳ２２３において、制御部１１７は、第２スイッチが押されたか否かを判定する。第２スイッチが押された場合、ステップＳ２２５へ進み、制御部１１７は露光動作を実行する。一方、第２スイッチが押されなかった場合、ステップＳ２０２へ戻る。 In step S211, the vibration state determination unit 307 compares the value of the tripod detection counter with the second predetermined value (the predetermined value for the tripod detection counter). As a result of the comparison, when the value of the tripod detection counter is smaller than the second predetermined value, it is not in a state where a small vibration (vibration having a small amplitude and a low frequency) is continuously applied to the imaging apparatus 100. In this case, the vibration state determination unit 307 determines that the imaging apparatus 100 is in the handheld state, and proceeds to step S214. In step S214, the control unit 117 sets the image blur correction mode, and the shift lens drive control unit 104 performs a normal image stabilization operation. Thereafter, the process proceeds to step S223. In step S223, the control unit 117 determines whether or not the second switch has been pressed. When the second switch is pressed, the process proceeds to step S225, and the control unit 117 performs an exposure operation. On the other hand, if the second switch has not been pressed, the process returns to step S202.
一方、ステップＳ２１１において、三脚検出カウンタの値が三脚検出用カウンタ所定値以上である場合、撮像装置１００に小さい振幅かつ低い周波数を有する振動が継続して加えられた状態である。この場合、振動状態判定部３０７は、撮像装置１００が三脚などの固定部材に据え付けられた固定状態であると判定する。 On the other hand, when the value of the tripod detection counter is equal to or larger than the predetermined value for the tripod detection counter in step S211, vibration having a small amplitude and a low frequency is continuously applied to the imaging apparatus 100. In this case, the vibration state determination unit 307 determines that the imaging device 100 is in a fixed state installed on a fixed member such as a tripod.
続いてステップＳ２１２において、振動状態判定部３０７は、現在のズーム倍率（ズーム倍率変倍部３０９から情報）と所定倍率とを比較する。現在のズーム倍率が所定倍率よりも高い場合、レリーズ時の振動などでブレ画像が撮影される可能性が高いため、ブレ補正は実施する必要がある。しかし、振れ検出部２０１から出力される低周波のドリフト信号（ゆらぎ）により、防振制御部２０２（振れ補正機構）は、撮像装置１００の振れとは関係のない振れ補正を行ってしまい、像ブレを助長してしまう可能性がある。そこで、像ブレ補正の効果を得つつ、振れ検出部２０１から出力される低周波のドリフト信号（ゆらぎ）の影響を受けないように、ステップＳ２１３に進む。ステップＳ２１３において、振動状態判定部３０７は、ズーム倍率変倍部３０９からの出力信号に基づいて、カットオフ周波数を変更するようにカットオフ変更部３０６（変更手段）を制御する。具体的には、カットオフ変更部３０６は、ＨＰＦ３０３およびＬＰＦ３０４のカットオフ周波数を上げる。その後、ステップＳ２２３へ進む。 Subsequently, in step S212, the vibration state determination unit 307 compares the current zoom magnification (information from the zoom magnification changing unit 309) with a predetermined magnification. When the current zoom magnification is higher than the predetermined magnification, there is a high possibility that a blurred image is captured due to vibration at the time of release or the like, so it is necessary to perform blur correction. However, due to the low-frequency drift signal (fluctuation) output from the shake detection unit 201, the image stabilization control unit 202 (shake correction mechanism) performs shake correction that is unrelated to the shake of the imaging apparatus 100, and the image There is a possibility of promoting blurring. Therefore, the process proceeds to step S213 so that the effect of image blur correction is obtained and the low frequency drift signal (fluctuation) output from the shake detection unit 201 is not affected. In step S213, the vibration state determination unit 307 controls the cut-off changing unit 306 (changing unit) to change the cut-off frequency based on the output signal from the zoom magnification changing unit 309. Specifically, the cut-off changing unit 306 increases the cut-off frequency of the HPF 303 and the LPF 304. Thereafter, the process proceeds to step S223.
一方、ステップＳ２１２にて現在のズーム倍率が所定倍率以下の場合、ステップＳ２１５へ進み、シフトレンズ駆動制御部１０４はシフトレンズ１０３１を中央（中心位置）に固定する。ただし、シフトレンズ１０３１の固定位置は、中央に限定されるものではなく、三脚などに据え付けられた状態であると判定された位置でシフトレンズ１０３１を固定してもよい。このとき、シフトレンズ１０３１は固定されているため、振れ検出部２０１の出力（ジャイロ出力）を使用する必要はない。このためステップＳ２１６において、防振制御部２０２の振れ検出制御部３０８は、振れ検出部２０１（ジャイロ）を省電力モードに設定する。続くステップＳ２１７〜Ｓ２２２、Ｓ２２４、Ｓ２２５は、実施例１のステップＳ１１３〜Ｓ１１８、Ｓ１２０、Ｓ２１２とそれぞれ同様である。 On the other hand, when the current zoom magnification is equal to or smaller than the predetermined magnification in step S212, the process proceeds to step S215, and the shift lens drive control unit 104 fixes the shift lens 1031 at the center (center position). However, the fixed position of the shift lens 1031 is not limited to the center, and the shift lens 1031 may be fixed at a position determined to be mounted on a tripod or the like. At this time, since the shift lens 1031 is fixed, it is not necessary to use the output (gyro output) of the shake detection unit 201. For this reason, in step S216, the shake detection control unit 308 of the image stabilization control unit 202 sets the shake detection unit 201 (gyro) in the power saving mode. Subsequent steps S217 to S222, S224, and S225 are the same as steps S113 to S118, S120, and S212 of the first embodiment, respectively.
このように各実施例の撮像装置１００は、位置検出手段（位置検出部２０５ａ、２０５ｂ）、帰還制御手段（ＰＩＤ部２０３ａ、２０３ｂ）、駆動手段（ドライブ部２０４ａ、２０４ｂ）、および、判定手段（振動状態判定部３０７）を有する。位置検出手段は、補正手段（シフトレンズ１０３１）の位置を検出する。帰還制御手段は、位置検出手段により検出された補正手段の位置および算出手段（振れ補正量算出部３０５）により算出された補正手段の目標位置に基づいて帰還制御を行う。駆動手段は、帰還制御手段による制御に基づいて補正手段を駆動する。判定手段は、帰還制御手段、位置検出手段、または、駆動手段の少なくとも一つの出力信号に基づいて振動状態を判定する。 As described above, the imaging apparatus 100 according to each embodiment includes a position detection unit (position detection units 205a and 205b), a feedback control unit (PID units 203a and 203b), a drive unit (drive units 204a and 204b), and a determination unit ( A vibration state determination unit 307). The position detection means detects the position of the correction means (shift lens 1031). The feedback control means performs feedback control based on the position of the correction means detected by the position detection means and the target position of the correction means calculated by the calculation means (the shake correction amount calculation unit 305). The drive means drives the correction means based on control by the feedback control means. The determination means determines the vibration state based on at least one output signal of the feedback control means, the position detection means, or the drive means.
好ましくは、判定手段は、第１モードの場合、振動検出手段により検出された振動に基づいて振動状態を判定する。一方、判定手段は、第２モードの場合、帰還制御手段、位置検出手段、または、駆動手段の少なくとも一つの出力信号に基づいて振動状態を判定する。より好ましくは、撮像装置１００は、判定手段の判定結果に基づいて、振動検出手段を第１モードまたは第２モードに設定する設定手段（振れ検出制御部３０８）を有する。そして第１モードは、振動検出手段に電源が供給される通常モードである。また第２モードは、振動検出手段に電源が供給されない省電力モードである。また好ましくは、判定手段は、第１モードの場合、振動の振幅および周波数に基づいて、第１モードを第２モードへ変更するか否かを判定する。また好ましくは、判定手段が振動状態に基づいて撮像装置が固定状態であると判定した場合、設定手段は、振動検出手段を第２モードに設定する。 Preferably, the determination unit determines the vibration state based on the vibration detected by the vibration detection unit in the first mode. On the other hand, in the second mode, the determination unit determines the vibration state based on at least one output signal of the feedback control unit, the position detection unit, or the drive unit. More preferably, the imaging apparatus 100 includes setting means (a shake detection control unit 308) that sets the vibration detection means to the first mode or the second mode based on the determination result of the determination means. The first mode is a normal mode in which power is supplied to the vibration detection means. The second mode is a power saving mode in which no power is supplied to the vibration detecting means. Preferably, in the first mode, the determination unit determines whether to change the first mode to the second mode based on the amplitude and frequency of vibration. Preferably, when the determination unit determines that the imaging apparatus is in a fixed state based on the vibration state, the setting unit sets the vibration detection unit to the second mode.
好ましくは、判定手段は、積分制御部からの出力信号、位置検出手段のホール素子からの出力信号、または、駆動手段のアクチュエータからの出力信号の少なくとも一つに基づいて振動状態を判定する。また好ましくは、撮像装置１００は、ズーム倍率に応じて算出手段の特性を変更する変更手段（カットオフ変更部３０６）を有する。また好ましくは、算出手段は、フィルタ手段（ＨＰＦ３０３、ＬＰＦ３０４）を有し、変更手段は、フィルタ手段のカットオフ周波数を変更する。 Preferably, the determination unit determines the vibration state based on at least one of an output signal from the integration control unit, an output signal from the Hall element of the position detection unit, or an output signal from the actuator of the drive unit. In addition, preferably, the imaging apparatus 100 includes a changing unit (cut-off changing unit 306) that changes the characteristics of the calculating unit according to the zoom magnification. Preferably, the calculation means includes filter means (HPF 303, LPF 304), and the change means changes the cutoff frequency of the filter means.
なお、各実施例において、補正手段としてシフトレンズユニット１０３（シフトレンズ１０３１）を光軸直交面内で移動可能に構成しているが、これに限定されるものではない。例えば、補正手段として撮像部１０９（撮像素子）を光軸直交面内で移動可能に構成してもよい。この場合、シフトレンズ駆動制御部１０４に代えて、同様の機能を有する撮像素子駆動制御部が設けられる。 In each embodiment, the shift lens unit 103 (shift lens 1031) is configured to be movable in the plane orthogonal to the optical axis as correction means. However, the present invention is not limited to this. For example, the image pickup unit 109 (image pickup element) may be configured to be movable in the plane orthogonal to the optical axis as a correction unit. In this case, an image sensor drive control unit having the same function is provided instead of the shift lens drive control unit 104.
［その他の実施形態］
各実施例は、以下の処理を実行することによっても実現される。すなわち、前述の各実施例の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
[Other Embodiments]
Each embodiment can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus executes the program. It is a process to read and execute. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.
各実施例によれば、振れ検出センサ出力が不要な状態では、振れ検出センサをスリープ状態とすることができる。このため各実施例によれば、消費電力を低減した撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。 According to each embodiment, the shake detection sensor can be put into a sleep state when the shake detection sensor output is unnecessary. For this reason, according to each embodiment, it is possible to provide an imaging device with reduced power consumption, a method for controlling the imaging device, a program, and a storage medium.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１００ 撮像装置
２０１ 振れ検出部（振動検出手段）
２０３ ＰＩＤ部（帰還制御手段）
２０４ ドライブ部（駆動手段）
２０５ 位置検出部（位置検出手段）
３０５ 振れ補正量算出部（算出手段）
３０７ 振動状態判定部（判定手段）
100 imaging device 201 shake detection unit (vibration detection means)
203 PID section (feedback control means)
204 Drive part (drive means)
205 Position detection unit (position detection means)
305 Shake correction amount calculation unit (calculation means)
307 Vibration state determination unit (determination means)
Claims (14)
前記振動による像ブレを低減するように補正手段の目標位置を算出する算出手段と、
前記補正手段の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記補正手段の位置および前記算出手段により算出された前記補正手段の目標位置に基づいて、帰還制御を行う帰還制御手段と、
前記帰還制御手段による制御に基づいて前記補正手段を駆動する駆動手段と、
前記帰還制御手段、前記位置検出手段、または、前記駆動手段の少なくとも一つの出力信号に基づいて振動状態を判定する判定手段と、を有することを特徴とする撮像装置。 Vibration detecting means for detecting vibration;
Calculating means for calculating a target position of the correcting means so as to reduce image blur due to the vibration;
Position detecting means for detecting the position of the correcting means;
Feedback control means for performing feedback control based on the position of the correction means detected by the position detection means and the target position of the correction means calculated by the calculation means;
Drive means for driving the correction means based on control by the feedback control means;
An image pickup apparatus comprising: a feedback control unit, a position detection unit, or a determination unit that determines a vibration state based on at least one output signal of the drive unit.
第１モードの場合、前記振動検出手段により検出された前記振動に基づいて前記振動状態を判定し、
第２モードの場合、前記帰還制御手段、前記位置検出手段、または、前記駆動手段の前記少なくとも一つの出力信号に基づいて前記振動状態を判定する、ことを特徴とする請求項１に記載の撮像装置。 The determination means includes
In the first mode, the vibration state is determined based on the vibration detected by the vibration detection means,
2. The imaging according to claim 1, wherein in the second mode, the vibration state is determined based on the at least one output signal of the feedback control unit, the position detection unit, or the driving unit. apparatus.
前記第１モードは、前記振動検出手段に電源が供給される通常モードであり、
前記第２モードは、前記振動検出手段に前記電源が供給されない省電力モードである、ことを特徴とする請求項２に記載の撮像装置。 Further comprising setting means for setting the vibration detection means to the first mode or the second mode based on the determination result of the determination means;
The first mode is a normal mode in which power is supplied to the vibration detection means,
The imaging apparatus according to claim 2, wherein the second mode is a power saving mode in which the power is not supplied to the vibration detection unit.
比例制御を行う比例制御部と、
積分制御を行う積分制御部と、
微分制御を行う微分制御部と、を有し、
前記判定手段は、前記積分制御部からの出力信号に基づいて前記振動状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The feedback control means includes
A proportional control unit for performing proportional control;
An integral control unit for performing integral control;
A differential control unit that performs differential control,
The imaging apparatus according to claim 1, wherein the determination unit determines the vibration state based on an output signal from the integration control unit.
前記判定手段は、前記ホール素子からの出力信号に基づいて前記振動状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The position detection means includes a Hall element that detects the position of the correction means,
The imaging apparatus according to claim 1, wherein the determination unit determines the vibration state based on an output signal from the Hall element.
前記判定手段は、前記アクチュエータからの出力信号に基づいて前記振動状態を判定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The drive means has an actuator for driving the correction means,
The imaging apparatus according to claim 1, wherein the determination unit determines the vibration state based on an output signal from the actuator.
前記変更手段は、前記フィルタ手段のカットオフ周波数を変更することを特徴とする請求項９に記載の撮像装置。 The calculation means includes filter means,
The imaging apparatus according to claim 9, wherein the changing unit changes a cutoff frequency of the filter unit.
前記振動による像ブレを低減するように補正手段の目標位置を算出するステップと、
位置検出手段を用いて前記補正手段の位置を検出するステップと、
帰還制御手段を用いて、前記補正手段の位置および前記補正手段の目標位置に基づいて帰還制御を行うステップと、
駆動手段を用いて、前記帰還制御手段による制御に基づいて前記補正手段を駆動するステップと、
振動状態を判定するステップと、を有し、
前記振動状態は、前記帰還制御手段、前記位置検出手段、または、前記駆動手段の少なくとも一つの出力信号に基づいて判定される、ことを特徴とする撮像装置の制御方法。 Detecting vibration using vibration detection means;
Calculating a target position of the correction means so as to reduce image blur due to the vibration;
Detecting the position of the correction means using a position detection means;
Using feedback control means to perform feedback control based on the position of the correction means and the target position of the correction means;
Using the drive means to drive the correction means based on control by the feedback control means;
Determining a vibration state, and
The method of controlling an imaging apparatus, wherein the vibration state is determined based on at least one output signal of the feedback control unit, the position detection unit, or the driving unit.
第１モードの場合、前記振動検出手段により検出された前記振動に基づいて前記振動状態を判定するステップと、
第２モードの場合、前記帰還制御手段、前記位置検出手段、または、前記駆動手段の前記少なくとも一つの出力信号に基づいて前記振動状態を判定するステップと、を有することを特徴とする請求項１１に記載の撮像装置の制御方法。 The step of determining the vibration state includes:
In the first mode, determining the vibration state based on the vibration detected by the vibration detection means;
12. In the case of the second mode, the step of determining the vibration state based on the at least one output signal of the feedback control means, the position detection means, or the drive means. The control method of the imaging device described in 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014047111A JP6335554B2 (en) | 2014-03-11 | 2014-03-11 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014047111A JP6335554B2 (en) | 2014-03-11 | 2014-03-11 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015169927A true JP2015169927A (en) | 2015-09-28 |
| JP6335554B2 JP6335554B2 (en) | 2018-05-30 |
Family
ID=54202664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014047111A Active JP6335554B2 (en) | 2014-03-11 | 2014-03-11 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6335554B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017194530A (en) * | 2016-04-19 | 2017-10-26 | リコーイメージング株式会社 | Vibration proof control device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11231369A (en) * | 1998-02-17 | 1999-08-27 | Nikon Corp | Blur correcting device |
| JPH11337992A (en) * | 1998-05-26 | 1999-12-10 | Canon Inc | Image blurring correction device |
| US20080152332A1 (en) * | 2006-12-20 | 2008-06-26 | Jun-Mo Koo | Hand-shake correction method and apparatus of camera module for use in mobile device |
| JP2010152330A (en) * | 2008-11-28 | 2010-07-08 | Canon Inc | Camera-shake correcting apparatus and imaging apparatus |
| JP2012008468A (en) * | 2010-06-28 | 2012-01-12 | Canon Inc | Optical device and method for controlling the same |
| JP2013102390A (en) * | 2011-11-09 | 2013-05-23 | Pentax Ricoh Imaging Co Ltd | Image recorder and power consumption reduction method |
| JP2013257485A (en) * | 2012-06-14 | 2013-12-26 | Canon Inc | Image blur correction device, optical device, image capturing device, and method of controlling image blur correction device |
-
2014
- 2014-03-11 JP JP2014047111A patent/JP6335554B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11231369A (en) * | 1998-02-17 | 1999-08-27 | Nikon Corp | Blur correcting device |
| JPH11337992A (en) * | 1998-05-26 | 1999-12-10 | Canon Inc | Image blurring correction device |
| US20080152332A1 (en) * | 2006-12-20 | 2008-06-26 | Jun-Mo Koo | Hand-shake correction method and apparatus of camera module for use in mobile device |
| JP2010152330A (en) * | 2008-11-28 | 2010-07-08 | Canon Inc | Camera-shake correcting apparatus and imaging apparatus |
| JP2012008468A (en) * | 2010-06-28 | 2012-01-12 | Canon Inc | Optical device and method for controlling the same |
| JP2013102390A (en) * | 2011-11-09 | 2013-05-23 | Pentax Ricoh Imaging Co Ltd | Image recorder and power consumption reduction method |
| JP2013257485A (en) * | 2012-06-14 | 2013-12-26 | Canon Inc | Image blur correction device, optical device, image capturing device, and method of controlling image blur correction device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017194530A (en) * | 2016-04-19 | 2017-10-26 | リコーイメージング株式会社 | Vibration proof control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6335554B2 (en) | 2018-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8767079B2 (en) | Image capture apparatus and control method thereof | |
| JP2010152330A (en) | Camera-shake correcting apparatus and imaging apparatus | |
| JP5183518B2 (en) | Image shake correction apparatus, optical apparatus including the same, and imaging apparatus | |
| JP2009300614A (en) | Imaging device | |
| US11516399B2 (en) | Imaging apparatus and image stabilization sharing between interchangeable lens and camera body | |
| JP6429500B2 (en) | Optical apparatus, interchangeable lens, and image blur correction method | |
| JP2015102775A (en) | Image tremor correction device and control method of the same | |
| JP5744426B2 (en) | Optical apparatus and control method thereof | |
| CN108737698B (en) | Image stabilization apparatus and method, image pickup apparatus, image pickup system, and storage medium | |
| KR101418315B1 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
| JP2009159262A (en) | Hand shake correction apparatus, hand shake correction program, image pickup apparatus, and image pickup program | |
| JP6274558B2 (en) | Shake correction device, shake correction method and program, and imaging device | |
| JP5164410B2 (en) | Imaging device | |
| JP6335554B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2011023988A (en) | Imaging apparatus | |
| JP6373145B2 (en) | Imaging apparatus and electronic correction method | |
| JP2009069618A (en) | Imaging apparatus, control program, and record medium | |
| JP5305970B2 (en) | Image blur correction apparatus, optical apparatus including the same, imaging apparatus, and image blur correction apparatus control method and program | |
| JP5744165B2 (en) | Imaging apparatus, blur correction apparatus, and control method thereof | |
| JP2016048289A (en) | Imaging apparatus, method for controlling imaging apparatus, and computer program | |
| JP2016085261A (en) | Image blur correction device, imaging apparatus, lens device, method for controlling image blur correction device, program, and storage medium | |
| JP2015152886A (en) | Imaging device and control method of the same | |
| JP2008177908A (en) | Image pickup device | |
| JP6108717B2 (en) | Optical apparatus, imaging apparatus including the same, and control method of optical apparatus | |
| JP2011049957A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180501 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6335554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |