JP2020056962A - Image capturing device and control method therefor - Google Patents

Image capturing device and control method therefor Download PDF

Info

Publication number
JP2020056962A
JP2020056962A JP2018188809A JP2018188809A JP2020056962A JP 2020056962 A JP2020056962 A JP 2020056962A JP 2018188809 A JP2018188809 A JP 2018188809A JP 2018188809 A JP2018188809 A JP 2018188809A JP 2020056962 A JP2020056962 A JP 2020056962A
Authority
JP
Japan
Prior art keywords
control unit
detection area
subject
vector
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018188809A
Other languages
Japanese (ja)
Other versions
JP7214424B2 (en
JP2020056962A5 (en
Inventor
裕佑 田村
Yusuke Tamura
裕佑 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018188809A priority Critical patent/JP7214424B2/en
Publication of JP2020056962A publication Critical patent/JP2020056962A/en
Publication of JP2020056962A5 publication Critical patent/JP2020056962A5/ja
Application granted granted Critical
Publication of JP7214424B2 publication Critical patent/JP7214424B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an image capturing device capable of minimizing deterioration in reliability of a motion vector obtained from a captured image when capturing an image of a moving object.SOLUTION: An image capturing device sets a focus detection area, and detects a motion vector in a vector detection area including the selected focus detection area using a captured image. The image capturing device controls the range of the vector detection area according to information on a moving direction of the image capturing device or the set focus detection area.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置およびその制御方法に関する。   The present invention relates to an imaging device and a control method thereof.

撮影者が、移動している被写体の動きに合わせて撮像装置を追従させながら撮影する流し撮りという方法が知られている。流し撮りの際には、被写体の躍動感を出すために、シャッタ速度が長秒側に設定される。流し撮りは、被写体の動きに追従するようにカメラを動かしながら撮影することと、被写体の躍動感を出すためのシャッタ速度の設定が容易ではない。シャッタ速度を遅くすることで、より背景の流れ度合が増し、躍動感は増すが、手振れの影響で被写体に係る像ブレ(被写体ブレ)が生じてしまう。   2. Description of the Related Art There is known a panning method in which a photographer performs photographing while following an imaging device in accordance with the movement of a moving subject. At the time of panning, the shutter speed is set to the long second side in order to give the subject a lively feeling. In panning, it is not easy to shoot while moving the camera so as to follow the movement of the subject, and to set a shutter speed for giving the subject a sense of movement. By lowering the shutter speed, the degree of flow of the background is further increased, and the sense of dynamism is increased. However, image blur (subject blur) of the subject is caused by the influence of camera shake.

特許文献1は、被写体の速度とカメラの移動速度との差分に相当するズレ量を、手ブレ補正機能によって補正する撮像装置を開示している。また、撮像面上の被写体像の移動量の算出方法として、撮像画像から検出される動きベクトルを用いる方法が知られている。また、特許文献2は、流し撮りを支援する機能(流し撮りアシストモード)において、被写体の大きさが小さい場合は、動きベクトルの検出対象となる領域(ベクトル検出領域)を小さくする撮像装置を開示している。   Patent Literature 1 discloses an imaging apparatus that corrects a shift amount corresponding to a difference between a speed of a subject and a moving speed of a camera by a camera shake correction function. Further, as a method of calculating the movement amount of the subject image on the imaging surface, a method using a motion vector detected from a captured image is known. Patent Document 2 discloses an imaging apparatus that, in a function for assisting a panning shot (panning shot assist mode), reduces an area (vector detection area) for which a motion vector is to be detected when the size of a subject is small. doing.

特開2006−317848号公報JP 2006-317848 A 特開2017−161586号公報JP-A-2017-161586

撮影者が、流し撮りの際にカメラをパンニングした場合に、被写体がベクトル検出領域からフレームアウトすると、検出される被写体の動きベクトル(被写体ベクトル)の信頼度が低下してしまう。信頼度の低い被写体ベクトルに基づいて像ブレ補正を行うと、流し撮りアシスト機能の精度が低下する。本発明は、移動する被写体を撮像する際の、撮像画像から得られる動きベクトルの信頼度の低下を抑えることが可能な撮像装置の提供を目的とする。   If the photographer pans the camera during panning, if the subject moves out of the vector detection area, the reliability of the motion vector (subject vector) of the detected subject decreases. If image blur correction is performed based on a subject vector having low reliability, the accuracy of the follow shot assist function is reduced. An object of the present invention is to provide an imaging apparatus capable of suppressing a decrease in reliability of a motion vector obtained from a captured image when capturing an image of a moving subject.

本発明の一実施形態の撮像装置は、焦点検出領域を設定する設定手段と、撮像画像に基づいて、前記設定された焦点検出領域を含むベクトル検出領域について、動きベクトルを検出する検出手段と、撮像装置の移動方向または前記設定された焦点検出領域の情報に基づいて、前記ベクトル検出領域の範囲を制御する制御手段と、を備える。   An imaging apparatus according to an embodiment of the present invention includes a setting unit that sets a focus detection area, and a detection unit that detects a motion vector for a vector detection area including the set focus detection area based on a captured image. Control means for controlling a range of the vector detection area based on a moving direction of the imaging device or information on the set focus detection area.

本発明の撮像装置によれば、移動する被写体を撮像する際の、撮像画像から得られる動きベクトルの信頼度の低下を抑えることが可能となる。   ADVANTAGE OF THE INVENTION According to the imaging device of this invention, when imaging a moving object, it becomes possible to suppress the fall of the reliability of the motion vector obtained from a captured image.

撮像装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of an imaging device. 像ブレ補正装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of an image blur correction device. 流し撮り時の撮像画像と、動きベクトルの一例を示す図である。It is a figure which shows the picked-up image at the time of a panning shot, and an example of a motion vector. 流し撮り時の撮像画像と、動きベクトルの一例を示す図である。It is a figure which shows the picked-up image at the time of a panning shot, and an example of a motion vector. テンプレート枠の拡大処理を説明する図である。It is a figure explaining the expansion processing of a template frame. テンプレート枠の拡大例を説明する図である。It is a figure explaining the example of expansion of a template frame. パンニング操作時のテンプレート枠の拡大処理を説明する図である。FIG. 9 is a diagram illustrating a process of enlarging a template frame during a panning operation. 撮像装置の動作処理の例を説明する図である。FIG. 5 is a diagram illustrating an example of operation processing of the imaging device. 被写体角速度算出処理の例を説明する図である。FIG. 9 is a diagram illustrating an example of a subject angular velocity calculation process. 被写体角速度算出処理の例を説明する図である。FIG. 9 is a diagram illustrating an example of a subject angular velocity calculation process. シャッタ速度の算出処理の例を説明する図である。FIG. 9 is a diagram illustrating an example of a calculation process of a shutter speed.

図1は、本実施形態の撮像装置の構成例を示す図である。
本発明は、像ブレ補正装置が搭載されたコンパクトデジタルカメラ、ビデオカメラ、監視カメラ等の撮像装置に適用可能である。以下の説明では、撮影者(ユーザ)の流し撮りを支援する動作モードを流し撮りアシストモードと記述する。流し撮りアシストモード時には、撮像装置は、可動光学部材の駆動により被写体の移動速度とパンニング速度との差を抑制することで、被写体に係る像ブレ(被写体ブレ)を補正する。なお、本発明は、被写体ブレを補正する任意の動作モードに適用可能である。また、本実施形態では、レンズ装置(交換レンズ100) を、カメラ本体部131に装着可能な撮像装置を例にとって説明するが、本発明は、レンズ部とカメラ本体部とが一体化された撮像装置にも適用可能である。
FIG. 1 is a diagram illustrating a configuration example of an imaging device according to the present embodiment.
INDUSTRIAL APPLICABILITY The present invention is applicable to an imaging device such as a compact digital camera, a video camera, and a surveillance camera on which an image blur correction device is mounted. In the following description, an operation mode that assists a photographer (user) in panning is described as panning assist mode. In the panning assist mode, the imaging device corrects image blur (subject blur) of the subject by suppressing the difference between the moving speed and the panning speed of the subject by driving the movable optical member. Note that the present invention is applicable to any operation mode for correcting subject shake. In the present embodiment, an example of an imaging device in which the lens device (interchangeable lens 100) can be mounted on the camera body 131 will be described. It is also applicable to devices.

交換レンズ100は、撮像レンズユニット101乃至マウント接点部113を備える。撮像レンズユニット101は、撮像光学系102、ズームレンズ群(以下、ズームレンズと記述)103、シフトレンズ群(以下、シフトレンズと記述)104を備える。撮像光学系102は、被写体光を撮像素子115に結像させる。ズームレンズ103は、焦点距離を変更する光学部材である。シフトレンズ104は、撮像装置の振れによって生じる光軸に対する画像のブレ(像ブレ)を補正する可動光学部材である。シフトレンズ104は、撮像レンズユニット101の光軸と垂直な方向に移動することによって、光学的に像ブレを補正する。   The interchangeable lens 100 includes an imaging lens unit 101 to a mount contact point 113. The imaging lens unit 101 includes an imaging optical system 102, a zoom lens group (hereinafter, described as a zoom lens) 103, and a shift lens group (hereinafter, described as a shift lens) 104. The imaging optical system 102 forms subject light on the imaging element 115. The zoom lens 103 is an optical member that changes the focal length. The shift lens 104 is a movable optical member that corrects image blur (image blur) with respect to the optical axis caused by shake of the imaging device. The shift lens 104 optically corrects image blur by moving in a direction perpendicular to the optical axis of the imaging lens unit 101.

ズームエンコーダ106は、ズームレンズ103の位置を検出する。位置検出部105は、シフトレンズ104の位置を検出する。角速度センサ109は、交換レンズ100に加わる振れを検出して、角速度を示す振れ検出信号を出力する。レンズ制御部110が、角速度センサ109が出力した振れ検出信号を取得して信号処理する。レンズ制御部110は、レンズシステム制御用マイクロコンピュータを備え、交換レンズ100内の各部を制御する。   The zoom encoder 106 detects the position of the zoom lens 103. The position detection unit 105 detects the position of the shift lens 104. The angular velocity sensor 109 detects a shake applied to the interchangeable lens 100 and outputs a shake detection signal indicating an angular velocity. The lens control unit 110 acquires the shake detection signal output by the angular velocity sensor 109 and performs signal processing. The lens control unit 110 includes a microcomputer for controlling a lens system, and controls each unit in the interchangeable lens 100.

振れ補正系駆動部107は、レンズ制御部110の制御によって、シフトレンズ104を駆動する。アンプ回路(AMP)108は、位置検出部105の出力を増幅して、位置検出信号をレンズ制御部110に出力する。マウント接点部113は、レンズ制御部110とカメラ本体部131とのシリアル通信を中継する。   The shake correction system drive unit 107 drives the shift lens 104 under the control of the lens control unit 110. The amplifier circuit (AMP) 108 amplifies the output of the position detection unit 105 and outputs a position detection signal to the lens control unit 110. The mount contact section 113 relays serial communication between the lens control section 110 and the camera body section 131.

レンズ制御部110は、像ブレ補正制御を実行する。このために、レンズ制御部110は、手振れ補正制御を行う手振れ補正制御部111と、流し撮りアシストモード用の制御を行う流し撮り制御部112とを備える。レンズ制御部110は、その他にもフォーカスレンズの駆動による焦点調節の制御や、絞り制御等も行うが、図示の簡略化のために省略する。また、実際の手振れ補正では、例えばカメラ姿勢に関する縦方向と横方向といった、直交する2軸に関して振れ検出および像ブレ補正が行われる。これらの2軸の振れ検出および像ブレ補正に関しては、検出方向の差異を除いて同じ構成であるため、以下では1軸分についてのみ説明する。本実施形態の撮像装置は、光学式像ブレ補正を採用し、可動光学部材を光軸方向とは異なる方向に駆動することで像ブレ補正を行う像ブレ補正装置を備えている。   The lens control unit 110 executes image blur correction control. To this end, the lens control unit 110 includes a camera shake correction control unit 111 that performs camera shake correction control, and a panning control unit 112 that performs control for the panning assist mode. The lens control unit 110 also performs control of focus adjustment by driving the focus lens, aperture control, and the like, but these are omitted for simplification of illustration. In the actual camera shake correction, shake detection and image blur correction are performed on two orthogonal axes such as a vertical direction and a horizontal direction with respect to the camera posture. The two-axis shake detection and image blur correction have the same configuration except for the difference in the detection directions, and therefore, only one axis will be described below. The imaging apparatus according to the present embodiment includes an image blur correction apparatus that employs optical image blur correction and performs image blur correction by driving a movable optical member in a direction different from the optical axis direction.

カメラ本体部131は、シャッタ114乃至操作部130を備える。シャッタ114は、露光時間を調整する。シャッタ駆動用モータ119は、シャッタ114を駆動する。ドライバ121は、カメラ制御部122の制御により、シャッタ駆動用モータ119を駆動する。撮像素子115は、被写体光を光電変換して撮像画像に係る信号(画像信号)を出力する。撮像素子115は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等である。アナログ信号処理回路(AFE)116は、撮像素子115の出力を処理して、カメラ信号処理回路117に出力する。カメラ信号処理回路117は、撮像画像に基づいて、動きベクトルを検出する動きベクトル検出部118を備える。動きベクトル検出部118は、撮像素子115の出力する、異なる撮影時刻の画像信号を取得し、画角内の被写体や背景の動きを検出する。なお、撮像素子115を可動光学部材として光軸方向とは異なる方向に駆動することで像ブレ補正を行う構成であってもよい。   The camera body 131 includes a shutter 114 to an operation unit 130. The shutter 114 adjusts the exposure time. The shutter driving motor 119 drives the shutter 114. The driver 121 drives the shutter drive motor 119 under the control of the camera control unit 122. The imaging element 115 photoelectrically converts the subject light and outputs a signal (image signal) related to the captured image. The image sensor 115 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor or the like. The analog signal processing circuit (AFE) 116 processes the output of the image sensor 115 and outputs the processed signal to the camera signal processing circuit 117. The camera signal processing circuit 117 includes a motion vector detection unit 118 that detects a motion vector based on a captured image. The motion vector detection unit 118 acquires image signals output from the image sensor 115 at different photographing times, and detects the motion of a subject or a background within the angle of view. Note that a configuration may be employed in which image blur correction is performed by driving the image sensor 115 as a movable optical member in a direction different from the optical axis direction.

タイミングジェネレータ(TG)120は、撮像素子115とアナログ信号処理回路116の動作タイミングを設定する。操作部130は、撮影者の操作に応じた信号を入力する。操作部130は、電源スイッチ、レリーズスイッチ等を備える。角速度センサ124は、カメラ本体部131に加わる振れを検出して、角速度を示す振れ検出信号をカメラ制御部122に出力する。マウント接点部123は、レンズ制御部110とカメラ本体部131とのシリアル通信を中継する。レンズ制御部110とカメラ制御部122は、マウント接点部113、123を介して所定のタイミングでシリアル通信を行う。   The timing generator (TG) 120 sets the operation timing of the image sensor 115 and the analog signal processing circuit 116. The operation unit 130 inputs a signal according to the operation of the photographer. The operation unit 130 includes a power switch, a release switch, and the like. The angular velocity sensor 124 detects a shake applied to the camera body 131 and outputs a shake detection signal indicating an angular velocity to the camera control unit 122. The mount contact section 123 relays serial communication between the lens control section 110 and the camera body section 131. The lens control unit 110 and the camera control unit 122 perform serial communication at predetermined timings via the mount contacts 113 and 123.

カメラ制御部122は、撮像装置全体を制御するマイクロコンピュータを備え、所定のプログラムをメモリから読み出して実行することで各種の制御を行う。カメラ制御部122は、シャッタ制御部125、被写体角速度算出部126、流し撮りシャッタ速度算出部127を備える。シャッタ制御部125は、ドライバ121を介してシャッタ114を制御する。被写体角速度算出部126は、動きベクトル検出部118による動きベクトルの検出結果に基づいて、主被写体(以下、被写体と記述)の角速度を算出する。流し撮りシャッタ速度算出部127は、流し撮りアシストモード時のシャッタ速度を算出する。メモリカード128は、撮像後の映像データを記録する記録媒体である。表示部129は、例えば液晶パネル(LCD)を備え、撮像時の画像をモニタし、撮像された画像を画面に表示する。また、カメラ制御部122は、カメラ信号処理回路117を制御して、動きベクトルの検出対象となる領域(ベクトル検出領域)を制御する。   The camera control unit 122 includes a microcomputer that controls the entire imaging device, and performs various controls by reading a predetermined program from a memory and executing the program. The camera control unit 122 includes a shutter control unit 125, a subject angular velocity calculation unit 126, and a panning shutter speed calculation unit 127. The shutter control unit 125 controls the shutter 114 via the driver 121. The subject angular velocity calculation unit 126 calculates the angular velocity of a main subject (hereinafter, referred to as a subject) based on the detection result of the motion vector by the motion vector detection unit 118. The panning shutter speed calculation unit 127 calculates a shutter speed in the panning assist mode. The memory card 128 is a recording medium for recording video data after imaging. The display unit 129 includes, for example, a liquid crystal panel (LCD), monitors an image at the time of imaging, and displays the captured image on a screen. Further, the camera control unit 122 controls the camera signal processing circuit 117 to control an area (vector detection area) for which a motion vector is to be detected.

図1に示す撮像装置の動作を説明する。撮影者が、交換レンズ100をカメラ本体部131に装着し、操作部130により撮像装置の電源ON操作を行うと、電源ONとなったことをカメラ制御部122が検出する。カメラ制御部122が、カメラ本体部131の各回路への電源供給および初期設定を行う。また、交換レンズ100への電源供給が行われ、レンズ制御部110が、交換レンズ100の初期設定を行う。そして、レンズ制御部110とカメラ制御部122との間で所定のタイミングで通信が開始される。例えば、通信によって、カメラ制御部122からレンズ制御部110へ撮像装置の状態、撮像設定等の情報が送信される。また、レンズ制御部110からカメラ制御部122へ交換レンズ100の焦点距離情報、角速度情報等が送信される。   The operation of the imaging device shown in FIG. 1 will be described. When the photographer mounts the interchangeable lens 100 on the camera body 131 and performs a power-on operation of the imaging device using the operation unit 130, the camera control unit 122 detects that the power is turned on. The camera control unit 122 supplies power to each circuit of the camera main unit 131 and performs initial settings. In addition, power is supplied to the interchangeable lens 100, and the lens control unit 110 performs an initial setting of the interchangeable lens 100. Then, communication is started between the lens control unit 110 and the camera control unit 122 at a predetermined timing. For example, information such as the state of the imaging device and imaging settings is transmitted from the camera control unit 122 to the lens control unit 110 by communication. Further, focal length information, angular velocity information, and the like of the interchangeable lens 100 are transmitted from the lens control unit 110 to the camera control unit 122.

操作部130を用いた撮影者の操作によって流し撮りアシストモードが選択されていない場合には、手振れ補正制御が行われる。つまり、交換レンズ100が備える角速度センサ109が、手振れ等によって撮像装置に加わる振れに係る振れ検出信号を出力する。そして、手振れ補正制御部111が、角速度センサ109が出力した振れ検出信号に基づいて、シフトレンズ104を制御して、手振れ補正制御を実行する。   When the panning assist mode is not selected by the photographer's operation using the operation unit 130, camera shake correction control is performed. That is, the angular velocity sensor 109 included in the interchangeable lens 100 outputs a shake detection signal related to a shake applied to the imaging device due to a hand shake or the like. Then, the camera shake correction control unit 111 controls the shift lens 104 based on the shake detection signal output from the angular velocity sensor 109 to execute the camera shake correction control.

図2は、撮像装置が備える像ブレ補正装置の構成例を示す図である。
図1と共通する構成要素については、同一の符号を付すことでそれらの説明を省略する。手振れ補正制御部111は、オフセット除去部201乃至パルス幅変調部208を備える。オフセット除去部201は、例えばハイパスフィルタ等を有するフィルタ演算部であり、入力信号の特性を任意の周波数帯域で変更し得る機能を有する。具体的には、オフセット除去部201は、角速度センサ109の出力に含まれている直流成分を除去する。利得位相算出部202は、オフセット除去部201により直流成分が除去された角速度データを所定のゲインで増幅する増幅器、および位相補償フィルタを有する。積分器203は、任意の周波数帯域でその特性を変更し得る機能を有する。積分器203は、利得位相算出部202の出力を積分し、シフトレンズ104の駆動量を算出する。
FIG. 2 is a diagram illustrating a configuration example of an image blur correction device included in the imaging device.
The same components as those in FIG. 1 are denoted by the same reference numerals and description thereof will be omitted. The camera shake correction control unit 111 includes an offset removal unit 201 to a pulse width modulation unit 208. The offset removing unit 201 is a filter operation unit having, for example, a high-pass filter or the like, and has a function of changing the characteristics of an input signal in an arbitrary frequency band. Specifically, the offset removing unit 201 removes a DC component included in the output of the angular velocity sensor 109. The gain phase calculation unit 202 includes an amplifier that amplifies the angular velocity data from which the DC component has been removed by the offset removal unit 201 with a predetermined gain, and a phase compensation filter. The integrator 203 has a function of changing its characteristics in an arbitrary frequency band. The integrator 203 integrates the output of the gain phase calculation unit 202 and calculates the driving amount of the shift lens 104.

防振制御判定部204は、カメラ情報取得部225の出力に応じて、シフトレンズ104を駆動させるための制御信号を切り替える。流し撮りアシストモードが設定されている場合、防振制御判定部204は、流し撮り制御部112で算出された積分器224の出力を採用する。また、流し撮りアシストモード以外の動作モードが設定されている場合、防振制御判定部204は、手振れ補正制御部111で算出された積分器203の出力を採用する。   The image stabilization control determination unit 204 switches a control signal for driving the shift lens 104 according to the output of the camera information acquisition unit 225. When the panning assist mode is set, the anti-shake control determining unit 204 uses the output of the integrator 224 calculated by the panning shooting control unit 112. When an operation mode other than the panning assist mode is set, the image stabilization control determination unit 204 uses the output of the integrator 203 calculated by the camera shake correction control unit 111.

シフトレンズ104の位置を検出する振れ補正系検出部105の出力はアンプ回路108で増幅されてから、A/D変換器206によりデジタルデータに変換される。このデジタルデータは、減算部205に負入力として送られる。減算部205は、防振制御判定部204の出力を正入力として取得し、当該出力から、A/D変換器206からのデジタルデータを減算し、減算結果(偏差データ)を制御部207へ出力する。制御部207は、入力データを所定のゲインで増幅する増幅器と、位相補償フィルタを備える。制御部207は、減算部205の出力である偏差データに対して、増幅器および位相補償フィルタによる信号処理を施した後で、パルス幅変調(PWM)部208に出力する。パルス幅変調部208は、制御部207の出力データに基づき、パルス波のデューティー比を変化させるPWM波形への変調を行い、振れ補正系駆動部107に供給する。振れ補正系駆動部107は、シフトレンズ104を駆動するボイスコイル型モータであり、パルス幅変調部208の出力に基づいて、シフトレンズ104を光軸と垂直な方向に移動させる。   The output of the shake correction system detection unit 105 for detecting the position of the shift lens 104 is amplified by the amplifier circuit 108 and then converted to digital data by the A / D converter 206. This digital data is sent to the subtraction unit 205 as a negative input. The subtraction unit 205 acquires the output of the image stabilization control determination unit 204 as a positive input, subtracts the digital data from the A / D converter 206 from the output, and outputs the subtraction result (deviation data) to the control unit 207. I do. The control unit 207 includes an amplifier that amplifies input data with a predetermined gain, and a phase compensation filter. The control unit 207 subjects the deviation data output from the subtraction unit 205 to signal processing using an amplifier and a phase compensation filter, and then outputs the result to a pulse width modulation (PWM) unit 208. The pulse width modulation unit 208 modulates the pulse waveform into a PWM waveform that changes the duty ratio based on the output data of the control unit 207, and supplies the PWM waveform to the shake correction system driving unit 107. The shake correction system drive unit 107 is a voice coil type motor that drives the shift lens 104, and moves the shift lens 104 in a direction perpendicular to the optical axis based on the output of the pulse width modulation unit 208.

次に、流し撮り制御部112について説明する。流し撮り制御部112は、通信制御部210乃至カメラ情報取得部225を備える。通信制御部210は、レンズ制御部110(図1)との通信を行う。撮影者が、操作部130により、流し撮りアシストモードを設定する操作を行った場合、カメラ制御部122(図1)は、流し撮りアシストの制御に切り替える。流し撮りアシストモードの設定情報は、カメラ制御部122からレンズ制御部110へと送信され、レンズ制御部110が、流し撮りアシストモードの制御に移行する。   Next, the panning control unit 112 will be described. The panning control unit 112 includes a communication control unit 210 to a camera information acquisition unit 225. The communication control unit 210 performs communication with the lens control unit 110 (FIG. 1). When the photographer performs an operation for setting the panning assist mode using the operation unit 130, the camera control unit 122 (FIG. 1) switches to control of the panning assist. The setting information of the panning assist mode is transmitted from the camera control unit 122 to the lens control unit 110, and the lens control unit 110 shifts to the control of the panning assist mode.

カメラ情報取得部225は、流し撮りアシストモードの設定情報、レリーズ情報等を取得する。角速度出力部211は、オフセット除去部201の出力を取得し、カメラ制御部122に対して、交換レンズ100内の角速度センサ109が出力する振れ検出信号(角速度データ)を出力する。被写体角速度取得部222は、カメラ本体部131内の被写体角速度算出部126によって算出される被写体の角速度を取得する。減算部223は、オフセット除去部201の出力を正入力とし、被写体角速度取得部222の出力を負入力として減算を行う。つまり、減算部223は、交換レンズ100内で検出された角速度データと、カメラ本体部131内で検出された被写体の角速度データとの差分を算出し、差分(偏差データ)を積分器224に出力する。積分器224は、偏差データを積分し、積分データを防振制御判定部204に出力する。   The camera information acquisition unit 225 acquires setting information of the panning assist mode, release information, and the like. The angular velocity output unit 211 acquires the output of the offset removing unit 201 and outputs a shake detection signal (angular velocity data) output by the angular velocity sensor 109 in the interchangeable lens 100 to the camera control unit 122. The subject angular velocity acquisition unit 222 acquires the angular velocity of the subject calculated by the subject angular velocity calculation unit 126 in the camera body 131. The subtraction unit 223 performs subtraction using the output of the offset removal unit 201 as a positive input and the output of the subject angular velocity acquisition unit 222 as a negative input. That is, the subtraction unit 223 calculates the difference between the angular velocity data detected in the interchangeable lens 100 and the angular velocity data of the subject detected in the camera body 131, and outputs the difference (deviation data) to the integrator 224. I do. The integrator 224 integrates the deviation data and outputs the integrated data to the image stabilization control determination unit 204.

(動きベクトル検出処理)
撮影者が流し撮りを行う場合、動きベクトル検出部118から出力される動きベクトルとして、撮影者が撮影しようとしている被写体のベクトルと、流れている背景のベクトルの2種類が得られる。この場合、流し撮りが目的であるので、カメラ制御部122は、検出された2種類の動きベクトルのうち、被写体のベクトルを採用する。具体的には、カメラ制御部122内の被写体角速度算出部126が、レンズ制御部110から送信される角速度センサ109の出力である角速度データを、像面移動量に換算する。被写体角速度算出部126が、角速度センサ124が出力する角速度データを像面移動量に換算してもよい。被写体角速度算出部126は、像面移動量の動き量を基準として、一定の範囲内に存在するベクトル群を背景ベクトルとし、一定の範囲外に存在するベクトル群を被写体ベクトルとする。
(Motion vector detection processing)
When the photographer performs a panning shot, two types of motion vectors output from the motion vector detection unit 118 are obtained: a vector of a subject that the photographer is trying to photograph and a vector of a flowing background. In this case, since panning is intended, the camera control unit 122 adopts the vector of the subject among the two types of detected motion vectors. Specifically, the subject angular velocity calculation unit 126 in the camera control unit 122 converts the angular velocity data output from the angular velocity sensor 109 transmitted from the lens control unit 110 into an image plane movement amount. The subject angular velocity calculation unit 126 may convert the angular velocity data output by the angular velocity sensor 124 into an image plane movement amount. The subject angular velocity calculation unit 126 sets a group of vectors existing within a certain range as a background vector and a group of vectors existing outside the certain range as a subject vector based on the movement amount of the image plane movement amount.

図3および図4は、流し撮り時の撮像画像と、動きベクトルの一例を示す図である。本実施形態では、操作部130を用いた撮影者の操作にしたがって、カメラ制御部122が、焦点検出領域を示すAF測距枠303を予め設定(選択)する。ベクトル検出枠302は、動きベクトル量を検出するための参照枠である。テンプレート枠304は、ベクトル検出枠302の塊である。すなわち、ベクトル検出枠302は、動きベクトルの検出対象とする領域(ベクトル検出領域)を示す。   3 and 4 are diagrams illustrating an example of a captured image at the time of panning and an example of a motion vector. In the present embodiment, the camera control unit 122 sets (selects) an AF ranging frame 303 indicating a focus detection area in advance according to a photographer's operation using the operation unit 130. The vector detection frame 302 is a reference frame for detecting a motion vector amount. The template frame 304 is a block of the vector detection frame 302. That is, the vector detection frame 302 indicates an area (vector detection area) to be a motion vector detection target.

画面(撮像領域)300中の少なくともAF測距枠303を包含するテンプレート枠304内に、12×6個のベクトル検出枠302が配置されている。テンプレート枠304がAF測距枠303を包含するように配置しているのは、撮影者は、撮影したい被写体にAF測距枠を合わせているからである。各ベクトル検出枠302では、1フレーム前の撮像画像と現在のフレームの撮像画像との間の動き量が検知され、被写体301のベクトルと背景のベクトルが検出される。検出された被写体301のベクトルの値が、被写体の像面上の移動量として決定される。   12 × 6 vector detection frames 302 are arranged in a template frame 304 including at least an AF distance measurement frame 303 in a screen (imaging area) 300. The reason why the template frame 304 is arranged so as to include the AF distance measurement frame 303 is that the photographer matches the AF distance measurement frame with the subject to be photographed. In each vector detection frame 302, the amount of motion between the captured image one frame before and the captured image of the current frame is detected, and the vector of the subject 301 and the vector of the background are detected. The value of the detected vector of the subject 301 is determined as the amount of movement of the subject on the image plane.

図3(A)は、撮影者がパンニング操作によって被写体を捉えている撮影シーンに対応する撮像画像を示す。図4(A)は、撮影者がパンニング操作によって被写体を捉えきれていない撮影シーンに対応する撮像画像を示す。図3(B)は、図3(A)の撮影シーンにおいて、動きベクトル検出部118によって検出された動きベクトルの頻度分布(ヒストグラム)を示す。図4(B)は、図4(A)の撮影シーンにおいて、動きベクトル検出部118によって検出された動きベクトルの頻度分布を示す。図3(B)、図4(B)において、横軸は、動き量(単位:ピクセル)を示す。縦軸は、動きベクトルの個数(頻度)を示す。なお、図の簡略化のため背景の動きベクトル量は省略し、被写体の動きベクトル量のみを図示している。   FIG. 3A shows a captured image corresponding to a shooting scene in which a photographer is capturing a subject by a panning operation. FIG. 4A shows a captured image corresponding to a shooting scene in which the photographer has not completely captured the subject by a panning operation. FIG. 3B shows a frequency distribution (histogram) of the motion vectors detected by the motion vector detection unit 118 in the shooting scene of FIG. FIG. 4B shows the frequency distribution of the motion vectors detected by the motion vector detection unit 118 in the shooting scene of FIG. 3B and 4B, the horizontal axis represents the amount of motion (unit: pixel). The vertical axis indicates the number (frequency) of motion vectors. Note that, for simplification of the drawing, the motion vector amount of the background is omitted, and only the motion vector amount of the subject is illustrated.

図3(A)の撮影シーンのように、被写体301に割り当たっているベクトル検出枠302が多い場合は、図3(B)に示すように、取得できる被写体の動きベクトルの個数が多い。したがって、この場合は、被写体の動きベクトル量の信頼度が高くなる。一方、図4(A)の撮影シーンのように、撮影者がパンニング操作によって上手く被写体を捉えきれず、被写体301に割当たっているベクトル検出枠が少ない場合は、図4(B)に示すように、取得できる被写体の動きベクトルの個数が少なくなる。この場合は、被写体のベクトル量の信頼度が低くなる。以下に説明するように、撮像装置は、AF測距枠の情報(例えば、位置)または撮像装置の移動方向(例えば、パンニング方向)に基づいて、ベクトル検出領域であるテンプレート枠304の範囲を制御(例えば、拡大)する。これにより、得られる被写体のベクトル量の信頼度の低下を抑制できる。   When there are many vector detection frames 302 assigned to the subject 301 as in the shooting scene of FIG. 3A, the number of motion vectors of the subject that can be acquired is large as shown in FIG. Therefore, in this case, the reliability of the motion vector amount of the subject increases. On the other hand, as shown in FIG. 4B, when the photographer cannot capture the subject well by the panning operation and the number of vector detection frames assigned to the subject 301 is small as in the shooting scene of FIG. Thus, the number of motion vectors of the subject that can be obtained is reduced. In this case, the reliability of the vector amount of the subject decreases. As described below, the imaging device controls the range of the template frame 304 that is a vector detection area based on information (for example, position) of the AF ranging frame or a moving direction (for example, panning direction) of the imaging device. (Eg, enlarge). Thus, it is possible to suppress a decrease in the reliability of the vector amount of the obtained subject.

(AF測距枠の位置に基づくテンプレート枠の制御処理)
撮影者によってAF測距枠が撮像領域の端側に設定されている場合、被写体は、撮像領域の中心を基準として、AF測距枠が設定されている撮像領域の端側に向かって移動していることが多い。撮影者がこの被写体に対してパンニング操作して撮影をした場合、設定されている端側とは逆方向にフレームアウトしやすい。また、AF測距枠が被写体を捉えていても、移動している被写体の移動方向先端寄りにAF測距枠が設定されていると、AF測距枠よりも端側とは逆方向に被写体が存在している確率が高い。したがって、AF測距枠が撮像領域の端側に設定されている場合、カメラ制御部122が、動きベクトル検出部118を制御して、端側とは逆方向に対してテンプレート枠を拡大する。本実施形態では、AF測距枠が撮像領域の端側に設定されているとは、設定されたAF測距枠が、撮像領域の端の近傍の位置にあることをいう。例えば、設定されたAF測距枠が、撮像領域の端の近傍の位置にあるAF測距点306(図5)を含む場合に、AF測距枠は撮像領域の端側に設定されている。また、端側とは逆方向とは、撮像領域の中心から撮像領域の端に向かう方向とは逆方向を意味する。
(Control processing of template frame based on position of AF ranging frame)
When the AF ranging frame is set at the end of the imaging region by the photographer, the subject moves toward the edge of the imaging region where the AF ranging frame is set, with reference to the center of the imaging region. Often have. When the photographer takes a picture by performing a panning operation on the subject, it is easy to go out of the frame in a direction opposite to the set end side. Even if the AF range-finding frame captures the subject, if the AF range-finding frame is set near the front end in the moving direction of the moving subject, the subject is moved in a direction opposite to the end side of the AF range-finding frame. Is likely to be present. Therefore, when the AF ranging frame is set on the end side of the imaging region, the camera control unit 122 controls the motion vector detection unit 118 to enlarge the template frame in a direction opposite to the end side. In the present embodiment, that the AF ranging frame is set on the end side of the imaging region means that the set AF ranging frame is at a position near the end of the imaging region. For example, when the set AF ranging frame includes the AF ranging point 306 (FIG. 5) located near the end of the imaging region, the AF ranging frame is set on the end side of the imaging region. . The direction opposite to the end means a direction opposite to the direction from the center of the imaging region to the end of the imaging region.

図5は、AF測距枠の位置に基づくテンプレート枠の拡大処理を説明する図である。
AF測距枠303の設定対象となる焦点検出領域は、焦点検出点であるAF測距点305を複数含む。カメラ制御部122は、撮影者の操作にしたがって、AF測距点305を所定の個数(図5の例では、6個)包含するようにAF測距枠303を設定する。AF測距枠303に包含されているAF測距点305のうち、ハッチングが施された撮像領域300の端側の4個のAF測距点306は、上端側と左端側のAF測距点である。上端側は、撮像領域300の上端の近傍である。左端側は、撮像領域300の左端の近傍である。AF測距点306が上端側に設定されている場合、カメラ制御部122は、テンプレート枠を以下のように拡大する。カメラ制御部122は、テンプレート枠を、上端側とは逆方向の位置(例えば、現在のテンプレート枠より所定の行数分下側の位置)のAF測距点305を新たに含むように拡大する。
FIG. 5 is a diagram illustrating a process of enlarging a template frame based on the position of the AF ranging frame.
The focus detection area to be set in the AF ranging frame 303 includes a plurality of AF ranging points 305 which are focus detection points. The camera control unit 122 sets the AF distance measurement frame 303 so as to include a predetermined number (six in the example of FIG. 5) of the AF distance measurement points 305 according to the operation of the photographer. Of the AF ranging points 305 included in the AF ranging frame 303, the four AF ranging points 306 on the end side of the hatched imaging area 300 are the AF ranging points on the upper end side and the left end side. It is. The upper end is near the upper end of the imaging region 300. The left end is near the left end of the imaging region 300. When the AF ranging point 306 is set on the upper end side, the camera control unit 122 enlarges the template frame as follows. The camera control unit 122 enlarges the template frame so as to newly include the AF ranging point 305 at a position in a direction opposite to the upper end side (for example, a position below the current template frame by a predetermined number of lines). .

また、AF測距点306が左端側に設定されている場合、カメラ制御部122は、テンプレート枠を以下のように拡大する。カメラ制御部122は、テンプレート枠を、左端側とは逆方向の位置(例えば、現在のテンプレート枠より所定の列数分右側の位置)のAF測距点305を新たに含むように拡大する。なお、AF測距点306が下端側に設定されている場合を想定する。下端側は、撮像領域300の下端の近傍である。AF測距点306が下端側に設定されている場合、カメラ制御部122は、テンプレート枠を以下のように拡大する。カメラ制御部122は、テンプレート枠を、下端側とは逆方向の位置(例えば、現在のテンプレート枠より所定の行数分上側の位置)のAF測距点305を新たに包むように拡大する。また、AF測距点306が右端側に設定されている場合を想定する。右端側は、撮像領域300の右端の近傍である。AF測距点306が右端側に設定されている場合、カメラ制御部122は、テンプレート枠を以下のように拡大する。カメラ制御部122は、テンプレート枠を、右端側とは逆方向の位置(例えば、現在のテンプレート枠より所定の行数分左側の位置)のAF測距点305を新たに包むように拡大する。   When the AF distance measurement point 306 is set on the left end side, the camera control unit 122 enlarges the template frame as follows. The camera control unit 122 enlarges the template frame so as to newly include the AF ranging point 305 at a position opposite to the left end side (for example, a position rightward by a predetermined number of columns from the current template frame). It is assumed that the AF ranging point 306 is set on the lower end side. The lower end is near the lower end of the imaging region 300. When the AF ranging point 306 is set on the lower end side, the camera control unit 122 enlarges the template frame as follows. The camera control unit 122 enlarges the template frame so as to newly wrap the AF ranging point 305 at a position opposite to the lower end side (for example, a position above the current template frame by a predetermined number of lines). It is also assumed that the AF ranging point 306 is set on the right end side. The right end is near the right end of the imaging region 300. When the AF distance measurement point 306 is set on the right end side, the camera control unit 122 enlarges the template frame as follows. The camera control unit 122 enlarges the template frame so as to newly wrap the AF ranging point 305 at a position opposite to the right end side (for example, a position on the left side of the current template frame by a predetermined number of lines).

図6は、図5に示すAF測距枠の設定に応じたテンプレート枠の拡大例を説明する図である。
図5の例では、AF測距点303が、上端側と左端側のAF測距点を包含するように設定されている。カメラ制御部122は、テンプレート枠304を、拡大前のテンプレート枠304の一行下のAF測距点305と、テンプレート枠の一列右のAF測距点305とを包含するように拡大する。図6(A)のハッチングを施した部分は、拡大によってテンプレート枠304に含まれるようになった領域を示す。この領域に対応するベクトル検出枠が、ベクトル検出枠307である。
FIG. 6 is a diagram illustrating an enlarged example of the template frame according to the setting of the AF ranging frame shown in FIG.
In the example of FIG. 5, the AF ranging points 303 are set to include the AF ranging points on the upper end side and the left end side. The camera control unit 122 enlarges the template frame 304 so as to include the AF ranging point 305 one line below the template frame 304 before the enlargement and the AF ranging point 305 one column right of the template frame. A hatched portion in FIG. 6A indicates a region that is included in the template frame 304 due to enlargement. The vector detection frame corresponding to this area is the vector detection frame 307.

図6(B)は、図6(A)に示すテンプレートの拡大後に検出される動きベクトル(被写体ベクトル)のヒストグラムを示す。パンニングによって被写体がフレームアウトしやすい方向に対して予めテンプレート枠を拡大しておくことにより、多くの被写体ベクトルを取得することができる。   FIG. 6B shows a histogram of a motion vector (subject vector) detected after the template shown in FIG. 6A is enlarged. By expanding the template frame in advance in the direction in which the subject is likely to go out of the frame by panning, many subject vectors can be obtained.

カメラ制御部122は、AF測距枠303が撮像領域の端側に設定されている場合に、端側とは逆方向に対してテンプレート枠を拡大する制御を行えばよく、テンプレート枠を拡大する制御は、図6に示す例に限定されない。カメラ制御部122は、単にベクトル検出枠307を所定の個数のAF測距点305に対応する領域だけ拡大するようにしてもよい。なお、カメラ制御部122は、AF測距枠303が設定された端側とは逆方向に対してテンプレート枠304を移動させるようにしてもよい。   When the AF distance measurement frame 303 is set at the end of the imaging area, the camera control unit 122 may perform control to enlarge the template frame in a direction opposite to the end, and enlarges the template frame. The control is not limited to the example shown in FIG. The camera control unit 122 may simply enlarge the vector detection frame 307 by an area corresponding to a predetermined number of AF ranging points 305. Note that the camera control unit 122 may move the template frame 304 in a direction opposite to the end side on which the AF distance measurement frame 303 is set.

(撮像装置の移動方向に基づくテンプレート領域の拡大処理)
図7は、撮影者が右から左方向に向かってパンニング操作を行った場合の、テンプレート枠の拡大処理を説明する図である。
(Enlargement processing of template area based on moving direction of imaging device)
FIG. 7 is a diagram illustrating a template frame enlarging process when the photographer performs a panning operation from right to left.

撮影者が撮像装置の移動操作(例えば、パンニング操作)を行っている場合、被写体がフレームアウトして被写体ベクトルの信頼度が低下することが考えられる。したがって、撮像装置は、撮像装置の移動方向とは逆方向に対してテンプレート枠を拡大する制御を行う。撮像装置の移動操作は、パンニング操作ではなく、チルティング操作であってもよい。以下では、パンニング操作に応じたテンプレート枠の拡大を例にとって説明する。   When the photographer performs a moving operation (for example, a panning operation) of the imaging apparatus, the subject may go out of the frame and the reliability of the subject vector may be reduced. Therefore, the imaging device performs control to enlarge the template frame in a direction opposite to the moving direction of the imaging device. The moving operation of the imaging device may be a tilting operation instead of a panning operation. In the following, an example will be described in which a template frame is enlarged according to a panning operation.

カメラ制御部122は、交換レンズ100内の角速度センサ109から送信されたパンニング操作時の角速度データに基づいて、パンニング方向を検出する。そして、カメラ制御部122は、動きベクトル検出部118を制御して、図7に示すように、パンニング方向とは逆方向に対してテンプレート枠304を拡大する。なお、カメラ制御部122が、角速度センサ124が出力する角速度データに基づいて、パンニング方向を検出してもよい。   The camera control unit 122 detects the panning direction based on the angular velocity data at the time of the panning operation transmitted from the angular velocity sensor 109 in the interchangeable lens 100. Then, the camera control unit 122 controls the motion vector detection unit 118 to enlarge the template frame 304 in a direction opposite to the panning direction, as shown in FIG. Note that the camera control unit 122 may detect the panning direction based on the angular velocity data output from the angular velocity sensor 124.

図7に示す例では、撮影者によって右から左方向に向かって撮像装置がパンニングされておる。したがって、カメラ制御部122は、テンプレート枠304を右方向に対して拡大する。図7では、ハッチングを施した部分に示すように、カメラ制御部122は、テンプレート枠304を、変更前のテンプレート枠の一列右側のAF測距点を含むように拡大する。拡大によってテンプレート枠304に新たに含まれるようになった領域に対応するベクトル検出枠が、ベクトル検出枠308である。   In the example shown in FIG. 7, the imaging device is panned from right to left by the photographer. Therefore, the camera control unit 122 enlarges the template frame 304 in the right direction. In FIG. 7, as indicated by hatched portions, the camera control unit 122 enlarges the template frame 304 so as to include the AF ranging point on the right side of one row of the template frame before the change. The vector detection frame corresponding to the area newly included in the template frame 304 due to the enlargement is the vector detection frame 308.

カメラ制御部122は、テンプレート枠304を、撮像装置の移動方向とは逆方向に移動させるようにしてもよい。また、カメラ制御部122は、撮像装置の移動量に応じて、テンプレート枠304を制御するようにしてもよい。例えば、カメラ制御部122は、移動量(例えばパンニング量)が大きいほどテンプレート枠304の移動量または拡大率を大きくする。本実施形態によれば、被写体がテンプレート枠からフレームアウトすることを抑制できる。したがって、被写体の動きベクトル量の信頼度の低下が抑制され、精度良く流し撮りアシストを行うことができる。   The camera control unit 122 may move the template frame 304 in a direction opposite to the moving direction of the imaging device. Further, the camera control unit 122 may control the template frame 304 according to the amount of movement of the imaging device. For example, the camera control unit 122 increases the moving amount or the enlargement ratio of the template frame 304 as the moving amount (for example, the panning amount) is larger. According to the present embodiment, it is possible to suppress the subject from going out of the template frame. Therefore, a decrease in the reliability of the motion vector amount of the subject is suppressed, and the panning assist can be performed with high accuracy.

カメラ制御部122が、AF測距枠の位置に基づくテンプレート枠の制御処理と、撮像装置の移動方向に基づくテンプレート領域の制御処理のうちのいずれかのみを実行してもよいし、双方を実行するようにしてもよい。なお、AF測距枠が、撮像領域の端側に設定されている場合であっても、撮像装置の移動方向が、端側とは逆方向であるときは、カメラ制御部122は、ベクトル検出領域の範囲を変更しないようにしてもよい。   The camera control unit 122 may execute only one of the control processing of the template frame based on the position of the AF ranging frame and the control processing of the template area based on the moving direction of the imaging device, or may execute both. You may make it. Note that even when the AF distance measurement frame is set on the end side of the imaging area, if the moving direction of the imaging apparatus is in the opposite direction to the end side, the camera control unit 122 performs vector detection. The range of the area may not be changed.

(流し撮りアシストモード時の処理)
図8は、流し撮りアシストモードが設定されている場合の撮像装置の動作処理の例を説明するフローチャートである。
図8において、Sは、フローチャートにおける各ステップの番号を示す。以下に説明する処理は、カメラ制御部122とレンズ制御部110を実現する制御部(CPU)が、メモリからプログラムを読み出して実行することにより実現される。図8に示す例では、予め撮影者によってAF測距枠が設定されているものとする。
(Processing in panning assist mode)
FIG. 8 is a flowchart illustrating an example of an operation process of the imaging apparatus when the panning assist mode is set.
In FIG. 8, S indicates the number of each step in the flowchart. The processing described below is implemented when a control unit (CPU) that implements the camera control unit 122 and the lens control unit 110 reads out a program from a memory and executes the program. In the example shown in FIG. 8, it is assumed that the AF ranging frame is set in advance by the photographer.

S801において、カメラ制御部122が、流し撮りアシストモードが設定(選択)されたかを判断する。流し撮りアシストモードが設定されていない場合は、流し撮りアシストモード時の制御を行わずに、処理を終了する。流し撮りアシストモードが設定された場合は、処理がS802に進む。   In step S801, the camera control unit 122 determines whether the panning assist mode has been set (selected). If the panning assist mode is not set, the process ends without performing control in the panning assist mode. If the panning assist mode has been set, the process proceeds to S802.

S802において、カメラ制御部122が、レンズ制御部110からカメラ制御部122へ送信される信号に基づいて、カメラ本体部131に装着された交換レンズ100が流し撮りアシストモードに対応した交換レンズであるかを判断する。交換レンズ100が、流し撮りアシストモードに対応した交換レンズでない場合は、処理がS804に進む。交換レンズ100が、流し撮りアシストモードに対応した交換レンズである場合は、処理がS803に進む。   In step S802, the camera control unit 122 is based on a signal transmitted from the lens control unit 110 to the camera control unit 122, and the interchangeable lens 100 attached to the camera main unit 131 is an interchangeable lens compatible with the panning assist mode. Judge. If the interchangeable lens 100 is not an interchangeable lens that supports the panning assist mode, the process proceeds to S804. If the interchangeable lens 100 is an interchangeable lens that supports the panning assist mode, the process proceeds to S803.

次に、S803において、カメラ制御部122内の被写体角速度算出部126が、被写体角速度の算出処理を実行する。続いて、S804において、カメラ制御部122内の流し撮りシャッタ速度算出部127が、流し撮りアシスト用のシャッタ速度の算出処理を実行する。   Next, in step S803, the subject angular velocity calculation unit 126 in the camera control unit 122 performs a calculation process of the subject angular velocity. Subsequently, in step S804, the panning shutter speed calculation unit 127 in the camera control unit 122 executes a shutter speed calculation process for panning assist.

次に、S805において、カメラ制御部122が、S803での被写体角速度の算出処理の結果と、S804でのシャッタ速度の算出処理の結果とに基づいて、撮像素子115の露光期間中におけるシフトレンズ104の駆動量を決定する。そして、レンズ制御部110が、カメラ制御部122によって決定された駆動量に基づいて、シフトレンズ104の駆動制御を行う。これにより、被写体に係る像ブレが補正され、流し撮りのアシストが実現される。   Next, in step S805, the camera control unit 122 uses the shift lens 104 during the exposure period of the image sensor 115 based on the calculation result of the subject angular velocity in step S803 and the calculation result of the shutter speed in step S804. Is determined. Then, the lens control unit 110 performs drive control of the shift lens 104 based on the drive amount determined by the camera control unit 122. As a result, the image blur of the subject is corrected, and the follow shot assist is realized.

(被写体角速度算出処理)
図9および図10は、図8のS803における被写体角速度算出処理の例を説明するフローチャートである。
図9および図10において、Sは、フローチャートにおける各ステップの番号を示す。図9のS901において、カメラ制御部122が、撮影者が操作部130を用いて設定したAF測距枠303の位置情報を取得する。S902において、カメラ制御部122が、動きベクトル検出部118を制御して、テンプレート設定1を実行する。すなわち、カメラ制御部122は、S901で取得したAF測距枠303の中心位置を基準として、少なくともAF測距枠303を包むテンプレート枠304を設定する。
(Subject angular velocity calculation processing)
FIG. 9 and FIG. 10 are flowcharts illustrating an example of the subject angular velocity calculation processing in S803 of FIG.
9 and 10, S indicates the number of each step in the flowchart. In S901 of FIG. 9, the camera control unit 122 acquires the position information of the AF ranging frame 303 set by the photographer using the operation unit 130. In step S902, the camera control unit 122 controls the motion vector detection unit 118 to execute template setting 1. That is, the camera control unit 122 sets at least the template frame 304 surrounding the AF distance measurement frame 303 with reference to the center position of the AF distance measurement frame 303 acquired in S901.

次に、S903において、カメラ制御部122が、動きベクトル検出部118を制御して、テンプレート枠設定2を実行する。すなわち、カメラ制御部122は、S902で設定したテンプレート枠304を、S901で取得したAF測距枠303の位置情報に基づいて拡大する。続いて、S904において、カメラ制御部122が、パンニング情報を取得する。すなわち、カメラ制御部122は、交換レンズ100内の角速度センサ109から取得したパンニング操作時の角速度データに基づいて、パンニング方向を算出する。   Next, in S903, the camera control unit 122 controls the motion vector detection unit 118 to execute the template frame setting 2. That is, the camera control unit 122 enlarges the template frame 304 set in S902 based on the position information of the AF ranging frame 303 acquired in S901. Subsequently, in S904, the camera control unit 122 acquires panning information. That is, the camera control unit 122 calculates the panning direction based on the angular velocity data at the time of the panning operation acquired from the angular velocity sensor 109 in the interchangeable lens 100.

次に、S905において、カメラ制御部122が、動きベクトル検出部118を制御して、テンプレート枠設定3を実行する。すなわち、カメラ制御部122は、S904で算出したパンニング方向に基づいて、S903で設定したテンプレート枠304を拡大する。続いて、S906において、動きベクトル検出部118が、撮像画像に基づいて、S905で設定したテンプレート枠304内の領域における画像の動き量を動きベクトルとして検出し、検出結果をカメラ制御部122へ出力する。   Next, in step S905, the camera control unit 122 controls the motion vector detection unit 118 to execute template frame setting 3. That is, the camera control unit 122 enlarges the template frame 304 set in S903 based on the panning direction calculated in S904. Subsequently, in S906, the motion vector detection unit 118 detects, as a motion vector, the motion amount of the image in the area within the template frame 304 set in S905 based on the captured image, and outputs the detection result to the camera control unit 122. I do.

次に、S907において、カメラ制御部122内の被写体角速度算出部126が、S906で検出された動きベクトルのヒストグラムを生成する。続いて、図10のS908において、被写体角速度算出部126が、S907で生成したヒストグラムから被写体ベクトルが検出可能かを判断する。例えば、ヒストグラムにおける被写体ベクトルの度数が所定の閾値(例えば5)以上である場合、被写体角速度算出部126は、被写体ベクトルが検出可能と判断する。被写体ベクトルの度数が所定の閾値未満である場合、被写体角速度算出部126は、被写体ベクトルが検出可能でないと判断する。被写体ベクトルが検出可能であると判断された場合は、処理がS909に進む。被写体ベクトルが検出可能でないと判断された場合は、処理がS912に進む。   Next, in step S907, the subject angular velocity calculation unit 126 in the camera control unit 122 generates a histogram of the motion vector detected in step S906. Subsequently, in S908 of FIG. 10, the subject angular velocity calculation unit 126 determines whether a subject vector can be detected from the histogram generated in S907. For example, when the frequency of the subject vector in the histogram is equal to or greater than a predetermined threshold (for example, 5), the subject angular velocity calculation unit 126 determines that the subject vector can be detected. If the frequency of the subject vector is less than the predetermined threshold, the subject angular velocity calculation unit 126 determines that the subject vector cannot be detected. If it is determined that the subject vector can be detected, the process proceeds to S909. If it is determined that the subject vector cannot be detected, the process proceeds to S912.

S909において、被写体角速度算出部126が、被写体ベクトルが検出可能と判断されたベクトル検出枠302を対象として動きベクトルの積算を行って、被写体ベクトルを算出する。S910において、被写体角速度算出部126は、S909で算出された被写体ベクトルに基づいて、被写体角速度を算出する。そして、S911において、流し撮り制御部112が、カメラ制御部122から送信される被写体角速度データと、交換レンズ100内の角速度センサ109が出力する角速度データ(図2のオフセット除去部201の出力)との差分を算出する。角速度センサ109が出力する角速度データは、流し撮り速度に対応している。したがって、算出された差分は、撮像装置に対する被写体の移動を示す角速度データとなる。算出された差分は、積分器224によって積分される。これにより、被写体に係る像ブレを補正するための目標制御値(被写体ブレ補正量)が算出される。そして、被写体角速度の算出処理が終了する。   In step S909, the subject angular velocity calculation unit 126 calculates the subject vector by integrating the motion vectors for the vector detection frame 302 for which the subject vector has been determined to be detectable. In S910, the subject angular velocity calculation unit 126 calculates the subject angular velocity based on the subject vector calculated in S909. In step S911, the panning control unit 112 outputs the subject angular velocity data transmitted from the camera control unit 122, the angular velocity data output by the angular velocity sensor 109 in the interchangeable lens 100 (the output of the offset removing unit 201 in FIG. 2). Is calculated. The angular velocity data output by the angular velocity sensor 109 corresponds to the panning speed. Therefore, the calculated difference becomes angular velocity data indicating the movement of the subject with respect to the imaging device. The calculated difference is integrated by the integrator 224. As a result, a target control value (subject blur correction amount) for correcting image blur related to the subject is calculated. Then, the subject angular velocity calculation processing ends.

また、S912において、レンズ制御部110が、シフトレンズ104の制御を手振れ補正制御へ切り替える。そして、レンズ制御部110は、交換レンズ100内の角速度センサ109が出力する角速度データを取得する。続いて、手振れ補正制御部111内のオフセット除去部201が、角速度データに含まれる低周波数成分を遮断してから高周波数帯域の信号を出力とすることで、角速度データに重畳している直流成分を除去する。   In step S912, the lens control unit 110 switches the control of the shift lens 104 to the camera shake correction control. Then, the lens control unit 110 acquires the angular velocity data output by the angular velocity sensor 109 in the interchangeable lens 100. Subsequently, the offset removing unit 201 in the camera shake correction control unit 111 cuts off low frequency components included in the angular velocity data and outputs a signal in a high frequency band to output the DC component superimposed on the angular velocity data. Is removed.

次に、S914において、手振れ補正制御部111内の利得位相算出部202が、S519でオフセットが除去された角速度データを、増幅器によって所定のゲインで増幅するとともに、位相補償フィルタによって信号処理する。S915において、信号処理された角速度データが積分器203によって積分され、手振れ補正制御の目標制御値(手振れ補正量)が算出される。そして、被写体角速度の算出処理が終了する。   Next, in S914, the gain / phase calculation unit 202 in the camera shake correction control unit 111 amplifies the angular velocity data from which the offset has been removed in S519 with a predetermined gain by an amplifier, and performs signal processing by a phase compensation filter. In S915, the angular velocity data subjected to the signal processing is integrated by the integrator 203, and a target control value (camera shake correction amount) of the camera shake correction control is calculated. Then, the subject angular velocity calculation processing ends.

(シャッタ速度算出処理)
図11は、図8のS804における、流し撮りアシスト用のシャッタ速度の算出処理の例を説明するフローチャートである。
図10において、Sは、フローチャートにおける各ステップの番号を示す。S1001において、カメラ制御部122内のシャッタ速度算出部127が、撮影者が操作部130を用いて設定した背景流し量を取得する。続いて、S1002において、カメラ制御部122が、交換レンズ100内のレンズ制御部110からマウント接点部113、123を介して焦点距離データを取得する。
(Shutter speed calculation processing)
FIG. 11 is a flowchart illustrating an example of the calculation process of the shutter speed for panning assist in S804 of FIG.
In FIG. 10, S indicates the number of each step in the flowchart. In step S <b> 1001, the shutter speed calculation unit 127 in the camera control unit 122 acquires the background flow amount set by the photographer using the operation unit 130. Subsequently, in S1002, the camera control unit 122 acquires focal length data from the lens control unit 110 in the interchangeable lens 100 via the mount contact points 113 and 123.

次に、S1003において、カメラ制御部122が、カメラ本体部131内に角速度センサ124が搭載されているかを判断する。カメラ本体部131内に角速度センサ124が搭載されている場合は、処理がS1004に進む。カメラ本体部131内に角速度センサ124が搭載されていない場合は、処理がS1005に進む。   Next, in S1003, the camera control unit 122 determines whether the angular velocity sensor 124 is mounted in the camera main unit 131. If the angular velocity sensor 124 is mounted in the camera body 131, the process proceeds to S1004. If the angular velocity sensor 124 is not mounted in the camera body 131, the process proceeds to S1005.

S1004において、カメラ制御部122が、カメラ本体部131内の角速度センサ124から角速度データを取得する。そして、処理がS1007に進む。S1005において、カメラ制御部122が、レンズ制御部110から取得した情報に基づいて、交換レンズ100にシフトレンズ104が搭載されているかを判断する。交換レンズ100にシフトレンズ104が搭載されていない場合は、シャッタ速度の算出処理が終了する。本実施形態において、交換レンズ100にシフトレンズ104が搭載されていることは、交換レンズ100内に角速度センサ109が搭載されていることを意味する。したがって、交換レンズ100にシフトレンズ104が搭載されている場合は、処理がS1006に進む。   In step S1004, the camera control unit 122 acquires angular velocity data from the angular velocity sensor 124 in the camera main unit 131. Then, the process proceeds to S1007. In step S1005, the camera control unit 122 determines whether the shift lens 104 is mounted on the interchangeable lens 100 based on the information acquired from the lens control unit 110. When the shift lens 104 is not mounted on the interchangeable lens 100, the calculation process of the shutter speed ends. In the present embodiment, the fact that the shift lens 104 is mounted on the interchangeable lens 100 means that the angular velocity sensor 109 is mounted inside the interchangeable lens 100. Therefore, if the shift lens 104 is mounted on the interchangeable lens 100, the process proceeds to S1006.

S1006において、カメラ制御部122が、角速度センサ109から角速度データを取得する。そして、処理がS1007に進む。S1007において、シャッタ速度算出部127が、図10のS910で算出された被写体角速度を取得する。なお、図10のS908の判断処理で被写体ベクトルが検出可能でないと判断された場合は、取得される被写体角速度は、0dps(degree per second)である。   In S1006, the camera control unit 122 acquires angular velocity data from the angular velocity sensor 109. Then, the process proceeds to S1007. In S1007, the shutter speed calculation unit 127 obtains the subject angular speed calculated in S910 in FIG. When it is determined that the subject vector is not detectable in the determination processing of S908 in FIG. 10, the acquired subject angular velocity is 0 dps (degree per second).

次に、S1008において、シャッタ速度算出部127が、S1001〜S1007の処理で取得された各データを用いて、下記式に基づいて、流し撮りアシスト用のシャッタ速度を算出する。そして、シャッタ速度の算出処理が終了する。
Tv=α/f/(ωg−ωs)
Tvは、シャッタ速度である。αは、背景の流し効果係数である。fは、焦点距離である。ωgは、カメラ角速度である。ωsは、被写体角速度である。カメラ角速度ωgは、S1004またはS1006で取得された角速度データに対応する。
Next, in step S1008, the shutter speed calculation unit 127 calculates a shutter speed for follow-up shooting assistance based on the following equation using each data acquired in the processing in steps S1001 to S1007. Then, the shutter speed calculation process ends.
Tv = α / f / (ωg−ωs)
Tv is a shutter speed. α is a background effect coefficient. f is the focal length. ωg is the camera angular velocity. ωs is the subject angular velocity. The camera angular velocity ωg corresponds to the angular velocity data acquired in S1004 or S1006.

本実施形態によれば、流し撮りアシストモード時に、AF測距枠の位置または撮像装置の移動方向に基づいてテンプレート枠を拡大することで、取得される被写体ベクトルの信頼度の低下を抑制し、流し撮りアシストの精度を向上させることができる。また、本実施形態によれば、被写体がテンプレート枠内からフレームアウトしやすい領域に対してテンプレート枠を拡大できるので、ベクトル検出領域を不必要に拡大しなくて済むので、処理時間の増加も抑制できる。なお、本実施形態では、検出した被写体ベクトルに基づいてシフトレンズ104の駆動を制御し流し撮りのアシストを行っているが、本実施形態の方法で検出した被写体ベクトルをその他の処理に用いても構わない。すなわち、本実施形態における被写体ベクトルの検出に関わる処理以外の処理については省略してもよい。以上、本発明の好ましい実施形態について説明したが、本発明は、説明した実施形態に限定されず、その要旨を逸脱しない範囲で種々の変形および変更が可能である。   According to the present embodiment, in the panning assist mode, the template frame is enlarged based on the position of the AF ranging frame or the moving direction of the imaging device, thereby suppressing a decrease in the reliability of the obtained subject vector, The accuracy of the panning assist can be improved. Further, according to the present embodiment, the template frame can be enlarged in an area in which the subject is likely to go out of the template frame, so that the vector detection area does not need to be enlarged unnecessarily, thereby suppressing an increase in processing time. it can. In the present embodiment, the drive of the shift lens 104 is controlled based on the detected subject vector to assist the follow shot, but the subject vector detected by the method of the present embodiment may be used for other processing. I do not care. That is, processing other than the processing related to the detection of the subject vector in the present embodiment may be omitted. Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the described embodiment, and various modifications and changes can be made without departing from the gist of the present invention.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.

110 レンズ制御部
122 カメラ制御部
110 lens control unit 122 camera control unit

Claims (11)

焦点検出領域を設定する設定手段と、
撮像画像に基づいて、前記設定された焦点検出領域を含むベクトル検出領域について、動きベクトルを検出する検出手段と、
撮像装置の移動方向または前記設定された焦点検出領域の情報に基づいて、前記ベクトル検出領域の範囲を制御する制御手段と、を備える
ことを特徴とする撮像装置。
Setting means for setting a focus detection area;
Based on the captured image, for a vector detection area including the set focus detection area, a detection unit that detects a motion vector,
Control means for controlling a range of the vector detection area based on a moving direction of the imaging apparatus or information on the set focus detection area.
前記制御手段は、撮像装置の移動方向または前記設定された焦点検出領域の位置に基づいて、前記ベクトル検出領域の範囲を拡大する
ことを特徴とする請求項1に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the control unit expands a range of the vector detection area based on a moving direction of the imaging apparatus or a position of the set focus detection area.
前記制御手段は、前記撮像装置の移動方向とは逆方向に対して前記ベクトル検出領域を拡大する
ことを特徴とする請求項1または請求項2に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the control unit expands the vector detection area in a direction opposite to a moving direction of the imaging apparatus.
前記制御手段は、前記焦点検出領域が前記撮像領域の端側に設定された場合に、前記ベクトル検出領域を前記端側とは逆方向に対して拡大する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
The control means enlarges the vector detection area in a direction opposite to the end side when the focus detection area is set on an end side of the imaging area. The imaging device according to any one of the above.
前記制御手段は、前記焦点検出領域が前記撮像領域の端側に設定された場合であっても、前記撮像装置の移動方向が、前記端側とは逆方向である場合は、前記ベクトル検出領域の範囲を変更しない
ことを特徴とする請求項4に記載の撮像装置。
Even if the focus detection area is set on the end side of the imaging area, the control unit may set the vector detection area if the moving direction of the imaging apparatus is opposite to the end side. The imaging device according to claim 4, wherein the range is not changed.
前記設定手段による設定対象となる焦点検出領域は、複数の焦点検出点を含み、
前記制御手段は、前記設定された焦点検出領域が、前記撮像領域の端の近傍の焦点検出点を含む場合に、前記ベクトル検出領域を、前記端側とは逆方向の位置の焦点検出点を新たに含むように拡大する
ことを特徴とする請求項4または請求項5に記載の撮像装置。
The focus detection area to be set by the setting unit includes a plurality of focus detection points,
When the set focus detection area includes a focus detection point near an end of the imaging area, the control unit sets the vector detection area to a focus detection point in a position opposite to the end side. The imaging device according to claim 4, wherein the image is enlarged so as to newly include the image.
前記制御手段は、流し撮りを支援する動作モードが選択された場合に、前記ベクトル検出領域の範囲を制御する
ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the control unit controls the range of the vector detection region when an operation mode that supports panning is selected.
前記制御手段は、前記撮像装置の移動方向または前記設定された焦点検出領域の位置に基づいて、前記ベクトル検出領域の位置を変更する
ことを特徴とする請求項1に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the control unit changes a position of the vector detection area based on a moving direction of the imaging apparatus or a position of the set focus detection area.
前記制御手段は、前記撮像装置の移動量に応じて、前記ベクトル検出領域の範囲を制御する
ことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
The imaging device according to claim 1, wherein the control unit controls a range of the vector detection area according to a movement amount of the imaging device.
前記検出された動きベクトルに基づいて、被写体の角速度を算出する算出手段を備え、
前記制御手段は、前記被写体の角速度に基づいて、補正手段を制御して、前記被写体に係る像ブレを補正する
ことを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
A calculating unit that calculates an angular velocity of the subject based on the detected motion vector,
The imaging apparatus according to claim 1, wherein the control unit controls a correction unit based on an angular velocity of the subject to correct an image blur related to the subject.
焦点検出領域を設定する工程と、
撮像画像に基づいて、前記設定された焦点検出領域を含むベクトル検出領域について、動きベクトルを検出する工程と、
撮像装置の移動方向または前記設定された焦点検出領域の情報に基づいて、前記ベクトル検出領域の範囲を制御する工程と、を有する
ことを特徴とする撮像装置の制御方法。
Setting a focus detection area;
Based on the captured image, for a vector detection area including the set focus detection area, a step of detecting a motion vector,
Controlling the range of the vector detection region based on the movement direction of the imaging device or the information on the set focus detection region.
JP2018188809A 2018-10-04 2018-10-04 Imaging device and its control method Active JP7214424B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018188809A JP7214424B2 (en) 2018-10-04 2018-10-04 Imaging device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188809A JP7214424B2 (en) 2018-10-04 2018-10-04 Imaging device and its control method

Publications (3)

Publication Number Publication Date
JP2020056962A true JP2020056962A (en) 2020-04-09
JP2020056962A5 JP2020056962A5 (en) 2021-11-11
JP7214424B2 JP7214424B2 (en) 2023-01-30

Family

ID=70107190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188809A Active JP7214424B2 (en) 2018-10-04 2018-10-04 Imaging device and its control method

Country Status (1)

Country Link
JP (1) JP7214424B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036366A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Image tremor correction device, imaging device and control method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036366A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Image tremor correction device, imaging device and control method

Also Published As

Publication number Publication date
JP7214424B2 (en) 2023-01-30

Similar Documents

Publication Publication Date Title
CN106375656B (en) Image processing apparatus, control method thereof, image pickup device, and control method thereof
JP6341691B2 (en) Image shake correction apparatus, control method therefor, optical apparatus, and imaging apparatus
JP6776062B2 (en) Imaging device and its control method
JP6821358B2 (en) Control device, image pickup device, lens device, control method, program, and storage medium
JP6282152B2 (en) Imaging apparatus and control method thereof
JP7013199B2 (en) Image pickup device and its control method
JP2018185357A (en) Image blur correction device, control method therefor, and imaging device
CN108668074B (en) Image blur correction device, control method thereof, image pickup apparatus, and storage medium
JP6818473B2 (en) Blur correction device and its control method, imaging device
JP6429500B2 (en) Optical apparatus, interchangeable lens, and image blur correction method
JP2018146663A (en) Image tremor correction device, control method of the same, imaging device, and lens device
JP2017161649A (en) Image shake correction device and method of controlling image shake correction device, program, and storage medium
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP2015145901A (en) Imaging apparatus
JP7214424B2 (en) Imaging device and its control method
US10389942B2 (en) Image blur correction apparatus, control method thereof, and imaging apparatus
JP6289070B2 (en) Imaging apparatus and control method thereof
JP7023663B2 (en) Image pickup device and its control method
JP7451152B2 (en) Imaging device, control method and computer program
JP7073078B2 (en) Image pickup device and its control method
WO2020012960A1 (en) Imaging device
JP2015198338A (en) Imaging apparatus, control method, and program
JP2006229393A (en) Imaging device
JP2019008221A (en) Imaging apparatus and control method for the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R151 Written notification of patent or utility model registration

Ref document number: 7214424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151