JP2020053756A - Imaging apparatus and control method therefor - Google Patents
Imaging apparatus and control method therefor Download PDFInfo
- Publication number
- JP2020053756A JP2020053756A JP2018178929A JP2018178929A JP2020053756A JP 2020053756 A JP2020053756 A JP 2020053756A JP 2018178929 A JP2018178929 A JP 2018178929A JP 2018178929 A JP2018178929 A JP 2018178929A JP 2020053756 A JP2020053756 A JP 2020053756A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- control
- imaging
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims description 37
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 238000004091 panning Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000009825 accumulation Methods 0.000 claims description 47
- 238000005375 photometry Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体の動きベクトルを検出する撮像装置とその制御方法に関する。 The present invention relates to an imaging device for detecting a motion vector of a subject and a control method thereof.
流し撮りは、移動している被写体に対してカメラの動きを合わせつつ、遅いシャッタ速度で撮影する方法である。主被写体を静止させながら背景を流すことで躍動感のある写真を撮影することが可能である。しかし、流し撮りでは被写体の移動速度とカメラを移動させる角速度(以下、パンニング角速度ともいう)とを合わせる事が難しい。実際に初心者が流し撮りを行った場合、被写体が静止せずにブレ残りが生じる可能性が高い。 Panning is a method of shooting at a slow shutter speed while adjusting the movement of the camera to a moving subject. By moving the background while the main subject is stationary, it is possible to take a photograph with a lively feeling. However, in panning, it is difficult to match the moving speed of the subject with the angular velocity at which the camera is moved (hereinafter, also referred to as panning angular velocity). When a beginner actually performs a panning shot, there is a high possibility that the subject does not stop and blur remains.
特許文献1には、ユーザの流し撮りを支援する流し撮りアシスト制御手段を有する撮像装置が開示されている。流し撮りアシスト制御手段は、主被写体角速度とパンニング角速度の差分に基づく主被写体の像ブレ(被写体ブレ)を、シフトレンズの駆動制御により補正する。 Patent Literature 1 discloses an imaging apparatus having a panning assist control unit that assists a user in panning. The panning assist control means corrects the image blur (subject blur) of the main subject based on the difference between the main subject angular velocity and the panning angular velocity by drive control of the shift lens.
特許文献1に開示された従来技術では、動きベクトル検出を行うセンサが撮影のための撮像センサであることが前提である。そのため、例えば撮像センサの前面部にてペンタミラーを介する光学ビューファインダ(以下、OVFと記す)撮影時には動きベクトル検出ができないので、動きベクトルから画像内の被写体領域を検出して像ブレ補正を行えない。撮像光学系の状態の変更等によって動きベクトルの検出精度が低下すると、動きベクトルを用いた処理や制御に支障を来たす可能性がある。
本発明の目的は、精度よく動きベクトル検出が可能な撮像装置を提供することである。
In the related art disclosed in Patent Literature 1, it is assumed that a sensor that detects a motion vector is an imaging sensor for photographing. For this reason, for example, when an optical viewfinder (hereinafter, referred to as OVF) is photographed through a pentamirror on the front surface of an image sensor, a motion vector cannot be detected, and an image blur correction can be performed by detecting a subject area in an image from the motion vector. Absent. If the detection accuracy of the motion vector decreases due to a change in the state of the imaging optical system or the like, processing and control using the motion vector may be hindered.
An object of the present invention is to provide an imaging device capable of accurately detecting a motion vector.
本発明の実施形態の装置は、連続なフレームの画像データを取得する撮像手段と、前記画像データから被写体の輝度を算出する演算手段と、前記撮像手段によりフリッカーを検知する第1の制御と、前記撮像手段によって取得した複数のフレームの画像間で被写体の動きベクトルを検出する第2の制御とを切り替える制御手段と、撮像装置のパンニングまたはチルティングの角速度を検出する第1の検出手段と、前記第2の制御にて前記動きベクトルを検出する第2の検出手段と、を備える。前記制御手段は、前記第2の制御にて、前記撮像手段により取得された画像データを用いて前記演算手段により測光演算を行い、前記測光演算に用いた画像データと同じ条件で前記撮像手段により取得された画像データを用いて前記第2の検出手段により動きベクトルを検出する制御を行う。 An apparatus according to an embodiment of the present invention includes an imaging unit that obtains image data of a continuous frame, a calculation unit that calculates a luminance of a subject from the image data, a first control that detects flicker by the imaging unit, A control unit that switches between a second control for detecting a motion vector of a subject between images of a plurality of frames acquired by the imaging unit, a first detection unit for detecting an angular velocity of panning or tilting of the imaging device, Second detecting means for detecting the motion vector by the second control. In the second control, the control unit performs a photometric operation by the arithmetic unit using the image data acquired by the image capturing unit, and performs the photometric operation under the same conditions as the image data used in the photometric operation. Using the acquired image data, control is performed to detect a motion vector by the second detection means.
本発明によれば、精度よく動きベクトル検出が可能な撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging device capable of accurately detecting a motion vector.
以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。本実施形態では流し撮りを支援する流し撮りアシストの機能を有するデジタルカメラを例示する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present embodiment, a digital camera having a panning assist function for assisting panning will be exemplified. The control mode in which the panning assist setting is performed is referred to as “panning assist mode”.
図1は、本実施形態に係る撮像装置100の基本構成を示すブロック図である。撮像装置100は、デジタルカメラ、デジタルビデオカメラ、あるいは撮像機能を有する携帯電話やコンピュータ等である。本発明は撮像機能を備える任意の電子機器に適用可能である。
FIG. 1 is a block diagram illustrating a basic configuration of an
撮像光学系101は、レンズ、シャッタ、絞り等の光学部材を備え、CPU(中央演算処理装置)104の制御によって被写体からの光を撮像素子102に結像させる。撮像素子102はCCD(電荷結合素子)型イメージセンサ、CMOS(相補型金属酸化膜半導体)型イメージセンサ等であり、撮像光学系101を通って結像された光を画像信号に光電変換する。焦点検出回路103は、例えば位相差検出方式等の焦点検出を行い、焦点検出信号をCPU104に出力する。
The imaging
CPU104は、入力信号や予め記憶されたプログラムに従い、撮像装置100を構成する各部を制御する。一次記憶装置105は、例えばRAM(ランダム・アクセス・メモリ)のような揮発性記憶装置であり、一時的なデータを記憶し、CPU104の作業用メモリとして使用される。一次記憶装置105に記憶されているデータは、動きベクトルや主被写体領域の検出に利用され、また記録媒体108へ記録される。
The
角速度センサ106はジャイロセンサ等の振れ検出センサであり、撮像装置100の振れやパンニング動作等を検出する。角速度センサ106は撮像装置100の本体部または本体部に装着可能なレンズ装置に設けられ、角速度検出信号をCPU104に出力する。
The
画像処理部107は、撮像素子102によって撮像された画像のデータを処理し、処理結果を一次記憶装置105に出力して記憶させる。画像処理部107はノイズ低減処理や各種補正処理、現像処理等を行う。
The
記録媒体108は、撮影により取得された画像データ等を記録する。一次記憶装置105には撮影画像データが記憶されており、ユーザの指示等に応じて撮影画像データが記録媒体108に記録される。記録媒体108は、例えば半導体メモリカードのように撮像装置100の本体部に対して着脱可能である。ユーザは記録媒体108をパーソナルコンピュータ等の情報処理装置に装着して、記録された撮影画像データを読み出すことが可能である。つまり、撮像装置100の本体部は記録媒体108の着脱機構を備え、CPU104は記録媒体108に対する読み書き機能を有する。
The
二次記憶装置109は、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)のような不揮発性記憶装置である。二次記憶装置109は撮像装置100を制御するためのプログラム(ファームウェア)や各種の設定情報を記憶しており、CPU104によって利用される。
The
表示部110は液晶表示パネル等の表示用デバイスを備え、CPU104の制御指令にしたがって各種表示を行う。各種表示とは、撮影時のビューファインダ画像の表示、撮影された画像の表示、対話的な操作のためのGUI(Graphical User Interface)画面等の表示である。
The
操作部111は、ユーザの操作を受け付けてCPU104へ操作指示情報を伝達する入力デバイスを備える。操作部111には、ボタンやスイッチ、レバー、タッチパネル等の入力用デバイス、音声や視線等を用いた入力機器が含まれる。例えば、操作部111はレリーズボタンの操作に応じてオン・オフする第1および第2スイッチを備える。ユーザはレリーズボタンの半押し操作を行い、レリーズスイッチの第1スイッチ(SW1)をONとする。これによりAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(ストロボプリ発光)処理等の動作開始を撮像装置に指示することができる。ユーザはさらにレリーズボタンの全押し操作を行い、レリーズスイッチの第2スイッチ(SW2)をONとし、撮影動作の開始を指示することができる。また操作部111は流し撮りアシストモードの設定用スイッチを備える。
The
動きベクトル検出部112は、撮像により得られた複数の撮像時刻の異なる画像データを用いてフレーム間の動きベクトルを検出する。検出された動きベクトルはCPU104に出力される。主被写体領域検出部113は、撮像により得られた画像から主被写体領域を検出し、検出結果のデータをCPU104へ出力する。
The motion
図2は、本実施形態の撮像装置の構成例を示すブロック図である。撮像装置の本体部200と、レンズ装置400とを備える撮像システムの例を示す。まず本体部200内の構成を説明する。以下では被写体側を前側と定義して各部の位置関係を説明する。カメラ制御部201はCPUを備え、撮像装置の各部を制御する。メモリ202はカメラ制御部201に接続されているRAMやROM(リード・オンリ・メモリ)等である。
FIG. 2 is a block diagram illustrating a configuration example of the imaging device of the present embodiment. 1 illustrates an example of an imaging system including a
撮像素子203は赤外カットフィルタや光学ローパスフィルタ等を含むイメージセンサであり、撮像面には、レンズ装置400によって撮影時に被写体の像が結像される。シャッタ204は、撮影が行われない時に撮像素子203を遮光し、撮影時には開いて撮像素子203へ光線を導く。ハーフミラー205はレンズ装置400より入射する光の一部を反射し、ピント板206に結像させる光学部材である。表示素子207は、ポリマーネットワーク型(PN)液晶等を用いた、AF測距点を表示するためデバイスである。表示素子207は、ユーザがOVFを覗いたときに、どの位置でAF処理が行われているかを提示する。
The
測光センサ208はCCD、CMOS等の撮像デバイスにより構成され、測光用の検出を行う。ペンタプリズム209は、ピント板206上の被写体像を、測光センサ208およびOVF(不図示)に導く光学部材である。測光センサ208はペンタプリズム209を介して、ピント板206に結像された被写体像を斜めの位置から見込んでおり、ペンタプリズム209を介して受光する。本実施形態ではペンタプリズムを例示するが、ペンタダハミラーを用いてもよい。この場合、ファインダ撮影時にハーフミラー205は被写体からの光の一部を反射し、ペンタダハミラーを介して測光センサ208に導く。
The
焦点検出回路210は、AFミラー211の反射光を受光して焦点検出を行う。AFミラー211はハーフミラー205の後方に位置し、レンズ装置400から入射してハーフミラー205を通過した光の一部を焦点検出回路210に導く。焦点検出回路210は内部にAFセンサを備え、焦点検出情報を取得する。
The
画像処理および演算用のCPU(以下、APUという)212は、カメラ制御部201と測光センサ208に接続されている。メモリ213はAPU212に接続されているRAMやROM等である。APU212は測光センサ208の出力信号を取得してAE演算等を行う。本実施形態では、測光センサ専用のAPUを用いるが、APUが行う処理についてはカメラ制御部201が行ってもよい。また、図1中の動きベクトル検出部112と主被写体領域検出部113についてはカメラ制御部201が備えてもよいし、APU212が備えてもよい。
A CPU (hereinafter, referred to as an APU) 212 for image processing and calculation is connected to the
次にレンズ装置400の構成を説明する。レンズ装置400は本体部200に装着可能な交換レンズである。レンズ装置400内の各部を制御するCPU(以下、LPUという)401は、例えば撮像装置から被写体までの距離情報や、角速度検出情報等をカメラ制御部201に送信する。角速度センサ402はジャイロセンサ等であり、振れの角速度を検出し、角速度情報を電気信号に変換してLPU401へ出力する。
Next, the configuration of the
レンズ装置400内には撮像光学系を構成する複数のレンズや絞り等が配置されている。LPU401は角速度センサ402から振れ検出信号を取得し、撮像光学系内の補正レンズ(シフトレンズ等)の駆動制御によって被写体の像ブレ補正を行う。
In the
図3のフローチャートを参照して、本実施形態における流し撮りアシストモード時の撮影シーケンスを説明する。なお、被写体(動体)は等速直線運動を行っており、ユーザは被写体の動きに追従して撮像装置を移動させて(パンニングさせて)流し撮りを行うものとする。また、図3のフローチャートは、撮影者がOVFで被写体を観察している状態からの撮影シーケンスを示している。 An imaging sequence in the panning assist mode in the present embodiment will be described with reference to the flowchart in FIG. It is assumed that the subject (moving object) is performing a linear motion at a constant velocity, and the user moves (pans) the imaging apparatus to follow the movement of the subject to perform a panning shot. Further, the flowchart of FIG. 3 shows a photographing sequence from a state where the photographer is observing the subject with OVF.
S301にてカメラ制御部201は、撮影者がレリーズスイッチの半押し操作を行い、第1スイッチSW1がオンになったかどうかを判定する。SW1がオンになったことが判定された場合、S302の処理に進む。SW1がオフである場合にはS301の判定処理が繰り返される。
In step S301, the
S302でカメラ制御部201は測光センサ208により、動きベクトル検出を行い、画像内の被写体領域の抽出を行う。ユーザがOVFで被写体を観察している状態ではミラーダウン状態であって撮像素子203に被写体からの光が導かれないため、測光センサ208が使用される。なお、被写体領域の抽出に関しては、測光センサ208によって撮像された画像のデータがカメラ制御部201内またはAPU212内の動きベクトル検出部112に入力される。算出された動きベクトルを用いて被写体領域を抽出する処理が行われる。その詳細な処理については図4以降を参照して後述する。
In step S302, the
S302で被写体領域の抽出ができなかった場合には、被写体角速度の算出を行えないので、流し撮りアシストの機能を実現できない。この場合には後述のS309において補正レンズ(シフトレンズ等)を駆動しない通常の撮影に切り替えることが可能である。 If the subject area cannot be extracted in S302, the subject angular velocity cannot be calculated, so that the panning assist function cannot be realized. In this case, it is possible to switch to normal shooting in which a correction lens (such as a shift lens) is not driven in S309 described later.
次にS303でカメラ制御部201は、角速度センサ402により検出された角速度信号(パンニング角速度に相当する信号)を取得し、S304に進む。S304でカメラ制御部201は被写体角速度を算出する。被写体角速度の算出処理の詳細については後述する。
Next, in step S303, the
S305でカメラ制御部201は、S304で算出した被写体角速度を履歴データとしてメモリ213に保存する。メモリの使い分けとしては、撮像素子203により撮像された画像から被写体角速度が算出された場合にはメモリ202を使い、測光センサ208により撮像された画像から被写体角速度が算出された場合にはメモリ213を使うものとする。なお、このようなメモリの使い分けは例示であって、実施形態に応じて自由に変更が可能である。
In step S305, the
S306でカメラ制御部201は、撮影者がレリーズスイッチの全押し操作を行い、第2スイッチSW2がオンになったかどうかを判定する。SW2がオンになったことが判定された場合、S307へと進み、露光動作を開始する。またSW2がオフであることが判定された場合、S302の処理に戻る。
In step S306, the
S307でカメラ制御部201は露光時の被写体角速度の予測処理を実行する。被写体が等速直線運動をしている場合でも、撮像装置から見た被写体の角速度として計算を行うと加速運動をすることが分かっている。そのため、第2スイッチSW2がオンになった時点での被写体角速度と露光時の被写体角速度は異なる。S307では、第2スイッチSW2がオンになった時点での被写体角速度と、当該時点から露光動作までのタイムラグと、S305で保存された被写体角速度の履歴データにより、露光時の被写体角速度を予測する処理が行われる。
In step S307, the
次にS308でカメラ制御部201はハーフミラー205をアップさせてからシャッタ204を制御し、シャッタ走行を開始させる。その後のS309でカメラ制御部201は、撮像光学系101を構成する補正レンズ(シフトレンズ)の駆動を制御して、流し撮りアシストを行う。露光時の被写体角速度に基づいて補正レンズを駆動することによって、流し撮り時の被写体に係る像ブレが補正される。S310でカメラ制御部201は、AE演算に基づいて設定した露光時間が経過したか否かを判定する。今回の撮影で設定された露光時間が経過しない間、S309で補正レンズの駆動制御が行われる。設定された露光時間が経過したと判定された場合には、一連の処理を終了する。
Next, in step S308, the
図3のS302に示す被写体抽出処理について、図4から図6を参照して説明する。まず、図4を用いて通常のAE動作について説明する。図4は、カメラ制御とAEセンサ制御と演算処理の説明図であり、流し撮りアシストが行われない場合の測光中の動作を示す。通常の撮影時のAE処理では測光センサ208において、被写体の輝度情報を取得するための蓄積(以下、AE蓄積という)と、フリッカーを検知するための蓄積(以下、フリッカー検知蓄積という)とが交互に繰り返される。測光開始後にAE蓄積が行われて信号の読み出しが行われた後、測光演算が実行される。フリッカー検知は、蛍光灯等のフリッカー光源の存在を検知するために行われ、フリッカー検知蓄積が行われて信号の読み出しが行われた後、フリッカー演算が実行される。この場合、AE蓄積とフリッカー検知蓄積では画像サイズや撮影パラメータが異なるため、AE蓄積とフリッカー検知蓄積とでそれぞれ取得される画像から動きベクトルを検出することはできない。つまり、通常撮影時の駆動のままで動きベクトル検出を行うためには、AE蓄積同士、または、フリッカー検知蓄積同士でそれぞれ取得される画像から動きベクトル検出を行う必要がある。この場合、動きベクトル検出を行うときのフレームレートが低下し、検出精度が低下する。
The subject extraction processing shown in S302 of FIG. 3 will be described with reference to FIGS. First, a normal AE operation will be described with reference to FIG. FIG. 4 is an explanatory diagram of camera control, AE sensor control, and calculation processing, and shows an operation during photometry when panning assist is not performed. In the AE process at the time of normal photographing, the
本実施形態では、流し撮りアシストモード時にフリッカー検知蓄積を行わず、測光センサ208において動きベクトル検出のための蓄積(以下、ベクトル検出蓄積という)を行う。図5を参照して具体的に説明する。
In the present embodiment, the flicker detection and accumulation are not performed in the panning assist mode, and the
図5は、カメラ制御とAEセンサ制御、AE演算処理、ベクトル検出制御の説明図であり、流し撮りアシストが行われる場合の測光および動きベクトル検出の動作を示す。測光開始後にAE蓄積が行われて信号の読み出しが行われた後、測光演算と動きベクトル検出演算が実行される。次にベクトル検出蓄積が行われて信号の読み出しが行われた後、動きベクトル検出演算が実行される。流し撮りアシストモード時には、測光演算が第1のフレームレートで行われるのに対し、動きベクトル検出演算は第1のフレームレートよりも大きい第2のフレームレートで行われる。つまり動きベクトルは初回を除いて、AE蓄積後とベクトル検出蓄積後にそれぞれ検出されるので、連続なフレームの画像間でのベクトル検出精度をより高めることができる。 FIG. 5 is an explanatory diagram of camera control, AE sensor control, AE calculation processing, and vector detection control, and shows the operation of photometry and motion vector detection when panning assist is performed. After the AE accumulation is performed after the start of the photometry and the signal is read out, the photometry operation and the motion vector detection operation are executed. Next, after the vector detection and accumulation are performed and the signal is read out, the motion vector detection calculation is performed. In the panning assist mode, the photometric calculation is performed at the first frame rate, whereas the motion vector detection calculation is performed at a second frame rate higher than the first frame rate. That is, since the motion vector is detected after the AE accumulation and after the vector detection accumulation except for the first time, it is possible to further improve the vector detection accuracy between the images of the continuous frames.
図6のフローチャートを参照して、被写体抽出処理(図3:S302)を詳細に説明する。S601でカメラ制御部201はAE蓄積を行うか否かを判断する。AE蓄積の判断は、外部からのAE蓄積要求や、ユーザが指定した測光周期等に基づいて行われる。本実施形態においてAE蓄積の判断方法について限定はしないものとする。AE蓄積を行うことが判断された場合、S602の処理に進み、AE蓄積を行わないことが判断された場合にはS608の処理へ進む。
The subject extraction process (FIG. 3: S302) will be described in detail with reference to the flowchart in FIG. In step S601, the
S602でカメラ制御部201は測光センサ208の蓄積パラメータを設定する。蓄積パラメータには、画像サイズ、ゲイン、蓄積時間等が含まれ、使用する撮像素子によって様々である。次のS603では、S602で設定されたパラメータをメモリ202(または213)に保存する処理が行われる。
In step S <b> 602, the
S604では、S602で設定されたパラメータに基づいて測光センサ208のAE蓄積が開始する。AE蓄積が完了するとS605に進み、測光演算が行われる。測光演算の方法としては、撮像された画像全体の明るさを平均する方法や、画像中央に重点的に重み付けをして演算する方法等の、様々な方法がある。S605の次にS606の処理に進む。
In step S604, AE accumulation of the
S601でAE蓄積を行わないと判断された場合、S608へ進み、蓄積パラメータの読み出しが行われる。この蓄積パラメータは、S603でメモリ202(または213)に保存されたパラメータを読み出すことで取得される。すなわち、AE蓄積を行う際にS602で設定されたパラメータと同等の蓄積パラメータが使用される。次のS609では、S608で読み出された蓄積パラメータに基づいて、AE蓄積と同一の条件でベクトル検出蓄積が行われる。S608およびS609の処理はカメラ制御部201(またはAPU212)の制御下で流し撮りアシストモード時に実行される。S609の次にS606の処理に進む。 If it is determined in step S601 that AE accumulation is not to be performed, the process advances to step S608 to read out accumulation parameters. The stored parameters are obtained by reading the parameters stored in the memory 202 (or 213) in S603. That is, when performing AE accumulation, an accumulation parameter equivalent to the parameter set in S602 is used. In the next step S609, vector detection accumulation is performed under the same conditions as AE accumulation based on the accumulation parameters read in S608. The processing of S608 and S609 is executed in the panning assist mode under the control of the camera control unit 201 (or APU 212). After S609, the process proceeds to S606.
S606でカメラ制御部201は、S604とS609で蓄積されてそれぞれ読み出された画像データを用いて動きベクトル検出を行う。撮像時刻の異なる複数の画像データから被写体の動きベクトルを検出することができる。
In step S606, the
S607でカメラ制御部201は、S606で検出された動きベクトルを用いて画像内の被写体領域を抽出する。動きベクトルを用いて被写体領域を抽出する方法については、テンプレートマッチング等の各種方法が知られているので、その詳細な説明を省略する。S607の処理後にリターン処理へ移行する。
In step S607, the
次に図7を参照して、図3のS304に示す被写体角速度の算出処理について説明する。本実施形態においては、パンニング角速度と併せて計算を行うため、被写体角速度を、主点を中心として算出する処理が行われる。角速度の算出方法については弧度法で説明する。 Next, the calculation processing of the subject angular velocity shown in S304 of FIG. 3 will be described with reference to FIG. In the present embodiment, since the calculation is performed together with the panning angular velocity, a process of calculating the subject angular velocity centering on the principal point is performed. The method of calculating the angular velocity will be described with the radian method.
図7は、被写体がt秒間に点Aから点Bへ移動し、それに応じて撮像素子の像面上に結像した被写体像が点Cから点Dへと移動した状況を模式的に示す図である。ここで、点Cと点Dとの距離をd[pixel]とし、焦点距離をf[mm]とし、撮像素子の画素ピッチをp[μm/pixel]と表記する。像面上の被写体の角速度をω[rad/sec]と表記すると、ωは下記式で表わすことができる。
撮影者が撮像装置のパンニング操作を行っている場合を想定し、撮像装置に対する被写体自身の角速度(被写体角速度)をωsと表記し、パンニング角速度をωpと表記する。像面上の被写体の角速度ωは、下記式のように、ωsからωpを減算したものとなる。
よって下記式のように、像面上の被写体の角速度ωに対して、角速度センサ402で検出された撮像装置のパンニング角速度ωpを加算することにより、被写体角速度ωsが算出される。
被写体角速度ωsの算出処理は、動きベクトル検出演算が実行された後で行われ、検出された動きベクトルに対応する被写体の角速度が取得される。 The calculation processing of the subject angular velocity ω s is performed after the motion vector detection calculation is performed, and the angular velocity of the subject corresponding to the detected motion vector is obtained.
本実施形態では、流し撮りアシストモードにてフリッカー検知蓄積をベクトル検出蓄積に置き換える(図5)ことで、より高フレームレートでの動きベクトル検出と、測光とを両立させることができる。本実施形態によれば、光学ビューファインダを用いた撮影時に測光センサによって動きベクトル検出および測光を行い、流し撮りアシストを実現できる。 In the present embodiment, by replacing the flicker detection accumulation with the vector detection accumulation in the panning assist mode (FIG. 5), it is possible to achieve both motion vector detection at a higher frame rate and photometry. According to the present embodiment, the motion vector detection and the photometry are performed by the photometry sensor at the time of the photographing using the optical viewfinder, and the panning assist can be realized.
ユーザのパンニング操作時における流し撮りアシストの例を説明したが、本発明はチルティング操作時にも適用可能である。また、連続なフレームの画像間で算出される動きベクトルを用いる処理には、流し撮りアシスト以外に、被写体追尾処理やオートズーム処理等がある。また、上記の実施形態では、測光センサでフリッカー検知蓄積を行う構成においてフリッカー検知蓄積をベクトル検出蓄積に置き換える例を説明したが、記録用の画像を取得するイメージセンサでフリッカー検知蓄積を行う構成にも適用可能である。例えば、イメージセンサで測光およびフリッカー検知蓄積を行う構成において流し撮りアシストモードにてフリッカー検知蓄積をベクトル検出蓄積に置き換えるようにしてもよい。このような構成では、記録用の画像を取得するイメージセンサを用いて動きベクトル検出が可能であるため、精度の高い動きベクトルを用いた処理や制御を行うことができる。以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 Although the example of the panning assist at the time of the user's panning operation has been described, the present invention is also applicable at the time of the tilting operation. Processing using a motion vector calculated between images of continuous frames includes subject tracking processing and auto zoom processing in addition to panning assist. Further, in the above-described embodiment, an example has been described in which flicker detection and accumulation is replaced with vector detection and accumulation in a configuration in which flicker detection and accumulation are performed by the photometric sensor. Is also applicable. For example, in a configuration in which photometry and flicker detection and accumulation are performed by an image sensor, flicker detection and accumulation may be replaced with vector detection and accumulation in the follow shot assist mode. In such a configuration, since a motion vector can be detected using an image sensor that acquires an image for recording, processing and control using a highly accurate motion vector can be performed. Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications and changes can be made within the scope of the gist.
201:カメラ制御部
203:撮像素子
208:測光センサ
212:APU
402:角速度センサ
201: Camera control unit 203: Image sensor 208: Photometric sensor 212: APU
402: angular velocity sensor
Claims (7)
前記画像データから被写体の輝度を算出する演算手段と、
前記撮像手段によりフリッカーを検知する第1の制御と、前記撮像手段によって取得した複数のフレームの画像間で被写体の動きベクトルを検出する第2の制御とを切り替える制御手段と、
撮像装置のパンニングまたはチルティングの角速度を検出する第1の検出手段と、
前記第2の制御にて前記動きベクトルを検出する第2の検出手段と、を備え、
前記制御手段は、前記第2の制御にて、前記撮像手段により取得された画像データを用いて前記演算手段により測光演算を行い、前記測光演算に用いた画像データと同じ条件で前記撮像手段により取得された画像データを用いて前記第2の検出手段により動きベクトルを検出する制御を行う
ことを特徴とする撮像装置。 Imaging means for acquiring image data of continuous frames;
Calculating means for calculating the brightness of the subject from the image data;
Control means for switching between first control for detecting flicker by the imaging means and second control for detecting a motion vector of a subject between images of a plurality of frames acquired by the imaging means;
First detection means for detecting an angular velocity of panning or tilting of the imaging device;
And a second detection means for detecting the motion vector in the second control,
In the second control, the control unit performs a photometric operation by the arithmetic unit using the image data acquired by the image capturing unit, and performs the photometric operation under the same conditions as the image data used in the photometric operation. An imaging apparatus, comprising: performing control to detect a motion vector by the second detection unit using acquired image data.
ことを特徴とする請求項1に記載の撮像装置。 The control means sets, in the second control, parameters used for the first accumulation of the imaging means and stores the parameters in a storage means, and controls the photometric calculation and the motion vector detection after the first accumulation. The second storage of the imaging unit reads out a parameter from the storage unit, and performs the control of the motion vector detection after the second storage using the parameter. Imaging device.
ことを特徴とする請求項1または請求項2に記載の撮像装置。 The photometric operation is performed at a first frame rate under the second control, and the motion vector is detected at a second frame rate higher than the first frame rate. The imaging device according to claim 1.
前記第1の検出手段により検出される角速度および前記第2の検出手段により検出される前記動きベクトルから撮像装置に対する被写体の角速度を算出する算出手段と、
前記算出手段により算出される被写体の角速度の履歴データを用いて撮影時の被写体の角速度を算出して前記補正手段を駆動することによって、流し撮り時の被写体に係る像ブレを補正する駆動制御手段と、を備える
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 Correction means for correcting image blur;
Calculating means for calculating an angular velocity of the subject with respect to the imaging device from the angular velocity detected by the first detecting means and the motion vector detected by the second detecting means;
A driving control unit for calculating an angular velocity of the subject at the time of shooting using the history data of the angular velocity of the subject calculated by the calculating unit and driving the correcting unit, thereby correcting an image blur related to the subject at the follow shot The imaging device according to any one of claims 1 to 3, further comprising:
前記撮像手段は前記ミラーにより導かれた光を光電変換して画像データを取得する
ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。 Equipped with a mirror that guides light from the subject to the optical viewfinder,
The imaging device according to claim 1, wherein the imaging unit photoelectrically converts the light guided by the mirror to obtain image data.
前記制御手段は、前記モードが設定された場合、前記第2の制御に切り替える
ことを特徴とする請求項4に記載の撮像装置。 It has setting means to set a mode to support panning,
The imaging apparatus according to claim 4, wherein the control unit switches to the second control when the mode is set.
撮像手段によって連続なフレームの画像データを取得する工程と、
演算手段により前記画像データから被写体の輝度を算出する工程と、
前記撮像手段によりフリッカーを検知する第1の制御と、前記撮像手段によって取得した複数のフレームの画像間で被写体の動きベクトルを検出する第2の制御とを切り替える工程と、
撮像装置のパンニングまたはチルティングの角速度を検出し、前記第2の制御にて前記動きベクトルを検出する工程と、を有し、
前記第2の制御では、前記撮像手段により取得された画像データを用いて前記演算手段により測光演算を行い、前記測光演算に用いた画像データと同じ条件で前記撮像手段により取得された画像データを用いて前記動きベクトルを検出する制御が行われる
ことを特徴とする撮像装置の制御方法。
A control method executed by the imaging device,
A step of acquiring image data of a continuous frame by an imaging unit;
Calculating the brightness of the subject from the image data by a calculating means;
A step of switching between a first control for detecting flicker by the imaging unit and a second control for detecting a motion vector of a subject between images of a plurality of frames acquired by the imaging unit;
Detecting the angular velocity of panning or tilting of the imaging device, and detecting the motion vector in the second control,
In the second control, a photometric calculation is performed by the calculation unit using the image data obtained by the imaging unit, and the image data obtained by the imaging unit under the same conditions as the image data used for the photometry calculation. Controlling the motion vector by using the control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178929A JP7229709B2 (en) | 2018-09-25 | 2018-09-25 | Imaging device and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178929A JP7229709B2 (en) | 2018-09-25 | 2018-09-25 | Imaging device and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020053756A true JP2020053756A (en) | 2020-04-02 |
JP7229709B2 JP7229709B2 (en) | 2023-02-28 |
Family
ID=69997751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018178929A Active JP7229709B2 (en) | 2018-09-25 | 2018-09-25 | Imaging device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7229709B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008136174A (en) * | 2006-10-24 | 2008-06-12 | Sanyo Electric Co Ltd | Imaging apparatus and imaging control method |
JP2015198439A (en) * | 2014-04-03 | 2015-11-09 | キヤノン株式会社 | Image processing device, control method thereof, imaging apparatus and program |
JP2018137613A (en) * | 2017-02-22 | 2018-08-30 | キヤノン株式会社 | Image processing apparatus, imaging apparatus and control method for image processing apparatus |
JP2020061633A (en) * | 2018-10-09 | 2020-04-16 | キヤノン株式会社 | Imaging apparatus and control method of the same |
-
2018
- 2018-09-25 JP JP2018178929A patent/JP7229709B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008136174A (en) * | 2006-10-24 | 2008-06-12 | Sanyo Electric Co Ltd | Imaging apparatus and imaging control method |
JP2015198439A (en) * | 2014-04-03 | 2015-11-09 | キヤノン株式会社 | Image processing device, control method thereof, imaging apparatus and program |
JP2018137613A (en) * | 2017-02-22 | 2018-08-30 | キヤノン株式会社 | Image processing apparatus, imaging apparatus and control method for image processing apparatus |
JP2020061633A (en) * | 2018-10-09 | 2020-04-16 | キヤノン株式会社 | Imaging apparatus and control method of the same |
Also Published As
Publication number | Publication date |
---|---|
JP7229709B2 (en) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9667856B2 (en) | Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same | |
JP6457776B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5843486B2 (en) | Imaging apparatus and control method thereof | |
JP2018031877A (en) | Image pickup device and focus adjusting method | |
US20120300083A1 (en) | Image pickup apparatus and method for controlling the same | |
CN101373254B (en) | Imaging device, and control method for imaging device | |
US7805068B2 (en) | Imaging apparatus | |
JP2019083364A (en) | Image processing device, imaging device, and control method | |
JP2009010672A (en) | Focus detector and image pickup device | |
JP7224839B2 (en) | Imaging device and its control method | |
JP2014197141A (en) | Imaging apparatus | |
JP7229709B2 (en) | Imaging device and its control method | |
JP2017005495A (en) | Imaging apparatus, method for controlling the same, and program | |
JP2010072283A (en) | Imaging device | |
JP7254555B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
JP2010183353A (en) | Photographing device | |
JP2012063681A (en) | Focus detecting device and camera | |
JP2018180372A (en) | Imaging apparatus and control method thereof | |
JP2018207412A (en) | Control method of imaging apparatus | |
JP5458530B2 (en) | camera | |
JP2018054698A (en) | Optical device, imaging apparatus and control method | |
JP2008252226A (en) | Imaging apparatus | |
JP6833607B2 (en) | Control device, image pickup device, control method, program, and storage medium | |
JP2005142660A (en) | Camera | |
JP2005136654A (en) | Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7229709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |