JP2016024235A - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP2016024235A
JP2016024235A JP2014146300A JP2014146300A JP2016024235A JP 2016024235 A JP2016024235 A JP 2016024235A JP 2014146300 A JP2014146300 A JP 2014146300A JP 2014146300 A JP2014146300 A JP 2014146300A JP 2016024235 A JP2016024235 A JP 2016024235A
Authority
JP
Japan
Prior art keywords
correction
unit
camera shake
shake correction
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014146300A
Other languages
English (en)
Other versions
JP6478504B2 (ja
JP2016024235A5 (ja
Inventor
晋平 宮原
Shinpei Miyahara
晋平 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014146300A priority Critical patent/JP6478504B2/ja
Publication of JP2016024235A publication Critical patent/JP2016024235A/ja
Publication of JP2016024235A5 publication Critical patent/JP2016024235A5/ja
Application granted granted Critical
Publication of JP6478504B2 publication Critical patent/JP6478504B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】光学式手ぶれ補正と電子式手ぶれ補正の併用が可能な撮像装置において、外乱の影響を抑制した良好な補正効果を実現する。【解決手段】装置の動きによる像ぶれを補正するための補正量の高周波成分を光学的に像ぶれを補正するとともに、補正量と、光学的な補正に用いる機械要素の位置との差に基づいて得られる補正量に基づいて電子的に像ぶれを補正する。【選択図】図2

Description

本発明は、撮像装置およびその制御方法に関し、特には手ぶれ補正技術に関する。
撮像装置の振れを検出して、この振れに起因する画像ぶれを補正する手ぶれ補正技術が知られている。手ぶれ補正技術には、装置の振れをキャンセルするように、撮像レンズの一部や撮像素子を移動させる光学式手ぶれ補正と、画像の切り出し位置を移動させる電子式手ぶれ補正とがある。
また、大きな手ぶれに対応できるよう、光学式手ぶれ補正と、電子式手ぶれ補正を併用することも知られている。特許文献1には、角速度センサや加速度センサで検出した像振れ信号を高周波成分と低周波成分に分離し、高周波成分に基づいて光学式手ぶれ補正を、低周波成分に基づいて電子式手ぶれ補正を行う方法が記載されている。
また、特許文献2では、装置の角速度が設定値以下の場合には電子式手ぶれ補正を、一定値以上の場合には光学式手ぶれ補正を選択的に用いて、補正範囲を拡大する方法が記載されている。
特開2010−4370号公報 特許第2803072号公報(段落0057〜0060)
光学式手ぶれ補正は常時実行可能であるのに対し、電子式手ぶれ補正は、画像の切り出しによるぶれ補正のため、露光中の手ぶれ補正ができない。そのため、特許文献1の方法では、動画撮影中の静止画撮影における露光中は光学式手ぶれ補正しか利用できず、手ぶれの高周波成分しか補正できない。また、上述した外力に起因する課題も存在する。
また、特許文献2の方法では、電子式手ぶれ補正と光学式手ぶれ補正とが切り替わる境界において、光学式手ぶれ補正の駆動がオーバーシュートして画像が乱れるといった課題がある。
本発明はこのような従来技術の課題に鑑みなされたものであり、光学式手ぶれ補正と電子式手ぶれ補正の併用が可能な撮像装置およびその制御方法において、外乱の影響を抑制した良好な補正効果を実現することを目的とする。
上述の目的は、装置の動きによる像ぶれを補正するための第1の補正量を算出する第1の算出手段と、第1の補正量のうち予め定められた高周波成分に基づいて機械要素を駆動することにより、光学的に像ぶれを補正する第1の補正手段と、第1の補正量と機械要素の位置との差に基づいて得られる第2の補正量に基づいて画像の切り出し位置を変更することにより、電子的に像ぶれを補正する第2の補正手段と、を有することを特徴とする撮像装置によって達成される。
本発明によれば、光学式手ぶれ補正と電子式手ぶれ補正の併用が可能な撮像装置およびその制御方法において、外乱の影響を抑制した良好な補正効果を実現することができる。
実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 第1の実施形態における手ぶれ補正動作を説明するためのブロック図 第2の実施形態における手ぶれ補正動作を説明するためのブロック図 実施形態における光学的手ぶれ補正で制御する機械要素をモデル化した模式図 第3の実施形態における外乱オブザーバの動作を説明するための図 第3の実施形態における手ぶれ補正動作を説明するためのブロック図
以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。なお、以下では、本発明の実施形態に係る撮像装置の一例としてのデジタルカメラについて説明する。しかし、本発明はデジタルカメラのように撮影機能を主とする装置に限らず、光学式手ぶれ補正および電子式手ぶれ補正の両方を利用可能な撮像装置を有する任意の機器に適用可能である。このような機器の一部を例示すれば、携帯電話機(スマートフォン含む)、ゲーム機、パーソナルコンピュータ、タブレット端末、カーナビゲーションシステム、ドライブレコーダ、ロボットなどがある。
図1は本発明の実施形態に係るデジタルカメラ100の機能構成例を示すブロック図である。デジタルカメラ100は、静止画像と動画像の撮影、記録が可能であり、光学式手ぶれ補正および電子式手ぶれ補正の両方を利用可能である。なお、本実施形態では光学式手ぶれ補正で駆動する機械部品が手ぶれ補正レンズ(シフトレンズまたはチルトレンズ)であるものとするが、撮像素子(もしくはレンズと撮像素子とを保持するモジュール)を駆動してもよい。
図1において、撮像光学系120は、ズームユニット101、絞り・シャッタユニット103、手ぶれ補正ユニット105、およびフォーカスユニット107を有し、撮像部109が有する撮像素子の結像面に光学像を形成する。ズームユニット101は撮像光学系の焦点距離(画角)を変化させるための、光軸方向に移動可能なレンズ群である。絞り・シャッタユニット103は、絞り機能を有するメカニカルシャッタである。手ぶれ補正ユニット105は、像ぶれを光学的に補正するための、光路中で移動可能な機械要素を有する。機械要素は例えば、光軸に対して直交する方向もしくは光軸に対して傾く方向に移動可能な手ぶれ補正用レンズや撮像素子であってよい。フォーカスユニット107は、撮像光学系120が合焦する距離を調整するための、光軸方向に移動可能なフォーカスレンズを有する。なお、撮像光学系120には、図示していない固定レンズが含まれていてもよい。
ズームユニット101、絞り・シャッタユニット103、手ぶれ補正ユニット105、およびフォーカスユニット107は、それぞれ機械的な可動部材を有している。これらの可動部材は、ズーム駆動制御部102、絞り・シャッタ駆動制御部104、手ぶれ補正制御部106、フォーカス駆動制御部108が、システム制御部119の制御に従って駆動する。
撮像部109は複数の画素が配列された撮像素子を有し、撮像光学系120が結像する被写体像を画素ごとに電気信号に変換する。撮像信号処理部110は、撮像部109から出力された電気信号に対してA/D変換、ホワイトバランス調整、色補間などの処理を適用して画像信号に変換処理する。撮像信号処理部110はさらに、手ぶれ補正ユニット105の駆動量に応じてシステム制御部119が算出する電子式手ぶれ補正量に基づいて画像信号の切り出し位置を変更することにより、電子式手ぶれ補正機能を実現する。
画像信号処理部111は、撮像信号処理部110から出力された画像信号を用途に応じて加工する。画像信号処理部111は例えば画像信号を表示解像度に合わせてリサイズしたり、記録用に符号化したりする。
表示部112は、画像信号処理部111から出力された表示用の画像信号をシステム制御部119の制御に基づいて表示する。電源部113は、動作モードやユーザ指示に応じて、デジタルカメラ100の機能ブロックのうち必要なものに電源を供給する。外部入出力端子部114は、信号やデータなどを通信するために外部装置を接続するためのコネクタおよびインターフェース群である。なお、外部装置と無線通信を行う場合、外部入出力端子部114はアンテナを有してよい。
操作部115はユーザがデジタルカメラ100に指示や設定などを入力するために用いる入力デバイス群である。代表的にはボタン、スイッチ、タッチパネルなどであるが、音声や視線などを利用するものであってもよい。本実施形態では、手ぶれ補正機能のON/OFFをユーザが指示するための防振スイッチと、静止画の撮影準備開始および撮影開始を指示するためのレリーズボタンと、動画の撮影開始および停止を指示するための動画記録ボタンとが操作部115に含まれている。レリーズボタンは半押しでオンする第1スイッチSW1と、全押しでオンする第2スイッチSW2とを有し、第1スイッチSW1のオンが撮影準備開始を、第2スイッチSW2のオンが撮影開始をそれぞれシステム制御部119に指示する。動画記録スイッチは、動画記録されていない状態で押下されると動画撮影の開始を、動画記録中に押下されると記録停止(終了)を、それぞれシステム制御部119に指示する。なお、動画記録中にレリーズボタンが操作された場合には、動画記録中の静止画撮影が実行される。
また、本実施形態のデジタルカメラ100は、撮影モードと再生モードを含む複数の動作モードを有し、操作部115を通じて動作モードを指定することができる。なお、再生モードが指定された場合にシステム制御部119は手ぶれ補正機能をOFFにする。
また操作部115には、撮像光学系120はの焦点距離(画角)を変更するためのズームスイッチが含まれ、システム制御部119は、ズーム駆動制御部102を通じて、ズームスイッチの操作方向に応じた方向にズームユニット101を駆動する。
記憶部116は例えば着脱可能な半導体メモリカードであり、デジタルカメラ100で撮影した静止画、動画(音声を含む)などを記憶する。なお、記憶部116は不揮発性メモリ以外の記憶装置を用いてもよいし、デジタルカメラ100に固定された記憶装置を含んでもよい。
角速度検出部117は角速度センサを有し、角速度センサの出力に基づいてデジタルカメラ100の動き(手ぶれ量)を検出する。加速度検出部118は加速度センサを有し、加速度センサの出力に基づいてデジタルカメラ100に加わる加速度を検出する。システム制御部119はCPUやMPUなどのプログラマブルプロセッサの1つ以上と、ROM、RAMを有し、ROMに記憶されたプログラムをRAMに展開して実行することによりデジタルカメラ100の機能ブロックの動作を制御する。
次に、デジタルカメラ100の動作について説明する。
操作部115の防振スイッチにより手ぶれ補正機能のONが指示されると、システム制御部119は手ぶれ補正制御部106に防振動作を指示し、これを受けた手ぶれ補正制御部106が防振OFFの指示がなされるまで防振動作を行う。また、操作部115には、光学式手ぶれ補正のみで防振するモードと、光学式手ぶれ補正と電子式手ぶれ補正の併用で防振するモードを選択できる手ぶれ補正モードスイッチが含まれる。光学式手ぶれ補正のみのモードの場合、撮像部109の読み出し位置は一定となり、その分読み出し範囲を広げることで、広角撮影に対応できる。一方、光学式手ぶれ補正と電子式手ぶれ補正の併用で防振するモードを選択した場合、撮像部109の切り出し範囲が狭まる代わりに、読み出し位置を手ぶれ補正量に応じて変更することで、より大きな手ぶれに対応できる。
操作部115のレリーズボタンの第1スイッチSW1がオンすると、システム制御部119は、静止画の撮影準備動作を開始する。具体的には、システム制御部119が、AF枠などの焦点検出領域内の被写体に撮像光学系120が合焦するよう、フォーカス駆動制御部108を通じてフォーカスユニット107を移動させる。この自動焦点検出動作は、いわゆるライブビュー表示に用いられる画像データに基づいて、像面位相差検出方式やコントラスト検出方式など、公知の方法を用いて行うことができる。また、撮像素子の他に設けた位相差検出センサの出力に基づく位相差検出方式を用いてもよい。また、システム制御部119は、やはり公知の方法を用いた自動露出制御を実行し、適正露出を得るための撮影条件(絞り値、シャッタ速度、撮影感度など)を決定する。システム制御部119はこの時点で、決定した絞り値となるように絞り・シャッタ駆動制御部104を通じて絞り・シャッタユニット103を駆動してもよい。
そして、第2スイッチSW2がオンになると、システム制御部119は静止画撮影動作を開始する。システム制御部119は、決定した撮影条件に基づき、絞り・シャッタ駆動制御部104を通じて絞り・シャッタユニット103を駆動する。また、システム制御部119は、撮像部109が生成した画像信号を、撮像信号処理部110および画像信号処理部111で処理させて記録用画像信号を取得する。システム制御部119は、記録用が像信号を予め定められたファイル形式で記憶部116に記憶する。
なお、動画記録スイッチが押下された場合には、所定のフレームレートでの動画撮影並びに記録を開始する。各フレームの撮影、記録動作は符号化形式などを除き、基本的に静止画撮影時と同様である。なお、動画撮影時に行われるAF動作についても、公知のTV−AF方式などを用いて実施すればよい。
図2は、デジタルカメラ100の手ぶれ補正機能に関する機能構成をより詳細に示したブロック図である。なお、ピッチ(チルト)方向およびヨー(パン)方向のデータについて同じ動作を行うため、1方向に関してのみ説明する。また、図2においてシステム制御部119が有する機能ブロックは、システム制御部119が有するプログラマブルプロセッサがソフトウェアを実行することで実現されても、少なくとも一部がASICやPLDのようなハードウェアで実現されてもよい。
角速度検出部117は、角速度センサとして例えばジャイロを用い、角速度を電圧として出力する。システム制御部119のAD変換部201は、角速度検出部117が出力する電圧を所定のサンプリングレートでデジタルデータに変換する。
第1のぶれ補正量演算部202は、AD変換部201が出力する角速度データから、像ぶれを補正するための補正量(第1の補正量)を算出する。具体的には、光学的手ぶれ補正量演算部202は、角速度データにハイパスフィルタを適用してオフセット成分を除去した後に積分して角度データに変換し、敏感度と呼ばれる係数を乗ずることで角度データをぶれ補正量に変換する。
ローパスフィルタ(LPF)203は第1のぶれ補正量演算部202の出力するぶれ補正量の低周波成分のみを通過させる。LPF203の遮断周波数は可変であってよく、光学式手ぶれ補正に用いる機械要素(シフトレンズ)の可動範囲と、予め測定されたぶれの周波数成分と振幅との関係に応じて定めることができる。減算器211はローパスフィルタ203の出力をぶれ補正量から減じ、手ぶれ補正量の高周波成分を出力する。LPF203および減算器211は、手ぶれ補正量の高周波成分を抽出するフィルタ手段を構成する。
PID制御部204は、手ぶれ補正量の高周波成分と手ぶれ補正ユニット(手ぶれ補正レンズ)105の位置を入力として、公知のPID制御により手ぶれ補正量を生成する。そして、PID制御部204は、手ぶれ補正量を光学式手ぶれ補正制御部106に供給し、駆動部205を通じて手ぶれ補正レンズの位置を制御する。具体的には、PID制御部204は、駆動部205に与えた補正量によって実現されるべき補正レンズ位置と、AD変換部207から入力される補正レンズの位置との差を偏差としたPID制御を行う。また、駆動部205は手ぶれ補正量を、手ぶれ補正ユニット105を駆動する例えばアクチュエータを動作させる電流に変換する。PID制御部204および駆動部205は第1の補正手段を構成する。
光学式手ぶれ補正制御部106が有する駆動部205は、PID制御部204の出力する手ぶれ補正量を電圧に変換し、手ぶれ補正ユニット105を駆動するための電流を供給する。位置検出部206は、手ぶれ補正ユニット105に含まれる手ぶれ補正レンズの位置を検出し、位置に応じた値を有するアナログ電圧信号(位置検出信号)として出力する。システム制御部119のAD変換部207は、手ぶれ補正レンズの位置を表すアナログ電圧をデジタルデータに変換し、PID制御部204に出力する。
このように、本実施形態では、検出した手ぶれ量の高周波成分に基づいて光学式手ぶれ補正を行う。なお、ローパスフィルタ203の遮断周波数は変更してもよい。例えば、光学式手ぶれ補正で駆動するレンズ等の可動範囲が変更された場合には、可動範囲が狭いほど遮断周波数を上げ、より小さい範囲の補正に特化するようにしてもよい。また、動画撮影時における1フレーム当たりの露光時間が変更された場合には、露光時間が長いほど光学式手ぶれ補正が必要となるため、ローパスフィルタ203の遮断周波数を下げるようにしてもよい。これは、上述の通り、露光中に発生する手ぶれは電子式手ぶれ補正では補正できないためである。
また、レリーズボタンが押下されて静止画撮影を行う場合(動画記録中の静止画撮影時を含む)、静止画露光中は電子式手ぶれ補正が実施できず、高周波成分のみの手ぶれ補正しかできない。そこで、システム制御部119は、静止画露光中のみ、減算器211の出力ではなく第1のぶれ補正量演算部202の出力を直接PID制御部204に供給する。あるいは、PID制御部204は、静止画露光中には減算器211の出力ではなく第1のぶれ補正量演算部202の出力を用いて補正量を生成する。これにより、検出された手ぶれの全周波数成分を光学式手ぶれ補正機能を用いて補正するための補正量が生成され、静止画露光中の手ぶれ補正能力を向上させることができる。
引き続き図2を参照して、電子式手ぶれ補正機能の動作について説明する。第1のぶれ補正量演算部202の出力するぶれ補正量は、減算器212にも入力される。減算器212は、第1のぶれ補正量演算部202の出力するぶれ補正量から、位置検出部206が出力する手ぶれ補正レンズの位置を減算する。第2のぶれ補正量演算部208は、減算器212の出力する、光学式手ぶれ補正機能によって補正されていない低周波成分のぶれ補正量(ぶれ残り量)に係数を乗じて、電子式手ぶれ補正に使用する画像切り出し位置の補正量(第2の補正量)に変換する。撮像信号処理部110において、画像処理部210は、撮像部109が出力するアナログ画像信号に対し、A/D変換、ホワイトバランス調整、色補間などの処理を適用してデジタル画像信号に変換処理する。電子式手ぶれ補正部209は、第2のぶれ補正量演算部208から供給される補正量に基づいた位置でデジタル画像信号を切り出し、画像信号処理部111に出力する。第2のぶれ補正量演算部208および電子式手ぶれ補正部209は第2の補正手段を構成する。
本実施形態によれば、検出された撮像装置のぶれを光学式手ぶれ補正機能で補正するための補正量の高周波成分を光学的手ぶれ補正機能により補正し、補正量と光学的手ぶれ補正に用いる機械要素の位置との差を電子式手ぶれ補正機能とを用いて補正する。検出されたぶれを高周波成分と低周波成分に分離し、光学式手ぶれ補正機能と電子式手ぶれ補正機能で独立して補正する構成の場合、光学式手ぶれ補正に用いる機械要素の駆動の応答遅れや外乱による位置の誤差が補正されずに残ってしまう。しかし、本実施形態の構成によれば、光学的手ぶれ補正でぶれで補正しきれなかった周波数成分を電子的手ぶれ補正で補正する構成としたため、外乱や応答遅れの影響を電子的手ぶれ補正でカバーすることができ、補正能力の向上が実現できる。
●(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態においても、光学式手ぶれ補正機能に用いる機械要素の駆動における応答遅れや外乱による位置制御の精度低下を抑制できた。しかし、歩いたり走ったりしながら撮影した場合に生じるような大きな外乱に起因する精度低下を電子式手ぶれ補正でカバーするのは困難であり、像ぶれが補正しきれないことがある。なお、外乱とは制御を乱す外的な作用であり、本実施形態の光学式手ぶれ補正に対する外乱は、駆動部205が駆動する機械要素(手ぶれ補正レンズなど)の位置を乱すような外力である。
本実施形態では、外乱に対する光学式手ぶれ補正の耐性を強化することで、大きな外乱が加わった際の補正精度の低下を抑制するための構成を提供する。図3は、本実施形態に係るデジタルカメラの、手ぶれ補正機能に関する機能構成を示したブロック図であり、図2と同じ構成要素には同じ参照数字を付してある。
本実施形態では外乱の検知を加速度検出部118を用いて行う。デジタルカメラに加わる外乱(外力)には様々あるが、歩き撮りや走り撮りした際には大きな加速度外乱が発生する。この外乱は手ぶれ補正ユニット105(手ぶれ補正レンズ)を移動させ、像揺れとして記録されてしまう。本発明では光学式手ぶれ補正機能で補正しきれなかったぶれ成分は電子式手ぶれ補正機能で補正する構成であるが、電子式手ぶれ補正は画像の切り出し位置を変更することでぶれを補正するため、画像の1フレーム期間内に発生する高周波のぶれは補正できない。また、外乱補償は制御対象を数理モデル化して計算された外乱推力に基づいて行われるが、一般的に実制御対象は非線形要素を含むため、簡易的に線形化された数理モデルに基づく外乱推力を用いて完全に補償することはできない。
そのため、本実施形態では電子式手ぶれ補正による外乱補償と光学式手ぶれ補正による外乱補償とを並列に実施することで、補償効果を高めるものである。図4は、手ぶれ補正ユニット105が有する制御対象の機械要素(手ぶれ補正レンズ)を2次系のバネマスダンパモデルで模式的に表した図である。レンズ可動部の重量をM [kg]、バネ定数をk [N/m]、減衰係数をD [N・s/m]、レンズ駆動変位量をx(t) [m]、レンズに加わる力をu(t) [N]とすると、運動方程式より以下の式が成り立つ。
Figure 2016024235
この式をラプラス変換し、制御対象を伝達関数H(s)で表現すると以下のようになる。ただしH(s)は制御対象である手ぶれ補正ユニット105の数理モデルの伝達関数とする。
Figure 2016024235
これにより、手ぶれ補正レンズは2次系の制御対象として近似することができる。ここでのレンズに加わる力u(t)は、駆動部205から出力されるレンズ駆動指令信号(駆動電流)によってアクチュエータ等に印加される駆動力r(t) [N]と、加速度外乱などによる外力d [N]の合成であり、以下の式で表される。
u(t)=r(t)+d(t)
d(t)を加速度外乱に限定すれば、デジタルカメラ100の加速度が検知できれば補償することができる。従って、加速度検出部118を用いて、デジタルカメラ100の加速度を検出する。AD変換部311は加速度検出部118が検出した、アナログ信号で表される加速度をデジタルデータに変換する。
外乱推力変換部312は検出した加速度を、デジタルカメラ100(手ぶれ補正ユニット105)に加わる外乱推力に変換する。バンドパスフィルタ(BPF)313は、歩き撮りや走り撮りの際に発生する外乱の所定の周波数成分を通過させる特性を有する。BPF313の出力は増幅器314に入力され、外乱補償ゲイン(増幅率)が適用される。外乱補償ゲインは、外乱補償によって過補正が生じないよう、外乱振幅の大きさなど、撮影時の状態に応じて動的に変更してもよい。
歩き撮りや走り撮りを想定した外乱補償を行う場合、撮像光学系120の画角が所定の第1の画角より大きい場合(広角側)では外乱補償ゲインを基準値より大きくし、第2の画角より小さい場合(望遠側)では外乱補償ゲインを基準値より小さくしてもよい。また、デジタルカメラ100の手ぶれ補正モードとして、撮影画角を狭くする代わりに電子式手ぶれ補正の補正範囲を広げるモードが設定されていれば、外乱補償ゲインを基準値よりも大きくしてもよい。最終的に外乱補償ゲインを適用して求めた外乱推力を、減算器315においてPID制御部204の出力から差し引くことで、外乱を補償した補正値(第3の補正値)を算出する。これにより、光学式手ぶれ補正が外乱によって受ける影響を補償し、外乱による光学式手ぶれ補正能力の低下を抑制できる。そのため、光学式手ぶれ補正で補正しきれないぶれ成分を電子式手ぶれ補正で補正することが可能になり、全体的な手ぶれ補正能力を向上させることができる。本実施形態において、外乱推力変換部312、BPF313、増幅器314、および減算器315は第2の算出手段を構成する。
なお、静止画撮影の場合の動作は第1の実施形態と同様であってよいが、BPF313の位相遅れや位相進みを補償するため、静止画撮影用の露光中のみBPF313の遮断周波数を変更する。また、静止画露光中は電子式手ぶれ補正が使用できないため、動画撮影中には過補正を防止するために外乱補償ゲインを小さくしていた場合であっても、静止画露光開始とともに露光期間中のみ大きい値に変更する。
このように、本実施形態によれば、第1の実施形態の効果に加え、歩きながら、もしくは走りながら撮影がなされた場合のように大きな外乱が加わる場合においても、良好な手ぶれ補正を実現することができる。
●(第3の実施形態)
第2の実施形態においては、加速度検出部118(加速度センサ)を用いて外乱を測定し、外乱補償を行っていた。本実施形態では、加速度検出部118を用いずに外乱補償を実現する構成を提供する。
具体的には、制御対象の数理モデルの逆モデルを用いた外乱オブザーバを用いて推定した加速度を、第2の実施形態における加速度検出部の出力と同様に用いて、外乱補償を行う。
まず、図5を用いて、一般的な外乱オブザーバについて説明する。図5における値は以下の通りである。
・r :制御対象501への入力(外乱を受ける前)。
・x :制御対象501の出力。
・G(s) :制御対象501の伝達関数。
・d :制御対象501に加わる外乱。
・H(s) :理論的に求めた制御対象501の伝達関数。
・e :推定外乱。
一般的に制御対象が機械的構造をもつ場合、制御対象の伝達関数G(s)は非線形成分を有するので、理論的に求めた伝達関数H(s)をG(s)と一致させることは難しい。このため、G(s)≒H(s)ではあるが、厳密にはG(s)≠H(s)である。制御対象501への入力は、制御部からの入力rと外乱dが加算器503で加算されたものである。制御対象501では、この加算結果に従った出力xが得られる。その出力xを、理論的に求めた制御対象501の伝達関数H(s)の逆モデル502(1/H(s))に入力することによって、制御対象501に実際の入力信号の推定信号が得られる。
前述の通り、G(s)≒H(s)であるため、得られる推定信号は実際の入力信号と厳密には一致しないが、外乱の推定には有用である。推定入力信号は、制御部からの入力rと外乱dとの和の推定信号であるため、実際の制御部からの入力信号rを減算器505で減算することで、外乱dの推定信号が得られる。推定された外乱eを、制御部からの入力rが制御対象501に入力される前に減算器504で減算することで、実際の外乱dを補償することができる。図5において、外乱オブザーバは、伝達関数「1/H(s)」を有する逆モデル502および減算器505から構成される。外乱オブザーバの推定精度は、制御対象501の逆モデル502の伝達関数H(s)が制御対象の伝達関数G(s)をどれだけ精度良く近似できるかに大きくに依存する。
図6は、本実施形態に係るデジタルカメラの、手ぶれ補正機能に関する機能構成を示したブロック図であり、図2と同じ構成要素には同じ参照数字を付してある。図6は、図2の構成に対し、外乱オブザーバを追加して外乱補償を実現するものである。
駆動部205から出力される駆動信号(電流)によって、手ぶれ補正ユニット105が駆動される。この時、外乱(主に加速度外乱)が、デジタルカメラ100に加わると、制御対象である手ぶれ補正ユニット105の動きに外乱が加わる。制御信号による動きと外乱による動きが加算された手ぶれ補正ユニット105の動きは、位置検出部206により検出される。位置検出部206が出力する位置検出信号は、AD変換部207がデジタルデータに変換し、外乱オブザーバ611、PID制御部204に出力される。
外乱オブザーバ611は、図5を用いて説明したように、AD変換された位置検出信号(外乱を反映した手ぶれ補正レンズの位置)と、手ぶれ補正レンズの位置制御に用いられた、推定外乱を除去した補正値とから、外乱(加速度)を推定する。推定した外乱は、図3の外乱推力変換部312の出力と同様に、バンドパスフィルタ313および増幅器314を通じて減算器315に入力され、PID制御部204の出力する補正値から減算されて外乱が補償される。本実施形態では、外乱オブザーバ611、BPF313、増幅器314、および減算器315が第2の算出手段を構成する。
なお、本実施形態では簡易的に確定システムにより外乱オブザーバによる補償を記述したが、観測ノイズを考慮した最適制御によるカルマンフィルタを用いて外乱を推定してもよい。
本実施形態によれば、加速度センサを有さない構成であっても、外乱を考慮した手ぶれ補正処理が可能であり、大きな外乱が加わった場合について、第1の実施形態よりも良好な補正効果が実現できる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
105…補正レンズユニット,106…防振制御部,109…撮像部,110…撮像信号処理部,113…電源部,112…表示部,115…操作部,117…角速度検出部,118…加速度検出部,119…システム制御部

Claims (14)

  1. 装置の動きによる像ぶれを補正するための第1の補正量を算出する第1の算出手段と、
    前記第1の補正量のうち予め定められた高周波成分に基づいて機械要素を駆動することにより、光学的に像ぶれを補正する第1の補正手段と、
    前記第1の補正量と前記機械要素の位置との差に基づいて得られる第2の補正量に基づいて画像の切り出し位置を変更することにより、電子的に像ぶれを補正する第2の補正手段と、
    を有することを特徴とする撮像装置。
  2. 前記第1の補正値の前記高周波成分を、前記撮像装置に加わる外乱に応じて補正した第3の補正値を算出する第2の算出手段、をさらに有し、
    前記第1の補正手段は、前記第3の補正値に基づいて前記機械要素を駆動することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像装置の加速度を検出する検出手段をさらに有し、
    前記第2の算出手段は、前記加速度に基づいて前記第1の補正値の前記高周波成分を補正し、前記第3の補正値を算出することを特徴とする請求項2に記載の撮像装置。
  4. 前記第2の算出手段は、前記第3の補正値と前記機械要素の位置とから推定される加速度に基づいて前記第1の補正値の前記高周波成分を補正し、前記第3の補正値を算出することを特徴とする請求項2に記載の撮像装置。
  5. 前記第2の算出手段が、
    前記加速度を外乱推力に変換する変換手段と、
    前記外乱推力にゲインを適用する増幅手段と、を有し、
    前記ゲインを適用した前記外乱推力を用いて前記第1の補正値の前記高周波成分を補正して前記第3の補正値を出力することを特徴とする請求項3または4に記載の撮像装置。
  6. 前記第2の算出手段は、前記撮像装置の撮像光学系の画角が所定の第1の画角より大きい場合には前記ゲインを基準値より大きくし、前記第1の画角より小さい第2の画角より小さい場合には前記ゲインを前記基準値より小さくすることを特徴とする請求項5に記載の撮像装置。
  7. 前記第2の算出手段は、前記第2の補正手段の補正範囲を広げる設定がされている場合には、前記ゲインを前記基準値より大きくすることを特徴とする請求項5または6に記載の撮像装置。
  8. 前記第2の算出手段は、動画撮影中に前記ゲインが前記基準値より小さくされていても、静止画露光中は前記ゲインを前記基準値よりも大きくすることを特徴とする請求項5から7のいずれか1項に記載の撮像装置。
  9. 前記第1の算出手段が出力する前記第1の補正値の低周波成分を除去することにより前記高周波成分を抽出し、前記第1の補正手段に供給するフィルタ手段をさらに有することを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記撮像装置が静止画露光中の場合、
    前記第1の補正手段は、前記フィルタ手段を介さない第1の補正量に基づいて、前記機械要素を駆動し、
    前記第2の補正手段は前記像ぶれの補正を行わない、
    ことを特徴とする請求項9に記載の撮像装置。
  11. 前記機械要素の可動範囲が狭いほど前記フィルタ手段の遮断周波数を上げることを特徴とする請求項9または10に記載の撮像装置。
  12. 前記撮像装置の動画撮影時における1フレームの露光時間が長いほど前記フィルタ手段の遮断周波数を下げることを特徴とする請求項9から11のいずれか1項に記載の撮像装置。
  13. 前記機械要素がレンズおよび撮像素子の少なくとも一方を含むことを特徴とする請求項1から12のいずれか1項に記載の撮像装置。
  14. 撮像装置の第1の算出手段が、装置の動きによる像ぶれを補正するための第1の補正量を算出する第1の算出工程と、
    前記撮像装置の第1の補正手段が、前記第1の補正量のうち予め定められた高周波成分に基づいて機械要素を駆動することにより、光学的に像ぶれを補正する第1の補正工程と、
    撮像装置の第2の補正手段が、前記第1の補正量と前記機械要素の位置との差に基づいて得られる第2の補正量に基づいて画像の切り出し位置を変更することにより、電子的に像ぶれを補正する第2の補正工程と、
    を有することを特徴とする撮像装置の制御方法。
JP2014146300A 2014-07-16 2014-07-16 撮像装置およびその制御方法 Expired - Fee Related JP6478504B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014146300A JP6478504B2 (ja) 2014-07-16 2014-07-16 撮像装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014146300A JP6478504B2 (ja) 2014-07-16 2014-07-16 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2016024235A true JP2016024235A (ja) 2016-02-08
JP2016024235A5 JP2016024235A5 (ja) 2017-08-31
JP6478504B2 JP6478504B2 (ja) 2019-03-06

Family

ID=55271047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014146300A Expired - Fee Related JP6478504B2 (ja) 2014-07-16 2014-07-16 撮像装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP6478504B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224204A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 ブレ補正装置、光学機器、撮像装置、ブレ補正方法
EP3244607A1 (en) * 2016-05-11 2017-11-15 HTC Corporation Camera device, method for camera device, and non-transitory computer readable storage medium
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2018124706A1 (ko) * 2016-12-30 2018-07-05 삼성전자 주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2020111267A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
WO2020111266A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
WO2020171015A1 (ja) * 2019-02-20 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US11228711B2 (en) 2018-11-29 2022-01-18 Fujifilm Corporation Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
WO2022206589A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种图像处理方法以及相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177418A (ja) * 1993-12-20 1995-07-14 Canon Inc 画像振れ防止装置
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
JP2006074402A (ja) * 2004-09-01 2006-03-16 Sony Corp 撮像装置
JP2010004370A (ja) * 2008-06-20 2010-01-07 Sony Corp 撮像装置、及び像振れ補正方法並びにプログラム
US20100128133A1 (en) * 2008-11-26 2010-05-27 Samsung Digital Imaging Co., Ltd. Digital camera for coordinating focusing with compensation of camera shake
JP2011145604A (ja) * 2010-01-18 2011-07-28 Victor Co Of Japan Ltd 撮像装置および画像振れ補正方法
JP2012015999A (ja) * 2010-06-04 2012-01-19 Panasonic Corp 撮像装置、画像生成方法およびコンピュータプログラム
JP2013015639A (ja) * 2011-07-01 2013-01-24 Canon Inc 防振制御装置、光学機器、撮像装置、および防振制御方法
JP2013218111A (ja) * 2012-04-09 2013-10-24 Canon Inc 像ブレ補正装置、光学機器、撮像装置、および像ブレ補正装置の制御方法
JP2014010328A (ja) * 2012-06-29 2014-01-20 Canon Inc 撮像装置、光学機器、撮像システムおよび制御方法
JP2014085451A (ja) * 2012-10-22 2014-05-12 Canon Inc 撮像装置及びその制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
JPH07177418A (ja) * 1993-12-20 1995-07-14 Canon Inc 画像振れ防止装置
JP2006074402A (ja) * 2004-09-01 2006-03-16 Sony Corp 撮像装置
JP2010004370A (ja) * 2008-06-20 2010-01-07 Sony Corp 撮像装置、及び像振れ補正方法並びにプログラム
US20100128133A1 (en) * 2008-11-26 2010-05-27 Samsung Digital Imaging Co., Ltd. Digital camera for coordinating focusing with compensation of camera shake
JP2011145604A (ja) * 2010-01-18 2011-07-28 Victor Co Of Japan Ltd 撮像装置および画像振れ補正方法
JP2012015999A (ja) * 2010-06-04 2012-01-19 Panasonic Corp 撮像装置、画像生成方法およびコンピュータプログラム
JP2013015639A (ja) * 2011-07-01 2013-01-24 Canon Inc 防振制御装置、光学機器、撮像装置、および防振制御方法
JP2013218111A (ja) * 2012-04-09 2013-10-24 Canon Inc 像ブレ補正装置、光学機器、撮像装置、および像ブレ補正装置の制御方法
JP2014010328A (ja) * 2012-06-29 2014-01-20 Canon Inc 撮像装置、光学機器、撮像システムおよび制御方法
JP2014085451A (ja) * 2012-10-22 2014-05-12 Canon Inc 撮像装置及びその制御方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224204A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 ブレ補正装置、光学機器、撮像装置、ブレ補正方法
EP3244607A1 (en) * 2016-05-11 2017-11-15 HTC Corporation Camera device, method for camera device, and non-transitory computer readable storage medium
CN107370937A (zh) * 2016-05-11 2017-11-21 宏达国际电子股份有限公司 摄影装置及其操作方法、非挥发性计算机可读取记录媒体
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JPWO2018025659A1 (ja) * 2016-08-05 2019-05-30 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP7166920B2 (ja) 2016-08-05 2022-11-08 ソニーグループ株式会社 撮像装置、固体撮像素子、カメラモジュール、および撮像方法
US10868961B2 (en) 2016-08-05 2020-12-15 Sony Corporation Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method
US10863091B2 (en) 2016-12-30 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for correcting influence of movements of electronic device on image
WO2018124706A1 (ko) * 2016-12-30 2018-07-05 삼성전자 주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
US11445114B2 (en) 2018-02-05 2022-09-13 Sony Semiconductor Solutions Corporation Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
WO2020111266A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
JPWO2020111267A1 (ja) * 2018-11-29 2021-10-14 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
JPWO2020111266A1 (ja) * 2018-11-29 2021-10-14 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
US11758270B2 (en) 2018-11-29 2023-09-12 Fujifilm Corporation Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
US11202009B2 (en) 2018-11-29 2021-12-14 Fujifilm Corporation Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus
US11212448B2 (en) 2018-11-29 2021-12-28 Fujifilm Corporation Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus
US11228711B2 (en) 2018-11-29 2022-01-18 Fujifilm Corporation Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
WO2020111267A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
US11528418B2 (en) 2018-11-29 2022-12-13 Fujifilm Corporation Shake correction control device, imaging apparatus, shake correction method of imaging apparatus, and program
JPWO2020171015A1 (ja) * 2019-02-20 2021-12-09 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP7152588B2 (ja) 2019-02-20 2022-10-12 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US11503210B2 (en) 2019-02-20 2022-11-15 Fujifilm Corporation Blur correction device, imaging apparatus, monitoring system, and program
WO2020171015A1 (ja) * 2019-02-20 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US11889191B2 (en) 2019-02-20 2024-01-30 Fujifilm Corporation Blur correction device, imaging apparatus, monitoring system, and program
WO2022206589A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种图像处理方法以及相关设备

Also Published As

Publication number Publication date
JP6478504B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
JP6478504B2 (ja) 撮像装置およびその制御方法
JP6335058B2 (ja) 撮像装置及び撮像方法
JP6124588B2 (ja) 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6074298B2 (ja) 撮像装置、画像処理装置、及びそれらの制御方法
KR100987590B1 (ko) 손떨림 보정 제어 회로 및 그것을 탑재한 촬상 장치
JP7277513B2 (ja) レンズ装置、レンズ装置の制御方法およびレンズ装置の制御プログラム、
JP6257207B2 (ja) 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置
JP6530602B2 (ja) 撮像装置及びその制御方法
US9626743B2 (en) Image stabilization apparatus, method of controlling the same, image capturing apparatus, lens apparatus, and storage medium
JP6302341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6423658B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5930684B2 (ja) 情報処理装置及び方法、並びにプログラム
JP6108940B2 (ja) 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
JP6429500B2 (ja) 光学機器、交換レンズ及び像ぶれ補正方法
US9811891B2 (en) Image shake correction device, optical apparatus, imaging apparatus, and control method
US20210360159A1 (en) Imaging apparatus
JP2018072540A (ja) 画像処理装置、その画像処理方法および光学機器
JP7236268B2 (ja) 像ブレ補正装置、交換レンズ、カメラ本体、像ブレ補正方法、及びプログラム
JP2015049401A (ja) 撮像装置及びその制御方法
JP2019125890A (ja) 像ブレ補正装置、カメラ本体、像ブレ補正方法、及びプログラム
JP2023005847A (ja) 像ブレ補正制御装置、撮像装置、交換レンズ、及び像ブレ補正制御方法
JP7071204B2 (ja) 撮像システム、レンズ装置、撮像装置、及びその制御方法
JP6759019B2 (ja) ブレ補正装置およびその制御方法、撮像装置
JP2019145956A (ja) 撮像装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R151 Written notification of patent or utility model registration

Ref document number: 6478504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees