JP2018078582A - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents
像ブレ補正装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2018078582A JP2018078582A JP2017230863A JP2017230863A JP2018078582A JP 2018078582 A JP2018078582 A JP 2018078582A JP 2017230863 A JP2017230863 A JP 2017230863A JP 2017230863 A JP2017230863 A JP 2017230863A JP 2018078582 A JP2018078582 A JP 2018078582A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- shake
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
【課題】簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供する。【解決手段】画像を撮像する撮像部と、2つの画像の間の動きベクトルを検出する動きベクトル検出部と、撮像装置の振れを検出する振れ検出部と、2つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの振れ検出部の出力に基づいて、2つの画像の間での撮像装置の振れ量を算出する振れ算出部と、振れ算出部の出力を、画像の像振れ量に変換する像振れ変換部と、動きベクトル検出部の出力と像振れ変換部の出力のうちの少なくとも1つを用いて画像の像振れ量を電子的に補正するための補正量を算出する補正量算出部と、補正量算出部の出力に基づいて画像の像振れを電子的に補正する補正部とを備える。【選択図】図3
Description
本発明は、撮像装置において、画像を変形する方式を用いて、撮像装置の振れに起因する撮像画像の像振れを補正する技術に関するものである。
近年、撮像装置に生じた振れを補正する技術の進歩に伴い、撮影者が静止した状態での手振れによって発生する撮像画像の像振れを補正するだけでなく、撮影者が歩行しながら撮影を行うときに発生する撮像画像の像振れを補正する像振れ補正機能が普及してきている。撮影者が歩行しながら撮影を行う際には、撮像画像の水平垂直方向の像振れだけでなく、撮像画像に対して以下に示すような像振れが生じる。例えば、撮像装置が光軸回りに回転することによって撮像画像が回転する像振れや、撮像装置が被写体に対して傾くことによって撮像画像が台形状に歪む像振れ等である。
このような歩行しながらの撮影において、撮像画像に発生する種々の像振れを補正する方法として、撮像画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が知られている(特許文献1参照)。また、撮像画像の種々の画像変形量を算出する方法として、角速度センサ等のセンサに加えて、撮像画像から得られる動きベクトルを用いて画像変形量を演算する方法が知られている(特許文献2参照)。
特許文献1に記載の技術では、撮像装置に加えられる振れによって撮像画像に生じる変形量を、並進(水平・垂直)、あおり(水平・垂直)、拡大縮小、回転、せん断の各変形成分に分解する。そして、各々についてフィルタリング処理等を行い、射影変換行列(ホモグラフィ行列)を算出している。しかしながら、撮像装置に加えられる振れ成分毎にフィルタリング処理等を行っていたため、演算量が非常に多く処理が複雑であった。
また、特許文献2に記載の技術では、角速度センサ等のセンサを用いて回転に対する補正量を算出し、動きベクトルを用いて並進に対する補正量を算出している。しかしながら、動きベクトルが正しく検出できないような撮影状況下では、並進運動によって生じる像振れの検出の精度が悪化し、結果として映像の品質劣化を招く。例えば、被写体によっては、撮像した画像のコントラストが極端に低くなる場合があり、このようなときには動きベクトルの検出精度が劣化する可能性がある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供することである。
本発明に係わる撮像装置は、画像を撮像する撮像手段と、前記画像のうち2つの画像の間の動きベクトルを検出する動きベクトル検出手段と、振れを検出する振れ検出手段と、前記振れ算出手段の出力を、画像の像振れ量に変換する像振れ変換手段と、前記2つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出手段の出力に基づいて、前記2つの画像を撮影する間での前記撮像装置の振れ量を算出する振れ算出手段と、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力のうちの少なくとも1つを用いて、前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出手段と、前記補正量算出手段の出力に基づいて前記画像の像振れを電子的に補正する補正手段と、を備えることを特徴とする。
本発明によれば、簡単な構成で、良好な像振れ補正効果が得られるようにした撮像装置を提供することが可能となる。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
最初に、本発明の実施形態において使用する言葉の定義について説明する。本発明の実施形態の説明においては、撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられる振れによって発生する撮像画像の変形を「像振れ」とする。本発明の実施形態において「振れ」は、図11(a)及び図11(b)に示すように、YAW、PITCH、ROLL方向の3種類の「角度振れ」と、互いに直交する軸(水平軸、垂直軸、光軸)に平行な方向である、水平、垂直、光軸方向の3種類の「平行振れ」(シフト振れ)の総称を意味する。なお、YAW方向は垂直軸回りの方向である。PITCHは水平軸回りの方向である。ROLL方向は光軸回りの方向である。また、「像振れ」は、図12(a)乃至図12(f)に示すように、並進(水平・垂直)、回転、あおり(水平・垂直)、拡大縮小、せん断の各変形成分の総称を意味する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図1の撮像装置100の各構成部とその一例の動作について具体的に説明する。
図1は、本発明の第1の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図1の撮像装置100の各構成部とその一例の動作について具体的に説明する。
角速度センサ102は、撮像装置100に加わる振れを角速度信号として検出し、その角速度信号をA/D変換器103に供給する。A/D変換器103は、角速度センサ102からの角速度信号をデジタル化して、角速度データとしてμCOM101内部のフレーム間振れ演算部300(像振れ変換部)に供給する。フレーム間振れ演算部300は、順次撮像される動画のフレーム間で撮像装置に加わった角度振れ量を算出し、角度データとして、画像の像振れを電子的に補正する変形量を算出する画像変形量演算部200(補正量算出部)に供給する。フレーム間振れ演算部300の処理の詳細は後述する。
撮像光学系120は、変倍レンズの移動によるズーミングや、フォーカスレンズの移動によるフォーカシング等の動作を行い、被写体像を撮像素子123に結像させる。焦点距離検出手段であるズームエンコーダ119は、撮像光学系120の中の変倍光学系121の位置(ズーム位置)を検出し、μCOM101内部の画像変形量演算部200に出力する。
撮像素子123は、撮像光学系120によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部124に供給する。信号処理部124は、撮像素子123により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して画像メモリ125に供給する。動きベクトル検出部126は、時間的に前後のフレームである2枚の撮像画像、具体的には信号処理部124で生成された現在の映像信号に含まれる輝度信号と、画像メモリ125に格納された1フレーム前の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。動きベクトル検出部126によって検出された動きベクトルデータは、画像変形量演算部200に供給される。
画像変形量演算部200は、上述の角度データ、動きベクトルデータ及びズームエンコーダ119の出力を用いて、撮像画像の像振れを補正するための画像変形量を算出し、画像変形部127に算出した画像変形量を設定する。画像変形量演算部200の処理の詳細は後述する。
画像変形部127は、画像変形量演算部200で算出された画像変形量に基づいて、画像メモリ125に格納された画像を変形することによって撮像画像の像振れを補正し、記録制御部128及び表示制御部130に出力する。表示制御部130は、画像変形部127から供給された映像信号を出力して表示デバイス131に画像を表示させる。表示制御部130は表示デバイス131を駆動し、表示デバイス131は液晶表示素子(LCDやビューファインダー)等により画像を表示する。
また、記録制御部128は、記録開始や終了の指示に用いる操作部(不図示)によって映像信号の記録が指示された場合、画像変形部127から供給された映像信号を記録媒体129に出力し、記録させる。記録媒体129は、半導体メモリ等の情報記録媒体やハードディスクや磁気テープ等の磁気記録媒体である。
次に、画像変形部127で行われる画像変形について、詳細に説明する。
画像変形部127は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像(画像メモリ125に記憶された画像)中の画素座標を(X0,Y0)(ただし、撮像光学系120の光軸に対応した撮像画像の中心を原点とする)とし、変形後の画像(画像変形部127の出力画像)中の画素座標を(X1,Y1)として、同次座標で表現すると、(式1)のように記述することができる。
(式1)の左辺と右辺は同値関係(左辺または右辺に任意の倍率をかけても意味が変わらない)を示し、通常の等号では(式2)、(式3)となる。
また(式1)において、3×3の行列は一般的に射影変換行列と呼ばれ、行列の要素h1〜h8は、画像変形量演算部200が設定する。なお、以下の説明では、画像変形部127の画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。
次に、画像変形量演算部200によって行われる処理の詳細について説明する。画像変形量演算部200では、角速度センサ102の出力から算出される撮像装置の振れ角度と、ズームエンコーダ119から算出される撮像光学系120の焦点距離とを用いて、画像変形部127の画像変形量を算出する。具体的には、(式1)の射影変換行列を算出する。
ここで、振れ角度と撮像光学系120の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。
図2(a)は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図2(a)において、XYZ空間座標の原点(0,0,0)は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図2(a)では仮想的にピンホール位置よりも前に撮像面Iを配置している。
XYZ空間座標の原点(0,0,0)と撮像面IとのZ軸方向の距離は、焦点距離fとなる。撮像面I上の座標は、uv平面座標として定義し、uv平面座標の原点(0,0)は、XYZ空間座標における(0,0,f)と一致しているものとする。uv平面座標上の座標P(u,v)は、XYZ空間座標上の被写体A(X,Y,Z)が、撮像面Iに投影されたときの座標である。このとき、座標Pは(式4)で表すことができる。
(式4)は、同次座標を用いると、(式5)で表すことができる。
(式5)の3×4の行列の4列目の要素は、本実施形態の説明においては0のままとするので、(式5)は(式6)としても同じである。
図2(b)は、図2(a)のピンホールカメラモデルを、R回転(撮像装置に回転振れRが生じ、撮像装置の平行移動である平行振れは生じていない)したときのものである。図2(b)においては、図2(a)のXYZ空間座標をR回転した座標をX’Y’Z’空間座標としている。X’Y’Z’空間座標の原点(0,0,0)は、XYZ空間座標と一致しているものとする。つまり図2(b)は、撮像装置に回転振れRが生じ、撮像装置の平行移動である平行振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。
図2(b)のピンホールカメラモデルにおいて、撮像面I’は、図2(a)と同様、原点(0,0,0)からの距離が焦点距離fの位置に配置されている。撮像面I’上の座標は、u’v’平面座標として定義し、u’v’平面座標の原点(0,0)は、X’Y’Z’空間座標における(0,0,f)と一致しているものとする。u’v’平面座標上の座標P’(u’,v’)は、X’Y’Z’空間座標上の被写体A’(X’,Y’,Z’)が、撮像面I’に投影されたときの座標である。なお、図2(a)の被写体Aと図2(b)の被写体A’の世界座標系での位置は、同じ位置である(すなわち、被写体が移動していない)ものとする。このとき座標P’は、同次座標を用いると、(式6)と同様に(式7)で表すことができる。
また、被写体Aと被写体A’の世界座標系での位置は同じであるため、両者の座標の関係は、(式8)で表すことができる。
更に、(式6)、(式7)を変形して(式8)に代入すると、(式9)を導出することができる。
(式9)は、ピンホールカメラがR回転(撮像装置に回転振れRが生じ、撮像装置の平行移動である平行振れは生じていない)する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にR回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、像振れの補正を行うためには、撮像装置に振れが加わったときの画素移動量を元に戻す変換を行えばよい。すなわち(式10)に従って、撮像装置にR回転の振れが加わったことにより、移動してしまった画素位置を元に戻す変換を行えばよい。
よって、図1の撮像装置100に加わる振れをR、撮像光学系120の焦点距離をfとし、像振れ補正を行うための射影変換行列をHとすると、Hは(式11)となる。
なお、撮像装置に加わった光軸に垂直な平面上の第1の方向回りの振れであるYAW方向の角度振れ量をθy、光軸に垂直な平面上の第1の方向と直交する方向である第2の方向回りの振れであるPITCH方向の角度振れ量をθp、ROLL方向の角度振れ量をθrとすると、Rは(式12)で表すことができる。
(式11)のHは、(式13)を用いることにより、並進t→、拡大縮小s(定数)、回転r(行列)、せん断k(行列)、あおりv→の各変形成分に分解することができる。
ここで、
tx … 水平並進量
ty … 垂直並進量
θ … 回転角
vx … 水平あおり量
vy … 垂直あおり量
α … せん断の非等方倍率
φ … せん断の方向角
である。
tx … 水平並進量
ty … 垂直並進量
θ … 回転角
vx … 水平あおり量
vy … 垂直あおり量
α … せん断の非等方倍率
φ … せん断の方向角
である。
(式11)、(式12)、(式13)より、各変形成分に対する方程式を解くと、(式14)〜(式21)となる。
ここで、本実施形態においては、画像変形量演算部200の処理は、以下に説明するように、演算を簡略化する。撮像装置に加わる角度振れは、パンニング等のユーザーが意図的に撮像装置を操作する動きを除いては、それほど大きくはならない。よって、撮像装置に加わる振れ角度がγのとき、cosγ=1、sinγtanγ=0、sinγsinγ=0と近似することができ、(式14)〜(式21)は(式22)〜(式29)で表すことができる。
このとき、(式27)より拡大縮小は1倍となり、(式28)、(式29)より、せん断の非等方倍率は1倍、方向角は0度となる。すなわち、撮像装置に加わる角度振れによって撮像画像に生じる変形成分としては、拡大縮小、せん断は他の変形成分と比較して、小さいことが分かる。
よって、本実施形態における画像変形量演算部200の処理では、拡大縮小、せん断の各変形成分の補正は行わず、並進、回転、あおりの補正のみを行うものとする。
以下、図3及び図4のブロック図を用いて、本実施形態における、画像変形量演算部200及びフレーム間振れ演算部300の各構成部とその一例の動作について具体的に説明する。
まず、撮像された動画像の動きベクトルを算出するブロックについて説明する。図3のブロック図において、動きベクトル検出部126は、フレーム画像間における局所的な動きベクトルを検出する。このとき、局所動きベクトルの検出位置として、例えば図4に示すように、縦6ブロック、横10ブロックの格子状に検出ブロック401を配置する。そして、検出ブロック401毎に局所動きベクトルを算出する。動きベクトルの算出は、テンプレートマッチングや勾配法等の公知の手法を用いることができるので、詳細な説明は省略する。
ブロック単位に検出された局所動きベクトルは、動きベクトル処理部201に供給され、画面全体の動きベクトル値である代表ベクトルを決定する。具体的には、局所動きベクトル値の中央値又は平均値が、画像全体の代表ベクトル値とされる。
このとき、動きベクトル処理部201は、代表動きベクトル値の信頼度(正確さの尺度)を求める。具体的には、動きベクトル処理部201は、局所動きベクトル値の分散値を求め、その分散値に基づいて代表動きベクトル値の信頼度を決定する。分散値が小さい(つまり、局所動きベクトルが分散していない)場合に、動きベクトル処理部201は、代表動きベクトル値の信頼度は高いと判定する。逆に分散値が大きい(つまり、局所動きベクトルが分散している)場合に、動きベクトル処理部201は、代表動きベクトル値の信頼度は低いと判定する。これは、映像信号の動き方向が均一な場合には、その画像から得られるブロック単位の局所動きベクトル値は均一なベクトル量であることに基づいている。なお、動きベクトル処理部201において、信頼度の判定の基準となる基準値(局所動きベクトルの分散値の基準値)は、予め定められる。動きベクトル処理部201による信頼度の判定結果と代表動きベクトル値は、並進合成部203に供給される。なお、動きベクトルの信頼度の評価について局所動きベクトルの分散値に基づいて算出する方法を一例に説明したが、動きベクトルの信頼度を評価できればどのような方法を用いてもよい。
次に、角速度センサの出力信号を処理するブロックについて説明する。なお、YAW方向の角度振れによって、(式22)、(式25)から水平方向の並進、水平方向のあおりが生じ、PITCH方向の角度振れによって、(式23)、(式26)から垂直方向の並進、垂直方向のあおりが生じる。しかし、両者の処理は同じとなるので、以下の説明においては、いずれか一方の制御に関してのみ説明を行う。
図5はフレーム間振れ演算部300の構成を説明するブロック図である。図5(a)のブロック図において、A/D変換器103から供給された角速度データは、積分器302で積分される。そして積分器302は、角速度データの積分結果である角度データを出力する。タイミング生成部301は、動画像を構成するフレーム画が撮像されるタイミングに同期した信号を、差分演算部303に出力する。差分演算部303は、タイミング生成部301からの信号を受けて、積分器302の出力データを保持する。そして差分演算部303は、前回保持した値との差分、即ち、前フレーム画像が撮像された時刻から現フレーム画像が撮像された時刻までの撮像装置の角度振れ量を出力する。
なお、フレーム間振れ演算部300の別の一例として、図5(b)に示すようにしてもよい。即ち、タイミング生成部301から出力される信号を積分器302に直接供給し、積分値をリセットすることでフレーム間の角度振れ量を取得する構成としてもよい。
このようにして、フレーム間振れ演算部300は、前フレーム画像が撮像された時刻から現フレーム画像が撮像された時刻までの撮像装置の角度振れ量を算出し、画像変形量演算部200に供給する。
図3のブロック図において、フレーム間振れ演算部300の出力であるフレーム間の角度振れ量は、並進変換部202に供給される。並進変換部202は、フレーム間の角度振れ量を画像上の並進像振れ量に変換する。具体的には、並進変換部202は、フレーム間振れ演算部300の出力である1フレーム間の角度振れ量に、焦点距離演算部204から供給される撮像光学系120の焦点距離fを乗じて、1フレーム間に発生した画像上の並進像振れ量に変換する。焦点距離fを乗算する算出方法は、(式22)、(式23)の並進の算出式による。焦点距離fは、焦点距離演算部204において、ズームエンコーダ119の出力から、撮像光学系120の焦点距離を算出することができる。
ところで、動きベクトル処理部201の出力である代表動きベクトルは、フレーム間の画面上の並進像振れ量そのものである。従って、上述したように角速度センサの出力からフレーム間の角度振れ量を算出することによって、角速度センサから得られた並進像振れ量と、動きベクトル検出部126から供給される動きベクトルとを、同一単位かつ、同一時間軸上の時系列データとして扱うことができる。以降、角速度センサから得られた並進像振れ量と、動きベクトルから得られる並進像振れ量を区別するため、便宜上、前者をセンサ並進像振れ、後者をベクトル並進像振れと呼ぶ。
並進合成部203には、並進変換部202の出力であるセンサ並進像振れと、動きベクトル処理部201の出力である代表動きベクトル(ベクトル並進像振れ)とその信頼度が供給され、これらに基づいて最終的に補正量の演算に用いられる並進像振れデータを求める。
図6は、並進合成部203の具体的な動作を説明するためのブロック図である。動きベクトル処理部201から供給されたベクトル並進像振れデータは、乗算器242に供給され、所定の倍率が乗算される。また、並進変換部202から供給されたセンサ並進像振れデータは、乗算器243に供給され、所定の倍率が乗算される。乗算器242の出力と乗算器243の出力は、加算器244で上記の倍率に基づく比率で加算され、最終的に補正量の演算に用いるための並進像振れデータとして出力される。制御部241には、動きベクトル処理部201の出力である代表動きベクトルの信頼度が供給されており、信頼度に応じて、乗算器242及び乗算器243の倍率を設定する。乗算器242に設定する倍率をK1、乗算器243に設定する倍率をK2とすると、K1、K2は以下の式が成り立つような値を設定する。
0≦K1≦1 …(式30)
0≦K2≦1 …(式31)
(K1+K2)=1 …(式32)
図7は制御部241において決定されるK1、K2の特性を示すグラフである。信頼度が閾値1より小さいときは、K1<K2となるような倍率を設定する。信頼度が閾値1と閾値2の間にある場合は、信頼度が大きくなるにつれて、K1が大きく(K2が小さく)なるように設定する。そして信頼度が閾値2より大きいときは、K1>K2となるような倍率を設定する。このように、動きベクトルの信頼性が高い場合には、動きベクトルから得られた並進像振れ量の割合を大きくする。逆に動きベクトルの信頼性が低い場合には、動きベクトルから得られる並進像振れデータの割合を小さくし、代わりに角速度センサから得られた並進像振れデータの割合を大きくする。
0≦K2≦1 …(式31)
(K1+K2)=1 …(式32)
図7は制御部241において決定されるK1、K2の特性を示すグラフである。信頼度が閾値1より小さいときは、K1<K2となるような倍率を設定する。信頼度が閾値1と閾値2の間にある場合は、信頼度が大きくなるにつれて、K1が大きく(K2が小さく)なるように設定する。そして信頼度が閾値2より大きいときは、K1>K2となるような倍率を設定する。このように、動きベクトルの信頼性が高い場合には、動きベクトルから得られた並進像振れ量の割合を大きくする。逆に動きベクトルの信頼性が低い場合には、動きベクトルから得られる並進像振れデータの割合を小さくし、代わりに角速度センサから得られた並進像振れデータの割合を大きくする。
再び図3に戻り、並進像振れの補正量を算出するための符号211から214までのブロックについて説明を行う。HPF211には、前述した並進合成部203からの出力のうち、YAW方向またはPITCH方向の並進像振れデータが供給される。HPF211は、任意の周波数帯域でその特性を変更し得る機能を有しており、並進像振れに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおHPF211は、本実施形態において必須の構成ではなく、並進合成部203からの出力をセンタリング部212に直接供給してもよい。
センタリング部212は、撮像装置100のYAW方向またはPITCH方向に対して、補正量をゼロに戻すような入力値(以下、センタリング量とする)を、HPF211の出力に対して加算する処理を行う。このセンタリング部212の処理は、パンニングもしくは補正しきれない大きな角度振れが生じたときに行う。なおセンタリング部212は、本実施形態において必須の構成ではなく、HPF211からの出力を積分器213に直接供給してもよい。
積分器213は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部212からの出力を積分し、飽和防止制御部214に供給する。飽和防止制御部214は、積分器213からの出力が所定値(以下、リミット値とする)以上とならないように、積分器213からの出力を制限する制御を行う。また、飽和防止制御部214は、積分器213からの出力がリミット値に近づいたときに、HPF211のカットオフ周波数を高域側に変更したり、積分器213の時定数を短くしたり、センタリング部212のセンタリング量を大きくする等の制御を行う。これらの飽和防止制御部214の処理によって、パンニングによって発生する低周波数帯域の動き成分を遮断することができ、撮影者のパンニング操作を妨げてしまう不具合を防止することができる。具体的には、補正手段(画像変形部127や補正光学系122)が中心に向かいやすくすることによって、検出する振れに対する像振れ補正の度合いを下げる(像振れ補正の追従性を下げる)ことになる。飽和防止制御部214の出力は、最終的な並進補正量となり、画像変形量合成部205に供給される。
次に、あおり像振れの補正量を算出するための符号220から224までのブロックについて説明を行う。符号220から224までのブロックは、あおり変換部220の処理を除いては、符号211から214までのブロックと処理が同じであるため、あおり変換部220についてのみ説明を行い、他のブロックについての説明は省略する。
あおり変換部220には、前述したフレーム間振れ演算部300からの出力のうち、YAW方向またはPITCH方向の角度振れデータが供給される。あおり変換部220は、角度振れデータを焦点距離演算部204によって算出された焦点距離fで除算して、HPF221に供給する。焦点距離fで除算するのは、(式25)、(式26)のあおりの算出式による。飽和防止制御部224の出力は、最終的なあおり補正量となり、画像変形量合成部205に供給される。
次に、光軸回りの回転像振れの補正量を算出するための符号231から234までのブロックについて説明を行う。
HPF231には、前述したフレーム間振れ演算部300からの出力のうち、ROLL方向の角度振れデータが供給される。HPF231は、任意の周波数帯域でその特性を変更し得る機能を有しており、角度振れデータに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおHPF231は、本実施形態において必須の構成ではなく、フレーム間振れ演算部300からの出力をセンタリング部232に直接供給してもよい。
センタリング部232は、撮像装置100のROLL方向に対して、補正しきれない大きな角度振れが生じたとき、センタリング部212,222と同様、センタリング量をHPF231の出力に対して加算する処理を行う。なおセンタリング部232は、本実施形態において必須の構成ではなく、HPF231またはフレーム間振れ演算部300からの出力を積分器233に直接供給してもよい。
積分器233は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部232からの出力を積分し、飽和防止制御部234に供給する。飽和防止制御部234は、積分器233からの出力が所定のリミット値以上とならないように、積分器233からの出力をリミットする制御を行う。また、飽和防止制御部234は、積分器233からの出力がリミット値に近づいたときに、HPF231のカットオフ周波数を高域側に変更したり、積分器233の時定数を短くしたり、センタリング部232のセンタリング量を大きくする等の制御を行う。飽和防止制御部234の出力は、最終的な回転補正量となり、画像変形量合成部205に供給される。
画像変形量合成部205は、飽和防止制御部214,224,234から出力された、並進、あおり、回転補正量を合成する演算を行う。具体的には(式13)に従って、(式1)の射影変換行列を算出する。このとき、拡大縮小、せん断の変形量は、(式27)、(式28)、(式29)に示した値とする。画像変形量合成部205は、算出した射影変換行列の各要素の値を、画像変形部127へと出力する。画像変形部127では、画像変形量合成部205からの出力に基づいて、画像変形による像振れ補正が行われる。
以上説明してきたように、本発明の第1の実施形態においては、フレーム間に発生した角度振れ量から算出した並進像振れ量と、動きベクトルとを所定の割合で加算する並進合成部203を設け、その結果に基づいて並進像振れを補正する構成とした。これによって、角速度センサから求める並進補正量と、動きベクトルから求める並進補正量の演算部を共通化することが可能となり、簡単な構成で、良好な像振れ補正性能を実現することができる。
また、並進合成部203は、動きベクトルの信頼性に応じて、加算する割合を変更する構成とした。これによって、動きベクトルの信頼性が低い場合には、角速度センサから求めた並進像振れ量の割合を大きくすることが可能となり、動きベクトルの検出が正しく行われない撮影状況においても、画質の劣化を最小限に抑えることができる。
(第2の実施形態)
図8は、本発明の第2の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図8において、図1と同様の構成には、同じ符号を付し、説明は省略する。図8は、図1の構成に対し、光軸に垂直方向に移動することによって撮像画像の像振れを光学的に補正する補正光学系122と、補正光学系122を制御するためのブロックが追加された構成となっている。
図8は、本発明の第2の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図8において、図1と同様の構成には、同じ符号を付し、説明は省略する。図8は、図1の構成に対し、光軸に垂直方向に移動することによって撮像画像の像振れを光学的に補正する補正光学系122と、補正光学系122を制御するためのブロックが追加された構成となっている。
A/D変換器103の出力は、フレーム間振れ演算部300に供給されるとともに、図8の構成においては、HPF104に対しても供給される。HPF104は、任意の周波数帯域でその特性を変更し得る機能を有しており、A/D変換器103からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置100に対して、パンニング等の大きな角度振れが生じると、HPF104のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。
敏感度演算部105は、ズームエンコーダ119の出力に応じて、各ズーム位置において最適な補正光学系122の駆動量を算出するための係数を算出し、HPF104の出力に乗算して積分器106へと供給する。積分器106は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部105からの出力を積分し、飽和防止制御部107に供給する。撮像装置100に対して、パンニング等の大きな角度振れが生じると、積分器106の時定数は、角度振れが小さいときよりも短い値に設定される。
飽和防止制御部107は、積分器106の出力が所定のリミット値より大きくなったときに、リミット値内に抑制するように積分器106の出力をリミットし、リミットした出力を減算器108に供給する。
位置検出部117は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系122の光軸と垂直な方向への移動量を検出する。A/D変換器118は、位置検出部117にて検出された補正光学系122の位置を、アナログ信号からデジタル信号へ変換(A/D変換)する。減算器108は、デジタル化した補正光学系122の位置データを飽和防止制御部107の出力から減算し、その結果である偏差データを制御フィルタ109に供給する。ここで、端子B114と端子B116は、各々が電気的に接続されていることを示している。
制御フィルタ109は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。制御フィルタ109において増幅器及び位相補償フィルタによる信号処理が行われた後、減算器108から供給された偏差データが、パルス幅変調部110に出力される。
パルス幅変調部110は、制御フィルタ109を通過して供給されたデータを、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、モータ駆動部111に供給する。モータ112は、補正光学系122の駆動用のボイス・コイル型モータであり、モータ駆動部111に駆動されることにより、補正光学系122が光軸と垂直な方向に移動される。ここで、端子A113と端子A115は、各々が電気的に接続されていることを示している。
。以上のブロックによって、飽和防止制御部107の出力に対して、位置検出部117の出力を減算し、補正光学系122の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。A/D変換器118の出力は、減算器108の他に画像変形量演算部にも供給される。
補正光学系122は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する、振れ補正可能な光学系である。補正光学系122の移動が行われた結果、撮像装置100の振れによって生じる撮像面上の被写体の並進方向の像振れが補正された像が、撮像素子123に結像される。
以下、図9のブロック図を用いて、本実施形態における、画像変形量演算部200の各構成部とその一例の動作について具体的に説明する。なお、図9において、図3と同様の構成には、同じ符号を付し、説明は省略する。図9の画像変形量演算部200の構成は、図3に対し、並進補正量換算部206と減算器207が追加されたものとなっている。
並進補正量換算部206は、A/D変換器118の出力を用いることによって、補正光学系122によって補正された、撮像面上での並進補正量を演算する。補正光学系122による像振れ像振れ補正は、撮像面上での像振れ像振れの各変形成分のうち、並進方向の像振れを光学的に補正することができる。従って、図3を用いて説明したように角速度センサからの出力データを全て用いて並進補正量を演算すると、過補正となってしまう。そこで図9の構成においては、並進補正量換算部206によって補正光学系122の並進補正量を算出し、減算器207で、並進変換部202の出力から補正光学系122の並進補正量を減算することによって、並進像振れ以外の像振れと、補正光学系122で補正しきれなかった並進補正量のみを画像変形部127で補正する構成としている。
以上のように、本発明の第2の実施形態においては、第1の実施形態の構成に加えて、補正光学系122によって、並進像振れの補正を、光学的にも行う構成とした。これによって、並進方向の変形に必要な余剰画素を、更に小さく抑えることが可能となり、画像変形部127が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。
なお、この第2の実施形態においては、光学的な像振れ補正手段として、補正光学系122を例にとって説明したが、これに限定されるものではない。例えば、撮像素子123を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。
(第3の実施形態)
次に、図3の並進合成部203が実行する処理の第2の方法について、第3の実施形態として以下に図面を用いて詳細な説明を行う。第1の実施形態では、動きベクトルの信頼度に応じて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更したが、動きベクトルを直接評価せずとも、動きベクトルの信頼性を類推することは可能である。たとえば、ズーム操作がなされている時は、動きベクトル検出部で算出される局所動きベクトルは、画面中心から放射方向に検出される。これらの局所動きベクトルを用いて算出された代表動きベクトルは信頼性の低いものと考えてよい。また、撮像装置を大きくパン、チルトさせながら撮影している場合においては、フレーム間の画像上の移動量が大きくなり、動きベクトルの検出範囲を超えてしまう場合がある。このような場合も動きベクトルの信頼性は低いものとしてよい。第3の実施形態では、動きベクトル以外の情報を用いて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更する方法について説明する。
次に、図3の並進合成部203が実行する処理の第2の方法について、第3の実施形態として以下に図面を用いて詳細な説明を行う。第1の実施形態では、動きベクトルの信頼度に応じて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更したが、動きベクトルを直接評価せずとも、動きベクトルの信頼性を類推することは可能である。たとえば、ズーム操作がなされている時は、動きベクトル検出部で算出される局所動きベクトルは、画面中心から放射方向に検出される。これらの局所動きベクトルを用いて算出された代表動きベクトルは信頼性の低いものと考えてよい。また、撮像装置を大きくパン、チルトさせながら撮影している場合においては、フレーム間の画像上の移動量が大きくなり、動きベクトルの検出範囲を超えてしまう場合がある。このような場合も動きベクトルの信頼性は低いものとしてよい。第3の実施形態では、動きベクトル以外の情報を用いて、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更する方法について説明する。
本実施形態における撮像装置の構成は図1、図3、図5、図6と同じ構成で実現できる。図6の並進合成部203における制御部241は、動きベクトル処理部201が算出した動きベクトルの信頼度を受取ると共に、A/D変換器103の出力、ズームエンコーダ119の出力を受取り、これらの情報に基づいてベクトル並進像振れとセンサ並進像振れを加算する割合を変更する。
図10のフローチャートは、制御部241の処理の一例を示したものである。図10のフローチャートの処理は、例えば60Hz等の所定の周期で繰り返し実行される。
ステップS100では、変数SENSOR_OUT1を、A/D変換器103のYAW方向あるいはPITCH方向の出力に基づいて生成された信号とすると、SENSOR_OUT1が閾値AMP_TH1より大きいかどうかの判定を行う。A/D変換器103のYAW方向あるいはPITCH方向の出力に基づいて生成された信号とは、A/D変換器103の出力を元に生成された信号であればどのような信号を用いてもよい。例えば、A/D変換器103の出力そのものであってもいいし、A/D変換器103の出力に対して種々のフィルタリング処理を行ったりゲイン等をかけた信号であってもいい。ステップS100でSENSOR_OUT1がAMP_TH1より大きいと判定された場合は、ステップS101の処理へと進む。
ステップS101では、カウンタCOUNTER1の値をインクリメントし、ステップS102の処理に進む。ステップS102では、カウンタCOUNTER1が閾値TIME_TH1より大きいかどうかの判定を行う。ステップS102でCOUNTER1がTIME_TH1以下であると判定された場合は、ステップS106に進む。ステップS102でCOUNTER1がTIME_TH1より大きいと判定された場合は、ステップS103の処理に進みPAN_FLAGに1を書き込む。ステップS103の処理が行われるのは、YAW方向或いはPITCH方向に所定時間(TIME_TH1)以上、所定の大きさ(AMP_TH1)以上の振れが加えられたとき、即ち、ステップS103の処理が行われるのは、撮像装置100にパンニング或いはチルティング操作が行われた状態(パンニング状態あるいはチルティング状態)のときとなる。
ステップS100において、SENSOR_OUT1がAMP_TH1以下であると判定された場合は、ステップS104の処理へと進む。ステップS104では、ステップS101でインクリメントするカウンタCOUNTER1の値をクリアし、ステップS105に進む。ステップS105では、PAN_FLAGをクリアし、ステップS106に進む。
ステップS106では、ズームエンコーダ119の出力値が前回処理された時からどれだけ変化したかを求めて、変数ZOOM_SPEEDに格納し、ステップS107に進む。即ちステップS106ではズーム操作された時のズーム倍率の変化スピードを求めて記憶する。ステップS107でZOOM_SPEEDがZOOM_TH1より大きいと判定された場合は、ステップS108へ進む。ステップS108では、ZOOM_FLAGに1を書き込み、ステップS110に進む。ステップS107において、ZOOM_SPEEDがZOOM_TH1以下であると判定された場合は、ステップS109に進む。ステップS109では、ZOOM_FLAGをクリアし、ステップS110に進む。
ステップS110では、PAN_FLAGが1、または、ZOOM_FLAGが1であるかを判定する。即ち、ステップS110では、撮像装置100にパンニング或いはチルティング操作が行われたか、若しくはズーム操作が行われたかを判定する。いずれか一方でも1である場合は、ステップS111に進む。ステップS111では、乗算部242の倍率K1を0に、乗算部243の倍率K2を1に設定する。即ち、ベクトル並進像振れデータは使わずに、センサ並進像振れデータそのものが補正量の演算に使用されることを意味する。ステップS110で、PAN_FLAG、ZOOM_FLAGがどちらも1ではないと判定された場合は、ステップS112に進む。ステップS112では、動きベクトル処理部201によって算出される動きベクトルの信頼度に応じて、乗算部242、243の倍率を設定し、図10の処理は終了となる。なお、ステップS112で実行される処理は、第1の実施形態と同様であるため、説明を省略する。
以上説明してきたように、本発明の第3の実施形態においては、動きベクトルの信頼性に加えて、角速度センサの出力、ズームエンコーダの出力に応じて、並進合成部203における、ベクトル並進像振れとセンサ並進像振れを加算する割合を変更する構成とした。これによって、パンニングやチルティング操作、ズーム操作が行われた場合は、角速度センサから求めた並進像振れデータを用いて像振れ補正を行うことにより、動きベクトルの検出が正しく行われない撮影状況においても、画質の劣化を最小限に抑えることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100:撮像装置、101:μCOM、102:角速度センサ、103:A/D変換器、120:撮像光学系、123:撮像素子、126:動きベクトル検出部
本発明に係わる像ブレ補正装置は、撮像手段により撮像された画像のうち2つの画像の間の動きベクトルを検出する動きベクトル検出手段と、前記2つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの、振れを検出する角速度検出手段の出力に基づいて、前記2つの画像を撮影する間での撮像装置の振れ量を算出する振れ算出手段と、前記振れ算出手段の出力を、画像の像振れ量に変換する像振れ変換手段と、前記動きベクトル検出手段の出力と、前記像振れ変換手段の出力を所定の比率で加算した結果に基づいて、前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出手段と、前記補正量算出手段の出力に基づいて、前記画像の像振れを電子的に補正する補正手段を制御する制御手段と、を備え、動画撮影時に、前記補正量算出手段は、前記撮像装置がパンニング或いはチルティング状態であると判定された場合には、前記撮像装置がパンニング或いはチルティング状態ではないと判定された場合よりも、前記動きベクトル検出手段の出力を加算する比率を小さくすることを特徴とする。
Claims (10)
- 画像を撮像する撮像手段と、
前記画像のうち2つの画像の間の動きベクトルを検出する動きベクトル検出手段と、
振れを検出する振れ検出手段と、
前記振れ算出手段の出力を、画像の像振れ量に変換する像振れ変換手段と、
前記2つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出手段の出力に基づいて、前記2つの画像を撮影する間での前記撮像装置の振れ量を算出する振れ算出手段と、
前記動きベクトル検出手段の出力と前記像振れ変換手段の出力のうちの少なくとも1つを用いて、前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段の出力に基づいて前記画像の像振れを電子的に補正する補正手段と、
を備えることを特徴とする撮像装置。 - 前記補正量算出手段は、前記画像の並進像振れとあおり像振れと光軸回りの回転像振れのうち、並進像振れを含む少なくとも2つの像振れを補正するための補正量を演算するとともに、前記並進像振れを補正するための補正量は、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力とに基づいて算出し、並進像振れ以外の像振れを補正するための補正量は、前記像振れ変換手段の出力に基づいて算出することを特徴とする請求項1に記載の撮像装置。
- 前記補正量算出手段は、前記動きベクトル検出手段の出力と、前記像振れ変換手段の出力を所定の比率で加算した結果に基づいて、前記並進像振れを補正するための補正量を算出することを特徴とする請求項2に記載の撮像装置。
- 前記補正量算出手段は、前記動きベクトル検出手段によって検出される前記動きベクトルの信頼度に応じて、前記動きベクトル検出手段の出力と前記像振れ変換手段の出力とを加算する比率を変更し、前記動きベクトルの信頼度が低いときには、前記動きベクトルの信頼度が高い時よりも、前記動きベクトル検出手段の出力を加算する比率を小さくすることを特徴とする請求項3に記載の撮像装置。
- 前記補正量算出手段は、前記撮像装置がパンニング或いはチルティング状態であると判定された場合には、前記撮像装置がパンニング或いはチルティング状態ではないと判定された場合よりも、前記動きベクトル検出手段の出力を加算する比率を小さくすることを特徴とする請求項3に記載の撮像装置。
- 前記振れ算出手段は、前記撮像手段によって順次撮像される周期よりも短い周期で、前記振れ検出手段の出力を積分する積分手段を有し、
前記2つの画像のうち、前記前のフレームの画像を撮像しているときの前記積分手段の出力と、前記次のフレームの画像を撮像しているときにおける前記積分手段の出力の差分を演算することにより、前記2つの画像の間での前記撮像装置の振れ量を算出することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 - 前記振れ算出手段は、前記撮像手段によって順次撮像される周期よりも短い周期で、前記振れ検出手段の出力を積分する積分手段を有し、
前記動画像を構成する画像が撮像されるときの前記積分手段の出力を取得して前記積分手段の積分値をリセットすることにより、前記2つの画像の間での前記撮像装置の振れ量を算出することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 - 画像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記画像のうち2つの画像の間の動きベクトルを検出する動きベクトル検出工程と、
振れを検出する振れ検出工程と、
前記2つの画像のうち、前のフレームの画像を撮像してから次のフレームの画像を撮像するまでの前記振れ検出工程の出力に基づいて、前記2つの画像の間での前記撮像装置の振れ量を算出する振れ算出工程と、
前記振れ算出工程の出力を、画像の像振れ量に変換する像振れ変換工程と、
前記動きベクトル検出工程の出力と前記像振れ変換工程の出力のうちの少なくとも1つを用いて前記画像の像振れ量を電子的に補正するための補正量を算出する補正量算出工程と、
前記補正量算出工程の出力に基づいて前記画像の像振れを電子的に補正する補正工程と、を有
することを特徴とする撮像装置の制御方法。 - 請求項8に記載の制御方法をコンピュータに実行させるためのプログラム。
- 請求項8に記載の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230863A JP6420888B2 (ja) | 2017-11-30 | 2017-11-30 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230863A JP6420888B2 (ja) | 2017-11-30 | 2017-11-30 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286171A Division JP2014126861A (ja) | 2012-12-27 | 2012-12-27 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018078582A true JP2018078582A (ja) | 2018-05-17 |
JP6420888B2 JP6420888B2 (ja) | 2018-11-07 |
Family
ID=62149348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017230863A Active JP6420888B2 (ja) | 2017-11-30 | 2017-11-30 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6420888B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012961A1 (ja) * | 2018-07-09 | 2020-01-16 | 株式会社ニコン | 撮像装置 |
WO2020012960A1 (ja) * | 2018-07-09 | 2020-01-16 | 株式会社ニコン | 撮像装置 |
EP3739868A1 (en) * | 2019-05-14 | 2020-11-18 | Canon Kabushiki Kaisha | Control apparatus, lens apparatus, imaging apparatus, control method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
JP2008060892A (ja) * | 2006-08-31 | 2008-03-13 | Sanyo Electric Co Ltd | 動き検出装置及び方法並びに撮像装置 |
JP2011217334A (ja) * | 2010-04-02 | 2011-10-27 | Canon Inc | 撮像装置および撮像装置の制御方法 |
JP2012058545A (ja) * | 2010-09-09 | 2012-03-22 | Canon Inc | 撮像装置 |
-
2017
- 2017-11-30 JP JP2017230863A patent/JP6420888B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
JP2008060892A (ja) * | 2006-08-31 | 2008-03-13 | Sanyo Electric Co Ltd | 動き検出装置及び方法並びに撮像装置 |
JP2011217334A (ja) * | 2010-04-02 | 2011-10-27 | Canon Inc | 撮像装置および撮像装置の制御方法 |
JP2012058545A (ja) * | 2010-09-09 | 2012-03-22 | Canon Inc | 撮像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012961A1 (ja) * | 2018-07-09 | 2020-01-16 | 株式会社ニコン | 撮像装置 |
WO2020012960A1 (ja) * | 2018-07-09 | 2020-01-16 | 株式会社ニコン | 撮像装置 |
EP3739868A1 (en) * | 2019-05-14 | 2020-11-18 | Canon Kabushiki Kaisha | Control apparatus, lens apparatus, imaging apparatus, control method, and program |
US11490012B2 (en) | 2019-05-14 | 2022-11-01 | Canon Kabushiki Kaisha | Control apparatus for correcting blur, lens apparatus, imaging apparatus, control method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6420888B2 (ja) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014126861A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6097522B2 (ja) | 像ブレ補正装置及び像ブレ補正方法、撮像装置 | |
JP6097521B2 (ja) | 像ブレ補正装置及び像ブレ補正方法、撮像装置 | |
JP6103877B2 (ja) | 画像処理装置及びその制御方法 | |
US9225901B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP6214316B2 (ja) | 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体 | |
JP5501119B2 (ja) | 撮像装置およびその制御方法 | |
US9467622B2 (en) | Image capturing apparatus, image processing apparatus, and method of controlling image capturing apparatus to correct distortion | |
JP2018189730A (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
US10778896B2 (en) | Image processing apparatus and image processing method | |
JP6420888B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
JP6169235B2 (ja) | 撮像装置及びその制御方法 | |
JP2021033015A (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP7510264B2 (ja) | 画像処理装置および画像処理方法、撮像装置 | |
JP2014066766A (ja) | 撮像装置およびその制御方法 | |
JP2015201691A (ja) | 撮像装置およびその制御方法 | |
JP2014066765A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181012 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6420888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |