JP2023135389A - ブレ補正装置、ブレ補正方法及びプログラム - Google Patents

Abstract

【課題】撮像装置において、ロール旋回により生じる画像のブレを補正する。【解決手段】ブレ補正装置（１０）は、被写体像を撮像素子（７０）の撮像面に結像させる結像光学系（２０）と、ロール旋回による被写体像のブレを補正するブレ補正部（３０）と、結像光学系（２０）の加速度情報を取得する加速度センサ（４０）と、結像光学系（２０）の角速度情報を取得する角速度センサ（５０）と、加速度情報と角速度情報とから、結像光学系（２０）の光軸から結像光学系（２０）のロール旋回軸までの距離を示す情報を導出する演算部（６０）と、を備える。【選択図】図１

Description

本発明は、ブレ補正装置、ブレ補正方法及びプログラムに関する。

カメラ等の撮像装置において、手ブレ等を補正する装置が従来技術として知られている。例えば、特許文献１に開示された技術では、カメラの並進運動を正確に検出して、像振れを正確に補正することができるとされている。また、特許文献２に開示された技術では、撮像装置のピッチ回転とヨー回転によって生じる撮像画像信号のブレを高精度に補正することができるとされている。

特開2014-164290号公報 WO2020/003885号明細書

しかしながら、特許文献１に開示された従来技術は、重力加速度成分を除去して並進運動の変位を算出することができるが、ロール回転により生じる画像のブレを補正するものではない。また、特許文献２に開示された技術は、ピッチ回転とヨー回転によって生じるブレを補正することができるが、ロール回転により生じる画像のブレを補正するものではない。さらに、従来技術では、光軸から離間しかつ光軸と平行な軸を中心に旋回するロール旋回によるブレを補正する技術は知られていない。

本発明の一態様は、撮像装置において、ロール旋回により生じる画像のブレを補正することを目的とする。

上記の課題を解決するために、本発明の一態様に係るブレ補正装置は、撮像装置の画像のブレを補正するブレ補正装置であって、被写体像を撮像素子の撮像面に結像させる結像光学系と、ロール旋回による前記被写体像のブレを補正するブレ補正部と、前記結像光学系の加速度情報を取得する少なくとも１つの加速度センサと、前記結像光学系の角速度情報を取得する少なくとも１つの角速度センサと、前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出する演算部と、を備える。

上記の課題を解決するために、本発明の一態様に係るブレ補正方法は、結像光学系の加速度情報を取得するステップと、結像光学系の角速度情報を取得するステップと、前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出するステップと、を含む。

本発明の各態様に係るブレ補正装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記ブレ補正装置が備える各部（ソフトウェア要素）として動作させることにより前記ブレ補正装置をコンピュータにて実現させるブレ補正装置のブレ補正プログラム、およびそれを記録したコンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、撮像装置において、ロール旋回により生じる画像のブレを補正することができる。

本発明の実施形態１に係る撮像装置１の構成を示すブロック図である。 実施形態１に係るブレ補正方法の流れを示すフローチャートである。 実施形態１の変形例に係る撮像装置２の構成を示すブロック図である。 実施形態２に係る撮像装置１Ａの構成を示すブロック図である。 実施形態２に係る加速度センサと第２角速度センサの配置を示す図である。 ｚ軸方向から見た、撮像素子、センサＡＯ、及び撮像素子の撮像面を含む平面とロール旋回軸との交点ＷＳの関係を示す図である。 センサＡＯ、ＡＸ、ＡＹのそれぞれと交点ＷＳまでの距離を示す図である。 交点ＷＳから見た撮像素子の移動方向を示す図である。 ブレ補正のために補正レンズを移動させる方向を示す図である。 ブレ補正のために撮像素子を移動させる方向を示す図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の実施形態１に係る撮像装置１の構成を示すブロック図である。撮像装置１は、ブレ補正装置１０と撮像素子７０とを含む。ブレ補正装置１０は、撮像装置１の撮像素子７０により撮像される画像のブレを補正する装置である。ブレ補正装置１０は、特に、ロール旋回による画像のブレを補正する。本実施形態において、ロール旋回とは、後述の結像光学系２０（撮像装置１）が、結像光学系２０の光軸から離間しかつ光軸に平行な回転軸を中心に回転（旋回）する動きである。以下では、結像光学系２０がロール旋回する回転軸をロール旋回軸と称し、ロール旋回による画像のブレをロール旋回ブレとも称する。ロール旋回ブレは、撮像素子７０が結像光学系２０と共にロール旋回軸を中心に旋回するように移動することにより生じる画像のブレであるとも言える。

（ブレ補正装置）
図１に示すように、ブレ補正装置１０は、結像光学系２０、演算部６０、及び制御部８０を含む。結像光学系２０は、ブレ補正部３０、加速度センサ４０、及び角速度センサ（ジャイロセンサ）５０を備える。ブレ補正部３０は、結像光学系２０内に配置された補正レンズ３１と、補正レンズ３１を駆動するレンズ駆動部３２を含む。演算部６０は、ブレ補正のために必要な演算を行う。制御部８０は、ブレ補正装置１０全体を統括制御する。

結像光学系２０は、被写体像を撮像素子７０の撮像面に結像させる。結像光学系２０は、光軸上に配置された対物レンズ、結像レンズ等の複数のレンズ群、絞り、偏向ミラー等の各種の光学素子を含んでいるが、図１では省略している。結像光学系２０は、撮像装置１の本体に着脱可能に構成された交換レンズでもよく、撮像装置１に着脱不能に取り付けられた結像光学系でもよい。結像光学系２０が交換レンズとして構成されている場合は、補正レンズ３１を用いて補正するブレ補正部３０も結像光学系２０（交換レンズ）に含まれる。

結像光学系２０のレンズ群等を通過した被写体からの光は、撮像素子７０の撮像面に結像される。結像された被写体像は、撮像素子７０によって電気信号に変換され、様々な信号処理が施されてディスプレイ上に被写体の画像として表示されるとともに、図示しないメモリに記録される。撮像素子７０として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge Coupled Device）センサ等の任意の撮像素子を用いることができる。

加速度センサ４０は、結像光学系２０（撮像装置１）の加速度情報を取得する。角速度センサ５０は、結像光学系２０の角速度情報を取得する。具体的には、加速度センサ４０は、結像光学系２０の、所定の方向の並進加速度を検出（以下、「取得」とも称する。）する。角速度センサ５０は、結像光学系２０の、所定の軸回りの角速度を取得する。本実施形態では、結像光学系２０の光軸をｚ軸とし、光軸（ｚ軸）と直交するとともに、互いに直交する２つの軸をｘ軸とｙ軸とする直交ｘｙｚ座標系を用いて説明する。この場合、加速度センサ４０は、ｘ軸、ｙ軸、ｚ軸のうちの少なくとも１つの軸上のある位置における、ｘ軸方向、ｙ軸方向、ｚ軸方向のうちの少なくとも１つの方向の加速度情報を取得する。また、角速度センサ５０は、ｘ軸、ｙ軸、ｚ軸のうちの少なくとも１つの軸回りの角速度情報を取得する。加速度センサ４０と角速度センサ５０は、それぞれ取得した加速度情報、角速度情報を、制御部８０を介して演算部６０に送信する。

演算部６０は、加速度センサ４０と角速度センサ５０から受信した加速度情報と角速度情報とから、結像光学系２０の光軸から結像光学系２０のロール旋回軸までの距離を示す情報を導出する。結像光学系２０の光軸からロール旋回軸までの距離を示す情報は、例えば、直交ｘｙｚ座標系におけるロール旋回軸の座標である。また、演算部６０は、結像光学系２０の、ロール旋回軸回りの回転量を導出する。具体的な導出方法については後述する。演算部６０は、導出した座標と回転量とに基づいて、撮像素子７０の撮像面に結像する画像のブレ量が小さくなるようにブレ補正部３０が実行する駆動操作に関する情報を算出する。ブレ補正部３０が実行する駆動操作に関する情報とは、レンズ駆動部３２が補正レンズ３１を駆動操作する駆動方向とその駆動量である。演算部６０は、算出した駆動量を、制御部８０を介してレンズ駆動部３２に送信する。

ブレ補正部３０は、ロール旋回による被写体像のブレを補正する。レンズ駆動部３２は、演算部６０から受信した駆動操作に関する情報に基づいて、補正レンズ３１を駆動操作する。具体的には、レンズ駆動部３２は、補正レンズ３１を、光軸に直交する面内で２次元的に移動させる。レンズ駆動部３２は、撮像面に結像する被写体の位置がぶれる前の位置に戻るように、補正レンズの位置を移動させて光の向きを変更する。以上の処理により、ブレ補正装置１０は、ロール旋回ブレを補正することができる。

ロール旋回ブレは、撮像装置１がロール旋回することにより生じる。つまり、ロール旋回ブレは、撮像素子７０がロール旋回軸回りにある回転量だけ移動することにより生じる。このロール旋回軸の位置とロール旋回軸回りの回転量は、演算部６０が導出する。ロール旋回軸の位置は、撮像素子７０の撮像面を含む平面とロール旋回軸との交点の座標により表される。また、ロール旋回軸回りの回転量は、撮像素子７０のロール旋回軸回りの回転量により表される。交点の座標と撮像素子７０の回転量は、方向と量を有するベクトルとして導出されてもよい。そして、導出された交点の座標と撮像素子７０の回転量に基づいて、撮像素子７０の回転量（移動量）を相殺するように、レンズ駆動部３２が補正レンズ３１を移動させる。これにより、対象光の結像位置がブレる前の結像位置に移動して、ロール旋回ブレが補正される。

（ブレ補正方法）
次に、本実施形態に係るブレ補正方法Ｓ１について説明する。図２は、ブレ補正方法Ｓ１の流れを示すフローチャートである。図２に示すように、ブレ補正方法Ｓ１は、ステップＳ１１からステップＳ１３を含む。ステップＳ１１において、加速度センサ４０は、結像光学系２０の加速度情報を取得する。また、ステップＳ１２において、角速度センサ５０は、結像光学系２０の角速度情報を取得する。また、ステップＳ１３において、演算部６０は、加速度情報と角速度情報とから、結像光学系２０の光軸から結像光学系２０のロール旋回軸までの距離を示す情報を導出する。結像光学系２０の光軸から結像光学系２０のロール旋回軸までの距離を示す情報が導出されると、演算部６０は、補正レンズ３１を移動する方向と移動量を算出する。そしてレンズ駆動部３２は、補正レンズ３１を導出された方向に導出された量だけ移動するように駆動する。このようにしてブレが補正される。なお、ブレ補正方法Ｓ１においては、ステップＳ１１とステップＳ１２とが並行して実行され、その結果を用いてステップＳ１３が実行されるという処理が常時繰り返して実行される。これにより、撮像される画像のロール旋回ブレを常時補正することができる。

（変形例１）
上述した例では、ブレ補正部３０は、補正レンズ３１を結像光学系２０に配置して、補正レンズ３１の位置を変えることによりロール旋回ブレを補正する構成を説明した。しかし、ブレ補正部３０はこの構成に限定されない。例えば、ブレ補正部３０が撮像素子７０を移動させる構成であってもよい。

図３は、変形例１に係る撮像装置２の構成を示すブロック図である。図に示すように、撮像装置２のブレ補正装置１０は、結像光学系２０、ブレ補正部３０、加速度センサ４０、角速度センサ５０、演算部６０、及び制御部８０を備える。ブレ補正部３０は、撮像素子７０と撮像素子駆動部７１を含む。

加速度センサ４０、角速度センサ５０、演算部６０、及び制御部８０は、撮像装置１で説明したとおりである。結像光学系２０は、補正レンズを有していない。その代わりに、ブレ補正部３０は、撮像素子駆動部７１を備えている。撮像素子駆動部７１は、撮像素子７０を、光軸に直交する方向に２次元的に移動させる。また、撮像素子駆動部７１は、撮像素子７０を、回転させるように移動させてもよい。本変形例１に係るブレ補正部３０は、ブレによって移動した被写体の結像位置に撮像素子７０を移動させることにより、ロール旋回ブレを補正する。

以上の構成を有するブレ補正装置１０は、結像光学系２０の加速度情報と角速度情報とから、結像光学系２０の光軸から結像光学系２０のロール旋回軸までの距離を示す情報を導出する。そして、結像光学系２０の光軸からロール旋回軸までの距離と、ロール旋回軸回りの回転量とに基づいて、ブレ補正部３０によりロール旋回ブレを補正する。このような処理により、撮像装置において、ロール旋回により生じる画像のブレを補正することができる。

〔実施形態２〕
本発明の他の実施形態について、図面を参照して以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図４は、実施形態２に係る撮像装置１Ａの構成を示すブロック図である。撮像装置１Ａは、ブレ補正装置１０と撮像素子７０とを含む。ブレ補正装置１０は、結像光学系２０、演算部６０、及び制御部８０を含む。結像光学系２０は、加速度センサ４０、第１角速度センサ５１、及びブレ補正部３０を含み、加速度センサ４０は、第１加速度センサ４１と第２加速度センサ４２を含む。第１角速度センサ５１は、コリオリの力を検出するジャイロセンサである。ジャイロセンサは、ロール旋回軸回りの角速度を検出することができる。

ブレ補正部３０は、補正レンズ３１とレンズ駆動部３２とを含む。演算部６０は、第１算出部６１と第２算出部６２とを含む。第１算出部６１は、加速度情報と角速度情報とを用いて、距離を示す情報であるロール旋回軸の座標とロール旋回軸回りの回転量を算出する。距離とは、前述のように、結像光学系２０の光軸から結像光学系２０のロール旋回軸までの距離である。第２算出部６２は、座標と回転量とに基づいて、ブレ補正部３０が実行する駆動操作に関する情報を算出する。ブレ補正部３０が実行する駆動操作に関する情報とは、一例として、撮像面に結像する画像のブレ量を低減するために補正レンズ３１を移動させる方向とその量である。撮像素子７０と制御部８０は、実施形態１で説明した撮像素子７０と制御部８０とそれぞれ同様である。

加速度センサ４０と第１角速度センサ５１について、図５を参照して詳細に説明する。図５は、実施形態２に係る加速度センサ４０と第１角速度センサ５１の配置を示す図である。図に示すように、不動の基準座標系ＣＳに対する、撮像装置１Ａの結像光学系２０の座標である光学座標系ＯＳを考える。光学座標系ＯＳは直交ｘｙｚ座標系であり、原点をＯ’とする。加速度センサ４０は、センサＡＯ，センサＡＸ及びセンサＡＹの３つのセンサから構成される。

センサＡＯは、原点Ｏ’の位置に配置され、少なくともｘ軸方向の加速度ａorgx、及びｙ軸方向の加速度ａorgyの２つの加速度を取得する。センサＡＯは、特許請求の範囲に記載した第１加速度センサの一形態である。センサＡＸは、ｘ軸上に配置され、少なくともｘ軸方向の加速度ａxx、及びｙ軸方向の加速度ａxyの２つの加速度を取得する。センサＡＹは、ｙ軸上に配置され、少なくともｙ軸方向の加速度ａyyとｘ軸方向の加速度ａyxの２つの加速度を取得する。センサＡＸとセンサＡＹは、特許請求の範囲に記載した第２加速度センサの一形態である。図５には、センサＡＯ，センサＡＸ及びセンサＡＹが取得するｚ軸方向の加速度も記載されているが、本実施形態においてはｚ軸方向の加速度は取得しなくてもよい。

原点Ｏ’からセンサＡＸまでの距離をｒｘ、原点Ｏ’からセンサＡＹまでの距離をｒｙとする。距離ｒｘ、ｒｙは、それぞれが特許請求の範囲に記載したｘ軸上及びｙ軸上の所定の位置までの距離を表す。なお、本実施形態では、加速度センサ４０は３つのセンサからなる構成であるが、センサの数はこれに限らず、上述の６つの加速度を取得することができればよく、センサの数は限定されない。

第１角速度センサ５１は、ｘ軸回りの角速度ωｘと、ｙ軸回りの角速度ωｙと、ｚ軸回りの角速度ωｘを取得する。ｘ軸回りの角速度ωｘは、センサＡＸが取得してもよく、別個の角速度センサ（図示せず）をｘ軸上に配置して取得してもよい。ｙ軸回りの角速度ωｙは、センサＡＹが取得してもよく、別個の角速度センサ（図示せず）をｙ軸上に配置して取得してもよい。ｚ軸回りの角速度ωｚは、センサＡＯが取得してもよく、別個の角速度センサ（図示せず）をｚ軸上に配置して取得してもよい。

次に、第１算出部６１が加速度情報と角速度情報とを用いて算出する、ロール旋回軸の座標と、結像光学系２０のロール旋回軸回りの回転量について説明する。ロール旋回軸の座標とは、具体的には、撮像素子７０の撮像面を含む平面とロール旋回軸との交点ＷＳの座標である。また、結像光学系２０の回転量は、結像光学系２０の交点ＷＳ回りのロール旋回角度である。

図６は、ｚ軸方向から見た、撮像素子７０、センサＡＯ、及び撮像素子７０の撮像面を含む平面とロール旋回軸との交点ＷＳの関係を示す図である。図６では、結像光学系２０の光軸を光学座標系ＯＳのｚ軸とし、センサＡＯ、センサＡＸ、センサＡＹ、撮像素子７０及び交点ＷＳを図示している。

時刻ｔにおいて、センサＡＯで取得される加速度ａorg（ｔ）、センサＡＸで取得される加速度ａx（ｔ）、センサＡＹで取得される加速度ａy（ｔ）を、それぞれ下記式（１）、（２）、（３）で表す。また、第２角速度センサ５２で取得される角速度ωｘ（ｔ）、角速度ωｙ（ｔ）、角速度ωｚ（ｔ）を下記式（４）で表す。なお、式（１）、（２）、（３）においては、演算の便宜上ａorg（ｔ）にセンサＡＯで取得する必要のない加速度成分ａorgz（ｔ）が含まれ、ａx（ｔ）にセンサＡＸで取得する必要のない加速度成分ａxz（ｔ）が含まれ、ａy（ｔ）にセンサＡＹで取得する必要のない加速度成分ａyz（ｔ）が含まれている。

図６に示すように、センサＡＯの取り付け位置Ｏ’を基準とするｘ軸上のセンサＡＸの取り付け位置ベクトルＲsensx（ｔ）を下記式（５）で表す。センサＡＯの取り付け位置Ｏ’を基準とするｙ軸上のセンサＡＹの取り付け位置ベクトルＲsensy（ｔ）を下記式（６）で表す。撮像素子７０の中心位置７０１を基準とするセンサＡＯの取り付け位置ベクトルＲimg（ｔ）を下記式（７）で表す。センサＡＯの取り付け位置Ｏ’を基準とする交点ＷＳまでの位置ベクトルＲroll（ｔ）を下記式（８）で表す。さらに、撮像素子７０の中心位置７０１を基準とする交点ＷＳまでの位置ベクトルＲrollＯ（ｔ）を下記式（９）で表す。

求めたい位置ベクトルは、位置ベクトルＲroll0（ｔ）である。位置ベクトルＲroll0（ｔ）は、位置ベクトルＲimg（ｔ）と位置ベクトルＲroll（ｔ）の合成により求められる。位置ベクトルＲimg（ｔ）は設計情報から既知であるので、位置ベクトルＲroll（ｔ）を求めれば、位置ベクトルＲroll0（ｔ）を求めることができる。

図７は、センサＡＯ，ＡＸ，ＡＹの３つのセンサそれぞれから交点ＷＳまでの距離を示す図である。図７に示すように、センサＡＯから交点ＷＳまでの距離をＬorg（ｔ）、センサＡＸから交点ＷＳまでの距離をＬx（ｔ）、センサＡＹから交点ＷＳまでの距離をＬy（ｔ）として、これらの３つの距離の交点を算出してセンサＡＯから交点ＷＳまでの距離とする。つまり、センサＡＯから交点ＷＳまでの距離は、第１加速度センサ４１（センサＡＯ）から交点ＷＳまでの距離及び第２加速度センサ４２（センサＡＸ，ＡＹ）から交点ＷＳまでの距離に基づいて導出される。このような計算を行う理由は、個々のセンサの取得値は雑音及び誤差等を含んでいるため、複数のセンサの出力を総合することでより精度の高い距離を求めるためである。

具体的には、センサＡＯから交点ＷＳまでのベクトルの大きさ（距離）Ｌを、下記式（１０）で求める。式（１０）は、距離Ｌ（ｔ）を、ベクトルＬorg（ｔ）、Ｌx（ｔ）、Ｌy（ｔ）の交点として求めることを示す。ここで、式（１１）から、式（１０）の各成分は下記式（１２）～（１４）と表される。

次に、以下の３つの連立方程式（１５）、（１６）、（１７）を解いてセンサＡＯから交点ＷＳまでの距離Ｌ（ｔ）を求める。

加速度センサの取得値（出力）は誤差を含むため、それぞれの連立方程式が解を持たない場合もある。一例として、２つ以上の連立方程式で解が存在した場合は、その座標が最も近い２つの座標ペアの平均値（ｘ，ｙ）を下記式（１８）の右辺に代入する。２つ以上の方程式で解が存在しない場合は、取得した加速度及び角速度の精度が低いと判断して、この計算結果は採用せず、その直前に採用した計算結果を保持して次の計算処理を実行する。式（１８）の左辺Ｒroll（ｔ）は、前述したように、センサＡＯから交点ＷＳまでの位置ベクトルである。

なお、Ｒroll（ｔ）を決定する条件としては、２つ以上の連立方程式で解が存在した場合に限られない。例えば、ある誤差範囲内で３つの連立方程式で解が存在した場合としてもよい。あるいは、１つ以上の連立方程式で解が存在した場合であってもよい。また、この計算結果を採用しない場合にどのように対応するかについて、直前に採用した計算結果を保持することに限られない。例えば、それまでに採用された、いくつかの計算結果の平均を採用してもよい。

式（１８）によりＲroll（ｔ）が決定されると、次に下記式（１９）により、撮像素子７０の中心位置７０１から交点ＷＳまでの位置ベクトルＲroll0を求める。

なお、式（１９）は位置ベクトルを求める式であるため、結像光学系２０の交点ＷＳ回りのロール旋回角度情報は含まれていないが、ロール旋回角度情報は第２角速度センサ５２の出力を積分することで取得することができる。

位置ベクトルＲroll0（ｔ）とロール旋回ベクトルωroll（ｔ）は、撮像素子７０のブレの移動方向と移動量を表す。図８は、交点ＷＳから見た撮像素子７０の中心位置の移動を示す図である。撮像素子７０の中心位置は、矢印７１０に沿って、中心位置７０１から中心位置７０２に移動する。矢印７１０で示すベクトルはロール旋回ベクトルωroll（ｔ）である。交点ＷＳから中心位置７０１までの位置ベクトルは、ベクトルＲroll0の方向を逆にした下記式（２０）により表される。

以上のように位置ベクトル－Ｒroll0（ｔ）とロール旋回ベクトルωroll（ｔ）が求まると、第２算出部６２は、ブレ補正部３０が実行する駆動操作に関する情報を算出する。具体的には、第２算出部６２は、補正レンズ３１を移動させる方向とその移動量を算出する。

図９は、ブレ補正のために補正レンズを移動させる方向を示す図である。矢印７１１は、ブレ補正のために補正レンズ３１を移動させる移動ベクトルである。この移動ベクトル７１１は次のように算出することができる。まず、図９に示すベクトル－Ｒroll0の大きさＬroll0を求める。Ｌroll0は、下記式（２１）で表される。具体的には、Ｌroll0は下記式（２２）を用いて算出される。

次に、第２算出部６２は、算出されたＬroll0が下記式（２３）を満たすか否かを判定する。

ここで、Ｌimgは、図９に示すように、撮像素子７０の中心位置７０１から頂点位置までの大きさである。式（２３）を満たすか否かを判定する理由は次の通りである。即ち、Ｌroll0がＬimgよりも小さい場合は、ロール旋回軸がイメージサークル内にあることを意味する。その場合、本実施形態でいうロール旋回ブレの量が小さいため、補正効果も小さくなるためである。

イメージサークルとは、撮像素子７０に外接する外接円の領域である。ブレ補正においては、撮像素子７０の領域のうち、ロール旋回軸（交点ＷＳ）からの距離が遠い側の領域を最適化するようにブレを補正することが好ましい。ロール旋回軸がイメージサークルの外部にある場合、ロール旋回軸から遠い側、つまり、撮像素子７０の中心よりも外側のほうがブレ量が大きい。イメージサークル全体としての補正効果は、補正量と面積の積で評価することができる。交点ＷＳから外側のほうが、内側よりも単位角度あたりの面積が大きい。そのため、撮像素子７０の領域のうち、交点ＷＳからの距離が遠い側の領域の補正効果が最適化されるように補正したほうが、画像全体として補正の効果が高くなる。

第２算出部６２は、式（２３）を満たす場合は以下の補正処理を実行し、満たさない場合は補正処理を実行しない。なお、第２算出部６２は、式（２３）の判定を行わずに、常に補正処理を実行してもよい。あるいは、補正処理を実行するか否かについて、異なる判定基準を設けてもよい。

補正処理を実行する場合は、第２算出部６２は、下記式（２４）、（２５）から、移動ベクトル７１１の成分であるＣｘ（ｔ）とＣｙ（ｔ）を求める。つまり、Ｃｘ（ｔ）は、ｘ軸方向の補正レンズ３１の移動量、Ｃｙ（ｔ）はｙ軸方向の補正レンズ３１の移動量である。式（２５）の補正係数ｋ_VRは、補正レンズ３１の単位移動量あたりの、撮像素子７０の撮像面における像面移動量（無次元定数）である。

第２算出部６２は、算出したＣｘ（ｔ）とＣｙ（ｔ）を、制御部８０を介してレンズ駆動部３２に送信する。レンズ駆動部３２は、補正レンズ３１をｘ軸方向、ｙ軸方向にそれぞれＣｘ（ｔ）とＣｙ（ｔ）だけ移動させるように補正レンズ３１を駆動操作する。ブレ補正部３０は、このような処理により、ブレ補正を実行する。

以上説明したように、ブレ補正部３０は、補正レンズ３１を移動させることによりロール旋回ブレを補正することができる。

（変形例２）
上述の実施形態２では、ブレ補正部３０が補正レンズ３１を移動させてロール旋回ブレを補正する例を説明した。しかし、ブレ補正部３０が撮像素子７０を移動させてロール旋回ブレを補正してもよい。この場合、第２算出部６２は、撮像素子７０を移動させる方向とその移動量を算出する。以下に、撮像素子７０を移動させる場合について説明する。

図１０は、撮像素子７０のブレによる移動方向を示す図である。ブレ前の撮像素子７０の位置を点線で示し、ブレ後の撮像素子７０の位置を実線で示している。ただし、撮像素子７０は、防振装置７３に取り付けられているものとする。図８で説明したように、撮像素子７０の中心位置は、矢印７１０で示すロール旋回ベクトルωroll（ｔ）に沿って、中心位置７０１から中心位置７０２に移動する。この場合、ブレ補正部３０は、撮像素子７０の中心位置が７０２から７０１に戻るように防振装置７３を移動させる。

中心位置７０２から中心位置７０１までの移動ベクトルは、図９を用いて説明した手順で算出することができる。ただし、撮像素子７０を移動させる場合は、補正係数ｋ_VRを用いる必要はない。以上のように、撮像素子７０を移動させることにより、ブレ補正を行ってもよい。なお、本変形例２においては、撮像素子７０を、交点ＷＳを中心に回転させてもよい。本変形例２においても、実施形態２と同様の効果を得ることができる。

〔ソフトウェアによる実現例〕
ブレ補正装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の演算部６０及び制御部８０としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各部の機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各部として機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

〔まとめ〕
本実施形態に係るブレ補正装置は、撮像装置の画像のブレを補正するブレ補正装置であって、被写体像を撮像素子の撮像面に結像させる結像光学系と、ロール旋回による前記被写体像のブレを補正するブレ補正部と、前記結像光学系の加速度情報を取得する少なくとも１つの加速度センサと、前記結像光学系の角速度情報を取得する少なくとも１つの角速度センサと、前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出する演算部と、を備える。

このような構成により、撮像装置において、ロール旋回により生じる画像のブレを補正することができる。

また、本実施形態に係るブレ補正装置において、前記少なくとも１つの加速度センサは、前記結像光学系の光軸をｚ軸とし、当該光軸に直交するとともに互いに直交する２つの軸をｘ軸及びｙ軸として、当該３軸の原点におけるｘ軸方向及びｙ軸方向の加速度をそれぞれ検出する少なくとも１つの第１加速度センサと、ｘ軸上及びｙ軸上のそれぞれ所定の位置における３軸方向の加速度を検出する少なくとも２つの第２加速度センサと、であり、前記少なくとも１つの角速度センサは、前記ｘ軸、ｙ軸、及びｚ軸のそれぞれの軸回りの角速度を検出する第１角速度センサであり、前記演算部は、前記加速度情報と前記角速度情報とを用いて、前記距離を示す情報である前記ロール旋回軸の座標と、前記ロール旋回軸回りの回転量を算出する第１算出部と、前記座標と前記回転量とに基づいて、前記ブレ補正部が実行する駆動操作に関する情報を算出する第２算出部と、を含んでもよい。

このような構成により、撮像装置において、ロール旋回により生じる画像のブレを補正することができる。

また、本実施形態に係るブレ補正装置において、前記距離は、前記第１加速度センサからの前記距離及び前記第２加速度センサからの前記距離に基づいて導出されてもよい。

このような構成により、結像光学系の光軸から結像光学系のロール旋回軸までの距離をより精度良く算出することができ、ひいてはより精度の高いブレ補正を実行することができる。

また、本実施形態に係るブレ補正装置において、前記ブレ補正部が実行する前記駆動操作は、前記結像光学系の補正レンズ又は前記撮像素子を移動させる操作であってもよい。

このような構成により、撮像装置の交換レンズにブレ補正装置を設けてもよく、撮像装置の本体にブレ補正装置を設けてもよい。交換レンズにブレ補正装置を設ける場合は、撮像装置本体の構成にかかわらず、ブレ補正を行うことができる。撮像装置の本体にブレ補正装置を設ける場合は、交換レンズにブレ補正装置が配置されていなくてもブレ補正を行うことができる。また、撮像素子を回転させてブレ補正をすることが可能となる。

また、本実施形態に係るブレ補正装置において、前記ブレ補正部は、前記撮像素子の領域のうち、前記ロール旋回軸からの距離が遠い側の前記領域を最適化するようにブレを補正してもよい。

このような構成により、イメージサークル全体としてのブレ補正を最適化することができる。

本実施形態に係るブレ補正方法は、結像光学系の加速度情報を取得するステップと、結像光学系の角速度情報を取得するステップと、前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出するステップと、を含む。

本実施形態に係るブレ補正プログラムは、コンピュータに、結像光学系の加速度情報を取得する処理と、結像光学系の角速度情報を取得する処理と、前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出する処理と、を実行させる。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１，１Ａ，２・・・撮像装置
１０・・・ブレ補正装置
２０・・・結像光学系
３０・・・ブレ補正部
３１・・・補正レンズ
３２・・・レンズ駆動部
４０・・・加速度センサ
４１・・・第１加速度センサ
４２・・・第２加速度センサ
５０・・・角速度センサ
５１・・・第１角速度センサ
６０・・・演算部
６１・・・第１算出部
６２・・・第２算出部
７０・・・撮像素子
７１・・・撮像素子駆動部
７３・・・防振装置
８０・・・制御部

Claims (7)

1. 撮像装置の画像のブレを補正するブレ補正装置であって、
   被写体像を撮像素子の撮像面に結像させる結像光学系と、
   ロール旋回による前記被写体像のブレを補正するブレ補正部と、
   前記結像光学系の加速度情報を取得する少なくとも１つの加速度センサと、
   前記結像光学系の角速度情報を取得する少なくとも１つの角速度センサと、
   前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出する演算部と、を備える、ブレ補正装置。
2. 前記少なくとも１つの加速度センサは、
   前記結像光学系の光軸をｚ軸とし、当該光軸に直交するとともに互いに直交する２つの軸をｘ軸及びｙ軸として、当該３軸の原点におけるｘ軸方向及びｙ軸方向の加速度をそれぞれ検出する少なくとも１つの第１加速度センサと、
   ｘ軸上及びｙ軸上のそれぞれ所定の位置における３軸方向の加速度を検出する少なくとも２つの第２加速度センサと、であり、
   前記少なくとも１つの角速度センサは、前記ｘ軸、ｙ軸、及びｚ軸のそれぞれの軸回りの角速度を検出する第１角速度センサであり、
   前記演算部は、
   前記加速度情報と前記角速度情報とを用いて、前記距離を示す情報である前記ロール旋回軸の座標と、前記ロール旋回軸回りの回転量を算出する第１算出部と、
   前記座標と前記回転量とに基づいて、前記ブレ補正部が実行する駆動操作に関する情報を算出する第２算出部と、を含む、請求項１に記載のブレ補正装置。
3. 前記距離は、前記第１加速度センサからの前記距離及び前記第２加速度センサからの前記距離に基づいて導出される、請求項２に記載のブレ補正装置。
4. 前記ブレ補正部が実行する前記駆動操作は、前記結像光学系の補正レンズ又は前記撮像素子を移動させる操作である、請求項２又は３に記載のブレ補正装置。
5. 前記ブレ補正部は、前記撮像素子の領域のうち、前記ロール旋回軸からの距離が遠い側の前記領域を最適化するようにブレを補正する、請求項１から４のいずれか１項に記載のブレ補正装置。
6. 結像光学系の加速度情報を取得するステップと、
   結像光学系の角速度情報を取得するステップと、
   前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出するステップと、を含む、ブレ補正方法。
7. コンピュータに、
   結像光学系の加速度情報を取得する処理と、
   結像光学系の角速度情報を取得する処理と、
   前記加速度情報と前記角速度情報とから、前記結像光学系の光軸から前記結像光学系のロール旋回軸までの距離を示す情報を導出する処理と、を実行させるプログラム。
   

Images