JP2019135818A

JP2019135818A - 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Info

Publication number: JP2019135818A
Application number: JP2018018481A
Authority: JP
Inventors: 桑原　宗市; Soichi Kuwabara; 宗市桑原
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-02-05
Filing date: 2018-02-05
Publication date: 2019-08-15
Also published as: US11445114B2; WO2019151030A1; US20210037186A1

Abstract

【課題】動きにより画像が受ける影響を確実に補正する。【解決手段】状況判断部は、光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況を判断し、露光制御部は、状況判断部による判断結果に従って、撮像部の露光時間に対する制御を少なくとも行う。そして、前記露光時間による１フレームの露光期間に応じて、画像に表れるブレを光学的に補正するように光学系または撮像部に対する相対的な駆動が行われ、フレーム間で露光が行われない非露光期間に応じて、露光期間において生じた光学系および撮像部の相対位置関係をリセットする駆動が行われる。本技術は、例えば、積層型のCMOSイメージセンサに適用できる。【選択図】図１７

Description

本開示は、撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関し、特に、撮像部の動きにより画像が受ける影響を確実に補正することができるようにした撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法に関する。

従来、撮像装置において手振れを補正する技術として、光学式手振れ補正（OIS：Optical Image Stabilizer）または電子式手振れ補正（EIS：Electronic Image Stabilization）が利用されている。光学式手振れ補正では、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて、撮像素子上の画像の位置をずらすことによりブレを補正することができる。電子式手振れ補正では、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正することができる。

ところで、実際の手振れの主な原因は回転の動きであり、平行移動による影響は小さく、特に、被写体までの距離が遠くなればなるほど、平行移動による影響は小さくなる。光学式手振れ補正技術においては、この回転の動きをレンズまたは撮像素子の平行移動で補正するため、周辺が変形してしまうことがあった。同様に、電子式手振れ補正においても、切り出し位置を平行に移動させる補正であるため、周辺が変形してしまうという問題があった。

また、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのようなローリングシャッタを用いた撮像素子で発生する画素のラインごとの露光時間のズレによる一画面内での移動量の違いによる変形（フォーカルプレーン現象）に対する対応は行われていなかった。

そこで、特許文献１に開示されているように、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して手振れ補正を行うことができる撮像装置が提案されている。この手振れ補正を採用することで、中央から周辺まで非常に精度良く手振れを補正することができるのに加え、フォーカルプレーン現象による変形も補正することができる。

国際公開第２０１４／１５６７３１号パンフレット

ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、上述した特許文献１の手振れ補正を行うことで、手振れによる影響をほぼ完全に補正して、画像にブレおよび変形が発生することを抑制することができる。しかしながら、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、上述した特許文献１の手振れ補正を行うことで、画像に位置的なズレおよび変形が発生することを補正することはできるものの、露光中の点像のブレ（以下、露光時間内ブレまたは露光ブレと称する）の発生を抑制することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、露光時間内ブレの発生を抑制し、撮像部の動きにより画像が受ける影響を確実に補正することができるようにするものである。

本開示の一側面の撮像装置は、光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況を判断する状況判断部と、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部とを備え、前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる。

本開示の一側面の固体撮像素子は、光を集光する光学系を介して撮像を行って画像を取得する撮像部が形成される半導体チップと、前記撮像部の動きの状況を判断する状況判断部、および、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部を有するロジック部が形成される半導体チップとが積層されて構成され、前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる。

本開示の一側面のカメラモジュールは、光を集光する光学系と、前記光学系を介して撮像を行って画像を取得する撮像部と、前記撮像部の動きの状況を判断する状況判断部と、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部とを備え、前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる。

本開示の一側面の駆動制御部は、光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況の判断結果に従って、前記撮像部の露光時間に対する制御が少なくとも行われ、その露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動を制御し、前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動を制御する。

本開示の一側面の撮像方法は、光を集光する光学系を介して撮像を行って画像を取得する撮像部を備える撮像装置が、前記撮像部の動きの状況を判断することと、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行うこととを含み、前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる。

本開示の一側面においては、光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況が判断され、その判断結果に従って、撮像部の露光時間に対する制御が少なくとも行われ、露光時間による１フレームの露光期間に応じて、画像に表れるブレを光学的に補正するように光学系または撮像部に対する相対的な駆動が行われ、フレーム間で露光が行われない非露光期間に応じて、露光期間において生じた光学系および撮像部の相対位置関係をリセットする駆動が行われる。

本開示の一側面によれば、撮像部の動きにより画像が受ける影響を確実に補正することができる。

レンズ歪の影響を受けることによって画像に発生する歪の例を示す図である。撮像装置に与える振動条件を示す図である。ブレを補正せずに出力される画像の一例を示す図である。通常の電子式手振れ補正による補正処理が施された画像の一例を示す図である。光学式手振れ補正による補正処理が施された画像の一例を示す図である。特許文献１で提案されている手振れ補正による補正処理が施された画像の一例を示す図である。特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われない画像の一例を示す図である。特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪そのものに対する補正が行われる画像の一例を示す図である。長い露光時間で撮像が行われる場合に、ブレを補正せずに出力される画像の一例を示す図である。長い露光時間で撮像が行われる場合に、特許文献２で提案されている手振れ補正による補正処理が施され、レンズ歪に対する補正のある画像の一例を示す図である。長い露光時間で撮像が行われる場合に、光学式手振れ補正による補正処理が施された画像の一例を示す図である。本技術で用いられる手振れ補正による補正処理が施された画像の一例を示す図である。本技術で用いられる手振れ補正について説明するための撮像装置の構成例を示すブロック図である。信号処理回路による電子式手振れ補正による補正処理を説明する図である。撮像装置による撮像方法において実行される手振れ補正処理を説明するフローチャートである。画像の補正結果について説明する図である。本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。第１の振動状況における露光制御およびOIS制御情報について説明する図である。第１の振動状況における露光制御を行っているときに補正可能な範囲を超えた振動について説明する図である。第２の振動状況における露光制御およびOIS制御情報について説明する図である。第２の振動状況における露光制御を行っているときに補正可能な範囲を超えた振動について説明する図である。第３の振動状況における露光制御およびOIS制御情報について説明する図である。第１の露光時間制御形態における振動状況の遷移の一例を説明する図である。第１の露光時間制御形態での手振れ補正処理を説明するフローチャートである。第２の露光時間制御形態における振動状況の遷移の一例を説明する図である。第２の露光時間制御形態での手振れ補正処理を説明するフローチャートである。第２の露光時間制御形態における振動状況の遷移の変形例を説明する図である。ピッチ方向、ヨー方向、およびロール方向の定義を示す図である。イメージセンサを使用する使用例を示す図である。

まず、本技術を適用した撮像装置について説明する前に、図１乃至図１２を参照して、撮像装置の振動および手振れ補正処理について説明する。

＜撮像装置の振動および手振れ補正処理について＞

図１には、撮像装置により被写体を撮像したときに、レンズ歪の影響を受けることによって画像に発生する歪の例が示されている。

例えば、図１のＡに示すような格子状の模様を被写体として撮像を行うと、図１のＢに示すように、周辺部分が内側に縮むような糸巻き型の歪が発生したり、図１のＣに示すように、周辺部分が外側に伸びるような樽型の歪が発生したりする。

以下では、図１のＢに示すような糸巻き型のレンズ歪のある撮像装置において、図２に示すような振動条件（ヨー方向の振り角：1.5度、ピッチ方向の振り角：1.2度）で振動を与えながら撮像を行ったときに画像に発生するブレについて説明する。図３乃至図１２の左側には、図２に示す振動の１周期において、振り角が最小となる付近（例えば、振り角が０度となる２点）、および、振り角が最大となる付近（例えば、ヨー方向の振り角が1.5度および-1.5度となる２点）で撮像される４枚の画像が示されている。また、図３乃至図１２の右側には、それらの４枚の画像を重ね合わせた画像が示されている。

図３には、振動に対するブレを補正する補正処理が施されずに出力される画像の一例が示されている。

図３に示すように、撮像装置の振動によって、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生している。

図４には、通常の電子式手振れ補正による補正処理が施された画像の一例が示されている。ここで、通常の電子式手振れ補正とは、撮像素子により撮像された画像を切り出して出力画像とし、その切り出し位置をブレ量に応じてずらすことによりブレを補正するものであり、上述した特許文献１、および、後述する特許文献２の補正処理とは異なるものである。

図４の左側に示すように、通常の電子式手振れ補正による補正処理を施すことによって、ブレ量に応じて切り出し位置がずらされた画像が出力される。従って、これらの画像を重ね合わせたとき、図４の右側に示すように、フレーム間の画像の画面中央の位置が一致するように画像が補正される。しかしながら、通常の電子式手振れ補正による補正処理では、ローリングシャッタや手振れによる周辺変形を補正することはできなかった。

図５には、光学式手振れ補正による補正処理が施された画像の一例が示されている。

図５の左側に示すように、光学式手振れ補正による補正処理を施すことによって、ブレ量に応じてレンズまたは撮像素子を相対的に平行に移動させて撮像された画像が出力される。従って、これらの画像を重ね合わせたとき、図５の右側に示すように、フレーム間の画像の画面中央の位置を補正することができるとともに、ローリングシャッタの影響も補正することができる。しかしながら、この場合、手振れによる周辺変形を補正することはできなかった。

なお、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）では、周辺変形やレンズ歪の影響は残ってしまうものの、露光中も振動に対して追従するように補正処理が施されることより、露光時間内ブレの発生は抑制される。

図６には、上述した特許文献１で提案されている手振れ補正による補正処理が施された画像の一例が示されている。特許文献１の手振れ補正では、通常の電子式手振れ補正のように切り出し位置をずらすだけでなく、画像面内での位置による移動量の違いや、一画面内での露光時間のズレによる移動量の違いに対応して、画素位置ごとに変形が行われる。

図６に示すように、特許文献１で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。なお、この補正処理では、レンズ歪の影響を考慮していないため、実際の撮影結果ではレンズ歪の影響による誤差があり、周辺部で多少の位置ズレが発生している。なお、この位置ズレは、レンズ歪の形によって様々なものとなる。

そこで、ＰＣＴ／ＪＰ２０１６／０７０２６１（以下、特許文献２と称する）で先に出願したように、レンズ歪の影響も考慮して手振れ補正を行うことができる補正処理を提案している。

図７および図８を参照して、特許文献２で提案されている手振れ補正による補正処理が行われた画像について説明する。

図７には、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れによる変形に対する補正を行う一方で、レンズ歪そのものに対する補正を行わない画像の一例が示されている。

図７に示すように、特許文献２で提案されている手振れ補正による補正処理を施すことによって、画像の中央から周辺まで確実にブレが補正される。

図８には、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れによる変形に対する補正を行うとともに、レンズ歪そのものに対する補正を行った画像が示されている。

図８に示すように、特許文献２で提案されている手振れ補正による補正処理を施すことによって、レンズ歪が補正されたうえで、画像の中央から周辺まで確実にブレが補正される。

ところで、日中の屋外などにおいて短い露光時間で撮像が行われる場合には、特許文献２で提案されている手振れ補正による補正処理によって、ほぼ完璧に手振れ補正を行うことができる。これに対し、暗所や夜間などにおいて長い露光時間で撮像が行われる場合には、露光時間内ブレが発生する。

図９には、長い露光時間で撮像が行われる場合に、図３と同様に、振動によるブレを補正せずに出力される画像が示されている。

図９に示すように、長い露光時間で撮像が行われることにより、位置ズレや、周辺変形、ローリングシャッタの影響を受けることにより、画像面内の位置に応じた様々な変形が発生しているのに加えて、露光時間内ブレが発生している。

図１０には、長い露光時間で撮像が行われる場合に、特許文献２の手振れ補正による補正処理が施された画像であって、レンズ歪の影響を受けて発生する手振れによる変形に対する補正を行うとともに、レンズ歪に対する補正を行った画像が示されている。

特許文献２で提案されている手振れ補正による補正処理によっても、補正後の画像それぞれで位置は一致しているものの、露光時間内ブレが発生することより、手振れが確実には補正されていないような画像となってしまう。即ち、レンズ歪が補正されたうえで、中央から周辺まで手振れによる位置ずれや変形などが補正できている一方で、露光時間内ブレがある画像となっている。

また、図１１には、長い露光時間で撮像が行われる場合に、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）による補正処理が施された画像が示されている。

図１１に示すように、光学式手振れ補正による補正処理では、手振れによる周辺変形を補正することはできないが、露光時間中にもレンズおよび撮像素子が相対的に移動されることより、露光時間内ブレの発生は抑制することができる。

そこで、本願出願人は、後述する図１３の撮像装置１１および図１７の撮像装置１１Ａのように、露光時間が長い場合であっても、手振れが画像に与える影響を抑制して、より確実に画像のブレを補正する補正処理を提案する。この補正処理により、レンズ歪も補正されたうえで、中央から周辺まで確実にブレを補正することができ、かつ、露光時間内ブレの発生を抑制することができる。

即ち、図１２に示すように、本技術を適用した補正処理を施すことによって、レンズ歪も補正されたうえで、中央から周辺まで確実にブレが補正できており、かつ、露光時間内ブレの発生も抑制することができる。なお、露光時間中の周辺変形による露光ブレは光学式手振れ補正では抑制することができないため、振動条件と露光時間によっては、画像の周辺に若干の露光時間内ブレが残ってしまうことが想定されるが、通常の撮影であればほとんど目立たない程度に露光時間内ブレを抑制することができる。

また、図１２には、図８と同様に、レンズ歪そのものに対する補正を行った画像が示されている。なお、図示しないが、図７と同様に、レンズ歪そのものに対する補正を行わない場合にも、中央から周辺まで確実にブレが補正でき、かつ、露光時間内ブレの発生も抑制することができる。

＜本技術で用いられる手振れ補正＞

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。まず、図１３乃至図１６を参照して、本技術で用いられる手振れ補正について説明する。

図１３は、本技術で用いられる手振れ補正について説明するための撮像装置の構成例を示すブロック図である。

図１３に示すように、撮像装置１１は、レンズユニット１２、イメージセンサ１３、モーションセンサ１４、OISドライバ１５、OISアクチュエータ１６、信号処理回路１７、ディスプレイ１８、および記録媒体１９を備えて構成される。

レンズユニット１２は、１枚または複数枚のレンズを有して構成され、被写体からの光を集光して、イメージセンサ１３が有する撮像部２１のセンサ面に被写体の像を結像する。

イメージセンサ１３は、撮像部２１が形成される半導体チップと、ロジック部２２が形成される半導体チップとが積層されて構成されており、OISドライバ１５からの出力を取り込むためのインタフェースが実装されている。

撮像部２１は、レンズユニット１２により被写体からの光が集光され、複数の画素が行列状に配置されたセンサ面に結像される被写体の像を撮像し、その撮像により取得される画像を出力する。

ロジック部２２は、撮像部２１により撮像される画像に、OISドライバ１５から出力されるレンズユニット１２の位置情報および角速度データを、それらを画像上の座標と同期させるタイミングを示すタイミング情報とともに付加した画像データを、信号処理回路１７に供給する。

具体的には、ロジック部２２は、OISドライバ１５から所定のサンプリング周波数（例えば、１ｋＨｚ）で、モーションセンサ１４により検出される角速度データと、OISアクチュエータ１６による駆動に従ったレンズユニット１２の位置情報を受け取る。そして、ロジック部２２は、レンズユニット１２の位置情報および角速度データ、並びに、それらを受け取ったタイミングにおける画像データのＨラインカウンタを、画像データに付加して出力する。もちろん、レンズユニット１２の位置情報、角速度データ、およびＨラインカウンタを画像データに付加せずに、それらを個別に画像データとともに出力してもよい。このように、画像データの水平方向の１ライン単位で、レンズユニット１２の位置情報および角速度データが対応付けられることで、信号処理回路１７において、角速度データおよび位置情報と、画像の垂直方向の位置との同期をとることができる。即ち、Ｈラインカウンタは、それらの同期を取るためのタイミング情報として利用される。

ここで、画像データのＨラインカウンタは、例えば、決められたタイミングでフレームごとにリセットし、水平方向の１ラインを読む時間ごとに１増えるようなカウンタであり、画像の垂直方向位置のタイミング合わせに利用される。なお、このＨラインカウンタは、画像を読み込んでいないブランク区間においてもカウントされる。また、タイミング情報としては、画像データのＨラインカウンタを利用する他、例えば、タイムスタンプなどの時刻情報を利用してもよい。なお、角速度データおよび位置情報と、画像の垂直方向の位置との同期を取る方法については、上述の特許文献２で詳細に説明されている。

モーションセンサ１４は、撮像部２１の動きを物理的に（画像処理によるのではなく）検出して、その動きを表す情報を出力する。例えば、モーションセンサ１４は、３軸方向の角速度を検出可能なジャイロセンサにより構成される場合、撮像装置１１の動きを表す情報として、それらの角速度により表される角速度データを出力する。

なお、モーションセンサ１４としてOIS制御用のものを用いる他、例えば、単体のジャイロセンサや、OIS制御用と共用のジャイロセンサ（即ち、２つのポートを有するもの）などを用いることができる。また、モーションセンサ１４は、ジャイロセンサに限定されることなく、３軸方向の角速度データに加え、加速度データを出力可能な６軸センサなどを使用することができる。

OISドライバ１５は、モーションセンサ１４から出力される角速度データに基づいて、撮像部２１により撮像される画像におけるブレの発生を、光学的に打ち消すようにレンズユニット１２を移動させる移動量を算出する。そして、OISドライバ１５は、算出した移動量をOISアクチュエータ１６に供給し、移動量に従った所定位置にレンズユニット１２が配置されるように制御を行う。さらに、OISドライバ１５は、OISアクチュエータ１６による駆動に従ったレンズユニット１２の位置情報を取得し、レンズユニット１２の位置情報および角速度データを、イメージセンサ１３に出力する。

OISアクチュエータ１６は、OISドライバ１５から供給される移動量に従って、レンズユニット１２を駆動することで、イメージセンサ１３により撮像される画像に発生する手振れを光学的に補正する。そして、OISアクチュエータ１６は、その駆動に従ったレンズユニット１２の位置を検出し、レンズユニット１２の位置情報をOISドライバ１５に供給する。

信号処理回路１７は、レンズユニット１２の位置情報を考慮に入れながら、特許文献２で提案されている電子式手振れ補正と同様の補正処理を行うように構成されている。即ち、信号処理回路１７は、イメージセンサ１３から供給される画像データに付加されているレンズユニット１２の位置情報および角速度データに基づいて、画像上の座標ごとに同期させたレンズユニット１２の位置情報および角速度データを基に補正する関数に従って、撮像部２１の動きが画像に与える影響（例えば、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正する信号処理を施す。なお、信号処理回路１７による補正処理については、図１４を参照して後述する。

ディスプレイ１８は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示部を有して構成され、信号処理回路１７から出力される画像を表示する。

記録媒体１９は、撮像装置１１に内蔵型、または、撮像装置１１に着脱可能なリムーバブル型のメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））であり、信号処理回路１７から出力される画像を記録する。

このように撮像装置１１は構成されており、光学的にブレの発生が抑制されるようにイメージセンサ１３により撮像された画像に対して、信号処理回路１７において電子式手振れ補正による補正処理を施すことができる。これにより、撮像装置１１は、上述の図１２に示したように、露光時間内ブレの発生を抑制して、より確実に画像のブレ（手振れによって発生する位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形など）を補正することができる。

なお、本実施の形態では、OISアクチュエータ１６によりレンズユニット１２が駆動されるバレルシフト型の光学式手振れ補正について説明するが、撮像装置１１は、OISアクチュエータ１６によりイメージセンサ１３が駆動されるセンサシフト型の光学式手振れ補正を採用してもよい。この場合、OISアクチュエータ１６は、レンズユニット１２の位置情報に替えて、イメージセンサ１３の位置情報をOISドライバ１５に供給する。

また、図１３の撮像装置１１では、モーションセンサ１４から出力される角速度データがOISドライバ１５を介してイメージセンサ１３に供給されるように構成されている。これに対し、撮像装置１１は、例えば、モーションセンサ１４が角速度データの出力に用いられる出力ポートを２つ備え、モーションセンサ１４からイメージセンサ１３およびOISドライバ１５それぞれに角速度データが供給されるような構成としてもよい。この場合、OISドライバ１５からイメージセンサ１３への角速度データの供給は行われない。

または、例えば、撮像装置１１は、２つのモーションセンサ１４を備えて構成してもよく、この場合、２つのモーションセンサ１４からイメージセンサ１３およびOISドライバ１５それぞれに角速度データが供給されるような構成となる。また、この場合も、OISドライバ１５からイメージセンサ１３への角速度データの供給は行われない。

さらに、図１３の撮像装置１１において、イメージセンサ１３および信号処理回路１７は異なるブロックで示されているが、例えば、イメージセンサ１３の内部で、信号処理回路１７による処理を行うような構成を採用してもよい。即ち、イメージセンサ１３は、信号処理回路１７が形成される半導体チップが積層された積層構造とすることができる。

図１４を参照して、信号処理回路１７による電子式手振れ補正による補正処理について説明する。

図１４に示すように、イメージセンサ１３の出力画像中の光学中心を位置Ｏ（０，０）とする。そして、イメージセンサ１３が、ピッチ方向に回転角−θｐ（rad）で回転し、ヨー方向に回転角−θｙ（rad）で回転し、ロール方向に回転角−θｒ（rad）で回転したとする。このような回転によって、イメージセンサ１３上で撮像された点ｐ（ｘ，ｙ）が、点Ｐ（Ｘ，Ｙ）に移動するものとする。

さらに、点ｐ０（ｘ０，ｙ０）を、点ｐ（ｘ，ｙ）の歪みを補正した点の座標とし、点Ｐ０（Ｘ０，Ｙ０）を、点Ｐ（Ｘ，Ｙ）の歪み補正した点の座標とすると、上述した特許文献１に開示されている手振れ補正関係式、即ち、次の式（１）が成り立つ。

なお、式（１）において、焦点距離Ｌは、イメージセンサ１３の光学中心位置での焦点距離を画素数に換算したものであり、ピッチ方向またはヨー方向に回転角−θで回転したときの光学中心の位置Ｏ（０，０）の移動量ｄを用いて、次の式（２）を満たす値となる。

また、上述した式（１）の手振れ補正関係式、即ち、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求める計算を関数Ｔとすると、点Ｐ０（Ｘ０，Ｙ０）は、次の式（３）で表される。

さらに、点ｐ（ｘ，ｙ）から点ｐ０（ｘ０，ｙ０）を求める計算、即ち、レンズ歪の影響を受けた画像上の点が、レンズ歪がなかった場合にどの位置にあるかを求める計算を関数Ｕとすると、点ｐ０（ｘ０，ｙ０）は、次の式（４）で表される。

また、点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求める計算、即ち、レンズ歪がなかった場合の画像上の点が、レンズ歪の影響を受けた画像上のどの位置にあるかを求める計算を関数Ｄとすると、点Ｐ（Ｘ，Ｙ）は、次の式（５）で表される。

そして、例えば、信号処理回路１７による補正処理によって、上述の図８に示したようなレンズ歪が補正された結果を出力する場合、出力画像上の点が、点ｐ０（ｘ０，ｙ０）であると考えればよい。即ち、出力画像中の各点に対して、その点ｐ０（ｘ０，ｙ０）の画素値として、点Ｐ（Ｘ，Ｙ）の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正された画像を得ることができる。

このとき、上述した式（３）の関数Ｔおよび式（５）の関数Ｄを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。即ち、式（３）の関数Ｔを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求め、さらに、式（５）の関数Ｄを用いて点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。ここで、関数Ｔおよび関数Ｄの合成関数を関数Ｆとすると、点Ｐ（Ｘ，Ｙ）は、次の式（６）で表される。

一方、例えば、信号処理回路１７による補正処理によって、上述の図７に示したようなレンズ歪が補正されない結果を出力する場合、出力画像上の点が、点ｐ（ｘ，ｙ）であると考えればよい。即ち、出力画像中の各点に対して、その点ｐ（ｘ，ｙ）の画素値として、点Ｐ（Ｘ，Ｙ）の画素値を用いることで、手振れ補正が施され、かつ、レンズ歪が補正されない画像を得ることができる。

このとき、上述した式（３）の関数Ｔ、式（４）の関数Ｕ、および式（５）の関数Ｄを用いて、点ｐ（ｘ，ｙ）から点Ｐ（Ｘ，Ｙ）を求めることができる。即ち、式（４）の関数Ｕを用いて、点ｐ（ｘ，ｙ）から点ｐ０（ｘ０，ｙ０）を求め、式（３）の関数Ｔを用いて、点ｐ０（ｘ０，ｙ０）から点Ｐ０（Ｘ０，Ｙ０）を求め、さらに、式（５）の関数Ｄを用いて点Ｐ０（Ｘ０，Ｙ０）から点Ｐ（Ｘ，Ｙ）を求めることができる。ここで、関数Ｔ、関数Ｕ、および関数Ｄの合成関数を関数Ｇとすると、点Ｐ（Ｘ，Ｙ）は、次の式（７）で表される。

なお、式（６）や式（７）で求められる点Ｐ（Ｘ，Ｙ）の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。

なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、および、ロール方向回転角−θｒ（rad）を用いて、それぞれの画素で画素値が算出される。

ところで、上述した式（６）の関数Ｆおよび式（７）の関数Ｇによる補正処理に、OISアクチュエータ１６がレンズユニット１２を移動させる移動量を加えることにより、光学式手振れ補正および電子式手振れ補正の補正処理が実現される。以下では、式（６）の関数Ｆを用いた補正処理について説明するが、式（７）の関数Ｇを用いた補正処理も、式（６）の関数Ｆを用いた補正処理と同様に実施することができる。

まず、光学式手振れ補正および電子式手振れ補正の補正処理が施された出力画像上の点ｐ０（ｘ０，ｙ０）の座標に対応する入力画像上（光学式手振れ補正がない場合の手振れ画像）上の座標を点Ｐ０（Ｘ０，Ｙ０）とする。このとき、上述したように、電子式手振れ補正により座標を計算する関数Ｆは、式（６）で表される。

また、光学式手振れ補正（バレルシフト方式またはセンサシフト方式）による補正処理は、画像の平行移動と考えてよい。このことより、画素ごとの光学式手振れ補正によるシフト量（ｘ_ｏｉｓ，ｙ_ｏｉｓ）を用いて、出力画像上の座標ｐ０（ｘ０，ｙ０）に対応する入力画像上の座標（Ｘ_ｏｉｓ，Ｙ_ｏｉｓ）は、次の式（８）により求められる。

従って、出力画像上の座標（ｘ０，ｙ０）の画素値として、入力画像上の座標（Ｘ_ｏｉｓ，Ｙ_ｏｉｓ）の画素値を出力することにより、光学式手振れ補正および電子式手振れ補正の補正処理が施された画像を出力することができる。

なお、式（８）で求められる座標（Ｘ_ｏｉｓ，Ｙ_ｏｉｓ）の座標値は、整数値になることは稀であるが、出力画像の画素値は近傍の座標の画素値から補間により算出することができる。また、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。

なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、ロール方向回転角−θｒ（rad）、および、光学式手振れ補正によるシフト量を用いて、それぞれの画素で画素値が算出される。

ここで、光学式手振れ補正において駆動されるレンズユニット１２の位置情報として、ホール素子を用いてレンズユニット１２の位置を読み出したホールデータを用いた場合について説明する。例えば、ロジック部２２は、モーションセンサ１４により検出される角速度データ、および、レンズユニット１２の位置を読み出したホールデータを、画像データのＨラインカウンタとともに画像データに付加して出力することができる。このとき、ロジック部２２は、モーションセンサ１４が角速度データを検出したタイミング、ホール素子がレンズユニット１２の位置を読み出したタイミングに対して、角速度データおよびホールデータを取得したタイミングまでのディレイ時間や、画素（Ｈライン）ごとの露光終了時間および露光時間の関係などに基づいて、それらを同期させるタイミングを調整する。

この場合、出力画像（手振れ補正後画像）上の座標（ｘ０，ｙ０）は、光学式手振れ補
正によるシフト量（ｘ_ｏｉｓ，ｙ_ｏｉｓ）、ホールデータの値（ｈｘ，ｈｙ）、光学式手振れ補正でレンズユニット１２がセンタにいるときのホールデータ（ｈｘ０，ｈｙ０）、および、画素数換算係数（ｋｘ，ｋｙ）を用いて、次の式（９）により求められる。

そして、式（９）により求められるシフト量（ｘ_ｏｉｓ，ｙ_ｏｉｓ）を、上述した式（８）に入力することで、出力画像（手振れ補正後画像）上の座標ｐ０（ｘ０，ｙ０）に対応する入力画像（OIS出力画像）上の座標（Ｘ_ｏｉｓ，Ｙ_ｏｉｓ）が定まる。これにより、その座標の画素値を用いることによって手振れ補正画像を作成することができる。ここで、式（９）は、ホールデータ（ｈｘ０，ｈｙ０）の変化量と画素位置の移動量とが直線関係にあるものとして変換処理が行われる一例を示している。これに対し、例えば、それらが直線関係にない場合においては、ホールデータ（ｈｘ０，ｈｙ０）の変化量と画素位置の移動量との関係に応じた変換処理が行われる。

なお、出力画像の各点の画素値を求めるのに、各点ごとに上述した関数を用いて入力画像上の対応する座標位置を計算することで、画素値を算出することができる。この他、例えば、出力画像を分割して、格子点のみ上述した関数を用いて入力画像上の対応する座標位置を計算し、格子点以外は補間計算により座標位置を求めて、画素値を算出してもよい。

なお、ここでは、原理を簡単に説明するために、あるタイミングにおける画素値の算出に関して説明しているが、実際には、１画面内の画素の撮影時刻は画素位置により異なるタイミングとなる。従って、その画素位置に応じたピッチ方向回転角−θｐ（rad）、ヨー方向回転角−θｙ（rad）、ロール方向回転角−θｒ（rad）、および、光学式手振れ補正によるシフト量（ホールデータの値（ｈｘ，ｈｙ））を用いて、それぞれの画素で画素値が算出される。

＜撮像装置の手振れ補正処理＞

図１５のフローチャートを参照して、撮像装置１１による撮像方法において実行される手振れ補正処理の一例について説明する。

例えば、撮像装置１１では、撮像部２１により１フレームの撮像が開始されると手振れ補正処理が開始され、ステップＳ１１において、OISドライバ１５は、モーションセンサ１４から出力される角速度データを取得する。

ステップＳ１２において、OISドライバ１５は、ステップＳ１１で取得した角速度データに基づいて、レンズユニット１２を移動させる移動量を算出し、OISアクチュエータ１６に供給する。

ステップＳ１３において、OISアクチュエータ１６は、ステップＳ１２でOISドライバ１５から供給された移動量に従って、レンズユニット１２を駆動することにより、光学的な手振れ補正を行う。

ステップＳ１４において、OISアクチュエータ１６は、ステップＳ１３で駆動したレンズユニット１２の位置を検出し、レンズユニット１２の位置情報をOISドライバ１５に供給する。そして、OISドライバ１５は、レンズユニット１２の位置情報と、ステップＳ１１で取得した角速度データとを、イメージセンサ１３のロジック部２２に供給する。

ステップＳ１５において、ロジック部２２は、ステップＳ１４でOISドライバ１５から供給されたレンズユニット１２の位置情報および角速度データを、それらを受け取ったタイミングに対応する画像データのＨラインカウンタとともに、撮像部２１から出力される画像データに付加して、信号処理回路１７に供給する。

ステップＳ１６において、信号処理回路１７は、ステップＳ１５で供給された画像データに対して、レンズユニット１２の位置情報および角速度データを用いて、それらに同期した画像データの座標ごとに位置を変換する関数に従って、電子的な手振れ補正処理を行う。その後、処理は終了され、撮像部２１により次の１フレームの撮像が開始されるたびに、同様の処理が繰り返して行われる。なお、連続して手ぶれ補正を行う動画等の撮影やプレビュー画面、静止画の連続撮影などでは、補正処理は終了することなく連続して行われる。また、ステップＳ１１からステップＳ１４までの処理は、あらかじめ設定されたサンプリング周波数で連続して行われる。

以上のように、撮像装置１１は、OISドライバ１５の制御に従った光学的な手振れ補正によって露光時間内ブレの発生を抑制し、信号処理回路１７による電子的な手振れ補正処理によって、手振れが画像に与える影響を抑制し、確実にブレを補正することができる。

図１６を参照して、このような撮像方法により撮像装置１１により撮像される画像の補正結果について説明する。

例えば、光学式手振れ補正により補正可能な角度が±1.5度であって、電子式手振れ補正により補正可能な角度が±６度であるとする。このとき、図１６に示すような振動に対し、光学式手振れ補正（OIS）による補正結果は、周波数の高い成分のみ補正することにより露光時間内ブレを抑制することができる。そして、光学式手振れ補正（OIS）および電子式手振れ補正（EIS）による補正結果は、低周波成分を補正することにより、ほぼ０度のままとすることができる。

このように、撮像装置１１は、光学式手振れ補正による補正処理を行いながら撮像し、その撮像された画像に対して、レンズユニット１２の位置情報（光学式手振れ補正の情報）および角速度データを用いて電子式手振れ補正を行うことができる。これにより、撮像装置１１は、画像面内での位置による移動量の違いや、一画面内での露光タイミングのズレによる移動量の違いに対応して、手振れ補正を行うことができる。

従って、撮像装置１１は、日中の屋外などにおいて短い露光時間で行われる撮像だけでなく、暗所や夜間などにおいて長い露光時間で行われる撮像であっても、露光時間内ブレの発生を抑制しつつ、周辺変形やレンズ歪、ローリングシャッタの影響を補正して、中央から周辺まで精度良く手振れを補正することができる。

また、一般的に、光学式手振れ補正において補正範囲を大きくするためには、装置を大きくする必要があったり、制御に大きなパワーが必要となったりすることより、補正範囲を大きくすることは困難であった。これに対し、撮像装置１１は、光学式手振れ補正において補正できない範囲を電子式手振れ補正により補うことによって、より広範囲の補正を行うことができる。さらに、光学式手振れ補正では、ローテーション方向の補正に対応することは困難であるのに対し、撮像装置１１は、ローテーション方向の補正も行うことができる。

なお、図１６では、手振れ補正の効果を理解し易くするように、電子式手振れ補正により振動をすべて止める手法が一例として示されている。この他、例えば、電子式手振れ補正により振動を抑制する手法としては、動画の動きが滑らかになる程度に振動を減衰するのに留めるようにする手法や、振動をまったく止めないようにする手法などがあり、それぞれの手法を適切に選択することができる。

＜本技術を適用した撮像装置の構成例＞

図１７は、本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。なお、図１７に示す撮像装置１１Ａにおいて、図１３の撮像装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。

図１７に示すように、撮像装置１１Ａは、図１３の撮像装置１１と同様に、レンズユニット１２、モーションセンサ１４、OISアクチュエータ１６、信号処理回路１７、ディスプレイ１８、記録媒体１９、撮像部２１を備えて構成される。

そして、撮像装置１１Ａは、イメージセンサ１３Ａのロジック部２２Ａと、OISドライバ１５Ａが、図１３の撮像装置１１と異なる構成となっている。ロジック部２２Ａは、図１３のロジック部２２の機能に加え、後述するOIS制御信号を生成する機能を備え、さらに露光制御部３１および振動状況判断部３２を有して構成される。

ロジック部２２Ａは、撮像部２１が露光を行っている露光タイミングに従って、光学式手振れ補正の実行または停止を指示するOIS制御信号を生成して、OISドライバ１５Ａに供給する。ロジック部２２Ａは、露光タイミングから算出される非露光期間が、あらかじめ定められた閾値期間（レンズユニット１２の位置と撮像部２１の位置との相対位置関係をリセット（センタまで戻すこと）し、次にOIS制御を開始するために必要な時間）より長いと判断した場合、非露光期間にOIS制御をリセットして露光開始直前にOIS制御を開始するようなOIS制御信号を生成する。このように、撮像部２１の露光タイミングに従ったOIS制御信号を発生する処理は、イメージセンサ１３Ａに内蔵されているロジック部２２Ａにおいて行うことが好適である。

例えば、ロジック部２２Ａは、撮像部２１の露光終了（読出し終了）タイミングと、次のフレームの露光開始タイミングと、閾値期間に基づいて、OIS制御信号を生成する。また、ロジック部２２Ａは、フレーム間の時間や、次のフレームの露光時間（自動露光機能などにより撮影条件で変化する）などの情報に基づいて、次のフレームの露光開始タイミングを特定することができる。これらのタイミングは、イメージセンサ１３Ａの内部で決定されて動作させているので、イメージセンサ１３Ａの外部でOIS制御信号を生成する構成と比較して、ロジック部２２ＡにおいてOIS制御信号を容易に生成することができる。

OISドライバ１５Ａは、ロジック部２２Ａから供給されるOIS制御信号に基づいて、OIS制御信号が光学式手振れ補正の停止を指示している場合には、レンズユニット１２をセンタ位置に引き戻す動作を行う。

このように構成される撮像装置１１Ａは、ロジック部２２ＡがOIS制御信号をOISドライバ１５Ａに供給することで、フレーム間で、光学式手振れ補正のセンタ戻し処理を行うことができる。これにより、撮像装置１１Ａは、各フレームの間で、レンズ位置をリセットしながら光学式手振れ補正を行うことができるので、各フレームにおいて常に、光学式手振れ補正により補正可能な角度の全範囲を用いた補正を行うことができる。

即ち、図１３の撮像装置１１では、光学式手振れ補正により補正可能な角度を超えた振幅の振動が発生した場合、その超えた範囲の振動中において露光時間内ブレを抑制することができなかった。これに対し、撮像装置１１Ａは、光学式手振れ補正のセンタ戻し処理を行うことで、大きな振幅の振動が発生しても、１フレーム内の振動が光学式手振れ補正の補正可能な角度以内であれば、露光時間内ブレの発生を抑制することができる。

例えば、撮像部２１の露光時間が長く設定され、非露光期間が閾値期間より短い場合、ロジック部２２Ａは、レンズユニット１２の位置と撮像部２１の位置との相対位置関係のリセットを指示しない。一方、非露光期間が閾値期間より長くなるよう撮像部２１の露光時間が設定された場合、ロジック部２２Ａは、レンズユニット１２の位置と撮像部２１の位置との相対位置関係のリセットを指示する。このように、ロジック部２２Ａは、撮像部２１の露光時間を制御することで、OIS制御信号をコントルールすることができる。

そこで、撮像装置１１Ａでは、ロジック部２２Ａにおいて、露光時間が長く光学式手振れ補正のセンタ戻し処理がされない場合に、１フレーム内の振動が光学式手振れ補正の補正可能な角度を超えるような振動状況のときは、その振動状況を判断し、露光時間を制御することで光学式手振れ補正のセンタ戻し処理を行うことができる。これにより、撮像装置１１Ａは、各フレーム内で、光学式手振れ補正による手ブレ補正が効き露光ブレが発生しないようにすることができる。

即ち、ロジック部２２Ａの振動状況判断部３２は、光学式手振れ補正のレンズ位置情報（ホールデータ）や、モーションセンサ１４から出力されるジャイロ信号（角速度データ）などに基づいて、撮像装置１１Ａの振動状況を判断する。例えば、振動状況判断部３２は、１フレーム内の振動が光学式手振れ補正により補正可能な範囲内の緩やか状況である場合、第１の振動状況であると判断し、その補正可能な範囲を超えるような状態である場合、第２の振動状況であると判断する（後述する第１の露光時間制御形態）。さらに、振動状況判断部３２は、１フレーム内の振動が第２の振動状況における振動よりも激しい状況である場合、第３の振動状況であると判断する（後述する第２の露光時間制御形態）。

そして、ロジック部２２Ａの露光制御部３１は、振動状況判断部３２による撮像装置１１Ａの振動状況の判断結果に従った撮像条件で、撮像部２１に対する露光制御を行う。例えば、露光制御部３１は、撮像部２１が露光を行う露光時間を決定して撮像部２１に設定し、その露光時間で撮像部２１により取得される画像に対するゲイン（アナログゲインおよびデジタルゲイン）を決定して撮像部２１に設定する。

なお、振動状況に係わらず露光時間の最大値をフレームレート内で許された最大露光時間とし、撮像部２１から出力される画像や、図示しない照度センサの情報などに基づいて、撮像部２１により最適な明るさの画像を撮像することができるように最適露光時間および最適ゲインを求める機能は、図１３の撮像装置１１も図示および説明をしていないが備えている。本技術は、振動状況により露光時間を制御することに特徴があるので、撮像装置１１Ａにおいて、個別の機能として説明している。

第１の振動状況のとき、露光制御部３１は、最適な明るさの画像を撮像することができる最適露光時間および最適ゲインを求めて、撮像条件として撮像部２１に設定する。例えば、露光制御部３１は、露光時間の最大値をフレームレート内で許された最大露光時間とし、撮像部２１から出力される画像や、図示しない照度センサの情報などに基づいて、撮像部２１により最適な明るさの画像を撮像することができるように最適露光時間および最適ゲインを求めることができる。

第２の振動状況のとき、露光制御部３１は、レンズユニット１２の位置と撮像部２１の位置との相対位置関係のリセット（センタまで戻すこと）が可能な非露光期間を確保することができる第１の閾値露光時間（図２０参照）を最大値として、露光時間およびゲインを決定し、撮像部２１に設定する。例えば、第１の振動状況のときの最適露光時間が第１の閾値露光時間より長かった場合、露光制御部３１は、第１の閾値露光時間を露光時間とする。そして、露光制御部３１は、露光時間が短くなった不足分の明るさを補うように最適ゲインからゲインアップさせ、第１の振動状況のときの最適露光時間および最適ゲインで撮像されたときと同等の明るさの画像が得られるようにゲインを求める。一方、第１の振動状況のときの最適露光時間が第１の閾値露光時間より短かった場合、露光制御部３１は、第１の振動状況のときの最適露光時間および最適ゲインをそのまま用いる。

さらに、第３の振動状況のとき、露光制御部３１は、第１の閾値露光時間よりも短い第２の閾値露光時間（図２２参照）を最大値として、露光時間およびゲインを決定し、撮像部２１に設定する。例えば、第１の振動状況のときの最適露光時間が第２の閾値露光時間より長かった場合、露光制御部３１は、第２の閾値露光時間を露光時間とする。そして、露光制御部３１は、露光時間が短くなった不足分の明るさを補うように最適ゲインからゲインアップさせ、第１の振動状況のときの最適露光時間および最適ゲインで撮像されたときと同等の明るさの画像が得られるようにゲインを求める。一方、第１の振動状況のときの最適露光時間が第２の閾値露光時間より短かった場合、露光制御部３１は、第１の振動状況のときの最適露光時間および最適ゲインをそのまま用いる。

ここで、図１８乃至図２２を参照して、振動状況判断部３２による振動状況の判断、露光制御部３１による露光制御、および、ロジック部２２Ａが生成するOIS制御情報について説明する。

図１８には、１フレーム内の振動が光学式手振れ補正により補正可能な（ブレが発生しない）範囲内である第１の振動状況における露光制御およびOIS制御情報の一例が示されている。

例えば、撮像部２１から出力される画像や図示しない照度センサの情報などに基づいて算出される適正な露光時間が第１の閾値露光時間よりも長い場合、振動が緩やかなときには、適正な露光時間で通常の光学式手振れ補正の制御を用いて撮像が行われる。従って、図１８に示すように、光学式手振れ補正で補正可能な範囲内の緩やかな振動である第１の振動状況であるとき、振動と光学式手振れ補正の補正量とは重なっており、露光ブレが発生することはない。また、このとき、最適露光時間で露光が行われており、ロジック部２２Ａは、常に、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力し、光学式手振れ補正のセンタ戻し処理は行われない。

これに対し、図１９に示すように、光学式手振れ補正で補正可能な範囲を超えるほどに振動が激しい場合、光学式手振れ補正では補正しきれずに露光ブレが発生してしまう。

そこで、図１９のような振動の状況が第２の振動状況と判断されれば、露光制御部３１は、第１の閾値露光時間を露光時間として設定して撮像が行われる。これにより、図２０に示すように、ロジック部２２Ａは、露光が行われている期間で、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力し、露光が行われていない期間で、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。

これにより、非露光期間において、レンズユニット１２の位置と撮像部２１の位置との相対位置関係をリセットして、露光期間において、光学式手振れ補正を実行させるという制御を行うことができる。従って、図２０の破線で示すように、光学式手振れ補正で補正可能な範囲を超えるような振動であっても、露光ブレの発生を回避して、光学式手振れ補正によるブレのない画像を撮像することができる。

なお、このままでは光学式手ブレ補正の出力結果としてはフレーム間で画像の位置や変形が生じてしまうため、図１３の撮像装置１１を参照して上述した手振れ補正技術を用いる。即ち、画像上の座標ごとに同期させたレンズユニット１２または撮像部２１に対する相対的位置情報、および、物理的に検出される撮像部２１の動きを表す動き情報を基に位置を変換する関数に従って、撮像部２１の動きが画像に与える影響を補正する。これにより、撮像装置１１Ａは、フレーム間での位置ずれや変形を補正することができ、手ブレによる位置ずれ、変形、露光ブレの影響を補正した画像を得ることができる。

この際、露光時間を短くした分、ゲイン（感度）を上げて撮像することによって、画像の明るさが暗くならないようにすることができるが、その結果、ゲインを上げることに伴ってノイズが若干増加してしまう。しかしながら、ゲインを上げることによる若干のノイズ増加による画質の劣化よりも、激しい振動によって発生する露光ブレによる画質の劣化を抑制する方が、全体としての画質の向上を図ることができる。

なお、撮像部２１から出力される画像や図示しない照度センサの情報などに基づいて算出される適正な露光時間が第１の閾値露光時間よりも短い場合には、振動が緩やかであるときも振動が激しいときも、ロジック部２２Ａは、露光が行われている期間で、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）を出力し、露光が行われていない期間で、光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。この結果、光学式手振れ補正のセンタ戻し処理が行われ、露光ブレが発生しないよう補正を行うことができる。

従って、撮像装置１１Ａは、最適露光時間が第１の閾値露光時間より長くても、光学式手振れ補正によりブレのない画像を撮像することができるとともに、図１３の撮像装置１１と同様に、撮像部２１の動きが画像に与える影響を補正することができる。即ち、撮像装置１１Ａは、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形などのない画像を取得することができる。

さらに、図２１に示すように、第１の閾値露光時間に応じた１フレームの露光期間内に光学式手振れ補正で補正可能な範囲内を超えるほど激しい振動の場合、光学式手振れ補正のセンタ戻し処理を行っても露光期間内に光学式手振れ補正では補正の補正限界を超えてしまうため露光ブレが発生してしまう。

そこで、図２１のような振動の状況が第３の振動状況と判断されれば、露光制御部３１は、第２の閾値露光時間を露光時間として設定し、図２２に示すように、第１の閾値露光時間（図２１）よりもさらに短い第２の閾値露光時間で撮像が行われる。このように、第２の閾値露光時間で撮像を行うことにより、露光期間内の振動量が小さくなるため、露光期間内に光学式手ブレ補正の補正限界を超えてしまうことがなく、露光ブレの発生を回避して、光学式手振れ補正によるブレのない画像を撮像することができる。

なお、撮像装置１１Ａでは、イメージセンサ１３Ａにおけるアナログゲインやデジタルゲインではゲインが足りない場合、信号処理回路１７において不足分のゲインを調整するようにしてもよい。また、本実施の形態では、最適露光時間および最適ゲインと、振動状況判断部３２による判断結果に従って調整された露光時間およびゲインは区別される。

そして、撮像装置１１Ａは、上述したような光学式手振れ補正のセンタ戻し処理を行いながら撮像し、かつ、図１３の撮像装置１１と同様に、光学式手振れ補正で補正した露光ブレのない画像に角速度情報やレンズユニット１２の位置と撮像部２１の位置との相対位置情報に基づいた電子式手ブレ補正を施すことにより、撮像部２１の動きが画像に与える影響を補正することができる。これにより、撮像装置１１Ａは、露光ブレが発生することなく、かつ、位置ズレや、周辺変形、ローリングシャッタによる歪、レンズ歪の影響による変形などのない画像を取得することができる。

＜第１の露光時間制御形態＞

図２３を参照して、第１の露光時間制御形態における撮像条件の切り替えについて説明する。ここで、第１の露光時間制御形態では、振動状況判断部３２は、撮像装置１１Ａの振動が第１の振動状況および第２の振動状況のどちらであるかを判断する。

振動状況判断部３２は、１フレームごとに撮像装置１１Ａの振動状況が所定の条件に達したか否かの判断を行い、その判断に基づく判断結果を露光制御部３１に通知する。

例えば、第１の露光時間制御形態において、撮像装置１１Ａでは、撮像装置１１Ａの振動状況を判断する第１の条件として、撮像装置１１Ａの振動が第１の閾値を超えている状態が所定期間内に所定回数以上発生したという状況に達することが設定される。また、撮像装置１１Ａの振動状況を判断する第２の条件として、撮像装置１１Ａの振動が第２の閾値を下回っている状態が所定回数以上連続で発生したという状況に達することが設定される。

また、第１の振動状況における撮像条件として、最適露光時間および最適ゲインが用いられる。ここで、最適露光時間は、露光時間の最大値をフレームレート内で許された最大露光時間とし、撮像部２１から出力される画像や、図示しない照度センサの情報などに基づいて、撮像部２１により最適な明るさの画像を撮像することができるように求められる。また、最適ゲインは、最適露光時間で撮像された画像の明るさを最適にするように求められる。

さらに、第２の振動状況における撮像条件として、第１の振動状況における最適露光時間が第１の閾値露光時間より長い場合、露光時間を第１の閾値露光時間とし、ゲインをその露光時間に応じた値とする。または、第１の振動状況における最適露光時間が第１の閾値露光時間より短い場合、第１の振動状況における最適露光時間および最適ゲインをそのまま撮像条件とする（第２の振動状況における撮像条件決定ルール）。第１の閾値露光時間は、レンズユニット１２の位置と撮像部２１の位置との相対位置関係のリセット（センタまで戻すこと）が可能な非露光期間を確保することができるように決定される。また、ゲインは、露光時間が最適露光時間より短くなった場合、露光時間が短くなった不足分の明るさを補うように最適ゲインからゲインアップさせ、最適露光時間および最適ゲインで撮像されたときと同等の明るさの画像が得られるように求められる。

まず、撮像装置１１Ａでは、撮像の開始時における初期設定として第１の振動状況を用いることが振動状況判断部３２に設定されており、振動状況判断部３２は、撮像装置１１Ａの振動状況の判断結果として、第１の振動状況であることを露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件として、上述した最適露光時間および最適ゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

そして、第１の振動状況のときに、振動状況判断部３２が、撮像装置１１Ａの振動状況が第１の条件に達していないとの判断を継続している場合、撮像装置１１Ａでは、第１の振動状況における撮像条件のままで撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第１の振動状況のときに、撮像装置１１Ａの振動状況が第１の条件に達したと判断した場合、第１の振動状況から第２の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第２の振動状況における撮像条件決定ルールに基づいた露光時間およびゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

また、振動状況判断部３２が、第２の振動状況のときに、撮像装置１１Ａの振動状況が第２の条件に達していないとの判断を継続している場合、撮像装置１１Ａでは、第２の振動状況における撮像条件決定ルールに基づいた撮像条件のままで撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第２の振動状況のときに、撮像装置１１Ａの振動状況が第２の条件に達したと判断した場合、第２の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件として、上述した最適露光時間および最適ゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

このような第１の露光時間制御形態で撮像条件を切り替えて露光時間を制御することにより、図１８または図２０に示したようにOIS制御情報が変化することになる。即ち、第２の振動状況となって、露光時間が第１の閾値露光時間以下となると、ロジック部２２Ａは、非露光期間において光学式手振れ補正の停止を指示するOIS制御情報（OIS disable）を出力する。これに従い、OISドライバ１５Ａは、レンズユニット１２の位置と撮像部２１の位置との相対位置関係をリセットして、センタ位置に引き戻す処理を行う。続いて、ロジック部２２Ａは、次のフレームの露光時間が開始する直前に、光学式手振れ補正の実行を指示するOIS制御情報（OIS enable）に切り替える。これに従い、OISドライバ１５Ａは、光学式手振れ補正を再開する。

このように、振動状況に応じた露光制御を行うことにより、図１９に示したように、光学式手振れ補正で補正可能な範囲を超えるような振動が発生した場合でも、図２０を参照して上述したように、撮影結果に露光ブレが生じていない画像を得ることができる。

つまり、振動状況に応じた露光制御が行われない場合には、光学式手振れ補正で補正可能な範囲を超えるような振動が発生すると、光学式手振れ補正ができない状態となって、撮影結果に露光中の振動による露光ブレが発生してしまう。これに対し、振動状況に応じた露光制御を行って、光学式手振れ補正で補正可能な範囲を超えるような振動が発生した場合には、露光時間を第１の閾値露光時間以下とすることで、非露光期間においてレンズユニット１２の位置と撮像部２１の位置との相対位置関係がリセットされる。これにより、露光時において、光学式手振れ補正で補正可能な範囲の全体に亘って手振れ補正を行うことができ、１フレーム内の振動が光学式手振れ補正の補正可能な範囲を超えない限り、撮像結果に露光ブレが生じることを回避した画像を得ることができる。

なお、撮像装置１１Ａでは、露光時間を短くしたのに応じてゲインを上げて撮像することに伴って、ノイズが多少増加することが想定されるが、露光ブレが発生することによる画質の劣化と比較して影響は小さく、より高画質な画像を取得することができる。

さらに、振動状況判断部３２は、第２の振動状況のときに、撮像装置１１Ａの振動状況が第２の条件に達したと判断した場合、第２の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件で撮像を行うように、撮像部２１に対する露光制御を行う。

即ち、撮像装置１１Ａでは、撮像装置１１Ａの振動が緩やかになると、図１８に示したように、露光時間を第１の閾値露光時間よりも長くしても、光学式手振れ補正で補正可能な範囲内で振動を補正することができる。これにより、撮像結果に露光ブレが生じることのなく、かつ、ノイズの増加もない画像を得ることができる。

図２４のフローチャートを参照して、図２３を参照して説明したような第１の露光時間制御形態での露光時間制御について説明する。

例えば、撮像装置１１Ａでは、撮像部２１により撮像が開始されると手振れ補正処理が開始される。ステップＳ２１において、振動状況判断部３２は、第１の振動状況であることを露光制御部３１に通知し、露光制御部３１は、初期設定として、第１の振動状況における撮像条件を撮像部２１に設定する。

ステップＳ２２において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第１の条件に達したか否かを判定する。ステップＳ２２において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第１の条件に達したと判定するまで処理は待機され、第１の振動状況における撮像条件のままで撮像部２１による撮像が行われる。

一方、ステップＳ２２において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第１の条件に達したと判定した場合、処理はステップＳ２３に進む。

ステップＳ２３において、振動状況判断部３２は、第１の振動状況から第２の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第２の振動状況における撮像条件決定ルールに基づいて撮像条件を決定して撮像部２１に対する露光制御を行い、撮像部２１で撮像が行われる。

ステップＳ２４において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第２の条件に達したか否かを判定する。ステップＳ２４において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第２の条件に達したと判定するまで処理は待機され、第２の振動状況における撮像条件決定ルールに基づいた撮像条件のままで撮像部２１による撮像が行われる。

一方、ステップＳ２４において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第２の条件に達したと判定した場合、処理はステップＳ２５に進む。

ステップＳ２５において、振動状況判断部３２は、第２の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件に変更するように撮像部２１に対する露光制御を行い、撮像部２１では、第１の振動状況の撮像条件で撮像が行われる。

ステップＳ２５の処理後、処理はステップＳ２２に戻り、以下、撮像が終了するまで同様の処理が繰り返して行われる。

ここで、振動状況判断部３２が、振動状況の判断を行う方法について説明する。

例えば、振動状況判断部３２は、光学式手振れ補正のレンズ位置情報（例えばホールデータ）を用いて、振動状況が設定した閾値以内であるか否かを判断することができる。

振動状況判断部３２は、第１の振動状況にあるとき、ホールデータの値が、光学式手振れ補正として可動可能な範囲に対する第１の割合Ｔｐ１（Ｔｐ１≦100）％を、第１の過去フレーム数Ｔｆ１（Ｔｆ１≧１）の中で、第１の判断フレーム数Ｔｃ１（Ｔｆ１≧Ｔｃ１≧１）を超えたとき、第２の振動状況に遷移すると判断する。一方、振動状況判断部３２は、第２の振動状況であるときに、ホールデータのピーク値が、光学式手振れ補正として可動可能な範囲に対する第２の割合Ｔｐ２（Ｔｐ２＜100）％を、第２の判断フレーム数Ｔｃ２（Ｔｃ２≧１）続けて下回ったとき、第１の振動状況に遷移すると判断する。例えば、第１の割合Ｔｐ１＝７５、第１の過去フレーム数Ｔｆ１＝１０、第１の判断フレーム数Ｔｃ１＝３、第２の割合Ｔｐ２＝２５、および、第２の判断フレーム数Ｔｃ２＝５というように設定することができる。

また、振動状況判断部３２は、モーションセンサ１４により出力される角速度（ジャイロ信号）などから算出した振動の積分角を用いて、振動状況が設定した閾値以内であるか否かを判断することができる。

振動状況判断部３２は、第１の振動状況にあるとき、１フレーム内での積分角（あるいは補正する角度）が、光学式手振れ補正として可動可能な角度の第１の割合Ｔｐ１（Ｔｐ１≦100）％を、第１の過去フレーム数Ｔｆ１（Ｔｆ１≧１）の中で、第１の判断フレーム数Ｔｃ１（Ｔｆ１≧Ｔｃ１≧１）を超えとき、第２の振動状況に遷移すると判断する。一方、振動状況判断部３２は、第２の振動状況であるときに、１フレーム内での積分角の変化量（補正する角度）が、光学式手振れ補正として可動可能な角度の第２の割合Ｔｐ２（Ｔｐ２＜100）％を、第２の判断フレーム数Ｔｃ２（Ｔｃ２≧１）続けて下回ったとき、第１の振動状況に遷移すると判断する。例えば、第１の割合Ｔｐ１＝７５、第１の過去フレーム数Ｔｆ１＝１０、第１の判断フレーム数Ｔｃ１＝３、第２の割合Ｔｐ２＝２５、および、第２の判断フレーム数Ｔｃ２＝５というように設定することができる。

さらに、振動状況判断部３２は、モーションセンサ１４により出力される角速度（ジャイロ信号）を用いて、振動状況が設定した閾値以内であるか否かを判断することができる。

振動状況判断部３２は、第１の振動状況にあるとき、１フレーム内にサンプリングした角速度のピーク値が、予め設定された第１の角速度Ｔｈω１（degree per second）を、第１の過去フレーム数Ｔｆ１（Ｔｆ１≧１）の中で、第１の判断フレーム数Ｔｃ１（Ｔｆ１≧Ｔｃ１≧１）超えたとき、第２の振動状況に変わったと判断する。一方、振動状況判断部３２は、第２の振動状況であるときに、１フレーム内にサンプリングした角速度のピーク値が、予め設定された第２の角速度Ｔｈω２（degree per second）を、第２の判断フレーム数Ｔｃ２（Ｔｃ２≧１）続けて下回ったとき、第１の振動状況に遷移すると判断する。例えば、第１の角速度Ｔｈω１＝２０、第１の過去フレーム数Ｔｆ１＝１０、第１の判断フレーム数Ｔｃ１＝３、第２の角速度Ｔｈω２＝１０、および、第２の判断フレーム数Ｔｃ２＝１０というように設定することができる。

その他、振動状況判断部３２は、上述したホールデータ、積分角（あるいは補正する角）、および角速度の組み合わせを用いて、振動状況が設定した閾値以内であるか否かを判断してもよい。また、フレーム内のピーク値ではなく、平均値を用いてもよく、過去数フレームのデータからの予測値を用いて判断を行うようにしてもよい。さらに、振動状況判断部３２は、振動状況が設定した閾値以内であるか否かを判断する際に、それぞれの軸（ピッチ、ヨー）ごとに判断したり、各軸のベクトル和の大きさを用いて判断したりすることができる。

＜第２の露光時間制御形態＞

図２５を参照して、第２の露光時間制御形態における撮像条件の変更について説明する。ここで、第２の露光時間制御形態では、振動状況判断部３２は、撮像装置１１Ａの振動が第１の振動状況、第２の振動状況、および第３の振動状況のいずれであるかを判断する。なお、ここでは、第２の露光時間制御形態として、第１の振動状況、第２の振動状況、および第３の振動状況の３つの振動状態（３値）について説明するが、同様に、振動状況を４つ以上の振動状態（多値）に分類してもよい。

第２の露光時間制御形態において、振動状況判断部３２は、上述した第１の露光時間制御形態と同様に、１フレームごとに撮像装置１１Ａの振動状況が所定の条件に達したか否かの判断を行い、その判断に基づく判断結果を露光制御部３１に通知する。

例えば、第２の露光時間制御形態において、撮像装置１１Ａでは、撮像装置１１Ａの振動状況を判断する第１の条件として、撮像装置１１Ａの振動が第１の振動状況において第１の閾値を超えている状態が所定期間内に所定回数以上発生したという状況に達することが設定される。また、撮像装置１１Ａの振動状況を判断する第２の条件として、第１の振動状況において第１の条件を満たしていないが、振動が第２の閾値を超えている状態が所定期間内に所定回数以上発生したという状況に達することが設定される（第２の閾値＜第１の閾値）。また、撮像装置１１Ａの振動状況を判断する第３の条件として、第２の振動状況において撮像装置１１Ａの振動が第３の閾値を超えている状態が所定期間内に所定回数以上発生したという状況に達することが設定される。

さらに、第２の露光時間制御形態において、撮像装置１１Ａでは、撮像装置１１Ａの振動状況を判断する第４の条件として、撮像装置１１Ａの振動が第２の振動状況において第４の閾値を下回っている状態が所定回数以上連続で発生したという状況に達することが設定される。また、撮像装置１１Ａの振動状況を判断する第５の条件として、撮像装置１１Ａの振動が第３の振動状況において第５の閾値を下回っている状態が所定回数以上連続で発生したという状況に達することが設定される。また、撮像装置１１Ａの振動状況を判断する第６の条件として、第３の振動状況において第５の条件を満たしていないが、撮像装置１１Ａの振動が第６の閾値を下回っている状態が所定回数以上連続で発生したという状況に達することが設定される（第５の閾値＜第６の閾値）。

さらに、第２の振動状況における撮像条件として、第１の振動状況における最適露光時間が第１の閾値露光時間より長い場合、露光時間を第１の閾値露光時間とし、ゲインをその露光時間に応じた値とする。または、第１の振動状況における最適露光時間が第１の閾値露光時間より短い場合、第１の振動状況における最適露光時間および最適ゲインをそのまま撮像条件とする（第２の振動状況における撮像条件決定ルール）。ここで、第１の閾値露光時間は、レンズユニット１２の位置と撮像部２１の位置との相対位置関係のリセット（センタまで戻すこと）が可能な非露光期間を確保することができるように決定される。また、ゲインは、露光時間が最適露光時間より短くなった場合、露光時間が短くなった不足分の明るさを補うように最適ゲインからゲインアップさせ、最適露光時間および最適ゲインで撮像されたときと同等の明るさの画像が得られるように求められる。

また、第３の振動状況における撮像条件として、第１の振動状況における最適露光時間が第２の閾値露光時間より長い場合、露光時間を第２の閾値露光時間とし、ゲインをその露光時間に応じた値とする。または、第１の振動状況における最適露光時間が第２の閾値露光時間より短い場合、第１の振動状況における最適露光時間および最適ゲインをそのまま撮像条件とする（第３の振動状況における撮像条件決定ルール）。ここで、第２の閾値露光時間は、第１の閾値露光時間よりも短くなるように決定される。また、ゲインは、露光時間が最適露光時間より短くなった場合、露光時間が短くなった不足分の明るさを補うように最適ゲインからゲインアップさせ、最適露光時間および最適ゲインで撮像されたときと同等の明るさの画像が得られるように求められる。

そして、振動状況判断部３２が、第１の振動状況のときに、撮像装置１１Ａの振動状況が第１の条件および第２の条件に達していないとの判断を継続している場合、撮像装置１１Ａでは、第１の振動状況における撮像条件のままで撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第１の振動状況のときに、撮像装置１１Ａの振動状況が第１の条件に達したと判断した場合、第１の振動状況から第３の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第３の振動状況における撮像条件決定ルールに基づいた露光時間およびゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第１の振動状況のときに、撮像装置１１Ａの振動状況が第２の条件に達したと判断した場合、第１の振動状況から第２の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第２の振動状況における撮像条件決定ルールに基づいた露光時間およびゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

また、振動状況判断部３２が、第２の振動状況のときに、撮像装置１１Ａの振動状況が第３の条件および第４の条件に達していないとの判断を継続している場合、撮像装置１１Ａでは、第２の振動状況における撮像条件決定ルールに基づく撮像条件のままで撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第２の振動状況のときに、撮像装置１１Ａの振動状況が第３の条件に達したと判断した場合、第２の振動状況から第３の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第３の振動状況における撮像条件決定ルールに基づいた露光時間およびゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第２の振動状況のときに、撮像装置１１Ａの振動状況が第４の条件に達したと判断した場合、第２の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件として、上述した最適露光時間および最適ゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

また、振動状況判断部３２が、第３の振動状況のときに、撮像装置１１Ａの振動状況が第５の条件および第６の条件に達していないとの判断を継続している場合、撮像装置１１Ａでは、第３の振動状況における撮像条件決定ルールに基づく撮像条件のままで撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第３の振動状況のときに、撮像装置１１Ａの振動状況が第５の条件に達したと判断した場合、第３の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第１の振動状況における撮像条件として、上述した最適露光時間および最適ゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

一方、振動状況判断部３２は、第３の振動状況のときに、撮像装置１１Ａの振動状況が第６の条件に達したと判断した場合、第３の振動状況から第２の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第２の振動状況における撮像条件決定ルールに基づいた露光時間およびゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。

このような第２の露光時間制御形態で撮像条件を切り替えて露光時間を制御することにより、図１８乃至図２２を参照して説明したように、撮像装置１１Ａでは、振動状況に応じて露光ブレが生じないように露光制御を行うことができる。

なお、第３の振動状況における振動条件でも光学式手振れ補正の補正可能な範囲を超えた振動が生じた場合には、露光ブレの発生を回避することができずに、画像にブレが生じることがあると想定される。この場合、画像にブレが生じるのに対応するためには、第２の閾値露光時間として、より短い露光時間を設定して露光期間内の振動量を小さくするようにしてもよい。さらに、図２５に示すような３段階に分けて撮像条件を設定するよりも、さらに多くの４段階または５段階へと、振動状況を細かく分けて、露光制御を行ってもよい。

図２６のフローチャートを参照して、図２５を参照して説明したような第２の露光時間制御形態での露光時間制御について説明する。

例えば、撮像装置１１Ａでは、撮像部２１により撮像が開始されると手振れ補正処理が開始される。ステップＳ３１において、振動状況判断部３２は、第１の振動状況であることを露光制御部３１に通知し、露光制御部３１は、初期設定として、第１の振動状況における撮像条件を撮像部２１に設定する。

ステップＳ３２において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第１の条件に達したか否かを判定する。ステップＳ３２において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第１の条件に達していないと判定した場合、処理はステップＳ３３に進む。

ステップＳ３３において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第２の条件に達したか否かを判定する。ステップＳ３３において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第２の条件に達していないと判定した場合、処理はステップＳ３２に戻って、以下、同様の処理が繰り返される。即ち、ステップＳ３２で第１の条件に達したと判定されるか、ステップＳ３３で第２の条件に達したと判定されるまで処理は待機され、第１の振動状況における撮像条件のままで撮像部２１による撮像が行われる。

一方、ステップＳ３３において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第２の条件に達したと判定した場合、処理はステップＳ３４に進む。

ステップＳ３４において、振動状況判断部３２は、第１の振動状況から第２の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第２の振動状況における撮像条件決定ルールに基づいて撮像部２１に対する露光制御を行い、撮像部２１による撮像が行われる。

ステップＳ３５において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第３の条件に達したか否かを判定する。ステップＳ３５において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第３の条件に達していないと判定した場合、処理はステップＳ３６に進む。

ステップＳ３６において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第４の条件に達したか否かを判定する。ステップＳ３６において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第４の条件に達していないと判定した場合、処理はステップＳ３５に戻って、以下、同様の処理が繰り返される。即ち、ステップＳ３５で第３の条件に達したと判定されるか、ステップＳ３６で第４の条件に達したと判定されるまで処理は待機され、第２の振動状況における撮像条件決定ルールに基づいた撮像条件のままで撮像部２１による撮像が行われる。

一方、ステップＳ３６において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第４の条件に達したと判定した場合、処理はステップＳ３７に進む。

ステップＳ３７において、振動状況判断部３２は、第２の振動状況から第１の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、上述した最適露光時間および最適ゲインを撮像部２１に対して設定し、撮像部２１による撮像が行われる。ステップＳ３７の処理後、処理はステップＳ３２に戻り、以下、撮像が終了するまで同様の処理が繰り返して行われる。

一方、ステップＳ３２において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第１の条件に達したと判定した場合、または、ステップＳ３５において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第３の条件に達したと判定した場合、処理はステップＳ３８に進む。

ステップＳ３８において、振動状況判断部３２は、第１または第２の振動状況から第３の振動状況に遷移したことを示す判断結果を露光制御部３１に通知する。これに従い、露光制御部３１は、第３の振動状況における撮像条件決定ルールに基づいた撮像条件で撮像を行うように、撮像部２１に対する露光制御を行い、撮像部２１による撮像が行われる。

ステップＳ３９において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第５の条件に達したか否かを判定する。ステップＳ３９において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第５の条件に達していないと判定した場合、処理はステップＳ４０に進む。

ステップＳ４０において、振動状況判断部３２は、撮像装置１１Ａの振動状況が第６の条件に達したか否かを判定する。ステップＳ４０において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第６の条件に達していないと判定した場合、処理はステップＳ３９に戻って、以下、同様の処理が繰り返される。即ち、ステップＳ３９で第５の条件に達したと判定されるか、ステップＳ４０で第６の条件に達したと判定されるまで処理は待機され、第３の振動状況における撮像条件決定ルールに基づいた撮像条件のままで撮像部２１による撮像が行われる。

一方、ステップＳ４０において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第６の条件に達したと判定した場合、処理はステップＳ３４に進み、以下、上述したように、第２の振動状況における撮像条件決定ルールに基づいた撮像条件で撮像部２１による撮像が行われる。

一方、ステップＳ３９において、振動状況判断部３２が、撮像装置１１Ａの振動状況が第５の条件に達したと判定した場合、処理はステップＳ３７に進み、以下、上述したように、第１の振動状況における撮像条件で撮像部２１による撮像が行われる。

その後、撮像が終了するまで同様の処理が繰り返して行われる。

図２７を参照して、第２の露光時間制御形態における振動状況の遷移の変形例について説明する。

上述の図２５を参照して説明した振動状況の遷移では、第１の振動状況から第３の振動状況へ遷移したり、第３の振動状況から第１の振動状況へ遷移したりするように、それらの間の第２の振動状況を飛び越えるような判断を行うことが可能であった。これに対し、図２７に示すように、それぞれの振動状況からは、振動の大きさの順に隣接する他の振動状況へのみ遷移するようにしてもよい。

即ち、振動状況に応じて急激に露光時間を変化させるよりは、段階的に露光時間を変化させる方が、露光時間の変化に対する違和感を低減させることができる。また、それぞれの振動状況において判断基準となる条件を削減することができる。

また、図２７には２段階で振動状況を変化させる例が示されており、それぞれの振動状況から前後１ステップのみに変化させることができる。これに対し、例えば、２段階以上の多段で振動状況を変化させる場合には、それぞれの振動状況から前後２ステップへの変化を可能としたり、それぞれの振動状況から前後３ステップへの変化を可能としたりしてもよい。また、振動状況ごとに、異なるステップで変化するようにしてもよい。

また、振動状況判断部３２が、振動状況の判断を行う方法としては、第１の露光時間制御形態で説明したのと同様に、上述したホールデータ、積分角（または補正する角度）、または角速度を用いたり、それらを組み合わせて用いたりすることができる。また、フレーム内のピーク値ではなく、平均値を用いてもよく、過去数フレームのデータからの予測値を用いて判断を行うようにしてもよい。さらに、振動状況判断部３２は、振動状況が設定した閾値以内であるか否かを判断する際に、それぞれの軸（ピッチ、ヨー）ごとに判断したり、各軸のベクトル和の大きさを用いて判断したりすることもできる。

このような図２５および図２７に示す振動状況の遷移においても、振動状況の判断結果に従って露光時間を制御することにより、常に、撮像結果に露光ブレが生じることのない画像を得ることができる。

なお、図１７に示した撮像装置１１Ａでは、ロジック部２２Ａが露光制御部３１および振動状況判断部３２を有している構成例が示されているが、露光制御部３１および振動状況判断部３２はロジック部２２Ａとは別に構成されていてもよい。例えば、露光制御部３１および振動状況判断部３２が、イメージセンサ１３Ａの外部の撮像装置制御部に設けられる構成とすることができる。また、振動状況判断部３２が露光制御部３１に含まれるような構成としてもよい。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した実施の形態では、撮像装置１１の構成について説明したが、本発明は、イメージセンサ１３、モーションセンサ１４、OISドライバ１５、OISアクチュエータ１６、および信号処理回路１７を少なくとも備えたカメラモジュールや、そのカメラモジュールを搭載した各種の電子機器に適用することができる。

さらに、撮像装置１１が、イメージセンサ１３から出力される画像に対して電子式手振れ補正を施すロジック部２２を備えていなくてもよい。即ち、ロジック部２２の機能を、撮像装置１１とは別のユニットに備え、そのユニットに、画像上の位置と同期がとれているレンズユニット１２の位置情報および角速度データが付加された画像データが出力されていればよい。もちろん、撮像装置１１がロジック部２２を備える構成、より好適には、積層型のイメージセンサ１３の半導体チップに信号処理回路１７を備える構成を採用することで、手振れ補正処理を高精度に実行することができ、容易にシステムを構築することができる。

なお、上述した本実施の形態において、撮像装置１１に発生する手振れ（つまり、撮像装置１１に内蔵されるイメージセンサ１３の振動）は、図２８に示すように、ピッチ方向、ヨー方向、およびロール方向の回転で定義される。

＜イメージセンサの使用例＞

図２９は、上述のイメージセンサを使用する使用例を示す図である。

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

なお、本技術は以下のような構成も取ることができる。
（１）
光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況を判断する状況判断部と、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部と
を備え、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
撮像装置。
（２）
前記露光制御部は、前記撮像部の露光時間を、最適な明るさとなるように前記画像を撮像することができる最適露光時間よりも短くする制御を行った場合、最適な明るさからの不足分を補うゲインを求めて、前記画像の明るさを増幅させる
上記（１）に記載の撮像装置。
（３）
前記状況判断部が、前記撮像部の動きが前記光学的な補正により補正可能な範囲内の大きさであると判断した場合、
前記露光制御部は、前記撮像部の露光時間の最大値をフレームレート内で許された最大露光時間として、前記最適露光時間を求めて前記撮像部に設定する
上記（２）に記載の撮像装置。
（４）
前記状況判断部が、前記撮像部の動きが前記光学的な補正により補正可能な範囲を超える可能性があると判断した場合、
前記露光制御部は、前記光学系および前記撮像部の相対位置関係をリセットすることが可能な非露光期間を確保することができる第１の閾値露光時間を最大露光時間として露光時間を求めて前記撮像部に設定する
上記（３）に記載の撮像装置。
（５）
前記状況判断部が、前記撮像部の動きが前記第１の閾値露光時間での露光であっても、１フレームの露光期間内に前記画像に光学的な補正により補正可能な範囲を超える可能性があると判断した場合、
前記露光制御部は、前記第１の閾値露光時間よりも短い第２の閾値露光時間を最大露光時間として露光時間を求めて前記撮像部に設定する
上記（４）に記載の撮像装置。
（６）
前記状況判断部は、前記光学的な補正を行うために駆動される前記光学系の位置情報を用いて、前記撮像部の動きの状況を判断する
上記（１）から（５）までのいずれかに記載の撮像装置。
（７）
前記状況判断部は、前記撮像部の動きを物理的に検出する検出部により検出される角速度、または、その角速度から算出される振動の積分角を用いて、前記撮像部の動きの状況を判断する
上記（１）から（６）までのいずれかに記載の撮像装置。
（８）
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と、
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と、
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部と
をさらに備える上記（１）から（７）までのいずれかに記載の撮像装置。
（９）
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動を制御し、
前記非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動を制御する
上記（８）に記載の撮像装置。
（１０）
光を集光する光学系を介して撮像を行って画像を取得する撮像部が形成される半導体チップと、
前記撮像部の動きの状況を判断する状況判断部、および、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部を有するロジック部が形成される半導体チップと
が積層されて構成され、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
固体撮像素子。
（１１）
光を集光する光学系と、
前記光学系を介して撮像を行って画像を取得する撮像部と、
前記撮像部の動きの状況を判断する状況判断部と、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部と
を備え、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
カメラモジュール。
（１２）
光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況の判断結果に従って、前記撮像部の露光時間に対する制御が少なくとも行われ、その露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動を制御し、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動を制御する
駆動制御部。
（１３）
光を集光する光学系を介して撮像を行って画像を取得する撮像部を備える撮像装置が、
前記撮像部の動きの状況を判断することと、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行うことと
を含み、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
撮像方法。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１撮像装置，１２レンズユニット，１３イメージセンサ，１４モーションセンサ，１５ OISドライバ，１６ OISアクチュエータ，１７信号処理回路，１８ディスプレイ，１９記録媒体，２１撮像部，２２ロジック部，３１露光制御部，３２振動状況判断部

Claims

光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況を判断する状況判断部と、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部と
を備え、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
撮像装置。
前記露光制御部は、前記撮像部の露光時間を、最適な明るさとなるように前記画像を撮像することができる最適露光時間よりも短くする制御を行った場合、最適な明るさからの不足分を補うゲインを求めて、前記画像の明るさを増幅させる
請求項１に記載の撮像装置。
前記状況判断部が、前記撮像部の動きが前記光学的な補正により補正可能な範囲内の大きさであると判断した場合、
前記露光制御部は、前記撮像部の露光時間の最大値をフレームレート内で許された最大露光時間として、前記最適露光時間を求めて前記撮像部に設定する
請求項２に記載の撮像装置。
前記状況判断部が、前記撮像部の動きが前記光学的な補正により補正可能な範囲を超える可能性があると判断した場合、
前記露光制御部は、前記光学系および前記撮像部の相対位置関係をリセットすることが可能な非露光期間を確保することができる第１の閾値露光時間を最大露光時間として露光時間を求めて前記撮像部に設定する
請求項３に記載の撮像装置。
前記状況判断部が、前記撮像部の動きが前記第１の閾値露光時間での露光であっても、１フレームの露光期間内に前記画像に光学的な補正により補正可能な範囲を超える可能性があると判断した場合、
前記露光制御部は、前記第１の閾値露光時間よりも短い第２の閾値露光時間を最大露光時間として露光時間を求めて前記撮像部に設定する
請求項３に記載の撮像装置。
前記状況判断部は、前記光学的な補正を行うために駆動される前記光学系の位置情報を用いて、前記撮像部の動きの状況を判断する
請求項１に記載の撮像装置。
前記状況判断部は、前記撮像部の動きを物理的に検出する検出部により検出される角速度、または、その角速度から算出される振動の積分角を用いて、前記撮像部の動きの状況を判断する
請求項１に記載の撮像装置。
物理的に検出される前記撮像部の動きに基づいて、前記光学系および前記撮像部の少なくとも一方を相対的に移動させて前記撮像部により撮像される画像に表れるブレの光学的な補正を行う際の移動量を求め、前記光学系および前記撮像部の少なくとも一方の駆動を制御する駆動制御部と、
前記駆動制御部による制御に従って駆動された前記光学系または前記撮像部の位置が検出された位置情報、および、物理的に検出される前記撮像部の動きを表す動き情報に基づいて、前記画像上の座標ごとに同期させた前記位置情報および前記動き情報を基に位置を変換する関数に従って、前記撮像部の動きが前記画像に与える影響を補正する信号処理を施す信号処理部と、
前記位置情報および前記動き情報、並びに、前記位置情報および前記動き情報と前記画像上の座標とを同期させるタイミングを示すタイミング情報を、前記撮像部により撮像された画像とともに前記信号処理部に供給するロジック部と、
前記駆動制御部により求められた前記移動量に従って前記光学系および前記撮像部の少なくとも一方を駆動し、その駆動に従った前記光学系または前記撮像部の位置を検出して前記位置情報を前記駆動制御部に供給する駆動部と
をさらに備える請求項１に記載の撮像装置。
前記ロジック部は、前記撮像部が露光を行う露光タイミングに従って、前記光学的な補正の実行または停止を指示する制御情報を生成して前記駆動制御部に供給し、
前記駆動制御部は、前記制御情報に基づいて、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動を制御し、
前記非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動を制御する
請求項８に記載の撮像装置。
光を集光する光学系を介して撮像を行って画像を取得する撮像部が形成される半導体チップと、
前記撮像部の動きの状況を判断する状況判断部、および、前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部を有するロジック部が形成される半導体チップと
が積層されて構成され、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
固体撮像素子。
光を集光する光学系と、
前記光学系を介して撮像を行って画像を取得する撮像部と、
前記撮像部の動きの状況を判断する状況判断部と、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行う露光制御部と
を備え、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
カメラモジュール。
光を集光する光学系を介して撮像を行って画像を取得する撮像部の動きの状況の判断結果に従って、前記撮像部の露光時間に対する制御が少なくとも行われ、その露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動を制御し、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動を制御する
駆動制御部。
光を集光する光学系を介して撮像を行って画像を取得する撮像部を備える撮像装置が、
前記撮像部の動きの状況を判断することと、
前記状況判断部による判断結果に従って、前記撮像部の露光時間に対する制御を少なくとも行うことと
を含み、
前記露光時間による１フレームの露光期間に応じて、前記画像に表れるブレを光学的に補正するように前記光学系または前記撮像部に対する相対的な駆動が行われ、
前記フレーム間で露光が行われない非露光期間に応じて、前記露光期間において生じた前記光学系および前記撮像部の相対位置関係をリセットする駆動が行われる
撮像方法。