JP2017175599A - 撮像装置 - Google Patents

Abstract

【課題】手振れの影響を抑えつつ、複数の画像データを合成して生成される合成画像データの画質を向上する、撮像装置を提供する。【解決手段】撮像装置は、複数のレンズを含む光学系と、光学系により形成された被写体像を撮像する撮像素子と、撮像装置のぶれを検出するぶれ検出部と、ぶれ検出部の出力信号に基づいて、複数のレンズのうちの１つを光軸に垂直な面で移動させて、ぶれを補正するレンズ駆動制御部と、撮像素子２１０を光軸に垂直な面で移動させる撮像素子駆動部２８１と、撮像素子２１０に撮像動作を行わせ、画像データを取得する撮像制御部と、撮像素子２１０を所定量分、移動させつつ、複数回の撮像動作を行い、取得した複数の画像を合成して合成画像を生成する画像処理部と、を備える。【選択図】図１

Description

本開示は、画素ずらしを行って、高画質の合成画像データを生成する撮像装置に関する。

画素ずらしを行って取得した複数の画像データを合成し、高画質の画像データを生成する技術が知られている。この技術は、撮像素子を、画素ピッチの所定倍の移動量分移動させつつ、複数の画像データを取得し、取得した複数の画像データを合成して、高画質の合成画像データを生成する。

この技術において、手振れ等の影響により、移動させた撮像素子が意図した位置からずれると、高画質の合成画像データを生成することができない。

特許文献１では、撮像素子の特定領域の画像データと、特定領域以外の画像データとを異なるタイミングで取得することで、高解像度の合成画像データを生成する撮像装置が開示されている。

特開２０１６−５０９４号公報

本開示は、手振れの影響を抑えつつ、複数の画像データを合成して生成される合成画像データの画質を向上する撮像装置を提供する。

本開示の撮像装置は、複数のレンズを含む光学系と、光学系により形成された被写体像を撮像する撮像素子と、撮像装置のぶれを検出するぶれ検出部と、ぶれ検出部の出力信号に基づいて、複数のレンズのうちの１つを光軸に垂直な面で移動させて、ぶれを補正するレンズ駆動制御部と、撮像素子を光軸に垂直な面で移動させる撮像素子駆動部と、撮像素子に撮像動作を行わせ、画像データを取得する撮像制御部と、撮像素子を所定量分、移動させつつ、複数回の撮像動作を行い、取得した複数の画像を合成して合成画像を生成する画像処理部と、を備える。撮像制御部は、レンズ駆動制御部によるぶれの補正のぶれ残差量に基づき、画像処理部で合成する複数の画像を撮像するタイミングを制御する。

本開示の撮像装置によれば、手振れの影響を抑えつつ、複数の画像データを合成して生成される合成画像データの画質を向上することができる。

実施の形態１におけるデジタルカメラの構成を示すブロック図 実施の形態１における撮影動作時の処理を示すフローチャート 実施の形態１におけるハイレゾ撮影時の処理を示すフローチャート 実施の形態１におけるハイレゾ撮影時の撮像素子の駆動方法の概要を示す図 実施の形態１のハイレゾ撮影時のピッチ側における、撮像素子の駆動と、ＯＩＳ処理部におけるぶれ残差量との時間変化を示す図 実施の形態１のハイレゾ撮影時のヨー側における、撮像素子の駆動と、ＯＩＳ処理部におけるぶれ残差量との時間変化を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下では、撮像装置の一例としてデジタルカメラを用いて説明する。

（実施の形態１）
本実施の形態のデジタルカメラは、交換レンズおよびカメラ本体のそれぞれにおいて、撮像画像へのデジタルカメラのぶれの影響を低減するぶれ補正機能を備える。本実施の形態のデジタルカメラは、カメラ本体が備えるぶれ補正機能を用いて、画素ずらしを行い、高解像度、高解像感の得られる合成画像を生成する。ここでは、この撮影方法を「ハイレゾモード」と定義する。以下、本実施の形態のカメラの構成および動作を詳述する。

以下の説明では、交換レンズ内の補正用レンズをシフトしてぶれを補正する機能を「ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）機能」という。また、カメラ本体内の撮像素子をシフトしてぶれを補正する機能を「ＢＩＳ（Ｂｏｄｙ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）機能」という。

１．構成
図１は、実施の形態１におけるデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、カメラ本体２００とそれに着脱可能な交換レンズ３００とから構成される。

１−１．カメラ本体
カメラ本体２００は、撮像素子２１０と、液晶モニタ２２０と、レリーズ釦２３０と、カメラコントローラ２４０と、ボディマウント２５０と、電源２６０と、カードスロット２７０とを備える。

撮像素子２１０は、交換レンズ３００を介して入射される被写体像を撮像して、画像データを生成する。生成された画像データは、ＡＤコンバータ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ（ＡＤＣ））２１１でデジタル化される。撮像素子２１０は、タイミング発生器２１２により制御されるタイミングで動作する。撮像素子２１０の動作としては、静止画像の撮像動作、スルー画像の撮像動作等が挙げられる。スルー画像は、主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために、液晶モニタ２２０に表示される。

液晶モニタ２２０は、カメラコントローラ２４０で画像処理された表示用画像データが示す画像を表示する。液晶モニタ２２０は、動画像も静止画像も選択的に表示可能である。液晶モニタ２２０は、タッチセンサ機能を備える。液晶モニタ２２０上に表示された操作画面に対して、ユーザがタッチ操作を行うことにより、デジタルカメラ１００に対する各種設定を行うことができる。

レリーズ釦２３０は、使用者による操作を受け付ける。使用者によるレリーズ釦２３０の半押し操作が行われると、交換レンズ３００に対するオートフォーカス動作の指示が行われる。使用者によるレリーズ釦２３０の全押し操作を受け付けると、交換レンズ３００を介して形成される被写体像の撮影動作が実行される。

カメラコントローラ２４０は、レリーズ釦２３０からの指示に応じて、撮像素子２１０等の構成要素を制御することで、デジタルカメラ１００全体の動作を制御する。カメラコントローラ２４０は、垂直同期信号をタイミング発生器（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ（ＴＧ））２１２に送信する。これと並行して、カメラコントローラ２４０は、露光同期信号を生成する。カメラコントローラ２４０は、生成した露光同期信号を、ボディマウント２５０およびレンズマウント３５０を介して、レンズコントローラ３４０に周期的に送信する。カメラコントローラ２４０は、制御動作または画像処理動作の際に、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４１をワークメモリとして使用する。カメラコントローラ２４０は、ＡＤコンバータ２１１でデジタル化された画像データに対して、所定の画像処理を施す。所定の画像処理とは、例えば、ガンマ補正処理、ホワイトバランス補正処理、キズ補正処理、ＹＣ変換処理、電子ズーム処理、またはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮処理である。カメラコントローラ２４０は、後述する画素ずらしを行いつつ、生成した複数毎の画像データを合成し、高解像度の高解像度の画像データを生成する。

カメラコントローラ２４０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。

ボディマウント２５０は、交換レンズ３００のレンズマウント３５０と機械的および電気的に接続可能である。カメラ本体２００と交換レンズ３００は、ボディマウント２５０とレンズマウント３５０に設置されたコネクタを介して、データを送受信可能である。ボディマウント２５０は、カメラコントローラ２４０から受信した露光同期信号を、レンズマウント３５０を介して、レンズコントローラ３４０に送信する。カメラコントローラ２４０から受信したその他の制御信号を、レンズマウント３５０を介してレンズコントローラ３４０に送信する。ボディマウント２５０は、レンズマウント３５０を介して、レンズコントローラ３４０から受信した信号を、カメラコントローラ２４０に送信する。ボディマウント２５０は、電源２６０からの電力を、レンズマウント３５０を介して交換レンズ３００全体に供給する。

電源２６０は、デジタルカメラ１００内の各要素に電力を供給する。

カードスロット２７０は、メモリカード２７１を装着可能である。カードスロット２７０は、カメラコントローラ２４０からの制御に基づいて、メモリカード２７１を制御する。デジタルカメラ１００は、メモリカード２７１に対して画像データを格納したり、メモリカード２７１から画像データを読み出したりすることができる。

カメラ本体２００は、ＢＩＳ機能を実現するとともに、画素ずらしを実現するために、撮像素子２１０を移動させる撮像素子駆動部２８１と、撮像素子２１０の位置を検出する位置センサ２８２とを備える。撮像素子駆動部２８１は、例えば、マグネットと平板コイルとで実現可能である。カメラ本体２００は、ＢＩＳ機能を実現する構成として、カメラ本体２００のぶれを検出するジャイロセンサ２８４と、ジャイロセンサ２８４の検出結果に基づき、ぶれ補正処理を制御するＢＩＳ処理部２８３とを備える。

位置センサ２８２は、光学系の光軸に垂直な面内における、撮像素子２１０の位置を検出するセンサである。位置センサ２８２は、例えば、マグネットとホール素子で実現可能である。ＢＩＳ処理部２８３は、ジャイロセンサ２８４からの信号および位置センサ２８２からの信号に基づき、撮像素子駆動部２８１を制御する。これにより、ＢＩＳ処理部２８３は、カメラ本体２００のぶれを相殺するように、撮像素子２１０を光軸に垂直な面内でシフトさせる。

撮像素子２１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等である。また、撮像素子駆動部２８１はステッピングモータ、ボイスコイルモータ、もしくは、そのほかのアクチュエータを用いても構わない。アクチュエータにステッピングモータを用いた場合、オープン制御が可能となり、それに伴って、位置センサを不要とすることも可能である。

１−２．交換レンズ
交換レンズ３００は、光学系と、レンズコントローラ３４０と、レンズマウント３５０とを備える。光学系は、ズームレンズ３１０、ＯＩＳレンズ３２０、およびフォーカスレンズ３３０を含む。

ズームレンズ３１０は、光学系で形成される被写体像の倍率を変化させるためのレンズである。ズームレンズ３１０は、１枚または複数枚のレンズで構成される。ズームレンズ駆動部３１１は、使用者が操作可能なズームリング等を含み、使用者による操作をズームレンズ３１０に伝え、ズームレンズ３１０を光学系の光軸方向に沿って移動させる。

フォーカスレンズ３３０は、光学系で、撮像素子２１０上に形成される被写体像のフォーカス状態を変化させるためのレンズである。フォーカスレンズ３３０は、１枚または複数枚のレンズで構成される。

フォーカスレンズ駆動部３３３は、モータを含み、レンズコントローラ３４０の制御に基づいて、フォーカスレンズ３３０を光学系の光軸に沿って移動させる。フォーカスレンズ駆動部３３３は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

レンズコントローラ３４０は、使用者によるズームリング等を用いた操作、または、レンズマウント３５０を介してカメラコントローラ２４０から受信した制御信号に応じて、交換レンズ３００全体の動作を制御する。レンズコントローラ３４０は、制御動作または画像処理動作の際に、ＤＲＡＭ３４１をワークメモリとして使用する。フラッシュメモリ３４２は、交換レンズ３００のレンズ特性を表すレンズデータを記憶する。レンズデータとは、レンズの名称またはＦ値、焦点距離等などをカメラコントローラ２４０が認識可能な形態になっているデータを表す。

レンズコントローラ３４０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。

ＯＩＳレンズ３２０は、ＯＩＳ機能（ＯＩＳレンズ３２０のシフトにより手振れを補正する機能）において、交換レンズ３００の光学系で形成される被写体像のぶれを補正するためのレンズである。ＯＩＳレンズ３２０は、デジタルカメラ１００のぶれを相殺する方向に移動することにより、撮像素子２１０上の被写体像のぶれを小さくする。ＯＩＳレンズ３２０は、１枚または複数枚のレンズで構成される。ＯＩＳ駆動部３２１は、ＯＩＳ処理部３２３からの制御を受けて、光学系の光軸に垂直な面内でＯＩＳレンズ３２０をシフトする。

ＯＩＳ駆動部３２１は、例えば、マグネットと平板コイルとで実現可能である。位置センサ３２２は、光学系の光軸に垂直な面内における、ＯＩＳレンズ３２０の位置を検出するセンサである。位置センサ３２２は、例えば、マグネットとホール素子で実現可能である。ＯＩＳ処理部３２３は、位置センサ３２２の出力およびジャイロセンサ３２４（ぶれ検出器）の出力に基づいて、ＯＩＳ駆動部３２１を制御する。ＯＩＳ駆動部３２１は、超音波モータ等そのほかのアクチュエータを用いても構わない。

ジャイロセンサ２８４またはジャイロセンサ３２４は、デジタルカメラ１００の単位時間あたりの角度変化、すなわち角速度に基づいて、ヨーイング方向およびピッチング方向のぶれ（振動）を検出する。ジャイロセンサ２８４またはジャイロセンサ３２４は、検出したぶれの量（角速度）を示す角速度信号を、ＯＩＳ処理部３２３またはＢＩＳ処理部２８３に出力する。ジャイロセンサ２８４またはジャイロセンサ３２４によって出力された角速度信号は、手ぶれまたはメカノイズ等に起因する、幅広い周波数成分を含み得る。本実施の形態では、角速度検出部としてジャイロセンサを使用する。しかし、ジャイロセンサに代えて、デジタルカメラ１００のぶれを検出できるものであれば、他のセンサを使用することもできる。

２．動作
本実施の形態におけるデジタルカメラ１００の動作を、フローチャートを用いて説明する。図２は、実施の形態１における撮影動作時の処理を示すフローチャートである。

カメラコントローラ２４０は、現在設定されているモードが、ハイレゾモードであるか否かを判断する（ステップＳ２００）。カメラコントローラ２４０は、液晶モニタ２２０をユーザが操作して行った設定を保持しており、その設定を基に判断する。

カメラコントローラ２４０は、現在設定されているモードがハイレゾモードでないと判断した場合（ステップＳ２００でＮｏ）、通常の静止画の撮影動作を行う。ジャイロセンサ２８４またはジャイロセンサ３２４は、デジタルカメラ１００のヨーイング方向およびピッチング方向のぶれ（振動）量を検出し、検出したぶれ量を示す角速度信号を、ＯＩＳ処理部３２３またはＢＩＳ処理部２８３に出力する。ＯＩＳ処理部３２３は、ＯＩＳ駆動部３２１を制御し、ジャイロセンサ３２４で検出したぶれ量を相殺するように、ＯＩＳレンズ３２０を駆動してぶれ補正を行う。ＢＩＳ処理部２８３は、撮像素子駆動部２８１を制御し、ジャイロセンサ２８４で検出したぶれ量を相殺するように、撮像素子２１０を駆動してぶれ補正を行う（ステップＳ２０１）。ＯＩＳ処理部３２３とＢＩＳ処理部２８３は、互いに連携して動作する。連携動作の一例として、検出したぶれ量を示す角速度信号の内、ＯＩＳ処理部３２３で高い周波数の角速度信号を相殺するぶれ補正を行い、ＢＩＳ処理部２８３で低い周波数の角速度信号を相殺するぶれ補正を行う等がある。

カメラコントローラ２４０は、撮影動作を開始する（ステップＳ２０２）。カメラコントローラ２４０は、レンズコントローラ３４０および撮像素子２１０に対して、露光の開始を指示する。カメラコントローラ２４０は、露光完了後（ステップＳ２０３でＹｅｓ）、撮像素子２１０で撮像した画像データを、ＡＤコンバータ２１１でデジタル化し、所定の画像処理を施す。カメラコントローラ２４０は、ＯＩＳ処理部３２３とＢＩＳ処理部２８３にぶれ補正動作の終了を指示する（ステップ２０４）。カメラコントローラ２４０は、生成した画像データをメモリカード２７１に記録する（ステップＳ２０５）。

図２において、カメラコントローラ２４０が、現在設定されているモードがハイレゾモードと判断した場合（ステップＳ２００でＹｅｓ）、ハイレゾ撮影動作を行う（ステップＳ２０６）。図３は、実施の形態１におけるハイレゾ撮影時の処理を示すフローチャートである。

カメラコントローラ２４０は、現在設定されているモードが、手持ちハイレゾモードであるか否かを判断する（ステップＳ３００）。カメラコントローラ２４０は、液晶モニタ２２０をユーザが操作して行った設定を保持しており、その設定を基に判断する。

カメラコントローラ２４０は、手持ちハイレゾモードと判断した場合（ステップＳ３００でＹｅｓ）、ボディマウント２５０、レンズマウント３５０およびレンズコントローラ３４０を介して、ＯＩＳ処理部３２３に対して、ぶれ補正動作の開始を指示する（ステップＳ３０１）。ＯＩＳ処理部３２３は、ＯＩＳ駆動部３２１を制御し、ジャイロセンサ３２４で検出したぶれ量（角速度）を相殺するように、ＯＩＳレンズ３２０を駆動してぶれ補正を行う。

カメラコントローラ２４０は、ＢＩＳ処理部２８３を介して、撮像素子駆動部２８１を制御し、撮像素子２１０を、所定方向に所定量だけ駆動しつつ、撮像動作を行うハイレゾ撮影を開始する（ステップＳ３０２）。

図４、図５および図６を用いて、ハイレゾ撮影を説明する。

図４は、実施の形態１におけるハイレゾ撮影時の撮像素子２１０の駆動方法の概要を示す図である。図４において、４×４の四角形は、撮像素子２１０を構成する画素の一部（４×４画素）を表す。ピッチ側の１〜４と、ヨー側のＡ〜Ｄは、撮像素子２１０中の画素を特定するために用いる。

図５は、実施の形態１のハイレゾ撮影時のピッチ側における、撮像素子２１０の駆動と、ＯＩＳ処理部３２３におけるぶれ残差量との時間変化を示す図である。図６は、実施の形態１のハイレゾ撮影時のヨー側における、撮像素子２１０の駆動と、ＯＩＳ処理部３２３におけるぶれ残差量との時間変化を示す図である。図５および図６において、（ａ）は、ピッチ側およびヨー側における、撮像素子２１０の中心が位置する画素の位置の時間変化を示す。図５および図６において、（ｂ）は、ＯＩＳ処理部３２３における、ぶれ残差量の時間による変化を示す。ここで、ぶれ残差量とは、ＯＩＳ処理部３２３において、ジャイロセンサ３２４で検出したぶれ角速度を基に、演算されたぶれ量に対して、ぶれを相殺するようにＯＩＳ駆動部３２１を駆動した結果、相殺し切れずに残ったぶれ量を示す。図５および図６の（ｂ）において、上から２番目の横線と３番目の横線は、ぶれ残差量に対する閾値の幅を示し、ここでは±０．５画素を第１の閾値として設定している。なお、閾値は、±０．５画素に限らず、より小さい値でもよい。閾値を小さい値に設定することで、後述の合成処理により生成する合成画像の画質を向上することができる。しかし、使用環境によっては、合成処理に用いる画像の取得に時間がかかるようになるので、両者のバランスを考慮して、閾値を設定する。

図４、図５および図６に示すように、ハイレゾ撮影開始時に、撮像素子２１０の中心は、ピッチ側３、ヨー側Ｂの画素の中心に位置する。カメラコントローラ２４０は、撮像素子２１０が、ハイレゾ撮影の所定の位置（１枚目の撮影位置）にあるか判断する（ステップＳ３０３）。その後、カメラコントローラ２４０は、ＯＩＳ処理部３２３において、ピッチ側およびヨー側両方のぶれ残差量が第１の閾値内にあるか否かを判断し、第１の閾値内にある場合（ステップＳ３０４でＹｅｓ）に、撮影動作を開始する（ステップＳ３０５）。ここで、ぶれ残差量が第１の閾値内にないとしても、ぶれ残差量が第１の閾値内に近づく方向を向いており、撮影時のぶれ残差量が第1の閾値内となると推定される場合でも、撮影動作を開始することとしてもよい。カメラコントローラ２４０は、レンズコントローラ３４０および撮像素子２１０に対して、露光の開始を指示する。カメラコントローラ２４０は、露光完了後（ステップＳ３０６でＹｅｓ）、撮像素子２１０で撮像した画像データを読み出しつつ、撮像素子２１０を駆動して移動させる（ステップＳ３０７）。具体的な移動方法として、カメラコントローラ２４０は、撮像素子駆動部２８１により撮像素子２１０をピッチ側に１画素分移動（図４の（１））させ、撮像素子２１０の中心が、ピッチ側２、ヨー側Ｂの画素の中心に位置するように、撮像素子２１０を移動させる。以上により、１枚目の画像の撮影が完了する（ステップＳ３０８でＮｏ）。

カメラコントローラ２４０は、撮像素子２１０が、ハイレゾ撮影の所定の位置（２枚目の撮影位置）にあるか判断する（ステップＳ３０３）。カメラコントローラ２４０は、ＯＩＳ処理部３２３において、ぶれ残差量が第１の閾値内にあるか否かを判断する。図５の（ｂ）に示すように、この位置において、ピッチ側のぶれ残差量が第１の閾値を超えており、カメラコントローラ２４０は、ぶれ残差量が第１の閾値内になるまで待つ。ぶれ残差量が第１の閾値内になってから（ステップＳ３０４でＹｅｓ）、撮影動作を開始する（ステップＳ３０５）。カメラコントローラ２４０は、レンズコントローラ３４０および撮像素子２１０に対して、露光の開始を指示する。カメラコントローラ２４０は、露光完了後（ステップＳ３０６でＹｅｓ）、撮像素子２１０で撮像した画像データを読み出しつつ、撮像素子２１０を駆動して移動させる（ステップＳ３０７）。具体的な移動方法として、カメラコントローラ２４０は、撮像素子２１０をヨー側に１画素分移動（図４の（２））させ、撮像素子２１０の中心が、ピッチ側２、ヨー側Ｃの画素の中心に位置するように、撮像素子２１０を移動させる。以上により、２枚目の画像の撮影が完了する（ステップＳ３０８でＮｏ）。

同様に、カメラコントローラ２４０は３枚目の撮影を行う。図６の（ｂ）に示すように、撮像素子２１０を駆動している最中に、ヨー側のぶれ残差量が第１の閾値を超えているものの、露光開始時にぶれ残差量が第１の閾値以下となっているため、カメラコントローラ２４０は、露光を開始する。露光完了後、カメラコントローラ２４０は、撮像素子２１０をピッチ側に１画素分移動（図４の（３））させ、撮像素子２１０の中心が、ピッチ側３、ヨー側Ｃの画素の中心に位置するように、撮像素子２１０を移動させる（ステップＳ３０７）。

同様に、カメラコントローラ２４０は４枚目の撮影を行う。露光完了後、カメラコントローラ２４０は、撮像素子２１０をヨー側に１画素分移動（図４の（４））させ、撮像素子２１０の中心が、ピッチ側３、ヨー側Ｂの画素の中心に位置するように、撮像素子２１０を移動させる（ステップＳ３０７）。この移動により、撮像素子２１０は、ハイレゾ撮影開始時の最初の位置に戻る。

カメラコントローラ２４０は、４枚の画像撮影が完了後（ステップＳ３０８でＹｅｓ）、ＯＩＳレンズ３２０および撮像素子２１０の駆動を終了する（ステップＳ３０９）。カメラコントローラ２４０は、撮影した４枚の画像を合成し、高画質の合成画像を生成する。カメラコントローラ２４０は、生成した合成画像を、メモリカード２７１に記録する（ステップＳ３１０）。画像合成の方法は、従来から提案されている種々の方法を適用すればよい。

次に、カメラコントローラ２４０が、現在設定されているモードが、手持ちハイレゾモードでない、と判断した場合の処理について、説明する（ステップＳ３００でＮｏ）。ハイレゾモードであって、手持ちハイレゾモードでない場合、デジタルカメラ１００は、三脚等に固定され、手振れが発生しないモードである。このモードでは、カメラコントローラ２４０は、ＯＩＳ処理部３２３による手振れ補正を行う必要がない。手持ちハイレゾモードでない、との設定は、ユーザが液晶モニタ２２０を操作して設定してもよいし、ハイレゾ設定がなされ、かつ、デジタルカメラ１００が三脚で固定されていることを検知することで、自動設定してもよい。

カメラコントローラ２４０は、ＢＩＳ処理部２８３を介して、撮像素子駆動部２８１を制御し、撮像素子２１０を、所定方向に所定量だけ駆動する。これにより、撮像動作を行うハイレゾ撮影を開始する（ステップＳ３１１）。

ハイレゾ撮影開始時に、撮像素子２１０の中心は、ピッチ側３、ヨー側Ｂの画素の中心に位置する。カメラコントローラ２４０は、撮像素子２１０が、ハイレゾ撮影の所定の位置（１枚目の撮影位置）にあるか判断し（ステップＳ３１２でＹｅｓ）、撮影動作を開始する（ステップＳ３１３）。カメラコントローラ２４０は、レンズコントローラ３４０および撮像素子２１０に対して、露光の開始を指示する。カメラコントローラ２４０は、露光完了後（ステップＳ３１４でＹｅｓ）、撮像素子２１０で撮像した画像データを読み出しつつ、撮像素子２１０を駆動して移動させる（ステップＳ３１５）。具体的な移動方法として、カメラコントローラ２４０は、撮像素子駆動部２８１により、撮像素子２１０をピッチ側に１画素分移動（図４の（１））させ、撮像素子２１０の中心が、ピッチ側２、ヨー側Ｂの画素の中心に位置するように、撮像素子２１０を移動させる。以上により、１枚目の画像撮影が完了する（ステップＳ３１６でＮｏ）。

カメラコントローラ２４０は、前述の手持ちハイレゾモード時の動作と同様に、露光完了後に、撮像素子２１０で撮像した画像データを読み出しつつ、撮像素子２１０を移動させる処理を行う。これにより、２枚目から４枚目までの画像データを取得する。

カメラコントローラ２４０は、４枚の画像撮影が完了した後（ステップＳ３１６でＹｅｓ）、撮像素子２１０の駆動を終了する（ステップＳ３１７）。カメラコントローラ２４０は、撮影した４枚の画像を合成し、高画質の合成画像を生成する。カメラコントローラ２４０は、生成した合成画像を、メモリカード２７１に記録する（ステップＳ３１０）。

３．まとめ
本実施の形態のデジタルカメラ１００に相当する撮像装置は、複数のレンズを含む光学系と、光学系により形成された被写体像を撮像する撮像素子２１０と、撮像装置のぶれを検出するジャイロセンサ３２４に相当するぶれ検出部と、ぶれ検出部の出力信号に基づいて、ＯＩＳレンズ３２０に相当する、複数のレンズのうちの１つを光軸に垂直な面で移動させて、ぶれを補正するＯＩＳ処理部３２３に相当するレンズ駆動制御部を備える。また、撮像素子２１０を光軸に垂直な面で移動させる撮像素子駆動部２８１と、撮像素子２１０に撮像動作を行わせ、画像データを取得するカメラコントローラ２４０に相当する撮像制御部と、撮像素子２１０を所定量分、移動させつつ、複数回の撮像動作を行い、取得した複数の画像を合成して合成画像を生成するカメラコントローラ２４０に相当する画像処理部を備える。撮像制御部は、レンズ駆動制御部によるぶれの補正のぶれ残差量に基づき、画像処理部で合成する複数の画像を撮像するタイミングを制御する。

これにより、本実施の形態のデジタルカメラ１００に相当する撮像装置は、手振れの影響を抑えつつ、複数の画像データを合成して生成される合成画像データの画質を向上することができる。

撮像制御部は、画像処理部で合成する複数の画像の撮像開始前のぶれ残差量を第１の閾値と比較し、ぶれ残差量が第１の閾値以下である場合に撮像を開始してもよい。これにより、意図した撮像素子２１０の位置から手振れの影響により生じる位置ずれの影響を抑えることができ、合成画像データの画質を向上することができる。

（他の実施の形態）
上記実施の形態の思想は、以上で説明された実施の形態に限定されない。種々の実施の形態が考えられてもよい。以下、上記実施の形態の思想を適用できる他の実施の形態について説明する。

実施の形態１において、ぶれ残差量が第１の閾値以下になった後、露光を開始する形態について、説明した。ぶれ残差量が第１の閾値を超えている場合であっても、露光を開始し、露光開始時にぶれ残差量が第１の閾値を超えている撮像素子２１０の位置に対して、露光完了後に再度露光を行い、露光開始時のぶれ残差量が第１の閾値以下となる画像が取得できるまで、露光を繰り返す形態であってもよい。この場合、カメラコントローラ２４０は、露光開始時のぶれ残差量が第１の閾値以下である画像を合成して合成画像を生成する。

実施の形態１において、露光開始時のぶれ残差量を第１の閾値と比較する形態について説明した。カメラコントローラ２４０が、露光期間中のぶれ残差量の平均値を算出し、ぶれ残差量の平均値を第２の閾値（例えば±０．５画素）と比較してもよい。ぶれ残差量の平均値が第２の閾値を超えている撮像素子２１０の位置に対して、露光完了後に再度露光を行い、ぶれ残差量の平均値が第２の閾値以下となる画像が取得できるまで、露光を繰り返す形態であってもよい。この場合、カメラコントローラ２４０は、ぶれ残差量の平均値が第２の閾値以下である画像を合成して合成画像を生成する。なお、第２の閾値は±０．５画素としたが、ハイレゾの精度、または、撮影時間を考慮し、別の閾値を設定してもよい。判定基準を平均値としたが、露光時間内の最大値、または最小値を用いて判断してもよい。

これにより、手振れの影響を抑えた、かつ、使用者の意図した撮像素子２１０の位置で撮像した画像を取得でき、取得した複数の画像を合成して生成される合成画像データの画質を向上することができる。

実施の形態１において、撮像素子２１０を駆動して４回の撮像を行い、４枚の画像を合成して合成画像を生成する形態について説明した。合成する画像は、４枚である必要はなく、他の枚数であってもよい。合成する枚数を増やすことにより、合成画像の画質を高めることができるし、合成する枚数を減らすことで、撮影時間の短縮を行うことも可能である。

実施の形態１において、１画素単位で、移動軌跡が四角形となるように撮像素子２１０を駆動する形態について説明した。カメラコントローラ２４０が、撮像素子２１０を駆動する大きさ、方向は上記形態に限定されず、他の形態であってもよい。カメラコントローラ２４０は、撮像素子２１０を、０．５画素単位で駆動しても良いし、移動軌跡が他の形状を描く形態であってもよい。

実施の形態１において、交換レンズ方式のデジタルカメラ１００について説明した。デジタルカメラ１００は、レンズ側にＯＩＳ機能を備えるのであれば、レンズ一体型のカメラであってもよい。

以上のように、本実施の形態のカメラコントローラ２４０に相当する撮像制御部は、カメラコントローラ２４０に相当する画像処理部で合成する複数の画像の撮像開始時のぶれ残差量を保持し、ぶれ残差量が第１の閾値を超える画像に対して、画像を撮像した際の撮像素子２１０と同一の位置で再度撮像を行ってもよい。画像処理部は、ぶれ残差量が第１の閾値以下である画像を合成して合成画像を生成してもよい。これにより、手振れの影響を抑えた、かつ、使用者の意図した撮像素子２１０の位置で撮像した画像を取得でき、取得した複数の画像を合成して生成される合成画像データの画質を向上することができる。

また、カメラコントローラ２４０に相当する撮像制御部は、カメラコントローラ２４０に相当する画像処理部で合成する複数の画像を撮像した際に、画像毎に撮像中のぶれ残差量の平均値を算出し、撮像中のぶれ残差量の、平均値、最大値および最小値のいずれかが第２の閾値を超える画像に対して、画像を撮像した際の撮像素子と同一の位置で再度撮像を行ってもよい。画像処理部は、平均値、最大値および最小値のいずれかが第２の閾値以下である画像を合成して合成画像を生成してもよい。これにより、手振れの影響を抑えた、かつ、使用者の意図した撮像素子２１０の位置で撮像した画像を取得でき、取得した複数の画像を合成して生成される合成画像データの画質を向上することができる。

以上、本開示における技術の例示として、実施の形態を説明した。そのために、詳細な説明および添付の図面を開示した。よって、詳細な説明および添付の図面に記載された構成要素の中には、課題解決のために必須でない構成要素が含まれることがある。したがって、それらの必須でない構成要素が、詳細な説明および添付の図面に記載されているからといって、それらの必須でない構成要素が必須であると直ちに認定されるべきではない。

上記実施の形態は、本開示における技術を例示するためのものである。よって、上記実施の形態は、特許請求の範囲またはその均等の範囲において種々の変更、置換、付加および／または省略等を行なわれてもよい。

本開示の技術は、手ぶれ補正機能を備えた電子機器（デジタルカメラまたはカムコーダ等の撮像装置、携帯電話、スマートフォン等）に適用することができる。

１００ デジタルカメラ
２００ カメラ本体
２１０ 撮像素子
２１１ ＡＤコンバータ
２１２ タイミング発生器
２２０ 液晶モニタ
２３０ レリーズ釦
２４０ カメラコントローラ
２４１ ＤＲＡＭ
２５０ ボディマウント
２６０ 電源
２７０ カードスロット
２７１ メモリカード
２８１ 撮像素子駆動部
２８２ 位置センサ
２８３ ＢＩＳ処理部
２８４ ジャイロセンサ
３００ 交換レンズ
３１０ ズームレンズ
３１１ ズームレンズ駆動部
３２０ ＯＩＳレンズ
３２１ ＯＩＳ駆動部
３２２ 位置センサ
３２３ ＯＩＳ処理部
３２４ ジャイロセンサ
３３０ フォーカスレンズ
３３３ フォーカスレンズ駆動部
３４０ レンズコントローラ
３４１ ＤＲＡＭ
３４２ フラッシュメモリ
３５０ レンズマウント

Claims (4)

1. 複数のレンズを含む光学系と、
   前記光学系により形成された被写体像を撮像する撮像素子と、
   撮像装置のぶれを検出するぶれ検出部と、
   前記ぶれ検出部の出力信号に基づいて、前記複数のレンズのうちの１つを光軸に垂直な面で移動させて、前記ぶれを補正するレンズ駆動制御部と、
   前記撮像素子を前記光軸に垂直な面で移動させる撮像素子駆動部と、
   前記撮像素子に撮像動作を行わせ、画像データを取得する撮像制御部と、
   前記撮像素子を所定量分、移動させつつ、複数回の撮像動作を行い、取得した複数の画像を合成して合成画像を生成する画像処理部と、を備え、
   前記撮像制御部は、前記レンズ駆動制御部による前記ぶれの補正のぶれ残差量に基づき、前記画像処理部で合成する前記複数の画像を撮像するタイミングを制御する、撮像装置。
2. 前記撮像制御部は、
   前記画像処理部で合成する複数の画像の撮像開始前の前記ぶれ残差量を第１の閾値と比較し、前記ぶれ残差量が前記第１の閾値以下である場合に撮像を開始する、
   請求項１に記載の撮像装置。
3. 前記撮像制御部は、
   前記画像処理部で合成する複数の画像の撮像開始時の前記ぶれ残差量を保持し、
   前記ぶれ残差量が第１の閾値を超える画像に対して、当該画像を撮像した際の前記撮像素子と同一の位置で再度撮像を行い、
   前記画像処理部は、
   前記ぶれ残差量が前記第１の閾値以下である画像を合成して合成画像を生成する、
   請求項１に記載の撮像装置。
4. 前記撮像制御部は、
   前記画像処理部で合成する複数の画像を撮像した際に、画像毎に撮像中の前記ぶれ残差量の平均値を算出し、撮像中の前記ぶれ残差量の、前記平均値、最大値および最小値のいずれかが第２の閾値を超える画像に対して、当該画像を撮像した際の前記撮像素子と同一の位置で再度撮像を行い、
   前記画像処理部は、
   前記平均値、前記最大値および前記最小値のいずれかが前記第２の閾値以下である画像を合成して合成画像を生成する、
   請求項３に記載の撮像装置。