JP2010078635A - ブレ補正装置及び撮像装置 - Google Patents

ブレ補正装置及び撮像装置 Download PDF

Info

Publication number
JP2010078635A
JP2010078635A JP2008243663A JP2008243663A JP2010078635A JP 2010078635 A JP2010078635 A JP 2010078635A JP 2008243663 A JP2008243663 A JP 2008243663A JP 2008243663 A JP2008243663 A JP 2008243663A JP 2010078635 A JP2010078635 A JP 2010078635A
Authority
JP
Japan
Prior art keywords
exposure
image
divided
blur correction
divided exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008243663A
Other languages
English (en)
Inventor
Haruo Hatanaka
晴雄 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008243663A priority Critical patent/JP2010078635A/ja
Publication of JP2010078635A publication Critical patent/JP2010078635A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】光学式ブレ補正及び加算式ブレ補正の効果の最大化を図る。
【解決手段】撮像装置は、補正レンズの駆動による光学式ブレ補正と、連続撮影されたn数の分割露光画像の合成による加算式ブレ補正と、を実行可能である。シャッタボタンが押下された時、1枚の静止画像を得るための最適な露光時間TALLを設定した後、光学式ブレ補正を実行しながら1枚目の分割露光画像の露光を開始する。この際、補正レンズの位置を監視しておき、補正レンズの位置が可動範囲の限界に近づいたら(判定条件が充足したら)1枚目の分割露光画像の露光を終了して、補正レンズの位置を可動範囲の中心位置に戻す処理(センタリング処理)を行い、その後、次の分割露光画像の露光を開始する。2、3枚目・・・の分割露光画像に対しても同様の処理を行い、1〜n枚目の分割露光画像の合計露光時間がTALLに達したら撮影動作を終了する。
【選択図】図5

Description

本発明は、手ブレ等に由来して生じる撮影画像上のブレを補正するブレ補正装置に関する。また、本発明は、ブレ補正機能を備えた撮像装置に関する。
手ブレ補正技術は、手ブレに由来する画像のブレを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。
手ブレ補正の一種として光学式ブレ補正が提案されている。光学式ブレ補正では、手ブレ検出信号に基づいて撮像部の光学系内に配置された補正レンズを光軸に直交する面に沿って移動させることにより、撮像素子上の像ブレを補正し、これによってブレの少ない画像を取得する。尚、補正レンズの代わりに撮像素子を移動させることによって、或いは、補正レンズの代わりにバリアングルプリズムを用いることによって、光学式ブレ補正を実現することもできる。
補正レンズが移動可能な範囲には制限があるため、光学式ブレ補正を有効に機能させるためには、適切なタイミングにおいて補正レンズの位置を可動範囲の中心位置に戻す必要がある。補正レンズの位置を可動範囲の中心位置(初期位置)に戻す処理を、センタリング処理という。センタリング処理により光学補正範囲が十分に確保されるため(即ち、補正レンズの可動範囲が十分に確保されるため)、任意の方向の手ブレに対して有効にブレ補正が働く。
一方、手ブレ補正の他の例として加算式ブレ補正が提案されている。加算式ブレ補正では、1枚の静止画像を得るために設定された全露光時間TALLをn個に分割し、全露光時間TALLよりも短い露光時間による撮影をn回連続的に実行することにより、n枚の分割露光画像を取得した後、そのn枚の分割露光画像を合成することによって、ブレの少ない1枚の静止画像を生成する(nは2以上の整数)。
更に、光学式ブレ補正と加算式ブレ補正の長所を同時に享受すべく、それらを組み合わせたブレ補正(以下、光学/加算ハイブリッドブレ補正と呼ぶ)も提案されている。光学/加算ハイブリッドブレ補正は、例えば、下記特許文献1及び2に開示されている。光学/加算ハイブリッドブレ補正では、加算式ブレ補正と同様に、n枚の分割露光画像を合成することによって1枚の静止画像を生成するが、各分割露光画像の露光中に光学式ブレ補正が実行される。このため、夫々の分割露光画像内に含まれるブレが光学的に補正され、結果、単なる加算式ブレ補正にて得られるべきそれよりも、更にブレの少ない静止画像を生成することが可能となる。
但し、光学/加算ハイブリッドブレ補正においても、補正レンズの可動限界に対する考慮が必要であり、センタリング処理の適切な実行が必要となる。
特許文献1の方法では、n枚の分割露光画像の夫々の露光開始前にセンタリング処理を行っている(従って、合計n回のセンタリング処理が行われる)。図10は、特許文献1の方法によってn枚の分割露光画像が取得される様子を示す図である(但し、図10においては、n=4)。
特許文献1の方法によれば、それぞれの分割露光画像に対して光学補正範囲が十分に確保されるため、それぞれの分割露光画像のブレは光学式ブレ補正により十分に低減される。但し、その反面、センタリング処理の時間分、分割露光画像の連写間隔が長くなるため加算式ブレ補正の効果が低減する(その理由は後述)。また、n枚の分割露光画像を撮影するために必要な時間が長くなるため、ユーザの撮影に関わる負担(時間的な拘束時間)が増加する。
他方、特許文献2の方法では、1枚目の分割露光画像の露光開始前に1回だけセンタリング処理を行い、その後、センタリング処理を行わないようにしている。図11は、特許文献2の方法によってn枚の分割露光画像が取得される様子を示す図である(但し、図11においては、n=4)
特許文献2の方法によれば、分割露光画像の連写間隔が短くなるため、加算式ブレ補正の効果は大きくなる。しかし、全露光時間TALLが長いと、分割露光画像の取得中に補正レンズの位置が可動限界位置に達して、その後、光学式ブレ補正が働かなくなるという問題が生じる。例えば、n枚の分割露光画像の露光中に一定方向の手ブレが撮像装置に作用した場合、補正レンズは1枚目の分割露光画像の露光開始時点から一定方向に移動せしめられるが、仮に(n−1)枚目の分割露光画像の露光前に補正レンズの位置が可動限界位置に達すれば、(n−1)及びn枚目の分割露光画像に対して光学式ブレ補正が働かなくなる。補正レンズの可動範囲を拡大すれば、この問題は幾分軽減されるが、可動範囲の拡大は、当然、光学補正ユニットのサイズ拡大を招く。
分割露光画像の連写間隔が長くなることによる弊害について補足説明する。分割露光画像の連写間隔が長いことは、取得されるべき複数の分割露光画像の露光タイミング間隔が大きいことを意味する。
(i)加算式ブレ補正では、複数の分割露光画像間の位置ズレを検出し、検出した位置ズレに基づいて複数の分割露光画像間の位置合わせした後に、複数の分割露光画像を合成する。複数の分割露光画像間で対応点を探索するマッチング処理によって位置ズレ検出を実現することができるが、複数の分割露光画像の露光タイミング間隔が大きいと複数の分割露光画像間の位置ズレ量も大きくなるため、対応点の探索範囲を拡大する必要がある。探索範囲の増大は、位置ズレの誤検出率の増大を招くと共にマッチング処理時間の増大を招く。位置ズレが誤検出されれば、当然、理想的な画像合成処理を行うことができない。
(ii)加算式ブレ補正では、上述したように、複数の分割露光画像間の位置ズレを検出し
、検出した位置ズレに基づいて複数の分割露光画像間の位置合わせを行う。この位置合わせ後、複数の分割露光画像が重なり合う領域を各分割露光画像から切り出し、切り出し領域内の画像を合成することによってブレ補正画像を生成することができるが(図12参照)、複数の分割露光画像の露光タイミング間隔が大きいと複数の分割露光画像間の位置ズレ量も大きくなって重なり領域の画像サイズが小さくなり、結果、切り出し処理を介して得られるブレ補正画像の画角が小さくなる。また、重なり領域についての画像を生成する一方で、重なり合わない領域についての画像を1枚の分割露光画像の画像データから生成し、両画像を張り合わせることで画角の減少を避けることも可能である。この場合は、1枚の分割露光画像の輝度を単純にアンプによる信号増幅によって増大させ、輝度増大後の画像を、重なり合わない領域についての画像として生成する。但し、信号増幅による輝度増大を行うと、当然、最終的に生成される画像の信号対雑音比(以下、S/N比という)が低下する。
(iii)複数の分割露光画像の露光タイミング間隔が大きいことに起因して複数の分割露光画像間の位置ズレ量が増大すると、複数の分割露光画像間の位置ズレの回転成分も増大する。上述のマッチング処理は、通常、画像間に並進運動のみが含まれていると想定している。従って、位置ズレの回転成分が増大すると、並進運動を想定したマッチング処理による位置合わせ精度が低下する。
(iv)複数の分割露光画像の露光タイミング間隔が大きいと、複数の分割露光画像の撮影間において、被写体が実空間上で大きく動く可能性が高まり、結果、複数の分割露光画像間の位置合わせに失敗する可能性が高まる。また、複数の分割露光画像の撮影間で被写体が大きく動けば、複数の分割露光画像間の位置ズレ量も大きくなり、結果、上述の項目(ii)で述べたように、最終的に生成される画像のS/N比の低下を招く。
(v)複数の分割露光画像の露光タイミング間隔が大きいと、上述したように、ユーザの
撮影に関わる負担(時間的な拘束時間)が増加する。
特開2005−176050号公報 特開2006−86978号公報
一般に、光学式ブレ補正と加算式ブレ補正とを比較した場合、光学式ブレ補正の方がブレ補正効果が高い。例えば、光学式ブレ補正によって得られたブレ補正画像と加算式ブレ補正によって得られたブレ補正画像とを比較した場合、一般的に、前者の方がS/N比が高く、前者の方が動被写体が自然な映像として表現される(後者では、動被写体がストロボ連写撮影で得られるような多重像になることがある)。
従って、光学/加算ハイブリッドブレ補正によるブレ補正効果を最大化するためには、光学式ブレ補正によるブレ補正効果を確実に享受できるようなセンタリング処理の実行制御が必要となる。その上で、分割露光画像の連写間隔が最小化されるように、センタリング処理の実行タイミングを決定する必要がある。
そこで本発明は、光学式ブレ補正及び加算式ブレ補正の効果の最大化に寄与するブレ補正装置及び撮像装置を提供することを目的とする。
本発明に係るブレ補正装置では、被写体像を撮像素子に結像させる光学系に加わるブレを検出するブレ検出部と、前記撮像素子又は前記光学系内の補正用部材を駆動対象として取り扱い、前記ブレ検出手段の検出結果に基づいて前記駆動対象を駆動することにより前記ブレに由来する前記撮像素子上の像ブレを補正するブレ補正部と、前記ブレ補正部による補正を行いつつ前記撮像素子を用いた撮影を複数回実行することにより得られた複数の画像を合成する画像合成部と、を備えたブレ補正装置において、前記ブレ補正部は、前記複数の画像の取得中において前記駆動対象の状態を所定の初期状態に戻すセンタリング処理を実行可能に形成され、前記複数の画像の取得中における前記駆動対象の、前記初期状態からの駆動量の検出結果又は予測結果に基づいて、前記複数の画像の取得中における前記センタリング処理の実行タイミングを設定することを特徴とする。
これにより、光学式ブレ補正の効果を確実に享受しつつセンタリング処理の実行回数を最小化することが可能となり、結果、システム全体のブレ補正効果(光学式ブレ補正及び加算式ブレ補正の効果)の最大化が可能となる。
具体的には例えば、前記ブレ補正部は、前記複数の画像の取得中において前記駆動量を検出し、その検出結果に基づいて前記実行タイミングを決定する。
より具体的には例えば、1枚の静止画像を取得するために設定された全露光時間はn個に分割され、その分割によって得られた各分割露光時間にて撮影を行うことで前記複数の画像としてのn枚の分割露光画像が取得され(nは2以上の整数)、前記ブレ補正部は、第i番目の分割露光画像の露光期間中において前記駆動量と所定の基準駆動量とを比較し、前記駆動量が前記基準駆動量に達した場合、第i番目の分割露光画像の露光を終了して前記センタリング処理を1回実行し、その前記センタリング処理の終了後に第(i+1)番目の分割露光画像の露光を開始する(iは、1≦i≦(n−1)を満たす整数)。
また例えば、1枚の静止画像を取得するために設定された全露光時間はn個に分割され、その分割によって得られた各分割露光時間にて撮影を行うことで前記複数の画像としてのn枚の分割露光画像が取得され(nは2以上の整数)、前記ブレ補正部は、各分割露光画像の露光終了時点における前記駆動量を予測し、その予測結果に基づいて前記実行タイミングを決定する。
そして例えば、前記ブレ補正部は、前記n枚の分割露光画像の実際の撮影を行うに先立ち、第1番目の分割露光画像の露光開始時点から見た、各分割露光画像の露光終了時点の経過時間を暫定的に決定して、その暫定的な経過時間に基づいて、各分割露光画像の露光終了時点における前記駆動量の最大値を予測し、その予測最大値と前記駆動対象の駆動限界量とに基づいて前記実行タイミングを決定する。
本発明に係る撮像装置は、撮像素子と上記ブレ補正装置を備える。
本発明によれば、光学式ブレ補正及び加算式ブレ補正の効果の最大化に寄与するブレ補正装置及び撮像装置を提供することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
<<第1実施形態>>
まず、本発明の第1実施形態を説明する。図1は、本発明の第1実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。
撮像装置1は、ブレ検出部10と、撮像部11と、AFE(Analog Front End)12と、主制御部13と、内部メモリ14と、表示部15と、記録媒体16と、操作部17と、を備えている。操作部17には、シャッタボタン17aが備えられている。主制御部13には、光学式ブレ補正制御部21及び画像合成処理部22が備えられる。
ブレ検出部10は、撮像装置1のブレを検出する。撮像装置1のブレは、いわゆる手ブレなどによって生じる。よって、以下の説明では、撮像装置1のブレを手ブレと称する。具体的には、ブレ検出部10は、撮像装置1のヨー方向(水平方向)の角速度を検出して、その検出結果を表す信号を出力する第1角速度センサと、撮像装置1のピッチ方向(垂直方向)の角速度を検出して、その検出結果を表す信号を出力する第2角速度センサとを備え、第1及び第2角速度センサの出力信号をブレ検出信号として光学式ブレ補正制御部21に与える。
図2に、撮像部11の内部構成図を示す。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子33と、光学系35や絞り32を駆動制御するためのドライバ34と、位置センサ36と、を備えている。光学系35は、ズームレンズ30、フォーカスレンズ31及び補正レンズLCを含む複数枚のレンズから形成される。撮像部11は撮像装置1の筐体(不図示)に固定されているので、撮像装置1に作用した手ブレは、撮像部11内の光学系35及び撮像素子33に加わる。
撮像素子33は、光学系35内の各レンズ(レンズ30、31及びLCを含む)及び絞り32を介して入射した被写体を表す光学像(被写体像)を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の受光画素を備え、夫々の撮影において、各受光画素は露光時間の長さに応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置1内で生成される駆動パルスに従って順次AFE12に出力される。以下の説明における「露光」とは、撮像素子33の露光を意味するものとする。
ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。ドライバ34は、主制御部13からの駆動信号に基づいてズームレンズ30及びフォーカスレンズ31の各位置並びに絞り32の開度を駆動制御することにより、撮像部11の焦点距離(画角)及び焦点位置並びに撮像素子33への入射光量を制御する。光軸とは、光学系35(補正レンズLC)の光軸を指す。
補正レンズLCは、光軸に直交する方向に移動可能である。即ち、補正レンズLCは、光軸に直交する面に沿って移動することが可能となるように、光学系35内に配置されている。ドライバ34は、主制御部13内の光学式ブレ補正制御部21から出力される補正レンズ駆動信号に基づいて補正レンズLCを上記面上で移動させることにより、いわゆる光学式ブレ補正を実現する。
ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。撮像装置1にヨー方向の手ブレを与えれば、光軸は水平面に平行な面上で回転し、撮像装置1にピッチ方向の手ブレを与えれば、光軸は鉛直面に平行な面上で回転する。ヨー方向の手ブレによって撮像素子33の撮像面上に結像する像は撮像面上で左右方向(撮像面の水平方向)に移動し、ピッチ方向の手ブレによって撮像素子33の撮像面上に結像する像は撮像面上で上下方向(撮像面の垂直方向)に移動する。補正レンズLCの位置が固定されていると仮定した場合において、注目した撮影画像の露光期間中に撮像装置1に手ブレが加われば、その手ブレに由来して撮像素子33上の光学像(被写体像)がぶれる。即ち、撮像素子33上で像ブレが生じ、結果、注目した撮影画像にブレが含まれることとなる。光学式ブレ補正では、このようなブレが注目した撮影画像に含まれなくなるように、即ち、撮像装置1に作用した手ブレに由来する撮像素子33上の像ブレが生じなくなるように、注目した撮影画像の露光期間中におけるブレ検出信号に基づいて補正レンズ駆動信号が生成される。
図2の位置センサ36は、ホールセンサ等から成り、光学系35内における補正レンズLCの位置を検出して、その検出した位置を表す位置検出信号を光学式ブレ補正制御部21に出力する。補正レンズLCの位置とは、光軸に直交する面上における、補正レンズLCの中心位置を指す。補正レンズLCの位置を、以下、補正レンズ位置とも呼ぶ。
図3(a)及び(b)は、光軸方向から見た補正レンズLCの外観平面図である。但し、図3(a)は、補正レンズ位置が初期位置Oと一致している時における補正レンズLCの外観平面図であり、図3(b)は、補正レンズ位置が初期位置Oと一致していない時における補正レンズLCの外観平面図である。補正レンズLCは初期位置Oを起点としつつ補正レンズ駆動信号に従って光軸に直交する面上を移動するが、機構等の制限から、当然、その移動範囲には限界がある。図3(a)及び(b)における破線300は、補正レンズLCが移動しうる位置の限界を表しており、それを駆動限界端と呼ぶ。
光軸に直交する面上における駆動限界端の外形は、円であるとは限らないが、今、説明の具体化のため、その外形が真円であるとする。補正レンズLCは、駆動限界端を表す破線円300内又は破線円300上にのみ、位置しうる。つまり、破線円300上の位置を含む、破線円300内の位置範囲が、補正レンズLCの可動範囲である。初期位置Oは、破線円300の中心位置と合致している。破線円300の半径をrにて表す。
光学式ブレ補正制御部21は、図3(b)に示すような補正レンズ位置が初期位置Oと一致していない状態を、図3(a)に示すような補正レンズ位置が初期位置Oと一致している状態へと戻す処理を実行可能である。この処理を、センタリング処理と呼ぶ。センタリング処理は、位置センサ36からの位置検出信号に基づき、補正レンズ位置を初期位置Oに戻すための補正レンズ駆動信号をドライバ34に出力することによって実現される。センタリング処理が実行されていない期間においては、位置検出信号に基づく光学式ブレ補正が実行される。
図1の各部位の説明に戻る。AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、主制御部13に出力する。
主制御部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(本明細書において「撮影画像」ともいう)を表す映像信号を生成する。また、主制御部13は、表示部15の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部15に対して行う。
内部メモリ14は、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成され、撮像装置1内で生成された各種データを一時的に記憶する。表示部15は、液晶ディスプレイパネル等から成る表示装置であり、主制御部13の制御の下、撮影された画像や記録媒体16に記録されている画像などを表示する。記録媒体16は、SD(Secure Digital)メモリカード等の不揮発性メモリであり、主制御部13による制御の下、撮影画像などを記憶する。
操作部17は、外部からの操作を受け付ける。操作部17に対する操作内容は、主制御部13に伝達される。シャッタボタン17aは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン17aを押下することによって静止画像の撮影及び記録が指示される。
撮像装置1は、いわゆる加算式ブレ補正をも実現可能に形成されている。加算式ブレ補正では、1枚の静止画像を得るために設定された全露光時間TALLをn個に分割し、全露光時間TALLよりも短い露光時間による撮影をn回連続的に実行することにより、n枚の撮影画像を取得した後、そのn枚の撮影画像を合成することによって1枚の静止画像を生成する。ここで、nは2以上の整数である。加算式ブレ補正の実行時に得られるn枚の撮影画像の夫々を分割露光画像と呼ぶ。n枚の分割露光画像を合成する処理は、図1の画像合成処理部22が実行する。
更に、撮像装置1は、光学式ブレ補正と加算式ブレ補正を組み合わせた光学/加算ハイブリッドブレ補正を実現可能に形成されている。以下、第1実施形態に係る光学/加算ハイブリッドブレ補正の動作を説明する。光学/加算ハイブリッドブレ補正においては、光学式ブレ補正制御部21に内在する露光制御部(不図示)が、分割露光画像の露光開始及び終了を制御する。光学式ブレ補正制御部21は、n枚の分割露光画像の露光期間の長さの合計が、全露光時間TALLと合致するように各分割露光画像の露光を制御する。また、光学/加算ハイブリッドブレ補正では、各分割露光画像の露光中に光学式ブレ補正が行われるため、各分割露光画像に含まれるぶれは無視できる程度に小さい。
図4は、第1実施形態に係る光学/加算ハイブリッドブレ補正の動作例を示す図である。今、時刻tA1、tA2、tA3、tA4の順番で時間が進行するものとする。即ち、時刻tA(i+1)は、時刻tAiよりも後に訪れる時刻である(iは整数)。以下の説明は、時刻tA1と時刻tA2の間の期間長さTAaが全露光時間TALLよりも短く、且つ、時刻tA1と時刻tA2の間の期間長さTAaと時刻tA3と時刻tA4の間の期間長さTAbとの和(TAa+TAb)が、全露光時間TALLと一致していることを想定している。
シャッタボタン17aが押下された後、時刻tA1に至る。シャッタボタン17aが押下されると、主制御部13は、光学系35を介して撮像素子33に入射する光量に基づき、1枚の静止画像を得るための最適な露光時間を設定する。ここで設定された最適な露光時間が、上記の全露光時間TALLである。尚、撮像素子33への入射光量は、それを測定する測光センサ(不図示)を用いて、或いは、シャッタボタン17aの押下直前又は押下直後におけるAFE12の出力信号を用いて検出される。
また、シャッタボタン17aが押下された際、光学式ブレ補正制御部21は、時刻tA1に至る直前にセンタリング処理を1回実行する。従って、時刻tA1においては、補正レンズ位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tA1にて1枚目の分割露光画像311を得るための露光が開始される。また、時刻tA1から時刻tA4に至るまでの期間中、光学式ブレ補正制御部21は、位置検出信号を参照することにより補正レンズ位置を監視する一方で、センタリング処理が実行される期間以外の期間中において光学式ブレ補正を実行する。
光学式ブレ補正制御部21は、1枚目の分割露光画像311を得るための露光の実行中において、位置検出信号に基づいて補正レンズ位置が所定の判定条件を満たすか否かを判定し、その判定条件が満たされると判断した場合、その判断時点で、1枚目の分割露光画像311を得るための露光を終了する。今の例においては、時刻tA2にて、1枚目の分割露光画像311を得るための露光が終了せしめられる。このため、1枚目の分割露光画像311の露光時間(露光時間の長さ)はTAaである。
判定条件とは、補正レンズLCが駆動限界端300上又は駆動限界端300に近い位置に存在しているという条件である。例えば、補正レンズ位置と初期位置Oとの距離(換言すれば、初期位置Oから見た、補正レンズLCの駆動量)DLCを所定の基準距離(換言すれば、基準駆動量)DREFと比較し、DLC≧DREFが成立する場合は判定条件が満たされると判断し、DLC≧DREFが成立しない場合は判定条件が満たされないと判断する。基準距離DREFは、駆動限界端の半径rに基づいて設定され、半径rそのもの、又は、半径rよりも若干小さい値に設定される(図3(a)参照)。
時刻tA2の後、光学式ブレ補正制御部21は、センタリング処理を1回実行し、そのセンタリング処理の終了後に、2枚目の分割露光画像312を得るための露光を開始する。2枚目の分割露光画像312を得るための露光の開始時刻が時刻tA3であり、時刻tA2と時刻tA3の間にセンタリング処理が実行される。また、時刻tA2と時刻tA3の間において、1枚目の分割露光画像311の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像311の画像データ)は内部メモリ14に一時的に記憶される。
光学式ブレ補正制御部21は、2枚目の分割露光画像312を得るための露光の実行中において、位置検出信号に基づいて補正レンズ位置が上記判定条件を満たすか否かを判定し、その判定条件が満たされると判断した場合、その判断時点で、2枚目の分割露光画像312を得るための露光を終了する。但し、今の例では、2枚目の分割露光画像312の露光期間中に、上記の判定条件は満たされなかったとする。そうすると、光学式ブレ補正制御部21は、時刻tA4にて2枚目の分割露光画像312の露光を終了させる。1枚目の分割露光画像311の露光期間の長さTAaと、時刻tA3と時刻tA4の間の期間長さTAbとの和(TAa+TAb)が、全露光時間TALLと一致するからである。
時刻tA4の後、2枚目の分割露光画像312の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像312の画像データ)は内部メモリ14に一時的に記憶される。
画像合成処理部22は、内部メモリ14に記憶された分割露光画像311及び312の画像データに基づき分割露光画像311及び312を合成することにより、1枚の合成画像を、シャッタボタン17aの押下に伴って得られるべき静止画像として生成する。図4の例とは異なるが、3枚以上の分割露光画像が取得された場合は、その3枚以上の分割露光画像を合成することにより、1枚の合成画像を、シャッタボタン17aの押下に伴って得られるべき静止画像として生成する。
n枚の分割露光画像から1枚の合成画像を生成する方法として、公知の方法を含む任意の方法を利用することが可能である。例えば、特開平9−261526号公報、特開2008−60927号公報に記載された方法を利用すればよい。典型的には例えば、n枚の分割露光画像の内の1枚を基準画像として且つ残りの分割露光画像を非基準画像として取り扱って、基準画像と非基準画像との間の位置ズレを検出し、検出した位置ズレが打ち消されるように基準画像と非基準画像とを位置合わせした後、基準画像上の画素の画素値と非基準画像上の対応画素の画素値を足し合わせることによって、合成画像上の対応画素の画素値を求める。このような足し合わせ演算を、合成画像上の各画素に対して実行することで合成画像の全体が生成される。
基準画像と非基準画像との間の位置ズレは、基準画像及び非基準画像の画像データに基づき基準画像及び非基準画像間のオプティカルフローを導出することによって求められる、或いは、基準画像及び非基準画像の露光期間中におけるブレ検出信号並びに基準画像の露光期間と非基準画像の露光期間との間の期間におけるブレ検出信号に基づいて求められる。
図4の例とは異なるが、仮に、判定条件が一度も満たされることなく時刻tA1から全露光時間TALLが経過した場合、時刻tA1から全露光時間TALLが経過した時点で、1枚目の分割露光画像311の露光を終了すると同時に、シャッタボタン17aに伴う静止画像取得用の撮影動作は完了する。この場合、分割露光画像311そのものが、シャッタボタン17aに伴って得られるべき1枚の静止画像として取り扱われる。
また、図4の例とは異なるが、時刻tA3にて2枚目の分割露光画像312を得るための露光を開始した後、時刻tA4に至る前に上記判定条件が満たされた場合は、その判定条件が満たされた時点で2枚目の分割露光画像312の露光を終了させ、その後、再度センタリング処理を実行してから、3枚目の分割露光画像の露光を開始させる。そして、1〜3枚目の分割露光画像の露光期間の合計長さが全露光時間TALLと一致するように、3枚目の分割露光画像の露光終了時点が制御される。勿論、3枚目の分割露光画像の露光中に上記判定条件が満たされた場合は、その判定条件が満たされた時点で3枚目の分割露光画像の露光が終了せしめられて、再度、センタリング処理が実行された後に、4枚目の分割露光画像の露光が開始される。
図5に、第1実施形態に係る光学/加算ハイブリッドブレ補正の動作フローチャートを示す。まず、ステップS1にてシャッタボタン17aが押下されると、ステップS2にて全露光時間TALLが設定されると共に変数iに初期値1が代入される。また、上述したように、1枚目の分割露光画像の露光開始前にセンタリング処理が実行される。
全露光時間TALLの設定後、ステップS3にて、i枚目の分割露光画像の露光が開始される。その後、ステップS4にて、全露光時間TALL分の露光が完了したか否かが判断される(この判断は、光学式ブレ補正制御部21又は主制御部13によって行われる)。即ち、現時点における1〜i枚目の分割露光画像の露光期間の長さの合計を求め、その合計が全露光時間TALLに達しているか否かが判断される。その合計が全露光時間TALLに達している場合は、ステップS1のシャッタボタン17aの押下に伴う撮影動作は完了し、得られた1〜i枚目の分割露光画像を合成することによって合成画像が生成される一方、その合計が全露光時間TALLに達していない場合は、ステップS5に移行する。
ステップS5において、上記の判定条件が満たされるか否かが判断され、それが満たされていない場合はステップS4に戻ってステップS4及びS5の処理が繰り返し実行される。一方、ステップS5において、判定条件が満たされると判断された場合はステップS6に移行してi枚目の分割露光画像の露光を終了し、その後、ステップS7にてセンタリング処理の実行及び変数iに対する1の加算を行ってからステップS3に戻り、上述のステップS3以降の処理が再度実行される。
上述の処理によって、n枚の分割露光画像の取得中における、1又は複数回のセンタリング処理の実行タイミングが決定される。センタリング処理の実行タイミングが決まれば、自動的に、n枚の分割露光画像の取得中におけるセンタリング処理の実行回数も定まる。よって、光学式ブレ補正制御部21は、n枚の分割露光画像の取得中におけるセンタリング処理の実行タイミング及び実行回数を可変設定する機能を有しているとも言える(第2実施形態においても同様)。
本実施形態の如くセンタリング処理を実行することにより、光学式ブレ補正によるブレ補正効果を確実に享受しつつ、センタリング処理の実行回数が最小化されるため、光学/加算ハイブリッドブレ補正によるブレ補正効果が最大化される。
<<第2実施形態>>
次に、本発明の第2実施形態を説明する。第2実施形態に係る撮像装置の全体ブロック部は図1に示すそれと同じであり、第2実施形態に係る撮像装置を形成する各部位の基本的な動作は、第1実施形態に示したものと同じである。従って、第2実施形態に係る撮像装置も、符号1によって参照する。但し、光学/加算ハイブリッドブレ補正の動作内容は、第1及び第2実施形態間で異なる。従って、以下、第2実施形態に係る光学/加算ハイブリッドブレ補正の動作について説明する。尚、第2実施形態において特に述べられない事項に関しては、第1実施形態に記載の事項が適用される。
図6は、第2実施形態に係る光学/加算ハイブリッドブレ補正の動作フローチャートである。図7は、第2実施形態に係る光学/加算ハイブリッドブレ補正の動作例αを示す図である。図6の動作フローチャートに沿って、光学/加算ハイブリッドブレ補正の動作を説明する。
ステップS11にてシャッタボタン17aが押下されると、ステップS12〜S17の処理が順次実行され、その後、ステップS18にて実際の露光が開始される。シャッタボタン17aの押下後、まず、ステップS12にて全露光時間TALLが設定される。全露光時間TALLの設定方法は第1実施形態で述べたものと同様である。全露光時間TALLの設定後、ステップS13において、主制御部13又は光学式ブレ補正制御部21は、式「TLIM=2Q/fD」に従ってブレ限界露光時間TLIMを算出する。ここで、Qは、光学式ブレ補正段数であり、fDは、撮像部11の焦点距離である。
光学式ブレ補正段数について簡単に説明する。光学式ブレ補正が機能していない状態(即ち、補正レンズ位置を固定した状態)において、或る一定の手ブレを撮像装置1に作用させて基本撮影画像を取得する。この基本撮影画像の露光時間は1/2-I秒であって、且つ、実空間上で固定された点像が撮像装置1に作用した手ブレによって基本撮影画像上で1画素分だけぶれていたとする(即ち、基本撮影画像上で描かれる、点像の軌跡の長さが1画素の大きさと同じであったとする)。次に、光学式ブレ補正を機能させた状態で、上記の一定の手ブレを撮像装置1に作用させてブレ補正撮影画像を取得する。この際、点像が、ブレ補正撮影画像上で1画素分だけぶれる時の露光時間TXを計測する。仮に、露光時間TXが1/2-J秒によって表されるとき、Q=(I−J)である。例えば、基本撮影画像の露光時間が1/2-3秒であって且つ露光時間TJが1/2-1秒であるとき、光学式ブレ補正段数は、Q=3−1=2より、2段である。
撮像装置1に作用する手ブレに由来する撮影画像上のブレは、光学式ブレ補正によって補正されるものの、その補正は完璧なものではない。光学式ブレ補正段数Qは撮像装置1にて実施される光学式ブレ補正の性能を表す指標であり、Qの値が大きければ大きいほど、光学式ブレ補正によるブレ補正効果は大きい。式「TLIM=2Q/fD」に基づくブレ限界露光時間TLIMは、撮影画像上に生じるブレが無視できるか否かを峻別する境界の露光時間を表し、TLIM以下の露光時間にて得られた撮影画像上のブレは無視できる程度に小さいと考えられる。
ステップS13にてブレ限界露光時間TLIMが算出された後、ステップS14において、主制御部13又は光学式ブレ補正制御部21は、ステップS12及びS13にて設定/算出された時間TALL及びTLIMに基づき、ステップS11のシャッタボタン17aの押下に伴って撮影されるべき分割露光画像の枚数n及び各分割露光画像の分割露光時間を設定する。或る分割露光画像の分割露光時間とは、その分割露光画像の露光期間の長さを表す。
具体的には、TALL/TLIMを求める。そして、TALL/TLIMが整数値である場合は、その整数値をnに代入すると共に、n枚の分割露光画像の夫々の分割露光時間をTALL/nに設定する。TALL/TLIMが小数を含む値である場合は、TALL/TLIMの整数部分の値に1を加えた値をnに代入し、n枚の分割露光画像の夫々の分割露光時間をTALL/nに設定する。ステップS14にて設定された各分割露光時間をTDEPにて表す。
その後、ステップS15において、主制御部13又は光学式ブレ補正制御部21は、ステップS14にて設定された分割露光時間TDEPと予め規定されているインターバル時間TITとに基づき、基準時点から見た、i枚目の分割露光画像の露光終了時点までの経過時間TLiを算出する(iは整数)。基準時点とは、補正レンズ位置が初期位置Oに一致している時点であり、図7の時刻tB1に対応する、1枚目の分割露光画像の露光開始時点である。経過時間TLiの算出は、n枚の分割露光画像の夫々に対して算出される。従って、n=4であれば、1〜4枚目の分割露光画像の露光終了時点までの経過時間TL1〜TL4が夫々に算出される。具体的には、ステップS14において、式「TLi=(i−1)・(TDEP+TIT)+TDEP」に従って経過時間TLiが算出される。例えば、i=3については、TL3=(3−1)・(TDEP+TIT)+TDEPである(図7参照)。
仮に、n枚の分割露光画像の取得中に1度もセンタリング処理が行われないのであれば、ステップS15にて算出される時間、即ち、1枚目の分割露光画像の露光開始時点から見た、1〜n枚目の分割露光画像の露光終了時点までの経過時間TL1〜TLnは、実際のそれらと合致する。しかしながら、n枚の分割露光画像の取得中にセンタリング処理が行われる場合、センタリング処理後に得られる分割露光画像についての経過時間TLiは、実際のそれと異なる。例えば、1枚目の分割露光画像の露光開始時点から見た、4枚目の分割露光画像の露光終了時点までの経過時間TL4は、ステップS15にて「TL4=(4−1)・(TDEP+TIT)+TDEP」に従って算出されるが、図7の例のようなセンタリング処理が実行される場合は、実際の経過時間はTL4と異なる。従って、ステップS15にて求められる経過時間TLiは、実際のそれと異なりうる、暫定的な経過時間(又は経過時間の予測値)であると言える。
ステップS15に続くステップS16において、主制御部13又は光学式ブレ補正制御部21は、ステップS15にて求めた経過時間TLiと、図8に示すような換算表350と、に基づいて、i枚目の分割露光画像の露光終了時点における最大ブレ角AGMAXiを予測する。この予測は、n枚の分割露光画像の夫々に対して行われる。従って、n=4であれば、1〜4枚目の分割露光画像の露光終了時点における最大ブレ角AGMAX1〜AGMAX4が夫々に算出される。
換算表350は、基準時点からの経過時間と、その経過時間中に撮像装置1に作用すると予想されるブレ角の最大量と、の関係を規定する。このブレ角の最大量が、最大ブレ角である。ブレ角とは、或る方向(例えば、ヨー方向又はピッチ方向)における、撮像装置1の回転角である。換算表350を表すデータは、実験等を介して、予め撮像装置1内に記憶される。尚、換算表350の代わりに、基準時点からの経過時間と該経過時間に対応する最大ブレ角との関係を規定する換算式を用意しておき、その換算式を用いて最大ブレ角AGMAXiを求めるようにしてもよい。
ステップS16に続くステップS17において、光学式ブレ補正制御部21は、最大ブレ角AGMAXiに対応する補正レンズLCの必要駆動量DViと駆動限界量DVLIMとを比較し、その比較結果に基づいて、n枚の分割露光画像の取得中に行われるべきセンタリング処理の実行タイミングを決定する。
撮像装置1が手ブレによって最大ブレ角AGMAXiだけ回転した時、撮像素子33上の光学像にブレが生じえるが、補正レンズLCの必要駆動量DViは、そのブレを打ち消すために必要な(そのブレを生じさせないようにするために必要な)補正レンズLCの駆動量(位置変化量)を指す。最大ブレ角が定まれば、その最大ブレ角に対応して移動させるべき補正レンズLCの必要駆動量は一意に定まる。
上述したように、TLiは1枚目の分割露光画像の露光開始時点からi枚目の分割露光画像の露光終了時点までの経過時間を表す一方で(図7参照)、最大ブレ角AGMAXiはTLi分の時間中に撮像装置1に作用すると予想されるブレ角の最大量を表す。従って、必要駆動量DViは、基準時点からi枚目の分割露光画像の露光終了時点までの、補正レンズLCの駆動量(移動量)の最大値を予測したものである。換言すれば、必要駆動量DViは、i枚目の分割露光画像の露光終了時点における、初期位置Oからの、補正レンズLCの駆動量の予測最大値である。但し、この予測の際には、駆動限界端300の存在は無視される(半径rは無限大であると仮定される)。このように、ステップS17では、各分割露光画像の露光終了時点における、初期位置Oからの、補正レンズLCの駆動量の最大値が予測される。
駆動限界量DVLIMは、図3(a)の駆動限界端300の半径rに基づいて、予め定められる。必要駆動量DViが、補正レンズ位置の、初期位置Oからの位置変化量を表すならば、駆動限界量DVLIMは半径rである。
基準時点からの経過時間が増大するにつれて、対応する最大ブレ角AGMAXiは増大すると共に必要駆動量DViも増大するため、AGMAXi<AGMAX(i+1)であり且つDVi<DVi+1、である。光学式ブレ補正制御部21は、必要駆動量DV1〜DVnと駆動限界量DVLIMとを比較し、どの時点で、必要駆動量が駆動限界量DVLIMを超えるかを判定する。そして、「DVi-1<DVLIM<DV1」が成立する場合、光学式ブレ補正制御部21は、(i−1)枚目の分割露光画像の露光終了後であって且つi枚目の分割露光画像の露光開始前にセンタリング処理が実行されるように、センタリング処理の実行タイミングを決定する。
ステップS17にてセンタリング処理の実行タイミングが決定された後、ステップS18に移行して、1枚目の分割露光画像の露光が開始され、ステップS12〜S17にて定められた内容に従って、n枚の分割露光画像の露光及びセンタリング処理が実行される。n枚の分割露光画像の露光中においては、光学式ブレ補正が実行される。また、ステップS17における決定内容とは別に、1枚目の分割露光画像の露光開始前にはセンタリング処理が実行される。
図7を参照して、第2実施形態に係る光学/加算ハイブリッドブレ補正の、具体的な動作例αを説明する。今、時刻tB1、tB2、tB3、tB4の順番で時間が進行するものとする。即ち、時刻tB(i+1)は、時刻tBiよりも後に訪れる時刻である(iは整数)。この動作例αでは、上述のステップS12〜S14の処理によりnに4が設定され、且つ、ステップS15〜S17の処理により不等式「DV3<DVLIM<DV4」が成立することに起因して、3枚目の分割露光画像の露光終了後であって且つ4枚目の分割露光画像の露光開始前にセンタリング処理を実行すべきことが決定されたことを想定している。
動作例αにおいて得られる1枚目〜4枚目の分割露光画像を、夫々、符号331〜334によって参照する。分割露光画像331〜334の夫々の露光時間(分割露光時間)は、ステップS14にて設定されるべきTDEPである。分割露光画像331〜334の露光開始時刻は、夫々、時刻tB1〜tB4である。時刻tB1と時刻tB2の間の期間長さ及び時刻tB2と時刻tB3の間の期間長さは共に(TDEP+TIT)であるが、時刻tB3と時刻tB4の間の期間長さは、分割露光時間TDEPにセンタリング処理時間TCNを加算した長さである。センタリング処理時間TCNは、1回のセンタリング処理を実行するために必要な時間であり、TCN>TITである。時刻tB1から見た、分割露光画像331〜333の露光終了時点までの経過時間は、ステップS15にて算出される暫定的な経過時間TL1〜TL3と合致するが、時刻tB1から見た、分割露光画像334の露光終了時点までの経過時間は、ステップS15にて算出される暫定的な経過時間TL4と異なる。
シャッタボタン17aが押下された後、時刻tB1に至る。シャッタボタン17aが押下されると、主制御部13は、光学系35を介して撮像素子33に入射する光量に基づき、1枚の静止画像を得るための最適な露光時間、即ち全露光時間TALLを設定する。また、シャッタボタン17aが押下された際、光学式ブレ補正制御部21は、時刻tB1に至る直前にセンタリング処理を1回実行する。従って、時刻tB1においては、補正レンズLCの位置は初期位置Oと一致(或いは略一致)している。このセンタリング処理の実行後、時刻tB1にて1枚目の分割露光画像331を得るための露光が開始される。
分割露光画像331の露光が終了すると、分割露光画像331の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像331の画像データ)は内部メモリ14に一時的に記憶される。分割露光画像331の画像データの読み出しの後、時刻tB2にて分割露光画像332の露光が開始され、その開始から分割露光時間TDEPが経過した後、分割露光画像332の露光が終了する。分割露光画像332の露光が終了すると、分割露光画像332の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像332の画像データ)は内部メモリ14に一時的に記憶される。分割露光画像332の画像データの読み出しの後、時刻tB3にて分割露光画像333の露光が開始され、その開始から分割露光時間TDEPが経過した後、分割露光画像333の露光が終了する。
分割露光画像333の露光が終了すると、光学式ブレ補正制御部21は、センタリング処理を1回実行し、そのセンタリング処理の終了後の時刻tB4にて分割露光画像334を得るための露光を開始する。また、分割露光画像333の露光終了時点と時刻tB4との間において、分割露光画像333の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像333の画像データ)は内部メモリ14に一時的に記憶される。時刻tB4から分割露光時間TDEPが経過して分割露光画像334の露光が終了すると、分割露光画像334の画像データを表す信号が撮像素子33から読み出され、読み出された信号(分割露光画像334の画像データ)は内部メモリ14に一時的に記憶される。
画像合成処理部22は、内部メモリ14に記憶された分割露光画像331〜334の画像データに基づいて分割露光画像331〜334を合成することにより、1枚の合成画像を、シャッタボタン17aの押下に伴って得られるべき静止画像として生成する。n枚の分割露光画像から1枚の合成画像を生成する方法は、第1実施形態で述べたものと同様である。
上述の動作例αでは、n=4であって且つ「DV3<DVLIM<DV4」が成立するが故に、n枚の分割露光画像の取得中にセンタリング処理を1回しか実行する必要がない。しかしながら、場合によっては、n枚の分割露光画像の取得中にセンタリング処理を2回以上実行する必要が生じる。n枚の分割露光画像の取得中にセンタリング処理を2回実行する動作例を、動作例βとして説明する。
動作例βでは、ステップS14にてnに8が設定された場合を想定する。図9は、動作例βを示す図である。尚、図9において、丸(○)が付された時間領域は分割露光画像の露光が行われる時間領域を表し、三角(△)が付された時間領域は分割露光画像の画像データの読み出しが行われる時間領域を表している。動作例βにおいて得られる1〜8枚目の分割露光画像を、夫々、符号381〜388によって表す。
動作例βでは、ステップS15において、1〜8枚目の分割露光画像381〜388の露光終了時点までの暫定的な経過時間TL1〜TL8を、式「TLi=(i−1)・(TDEP+TIT)+TDEP」に従って算出する。続いてステップS16において、経過時間TL1〜TL8に基づき、1〜8枚目の分割露光画像381〜388の露光終了時点における最大ブレ角AGMAX1〜AGMAX8を夫々に予測する。その後、ステップS17において、最大ブレ角AGMAX1〜AGMAX8に対応する補正レンズLCの必要駆動量DV1〜DV1と駆動限界量DVLIMとを比較することにより、n枚の分割露光画像の取得中に行われるべき1回目のセンタリング処理の実行タイミングを決定する。
今、「DV3<DVLIM<DV4」が成立したことを想定する。そうすると、光学式手ブレ補正制御部21は、3枚目の分割露光画像383の露光終了後であって且つ4枚目の分割露光画像384の露光開始前に1回目のセンタリング処理が実行されるように、n枚の分割露光画像の取得中における1回目のセンタリング処理の実行タイミングを決定する。
「DV3<DVLIM<DV4」の成立により、3枚の分割露光画像を撮影するたびに1回のセンタリング処理が必要となることが分かる。そこで、動作例βにおいて、光学式手ブレ補正制御部21は、6枚目の分割露光画像386の露光終了後であって且つ7枚目の分割露光画像387の露光開始前に2回目のセンタリング処理が実行されるように、n枚の分割露光画像の取得中における2回目のセンタリング処理の実行タイミングを決定する。
このようにセンタリング処理の実行タイミングが決定された後、ステップS18に移行して実際の露光が開始される。即ち、分割露光画像381の露光前においてセンタリング処理が実行された後、順次、分割露光画像381〜383の露光が行われる。分割露光画像383の露光終了後、n枚の分割露光画像の取得中における1回目のセンタリング処理が実行され、その1回目のセンタリング処理の終了後に、順次、分割露光画像384〜386の露光が行われる。分割露光画像386の露光終了後、n枚の分割露光画像の取得中における2回目のセンタリング処理が実行され、その2回目のセンタリング処理の終了後に、順次、分割露光画像387及び388の露光が行われる。その後、画像合成処理部22は、分割露光画像381〜388を合成することにより、1枚の合成画像を、シャッタボタン17aの押下に伴って取得されるべき静止画像として生成する。
本実施形態の如くセンタリング処理を実行することにより、光学式ブレ補正によるブレ補正効果を確実に享受しつつ、センタリング処理の実行回数が最小化されるため、光学/加算ハイブリッドブレ補正によるブレ補正効果が最大化される。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈3を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
上述の実施形態では、光学式ブレ補正を実現するための補正用部材として補正レンズLCを用いている。即ち、撮像装置1に作用した手ブレに由来する撮像素子33上の像ブレを補正するための補正用部材として補正レンズLCを用い、これによって光学式ブレ補正を実現している。撮像装置1に作用した手ブレに由来する撮像素子33上の像ブレを補正するための補正用部材は、補正レンズLCに限定されない。例えば、補正レンズLCの代わりにバリアングルプリズム(不図示)を補正用部材として用いて光学式ブレ補正を実現しても良い。バリアングルプリズムを用いる場合、バリアングルプリズムは補正レンズLCの代わりに光学系35内に配置され、被写体からの入射光は、バリアングルプリズムを介して撮像素子33に入射する。また例えば、補正レンズLC又はバリアングルプリズムを用いず、光軸に直交する面に沿って撮像素子33を移動させることにより、光学式ブレ補正を実現してもよい。
[注釈2]
ブレ検出部10を角速度センサにて構成する例を上述したが、撮像装置1のブレを表す、角速度以外の物理量を検出するセンサにて、ブレ検出部10を構成しても良い。例えば、撮像装置1の加速度を検出する加速度センサ又は撮像装置1の角加速度を検出する角加速度センサにてブレ検出部10を形成するようにしてもよい。撮像装置1の加速度又は角加速度を表す信号によっても光学式ブレ補正は実現可能である。
[注釈3]
撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部13内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
本発明の第1実施形態に係る撮像装置の全体ブロック図である。 図1の撮像部の内部構成図である。 光軸方向から見た、図2の補正レンズの外観平面図である。 本発明の第1実施形態に係る光学/加算ハイブリッドブレ補正の動作例を示す図である。 本発明の第1実施形態に係る光学/加算ハイブリッドブレ補正の動作フローチャートである。 本発明の第2実施形態に係る光学/加算ハイブリッドブレ補正の動作フローチャートである。 本発明の第2実施形態に係る光学/加算ハイブリッドブレ補正の動作例αを示す図である。 本発明の第2実施形態に係る光学/加算ハイブリッドブレ補正に利用される換算表を示す図である。 本発明の第2実施形態に係る光学/加算ハイブリッドブレ補正の動作例βを示す図である。 従来方法に係り、n枚の分割露光画像が取得される様子を示す図である。 従来方法に係り、n枚の分割露光画像が取得される様子を示す図である。 従来方法に係り、位置合わせ後の分割露光画像の重なり領域と、それが切り出される様子を示す図である。
符号の説明
1 撮像装置
10 ブレ検出部
11 撮像部
21 光学式ブレ補正制御部
22 画像合成処理部
30 ズームレンズ
31 フォーカスレンズ
32 絞り
33 撮像素子
34 ドライバ
35 光学系
36 位置センサ
LC 補正レンズ

Claims (6)

  1. 被写体像を撮像素子に結像させる光学系に加わるブレを検出するブレ検出部と、
    前記撮像素子又は前記光学系内の補正用部材を駆動対象として取り扱い、前記ブレ検出手段の検出結果に基づいて前記駆動対象を駆動することにより前記ブレに由来する前記撮像素子上の像ブレを補正するブレ補正部と、
    前記ブレ補正部による補正を行いつつ前記撮像素子を用いた撮影を複数回実行することにより得られた複数の画像を合成する画像合成部と、を備えたブレ補正装置において、
    前記ブレ補正部は、前記複数の画像の取得中において前記駆動対象の状態を所定の初期状態に戻すセンタリング処理を実行可能に形成され、前記複数の画像の取得中における前記駆動対象の、前記初期状態からの駆動量の検出結果又は予測結果に基づいて、前記複数の画像の取得中における前記センタリング処理の実行タイミングを設定する
    ことを特徴とするブレ補正装置。
  2. 前記ブレ補正部は、前記複数の画像の取得中において前記駆動量を検出し、その検出結果に基づいて前記実行タイミングを決定する
    ことを特徴とする請求項1に記載のブレ補正装置。
  3. 1枚の静止画像を取得するために設定された全露光時間はn個に分割され、その分割によって得られた各分割露光時間にて撮影を行うことで前記複数の画像としてのn枚の分割露光画像が取得され(nは2以上の整数)、
    前記ブレ補正部は、第i番目の分割露光画像の露光期間中において前記駆動量と所定の基準駆動量とを比較し、前記駆動量が前記基準駆動量に達した場合、第i番目の分割露光画像の露光を終了して前記センタリング処理を1回実行し、その前記センタリング処理の終了後に第(i+1)番目の分割露光画像の露光を開始する(iは、1≦i≦(n−1)を満たす整数)
    ことを特徴とする請求項2に記載のブレ補正装置。
  4. 1枚の静止画像を取得するために設定された全露光時間はn個に分割され、その分割によって得られた各分割露光時間にて撮影を行うことで前記複数の画像としてのn枚の分割露光画像が取得され(nは2以上の整数)、
    前記ブレ補正部は、各分割露光画像の露光終了時点における前記駆動量を予測し、その予測結果に基づいて前記実行タイミングを決定する
    ことを特徴とする請求項1に記載のブレ補正装置。
  5. 前記ブレ補正部は、前記n枚の分割露光画像の実際の撮影を行うに先立ち、第1番目の分割露光画像の露光開始時点から見た、各分割露光画像の露光終了時点の経過時間を暫定的に決定して、その暫定的な経過時間に基づいて、各分割露光画像の露光終了時点における前記駆動量の最大値を予測し、その予測最大値と前記駆動対象の駆動限界量とに基づいて前記実行タイミングを決定する
    ことを特徴とする請求項4に記載のブレ補正装置。
  6. 撮像素子及びブレ補正装置を備えた撮像装置であって、
    前記ブレ補正装置として、請求項1〜請求項5の何れかに記載のブレ補正装置を備える
    ことを特徴とする撮像装置。
JP2008243663A 2008-09-24 2008-09-24 ブレ補正装置及び撮像装置 Pending JP2010078635A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008243663A JP2010078635A (ja) 2008-09-24 2008-09-24 ブレ補正装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008243663A JP2010078635A (ja) 2008-09-24 2008-09-24 ブレ補正装置及び撮像装置

Publications (1)

Publication Number Publication Date
JP2010078635A true JP2010078635A (ja) 2010-04-08

Family

ID=42209213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008243663A Pending JP2010078635A (ja) 2008-09-24 2008-09-24 ブレ補正装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP2010078635A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004818A (ja) * 2010-06-16 2012-01-05 Olympus Corp 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP2012010003A (ja) * 2010-06-23 2012-01-12 Olympus Imaging Corp デジタルカメラ
JP2012023530A (ja) * 2010-07-14 2012-02-02 Nikon Corp 撮像装置、および画像合成プログラム
JP2016167710A (ja) * 2015-03-09 2016-09-15 キヤノン株式会社 画像再生装置及び画像再生方法
JP2017169074A (ja) * 2016-03-17 2017-09-21 ソニーモバイルコミュニケーションズ株式会社 画像安定化装置、画像安定化方法及び電子機器
WO2017169233A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
KR20180113168A (ko) 2017-04-05 2018-10-15 로무 가부시키가이샤 액추에이터 드라이버 및 이것을 사용한 촬상 장치, 및 촬상 방법
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN112585938A (zh) * 2019-11-05 2021-03-30 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
JP2021077935A (ja) * 2019-11-05 2021-05-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像装置、制御方法、及びプログラム
JP2021152595A (ja) * 2020-03-24 2021-09-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 制御装置、撮像装置、制御方法、及びプログラム
JP7401278B2 (ja) 2019-12-05 2023-12-19 キヤノン株式会社 撮像装置およびその制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001086398A (ja) * 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP2006086978A (ja) * 2004-09-17 2006-03-30 Canon Inc カメラシステム、カメラ本体及び交換レンズ
JP2007180904A (ja) * 2005-12-28 2007-07-12 Samsung Techwin Co Ltd 撮像装置および撮影方法
JP2008124728A (ja) * 2006-11-10 2008-05-29 Sanyo Electric Co Ltd 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001086398A (ja) * 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP2006086978A (ja) * 2004-09-17 2006-03-30 Canon Inc カメラシステム、カメラ本体及び交換レンズ
JP2007180904A (ja) * 2005-12-28 2007-07-12 Samsung Techwin Co Ltd 撮像装置および撮影方法
JP2008124728A (ja) * 2006-11-10 2008-05-29 Sanyo Electric Co Ltd 撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004818A (ja) * 2010-06-16 2012-01-05 Olympus Corp 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP2012010003A (ja) * 2010-06-23 2012-01-12 Olympus Imaging Corp デジタルカメラ
JP2012023530A (ja) * 2010-07-14 2012-02-02 Nikon Corp 撮像装置、および画像合成プログラム
JP2016167710A (ja) * 2015-03-09 2016-09-15 キヤノン株式会社 画像再生装置及び画像再生方法
JP2017169074A (ja) * 2016-03-17 2017-09-21 ソニーモバイルコミュニケーションズ株式会社 画像安定化装置、画像安定化方法及び電子機器
WO2017169233A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US10750091B2 (en) 2017-04-05 2020-08-18 Rohm Co., Ltd. Actuator driver, imaging device using the same, and imaging method
KR20180113168A (ko) 2017-04-05 2018-10-15 로무 가부시키가이샤 액추에이터 드라이버 및 이것을 사용한 촬상 장치, 및 촬상 방법
US10897574B2 (en) 2017-04-05 2021-01-19 Rohm Co., Ltd. Actuator driver, imaging device using the same, and imaging method
WO2019151030A1 (ja) * 2018-02-05 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
US11445114B2 (en) 2018-02-05 2022-09-13 Sony Semiconductor Solutions Corporation Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method
CN112585938A (zh) * 2019-11-05 2021-03-30 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
JP2021077935A (ja) * 2019-11-05 2021-05-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像装置、制御方法、及びプログラム
CN112585938B (zh) * 2019-11-05 2022-11-22 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
JP7401278B2 (ja) 2019-12-05 2023-12-19 キヤノン株式会社 撮像装置およびその制御方法
JP2021152595A (ja) * 2020-03-24 2021-09-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 制御装置、撮像装置、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP2010078635A (ja) ブレ補正装置及び撮像装置
JP4522207B2 (ja) カメラシステム、カメラ本体及び交換レンズ
US7639932B2 (en) Imaging apparatus
JP4667052B2 (ja) 撮像装置並びにそのカメラ本体及び交換レンズ
JP4671705B2 (ja) 撮像装置
US8456566B2 (en) Optical apparatus with unit for correcting blur of captured image caused by displacement of optical apparatus in optical-axis direction
US8289399B2 (en) System and method for image capture device
US20120133787A1 (en) Imaging device, image processing method, and computer program
JP2008026788A (ja) 撮像装置及びフォーカス制御方法
JP2009284394A (ja) 撮像装置および撮像方法
JP5572700B2 (ja) 撮像装置及び撮像方法
WO2013077073A1 (ja) 撮像装置及び撮像方法
JP2006173774A (ja) 撮像装置及び撮像装置の画像表示方法
JP6600458B2 (ja) 撮像素子、焦点検出装置及び焦点検出方法
JP2009089037A (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP4876550B2 (ja) 撮像装置、制御方法および制御プログラム
JPH11317904A (ja) 撮像装置及びその制御方法
JP2005176050A (ja) 撮像装置
JP2013160782A (ja) カメラ本体およびカメラシステム
JP5241403B2 (ja) 撮像装置
JP2010122356A (ja) 焦点検出装置および撮像装置
JP5407547B2 (ja) 撮像装置
JP5613145B2 (ja) 撮影装置およびプログラム
JPH07240932A (ja) 撮像装置
JP2009171327A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121225