JP2007036654A - 撮像装置 - Google Patents

Abstract

【課題】手振れ補正を行なうために手振れを抑制した画像を撮像する際、振れが無視できると想定されるある固定された露光時間によって撮像すると、実施の手振れの速さが想定している手振れの速さよりも速い場合には、撮像した画像に振れが生じてしまう可能性がある。
【解決手段】撮像時における単位時間あたりの手振れ量を測定し、測定した手振れ量に基づいて、手振れの発生を抑制することができる露光時間を算出する撮像装置を提案する。また、周囲の明るさを測定することにより、手振れの発生を抑制しつつ、なるべく適正露出に近い露光時間とすることもできる。さらに、算出された露光時間が所定の条件を満たすタイミングにて撮像を行なうことができるため、例えば、手振れがおさまって手振れ量が少ない撮像状況になったタイミングにて撮像を行なうこと等も可能である。
【選択図】 図１

Description

本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手振れ補正技術に関する。

通常、デジタルカメラやカメラ付携帯電話等の撮像装置によって被写体を撮像する際は、その撮像装置を人が手で支えて撮像する場合が多い。そのため、被写体を撮像する際に、いわゆる「手振れ」などによって撮像した画像の品質が低下するという問題が存在していた。このような問題を解決するために、例えば、特許文献１においては、振れが無視しうる程度の短い露光時間によって撮像した複数の画像を、位置を合わせて重ね合わせることにより明るさを補正して振れのない画像を取得する発明が開示されている。
特開平９−２６１５２６号公報

しかしながら、特許文献１においては振れが無視しうる露光時間を設定する際、振れが無視できると想定されるある固定された時間を使用している。しかし、実際の手振れの速さが想定している手振れの速さよりも速い場合には、撮像した画像に振れが生じてしまう可能性がある。また、振れが無視しうる露光時間を予め決めておく場合には比較的短い露光時間に設定しておくことが予想されるが、露光時間が短いと撮像環境周辺の明るさ等によっては暗い画像となるため、適正露出の画像に補正するために多くの処理が必要となったり、合成するために最低限必要な光量をも確保できなくなる等の問題も発生しうる。また、例えば撮像装置が三脚などによって固定されている場合などのように実際の撮像時において手振れが少ない場合には露光時間を短くしておくよりも、なるべく適正露出に近い露光時間にて撮像するほうがより好ましい。

そこで、本発明においては、撮像時における単位時間あたりの手振れ量を測定し、測定した手振れ量に基づいて、手振れの発生を抑制することができる露光時間を算出する撮像装置を提案する。また、周囲の明るさを測定することにより、手振れの発生を抑制しつつ、なるべく適正露出に近い露光時間とすることもできる。さらに、算出された露光時間が所定の条件を満たすタイミングにて撮像を行なうことができるため、例えば、手振れがおさまって手振れ量が少ない撮像状況になったタイミングにて撮像を行なうこと等も可能である。

本発明の撮像装置においては、撮像時における手振れ量に基づいて、より確実に手振れの発生を抑制する露光時間を決定することが可能である。また、なるべく手振れの発生を抑制しつつ、より適正露出に近い露光時間を決定する等も可能である。

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、７などについて説明する。実施形態２は、主に請求項２、８などについて説明する。実施形態３は、主に請求項３、９などについて説明する。実施形態４は、主に請求項４などについて説明する。実施形態５は、主に請求項５などについて説明する。実施形態６は、主に請求項６などについて説明する。
（実施形態１）

（実施形態１：概要）本実施形態は、実際の撮像時における単位時間あたりの手振れ量を測定し、測定された手振れ量に基づいて手振れの発生を抑制する露光時間を算出することが可能な撮像装置に関する。

（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１に例示する。撮像装置（０１００）は、「手振量測定部」（０１０１）と、「算出部」（０１０２）と、を有する。

なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図１８は撮像装置のより具体的な構成を示す図であり、一例として、レンズ（１８０１）、ＣＣＤ（１８０２）、Ａ／Ｄ変換器（１８０３）、ＣＰＵ（１８０４）、一時記憶メモリ（１８０５）、記憶装置（１８０６）、画像出力ユニット（１８０７）、モニタ（１８０８）等から構成されることを示している。（明細書の全体を通じて同様である。）

「手振量測定部」（０１０１）は、単位時間あたりの手振れ量を測定する機能を有する。単位時間あたりの手振れ量を測定する方法は、速度センサ、加速度センサ、角速度センサ、角加速度センサ、等のセンサを組み合わせることによって測定されてもよいし、測光センサやＡＦ（オートフォーカス）センサなどを利用して測定されてもよい。また、ある一定時間内に複数の画像を撮像し、撮像した画像間のずれを検出し、検出したずれ量と撮像時間にて算出されてもよい。画像間のずれは、ブロックマッチングやエッジ検出などにより検出することができる。手振量測定部の具体的な処理としては、例えば図１８を例として、加速度センサ等により検出された測定値を一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納することにより実現される。また、手振量測定部は、このような処理をＣＰＵ（１８０４）に実行させるためのプログラムを含んでいてもよい。

「算出部」（０１０２）は、手振量測定部（０１０１）にて測定された手振れ量に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する機能を有する。「手振れの発生を抑制した」とは、画像に与える手振れの影響を全く無くすという意味ではなく、なるべく軽減させる、という意味である。従って、どの程度、抑制するかということは設計事項であり、手振れ抑制露光時間の算出方法は、その都度設計され決定されることである。一例として、ある撮像素子において、手振れ量が撮像素子の１画素のサイズの２０％以下（この値は、撮像素子の種類などによって異なる。）であれば手振れ等による振れが画像に現れることがないという条件であったとすると、手振れ抑制露光時間をＴ（秒）、撮像素子の１画素当たりの開口サイズをｓ（ミリメートル）、手振量測定部（０１０１）にて測定された単位時間あたりの手振れ量をｈ（画素数／秒）、として、Ｔ×ｓ×ｈ、は露光時間Ｔにおける振れ量であり、これが撮像素子の１画素のサイズの２０％以下であればよいので、Ｔ×ｓ×ｈ<＝０．２ｓ、という式が成り立つ。すなわち、Ｔ<＝０．２／ｈ、という式にて手振れ抑制露光時間Ｔが算出することができる。算出部の具体的な処理としては、例えば、前記手振量測定部（０１０１）により一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納された単位時間あたりの手振れ量を読出し、読出した手振れ量により上述のような式などにより手振れ抑制露光時間を算出する。さらに、算出した結果を一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納する。また、算出部は、このような処理をＣＰＵ（１８０４）に実行させるためのプログラムを含んでいてもよい。

（実施形態１：処理の流れ）図２は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ０２０１）。次に、ステップＳ０２０１にて測定された手振れ量に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ０２０２）。

（実施形態１：効果）本実施形態に係る撮像装置においては、実際の撮像時における単位時間あたりの手振れ量を測定し、測定された手振れ量に基づいて手振れの発生を抑制する露光時間を算出するため、より確実に手振れの発生を抑制して撮像を行なうこと等が可能である。
（実施形態２）

（実施形態２：概要）本実施形態は、周囲の明るさをも考慮し、手振れを抑制しつつ、なるべく適正露出に近い手振れ抑制露光時間を算出することが可能な撮像装置に関する。

（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図３に例示する。撮像装置（０３００）は、「手振量測定部」（０３０１）と、「算出部」（０３０２）と、「明るさ情報取得部」（０３０３）と、を有する。すなわち、実施形態１に係る撮像装置の構成に、「明るさ情報取得部」（０３０３）を加えた構成となっている。

「明るさ情報取得部」（０３０３）は、周囲の明るさを示す情報である明るさ情報を取得する機能を有する。「明るさ情報」とは、具体的には、輝度を示す数値などによって表わされてもよいし、周囲の明るさにより算出される適正露光時間を明るさ情報としてもよい。また、取得方法としては、測光センサやＡＦセンサ等にて利用される被写体からの光の光量から算出されてもよいし、撮像した画像の全画素の画素値（ＲＧＢ値など）を表す画像情報と露光時間から算出するようになっていてもよい。また、実施形態１にて一例として挙げたように、ある撮像素子において、手振れ量が撮像素子の１画素のサイズの２０％以下であれば手振れ等による振れが画像に現れることがないという条件であったとすると、前記算出部（０３０２）にて手振れ抑制露光時間Ｔは単位時間あたりの手振れ量をｈ（画素数／秒）として、Ｔ<＝０．２／ｈ、という式にて算出される。この場合、手振れ量ｈが大きい場合にはＴの値は非常に小さくなるため、例えば、合成を行なうために最低限必要な露出も確保できなくなる場合もあり得る。また、手振れ量ｈが小さい場合にはＴの値は大きな値を取りうることになるため、逆に露出過多となる場合があり得る。明るさ情報を取得することの利点としては、このように手振れ抑制露光時間が非常に小さい値になる場合や非常に大きな値を取りうる場合に、明るさ情報を利用して、より適正露出に近い値にすることができることにある。

また、前記算出部（０３０２）は、明るさ情報取得部（０３０３）にて取得した明るさ情報にも基づいて前記算出を行なう。なお、「前記算出」とは、手振れ抑制露光時間の算出を指す。図４を用いて、明るさ情報を利用した手振れ抑制露光時間の算出方法の一例を説明する。また、上述のように、ある撮像素子において、手振れ量が撮像素子の１画素のサイズの２０％以下であれば手振れ等による振れが画像に現れることがないという条件であったとする。まず、明るさ情報取得部（０３０３）にて取得した明るさ情報により、適正露光時間（０４０１）がｔ１からｔ２の間であったとする。また、手振れ抑制露光時間Ｔは、上述のように手振れ量をｈ（画素数／秒）として、Ｔ<＝０．２／ｈ、という式にて算出される。例えば、撮像装置が三脚などにより固定されていて非常に手振れが少ない場合などは手振れ量ｈが非常に小さくなり、その場合の手振れ抑制露光時間Ｔ（０４０２）はｔ１よりも大きい値をｔｘとして、Ｔ<＝ｔｘとなる場合がある。このような場合、例えばＴ＝ｔｘと設定すると露出過多になってしまうので、ｔ２<＝Ｔ<＝ｔ１であるような値に設定して適正露光時間で撮像するほうが望ましいと思われる。また、手振れ量ｈが大きくなる場合、手振れ抑制露光時間Ｔ（０４０３）はｔ２よりも小さい値をｔｙとして、Ｔ<＝ｔｙとなる場合がある。よって、例えばＴ＝ｔｙと設定すると露出不足になりすぎて合成処理が困難となるような場合では、手振れが発生する可能性はあるが、Ｔ＝ｔ２などとするほうが望ましい場合もある。

（実施形態２：処理の流れ）図５は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ０５０１）。次に、周囲の明るさを示す情報である明るさ情報を取得する。この処理は、明るさ情報取得部によって実行される（ステップＳ０５０２）。最後に、ステップＳ０５０１にて測定された手振れ量と、ステップＳ０５０２にて取得した明るさ情報に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ０５０３）。

（実施形態２：効果）本実施形態に係る撮像装置においては、周囲の明るさを測定することにより適正露出となる露光時間が分かるため、手振れの発生を抑制しつつ、なるべく適正露出に近い手振れ抑制露光時間を算出することが可能である。
（実施形態３）

（実施形態３：概要）本実施形態は、複数の第一画像を撮像し、第一画像に基づいて手振れ量を測定し、明るさ情報を取得する撮像装置に関する。これにより、センサ等のデバイスを追加することなく従来の撮像装置の構成を利用して撮像装置を実現することができるという利点がある。

（実施形態３：構成）本実施形態に係る撮像装置の機能ブロックを図６に例示する。撮像装置（０６００）は、「手振量測定部」（０６０１）と、「算出部」（０６０２）と、「明るさ情報取得部」（０６０３）と、「第一撮像部」（０６０４）と、「第二撮像部」（０６０５）と、を有する。すなわち、実施形態２に係る撮像装置の構成に、「第一撮像部」（０６０４）と、「第二撮像部」（０６０５）を加えた構成となっている。

「第一撮像部」（０６０４）は、複数の第一画像を撮像する機能を有する。「撮像」とは、具体的には図１８を例として、被写体からの光をレンズ（１８０１）などの光学系を通してＣＣＤ（１８０２）等の撮像素子で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（１８０３）によりデジタル信号に変換して、ＣＰＵ（１８０４）で画像情報とすることを意味する。また、第一撮像部は、さらに画像情報を一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納する。また、第一撮像部は、このような処理をＣＰＵ（１８０４）に実行させるためのプログラムを含んでいてもよい。また、第一画像は、後述のように手振量測定部（０６０１）において手振れ量を測定する際に利用されるので、露光時間などの撮像条件が同じ状況下において撮像された複数の画像であると、より望ましいと思われる。なぜならば、画像の明るさ等が異なると、例えばブロックマッチング等により画像間の手振れ量を測定する場合などに精度が低くなる等の問題が発生する可能性があるからである。例えば、第一画像として、プレビュー画像などを利用することも可能である。プレビュー画像とは、ユーザが撮像装置により被写体を撮像しようとする際に利用するための画像であり、例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されユーザはこの表示を見ながらシャッターを切るが、この時に表示される画像である。プレビュー画像は、通常、周囲の明るさに基づいて適正露出にて撮像されるため、短時間で複数撮像されたプレビュー画像は、撮像条件がほぼ同じであると言える。また、プレビュー画像はデータサイズの小さい画像であるので、第一画像を保持するためのメモリ量が少なくて済むという利点がある。

「第二撮像部」（０６０５）は、算出部にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する機能を有する。よって、第二画像は、基本的には手振れの発生を抑制した露光時間にて撮像された画像である。ただし、前述のように手振れ抑制露光時間を露光時間とすると最低限必要な露出も確保できないような場合には、手振れが発生した画像となっている可能性もある。また、第二画像は、ユーザがシャッターを切ることにより得ることを目的とする画像などが該当する。第二撮像部の具体的な処理は、第一撮像部（０６０４）の処理方法と同様である。なお、前記第一撮像部（０６０４）と第二撮像部は、同一の処理機構によって実装されていてもよい。

また、手振量測定部（０６０１）は、第一撮像部（０６０４）にて撮像された複数の第一画像に基づいて手振れ量を測定する。図７にて、複数の第一画像に基づいて手振れ量を測定する方法の概略を説明する。図７においては、３つの第一画像（０７０１ａ、０７０１ｂ、０７０１ｃ）を利用する場合を例示する。（ａ）に示すように、第一画像０７０１ａと第一画像０７０１ｂの撮像間隔をｔ１、第一画像０７０１ｂと第一画像０７０１ｃの撮像間隔をｔ２とする。また、（ｂ）に示すように、第一画像０７０１ａと第一画像０７０１ｂとの単位時間当たりの動きベクトル（ｄｘ１，ｄｙ１）が、第一画像０７０１ｂと第一画像０７０１ｃとの単位時間当たりの動きベクトル（ｄｘ２，ｄｙ２）が、それぞれブロックマッチング等により検出されたとする。この場合、第一画像０７０１ａと第一画像０７０１ｂにおける単位時間あたりの手振れ量は、動きベクトル（ｄｘ１，ｄｙ１）の大きさを時間ｔ１で除算した値になる。また、第一画像０７０１ｂと第一画像０７０１ｃにおける単位時間あたりの手振れ量は、動きベクトル（ｄｘ２，ｄｙ２）の大きさを時間ｔ２で除算した値になる。このように検出した複数の第一画像間における単位時間あたりの手振れ量から平均的な手振れ量を算出するようになっていてもよい。また、各第一画像間の動き量の推移（増減率など）から複数の第一画像の後に撮像される第二画像の手振れ量を予測するようになっていてもよい。また、このように平均の手振れ量を算出しなくとも、例えば、第二画像の撮像直前の２つの第一画像のみを利用して手振れ量を測定してもよい。

また、明るさ情報取得部（０６０３）は、第一撮像部（０６０４）にて撮像された第一画像に基づいて明るさ情報を取得する。「第一画像に基づいて明るさ情報と取得する」とは、第一画像の全画素の画素値（ＲＧＢ値など）を表す画像情報と第一画像の露光時間から算出するような場合であってもよいし、第一画像を撮像するためにＣＣＤ等の撮像素子に蓄積される電荷量と蓄積時間などから算出されるような場合であってもよい。

（実施形態３：処理の流れ）図８は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、複数の第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ０８０１）。次に、ステップＳ０８０１にて撮像された複数の第一画像に基づいて単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ０８０２）。次に、ステップＳ０８０１にて撮像された第一画像に基づいて周囲の明るさを示す情報である明るさ情報を取得する。この処理は、明るさ情報取得部によって実行される（ステップＳ０８０３）。次に、ステップＳ０８０２にて測定された手振れ量と、ステップＳ０８０３にて取得した明るさ情報に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ０８０４）。最後に、ステップＳ０８０４にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する。この処理は、第二撮像部によって実行される（ステップＳ０８０５）。

（実施形態３：効果）本実施形態に係る撮像装置においては、撮像した複数の第一画像に基づいて手振れ量の測定や明るさ情報の取得を行なうことができるので、センサ等のデバイスを追加することなく従来の撮像装置の構成を利用して撮像装置を実現することができる。
（実施形態４）本実施形態は、データサイズの小さいプレビュー画像を第一画像として用いることにより、処理速度や記憶容量に制限のあるカメラ付携帯電話のカメラ等にも適用可能な撮像装置に関する。

（実施形態４：概要）本実施形態は、データサイズの小さいプレビュー画像を第一画像として用いることにより、処理速度や記憶容量に制限のあるカメラ付携帯電話のカメラ等にも適用可能な撮像装置に関する。

（実施形態４：構成）本実施形態に係る撮像装置の機能ブロックを図９に例示する。撮像装置（０９００）は、「手振量測定部」（０９０１）と、「算出部」（０９０２）と、「明るさ情報取得部」（０９０３）と、「第一撮像部」（０９０４）と、「第二撮像部」（０９０５）と、「プレビュー表示部」（０９０６）と、を有する。また、前記第一撮像部（０９０４）は、「プレビュー画像出力手段」（０９０７）を有する。すなわち、実施形態３に係る撮像装置の構成に、「プレビュー表示部」（０９０６）と、「プレビュー画像出力手段」（０９０７）を加えた構成となっている。

「プレビュー表示部」（０９０６）は、プレビュー画像を表示する機能を有する。「プレビュー画像」とは、ユーザが撮像装置により被写体を撮像しようとする際に利用するための画像であり、例えば、カメラ付携帯電話の液晶画面等に表示される画像である。すなわち、プレビュー表示部の具体例としては、液晶画面等が該当する。なお、プレビュー画像はデータサイズの小さい画像である。プレビュー表示部としては、図１８におけるモニタ（１８０８）が該当する。

「プレビュー画像出力手段」（０９０７）は、複数の第一画像をプレビュー画像としてプレビュー表示部（０９０６）に対して出力する機能を有する。すなわち、第一画像としてプレビュー画像を利用する。プレビュー画像はデータサイズの小さい画像であり、複数保持する必要のある第一画像として利用すると第一画像を保持するためのメモリ量が少なくて済むという効果がある。また、プレビュー画像は短時間内に連続して撮像され、その撮像条件もほぼ一定であるので、特に第一画像から手振れ量などを測定する場合には有用である。また、プレビュー画像出力手段の具体的な処理としては、レンズ（１８０１）を通して被写体からの光をＣＣＤ（１８０２）で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（１８０３）によりデジタル信号に変換して、ＣＰＵ（１８０４）で画像情報とする。さらに、得られた画像情報を画像出力ユニット（１８０７）を介して前記プレビュー表示部（０９０６）に該当するモニタ（１８０８）に画像として出力する。また、プレビュー画像出力手段は、このような処理をＣＰＵ（１８０４）に実行させるためのプログラムを含んでいてもよい。

（実施形態４：処理の流れ）図１０は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、複数の第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１００１）。次に、ステップＳ１００１にて撮像された複数の第一画像をプレビュー画像として出力する。この処理は、プレビュー画像出力手段によって実行される（ステップＳ１００２）。次に、ステップＳ１００２にて出力されたプレビュー画像を表示する。この処理は、プレビュー表示部によって実行される（ステップＳ１００３）。次に、ステップＳ１００１にて撮像された複数の第一画像に基づいて単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ１００４）。次に、ステップＳ１００１にて撮像された第一画像に基づいて周囲の明るさを示す情報である明るさ情報を取得する。この処理は、明るさ情報取得部によって実行される（ステップＳ１００５）。次に、ステップＳ１００４にて測定された手振れ量と、ステップＳ１００５にて取得した明るさ情報に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ１００６）。最後に、ステップＳ１００６にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する。この処理は、第二撮像部によって実行される（ステップＳ１００７）。

（実施形態４：効果）本実施形態に係る撮像装置においては、第一画像としてデータサイズの小さいプレビュー画像を利用することができるので、例えば、カメラ付携帯電話等のように処理能力やメモリ容量に制限があるような撮像装置にも適用可能である。
（実施形態５）

（実施形態５：概要）本実施形態は、算出された手振れ抑制露光時間が所定の条件を満たしたタイミングにて第二画像を撮像することが可能な撮像装置に関する。よって、例えば、手振れがある程度おさまったタイミングにて第二画像の撮像を行なうこと等が可能である。

（実施形態５：構成）本実施形態に係る撮像装置の機能ブロックを図１１に例示する。本実施形態に係る撮像装置の構成は、実施形態３又は４に係る撮像装置の構成に「撮像タイミング制御部」（１１０８）と、「撮像命令出力手段」（１１０９）を加えた構成となる。図１１においては、実施形態４に係る撮像装置の構成に前記撮像タイミング制御部（１１０８）と前記撮像命令出力手段（１１０９）を加えた構成を例示している。撮像装置（１１００）は、「手振量測定部」（１１０１）と、「算出部」（１１０２）と、「明るさ情報取得部」（１１０３）と、「第一撮像部」（１１０４）と、「第二撮像部」（１１０５）と、「プレビュー表示部」（１１０６）と、「撮像タイミング制御部」（１１０８）と、を有する。また、前記第一撮像部（１１０４）は、「プレビュー画像出力手段」（１１０７）を有する。また、前記撮像タイミング制御部（１１０８）は、「撮像命令出力手段」（１１０９）を有する。

「撮像タイミング制御部」（１１０８）は、撮像タイミングを定める機能を有する。「撮像タイミング」とは、主に第二撮像部における撮像のタイミングを指すが、第一撮像部における撮像のタイミングをも定めるようになっていてもよい。

「撮像命令出力手段」（１１０９）は、算出部（１１０２）での算出結果が所定の条件を満たしたタイミングに第二撮像部（１１０５）に対して撮像命令を出力する機能を有する。「算出部での算出結果」とは、手振れ抑制露光時間を指す。「所定の条件」とは、例えば、手振れ抑制露光時間がある範囲内の値となる場合などが想定される。例えば、手振れ量が大きいために手振れ抑制露光時間が非常に短くなってしまい、その結果、第二画像が暗い画像となって合成処理が複雑になるような場合には、手振れが収まって手振れ抑制露光時間が適正露光時間内となったタイミングにて第二撮像部（１１０５）に対して撮像命令を出力し第二画像を撮像する、等というようなことが可能である。なお、「撮像命令」とは、主に撮像する旨を示す情報である。

図１２は、撮像命令出力手段に関する処理の具体例を示す。図１２は、時刻ｔ１から時刻ｔ８において算出された手振れ抑制露光時間Ｔをグラフにした場合を例示する。ｔｐ１、ｔｐ２の露光時間は、適正露光時間の上限と下限であり、よって適正露光時間Ｔｐは、ｔｐ２<＝Ｔｐ<＝ｔｐ１、であるとする。時刻ｔ１から時刻ｔ５では手振れ量が大きいために手振れ抑制露光時間Ｔが短く露出不足の露光時間となったことを示す。さらに、時刻ｔ６にて手振れ抑制露光時間Ｔが適正露光時間の範囲内となったため、例えば、ｔ６にて撮像命令が出力される。また、ｔ６で手振れ抑制露光時間Ｔが適正露光時間の範囲内となったとしても、偶発的に適正露光時間内となっただけで、すぐに再び手振れが大きくなるような状況もあり得るので、例えば、時刻ｔ７、時刻ｔ８、と続けて手振れ抑制露光時間を算出し、何度か連続して手振れ抑制露光時間Ｔが適正露光時間内となった場合には撮像命令を出力するようになっていてもよい。また、時刻ｔ１から時刻ｔ５のように手振れ抑制露光時間Ｔが小さくなる場合には明るさ情報に基づいて手振れ抑制露光時間Ｔをｔｐ２に補正して撮像する等の方法もあるが、第二画像が手振れの大きい画像となってしまう可能性もあるので、手振れ量が非常に大きいような状況においては撮像タイミングを計って撮像したほうが好ましい場合も多いと思われる。

（実施形態５：処理の流れ）図１３は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、複数の第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１３０１）。次に、ステップＳ１３０１にて撮像された複数の第一画像をプレビュー画像として出力する。この処理は、プレビュー画像出力手段によって実行される（ステップＳ１３０２）。次に、ステップＳ１３０２にて出力されたプレビュー画像を表示する。この処理は、プレビュー表示部によって実行される（ステップＳ１３０３）。次に、ステップＳ１３０１にて撮像された複数の第一画像に基づいて単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ１３０４）。次に、ステップＳ１３０１にて撮像された第一画像に基づいて周囲の明るさを示す情報である明るさ情報を取得する。この処理は、明るさ情報取得部によって実行される（ステップＳ１３０５）。次に、ステップＳ１３０４にて測定された手振れ量と、ステップＳ１３０５にて取得した明るさ情報に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ１３０６）。次に、ステップＳ１３０６にて算出された算出結果が所定の条件を満たすかを判断する。ここでの判断が、所定の条件を満たさないとの判断であった場合には、ステップＳ１３０１に戻る。ここでの判断が、所定の条件を満たすとの判断であった場合には、ステップＳ１３０８に移行する。この処理は、撮像タイミング制御部によって実行される（ステップＳ１３０７）。次に、ステップＳ１３０７での判断が所定の条件を満たすとの判断であった場合には、第二画像の撮像命令を出力する。この処理は、撮像命令出力手段によって実行される（ステップＳ１３０８）。最後に、ステップＳ１３０６にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する。この処理は、第二撮像部によって実行される（ステップＳ１３０９）。

（実施形態５：効果）本実施形態に係る撮像装置においては、算出された手振れ抑制露光時間が所定の条件を満たしたタイミングにて第二画像を撮像することが可能であるので、例えば、手振れがある程度おさまったタイミングに撮像を行なう等が可能である。
（実施形態６）

（実施形態６：概要）本実施形態は、第一画像と第二画像を合成することが可能な撮像装置に関する。第二画像が手振れは軽減されているが露出が適切でない場合があるため、例えば、第一画像がプレビュー画像のように手振れしている可能性が高いが適正露出の画像であるような場合であれば、第一画像の輝度情報に基づいて第二画像の輝度情報を補正するのみによって、手振れが抑制され、かつ適正露出である画像を得ることができる。

（実施形態６：構成）本実施形態に係る撮像装置の機能ブロックを図１４に例示する。本実施形態に係る撮像装置の構成は、実施形態３から５のいずれか一に係る撮像装置の構成に「合成部」（１４１０）を加えた構成となる。図１４においては、実施形態５にて説明の撮像装置の構成に前記合成部（１４１０）を加えた構成を例示している。撮像装置（１４００）は、「手振量測定部」（１４０１）と、「算出部」（１４０２）と、「明るさ情報取得部」（１４０３）と、「第一撮像部」（１４０４）と、「第二撮像部」（１４０５）と、「プレビュー表示部」（１４０６）と、「撮像タイミング制御部」（１４０８）と、「合成部」（１４１０）と、を有する。また、前記第一撮像部（１４０４）は、「プレビュー画像出力手段」（１４０７）を有する。また、前記撮像タイミング制御部（１４０８）は、「撮像命令出力手段」（１４０９）を有する。

「合成部」（１４１０）は、第一撮像部（１４０４）にて撮像された第一画像と、第二撮像部（１４０５）にて撮像された第二画像とを合成する機能を有する。「合成」とは具体的には、例えば、画像中の画素のＲＧＢ値を補正して合成する場合などが想定される。なお、合成部は他の構成要件とは別体にて実現されてもよい。例えば、他の構成要件がデジタルカメラ等にて実装され、合成部はパーソナルコンピュータ等により実装されるような場合である。すなわち、デジタルカメラ等により第一画像と第二画像の撮像を行なった後、パーソナルコンピュータ等により第一画像と第二画像の合成が行なわれる等となっていてもよい。このような場合であっても、デジタルカメラ等とパーソナルコンピュータ等を合わせて一の撮像装置であるということができる。

図１５を用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図１５では、第一画像（１５０１）と第二画像（１５０２）の大きさが異なる場合を一例として示す。第一画像（１５０１）の高さをＰｈ、幅をＰｗで表し、第二画像（１５０２）の高さをＳｈ、幅をＳｗで表すとする。また、第一画像（１５０１）の画素（ｘ’，ｙ’）に対応する点が第二画像（１５０２）の画素（ｘ，ｙ）であるとし、第一画像と第二画像との手振れ量を（Ｍｘ，Ｍｙ）とすると、ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙ、と表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。このようにして、第一画像と第二画像における各画素同士の対応関係を求めることができる。よって、この対応関係を利用することにより、例えば、対応する各画素の輝度情報を比較して明るさを補正するなどして合成を行なうことができる。

図１６は、合成処理の一例として第二画像の輝度情報を第一画像の輝度情報に基づいて補正する場合の具体例を示す。第二画像は手振れ抑制露光時間にて露光時間が決められているので手振れは軽減されている画像であるが、適正露出ではない可能性がある。そこで、例えば、第一画像がプレビュー画像のように手振れしている適正露出の画像であり、第二画像が手振れは軽減されているが露出不足の画像であるような場合に、第一画像の輝度情報を利用して第二画像の輝度情報を補正すれば、手振れの軽減された適正露出の画像を得ることができる。図１５にて説明のように、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、第一画像の画素（ｘ’，ｙ’）と第二画像の画素（ｘ，ｙ）との関係は、ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙ、と表すことができる。通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、第一画像と第二画像の露光時間の比に応じて、第二画像の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、第二画像の明るさは第一画像と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。なお、輝度はＲＧＢの値で決定されるので、画素値の補正とは、輝度を補正することと同義である。また、線形補間に関しては一般的によく知られているのでここでは詳述しない。ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙ、にて算出されるｘ’の整数部をｋ、小数部をｕ、ｙ’の整数部をｌ、小数部をｖとし、第一画像の画素（ｘ’，ｙ’）における画素値をＰｐ（ｘ’，ｙ’）とすると、Ｐｐ（ｘ’，ｙ’）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ’，ｙ’）が求められる。また、第二画像の輝度情報を補正する際の補正量は以下のように算出する。第一画像の露光時間をＴｏ、第二画像の露光時間をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、補正する画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ’，ｙ’）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、第一画像の画素値Ｐｐ（ｘ’，ｙ’）と第二画像の画素値Ｐｓ（ｘ，ｙ）によって、第二画像の輝度情報を画素値Ｐａ（ｘ，ｙ）で補正することができる。

また、合成部における処理は、さらに具体的には、例えば、前記第一撮像部（１４０４）と前記第二撮像部（１４０５）によって図１８における一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納されている第一画像と第二画像の画像情報を読出す。読出した画像情報から前述のように各画素同士の対応関係を算出し、算出した結果も一時記憶メモリ（１８０５）などの所定の記憶領域に格納される。この算出結果に基づいて、輝度情報を補正するなどして合成を行ない、合成することにより生成された画像の画像情報は、一時記憶メモリ（１８０５）や記憶装置（１８０６）などの所定の記憶領域に格納される。また、合成部は、このような処理をＣＰＵ（１８０４）に実行させるためのプログラムを含んでいてもよい。

（実施形態６：処理の流れ）図１７は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、複数の第一画像を撮像する。この処理は、第一撮像部によって実行される（ステップＳ１７０１）。次に、ステップＳ１７０１にて撮像された複数の第一画像をプレビュー画像として出力する。この処理は、プレビュー画像出力手段によって実行される（ステップＳ１７０２）。次に、ステップＳ１７０２にて出力されたプレビュー画像を表示する。この処理は、プレビュー表示部によって実行される（ステップＳ１７０３）。次に、ステップＳ１７０１にて撮像された複数の第一画像に基づいて単位時間あたりの手振れ量を測定する。この処理は、手振量測定部によって実行される（ステップＳ１７０４）。次に、ステップＳ１７０１にて撮像された第一画像に基づいて周囲の明るさを示す情報である明るさ情報を取得する。この処理は、明るさ情報取得部によって実行される（ステップＳ１７０５）。次に、ステップＳ１７０４にて測定された手振れ量と、ステップＳ１７０５にて取得した明るさ情報に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する。この処理は、算出部によって実行される（ステップＳ１７０６）。次に、ステップＳ１７０６にて算出された算出結果が所定の条件を満たすかを判断する。ここでの判断が、所定の条件を満たさないとの判断であった場合には、ステップＳ１７０１に戻る。ここでの判断が、所定の条件を満たすとの判断であった場合には、ステップＳ１７０８に移行する。この処理は、撮像タイミング制御部によって実行される（ステップＳ１７０７）。次に、ステップＳ１７０７での判断が所定の条件を満たすとの判断であった場合には、第二画像の撮像命令を出力する。この処理は、撮像命令出力手段によって実行される（ステップＳ１７０８）。次に、ステップＳ１７０６にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する。この処理は、第二撮像部によって実行される（ステップＳ１７０９）。最後に、ステップＳ１７０１にて撮像された第一画像と、ステップＳ１７０９にて撮像された第二画像とを合成する。この処理は、合成部によって実行される（ステップＳ１７１０）。

（実施形態６：効果）本実施形態に係る撮像装置においては、第一画像と第二画像を合成することが可能であるので、例えば、手振れの軽減された第二画像の輝度情報を第一画像の輝度情報に基づいて補正することにより、手振れが抑制された、かつ適正露出である画像を得ることが可能である。

実施形態１に係る撮像装置の機能ブロック図 実施形態１に係る撮像装置の処理の流れを示すフロー図 実施形態２に係る撮像装置の機能ブロック図 明るさ情報を利用した手振れ抑制露光時間の算出方法の一例を説明する図 実施形態２に係る撮像装置の処理の流れを示すフロー図 実施形態３に係る撮像装置の機能ブロック図 複数の第一画像に基づいて手振れ量を測定する方法の概略を説明する 実施形態３に係る撮像装置の処理の流れを示すフロー図 実施形態４に係る撮像装置の機能ブロック図 実施形態４に係る撮像装置の処理の流れを示すフロー図 実施形態５に係る撮像装置の機能ブロック図 撮像命令出力手段に関する処理の具体例 実施形態５に係る撮像装置の処理の流れを示すフロー図 実施形態６に係る撮像装置の機能ブロック図 合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す図 第二画像の輝度情報を第一画像の輝度情報に基づいて補正する場合の具体例 実施形態６に係る撮像装置の機能ブロック図 撮像装置の具体的な構成を例示する図

符号の説明

０１００ 撮像装置
０１０１ 手振量測定部
０１０２ 算出部
０３０３ 明るさ情報取得部

Claims (9)

1. 単位時間あたりの手振れ量を測定する手振量測定部と、
   手振量測定部にて測定された手振れ量に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する算出部と、
   を有する撮像装置。
2. 周囲の明るさを示す情報である明るさ情報を取得する明るさ情報取得部を有し、
   前記算出部は、明るさ情報取得部にて取得した明るさ情報にも基づいて前記算出を行なう請求項１に記載の撮像装置。
3. 複数の第一画像を撮像する第一撮像部と、
   算出部にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する第二撮像部と、を有し、
   手振量測定部は、第一撮像部にて撮像された複数の第一画像に基づいて手振れ量を測定し、
   明るさ情報取得部は、第一撮像部にて撮像された第一画像に基づいて明るさ情報を取得する請求項２に記載の撮像装置。
4. プレビュー画像を表示するプレビュー表示部を有し、
   前記第一撮像部は、複数の第一画像をプレビュー画像としてプレビュー表示部に対して出力するプレビュー画像出力手段を有する請求項３のいずれか一に記載の撮像装置。
5. 撮像タイミングを定める撮像タイミング制御部を有し、
   撮像タイミング制御部は、算出部での算出結果が所定の条件を満たしたタイミングに第二撮像部に対して撮像命令を出力する撮像命令出力手段
   を有する請求項３又は４に記載の撮像装置。
6. 第一撮像部にて撮像された第一画像と、第二撮像部にて撮像された第二画像とを合成する合成部を有する請求項３から５のいずれか一に記載の撮像装置。
7. 単位時間あたりの手振れ量を測定する手振量測定ステップと、
   手振量測定ステップにて測定された手振れ量に基づいて手振れの発生を抑制した露光時間である手振れ抑制露光時間を算出する算出ステップと、
   を有する撮像装置の動作方法。
8. 周囲の明るさを示す情報である明るさ情報を取得する明るさ情報取得ステップを有し、
   前記算出ステップは、明るさ情報取得ステップにて取得した明るさ情報にも基づいて前記算出を行なう請求項７に記載の撮像装置の動作方法。
9. 複数の第一画像を撮像する第一撮像ステップと、
   算出部にて算出された手振れ抑制露光時間を露光時間とした第二画像を撮像する第二撮像ステップと、を有し、
   手振量測定ステップは、第一撮像ステップにて撮像された複数の第一画像に基づいて手振れ量を測定し、
   明るさ情報取得ステップは、第一撮像ステップにて撮像された第一画像に基づいて明るさ情報を取得する請求項８に記載の撮像装置の動作方法。

Images