JP2010050521A

JP2010050521A - 撮像装置

Info

Publication number: JP2010050521A
Application number: JP2008210565A
Authority: JP
Inventors: Hitoshi Tsuchiya; 仁司土屋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-08-19
Filing date: 2008-08-19
Publication date: 2010-03-04
Also published as: US20100045815A1; US8106967B2

Abstract

【課題】被写体が流れてしまうことを低減することができる撮像装置を提供する。
【解決手段】システムコントローラ１０４は、複数の画像データに基づく画像間でパターンが一致する領域をパターンマッチングにより検出する。続いて、システムコントローラ１０４は、撮像視野を変えながら適正露出時間よりも短い露出時間で複数回撮像することで生成した複数の画像データに対して、パターンマッチングにより一致した領域を基準にして位置合わせを行い、位置合わせ後の各々の画像データを加算し、ＣＣＤ１０３の撮像視野よりも広い視野に対応した画像データを生成する。
【選択図】図１

Description

本発明は、複数回の撮像により生成された画像を合成し、撮像視野を広げたパノラマ画像を生成する撮像装置に関する。

近年、デジタルカメラの高機能化に伴い、ユーザに訴求するための様々な機能が搭載されている。なかでもパノラマ撮像機能は、訴求効果の高い機能の一つであるが、操作が煩雑で難しく、失敗するケースも多いため、大多数のユーザが使いこなせている機能とは言えない。パノラマ撮像機能を利用して、ユーザが撮像視野をずらしながら複数回の撮像を行い、後述するのりしろ部を貼り合わせることで、通常撮像できる範囲よりも広範囲の撮像に対応したパノラマ画像を得ることができる。

ここで、のりしろ部について説明する。のりしろ部とは撮像画像の端部である。撮像画像の端部同士が重なるようにして撮像画像を貼り合わせることにより撮像画像の合成を行うが、この際に、のりしろ部の被写体像が一致しているか否かを確認することで貼り合わせ位置を確定することができる。

しかし、以下の説明のように、パノラマ撮像の手順は非常に面倒である。まず、ユーザは１回の撮像を行う毎にのりしろ部の被写体を覚えておく必要がある。その後、撮像視野を例えば横方向にずらす場合、ユーザは上下位置が変化しないように注意しなければならない。さらに、ユーザは撮像視野をずらし終わった後に、撮像視野をずらす前とのりしろ部が一致しているか否かを判断し、一致していれば撮像を行う。撮像後、ユーザは次ののりしろ部を覚えておき、前述した動作を繰り返すことになる。

しかしながら、撮像視野をずらす前と後でのりしろ部にずれ（撮像視野を横方向に移動して撮像した場合は上下のずれ）が生じた場合、最終的に全ての画像を貼り合わせた画像から長方形の領域を抽出するため、移動方向でない方向（撮像視野を横方向に移動した場合は、上下方向）の撮像範囲が狭くなってしまう問題がある。他にも、撮像視野をずらす前と後でのりしろ部の被写体が一致しなかった場合は、貼り合わせができなかったり、無理に貼り合わせて不自然な画像になったりする問題がある。

上記のような問題の解決方法として、特許文献１には、簡単な操作でパノラマ画像を得ることができるデジタルカメラが記載されている。このデジタルカメラは、パノラマ画像撮像時にカメラ本体のヨー方向およびピッチ方向の角度を検出し、ヨー方向の角速度に基づく撮像間隔でＣＣＤイメージセンサに複数回の撮像を実行させ、ピッチ方向の角速度および撮像間隔に基づいて複数の画像データに対して画像合成処理を施して位置合わせを行い、１枚のパノラマ画像データを生成する。
特開２００５−３１１７８９号公報

しかしながら、特許文献１に記載されたデジタルカメラによる撮像では、ヨー方向の移動中の撮像により、画像中の被写体が流れてしまう現象が発生する。特許文献１では、この回避方法については、具体例が何ら開示されていない。

本発明は、上述した課題に鑑みてなされたものであって、被写体が流れてしまうことを低減することができる撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、被写体像に基づく画像データを生成する撮像手段と、複数の前記画像データに基づく画像間でパターンが一致する領域をパターンマッチングにより検出するパターンマッチング手段と、撮像視野を変えながら適正露出時間よりも短い露出時間で複数回撮像することで生成した複数の前記画像データに対して、前記パターンマッチングにより一致した領域を基準にして位置合わせを行い、位置合わせ後の各々の前記画像データを加算し、前記撮像手段の撮像視野よりも広い視野に対応した画像データを生成する画像合成手段とを具備することを特徴とする撮像装置である。

また、本発明の撮像装置において、前記画像合成手段は、前記適正露出時間と撮像時の露出時間とに基づいて、同一領域のデータの加算に用いる前記画像データの枚数を決定することを特徴とする。

また、本発明の撮像装置は、撮像装置本体の角度の変化量を検出する角度変化量検出手段と、前記角度変化量検出手段によって検出された前記変化量に基づいて撮像のタイミングを決定するタイミング決定手段とをさらに具備することを特徴とする。

また、本発明の撮像装置は、前記タイミング決定手段によって決定されたタイミングで撮像を行うことができなかった場合に撮像の失敗をユーザに通知する通知手段をさらに具備することを特徴とする。

また、本発明の撮像装置は、前記被写体像の明るさを検出する検出手段と、前記検出手段によって検出された前記被写体像の明るさに基づいて、前記撮像視野の変位に関する指示をユーザに対して行う指示手段とをさらに具備することを特徴とする。

また、本発明の撮像装置において、前記パターンマッチング手段は、前記画像データの空間周波数が高く、かつ、前記画像データに基づく画像の中心に近い領域を前記パターンマッチングの対象とすることを特徴とする。

また、本発明の撮像装置において、前記画像合成手段は、前記画像データに基づく画像の端部を除く領域に対応するデータを前記画像データの加算に用いることを特徴とする。

また、本発明の撮像装置は、前記パターンマッチング手段および前記画像合成手段による処理の対象となる前記画像データを一時的に記憶する一時記憶手段と、撮像時の露出時間に応じて、前記一時記憶手段に記憶させる前記画像データの階調を制御する制御手段とをさらに具備することを特徴とする。

本発明によれば、適正露出時間よりも短い露出時間で撮像することで生成した複数の画像データを用いて、撮像手段の撮像視野よりも広い視野に対応した画像データを生成することによって、被写体が流れてしまうことを低減することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態によるカメラ（撮像装置）の構成を示している。図１に示すカメラは、カメラ本体１００内に、撮像光学系１０１と、絞り機構１０２と、ＣＣＤ（Charge Coupled Devices）１０３と、システムコントローラ１０４と、メモリ１０５と、メモリカード１０６と、ＴＦＴ（Thin Film Transistor）１０７と、スイッチ１０８と、角速度センサ１０９とを備えている。

撮像光学系１０１は、図示しない被写体像をＣＣＤ１０３（撮像手段に対応）に結像する。絞り機構１０２は、光軸Ｌと垂直な方向に配置された開口部の径を変化させることで、被写体からの光束の量を調節する。撮像光学系１０１によって結像された被写体像は、ＣＣＤ１０３により電気信号に変換され、システムコントローラ１０４（撮像手段に対応）からの同期信号に基づいて、映像信号として読み出される。ＣＣＤ１０３から出力された映像信号は、システムコントローラ１０４内でいくつかの画像処理を施された後に、メモリ１０５に画像データとして記録される。システムコントローラ１０４は、カメラ内の各部の制御をはじめとする各種機能を備えている。

本カメラは、動作モードとして、パノラマ撮像を行うパノラマ撮像モードを備えている。また、本カメラでは、シャッター機構が無く、ＣＣＤ１０３の光電変換時間がそのまま露出時間となる。露出時間は、システムコントローラ１０４からの制御により決定される。パノラマ撮像モードにおいて本カメラは、特別な場合を除いて、シャッター速度を、最短露出時間に対応した１／１０００ｓに設定し、撮像を繰り返すものとする。

通常の撮像により生成された画像データはメモリ１０５に一時的に記録される。この画像データはＴＦＴ１０７に表示され、メモリカード１０６に記録される。パノラマ撮像モードでは、システムコントローラ１０４は、連続した撮像によりメモリ１０５に記録された複数の画像データを、記録された順に読み出し、各画像データに基づく合成処理を行い、パノラマ画像を生成する。パノラマ画像の生成方法については、後述する。

ＴＦＴ１０７は、システムコントローラ１０４からの指示に従い映像を表示する。ＴＦＴ１０７が表示する映像は、撮像した画像の場合もあれば、メニューや、システムの動作モードに係る情報等の場合もある。スイッチ１０８は、レリーズ釦やモード設定用のスイッチであり、ユーザによる操作の結果をシステムコントローラ１０４に通知する。角速度センサ１０９（角度変化量検出手段に対応）は、カメラ本体１００の角度の変化量に相当する角速度を検出して、システムコントローラ１０４に通知する。パノラマ撮像モードでは、システムコントローラ１０４は、角速度センサ１０９から出力される角速度の情報に基づいて撮像タイミングを決定し、ＣＣＤ１０３に撮像の開始を指示する（タイミング決定手段に対応）。

次に、パノラマ撮像モードにおける撮像タイミングを説明する。図２（ａ）は、本カメラを上部から見た状態を示している。図２（ａ）では、撮像視野角に対応した撮像領域２００が均等に８個の領域２０１〜２０８に切り分けられている。撮像視野角は、ＣＣＤ１０３のサイズと焦点距離から算出することができ、その角度の１／８であるθ１が、撮像間隔となる角度である。

図２（ｂ）は、カメラを水平に振った場合を想定し、カメラを上部から見た状態を示している。システムコントローラ１０４は、角速度センサ１０９から出力される角速度の情報に基づいて撮像タイミングを決定する。撮像光学系１０１の主線が移動した角度をθ２とした場合、システムコントローラ１０４は、前の撮像タイミングから撮像光学系１０１の主線が移動した角度θ２が、図２（ａ）に示した角度θ１に一致するタイミングで撮像を行うように各部を制御する。

次に、パノラマ撮像モードにおけるパノラマ画像の生成方法を説明する。図３はパノラマ画像の生成方法を模式的に示している。最初の撮像により画像３００が生成される。続いて、最初の撮像時からのカメラ本体１００の角度の変化量が、図２（ａ）に示した角度θ１に一致したタイミングで撮像が行われ、画像３１０が生成される。さらに、２回目の撮像時からのカメラ本体１００の角度の変化量が、図２（ａ）に示した角度θ１に一致したタイミングで撮像が行われ、画像３２０が生成される。上記と同様にして撮像を繰り返すことにより、さらに別の画像（図３では図示せず）が生成される。

画像の端部における収差の影響を低減するため、本実施形態では画像の端部は破棄される。画像３００，３１０，３２０は、撮像視野角に対応した画像から端部を破棄したものである。画像３００，３１０，３２０は、システムコントローラ１０４によって一旦メモリ１０５に格納される。続いて、これらの画像を用いてパノラマ画像の生成処理が行われる。

メモリ１０５上には、パノラマ画像のデータを記憶する領域３３０が予め用意されている。画像が格納される前の領域３３０のデータは初期値（例えば０）に設定されている。システムコントローラ１０４は、以下のように画像を合成することによって、パノラマ画像を生成する。

まず、システムコントローラ１０４は、領域３３０のうち所定の部分領域（図３では領域３３０の右端を含む領域）と画像３００の位置合わせを行う。この位置合わせによって、領域３３０のデータと画像３００のデータの位置が対応付けられる。システムコントローラ１０４は、対応付けた領域３３０のデータ（初期値）に対して画像３００の各画素の値を加算することによって、領域３３０のデータを更新する。

続いて、システムコントローラ１０４は画像３００，３１０のパターンマッチングを行い（パターンマッチング手段に対応）、パターンマッチングにより一致した領域を基準にして画像３１０の位置合わせを行う。上記のように領域３３０と画像３００の位置合わせは既に行われているので、画像３００と画像３１０の位置合わせによって、領域３３０のデータと画像３１０のデータの位置が対応付けられる。システムコントローラ１０４は、対応付けた領域３３０のデータに対して画像３１０の各画素の値を加算することによって、領域３３０のデータを更新する（画像合成手段に対応）。

上記と同様にして、システムコントローラ１０４は画像３１０と画像３２０の位置合わせを行い、領域３３０のデータと画像３２０のデータの位置を対応付けた後、対応付けた領域３３０のデータに対して画像３２０の各画素の値を加算することによって、領域３３０のデータを更新する。撮像視野を変えながら複数回撮像することで生成した複数の画像に対して上記の処理を繰り返し行うことによって、撮像視野よりも広い視野に対応したパノラマ画像が生成される。

図４は、上記の画像３００，３１０，３２０の元となる撮像画像の撮像視野を示している。縦長の領域４０１〜４０８は、撮像視野４００を８等分した領域であり、図２（ａ）に示した８個の領域２０１〜２０８に対応している。本実施形態のパノラマ撮像モードでは、画像の端部における収差の影響を低減するため、領域４０１，４０２，４０７，４０８のデータは破棄される。つまり、画像データがメモリ１０５に記録される際には、領域４０３〜４０６のみのデータがメモリ１０５に記録される。

本実施形態のパノラマ撮像モードでは、適正露出時間よりも短い露出時間で撮像が行われ、生成された複数の画像データを加算することによりパノラマ画像の画像データが生成される。このように適正露出時間よりも短い露出時間で撮像を行うため、画像内の被写体が流れにくくなる。また、複数の画像データを加算するため、適正露出時間で撮像を行った場合と同等の画像データを得ることができる。例えば、適正露出時間に対応したシャッター速度を１／２５０ｓとすると、１／１０００ｓのシャッター速度で撮像を行い、４つの画像データを加算すればよい。

適正露出時間で撮像を行った場合と同等の画像データを得るため、システムコントローラ１０４は画像の領域毎にデータの加算回数を管理する。ある領域のデータの加算回数が所定回数（上記の場合は４回）に達した場合、システムコントローラ１０４は、それ以降、その領域についてはデータの加算を行わない。本実施形態では、図４に示した領域４０１〜４０８の単位で加算回数の管理を行う。

図４に示す撮像領域４００の中心部にある領域４０９〜４１６は、パターンマッチングに使用する領域である。システムコントローラ１０４は、パターンマッチングを行う際に領域４０９〜４１６のいずれかを選択する。このとき、空間周波数が低くローコントラストとなっている領域や、飽和している領域は選択対象から除外される。

また、本実施形態のパノラマ撮像モードでは、システムコントローラ１０４は、撮像時の露出時間に応じて、メモリ１０５（一時記憶手段に対応）に記憶させる画像データの階調を制御する（制御手段に対応）。ＣＣＤ１０３からの映像信号は、１画素１０ビットのデータで構成されている。適正露出時間に対応したシャッター速度が１／２５０ｓであり、１／１０００ｓのシャッター速度で撮像を行う場合、適正露出時間で撮像した場合と比べて画像の明るさが１／４となる。このため、１０ビット中の上位２ビットは切り捨てても問題無い。したがって、システムコントローラ１０４は、通常の撮像時には１画素１０ビットの画像データをメモリ１０５に記録するが、パノラマ撮像モード時には１画素８ビットの画像データをメモリ１０５に記録する。

本実施形態のパノラマ撮像モードでは、領域毎のデータの加算回数を４回としているが、これに限らず、システムコントローラ１０４は、適正露出時間と撮像時の露出時間とに基づいて画像データの加算回数を決定する。例えば、撮像時のシャッター速度が１／１０００ｓで固定であるとすると、適正露出時間が１／２００ｓの場合、システムコントローラ１０４は画像データの加算回数を５回に設定する。また、適正露出時間が１／１００ｓの場合、システムコントローラ１０４は画像データの加算回数を１０回に設定する。

図５は、上記の方法により生成したパノラマ画像の一例である。また、図６は、図５に示すパノラマ画像５００の生成に使用した画像である。適正露出時間に満たない露出時間で撮像した画像６００〜６０８を合成することによって、適正露出時間に対応したパノラマ画像５００が生成される。なお、データの加算回数が所定回数（本実施形態では４回）に満たない領域５０１はパノラマ画像から除外される。

次に、パノラマ撮像モードにおけるパノラマ画像の生成手順を説明する。図７はパノラマ画像の生成手順を示している。パノラマ撮像が開始されると、システムコントローラ１０４は、スイッチ１０８の操作結果を監視し、ファーストレリーズを待つ（ステップＳ１０１）。ファーストレリーズは、レリーズ釦が半押しされた状態である。

ファーストレリーズが検出されなかった場合（ステップＳ１０２でＮＯの場合）、システムコントローラ１０４はステップＳ１０１に戻って再度ファーストレリーズを待つ。また、ファーストレリーズが検出された場合（ステップＳ１０２でＹＥＳの場合）、システムコントローラ１０４は、公知の手法により、適正露出に対応したパラメータ（絞り値およびＣＣＤ１０３の感度）を算出する（ステップＳ１０３）。以下の説明では、適正露出時間に対応したシャッター速度が１／２５０ｓとなるようなパラメータが算出されるものとする。

続いて、システムコントローラ１０４はシャッター速度と撮像間隔を設定する（ステップＳ１０４）。本実施形態では、通常の被写体に対しては、シャッター速度は１／１０００ｓに固定であり、撮像間隔は、図２に示す角度θ１である。暗い被写体を撮像する場合は、撮像領域の分割数を増やすと共に撮像枚数と加算枚数を増やすことで対応することが可能である。また、暗い被写体に対しては、シャッター速度を遅くすることも考えられる。この場合、被写体が流れず、露出時間を長くするためには、被写体距離や焦点距離、許容錯乱円の関係よりシャッター速度を求めることができるが、計算が複雑になるため、本実施形態では、シャッター速度は最速に固定している。

適正露出時間とシャッター速度が決まると、前述したように、画像データの加算回数が決まる。本実施形態のパノラマ撮像モードでは、加算回数は４回である。加算回数によっては、撮像視野の分割数を変更する必要があるため、適宜、撮像間隔に相当する角度θ１を算出し直してもよい。

各撮像に係る設定が決まったら、システムコントローラ１０４は、撮像の開始を促すメッセージをＴＦＴ１０７に表示させる（ステップＳ１０５）。このとき、被写体が暗く、撮像分割数を変えた場合などは、システムコントローラ１０４は、ゆっくり撮像視野を動かすように注意を促すメッセージ（撮像視野の変位に関する指示）をＴＦＴ１０７に表示させる（指示手段に対応）。被写体の明るさに関しては、ＣＣＤ１０３から出力される映像信号に基づいて、システムコントローラ１０４が検出する（検出手段に対応）。

続いて、システムコントローラ１０４は、スイッチ１０８の操作結果を監視し、セカンドレリーズを待つ（ステップＳ１０６）。セカンドレリーズは、レリーズ釦が全押しされた状態である。セカンドレリーズが検出されなかった場合（ステップＳ１０７でＮＯの場合）、システムコントローラ１０４はステップＳ１０６に戻って再度セカンドレリーズを待つ。また、セカンドレリーズが検出された場合（ステップＳ１０７でＹＥＳの場合）、システムコントローラ１０４はカメラ内の各部を制御し、撮像を行う（ステップＳ１０８）。撮像によって生成された画像データは、前述したように画像の端部のデータが破棄された後、メモリ１０５に格納される。

撮像の開始後、システムコントローラ１０４は、カメラ本体１００の回転移動量がθ１になる毎に（ステップＳ１０９でＹＥＳの場合）、撮像を行う（ステップＳ１０８）。セカンドレリーズが解放されない限り（ステップＳ１０９でＮＯ、ステップＳ１１０でＹＥＳの場合）、システムコントローラ１０４は回転移動量の判定を行う（ステップＳ１０９）。

また、セカンドレリーズが解放された場合（ステップＳ１０９でＮＯ、ステップＳ１１０でＮＯの場合）、システムコントローラ１０４はエラー判定を行う（ステップＳ１１１）。ここでのエラーは、回転移動量θ１が検出されるごとに撮像ができなかった場合と、パノラマ画像を生成するのに十分な枚数の画像を確保できなかったことによる場合との２つがある。前者の場合のエラーは、カメラの移動速度が速すぎることによるものであり、後者の場合のエラーは、カメラが十分にふられなかったことによるものである。

シャッターの開放時間や信号の読出し時間に応じて決まるカメラの撮像間隔よりも、カメラ本体１００の角度がθ１だけ変化するのに要する時間の方が短い場合、システムコントローラ１０４は、カメラの移動速度が速すぎることによるエラーが発生したと判定する。また、撮像開始時からのカメラの回転移動量の合計が所定値に満たない場合、システムコントローラ１０４は、カメラが十分に振られなかったことによるエラーが発生したと判定する。

上記のエラーが発生した場合（ステップＳ１１２でＹＥＳの場合）、システムコントローラ１０４は、各エラーに対応したメッセージをＴＦＴ１０７に表示させる（ステップＳ１１３）（通知手段に対応）。また、エラーが発生しなかった場合、システムコントローラ１０４は、パノラマ画像を生成するパノラマ画像生成を実行する（ステップＳ１１４）。

図８は、ステップＳ１１４におけるパノラマ画像生成の詳細な手順を示している。パノラマ画像生成では、メモリ１０５に記録された画像データを撮像された順に読み出し、各画像データを合成することによりパノラマ画像データが生成される。まず、システムコントローラ１０４は、最初の撮像で生成された１枚の画像データを選択し（ステップＳ２０１）、合成を行う（ステップＳ２０２）。この合成では、前述したようにメモリ１０５のパノラマ画像用の領域に格納されている初期値に対して、選択した画像データが加算される。

続いて、システムコントローラ１０４は、次の撮像で生成された画像データを選択し（ステップＳ２０３）、図４に示す８つの領域４０１〜４０８にハイパスフィルタ処理を行い、フィルタ後のデータについて、パターンマッチング用の領域毎にコントラストを求める（ステップＳ２０４）。さらに、システムコントローラ１０４は、コントラストの算出結果から、コントラストが所定の閾値を超えているか否か、また、画素のデータが所定の閾値を超えていてないか否かを領域毎に判定する（ステップＳ２０５）。

コントラストが十分でない場合、パターンマッチングの精度に影響が出るため、システムコントローラ１０４は、そのコントラストを算出した領域をパターンマッチング対象から除外する。本実施形態では、メモリ１０５に格納される画像データが８ビットの画像データなので、ハイパスフィルタ処理後のデータで１２８以上のコントラストがあることをステップＳ２０５の確認条件とする。

また、飽和に関しては、ハイパスフィルタ処理前の画素の値が２５０を超えないことをステップＳ２０５の確認条件とする。高輝度な被写体がある場合、パターンマッチングの精度に影響を及ぼすため、画素の値が２５０を超えない領域をパターンマッチング対象の領域としている。また、上記のエラー確認以外にも、繰り返しパターンに対するチェックを行うとさらに精度が高まる。繰り返しパターンとは、縞模様のようなパターンであり、誤検出の原因となる。

上記によりエラーがなかった領域が複数ある場合には、システムコントローラ１０４は、各領域のコントラスト値に対して、領域の位置に応じた重み係数をかけて（ステップＳ２０６）、その値が最大になる領域をパターンマッチング用に選択する（ステップＳ２０７）。この重み係数は、撮像領域の中心に近いほど高い値となる。したがって、撮像領域の中心に近く、コントラスト値が高い領域がパターンマッチング用の領域として選択されやすくなる。

上記の条件に合う領域がない場合（ステップＳ２０８でＮＯの場合）、システムコントローラ１０４はＴＦＴ１０７にエラー表示を行わせ（ステップＳ２１１）、パノラマ画像生成を終了する。また、パターンマッチング用の領域を選択できた場合（ステップＳ２０８でＹＥＳの場合）、システムコントローラ１０４は、選択した領域と、メモリ１０５に格納されている合成画像とのパターンマッチングを行う（ステップＳ２０９）。このとき、角速度センサ１０９によって検出された角速度の履歴を参照し、パターンマッチング用の領域が合成画像のどのあたりに対応しているのかを事前に算出しておくことで、マッチングにかかる時間を短縮することができる。

一致する領域を発見できなかった場合（ステップＳ２１０でＮＯの場合）、システムコントローラ１０４はＴＦＴ１０７にエラーを表示させ（ステップＳ２１１）、パノラマ画像生成を終了する。また、一致する領域があった場合（ステップＳ２１０でＹＥＳの場合）、システムコントローラ１０４は、前述した方法により画像の合成を行う（ステップＳ２１２）。

画像の合成後、システムコントローラ１０４は、図４の８つの領域４０１〜４０８毎に、メモリ１０５に記録している加算回数を更新する。つまり、システムコントローラ１０４は、加算を行った領域については加算回数を１だけ増加し、加算を行っていない領域については加算回数を更新しない（ステップＳ２１３）。また、この加算値が所定の回数（本実施形態では４回）に達した場合は、以降の合成の際に、対応する領域のデータがあっても加算は行われない。

合成すべき画像データがメモリ１０５に残っている場合（ステップＳ２１４でＹＥＳの場合）、処理がステップＳ２０３に戻る。また、合成すべき画像データがメモリ１０５に残っていない場合（ステップＳ２１４でＮＯの場合）、システムコントローラ１０４はパノラマ画像データの切り取り加工を行う（ステップＳ２１５）。切り取り加工とは、画角を長方形に加工する処理である。具体的にはシステムコントローラ１０４は、各画像間の上下のずれによりはみ出した部分や、画像の加算回数が所定回数に満たない部分（パノラマ画像の両端部）の切り取りを行う。パノラマ画像データの切り取り加工が終了すると、パノラマ画像生成処理が終了する。

上述したように、本実施形態によれば、適正露出時間よりも短い露出時間で撮像することで生成した複数の画像データを用いて、カメラの撮像視野よりも広い視野に対応したパノラマ画像のデータを生成することによって、被写体が流れてしまうことを低減することができる。また、流し撮り感覚で簡単に撮像することができる。

また、適正露出時間と撮像時の露出時間とに基づいて、同一領域のデータの加算に用いる画像データの枚数（加算回数）を決定することによって、適正露出時間で撮像を行ったときと同等のパノラマ画像を得ることができる。

また、カメラ本体１００の角度の変化量に基づいて撮像のタイミングを決定することによって、無駄な撮像や画像の取りこぼしが無くなり、撮像が失敗するリスクを低減すると共に、画像のデータ量を抑えることができる。

また、決定されたタイミングで撮像を行うことができなかった場合に、撮像の失敗をユーザに通知することによって、ユーザに撮像のやり直しをさせることができる。

また、画像から検出した被写体像の明るさに基づいて、撮像視野の変位に関する指示をユーザに対して行うことによって、撮像が失敗するリスクを低減することができる。例えば、被写体が暗い場合に、ゆっくりカメラを動かすようにユーザに促すメッセージをＴＦＴ１０７に表示することで、撮像の失敗を防止できる。

また、空間周波数が高く、かつ、画像の中心に近い領域をパターンマッチングの対象とすることによって、パターンマッチングの精度を向上することができる。さらに、パターンマッチングを画像の一部の領域で行うため、回路規模を抑えると共に検出時間を短縮できる。

また、画像の端部を除く領域に対応するデータを画像データの加算に用いることによって、光学的な収差の大きい部分を画像データの加算に使用しないため、データを加算した部分に生じる、収差による違和感を低減することができる。さらに、画像のデータ量を削減し、記録できるフレーム数を増やすことができるため、結果として、より広範囲のパノラマ画像を生成することができる。

また、撮像時の露出時間に応じて、メモリ１０５に記憶させる画像データの階調を制御することによって、画像のデータ量を削減することができるため、上記と同様に、より広範囲のパノラマ画像を生成することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、露出に関するパラメータを撮像毎に決定するようにすれば、輝度の変化が大きい被写体に対しても対応することができる。また、撮像視野を８分割し、撮像時の露出時間を適正露出時間の１／４になるようにしたが、これに限定されるものではない。また、撮像時のシャッター速度を１／１０００ｓに固定したが、被写体が流れない範囲で遅くしてもよいし、シャッター速度をもっと速くして合成枚数を増やしてもよい。

本発明の一実施形態によるカメラの構成を示すブロック図である。本発明の一実施形態における撮像タイミングを説明するための参考図である。本発明の一実施形態におけるパノラマ画像の生成方法を説明するための参考図である。本発明の一実施形態におけるパノラマ画像の生成方法を説明するための参考図である。本発明の一実施形態におけるパノラマ画像を示す参考図である。本発明の一実施形態におけるパノラマ画像の生成に使用した画像を示す参考図である。本発明の一実施形態におけるパノラマ画像の生成手順を示すフローチャートである。本発明の一実施形態におけるパノラマ画像の生成手順を示すフローチャートである。

符号の説明

１００・・・カメラ本体、１０１・・・撮像光学系、１０２・・・絞り機構、１０３・・・ＣＣＤ、１０４・・・システムコントローラ、１０５・・・メモリ、１０６・・・メモリカード、１０７・・・ＴＦＴ、１０８・・・スイッチ、１０９・・・角速度センサ

Claims

被写体を撮像し、被写体像に基づく画像データを生成する撮像手段と、
複数の前記画像データに基づく画像間でパターンが一致する領域をパターンマッチングにより検出するパターンマッチング手段と、
撮像視野を変えながら適正露出時間よりも短い露出時間で複数回撮像することで生成した複数の前記画像データに対して、前記パターンマッチングにより一致した領域を基準にして位置合わせを行い、位置合わせ後の各々の前記画像データを加算し、前記撮像手段の撮像視野よりも広い視野に対応した画像データを生成する画像合成手段と、
を具備することを特徴とする撮像装置。
前記画像合成手段は、前記適正露出時間と撮像時の露出時間とに基づいて、同一領域のデータの加算に用いる前記画像データの枚数を決定することを特徴とする請求項１に記載の撮像装置。
撮像装置本体の角度の変化量を検出する角度変化量検出手段と、
前記角度変化量検出手段によって検出された前記変化量に基づいて撮像のタイミングを決定するタイミング決定手段と、
をさらに具備することを特徴とする請求項１または請求項２に記載の撮像装置。
前記タイミング決定手段によって決定されたタイミングで撮像を行うことができなかった場合に撮像の失敗をユーザに通知する通知手段をさらに具備することを特徴とする請求項３に記載の撮像装置。
前記被写体像の明るさを検出する検出手段と、
前記検出手段によって検出された前記被写体像の明るさに基づいて、前記撮像視野の変位に関する指示をユーザに対して行う指示手段と、
をさらに具備することを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
前記パターンマッチング手段は、前記画像データの空間周波数が高く、かつ、前記画像データに基づく画像の中心に近い領域を前記パターンマッチングの対象とすることを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
前記画像合成手段は、前記画像データに基づく画像の端部を除く領域に対応するデータを前記画像データの加算に用いることを特徴とする請求項１〜請求項６のいずれかに記載の撮像装置。
前記パターンマッチング手段および前記画像合成手段による処理の対象となる前記画像データを一時的に記憶する一時記憶手段と、
撮像時の露出時間に応じて、前記一時記憶手段に記憶させる前記画像データの階調を制御する制御手段と、
をさらに具備することを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。