JP2006319782A

JP2006319782A - 撮像装置及び撮像方法

Info

Publication number: JP2006319782A
Application number: JP2005141556A
Authority: JP
Inventors: Masaaki Sasaki; 雅昭佐々木; Shinichi Matsui; 紳一松井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2006-11-24
Anticipated expiration: 2025-05-13
Also published as: JP4193812B2; US7643739B2; US20060256231A1

Abstract

【課題】連続して撮像した複数画像を合成することにより撮影画像を取得する際、”ぼけ”による劣化がなく、しかも良質でかつ高解像度の画像を得ることが可能となる撮像装置、及びその撮像方法等を提供する。
【解決手段】撮影に際して、手ぶれなどを原因としてた”ぼけ”を生じさせない程度の速いシャッタースピードでの撮影を連続して行い、撮像した複数枚の画像を、各画像における被写体の位置を一致させるように重ね合わせて合成する。撮影中には、撮像した画像における被写体の、撮影開始当初からのずれ方向及びずれ量が予め想定されている許容範囲を超えたとき、ずれ方向と逆向きの修正方向を示すと同時にずれ量をその大きさで等で示す修正方向マーク２００をスルー画像１００に重ねて表示する。それにより撮影範囲を撮影開始当初の撮影範囲へ向けて修正させ、撮影期間中に撮影範囲が大きくずれることを防止する。
【選択図】図４

Description

本発明は、デジタルカメラに用いて好適な撮像装置、及び撮像方法、それらの実現に際して使用されるプログラムに関するものである。

従来、カメラで長時間露出による撮影を行うとき、手ぶれなどを原因としてカメラ本体が揺動すると画像に”ぼけ”が生じ、画像が劣化することがある。これを防止するには、例えば上記”ぼけ”を生じさせない程度の速いシャッタースピードでの撮影を連続して行うとともに、撮像した複数枚の画像を重ね合わせて合成することによって、通常の長時間露出による撮影で得られる適正露出を確保しつつ、画像の”ぼけ”を防止する方法が考えられる。

しかし、上記方法においても、合成する各画像間で被写体の位置が変動する状況下では、合成後の画像には結果的に”ぼけ”が生じてしまうこととなる。これに関し、例えば下記特許文献１には、一定周期で撮像した複数枚の画像を合成する際、各画像間における被写体の変動量を検出し、検出した変動量に応じて画像の合成位置を画素単位で移動させる技術が記載されている。係る技術を用いれば、各画像において被写体位置が変化した場合に合成後の画像に生ずる”ぼけ”をなくすことができる。
特開２００１−４５３５９号公報

しかしながら、上記のように各画像の合成位置を画面内における被写体の変動量に応じて移動させたとしても、カメラ本体を手で支えた状態で長時間露出による撮影を行うときには、無意識のうちに撮影範囲が徐々に変化してしまうことが多いため、以下のような問題があった。

すなわち前述したように各画像の合成位置を画素単位で移動させて、合成後の画像を撮影画像として取得する場合、最終的に取得可能な撮影画像のサイズは、連続して撮像した画像の全てが重なり合っている画像領域のサイズとなる。そのため、最終的に取得する撮影画像のサイズを所定のサイズに固定する場合には、画角（撮影範囲）が徐々に変化することに伴い、合成時に移動させる画像の移動量が予め想定された移動量を超えてしまうと、全ての画像が重なり合っている画像領域のサイズが所定のサイズ以下となるため、撮影画像の全領域に適正露出を得ることができなくなる。したがって、それを防止するためには撮影画像のサイズを予め小さなサイズとする、つまり撮影画像の解像度を低めに設定せざるを得ない。逆に、最終的に取得する撮影画像のサイズを逐次変更可能とする場合には、画角（撮影範囲）の変動量が大きくなるに従い取得可能な撮影画像のサイズが小さくなる（解像度が低下する）という問題があった。

さらに、画面内における被写体の変動量を、連続して撮像した画像から検出する場合には、各画像に重ね合わせの基準となるような特徴点を設定し、係る特徴点を一致させるように画像を合成することとなるが、その場合、画角（撮影範囲）の変化度合が大きくなると前記特徴点の検出精度が低下することにより合成位置の精度が低下し、結果として撮影画質が低下してしまう。逆に、特徴点の検出を高精度で行うためには、その処理が複雑となり処理時間が増加するという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、連続して撮像した複数画像を合成することにより撮影画像を取得する際、”ぼけ”による劣化がなく、しかも良質でかつ高解像度の画像を得ることが可能となる撮像装置、及びその撮像方法と、それらの実現に際して使用されるプログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、撮像素子を備えた撮像装置において、前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、前記撮像素子に撮像された画像を表示する表示手段と、前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させる表示制御手段とを備えたものとした。

かかる構成においては、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。同時に、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向を知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けて修正させることが可能となる。

また、請求項２の発明にあっては、前記表示制御手段は、前記撮像素子による前記複数回の撮像期間中に、前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を、前記検出手段により検出された移動量と共に前記表示手段に表示させるものとした。

かかる構成においては、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向、及び修正度合いを知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けてより正確に修正させることが可能となる。

また、請求項３の発明にあっては、撮像装置における撮像方法であって、複数回の撮像を連続して行う工程と、前記複数回の撮像期間中に撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する工程と、前記移動方向及び移動量に基づき、前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて逐次合成する工程と、前記検出された移動量が所定の移動量を超えたことに応じ、前記検出された移動方向と逆向きの修正方向を表示させる工程とを含む方法とした。

かかる方法によれば、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。同時に、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向を知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けて修正させることが可能となる。

また、請求項４の発明にあっては、撮像素子を備えた撮像装置が有するコンピュータを、前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を、前記撮像素子に撮像された画像を表示する表示手段に表示させる表示制御手段として機能させるためのプログラムとした。

また、請求項５の発明にあっては、撮像素子を備えた撮像装置において、前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、前記検出手段により検出された移動量が閾値を超えたとき、前記合成手段による移動量が閾値を超えた画像の他の画像との合成を中止させる合成制御手段とを備えたものとした。

かかる構成においては、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。同時に、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像の使用が中止される。

また、請求項６の発明にあっては、前記撮像素子に撮像された画像を表示する表示手段と、前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させる表示制御手段とを備えたものとした。

かかる構成においては、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向を知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けて修正させることができるため、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像が撮像される度合いを減少させることができる。

また、請求項７の発明にあっては、前記表示制御手段は、前記検出手段により検出された移動量が、前記合成制御手段によって前記合成手段による他の画像との合成を中止されるときの前記閾値よりも小さな前記所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させるものとした。

かかる構成においては、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量がある程度大きくなったとき、使用者に撮影範囲を修正すべき方向を知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けて早期に修正させることが可能となるため、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像が撮像される度合いを一層減少させることができる。

また、請求項８の発明にあっては、撮像装置における撮像方法であって、複数回の撮像を連続して行う工程と、前記複数回の撮像期間中に撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する工程と、前記移動方向及び移動量に基づき、前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて逐次合成する工程と、前記検出された移動量が閾値を超えたとき、前記検出された移動量が閾値を超えた画像の他の画像との合成を中止する工程とを含む方法とした。

かかる方法によれば、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。同時に、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像の使用が中止される。

また、請求項９の発明にあっては、撮像素子を備えた撮像装置が有するコンピュータを、前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、前記検出手段により検出された移動量が閾値を超えたとき、前記合成手段による移動量が閾値を超えた画像の他の画像との合成を中止させる合成制御手段として機能させるためのプログラムとした。

以上のように本発明においては、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができ、同時に、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向を知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けて修正させることが可能となるようにした。よって、連続して撮像した複数画像を合成することにより撮影画像を取得する際、”ぼけ”による劣化がなく、しかもより良質でかつ高解像度の画像を得ることが可能となる。

また、複数回の撮像期間中には、装置本体の揺動に起因する撮像範囲の変動量が大きくなったときには、使用者に撮影範囲を修正すべき方向、及び修正度合いを知らせることにより、撮影範囲を撮影開始当初の撮影範囲へ向けてより正確に修正させることが可能となるようにした。よって、連続して撮像した複数画像を合成することにより撮影画像を取得する際、”ぼけ”による劣化がなく、しかもより一層良質でかつ高解像度の画像を得ることが可能となる。

また、他の発明においては、撮像期間中に装置本体が揺動しても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。同時に、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像の使用が中止されるようにした。よって、連続して撮像した複数画像を合成することにより撮影画像を取得する際、”ぼけ”による劣化がなく、しかもより良質でかつ高解像度の画像を確実に得ることが可能となる。

また、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像が撮像される度合いを減少させることが可能となるようにした。よって、使用が中止される画像の数を少数に止めることができ、適正露出の確保必要となる撮像回数の増加を防止することができる。

また、撮像開始当初の画像に対する被写体の移動量が許容範囲を超えた画像が撮像される度合いを一層減少させることが可能となるようにした。よって、使用が中止される画像の数を少数に止めることができ、適正露出の確保必要となる撮像回数の増加をより効果的に防止することができる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラのブロック図である。

このデジタルカメラは、システム全体の制御を行うＣＰＵ１を中心として構成されており、以下の各部が接続されている。すなわちＣＰＵ１には、被写体の光学像を集光するためのレンズなどで構成される光学レンズ装置２と、集光された光学像をデジタル化して取り込むためのＣＣＤ３、取り込んだ画像を一時記憶するための画像メモリ４と、デジタル化された画像（スルー画像や再生画像）などを表示するための液晶モニタを含む表示部５、画像を記憶するためのトリガを発生させるシャッターボタンや、モード切替ボタンなどのスイッチ類６が接続されている。なお、スイッチ類６の操作状態はＣＰＵ１により定期的にスキャンされる。なお、本実施の形態においては前記表示部５が本発明の表示手段として機能する。

さらに、ＣＰＵ１には、画像データや、その他のデータが必要に応じて記録するための作業用のＲＡＭ７、画像メモリ４に一時記憶された撮像データに対する、ＹＵＶデータへの変換、変換後のＹＵＶデータの圧縮、及び圧縮状態の画像データの伸張を含む各種の画像処理を行う画像処理部８、圧縮された画像を記録するメモリカード９とのインタフェースを行う外部記憶ＩＯ部１０、ＣＰＵ１で実行するためのプログラムを記憶するためのＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリなどのプログラムコード記憶部１１がそれぞれ接続されている。

そして、前記プログラムコード記憶部１１には、ＣＰＵ１にシステム全体の制御、及び自動露出（ＡＥ）制御等を行わせるための各種プログラムが記憶されている。特に後述する長時間露出モードでの撮影時に、ＣＰＵ１を本発明の撮像制御手段、検出手段、合成手段、合成制御手段として機能させるためのプログラムが記憶されている。

次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。図２は、前記デジタルカメラにおいて記録モードの下位モードである長時間露出モードによる撮影時における動作を示すフローチャートである。なお、長時間露出モードは、静止画像の撮影に際して連続撮影を行うモードであって、例えば被写体が暗く、ＡＥ制御により決定したシャッタースピードでは手ぶれによって撮影画像に”ぼけ”が生じる可能性が高い場合の使用を目的とした撮影モードモードである。

図２に示したように、デジタルカメラは長時間露出モードの設定とともに動作を開始し、直ちにＣＣＤ３による所定のスルーレートでの被写体画像の取り込み、及び表示部５によるスルー画像表示を開始する（ステップＳ１）。なお、スルー画像の表示開始と共にＡＥ制御も開始する。その後、シャッターボタンによる撮影指示があったら（ステップＳ２でＹＥＳ）、その直前にＡＥ制御に際して取得した被写体の明るさに基づき露光時間、及びその露光時間に応じた撮影枚数（Ｎ）を決定し、それらの設定データをＲＡＭ７の所定領域に記憶する（ステップＳ３）。

次に、”ぼけ”を生じさせない程度の予め決められている速いシャッタースピードでの撮像処理を行い画像を取得した後（ステップＳ４）、当初はその撮像処理が１回目であるため（ステップＳ５でＹＥＳ）、取得した画像において、まわりの画素に対して輝度や色が大きく異なった画素を特徴点として複数検出する（ステップＳ６）。そして、前記画像と、検出した複数の特徴点の画像内での座標位置、及び特徴点を特定するための特定情報（輝度及び色）を前記ＲＡＭ７に記憶するとともに（ステップＳ７）、合成枚数（ｎ）として”１”を設定する（ステップＳ８）。その後はステップＳ４へ戻り、次の撮像処理を行う。なお、次の撮像処理の開始時期は予め決められている撮影時間間隔とする。

そして、２回目の撮像処理を行った後には（ステップＳ５でＮＯ）、まず新たに撮像した画像から、ステップＳ７で取得し記憶しておいた前記特定情報に基づき、ＲＡＭ７に記憶されている１枚目の画像における特徴点と対応する特徴点を探し（ステップＳ９）、その特徴点の座標位置とＲＡＭ７に記憶されている座標位置から、画像内における被写体のずれ量、及びずれ方向を成分とする、ずれベクトル（ｄｘ，ｄｙ）を計算する（ステップＳ１０）。

ここで、計算したずれベクトル（ｄｘ，ｄｙ）が予め決められている閾値以下であれば（ステップＳ１１でＹＥＳ）、ステップＳ４で新たに取得した画像を、互いの特徴点が一致するように移動させたうえで、前記ＲＡＭ７に一時記憶されている画像（１枚目の画像）に合成する（ステップＳ１２）。図３は係る処理の内容を示す図であって、同図（ａ）が１枚目の画像、同図（ｂ）が２枚目の画像、同図（ｃ）が合成後の画像である。なお、同図（ｄ）は、２枚目の画像を位置調整することなく１枚目の画像と合成した場合における画像の例である。そして、上記合成処理の後には、合成枚数（ｎ）をインクリメントした後（ステップＳ１３）、合成枚数（ｎ）がステップＳ３で決められた撮影枚数（Ｎ）になるまでは（ステップＳ１４でＮＯ）、ステップＳ４へ戻って、３回目、４回目、・・・の撮像処理を行い、３枚目以降の画像を取得し、各画像について前述したステップＳ９〜ステップＳ１４の処理を繰り返す。

また、その間に撮像したいずれかの画像において、計算したずれベクトル（ｄｘ，ｄｙ）が閾値を超えた場合には（ステップＳ１１でＮＯ）、図４に示したように、表示部５において表示中のスルー画像１００に重ねて、前記ずれ方向と逆向きの修正方向を示し、かつずれ量をその大きさ（長さでも良い）で示す修正方向マーク２００を表示し（ステップＳ１５）、係る修正方向マーク２００によって、撮影開始当初と比較して撮影範囲が一定以上変動したこと、及び撮影範囲を修正すべき方向、及び修正度合いを撮影者に知らせる。なお、フローチャートには示さないが、修正方向マーク２００は、予め決められている時間（例えば１秒間）だけ表示する。また、図４には、直前のステップＳ４で撮像された画像の被写体（黒塗りの「Ａ」）と共に、それ以前に合成されている画像の被写体（付す塗りの「Ａ」）を便宜的に示したが、実際のスルー画像には後者の被写体は表示されない。そして、スルー画像１００に修正方向マーク２００を表示した後には、直前のステップＳ４で取得した画像を破棄し、つまりその画像の合成を中止して（ステップＳ１６）、ステップＳ４へ戻るとともに、前述したステップＳ９〜ステップＳ１４の処理を繰り返す。

そして、合成枚数（ｎ）がステップＳ３で決められた撮影枚数（Ｎ）となったら（ステップＳ１４でＹＥＳ）、その時点でＲＡＭ７に記憶されている、複数枚の画像が合された状態の合成画像を画像処理部８において圧縮してメモリカード９に記録し、１回の撮影を終了する。

以上説明した長時間露出モードによる撮影においては、速いシャッタースピードでの撮影を連続して行い、撮像した複数枚の画像を位置調整しながら重ね合わせて合成することにより、撮影者がカメラ本体を手で支えた状態で行っているときであっても、通常の長時間露出による撮影で得られる適正露出を確保しつつ、”ぼけ”による劣化の無い画像を得ることができる。

そして、上記の撮影中には、例えば無意識のうちに撮影範囲が徐々に変化し、画像内における被写体の変動量が予め想定されている許容範囲を超えた場合（ずれベクトルが閾値を超えた場合）には、前述したようにスルー画像１００に修正方向マーク２００を表示することによって、撮影者に、撮影範囲を修正すべき方向、及び修正度合を知らせることができる。これにより撮影範囲を撮影開始当初の撮影範囲へ向けて修正させることができ、撮影期間中に撮影範囲が大きくずれてしまう可能性を減少させることができる。

一方、画像内における被写体の変動量が予め想定されている許容範囲を超えた場合、つまり被写体の変動量が大きく検出した特徴点の信頼性が低い場合には、その画像の合成を中止することから、特徴点の検出精度を高めるための複雑な画像処理を行わなくとも、合成位置の精度の高い良質の撮影画像を確実に得ることができる。しかも、前述したように、撮影期間中に撮影範囲が大きくずれてしまう可能性を減少させることができるため、適正露出の確保必要となる撮像回数の増加、つまり撮影時間の長期化を防止することができる。

ここで、本実施の形態においては、前述した修正方向マーク２００を、画像内における被写体の変動量が予め想定されている許容範囲を超えた場合に表示させるようにしたが、画像内における被写体の変動量が予め想定されている許容範囲を超える以前の、予め決められた所定の変動量に達した段階で修正方向マーク２００を表示させてもよい。その場合には、撮影中に撮影範囲が大きくずれて被写体の変動量が予め想定されている許容範囲を超える可能性をごく僅かなものとすることができる。したがって、撮影時間の長期化を一層防止することができる。

また、画像内における被写体の変動量が予め想定されている許容範囲を超えた場合に、その画像の合成を中止する処理（ステップＳ１６）は廃止してもよい。つまり画像内における被写体の変動量が予め想定されている許容範囲を超える以前の、予め決められた所定の変動量に達した段階で修正方向マーク２００を表示させるだけあっても、特徴点の検出精度を高めるための複雑な画像処理を行うことなく、合成位置の精度の高い良質の撮影画像を得ることができる。

また、最終的に取得する撮影画像のサイズを所定のサイズに固定する場合には、そのサイズを必要以上に小さくせずとも、撮影画像の全体に適正露出を得つつ、高解像度の画像を得ることができる。また、最終的に取得する撮影画像のサイズを逐次変更可能とする構成では、より解像度の高い画像を得ることができる。

また、上記と異なり、例えば修正方向マーク２００を表示するか否かを判断するための第１の閾値（上述した所定の変動量）と、それよりも大きく、合成すべき画像を破棄（使用の中止）するか否かを判断するための第２の閾値とを個別に用意し、撮影範囲の変動量が上記第１の閾値に相当する量から第２の閾値に相当する量である間については修正方向マーク２００の表示のみを行い、撮影範囲の変動量が第２の閾値に相当する量を超えてた場合には、修正方向マーク２００を表示し、かつ合成すべき画像を破棄（使用を中止）するようにしてもよい。その場合には、撮影範囲を撮影開始当初の撮影範囲へ向けて早期に修正させることが可能となるため、撮影時間の長期化をより一層防止することができる。

また、スルー画像に表示する前述した修正方向マーク２００を、画像内における被写体位置のずれ方向と逆向きの修正方向と共に被写体位置のずれ量を示すものについて説明したが、修正方向マーク２００を修正方向のみを示すものとしてもよい。ただし、本実施の形態のように修正方向と共に被写体位置のずれ量を示すものとした方が、撮影範囲を撮影開始当初の撮影範囲へ向けてより正確に修正させることができる。さらに、修正方向マーク２００によって画像内における被写体位置のずれ量を示す場合には、本実施の形態のように修正方向マーク２００の大きさによらず、その長さ等によって示すようにしてもよい。また、本実施の形態では、スルー画像１００に表示する修正方向マーク２００を白抜き矢印とし、かつその表示位置をスルー画像１００の中央部とした場合を例として示したが（図４）、修正方向マーク２００の形状や表示位置は適宜変更することができる。

また、本実施の形態では、画面内における被写体の変動量を、連続して撮像した画像から検出し、その検出結果（ずれベクトル）に基づき画像の合成位置を調整するものについて説明したが、本発明は、例えばカメラ本体の揺れ方向や揺れ量をジャイロ等のセンサによって検出し、その検出結果に基づいて、連続して撮像した画像から直接決定する構成のものにも適用可能である。上記構成を有するものについても、最終的に取得する撮影画像のサイズを所定のサイズに固定する場合には、そのサイズを必要以上に小さくせずとも、撮影画像の全体に適正露出を得つつ、高解像度の画像を得ることができ、また、最終的に取得する撮影画像のサイズを逐次変更可能とする構成では、より解像度の高い画像を得ることができる。

また、本実施の形態では、本発明における撮像開始当初の画像が、長時間露出モードによる連続撮影で１回目の撮像により取得した１枚目の画像である場合について説明したが、その後に連続して撮像される複数枚の画像についての基準となる画像であれば２枚目以降の画像（ただし、撮影を開始した当初の期間に撮像された画像）であっても構わない。

本発明に係るデジタルカメラのブロック図である。同デジタルカメラにおける長時間露出モードによる動作を示すフローチャートである。画像の合成処理の内容を示す図である。スルー画像に表示する修正方向マークの例を示した図である。

符号の説明

１ＣＰＵ
３ＣＣＤ
４画像メモリ
５表示部
７ＲＡＭ
８画像処理部
９メモリカード
１１プログラムコード記憶部
１００スルー画像
２００修正方向マーク

Claims

撮像素子を備えた撮像装置において、
前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、
前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、
この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、
前記撮像素子に撮像された画像を表示する表示手段と、
前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする撮像装置。
前記表示制御手段は、前記撮像素子による前記複数回の撮像期間中に、前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を、前記検出手段により検出された移動量と共に前記表示手段に表示させることを特徴とする請求項１記載の撮像装置。
撮像装置における撮像方法であって、
複数回の撮像を連続して行う工程と、
前記複数回の撮像期間中に撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する工程と、
前記移動方向及び移動量に基づき、前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて逐次合成する工程と、
前記検出された移動量が所定の移動量を超えたことに応じ、前記検出された移動方向と逆向きの修正方向を表示させる工程と
を含むことを特徴とする撮像方法。
撮像素子を備えた撮像装置が有するコンピュータを、
前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、
前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、
この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、
前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を、前記撮像素子に撮像された画像を表示する表示手段に表示させる表示制御手段と
して機能させるためのプログラム。
撮像素子を備えた撮像装置において、
前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、
前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、
この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、
前記検出手段により検出された移動量が閾値を超えたとき、前記合成手段による移動量が閾値を超えた画像の他の画像との合成を中止させる合成制御手段と
を備えたことを特徴とする撮像装置。
前記撮像素子に撮像された画像を表示する表示手段と、
前記検出手段により検出された移動量が所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする請求項５記載の撮像装置。
前記表示制御手段は、前記検出手段により検出された移動量が、前記合成制御手段によって前記合成手段による他の画像との合成を中止されるときの前記閾値よりも小さな前記所定の移動量を超えたことに応じ、前記検出手段により検出された移動方向と逆向きの修正方向を前記表示手段に表示させることを特徴とする請求項６記載の撮像装置。
撮像装置における撮像方法であって、
複数回の撮像を連続して行う工程と、
前記複数回の撮像期間中に撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する工程と、
前記移動方向及び移動量に基づき、前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて逐次合成する工程と、
前記検出された移動量が閾値を超えたとき、前記検出された移動量が閾値を超えた画像の他の画像との合成を中止する工程と
を含むことを特徴とする撮像方法。
撮像素子を備えた撮像装置が有するコンピュータを、
前記撮像素子に複数回の撮像を連続して行わせる撮像制御手段と、
前記撮像素子による前記複数回の撮像期間中に、前記撮像素子により撮像された画像内における、前記複数回の撮像開始当初の画像に対する被写体の移動方向及び移動量を検出する検出手段と、
この検出手段により検出された移動方向及び移動量に基づき、前記撮像素子に前記複数回の撮像によって撮像された各画像を、各画像における被写体の位置を合わせて合成する合成手段と、
前記検出手段により検出された移動量が閾値を超えたとき、前記合成手段による移動量が閾値を超えた画像の他の画像との合成を中止させる合成制御手段と
して機能させるためのプログラム。