JP2004088567A

JP2004088567A - 撮像装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP2004088567A
Application number: JP2002248534A
Authority: JP
Inventors: Yuko Mimura; 三村　優子; Jun Nagai; 永井　潤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2004-03-18

Abstract

【課題】ユーザに負担をかけずに、手振れによる撮像画像の手振れを補正することができるようにする。
【解決手段】撮像系１１によって取得された被写体像の画像データに、角速度センサ２５によって取得された撮像時の手振れ情報が付加されて、メモリカード１５に記録される。また、撮像後に、撮像時の手振れの有無が画像表示部１８に表示される。メモリカード１５に記録された画像データを再生するとき、画像データに付加された手振れ情報に基づいて画像データが補正処理され、撮像時の手振れの有無と共に画像表示部１８に表示される。本発明は、デジタルスチルカメラに適用することができる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置および方法、記録媒体、並びにプログラムに関し、特に、撮像時の手振れを記録することができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
被写体の画像を電子的撮像機能により、画像データに変換して、変換された画像データを記録媒体に記録する撮像装置として、例えば、デジタルスチルカメラが知られている。撮像者が、デジタルスチルカメラを手に持って撮像する場合には、いわゆる手振れ現象が発生する。このため、手振れによる撮像画像の振れを補正するための補正機能が必要となる。
【０００３】
従来の手振れ補正方法としては、撮像時に、撮像装置のレンズ光学系自体を光軸に対して駆動することで、手振れを光学的に打ち消す方法や、撮像後に、画像データに対して補正処理を行う電子的方法などが知られている。
【０００４】
また、例えば、特許文献１には、手振れ情報をメモリカードに記録し、再生時、その手振れ情報に基づいて、手振れ補正処理を行うことが開示されている。この手振れ補正処理は、手振れ状態の程度に応じて連写画像の再生表示範囲を制限するものであり、手振れ情報に含まれる手振れの振幅値の平均値から手振れ状態が識別され、相対的に振幅値が大きい手振れ状態の場合には、連写画像の表示範囲が小さくなるように調整され、相対的に振幅値が小さい手振れ状態の場合には、連写画像の表示範囲が大きくなるように調整される。
【０００５】
【特許文献１】
特開２０００−２９９８１３号公報（第４頁、第５頁、図２、図４）
【０００６】
【発明が解決しようとする課題】
しかしながら、手振れを光学的に打ち消す方法は、レンズ光学系の構造が複雑化するため、デジタルスチルカメラの製造コストの上昇や大型化を招き、小型化、低価格化が望まれるデジタルスチルカメラに用いることは困難であるという課題があった。
【０００７】
また、手振れを打ち消す電子的方法は、画像データに対して補正処理を行うためには、手振れ量により決まるパラメータを推定する必要があり、撮像者が正確に補正処理を行うことは困難であるという課題があった。
【０００８】
さらに、特許文献１の手振れ補正処理は、連写画像の再生時に、対応する連写画像のデータのファイルに付加された手振れ情報に基づいて、手振れ状態の程度に応じて連写画像の表示範囲を制限するものであり、連写画像の再生を一時的に停止し、１枚１枚の画像を再生する場合は、表示範囲の制限が解除されるため、１枚１枚の画像を再生する場合に、手振れ補正を行うことが困難であるという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、複雑な構造の機構を要することなく、かつ撮像者が１枚１枚の画像を再生する場合に、手振れによる撮像画像の振れを正確に補正することができるようにするものである。
【００１０】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像し、１枚の画像の画像データを得る撮像手段と、撮像手段による被写体の撮像時の手振れ状態を検出する手振れ検出手段と、撮像手段による被写体の撮像時の焦点距離を取得する焦点距離取得手段と、撮像手段によって得られた１枚の画像の画像データを１つのファイルとして記録媒体に記録するとともに、手振れ検出手段によって得られた手振れ情報と焦点距離取得手段によって得られた焦点距離をファイルのヘッダに付加して記録する記録手段とを備えることを特徴とする。
【００１１】
記録手段によって記録された画像データを記録媒体から再生するとき、画像データに付加して記録された手振れ情報と焦点距離に基づいて、記録媒体から再生された画像データに対して手振れ補正処理のための演算を施す補正手段と、補正手段によって補正された画像データに対応する画像を表示する表示手段とをさらに備えることを特徴とする。
【００１２】
補正手段は、撮像手段により得られた画像データをフーリエ変換して得られた値を、焦点距離の成分を含む伝達関数で割算して得られた値を、逆フーリエ変換することで、手振れ補正処理のための演算を行うことができる。
【００１３】
表示手段は、手振れ検出手段によって検出された撮像手段による被写体の撮像時の手振れの有無を、撮像後に表示することができる。
【００１４】
表示手段は、記録手段によって記録された画像データを再生するとき、画像データに付加された手振れ情報に基づいて、撮像時の手振れの有無を、画像データに対応する画像と共に表示することができる。
【００１５】
手振れ検出手段によって得られた手振れ情報と焦点距離取得手段によって得られた焦点距離を一時的に記憶するための記憶手段をさらに備え、記録手段は、撮像手段によって得られた画像データの画像圧縮ファイルを記録媒体に記録するとき、記憶手段から画像データに対応する手振れ情報と焦点距離を読み出し、画像圧縮ファイルに付加して記録することができる。
【００１６】
本発明の撮像方法は、被写体を撮像し、１枚の画像の画像データを得る撮像ステップと、撮像ステップの処理による被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、撮像ステップの処理による被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、撮像ステップの処理によって得られた１枚の画像の画像データを１つのファイルとして記録媒体に記録するとともに、手振れ検出ステップの処理によって得られた手振れ情報と焦点距離取得ステップの処理によって得られた焦点距離をファイルのヘッダに付加して記録する記録ステップと、記録ステップの処理によって記録された画像データを記録媒体から再生するとき、画像データに付加して記録された手振れ情報と焦点距離に基づいて、記録媒体から再生された画像データに対して手振れ補正処理のための演算を施す補正ステップと、補正ステップの処理によって補正された画像データに対応する画像を表示する表示ステップとを含むことを特徴とする。
【００１７】
本発明の記録媒体に記録されているプログラムは、被写体の撮像を制御して、１枚の画像の画像データを得る撮像ステップと、撮像ステップの処理による被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、撮像ステップの処理による被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、撮像ステップの処理によって得られた１枚の画像の画像データを１つのファイルとして記録媒体に記録するとともに、手振れ検出ステップの処理によって得られた手振れ情報と焦点距離取得ステップの処理によって得られた焦点距離をファイルのヘッダに付加して記録する記録ステップと、記録ステップの処理によって記録された画像データを記録媒体から再生するとき、画像データに付加して記録された手振れ情報と焦点距離に基づいて、記録媒体から再生された画像データに対して手振れ補正処理のための演算を施す補正ステップと、補正ステップの処理によって補正された画像データに対応する画像を表示する表示ステップとを含むことを特徴とする。
【００１８】
本発明のプログラムは、被写体の撮像を制御して、１枚の画像の画像データを得る撮像ステップと、撮像ステップの処理による被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、撮像ステップの処理による被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、撮像ステップの処理によって得られた１枚の画像の画像データを１つのファイルとして記録媒体に記録するとともに、手振れ検出ステップの処理によって得られた手振れ情報と焦点距離取得ステップの処理によって得られた焦点距離をファイルのヘッダに付加して記録する記録ステップと、記録ステップの処理によって記録された画像データを記録媒体から再生するとき、画像データに付加して記録された手振れ情報と焦点距離に基づいて、記録媒体から再生された画像データに対して手振れ補正処理のための演算を施す補正ステップと、補正ステップの処理によって補正された画像データに対応する画像を表示する表示ステップとを含むことを特徴とする。
【００１９】
本発明の撮像装置および方法、記録媒体、並びにプログラムにおいては、被写体の画像データに、被写体の撮像時の手振れ情報と焦点距離が付加して記録され、記録された画像データを再生するとき、画像データに付加された手振れ情報と焦点距離に基づいて画像データが補正処理され、対応する画像が表示される。
【００２０】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２１】
図１は、本発明を適用したデジタルスチルカメラ１の電気的構成例を示すブロック図である。同図に示されるように、被写体像は、まず、アクチュエータ（図示せず）に取り付けられ、アクチュエータ駆動回路（図示せず）の駆動によってズームまたはフォーカス駆動されるレンズ２１に入射する。
【００２２】
レンズ２１を通過して入射した被写体像は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）撮像素子２２によって光電変換される。ＣＣＤ撮像素子２２によって光電変換された被写体像のアナログ信号は、Ａ／Ｄ変換部２３によってデジタル信号に変換される。被写体像のデジタル信号は、画像処理部２４によって、例えば、ガンマ補正やホワイトバランス調整などの各種信号処理（画像補正処理）を施される。
【００２３】
レンズ２１、ＣＣＤ撮像素子２２、Ａ／Ｄ変換部２３、および画像処理部２４によって、被写体像をデジタル画像信号に変換する撮像系１１が構成されている。
【００２４】
画像処理部２４によって、各種信号処理された画像データは、バッファメモリ１２に格納される。バッファメモリ１２に格納された画像データは、画像圧縮部１３によって、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）方式により画像圧縮処理される。
【００２５】
画像圧縮処理された画像データは、メモリコントローラ１４に入力し、メモリコントローラ１４の制御によって、メモリカード１５に記憶される。
【００２６】
メモリカード１５に記憶されている画像データは、再生時に、メモリコントローラ１４の制御によって、メモリコントローラ１４から画像伸長部１６に送られ、ＪＰＥＧ方式により画像伸長処理される。
【００２７】
画像伸長処理された画像信号は、バッファメモリ１２に入力する。バッファメモリ１２から出力した画像信号は、表示制御部１７の制御により、画像表示部１８に出力され、表示される。
【００２８】
マイクロコンピュータ１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ−Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２６に格納されているオペレーティングシステム、またはアプリケーションプログラムなどの各種のプログラムを実行する。
【００２９】
また、マイクロコンピュータ１９は、Ａ／Ｄ変換部２３、画像処理部２４、バッファメモリ１２、画像圧縮部１３、メモリコントローラ１４、メモリカード１５、画像伸長部１６、および表示制御部１７に、それぞれ接続し、適宜必要に応じて制御する。
【００３０】
ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ−Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２６には、マイクロコンピュータ１９が実行するオペレーティングシステム、またはアプリケーションプログラムなどの各種のプログラムが格納されている。
【００３１】
操作部２０は、撮像者の操作により、マイクロコンピュータ１９に被写体を撮像する指示を入力する。
【００３２】
角速度センサ２５は、撮像動作時に発生する手振れを検出し、検出結果をデジタル値である手振れ情報としてマイクロコンピュータ１９に供給する。
【００３３】
次に、図２を参照して、デジタルスチルカメラ１による被写体の撮像処理を説明する。
【００３４】
ステップＳ１１において、撮像者によって操作部２０が操作され、被写体の撮像の指示がマイクロコンピュータ１９に入力すると、マイクロコンピュータ１９は、撮像系１１を制御し、被写体の撮像処理を実行する。
【００３５】
ステップＳ１１において、撮像系１１により被写体の撮像処理が実行されると同時に、ステップＳ１２において、マイクロコンピュータ１９は、角速度センサ２５より、撮像処理中の手振れ情報を取得する。
【００３６】
簡単のため、ここで手振れ情報とは、図３に示されるように、デジタルスチルカメラ１と被写体３０とを結ぶｚ軸と、ｚ軸と垂直なｙ軸（鉛直軸）とにより構成されるｙｚ平面において、デジタルスチルカメラ１が、撮像処理の露光中に、ｙ軸とｚ軸に垂直なｘ軸を中心にして、ｙ軸方向からｚ軸方向に角速度ωで回動する動きを意味するものとする。
【００３７】
ステップＳ１３において、マイクロコンピュータ１９は、角速度ωを撮像処理の露光中の時間にわたって積分し、図４に示す回転角度θを求める。
【００３８】
ステップＳ１４において、マイクロコンピュータ１９は、ステップＳ１３の処理で算出された回転角度θが、画像データを画像表示部１８に表示させたとき、人間が画像の振れとして認識できる、予め設定されている所定の閾値以上であるか否かを判定する。
【００３９】
ステップＳ１４において、回転角度θが閾値以上であると判定された場合、ステップＳ１５において、マイクロコンピュータ１９は、表示制御部１７を制御し、画像表示部１８に、デジタルスチルカメラ１の撮像処理中に手振れが生じたことをＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等で表示させる。
【００４０】
したがって、撮像者は撮像処理中に手振れが生じている場合には、その場ですぐに知ることができ、再び撮像する必要がある場合には、ただちに撮像し直すことが可能となる。
【００４１】
なお、撮像処理中に手振れが生じたこと撮像者に知らせる方法は、画像表示部１８にＧＵＩ等で表示させる方法に限らず、例えば、音声による方法でもよい。
【００４２】
ステップＳ１４において、回転角度θが閾値以上であると判定されなかった場合（閾値未満の場合）、ステップＳ１５の処理はスキップされ、処理はステップＳ１６に進む。
【００４３】
次に、ステップＳ１６において、マイクロコンピュータ１９は、被写体３０を撮像するとき、レンズ２１、被写体３０、ＣＣＤ撮像素子２２の位置関係により決定される焦点距離を取得する。
【００４４】
すなわち、焦点距離は、図５に示されるように、被写体３０の上端ＢとＣＣＤ撮像素子２２の下端Ｂ´を結ぶ直線ＢＢ´と、被写体３０の下端ＡとＣＣＤ撮像素子２２の上端Ａ´を結ぶ直線ＡＡ´との交点、すなわち、レンズ２１の中心位置と、ＣＣＤ撮像素子２２の位置との間の距離ｆのことである。
【００４５】
ステップＳ１７において、撮像系１１により取得された画像データは、バッファメモリ１２を介してＤＲＡＭ２６に供給され、記憶される。また、このとき、焦点距離、および角速度センサ２５により取得された手振れ情報も、ＤＲＡＭ２６に記憶される。
【００４６】
ステップＳ１８において、ＤＲＡＭ２６に記録された画像ファイルは、画像圧縮部１３によりＪＰＥＧ圧縮処理される。
【００４７】
ステップＳ１９において、ＪＰＥＧ圧縮処理され、手振れ情報および焦点距離が付加された画像ファイルは、ＤＲＡＭ２６から、メモリコントローラ１４の制御によりメモリカード１５に記録され、デジタルスチルカメラ１による撮像処理は終了する。
【００４８】
ＤＲＡＭ２６の画像ファイルの構造について、図６乃至図９を参照して説明する。
【００４９】
図６は１枚の画像毎に生成される画像ファイル４０全体のデータ構成を表す。図６において、ファイル全体のデータ構成の最上位層には、ＳＯＩ（Ｓｔａｒｔ　ｏｆ　ｉｍａｇｅ　ｓｅｇｍｅｎｔ）４１が配置されている。ＳＯＩ４１は、ＪＦＩＦ（ＪＰＥＧ　Ｆｉｌｅ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）ファイルの開始を表すセグメントである。ＪＦＩＦは、ＪＰＥＧ圧縮技法を用いた画像データ交換用のファイルフォーマットである。
【００５０】
ＳＯＩ４１の下層には、ヘッダとしてのＡＰＰ１（Ａｐｐｌｉｃａｔｉｏｎ　ｌａｙｅｒ　１）４２が配置されている。ＡＰＰ１４２の構成については、図７を参照して後述する。
【００５１】
ＡＰＰ１４２の下層には、ＤＱＴ（Ｄｅｆｉｎｅ　ｑｕａｎｔｉｚａｔｉｏｎ　ｔａｂｌｅ　ｓｅｇｍｅｎｔ）４３が配置されている。ＤＱＴ４３は、画像データを量子化するための量子化因子を定義した量子化テーブルセグメントである。
【００５２】
ＤＱＴ４３の下層には、ＤＨＴ（Ｄｅｆｉｎｅ　Ｈｕｆｆｍａｎ　ｔａｂｌｅ　ｓｅｇｍｅｎｔ）４４が配置されている。ＤＨＴ４４は、ハフマン符号化法における可変長コードと固定長コードの対応を定義したセグメントである。
【００５３】
ＤＨＴ４４の下層には、ＳＯＦ（Ｓｔａｒｔ　ｏｆ　ｆｒａｍｅ　ｔｙｐｅ　ｓｅｇｍｅｎｔ）４５が配置されている。ＳＯＦ４５は、データがハフマン符号化法で符号化されたデータであることを表すセグメントである。
【００５４】
ＳＯＦ４５の下層には、ＳＯＳ（Ｓｔａｒｔ　ｏｆ　ｓｃａｎ　ｓｅｇｍｅｎｔ）４６が配置されている。ＳＯＳ４６は、ハフマン符号化されたイメージデータと、そのヘッダでファイルの大半を占めるセグメントである。
【００５５】
ＳＯＳ４６の下層には、Ｃｏｍｐｒｅｓｓｅｄ　Ｄａｔａ４７が配置されている。Ｃｏｍｐｒｅｓｓｅｄ　Ｄａｔａ４７とは、ＪＰＥＧ規格におけるエントロピー符号化データに対応するデータ、すなわち、画像データである。
【００５６】
Ｃｏｍｐｒｅｓｓｅｄ　Ｄａｔａ４７の下層には、ＥＯＩ（Ｅｎｄ　ｏｆ　ｉｍａｇｅ　ｓｅｇｍｅｎｔ）４８が配置されている。ＥＯＩ４８は、ＪＦＩＦファイルの終了を表すセグメントである。
【００５７】
次に、図７を参照して、ＡＰＰ１４２の構成について説明する。図７において、ＡＰＰ１４２の構成の最上位層には、ＡＰＰ１　Ｍａｒｋｅｒ５１が配置されている。ＡＰＰ１　Ｍａｒｋｅｒ５１は、アプリケーションレイヤの始まりを示すマーカである。
【００５８】
ＡＰＰ１　Ｍａｒｋｅｒ５１の下層には、ＡＰＰ１　Ｌｅｎｇｔｈ５２が配置されている。ＡＰＰ１　Ｌｅｎｇｔｈ５２は、マーカに続くフィールドのバイト数を表すデータである。
【００５９】
ＡＰＰ１　Ｌｅｎｇｔｈ５２の下層には、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）識別子５３が配置されている。Ｅｘｉｆは、デジタルスチルカメラ用画像ファイルフォーマット規格である。
【００６０】
Ｅｘｉｆ識別子５３の下層には、ＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）Ｈｅａｄｅｒ５４が配置されている。ＴＩＦＦは、画像ファイル形式の１つであり、データに情報タグを付け情報の格納場所を集めたＩＦＤ（Ｉｍａｇｅ　Ｆｉｌｅ　Ｄｉｒｅｃｔｏｒｙ）と、実際のデータとから構成される。
【００６１】
ＴＩＦＦ　Ｈｅａｄｅｒ５４の下層には、０ｔｈ　ＩＦＤ５５が配置されている。０ｔｈ　ＩＦＤ５５には、圧縮されている主画像に関する付属情報が記録されている。
【００６２】
０ｔｈ　ＩＦＤ５５の下層には、Ｅｘｉｆ　ＩＦＤ５６が配置されている。Ｅｘｉｆ　ＩＦＤ５６には、圧縮されている主画像が記録されている。
【００６３】
Ｅｘｉｆ　ＩＦＤ５６の下層には、１ｓｔ　ＩＦＤ５７が配置されている。１ｓｔ　ＩＦＤ５７には、サムネイル画像に関する付属情報が記録されている。
【００６４】
１ｓｔ　ＩＦＤ５７の下層には、ｔｈｕｍｂｎａｉｌ　Ｄａｔａ（サムネイル画像）５８が配置されている。
【００６５】
次に、図８を参照して、Ｅｘｉｆ　ＩＦＤ５６の構成について説明する。図８において、Ｅｘｉｆ　ＩＦＤ５６の構成の最上位層には、Ｔａｇ　Ｅｎｔｒｙ６１が配置されており、その下層には、Ｅｘｉｆ　Ｖｅｒｓｉｏｎ６２、Ｔａｇ２６３というように、タグ情報が階層化されている。
【００６６】
タグ情報の階層化の中には、ＭａｋｅｒＮｏｔｅ　Ｔａｇ６４が配置されている。ＭａｋｅｒＮｏｔｅＴａｇ６４には、Ｍａｋｅｒ　Ｎｏｔｅ　Ｖａｌｕｅ　Ｄａｔａ６５の位置を表すポインタとしてのＣｏｕｎｔ：Ｓ／Ｖａｌｕｅ：ｏｆｆｓｅｔが記録されている。Ｍａｋｅｒ　Ｎｏｔｅ　Ｖａｌｕｅ　Ｄａｔａ６５は、メーカ毎に固有のデータであり、Ｅｘｉｆ　Ｖａｌｕｅ　Ｄａｔａ６６内に位置している。
【００６７】
次に、図９を参照して、Ｍａｋｅｒ　Ｎｏｔｅ　Ｖａｌｕｅ　Ｄａｔａ６５の構成について説明する。図９において、Ｍａｋｅｒ　Ｎｏｔｅ　Ｖａｌｕｅ　Ｄａｔａ６５の構成の最上位層には、“ＳＮＯＹ　ＤＳＣ”，０Ｘ００７１が配置されている。“ＳＮＯＹ　ＤＳＣ”，０Ｘ００７１は、Ｍａｋｅｒ　Ｎｏｔｅ　Ｖａｌｕｅ　Ｄａｔａが、ＳＮＯＹ社製に固有のＤＳＣ（デジタルスチルカメラ）に関するものであることを表している。，０Ｘ００は拡張子である。
【００６８】
“ＳＮＯＹ　ＤＳＣ”，０Ｘ００７１の下層には、Ｔａｇ　Ｅｎｔｒｙ７２が配置されており、その下層には、Ｔａｇ１、Ｔａｇ２というようにタグ情報が階層化されている。
【００６９】
タグ情報の階層化の中には、焦点距離７５および角速度情報Ｔａｇ７６が配置されている。角速度情報Ｔａｇ７６は、角速度データ７７の位置を表している。
【００７０】
次に、図１０を参照して、デジタルスチルカメラ１による画像データの再生処理について説明する。この処理は、ユーザが操作部２０を操作して、再生の開始を指令したとき開始される。
【００７１】
ステップＳ２１において、メモリコントローラ１４は、メモリカード１５に記録された画像ファイルをＤＲＡＭ２６に読み出す。
【００７２】
ステップＳ２２において、マイクロコンピュータ１９は、ＤＲＡＭ２６に読み出された画像ファイルを読み出す。
【００７３】
ステップＳ２３において、マイクロコンピュータ１９は、読み出された画像ファイルのヘッダに角速度情報が付加されているか否かを判定する。
【００７４】
ステップＳ２３において、画像ファイルのヘッダに角速度情報が付加されていないと判定された場合、ステップＳ３０の処理に進み、マイクロコンピュータ１９は、表示制御部１７を制御し、画像表示部１８に画像ファイルの画像を表示させ、画像再生処理は終了する。
【００７５】
ステップＳ２３において、画像ファイルのヘッダに角速度情報が付加されていると判定された場合、ステップＳ２４に進み、マイクロコンピュータ１９は、その角度情報に含まれている角速度ωを積分し、回転角度θを算出する。
【００７６】
ステップＳ２５において、マイクロコンピュータ１９は、ステップＳ２４の処理で算出された回転角度θが、画像データを画像表示部１８に表示させたとき、人間が画像の振れとして認識できる閾値以上であるか否かを判定する。
【００７７】
ステップＳ２５において、回転角度θが閾値以上であると判定されなかった場合、処理はステップＳ３０に進み、マイクロコンピュータ１９は、表示制御部１７を制御し画像表示部１８に画像を表示させ、再生処理は終了する。
【００７８】
ステップＳ２５において、回転角度θが閾値以上であると判定された場合、ステップＳ２６において、マイクロコンピュータ１９は、表示制御部１７を制御し、画像表示部１８に、デジタルスチルカメラ１の撮像処理中に手振れが生じたことをＧＵＩ等で表示させる。
【００７９】
ステップＳ２７において、マイクロコンピュータ１９は、操作部２０からの撮像者の指示に基づいて、画像データの手振れの補正を行うか否かを判定する。撮像者は、操作部２０を操作して、時間的余裕がある場合は手振れの補正を行い、時間的余裕がない場合は手振れの補正を行わないというように、手振れ補正の選択を指令する。
【００８０】
また、画像ファイルをデジタルスチルカメラ１の画像表示部１８より、大きい画像表示部を有する再生装置で再生する場合には手振れ補正を行い、デジタルスチルカメラ１で再生する場合には手振れ補正を行わないといった選択も可能であり、さらに、デジタルスチルカメラ１のマイクロコンピュータ１９より処理能力の高い再生装置で再生する場合には手振れ補正を行い、デジタルスチルカメラ１で再生する場合には手振れ補正を行わないといった選択も可能である。
【００８１】
勿論、手振れ補正を行うか行わないかの判定は、以上の選択を適宜組み合わせて判定してもよい。
【００８２】
ステップＳ２７において、手振れの補正を行わないと判定された場合、処理はステップＳ３０に進み、マイクロコンピュータ１９は、表示制御部１７を制御し、画像表示部１８に画像を表示させ、再生処理は終了する。
【００８３】
ステップＳ２７において、画像データの手振れの補正を行うと判定された場合、マイクロコンピュータ１９は、ステップＳ２８において、画像データの手振れの補正を行う。
【００８４】
ここで、画像データの手振れの補正の一例について説明する。ただし、被写体３０は、デジタルスチルカメラ１の露光中、不動であると仮定する。まず、ステップＳ２４の処理で得られた回転角度θと、図５に示すように、被写体３０の上端ＢとＣＣＤ撮像素子２２の下端Ｂ´を結ぶ直線ＢＢ´と、被写体３０の下端ＡとＣＣＤ撮像素子２２の上端Ａ´を結ぶ直線ＡＡ´とのなす角度Φとから、回転角度θの角度Φに対する比が求められる。この比に画像表示部１８のｙ軸方向の画素数Ｙを乗ずると、画像データの画像表示部１８上でのｙ軸方向の移動量Ｙ_０を求めることができる。すなわち、Ｙ_０は（１）式で与えられる。
Ｙ_０＝（θ／Φ）×Ｙ・・・・（１）
【００８５】
また、角度Φは、ステップＳ１６の処理で得られた（ステップＳ２２の処理で画像ファイルのヘッダから読み出された）焦点距離ｆと、被写体３０のＣＣＤ撮像素子２２上の垂直方向のサイズ、例えば、図５の線分Ａ´Ｂ´の長さを所定の基準値としての３５ｍｍとすると、（２）式で与えられる。
ｔａｎ（Φ／２）＝（３５／２）／ｆ・・・・（２）
従って、画像ファイルのヘッダに記憶される焦点距離ｆは、３５ｍｍ換算（基準値換算）の値とされる。
【００８６】
通常の手振れによる回転角度θは、十分に小さいので、デジタルスチルカメラ１は、被写体３０に対してほぼ等速で平行に移動するものと考えることができる。このときの移動速度Ｖは、ｙ軸方向の移動量Ｙ_０と被写体３０の撮像時の露光時間Ｔとから、（３）式で与えられる。
Ｖ＝Ｙ_０／Ｔ・・・・（３）
【００８７】
一般に、ｘｙ平面上の運動によって劣化画像ｇ（ｘ，ｙ）は、ｆ（ｘ，ｙ）を理想画像とし、Ｘ方向の変位をα（ｔ）、Ｙ方向の変位をβ（ｔ）とすると、（４）式で与えられる。
ｇ（ｘ，ｙ）＝∫ｆ（Ｘ−α（ｔ），Ｙ−β（ｔ））ｄｔ・・・・（４）
ただし、積分区間は、−Ｔ／２からＴ／２であり、ここで、Ｔは被写体３０の撮像時の露光時間である。
【００８８】
劣化画像ｇ（ｘ，ｙ）のフーリエ変換をＧ（ｕ，ｖ）とし、理想画像ｆ（ｘ，ｙ）のフーリエ変換をＦ（ｕ，ｖ）とし、（４）式の両辺をフーリエ変換すると、（５）式が得られる。
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ）・・・・（５）
ただし、Ｈ（ｕ，ｖ）は、劣化の伝達関数であり、（６）式で与えられる。
【００８９】
Ｈ（ｕ，ｖ）＝∫ｅｘｐ［−ｊ２π（ｕα（ｔ）＋Ｖβ（ｔ））］ｄｔ・・・・（６）
【００９０】
いま、手振れとは、図３に示すように、デジタルスチルカメラ１と被写体３０とを結ぶｚ軸と、ｚ軸と垂直なｙ軸とにより構成されるｙｚ平面において、デジタルスチルカメラ１が、ｙ軸方向からｚ軸方向にｘ軸を中心として回転する運動であり、回転角度θが十分小さいので、ｙ軸方向に一定の速度Ｖで動く運動と近似できる。したがって、Ｘ方向の変位α（ｔ）、Ｙ方向の変位β（ｔ）は、（７）式で与えられる。
α（ｔ）＝０，　β（ｔ）＝ＶＴ・・・・（７）
ただし、Ｔは被写体３０の撮像時の露光時間である。
【００９１】
よって、この場合の劣化の伝達関数は、（８）式で与えられる。
Ｈ（ｕ，ｖ）＝（ｓｉｎπｖＶＴ）／πｖＶ・・・・（８）
【００９２】
したがって、（５）式を変形することによって、理想画像ｆ（ｘ，ｙ）をフーリエ変換した（９）式が得られる。
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ　，ｖ）・・・・（９）
【００９３】
（９）式の両辺を逆フーリエ変換することによって、すなわち、劣化画像ｇ（ｘ，ｙ）のフーリエ変換値Ｇ（ｕ，ｖ）を、劣化の伝達関数Ｈ（ｕ　，ｖ）で割算して得られた値を逆フーリエ変換する演算を行うことによって、理想画像ｆ（ｘ，ｙ）を得ることができる。すなわち、手振れによって劣化した画像の補正をすることが可能である。
【００９４】
なお、以上のように、角速度センサ２５により検出された角速度ωから換算して画像の手振れを検出し、画像の補正を行う方法に限らず、変位センサ等によって手振れ量を直接検出し、画像の補正を行ってもよい。
【００９５】
また、以上の補正方法においては、図３に示すように、デジタルスチルカメラ１と被写体３０とを結ぶｚ軸と、ｚ軸と垂直なｙ軸とにより構成されるｙｚ平面において、デジタルスチルカメラ１が、ｙ軸方向からｚ軸方向にｘ軸を中心として回転する角速度ωからｙ軸方向の手振れを補正したが、ｙｚ平面と垂直なｘ軸と、ｙ軸とにより構成されるｘｙ平面において、デジタルスチルカメラ１が、ｙ軸方向からｘ軸方向にｚ軸を中心として回転する角速度からｘ軸方向の手振れを補正できることはいうまでもない。
【００９６】
ステップＳ２８において、画像データの手振れの補正が行われた後、処理はステップＳ２９に進み、マイクロコンピュータ１９は、表示制御部１７を制御し画像表示部１８に補正された画像を表示させ、再生処理は終了する。
【００９７】
以上のように、撮像時ではなく、再生時に画像の手振れの補正を行うことにより、撮像時に手振れの補正をすることにより撮像処理時間がかかり、撮像者が撮像機会を逸してしまうというようなことを防止することができる。
【００９８】
また、画像ファイルに付加された角速度情報を用いて画像の手振れの補正を行うため、撮像者が手振れ量の推定を行いながら画像の補正をしなければならないというようなことはなく、より正確に手振れの補正をすることができる。
【００９９】
また、角速度情報と焦点距離は、１枚の画像毎に生成される画像ファイルのヘッダに記録されるため、迅速な読み出しが可能となり、従って、手振れ補正処理を画像を１枚ずつ再生する毎に迅速に行うことができる。
【０１００】
なお、画像の手振れ補正を行う方法は、運動によって劣化した画像からフーリエ変換等によって理想画像に補正する方法に限らず、他の画像補正方法でもよく、ステップＳ２８において、これらの画像補正方法を適宜選択して用いてもよい。例えば、画像ファイルを再生する再生装置のマイクロコンピュータの処理能力が高い場合は、複雑で高度な画像補正処理を行い、マイクロコンピュータの処理能力が低い場合は、簡単な画像補正処理を行うようにしてもよい。
【０１０１】
本発明は、デジタルスチルカメラに限らず、その他の撮像装置に適用することが可能である。
【０１０２】
本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０３】
【発明の効果】
本発明によれば、ユーザに負担をかけることなく、手振れによる撮像画像の手振れを補正することができる。特に、画像毎に、迅速に手振れを補正することができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの電気的構成例を示すブロック図である。
【図２】図１のデジタルスチルカメラによる撮像処理を説明するフローチャートである。
【図３】図１のデジタルスチルカメラの手振れの角速度を説明するための図である。
【図４】図１のデジタルスチルカメラの手振れの回転角度を説明するための図である。
【図５】図１のデジタルスチルカメラの焦点距離を説明するための図である。
【図６】図１のデジタルスチルカメラの画像ファイル全体の構成を示す図である。
【図７】図６の画像ファイルのＡＰＰ１の構成を示す図である。
【図８】図７のＥｘｉｆ　ＩＦＤの構成を示す図である。
【図９】図８のＭａｋｅｒＮｏｔｅ内の構成を示す図である。
【図１０】図１のデジタルスチルカメラによる再生処理を説明するフローチャートである。
【符号の説明】
１　デジタルスチルカメラ，　１１　撮像系，　１５　メモリカード，　１８画像表示部，　１９　マイクロコンピュータ，　２５　角速度センサ，　２６ＤＲＡＭ

Claims

被写体を撮像し、１枚の画像の画像データを得る撮像手段と、
前記撮像手段による前記被写体の撮像時の手振れ状態を検出する手振れ検出手段と、
前記撮像手段による前記被写体の撮像時の焦点距離を取得する焦点距離取得手段と、
前記撮像手段によって得られた１枚の画像の前記画像データを１つのファイルとして記録媒体に記録するとともに、前記手振れ検出手段によって得られた前記手振れ情報と前記焦点距離取得手段によって得られた前記焦点距離を前記ファイルのヘッダに付加して記録する記録手段と
を備えることを特徴とする撮像装置。
前記記録手段によって記録された前記画像データを前記記録媒体から再生するとき、前記画像データに付加して記録された前記手振れ情報と前記焦点距離に基づいて、前記記録媒体から再生された前記画像データに対して手振れ補正処理のための演算を施す補正手段と、
前記補正手段によって補正された前記画像データに対応する画像を表示する表示手段と
をさらに備えることを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記撮像手段により得られた前記画像データをフーリエ変換して得られた値を、前記焦点距離の成分を含む伝達関数で割算して得られた値を、逆フーリエ変換することで、前記手振れ補正処理のための演算を行う
ことを特徴とする請求項２に記載の撮像装置。
前記表示手段は、前記手振れ検出手段によって検出された前記撮像手段による前記被写体の撮像時の手振れの有無を、撮像後に表示する
ことを特徴とする請求項２に記載の撮像装置。
前記表示手段は、前記記録手段によって記録された画像データを再生するとき、前記画像データに付加された手振れ情報に基づいて、撮像時の手振れの有無を、前記画像データに対応する画像と共に表示する
ことを特徴とする請求項２に記載の撮像装置。
前記手振れ検出手段によって得られた手振れ情報と前記焦点距離取得手段によって得られた焦点距離を一時的に記憶するための記憶手段を
さらに備え
前記記録手段は、前記撮像手段によって得られた前記画像データの画像圧縮ファイルを前記記録媒体に記録するとき、前記記憶手段から前記画像データに対応する前記手振れ情報と前記焦点距離を読み出し、前記画像圧縮ファイルに付加して記録する
ことを特徴とする請求項１に記載の撮像装置。
撮像装置の撮像方法において、
被写体を撮像し、１枚の画像の画像データを得る撮像ステップと、
前記撮像ステップの処理による前記被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、
前記撮像ステップの処理による前記被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、
前記撮像ステップの処理によって得られた１枚の画像の前記画像データを１つのファイルとして記録媒体に記録するとともに、前記手振れ検出ステップの処理によって得られた前記手振れ情報と前記焦点距離取得ステップの処理によって得られた前記焦点距離を前記ファイルのヘッダに付加して記録する記録ステップと、
前記記録ステップの処理によって記録された前記画像データを前記記録媒体から再生するとき、前記画像データに付加して記録された前記手振れ情報と前記焦点距離に基づいて、前記記録媒体から再生された前記画像データに対して手振れ補正処理のための演算を施す補正ステップと、
前記補正ステップの処理によって補正された前記画像データに対応する画像を表示する表示ステップと
を含むことを特徴とする撮像方法。
撮像装置のプログラムにおいて、
被写体の撮像を制御して、１枚の画像の画像データを得る撮像ステップと、
前記撮像ステップの処理による前記被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、
前記撮像ステップの処理による前記被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、
前記撮像ステップの処理によって得られた１枚の画像の前記画像データを１つのファイルとして記録媒体に記録するとともに、前記手振れ検出ステップの処理によって得られた前記手振れ情報と前記焦点距離取得ステップの処理によって得られた前記焦点距離を前記ファイルのヘッダに付加して記録する記録ステップと、
前記記録ステップの処理によって記録された前記画像データを前記記録媒体から再生するとき、前記画像データに付加して記録された前記手振れ情報と前記焦点距離に基づいて、前記記録媒体から再生された前記画像データに対して手振れ補正処理のための演算を施す補正ステップと、
前記補正ステップの処理によって補正された前記画像データに対応する画像を表示する表示ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
撮像装置を制御するコンピュータに、
被写体の撮像を制御して、１枚の画像の画像データを得る撮像ステップと、
前記撮像ステップの処理による前記被写体の撮像時の手振れ状態を検出する手振れ検出ステップと、
前記撮像ステップの処理による前記被写体の撮像時の焦点距離を取得する焦点距離取得ステップと、
前記撮像ステップの処理によって得られた１枚の画像の前記画像データを１つのファイルとして記録媒体に記録するとともに、前記手振れ検出ステップの処理によって得られた前記手振れ情報と前記焦点距離取得ステップの処理によって得られた前記焦点距離を前記ファイルのヘッダに付加して記録する記録ステップと、
前記記録ステップの処理によって記録された前記画像データを前記記録媒体から再生するとき、前記画像データに付加して記録された前記手振れ情報と前記焦点距離に基づいて、前記記録媒体から再生された前記画像データに対して手振れ補正処理のための演算を施す補正ステップと、
前記補正ステップの処理によって補正された前記画像データに対応する画像を表示する表示ステップと
を含む処理を実行させることを特徴とするプログラム。