JP2004186901A - 撮像装置及び方法、プログラム及び記録媒体 - Google Patents
撮像装置及び方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004186901A JP2004186901A JP2002350184A JP2002350184A JP2004186901A JP 2004186901 A JP2004186901 A JP 2004186901A JP 2002350184 A JP2002350184 A JP 2002350184A JP 2002350184 A JP2002350184 A JP 2002350184A JP 2004186901 A JP2004186901 A JP 2004186901A
- Authority
- JP
- Japan
- Prior art keywords
- vibration
- image
- unit
- imaging device
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
Abstract
【課題】手振れによる振動の影響を低減した良質な撮像画像を得る。
【解決手段】シャッター信号を生成するシャッター信号生成部１５と、シャッター信号に応じて露光を開始し、被写体を撮像する撮像部１９を有する撮像装置１であって、当該撮像装置１の振動を検出する振動検出部１０と、振動検出部１０により検出した振動に基づき、所定時間経過後の当該撮像装置１の振動を予測する振動状態予測部１４と、シャッター信号が入力された後に、振動状態予測部１４により予測した当該撮像装置１の振動の波形の傾きが小さくなったときに露光を開始するように撮像部１９の露光タイミングを制御する露光タイミング制御部１８と、振動検出部１０により検出した露光タイミングで撮像された画像の露光中の当該撮像装置１の振動に基づいて当該画像の復元処理を行なう画像復元処理部３１とを備える。
【選択図】 図１
【解決手段】シャッター信号を生成するシャッター信号生成部１５と、シャッター信号に応じて露光を開始し、被写体を撮像する撮像部１９を有する撮像装置１であって、当該撮像装置１の振動を検出する振動検出部１０と、振動検出部１０により検出した振動に基づき、所定時間経過後の当該撮像装置１の振動を予測する振動状態予測部１４と、シャッター信号が入力された後に、振動状態予測部１４により予測した当該撮像装置１の振動の波形の傾きが小さくなったときに露光を開始するように撮像部１９の露光タイミングを制御する露光タイミング制御部１８と、振動検出部１０により検出した露光タイミングで撮像された画像の露光中の当該撮像装置１の振動に基づいて当該画像の復元処理を行なう画像復元処理部３１とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像する撮像装置及び方法、プログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来から光学系を用いて撮像装置の手振れによる振動を補正する手法や、撮像装置により撮像した画像を画像処理を用いて復元する手法が提案されている。
【０００３】
光学系を用いて撮像装置の手振れによる振動を補正する手法の１つとして、図７に示すような可変頂角プリズムにより光学的に補正する手法がある。
【０００４】
図７に示す撮像装置２は、可変頂角プリズム５０と、ズームレンズ５１と、ＣＣＤ撮像素子部５２と、プロセス回路５３と、動きベクトル検出回路５４と、制御回路５５と、アクチュエータ５６とを備える。可変頂角プリズム５０は、撮影光軸をピッチ（垂直）方向及びヨー（水平）方向に変更自在なプリズムである。被写体から発せられた光線は、可変頂角プリズム５０及びズームレンズ５１を介してＣＣＤ撮像素子部５２の光電変換面に入射する。ＣＣＤ撮像素子部５２は、被写体の光学像を電気信号に変換し、プロセス回路５３がＣＣＤ撮像素子部５２の出力をビデオ信号に変換する。
【０００５】
動きベクトル検出回路５４は、プロセス回路５３の出力信号を現画面と前画面とで比較し、当該撮像装置２の動き量及び方向、即ち動きベクトルを検出する。制御回路５５は、動きベクトル検出回路５４により検出された動きベクトルを所定係数のもとでコンボリューション演算を行ない、画像の動きを補償する可変頂角プリズム５０の駆動信号を生成し、アクチュエータ５６に供給する。アクチュエータ５６は、制御回路５５からの駆動信号にしたがい可変頂角プリズム５０を駆動する。これにより、可変頂角プリズム５０は、当該撮像装置による画像のぶれを補償又は相殺するように、撮影光軸をピッチ方向及びヨー方向に補正する。
【０００６】
また、撮像装置３により撮像した画像を画像処理を用いて復元する手法の１つとして、図８に示すような復元手法がある（例えば、特許文献１参照。）。
【０００７】
図８に示す撮像装置３は、再生用磁気ヘッド６０と、フィルム６１と、再生回路６２と、磁気テープ６３と、ぶれ軌跡データ記憶部６４と、ぶれ軌跡データ変換部６５と、第１の高速フーリエ変換（以下、ＦＦＴという。）回路６６と、撮像レンズ６７と、ＣＣＤ撮像素子部６８と、画像メモリ６９と、第２のＦＦＴ回路７０と、除算部７１と、逆ＦＦＴ回路７２と、画像表示部７３とを備え、ぶれ情報が記録されたフィルム６１からぶれ情報を読み取り、ぶれ画像からぶれのない画像を復元する。
【０００８】
再生用磁気ヘッド６０及び再生回路６２で再生されたぶれ軌跡データは、一時的にぶれ軌跡データ記憶部６４に記憶される。その後、ぶれ軌跡データ変換部６５を経て第１のＦＦＴ回路６６にぶれ軌跡データが供給される。
【０００９】
また、フィルム６１と同じネガ画像のぶれ画像は、撮像レンズ６７とＣＣＤ撮像素子部６８を介して画像メモリ６９に記憶される。そして、第２のＦＦＴ回路７０を経て第１のＦＦＴ回路６６の出力とともに、除算部７１に供給される。この除算部７１で得られたデータは、逆ＦＦＴ回路７２で逆高速フーリエ変換が行なわれ、ぶれが相殺されたあと、画像表示部７３に出力される。
【００１０】
【特許文献１】
特許第３１５２７５０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した撮像装置２のように光学系を用いて補正を行なう場合には、撮像装置自体が大型化してしまい、コストの上昇が問題となる。
【００１２】
また、上述した撮像装置３のように画像処理を用いて手振れした画像を復元するような場合、復元する画像の振れ量が大きなときには、復元画像にリンギングやノイズが発生し、却って画質の悪化が増大する問題がある。
【００１３】
また、一般的に、被写体を撮像し画像を生成する撮像装置では、当該撮像装置の特性や撮影の条件により、生成した画像が忠実に再現できず、歪みや雑音をともなってしまう場合が多い。このように劣化した画像は、見苦しくなるばかりでなく、被写体の形状の把握や被写体に含まれる特徴や情報の抽出を困難にしてしまう。したがって、画像から上述した劣化を取り除く復元処理が必要となる。
【００１４】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、当該撮像装置の手振れ情報から最適な露光タイミングを図り、上記手振れ情報に基づき撮像された画像の復元処理を行なう撮像装置及び方法、プログラム及び記録媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る撮像装置は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置であって、当該撮像装置の振動を検出する振動検出手段と、上記振動検出手段により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する振動状態予測手段と、上記シャッター信号が入力された後に、上記振動状態予測手段により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する露光タイミング制御手段と、上記振動検出手段により検出した上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう画像復元処理手段とを備える。
【００１６】
また、本発明に係る撮像方法は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程とを有する。
【００１７】
また、本発明に係るコンピュータにより実行させるためのプログラムは、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのものである。
【００１８】
本発明に係る記録媒体は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体である。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２０】
本発明は、図１に示すような、例えば静止画像を生成する撮像装置１に適用される。
【００２１】
撮像装置１は、当該撮像装置１の手振れによる振動を検出するジャイロセンサ部１０と、検出した振動をデジタル信号に変換する第１のＡ／Ｄ変換部１１と、デジタル化された振動に基づき振れ情報を生成し、画像の復元処理を行なう手振れ補正部１２と、復元処理後の画像にＪＰＥＧ方式の圧縮を行なうＪＰＥＧ圧縮部１３と、シャッター信号を生成するキー入力操作部１５と、シャッター信号に応じて手振れ補正部１２で生成した振れ情報から最適露光タイミングを生成するＣＰＵ部１４と、最適露光タイミングに基づき駆動信号を生成するＣＣＤドライバ部１８と、上記駆動信号に基づき被写体を露光し画像を生成するＣＣＤ撮像素子部１９と、上記画像をデジタル信号に変換する第２のＡ／Ｄ変換部２０と、デジタル化された画像にカメラ処理を行ない、処理後の画像を手振れ補正部１２に出力するＣＡＭＤＳＰ部２１と、手振れ補正部１２で復元処理した画像を外部機器ＩＦ部２４と表示部２３に画像を出力する表示制御部２２と、ＪＰＥＧ圧縮部１３でＪＰＥＧ圧縮した画像をＣＰＵ部１４から供給され、メモリカード部１７に出力するフラッシュメモリＩＦ部１６とを備える。
【００２２】
また、手振れ補正部１２は、第１のＡ／Ｄ変換部１１から供給されたデジタル化された画像に基づき動きベクトルを検出する動きベクトル検出部３０と、上記動きベクトルに基づきＣＡＭＤＳＰ２１から供給された画像に復元処理を行なう手振れ補正フィルタ部３１とからなっている。
【００２３】
また、動きベクトル検出部３０は、第１のＡ／Ｄ変換部１１から供給された振動の信号から直流成分を除去するＤＣオフセット除去部３２と、直流成分を除去した信号にフィルタリング処理を行なう積分フィルタ３３と、フィルタリング処理後の信号に基づき振れ情報を生成する振れ情報演算部３４とからなっており、手振れ補正フィルタ部３１は、ＣＡＭＤＳＰ部２１から画像を入力する画像入力部３５と、上記画像にフーリエ変換を行なう高速フーリエ変換（以下、ＦＦＴという。）回路３６と、振れ情報演算部３４で生成した振れ情報に基づきフーリエ変換後の画像に復元処理を行なうシステム関数部３７と、復元処理後の画像に逆フーリエ変換を行なう逆ＦＦＴ回路３８と、画像をＪＰＥＧ圧縮部１３と表示制御部２２に出力する画像出力部３９とからなっている。また、手振れ補正部１２と、ＪＰＥＧ圧縮部１３と、ＣＰＵ部１４と、フラッシュメモリＩＦ部１６と、表示制御部２２と、ＣＡＭＤＳＰ部２１とは、ワンチップ上に一体的に構成されていても良い。
【００２４】
ジャイロセンサ部１０は、当該撮像装置１のピッチ（垂直）方向とヨー（水平）方向の手振れによる振動を角速度として検出し、検出した角速度に基づき所定の信号（以下、角速度信号という。）を生成し、第１のＡ／Ｄ変換部１１に出力する。第１のＡ／Ｄ変換部１１は、入力された角速度信号をデジタル変換し、動きベクトル検出部３０のＤＣオフセット除去部３２に出力する。ＤＣオフセット除去部３２は、入力された角速度信号が有するＤＣ（直流）オフセット成分を除去し、積分フィルタ３３に出力する。なお、ＤＣオフセット除去部３２は、ハイパスフィルタを用いてＤＣオフセット成分を除去する。
【００２５】
積分フィルタ３３では、角速度信号を角度に変換する処理を行ない、振れ情報演算部３４に出力する。振れ情報演算部３４は、積分フィルタ３３で求めた角度に基づいて所定の演算を行ない、当該撮像装置１の手振れにより振動する角度と、そのときの手振れ量（以下、手振れ情報という。）を算出する。振れ情報演算部３４は、算出した手振れ情報をシステム関数部３７と、ＣＰＵ部１４に出力する。
【００２６】
キー入力操作部１５は、ユーザーの操作に応じてシャッター信号を生成し、ＣＰＵ部１４に出力する。ＣＰＵ部１４は、上記シャッター信号が入力されたときに、振れ情報演算部３４から供給されている振れ情報に基づき、最適な露光タイミングを求め、求めた最適露光タイミングをＣＣＤドライバ部１８に出力する。
【００２７】
ここで、ＣＰＵ部１４により最適露光タイミングを求める方法について述べる。ＣＰＵ部１４は、振れ情報演算部３４から供給された振れ情報から、図２に示すように、当該撮像装置１の手振れによるピッチ方向とヨー方向の時間に対する振動の角速度変化に基づき、それぞれの角速度の極大値と極小値を計算し、算出した角速度の極大値と極小値の時間差を手振れ時間間隔Δｔｂとして求める。ＣＰＵ部１４は、例えば、電源投入後の当該撮像装置１をユーザーが移動させているときに発生する、当該撮像装置１の振動状態（具体的には、振れ情報演算部３４で生成される振れ情報）から、手振れ時間の間隔Δｔｂｉを算出し、算出した時間間隔から式（１）より平均値時間間隔ΔＴＢを計算する。
【００２８】
【数１】
【００２９】
ＣＰＵ部１４は、キー入力操作部１５からシャッター情報が入力されたとき、上記式（１）より、シャッター情報が入力される直前のピッチ方向の角速度の極大値若しくは極小値及びヨー方向の角速度の極小値若しくは極大値の平均時間間隔ΔＴＢを計算し、求めた平均時間間隔ΔＴＢに基づき、次に現れるピッチ方向の角速度の極小値若しくは極大値、及びヨー方向の角速度の極大値若しくは極小値の発生時間を予測する。ＣＰＵ部１４は、予測されるピッチ方向及びヨー方向の角速度の極大値若しくは極小値の発生時間が露光時間間隔の中心値になるように計算し、最適露光タイミング及び露光時間を求める。
【００３０】
ＣＰＵ部１４は、例えば、図３に示すように、シャッター情報が入力される直前のピッチ方向の角速度の極大値から次に現れる角速度の極小値を予測して、予測時間間隔Δｔｂｘを求め、さらにヨー方向の角速度の極小値から次に現れる角速度の極大値を予測して、予測時間間隔Δｔｂｙを求め、上記予測時間間隔Δｔｂｘと予測時間間隔Δｔｂｙに基づき、最適露光タイミング及び露光時間を求める。
【００３１】
なお、ＣＰＵ１４は、図２及び図３に示すように、ヨー方向の波形の傾きが一番小さくなる値（すなわち、極大値又は極小値）及び、ピッチ方向の傾きが一番小さくなる値（すなわち、極大値又は極小値）を最適露光タイミングとする。
【００３２】
ＣＰＵ部１４は、上記最適露光タイミングをＣＣＤドライバ部１８に出力する。ＣＣＤドライバ部１８は、入力された最適露光タイミングに基づきＣＣＤ撮像素子部１９を制御する。ＣＣＤ撮像素子部１９は、ＣＣＤドライバ部１８による制御に応じて被写体を撮像し、画像を生成する。したがって、ＣＣＤ撮像素子部１９では、ヨー方向及びピッチ方向の波形の傾きが最小のところ（最適露光タイミング）、すなわち手振れが最も小さいタイミングで被写体を撮像することができる。
【００３３】
そして、ＣＣＤ撮像素子部１９は、生成した画像を第２のＡ／Ｄ変換部２０に出力する。第２のＡ／Ｄ変換部２０は、入力された画像をデジタル変換し、ＣＡＭＤＳＰ部２１に出力する。ＣＡＭＤＳＰ部２１は、入力された画像にカメラ信号処理を行ない、処理後の画像を手振れ補正フィルタ部３１の画像入力部３５に入力する。
【００３４】
ここで、ＣＡＭＤＳＰ部２１によるカメラ処理について説明する。ＣＡＭＤＳＰ部２１は、図示しない、第２のＡ／Ｄ変換部２０から画像データが入力される欠陥補正回路と、欠陥補正回路から画像データが入力されるＣＬＰ回路と、ＣＬＰ回路から画像データが入力されるホワイトバランス回路と、ホワイトバランス回路から画像データが入力されるγ補正回路を備える。
【００３５】
欠陥補正回路は、第２のＡ／Ｄ変換部２０からの画像データに欠陥補正を施す。この欠陥補正回路は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路に画像データを出力する。ＣＬＰ回路には、欠陥補正回路からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路に出力する。ホワイトバランス回路には、ＣＬＰ回路からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路は、各色毎にレベルが調整された画像データをγ補正回路に出力する。このγ補正回路では、ホワイトバランス回路からの画像データにγ補正を施す。そして、γ補正回路は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００３６】
さらに、ＣＡＭＤＳＰ部２１は、γ補正回路から画像データが入力される画像データ補間部と、各画素データ間の相関値を検出する相関値検出部と、相関値のノイズを除去するノイズ除去部と、相関値にオフセットをかけるオフセット回路と、相関値を正規化する正規化回路と、相関を検出する方向の偏りを補正する偏り補正回路と、相関の強調及び低減を行う強調・低減回路と、補間した画像データに相関値を用いて重み付けを行う加重加算回路と、画像データの輪郭を補正する輪郭補正回路と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部と、色差信号による偽色信号を抑制する色差信号抑制部と、上記画像データを画像入力部３５を介してＦＦＴ回路３６に出力する出力部とを備える。
【００３７】
ＦＦＴ回路３６は、入力された画像データに高速フーリエ変換処理を行ない、高速フーリエ変換処理後の画像データをシステム関数部３７に出力する。システム関数部３７は、振れ情報演算部３４から供給される振れ情報に基づき、入力された画像データに復元処理を行なう。なお、システム関数部３７は、例えば、画像データＡを復元処理するとき、当該画像データＡをＣＣＤ撮像素子部１９で露光して生成する際に利用した振れ情報に基づき、画像データＡの復元処理を行なう。なお、画像の復元処理の詳細については後述する。
【００３８】
逆ＦＦＴ回路３８は、入力された画像に逆高速フーリエ変換処理を行ない、画像出力部３９に出力する。画像出力部３９は、入力された画像を表示制御部２２とＪＰＥＧ圧縮部１３に出力する。
【００３９】
ここで、手振れ補正フィルタ部３１による画像の復元処理について説明する。なお、文献「画像処理アルゴリズム、斉藤恒雄著、近代科学社」にその詳細が記載されている。
【００４０】
撮像装置により得られる画像ｇ（ｘ、ｙ）は、図４に示すようにモデル化された式で表される。
【００４１】
【数２】
【００４２】
ただし、ｆ（ξ、η）は、劣化のない被写体（原画像）を示し、ｈ（ｘ、ｙ、ξ、η、ｆ）は、撮影条件なども含めた撮像装置の特性をあらわす点広がり関数である。また、撮像装置では、式（２）は、式（３）に示す２次元的な線形たたみ込み演算となる。
【００４３】
【数３】
【００４４】
また、式（３）は、空間周波数領域では式（４）のように表すことができる。Ｇ（ｘ、ｙ）＝Ｈ（μ、ν）Ｆ（μ、ν）・・・（４）
ここで、Ｈ（μ、ν）は、光学的伝達関数（ＯＴＦ）を表しており、撮像装置と被写体との間の相対的な動きによる影響で式（５）のように表すことができる。
【００４５】
【数４】
【００４６】
ただし、Ω＝πＶ（μｃｏｓθ＋νｓｉｎθ）であり、Ｔは、撮像装置１の露光時間を示し、Ｖは、動きの速度を示し、θは、その方向を示している。
【００４７】
したがって、撮像装置は、図５（ａ）に示すように、原画像ｆを式（５）に示すフィルタＨを通して観測していることになる。したがって、観測画像ｇは、式（６）のように表すことができる。
ｇ＝［Ｈ］ｆ＋ｎ・・・（６）
ただし、ｎは、原画像ｆを観測する際の雑音やディジタル化を行なうときに生じた誤差等を含めた雑音成分である。
【００４８】
また、復元画像ｆ’は、図５（ｂ）に示すように、観測画像ｇに復元フィルタＢを作用させてその出力として得られる。したがって、復元画像ｆ’は、次式で表すことができる。
ｆ’＝［Ｂ］ｇ・・・（７）
また、復元フィルタＢをアナログ領域又は周波数領域で考えると以下のようになる。観測雑音をｎ（ｘ、ｙ）とし、その高速フーリエ変換をＮ（μ、ν）とすると、劣化の過程は、以下に示す式のようになる。
【００４９】
【数５】
【００５０】
復元フィルタＢの点広がり関数をｂ（ｘ、ｙ）とし、その高速フーリエ変換をＢ（μ、ν）とすると、復元画像ｆ’（ｘ、ｙ）とその高速フーリエ変換ｆ’（μ、ν）は、以下に示す式のようになる。
【００５１】
【数６】
【００５２】
式（１０）の処理を式（８）に対して逆たたみ込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）という。また、復元フィルタＢの伝達関数Ｂ（μ、ν）を式（１２）とすると、復元画像Ｆ’（μ、ν）は、式（１３）となる。
【００５３】
【数７】
【００５４】
式（１２）の特性を有する復元フィルタをＨ（μ、ν）の逆フィルタ（ｉｎｖｅｒｓｅ ｆｉｌｔｅｒ）という。このようにして、原画像ｆ（μ、ν）が復元される。
【００５５】
ここで、手振れ補正フィルタ部３１のシステム関数部３７を上記伝達関数Ｂ（μ、ν）の特性を有するフィルタであるとする。このフィルタ処理を行なうには、式（４）に示したように空間周波数領域に変換する必要がある。したがって、手振れ補正フィルタ部３１では、画像入力部３５から供給された画像データをＦＦＴ回路３６で高速フーリエ変換し、システム関数部３７で高速フーリエ変換後の画像データに振れ情報演算部３４から供給された振れ情報を入力した伝達関数Ｂ（μ、ν）を掛け合わせ、逆ＦＦＴ回路３８で上記掛け合わせた画像データを逆高速フーリエ変換することにより画像の復元を行なう。
【００５６】
ＪＰＥＧ圧縮部１３は、上述のように復元された画像データをＪＰＥＧ方式で圧縮処理し、圧縮後の画像データをＣＰＵ部１４及フラッシュメモリＩＦを介してメモリカード部１７に出力する。メモリカード部１７は、入力された圧縮後の画像データを保存する。
【００５７】
表示制御部２２は、画像出力部３９から供給された画像データを外部機器ＩＦ部２４を介して外部表示機器及び表示部２３に出力する。なお、外部表示機器は、例えばＣＲＴ等のモニタであり、また、表示部２３は、例えばビューファインダーである。
【００５８】
また、ＣＰＵ部１４は、撮像日時等のＯＳＤ表示信号を生成し、表示制御部２２に出力しても良い。このようにＯＳＤ信号が供給された表示制御部２２では、画像データと当該ＯＳＤ表示信号とを重畳させ、重畳した信号を表示部２３及び外部機器ＩＦ部２４に出力する。
【００５９】
ここで、撮像装置１の動作を図６に示すフローチャートにしたがって説明する。
【００６０】
撮像装置１は、ジャイロセンサ部１０により当該撮像装置１の振動を検出し（ステップＳ１）、検出した振動を第１のＡ／Ｄ変換部１１でＡ／Ｄ変換し、Ａ／Ｄ変換後の信号に基づき動きベクトル検出部３０で振れ情報を生成し、キー入力操作部１５からシャッター信号が入力された後に、上記振れ情報に基づきＣＰＵ部１４で最適露光タイミングを算出し（ステップＳ２）、上記最適露光タイミングに応じてＣＣＤドライバ部１８で駆動信号を生成し、上記駆動信号に応じてＣＣＤ撮像素子部１９で被写体を撮像して画像を生成し、上記画像を第２のＡ／Ｄ変換部２０でＡ／Ｄ変換し、Ａ／Ｄ変換後の画像をＣＡＭＤＳＰ部２１でカメラ処理を行ない、ステップＳ２で生成した振れ情報に基づきカメラ処理後の画像に手振れ補正フィルタ部３１で復元処理を行なう（ステップＳ３）。なお、上記ステップＳ１〜ステップＳ３をコンピュータに実行させるプログラムで記述し、記述したプログラムをＲＯＭ４０に記憶させておいても良い。
【００６１】
このように構成された撮像装置１は、ジャイロセンサ部１０により当該撮像装置１の手振れ量を検出し、検出した手振れ量から手振れ情報を生成し、ＣＣＤ撮像素子部１９で被写体を撮像する際に、上記手振れ情報に基づき被写体を撮像して画像を生成するので、手振れによる振動が最も少ない時点で露光を開始するため、大きな手振れによる画像の劣化を低減して被写体を撮像することができる。さらに、撮像装置１では、大きな手振れによる劣化を低減した画像をＣＣＤ撮像素子部１９で被写体を露光しているときに利用した振れ情報に基づいて復元処理を行なうので、大きい手振れ画像の復元処理を行なう際に発生するリンギングやノイズを伴うことなく、画像の復元処理を行なうことが可能である。
【００６２】
また、本願発明に係る撮像装置１は、振れ情報演算部３４で生成した振れ情報を記憶媒体に記憶せず、生成した画像を撮像された時点において当該撮像装置１内で直ちに復元処理を行なうことが可能であるので、撮像したその場で復元処理後の画像の確認を行なうことができる。また、本願発明に係る撮像装置１の画像復元処理は、ＩＣ（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等にソフトウェアとして記録することにより、ハードウェアを新たに設計することなく実装することができる。また、本願発明に係る撮像装置１は、画像処理を用いて復元することにより本体サイズの小型化及び低コスト化を図ることができる。さらに、本願発明に係る撮像装置１は、例えば、乗り物等の振動の多い場所であっても良質な画像を撮像することが可能であり、また、夜間等の暗い場所で露光時間が長い場合において撮像する場合でも良質な画像を撮像することが可能である。
【００６３】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置及び方法、プログラム及び記録媒体は、振動検出手段により当該撮像装置の手振れ量を検出し、検出した手振れ量から手振れ情報を生成し、撮像部で被写体を撮像する際に、上記手振れ情報に基づき被写体を撮像して画像を生成するので、手振れによる振動が最も少ない時点で露光を開始するため、大きな手振れによる画像の劣化を低減して被写体を撮像することができる。さらに、本発明に係る撮像装置及び方法、プログラム及び記録媒体は、上記のように大きな手振れによる劣化を低減した画像を撮像部で被写体を露光しているときに利用した振れ情報に基づいて復元処理を行なうので、大きい手振れ画像の復元処理を行なう際に発生するリンギングやノイズを伴うことなく、画像の復元処理を行なうことが可能であり、良質な画像を撮像することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の構成例を示すブロック図である。
【図２】本発明を適用した撮像装置により検出した当該撮像装置の手振れによる振動のヨー方向とピッチ方向の角速度を時間方向に表した波形図である。
【図３】本発明を適用した撮像装置により検出した最適露光タイミングを示す波形図である。
【図４】撮像装置により原画像から観測画像を生成する様子を示す図である。
【図５】撮像装置による画像の劣化と復元を示す図である。
【図６】本発明を適用した撮像装置の動作を示すフローチャートである。
【図７】従来の撮像装置の第１の構成例を示すブロック図である。
【図８】従来の撮像装置の第２の構成例を示すブロック図である。
【符号の説明】
１ 撮像装置、１０ ジャイロセンサ部、１１ 第１のＡ／Ｄ変換部、１２ 手振れ補正部、１３ ＪＰＥＧ圧縮部、１４ ＣＰＵ部、１５ キー入力操作部、１６ フラッシュメモリＩＦ部、１７ メモリカード部、１８ ＣＣＤドライバ部、１９ ＣＣＤ撮像素子部、２０ 第２のＡ／Ｄ変換部、２１ ＣＡＭＤＳＰ部、２２ 表示制御部、２３ 表示部、２４ 外部機器ＩＦ部、３０ 動きベクトル検出部、３１ 手振れ補正フィルタ部、３２ ＤＣオフセット除去部、３３ 積分フィルタ、３４ 振れ情報演算部、３５ 画像入力部、３６ ＦＦＴ回路、３７ システム関数部、３８ 逆ＦＦＴ回路、３９ 画像出力部
【発明の属する技術分野】
本発明は、被写体を撮像する撮像装置及び方法、プログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来から光学系を用いて撮像装置の手振れによる振動を補正する手法や、撮像装置により撮像した画像を画像処理を用いて復元する手法が提案されている。
【０００３】
光学系を用いて撮像装置の手振れによる振動を補正する手法の１つとして、図７に示すような可変頂角プリズムにより光学的に補正する手法がある。
【０００４】
図７に示す撮像装置２は、可変頂角プリズム５０と、ズームレンズ５１と、ＣＣＤ撮像素子部５２と、プロセス回路５３と、動きベクトル検出回路５４と、制御回路５５と、アクチュエータ５６とを備える。可変頂角プリズム５０は、撮影光軸をピッチ（垂直）方向及びヨー（水平）方向に変更自在なプリズムである。被写体から発せられた光線は、可変頂角プリズム５０及びズームレンズ５１を介してＣＣＤ撮像素子部５２の光電変換面に入射する。ＣＣＤ撮像素子部５２は、被写体の光学像を電気信号に変換し、プロセス回路５３がＣＣＤ撮像素子部５２の出力をビデオ信号に変換する。
【０００５】
動きベクトル検出回路５４は、プロセス回路５３の出力信号を現画面と前画面とで比較し、当該撮像装置２の動き量及び方向、即ち動きベクトルを検出する。制御回路５５は、動きベクトル検出回路５４により検出された動きベクトルを所定係数のもとでコンボリューション演算を行ない、画像の動きを補償する可変頂角プリズム５０の駆動信号を生成し、アクチュエータ５６に供給する。アクチュエータ５６は、制御回路５５からの駆動信号にしたがい可変頂角プリズム５０を駆動する。これにより、可変頂角プリズム５０は、当該撮像装置による画像のぶれを補償又は相殺するように、撮影光軸をピッチ方向及びヨー方向に補正する。
【０００６】
また、撮像装置３により撮像した画像を画像処理を用いて復元する手法の１つとして、図８に示すような復元手法がある（例えば、特許文献１参照。）。
【０００７】
図８に示す撮像装置３は、再生用磁気ヘッド６０と、フィルム６１と、再生回路６２と、磁気テープ６３と、ぶれ軌跡データ記憶部６４と、ぶれ軌跡データ変換部６５と、第１の高速フーリエ変換（以下、ＦＦＴという。）回路６６と、撮像レンズ６７と、ＣＣＤ撮像素子部６８と、画像メモリ６９と、第２のＦＦＴ回路７０と、除算部７１と、逆ＦＦＴ回路７２と、画像表示部７３とを備え、ぶれ情報が記録されたフィルム６１からぶれ情報を読み取り、ぶれ画像からぶれのない画像を復元する。
【０００８】
再生用磁気ヘッド６０及び再生回路６２で再生されたぶれ軌跡データは、一時的にぶれ軌跡データ記憶部６４に記憶される。その後、ぶれ軌跡データ変換部６５を経て第１のＦＦＴ回路６６にぶれ軌跡データが供給される。
【０００９】
また、フィルム６１と同じネガ画像のぶれ画像は、撮像レンズ６７とＣＣＤ撮像素子部６８を介して画像メモリ６９に記憶される。そして、第２のＦＦＴ回路７０を経て第１のＦＦＴ回路６６の出力とともに、除算部７１に供給される。この除算部７１で得られたデータは、逆ＦＦＴ回路７２で逆高速フーリエ変換が行なわれ、ぶれが相殺されたあと、画像表示部７３に出力される。
【００１０】
【特許文献１】
特許第３１５２７５０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した撮像装置２のように光学系を用いて補正を行なう場合には、撮像装置自体が大型化してしまい、コストの上昇が問題となる。
【００１２】
また、上述した撮像装置３のように画像処理を用いて手振れした画像を復元するような場合、復元する画像の振れ量が大きなときには、復元画像にリンギングやノイズが発生し、却って画質の悪化が増大する問題がある。
【００１３】
また、一般的に、被写体を撮像し画像を生成する撮像装置では、当該撮像装置の特性や撮影の条件により、生成した画像が忠実に再現できず、歪みや雑音をともなってしまう場合が多い。このように劣化した画像は、見苦しくなるばかりでなく、被写体の形状の把握や被写体に含まれる特徴や情報の抽出を困難にしてしまう。したがって、画像から上述した劣化を取り除く復元処理が必要となる。
【００１４】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、当該撮像装置の手振れ情報から最適な露光タイミングを図り、上記手振れ情報に基づき撮像された画像の復元処理を行なう撮像装置及び方法、プログラム及び記録媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る撮像装置は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置であって、当該撮像装置の振動を検出する振動検出手段と、上記振動検出手段により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する振動状態予測手段と、上記シャッター信号が入力された後に、上記振動状態予測手段により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する露光タイミング制御手段と、上記振動検出手段により検出した上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう画像復元処理手段とを備える。
【００１６】
また、本発明に係る撮像方法は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程とを有する。
【００１７】
また、本発明に係るコンピュータにより実行させるためのプログラムは、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのものである。
【００１８】
本発明に係る記録媒体は、上述の課題を解決するために、シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体である。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２０】
本発明は、図１に示すような、例えば静止画像を生成する撮像装置１に適用される。
【００２１】
撮像装置１は、当該撮像装置１の手振れによる振動を検出するジャイロセンサ部１０と、検出した振動をデジタル信号に変換する第１のＡ／Ｄ変換部１１と、デジタル化された振動に基づき振れ情報を生成し、画像の復元処理を行なう手振れ補正部１２と、復元処理後の画像にＪＰＥＧ方式の圧縮を行なうＪＰＥＧ圧縮部１３と、シャッター信号を生成するキー入力操作部１５と、シャッター信号に応じて手振れ補正部１２で生成した振れ情報から最適露光タイミングを生成するＣＰＵ部１４と、最適露光タイミングに基づき駆動信号を生成するＣＣＤドライバ部１８と、上記駆動信号に基づき被写体を露光し画像を生成するＣＣＤ撮像素子部１９と、上記画像をデジタル信号に変換する第２のＡ／Ｄ変換部２０と、デジタル化された画像にカメラ処理を行ない、処理後の画像を手振れ補正部１２に出力するＣＡＭＤＳＰ部２１と、手振れ補正部１２で復元処理した画像を外部機器ＩＦ部２４と表示部２３に画像を出力する表示制御部２２と、ＪＰＥＧ圧縮部１３でＪＰＥＧ圧縮した画像をＣＰＵ部１４から供給され、メモリカード部１７に出力するフラッシュメモリＩＦ部１６とを備える。
【００２２】
また、手振れ補正部１２は、第１のＡ／Ｄ変換部１１から供給されたデジタル化された画像に基づき動きベクトルを検出する動きベクトル検出部３０と、上記動きベクトルに基づきＣＡＭＤＳＰ２１から供給された画像に復元処理を行なう手振れ補正フィルタ部３１とからなっている。
【００２３】
また、動きベクトル検出部３０は、第１のＡ／Ｄ変換部１１から供給された振動の信号から直流成分を除去するＤＣオフセット除去部３２と、直流成分を除去した信号にフィルタリング処理を行なう積分フィルタ３３と、フィルタリング処理後の信号に基づき振れ情報を生成する振れ情報演算部３４とからなっており、手振れ補正フィルタ部３１は、ＣＡＭＤＳＰ部２１から画像を入力する画像入力部３５と、上記画像にフーリエ変換を行なう高速フーリエ変換（以下、ＦＦＴという。）回路３６と、振れ情報演算部３４で生成した振れ情報に基づきフーリエ変換後の画像に復元処理を行なうシステム関数部３７と、復元処理後の画像に逆フーリエ変換を行なう逆ＦＦＴ回路３８と、画像をＪＰＥＧ圧縮部１３と表示制御部２２に出力する画像出力部３９とからなっている。また、手振れ補正部１２と、ＪＰＥＧ圧縮部１３と、ＣＰＵ部１４と、フラッシュメモリＩＦ部１６と、表示制御部２２と、ＣＡＭＤＳＰ部２１とは、ワンチップ上に一体的に構成されていても良い。
【００２４】
ジャイロセンサ部１０は、当該撮像装置１のピッチ（垂直）方向とヨー（水平）方向の手振れによる振動を角速度として検出し、検出した角速度に基づき所定の信号（以下、角速度信号という。）を生成し、第１のＡ／Ｄ変換部１１に出力する。第１のＡ／Ｄ変換部１１は、入力された角速度信号をデジタル変換し、動きベクトル検出部３０のＤＣオフセット除去部３２に出力する。ＤＣオフセット除去部３２は、入力された角速度信号が有するＤＣ（直流）オフセット成分を除去し、積分フィルタ３３に出力する。なお、ＤＣオフセット除去部３２は、ハイパスフィルタを用いてＤＣオフセット成分を除去する。
【００２５】
積分フィルタ３３では、角速度信号を角度に変換する処理を行ない、振れ情報演算部３４に出力する。振れ情報演算部３４は、積分フィルタ３３で求めた角度に基づいて所定の演算を行ない、当該撮像装置１の手振れにより振動する角度と、そのときの手振れ量（以下、手振れ情報という。）を算出する。振れ情報演算部３４は、算出した手振れ情報をシステム関数部３７と、ＣＰＵ部１４に出力する。
【００２６】
キー入力操作部１５は、ユーザーの操作に応じてシャッター信号を生成し、ＣＰＵ部１４に出力する。ＣＰＵ部１４は、上記シャッター信号が入力されたときに、振れ情報演算部３４から供給されている振れ情報に基づき、最適な露光タイミングを求め、求めた最適露光タイミングをＣＣＤドライバ部１８に出力する。
【００２７】
ここで、ＣＰＵ部１４により最適露光タイミングを求める方法について述べる。ＣＰＵ部１４は、振れ情報演算部３４から供給された振れ情報から、図２に示すように、当該撮像装置１の手振れによるピッチ方向とヨー方向の時間に対する振動の角速度変化に基づき、それぞれの角速度の極大値と極小値を計算し、算出した角速度の極大値と極小値の時間差を手振れ時間間隔Δｔｂとして求める。ＣＰＵ部１４は、例えば、電源投入後の当該撮像装置１をユーザーが移動させているときに発生する、当該撮像装置１の振動状態（具体的には、振れ情報演算部３４で生成される振れ情報）から、手振れ時間の間隔Δｔｂｉを算出し、算出した時間間隔から式（１）より平均値時間間隔ΔＴＢを計算する。
【００２８】
【数１】
ＣＰＵ部１４は、キー入力操作部１５からシャッター情報が入力されたとき、上記式（１）より、シャッター情報が入力される直前のピッチ方向の角速度の極大値若しくは極小値及びヨー方向の角速度の極小値若しくは極大値の平均時間間隔ΔＴＢを計算し、求めた平均時間間隔ΔＴＢに基づき、次に現れるピッチ方向の角速度の極小値若しくは極大値、及びヨー方向の角速度の極大値若しくは極小値の発生時間を予測する。ＣＰＵ部１４は、予測されるピッチ方向及びヨー方向の角速度の極大値若しくは極小値の発生時間が露光時間間隔の中心値になるように計算し、最適露光タイミング及び露光時間を求める。
【００３０】
ＣＰＵ部１４は、例えば、図３に示すように、シャッター情報が入力される直前のピッチ方向の角速度の極大値から次に現れる角速度の極小値を予測して、予測時間間隔Δｔｂｘを求め、さらにヨー方向の角速度の極小値から次に現れる角速度の極大値を予測して、予測時間間隔Δｔｂｙを求め、上記予測時間間隔Δｔｂｘと予測時間間隔Δｔｂｙに基づき、最適露光タイミング及び露光時間を求める。
【００３１】
なお、ＣＰＵ１４は、図２及び図３に示すように、ヨー方向の波形の傾きが一番小さくなる値（すなわち、極大値又は極小値）及び、ピッチ方向の傾きが一番小さくなる値（すなわち、極大値又は極小値）を最適露光タイミングとする。
【００３２】
ＣＰＵ部１４は、上記最適露光タイミングをＣＣＤドライバ部１８に出力する。ＣＣＤドライバ部１８は、入力された最適露光タイミングに基づきＣＣＤ撮像素子部１９を制御する。ＣＣＤ撮像素子部１９は、ＣＣＤドライバ部１８による制御に応じて被写体を撮像し、画像を生成する。したがって、ＣＣＤ撮像素子部１９では、ヨー方向及びピッチ方向の波形の傾きが最小のところ（最適露光タイミング）、すなわち手振れが最も小さいタイミングで被写体を撮像することができる。
【００３３】
そして、ＣＣＤ撮像素子部１９は、生成した画像を第２のＡ／Ｄ変換部２０に出力する。第２のＡ／Ｄ変換部２０は、入力された画像をデジタル変換し、ＣＡＭＤＳＰ部２１に出力する。ＣＡＭＤＳＰ部２１は、入力された画像にカメラ信号処理を行ない、処理後の画像を手振れ補正フィルタ部３１の画像入力部３５に入力する。
【００３４】
ここで、ＣＡＭＤＳＰ部２１によるカメラ処理について説明する。ＣＡＭＤＳＰ部２１は、図示しない、第２のＡ／Ｄ変換部２０から画像データが入力される欠陥補正回路と、欠陥補正回路から画像データが入力されるＣＬＰ回路と、ＣＬＰ回路から画像データが入力されるホワイトバランス回路と、ホワイトバランス回路から画像データが入力されるγ補正回路を備える。
【００３５】
欠陥補正回路は、第２のＡ／Ｄ変換部２０からの画像データに欠陥補正を施す。この欠陥補正回路は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路に画像データを出力する。ＣＬＰ回路には、欠陥補正回路からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路に出力する。ホワイトバランス回路には、ＣＬＰ回路からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路は、各色毎にレベルが調整された画像データをγ補正回路に出力する。このγ補正回路では、ホワイトバランス回路からの画像データにγ補正を施す。そして、γ補正回路は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００３６】
さらに、ＣＡＭＤＳＰ部２１は、γ補正回路から画像データが入力される画像データ補間部と、各画素データ間の相関値を検出する相関値検出部と、相関値のノイズを除去するノイズ除去部と、相関値にオフセットをかけるオフセット回路と、相関値を正規化する正規化回路と、相関を検出する方向の偏りを補正する偏り補正回路と、相関の強調及び低減を行う強調・低減回路と、補間した画像データに相関値を用いて重み付けを行う加重加算回路と、画像データの輪郭を補正する輪郭補正回路と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部と、色差信号による偽色信号を抑制する色差信号抑制部と、上記画像データを画像入力部３５を介してＦＦＴ回路３６に出力する出力部とを備える。
【００３７】
ＦＦＴ回路３６は、入力された画像データに高速フーリエ変換処理を行ない、高速フーリエ変換処理後の画像データをシステム関数部３７に出力する。システム関数部３７は、振れ情報演算部３４から供給される振れ情報に基づき、入力された画像データに復元処理を行なう。なお、システム関数部３７は、例えば、画像データＡを復元処理するとき、当該画像データＡをＣＣＤ撮像素子部１９で露光して生成する際に利用した振れ情報に基づき、画像データＡの復元処理を行なう。なお、画像の復元処理の詳細については後述する。
【００３８】
逆ＦＦＴ回路３８は、入力された画像に逆高速フーリエ変換処理を行ない、画像出力部３９に出力する。画像出力部３９は、入力された画像を表示制御部２２とＪＰＥＧ圧縮部１３に出力する。
【００３９】
ここで、手振れ補正フィルタ部３１による画像の復元処理について説明する。なお、文献「画像処理アルゴリズム、斉藤恒雄著、近代科学社」にその詳細が記載されている。
【００４０】
撮像装置により得られる画像ｇ（ｘ、ｙ）は、図４に示すようにモデル化された式で表される。
【００４１】
【数２】
ただし、ｆ（ξ、η）は、劣化のない被写体（原画像）を示し、ｈ（ｘ、ｙ、ξ、η、ｆ）は、撮影条件なども含めた撮像装置の特性をあらわす点広がり関数である。また、撮像装置では、式（２）は、式（３）に示す２次元的な線形たたみ込み演算となる。
【００４３】
【数３】
また、式（３）は、空間周波数領域では式（４）のように表すことができる。Ｇ（ｘ、ｙ）＝Ｈ（μ、ν）Ｆ（μ、ν）・・・（４）
ここで、Ｈ（μ、ν）は、光学的伝達関数（ＯＴＦ）を表しており、撮像装置と被写体との間の相対的な動きによる影響で式（５）のように表すことができる。
【００４５】
【数４】
ただし、Ω＝πＶ（μｃｏｓθ＋νｓｉｎθ）であり、Ｔは、撮像装置１の露光時間を示し、Ｖは、動きの速度を示し、θは、その方向を示している。
【００４７】
したがって、撮像装置は、図５（ａ）に示すように、原画像ｆを式（５）に示すフィルタＨを通して観測していることになる。したがって、観測画像ｇは、式（６）のように表すことができる。
ｇ＝［Ｈ］ｆ＋ｎ・・・（６）
ただし、ｎは、原画像ｆを観測する際の雑音やディジタル化を行なうときに生じた誤差等を含めた雑音成分である。
【００４８】
また、復元画像ｆ’は、図５（ｂ）に示すように、観測画像ｇに復元フィルタＢを作用させてその出力として得られる。したがって、復元画像ｆ’は、次式で表すことができる。
ｆ’＝［Ｂ］ｇ・・・（７）
また、復元フィルタＢをアナログ領域又は周波数領域で考えると以下のようになる。観測雑音をｎ（ｘ、ｙ）とし、その高速フーリエ変換をＮ（μ、ν）とすると、劣化の過程は、以下に示す式のようになる。
【００４９】
【数５】
復元フィルタＢの点広がり関数をｂ（ｘ、ｙ）とし、その高速フーリエ変換をＢ（μ、ν）とすると、復元画像ｆ’（ｘ、ｙ）とその高速フーリエ変換ｆ’（μ、ν）は、以下に示す式のようになる。
【００５１】
【数６】
式（１０）の処理を式（８）に対して逆たたみ込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）という。また、復元フィルタＢの伝達関数Ｂ（μ、ν）を式（１２）とすると、復元画像Ｆ’（μ、ν）は、式（１３）となる。
【００５３】
【数７】
式（１２）の特性を有する復元フィルタをＨ（μ、ν）の逆フィルタ（ｉｎｖｅｒｓｅ ｆｉｌｔｅｒ）という。このようにして、原画像ｆ（μ、ν）が復元される。
【００５５】
ここで、手振れ補正フィルタ部３１のシステム関数部３７を上記伝達関数Ｂ（μ、ν）の特性を有するフィルタであるとする。このフィルタ処理を行なうには、式（４）に示したように空間周波数領域に変換する必要がある。したがって、手振れ補正フィルタ部３１では、画像入力部３５から供給された画像データをＦＦＴ回路３６で高速フーリエ変換し、システム関数部３７で高速フーリエ変換後の画像データに振れ情報演算部３４から供給された振れ情報を入力した伝達関数Ｂ（μ、ν）を掛け合わせ、逆ＦＦＴ回路３８で上記掛け合わせた画像データを逆高速フーリエ変換することにより画像の復元を行なう。
【００５６】
ＪＰＥＧ圧縮部１３は、上述のように復元された画像データをＪＰＥＧ方式で圧縮処理し、圧縮後の画像データをＣＰＵ部１４及フラッシュメモリＩＦを介してメモリカード部１７に出力する。メモリカード部１７は、入力された圧縮後の画像データを保存する。
【００５７】
表示制御部２２は、画像出力部３９から供給された画像データを外部機器ＩＦ部２４を介して外部表示機器及び表示部２３に出力する。なお、外部表示機器は、例えばＣＲＴ等のモニタであり、また、表示部２３は、例えばビューファインダーである。
【００５８】
また、ＣＰＵ部１４は、撮像日時等のＯＳＤ表示信号を生成し、表示制御部２２に出力しても良い。このようにＯＳＤ信号が供給された表示制御部２２では、画像データと当該ＯＳＤ表示信号とを重畳させ、重畳した信号を表示部２３及び外部機器ＩＦ部２４に出力する。
【００５９】
ここで、撮像装置１の動作を図６に示すフローチャートにしたがって説明する。
【００６０】
撮像装置１は、ジャイロセンサ部１０により当該撮像装置１の振動を検出し（ステップＳ１）、検出した振動を第１のＡ／Ｄ変換部１１でＡ／Ｄ変換し、Ａ／Ｄ変換後の信号に基づき動きベクトル検出部３０で振れ情報を生成し、キー入力操作部１５からシャッター信号が入力された後に、上記振れ情報に基づきＣＰＵ部１４で最適露光タイミングを算出し（ステップＳ２）、上記最適露光タイミングに応じてＣＣＤドライバ部１８で駆動信号を生成し、上記駆動信号に応じてＣＣＤ撮像素子部１９で被写体を撮像して画像を生成し、上記画像を第２のＡ／Ｄ変換部２０でＡ／Ｄ変換し、Ａ／Ｄ変換後の画像をＣＡＭＤＳＰ部２１でカメラ処理を行ない、ステップＳ２で生成した振れ情報に基づきカメラ処理後の画像に手振れ補正フィルタ部３１で復元処理を行なう（ステップＳ３）。なお、上記ステップＳ１〜ステップＳ３をコンピュータに実行させるプログラムで記述し、記述したプログラムをＲＯＭ４０に記憶させておいても良い。
【００６１】
このように構成された撮像装置１は、ジャイロセンサ部１０により当該撮像装置１の手振れ量を検出し、検出した手振れ量から手振れ情報を生成し、ＣＣＤ撮像素子部１９で被写体を撮像する際に、上記手振れ情報に基づき被写体を撮像して画像を生成するので、手振れによる振動が最も少ない時点で露光を開始するため、大きな手振れによる画像の劣化を低減して被写体を撮像することができる。さらに、撮像装置１では、大きな手振れによる劣化を低減した画像をＣＣＤ撮像素子部１９で被写体を露光しているときに利用した振れ情報に基づいて復元処理を行なうので、大きい手振れ画像の復元処理を行なう際に発生するリンギングやノイズを伴うことなく、画像の復元処理を行なうことが可能である。
【００６２】
また、本願発明に係る撮像装置１は、振れ情報演算部３４で生成した振れ情報を記憶媒体に記憶せず、生成した画像を撮像された時点において当該撮像装置１内で直ちに復元処理を行なうことが可能であるので、撮像したその場で復元処理後の画像の確認を行なうことができる。また、本願発明に係る撮像装置１の画像復元処理は、ＩＣ（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等にソフトウェアとして記録することにより、ハードウェアを新たに設計することなく実装することができる。また、本願発明に係る撮像装置１は、画像処理を用いて復元することにより本体サイズの小型化及び低コスト化を図ることができる。さらに、本願発明に係る撮像装置１は、例えば、乗り物等の振動の多い場所であっても良質な画像を撮像することが可能であり、また、夜間等の暗い場所で露光時間が長い場合において撮像する場合でも良質な画像を撮像することが可能である。
【００６３】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置及び方法、プログラム及び記録媒体は、振動検出手段により当該撮像装置の手振れ量を検出し、検出した手振れ量から手振れ情報を生成し、撮像部で被写体を撮像する際に、上記手振れ情報に基づき被写体を撮像して画像を生成するので、手振れによる振動が最も少ない時点で露光を開始するため、大きな手振れによる画像の劣化を低減して被写体を撮像することができる。さらに、本発明に係る撮像装置及び方法、プログラム及び記録媒体は、上記のように大きな手振れによる劣化を低減した画像を撮像部で被写体を露光しているときに利用した振れ情報に基づいて復元処理を行なうので、大きい手振れ画像の復元処理を行なう際に発生するリンギングやノイズを伴うことなく、画像の復元処理を行なうことが可能であり、良質な画像を撮像することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の構成例を示すブロック図である。
【図２】本発明を適用した撮像装置により検出した当該撮像装置の手振れによる振動のヨー方向とピッチ方向の角速度を時間方向に表した波形図である。
【図３】本発明を適用した撮像装置により検出した最適露光タイミングを示す波形図である。
【図４】撮像装置により原画像から観測画像を生成する様子を示す図である。
【図５】撮像装置による画像の劣化と復元を示す図である。
【図６】本発明を適用した撮像装置の動作を示すフローチャートである。
【図７】従来の撮像装置の第１の構成例を示すブロック図である。
【図８】従来の撮像装置の第２の構成例を示すブロック図である。
【符号の説明】
１ 撮像装置、１０ ジャイロセンサ部、１１ 第１のＡ／Ｄ変換部、１２ 手振れ補正部、１３ ＪＰＥＧ圧縮部、１４ ＣＰＵ部、１５ キー入力操作部、１６ フラッシュメモリＩＦ部、１７ メモリカード部、１８ ＣＣＤドライバ部、１９ ＣＣＤ撮像素子部、２０ 第２のＡ／Ｄ変換部、２１ ＣＡＭＤＳＰ部、２２ 表示制御部、２３ 表示部、２４ 外部機器ＩＦ部、３０ 動きベクトル検出部、３１ 手振れ補正フィルタ部、３２ ＤＣオフセット除去部、３３ 積分フィルタ、３４ 振れ情報演算部、３５ 画像入力部、３６ ＦＦＴ回路、３７ システム関数部、３８ 逆ＦＦＴ回路、３９ 画像出力部
Claims (11)
- シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置であって、
当該撮像装置の振動を検出する振動検出手段と、
上記振動検出手段により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する振動状態予測手段と、
上記シャッター信号が入力された後に、上記振動状態予測手段により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する露光タイミング制御手段と、
上記振動検出手段により検出した上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう画像復元処理手段とを備えることを特徴とする撮像装置。 - 上記振動状態予測手段により予測した当該撮像装置の振動を記憶する記憶手段をさらに備えることを特徴とする請求項１記載の撮像装置。
- 上記振動状態予測手段は、上記振動検出手段により検出した振動と、上記記憶手段に記憶されている振動とに基づき、所定時間経過後の当該撮像装置の振動を予測することを特徴とする請求項２記載の撮像装置。
- 上記露光タイミング制御手段は、上記シャッター信号が入力された後に、上記振動状態予測手段による予測に基づき、当該撮像装置の振動の波形の傾きが最小となったときに露光を開始するように上記撮像部の露光タイミングを制御することを特徴とする請求項１記載の撮像装置。
- 上記振動検出手段は、角速度センサー又は、角速度センサーにより当該撮像装置の振動を検出することを特徴とする請求項１記載の撮像装置。
- 上記画像復元処理手段は、画像の復元処理を行なう際に、最小自乗フィルタを用いることを特徴とする請求項１記載の撮像装置。
- 上記画像復元処理手段は、画像の復元処理を行なう際に、高速フーリエ変換を用いることを特徴とする請求項１記載の撮像装置。
- 上記復元処理手段は、画像を分割して高速フーリエ変換を行なうことを特徴とする請求項８記載の撮像装置。
- シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、
上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、
上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、
上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程とを有することを特徴とする撮像方法。 - シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、
上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、
上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、
上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのプログラム。 - シャッター信号を生成するシャッター信号生成部と、上記シャッター信号に応じて露光を開始し、被写体を撮像する撮像部を有する撮像装置の振動を検出する第１の工程と、
上記第１の工程により検出した振動に基づき、所定時間経過後の当該撮像装置の振動を予測する第２の工程と、
上記シャッター信号が入力された後に、上記第２の工程により予測した当該撮像装置の振動の波形の傾きが小さくなったときに露光を開始するように上記撮像部の露光タイミングを制御する第３の工程と、
上記露光タイミングで撮像された画像の露光中の当該撮像装置の振動に基づいて当該画像の復元処理を行なう第４の工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350184A JP2004186901A (ja) | 2002-12-02 | 2002-12-02 | 撮像装置及び方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350184A JP2004186901A (ja) | 2002-12-02 | 2002-12-02 | 撮像装置及び方法、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004186901A true JP2004186901A (ja) | 2004-07-02 |
Family
ID=32752487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002350184A Pending JP2004186901A (ja) | 2002-12-02 | 2002-12-02 | 撮像装置及び方法、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004186901A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005064921A1 (ja) * | 2003-12-26 | 2005-07-14 | Matsushita Electric Industrial Co., Ltd. | 撮影装置、製品パッケージおよび半導体集積回路 |
| WO2006041127A1 (ja) * | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| WO2006041126A1 (ja) * | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| JP2006242746A (ja) * | 2005-03-03 | 2006-09-14 | Raitoron Kk | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 |
| JP2008051946A (ja) * | 2006-08-23 | 2008-03-06 | Nikon Corp | カメラ |
| JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
| JP2008118399A (ja) * | 2006-11-02 | 2008-05-22 | Nitto Kogaku Kk | 信号処理装置および変化情報の生成方法 |
| US8319840B2 (en) | 2005-04-27 | 2012-11-27 | Mitsubishi Electric Corporation | Image processing device, image processing method, and information terminal apparatus |
| JP2017142344A (ja) * | 2016-02-09 | 2017-08-17 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
-
2002
- 2002-12-02 JP JP2002350184A patent/JP2004186901A/ja active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005064921A1 (ja) * | 2003-12-26 | 2005-07-14 | Matsushita Electric Industrial Co., Ltd. | 撮影装置、製品パッケージおよび半導体集積回路 |
| US8208017B2 (en) | 2003-12-26 | 2012-06-26 | Panasonic Corporation | Imaging device, product package, and semiconductor integrated circuit |
| KR100907120B1 (ko) | 2004-10-14 | 2009-07-09 | 라이트론 가부시키가이샤 | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 |
| WO2006041126A1 (ja) * | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| JPWO2006041126A1 (ja) * | 2004-10-14 | 2008-05-22 | ライトロン株式会社 | 劣化情報復元方法と復元装置 |
| JPWO2006041127A1 (ja) * | 2004-10-14 | 2008-05-22 | ライトロン株式会社 | 劣化情報復元方法と復元装置 |
| JP4568730B2 (ja) * | 2004-10-14 | 2010-10-27 | ライトロン株式会社 | 劣化情報復元方法と復元装置 |
| JP4575387B2 (ja) * | 2004-10-14 | 2010-11-04 | ライトロン株式会社 | 劣化情報復元方法と復元装置 |
| US7899254B2 (en) | 2004-10-14 | 2011-03-01 | Lightron Co., Ltd. | Method and device for restoring degraded information |
| US8019803B2 (en) | 2004-10-14 | 2011-09-13 | Lightron Co., Ltd. | Method and device for restoring degraded information |
| WO2006041127A1 (ja) * | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| JP2006242746A (ja) * | 2005-03-03 | 2006-09-14 | Raitoron Kk | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 |
| US8542283B2 (en) | 2005-04-27 | 2013-09-24 | Mitsubishi Electric Corporation | Image processing device, image processing method, and information terminal apparatus |
| US8319840B2 (en) | 2005-04-27 | 2012-11-27 | Mitsubishi Electric Corporation | Image processing device, image processing method, and information terminal apparatus |
| JP2008051946A (ja) * | 2006-08-23 | 2008-03-06 | Nikon Corp | カメラ |
| JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
| US8294776B2 (en) | 2006-09-27 | 2012-10-23 | Sony Corporation | Imaging apparatus and imaging method |
| US9179057B2 (en) | 2006-09-27 | 2015-11-03 | Sony Corporation | Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded |
| JP2008118399A (ja) * | 2006-11-02 | 2008-05-22 | Nitto Kogaku Kk | 信号処理装置および変化情報の生成方法 |
| JP2017142344A (ja) * | 2016-02-09 | 2017-08-17 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
| EP1845709B1 (en) | Image capturing apparatus, control method therefor, image processing apparatus, image processing method, and program | |
| US7995852B2 (en) | Imaging device and imaging method | |
| US8760526B2 (en) | Information processing apparatus and method for correcting vibration | |
| US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
| JP2006129236A (ja) | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2011139167A (ja) | 撮像装置及び振れ補正方法 | |
| WO2007119680A1 (ja) | 撮像装置 | |
| JP2004186901A (ja) | 撮像装置及び方法、プログラム及び記録媒体 | |
| JP4468598B2 (ja) | 画像処理装置及び画像処理プログラムを記録した記録媒体 | |
| JP5007241B2 (ja) | 画像処理装置 | |
| JP2007088829A (ja) | 手ぶれ検出装置 | |
| JP2009171341A (ja) | ぶれ補正装置及び撮像装置 | |
| JP5179859B2 (ja) | 撮像装置及び撮像方法 | |
| US20080012964A1 (en) | Image processing apparatus, image restoration method and program | |
| JP2005027046A (ja) | 画像処理装置及び画像処理方法 | |
| JP2008160547A (ja) | 動き検出装置及び方法並びに撮像装置 | |
| JP4740008B2 (ja) | 手ぶれ検出装置およびデジタルカメラ | |
| JP2009153046A (ja) | ぶれ補正装置及び方法並びに撮像装置 | |
| JP4606976B2 (ja) | 画像処理装置 | |
| JP4486482B2 (ja) | 手振れ補正装置及び撮像装置 | |
| JP4449777B2 (ja) | 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム | |
| KR101486773B1 (ko) | 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치 | |
| JP2013132011A (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080624 |