JP2003101862A - 撮像装置および撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】 高価な超高感度素子を使わずに振動による画
像劣化を低減させることができる撮像装置および撮像方
法を提供すること。 【解決手段】 第１のレリーズをオンにして、露光前に
測光を行い（Ｓ１）、撮影時の条件より適正露光時間を
求める（Ｓ２）。第２のレリーズをオンにして、高速シ
ャッタと高速撮影可能な撮像装置により連続撮影を行
い、複数枚の画像を撮像する（Ｓ３）。複数枚の画像と
像振れ量との関係を調べ（Ｓ４）、振れ許容範囲外で撮
影された画像（Ｓ４；Ｎ）は保存せずに連続撮影へ戻
る。許容範囲内で撮影された画像（Ｓ４；Ｙ）は保存を
して（Ｓ５）、合成する（Ｓ６）。合成された画像と適
正露光時間との関係を調べ（Ｓ７）、合成された画像が
適正露出時間に達していなければ連続撮影に戻り（Ｓ
７；Ｎ）、適正露光時間に達していれば（Ｓ７；Ｙ）、
合成された画像を記憶する（Ｓ８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、振動による画像劣
化を低減することができる撮像装置および撮像方法に関
する。

【０００２】

【従来の技術】従来から、静止画撮影時の手振れによる
画像劣化を低減する技術が提案されている。このような
技術として特開平７−２１８９７０号公報には、露光指
示されてから所定時間が経過するまで露光を禁止するこ
とにより、露光指示時に発生する手振れの影響を受けず
に露光を行うことができるカメラが記載されている。こ
のカメラは、レリーズボタンが半押しされると、ＣＰＵ
（中央処理装置）によってバッテリチェックを行い、そ
の後角速度検出回路を起動する。そして、測光・焦点検
出処理を行い、角速度検出回路が起動してから所定時間
経過後に振れ表示器に手振れ量を表示し、レリーズボタ
ンが全押しされてから所定時間経過後にモータ駆動回路
に信号を送って補正レンズを移動させ、その所定時間経
過後にシャッタ開閉処理を行うことにより、手振れ表示
と手振れ補正の精度が向上するというものである。

【０００３】また、特開平９−１１６８５８号公報に
は、静止画像撮影モードに対する制御では、撮像信号を
フレーム単位の画像信号として画像保持手段の画像メモ
リに順次に取り込み、カメラ動き検出回路からの動き検
出結果に基づいてレンズユニットを支持する筐体の動き
が最小となるときに取り込まれた画像信号を各画像メモ
リに保持された画像信号の中から選択する。この選択さ
れ画像信号を色復調分離回路に出力し、カメラ動き検出
回路は、各画像メモリへの画像信号の取り込みが開始さ
れた時点からその取り込みが終了するまでの期間中画像
信号の取り込みに同期しながら検出する。この動き検出
結果はＣＰＵで画像保持手段の各画像メモリに対応付け
て保持されるようになっている。これにより、静止画像
として取り込まれた画像の中から振れが少ない画像を容
易に選択することができる撮像装置が記載されている。

【０００４】また、光電変換による電荷蓄積によって被
写体像を入力するための撮像手段と、被写体像を記憶す
る被写体像記憶手段と、撮像装置の振動を検出する振動
検出手段と、該振動に基づく振動信号から判定値を演算
する判定値演算手段と、該判定値と所定値とを比較する
判定値比較手段とを有し、露光中に、前記振動信号から
前記判定値を演算し、該判定値が前記所定値以上の場合
は、光電変換によって蓄積された電荷を掃き捨て、改め
て電荷蓄積を行う撮像装置も提案されている。

【０００５】

【発明が解決しようとする課題】しかしながら、上述の
特開平７−２１８９７０号公報記載のカメラでは、露光
指示後で所定時間が経過する前に手振れの影響が小さく
することできるが、そのために露光終了までの時間が遅
くなってしまう。また、所定時間が過ぎても、手振れが
おさまらなければ、効果がないということになる。ま
た、特開平９−１１６８５８号公報記載の撮像装置で
は、複数枚の画像を一時的にメモリへ蓄え、その中から
手振れの少ない画像を選択するというものであるが、複
数枚の適正露光に達した画像を得るための撮影時間が長
くなってしまう。さらに、このような撮像装置では、特
別な像振れ補正機構を設けることにより、手振れによる
ボケた画像の記録を低減していたが、像振れ機構があっ
たとしても、像振れ機構の可動範囲を超える像振れが生
じた場合は、補正しきれない場合があった。

【０００６】また、振れを補正する機構を特別に設けな
くても手振れによる画像劣化を低減できるようにするこ
とを目的とした撮像装置では、像振れ補正機構が設けら
れており、像振れ補正機構の可動範囲より大きな像振れ
が生じても、画像での像振れが許容範囲であれば、被写
体像の入力を始めからやり直す必要がないようになって
いるが、この方法では複数枚の画像間の移動ベクトルを
検出できない。また、速度ベクトルに応じて複数枚の画
像を移動させた後に画像合成することにより、一段と振
動による画像劣化が低減された静止画像を得ることがで
きない。さらに、画像合成などの画像処理を撮影後に行
うことができないため、撮影時間が長くなってしまうこ
とがある。また、振動による画像劣化を減少させる手段
は、補正許容量以上の振動による画像劣化が生じると劣
化を減少することが困難であった。その他、手振れを低
減する手段として、短時間の撮影で適正露光できる超高
感度撮像素子を使用する方法もあるが、このような手振
れによる影響を受けず、画像劣化がない写真を得られる
超高感度素子は高価なものであることが多い。

【０００７】そこで、本発明の第１の目的は、高価な超
高感度素子を使わずに振動による画像劣化を低減させる
ことができ、撮影時間が短く適正露光時間に達していな
い画像を捨てることなく再利用することができる撮像装
置および撮像方法を提供することである。本発明の第２
の目的は、画像合成の際に複数枚の画像を判定手段の出
力結果に基づいて、複数枚の画像において振動または動
きが許容範囲内にある画像であるかどうかを判断するこ
となく合成し、振動による画像劣化を低減させることが
できる撮像装置および撮像方法を提供することである。
本発明の第３の目的は、複数枚の画像合成処理を撮影後
に行うことによって撮影時間を短縮することができる撮
像装置および撮像方法を提供することである。本発明の
第４の目的は、複数枚の画像を判定手段の出力結果に基
づいて、複数枚の画像において振動または動きが許容範
囲内にある画像であるかの判断処理と画像合成処理を撮
影後に行うことにより、撮影時間を短縮し、任意に定め
られた撮影時間内で撮影することができる撮像装置およ
び撮像方法を提供することである。

【０００８】本発明の第５の目的は、複数枚の画像より
移動ベクトルを求めて、振動による画像劣化の少ない静
止画像を得ることができる撮像装置および撮像方法を提
供することである。本発明の第６の目的は、撮像素子の
振動または画像における動きに基づいて、振動による画
像劣化の少ない静止画像を得ることができる撮像装置お
よび撮像方法を提供することである。

【０００９】

【課題を解決するための手段】請求項１記載の発明で
は、所定の振れ許容範囲で撮影された画像を記憶してお
き、前記記憶されている画像と新たに撮影された画像と
を比較することにより、前記撮影された画像に対して画
像処理を施す撮像装置において、被写体を露光する露光
手段と、前記露光手段によって露光された被写体からの
反射光を撮像素子に入射して連続撮影することにより複
数枚の画像として取得する撮像手段と、前記撮像手段に
よって所定の振れ許容範囲で撮影された画像を記憶する
記憶手段と、前記撮像手段が複数枚の画像を撮影する際
の前記撮像素子の振動または前記画像の動きを画像変位
として検出する変位検出手段と、前記変位検出手段によ
って検出された画像変位が所定の範囲内であるかどうか
を判定する判定手段と、前記判定手段による判定結果に
基づいて、前記複数枚の画像に画像処理を施す画像処理
手段と、を備え、前記画像処理手段は、前記複数枚の画
像のうち、前記判定手段によって前記画像変位が所定の
範囲内であると判定された画像と前記記憶手段に記憶さ
れた画像とを合成することにより、第１の目的を達成す
る。

【００１０】請求項２記載の発明では、請求項１記載の
発明において、前記撮像素子に入射する反射光を遮断す
る遮光手段をさらに備え、前記遮光手段は、前記判定手
段によって前記複数枚の画像の画像変位が所定の範囲内
でないと判定された場合、前記撮像素子へ入射する反射
光を遮断することにより、前記第２の目的を達成する。

【００１１】請求項３記載の発明では、請求項１または
請求項２記載の発明において、前記判定手段によって前
記複数枚の画像のうち、前記画像変位が所定の範囲内で
あると判定された画像を取得した際の前記露光手段によ
る露光量を適正露光量とし、前記適正露光量に達したと
きの前記撮像手段による撮像枚数を記録する枚数記録手
段をさらに備えたことにより、前記第３の目的を達成す
る。

【００１２】請求項４記載の発明では、請求項１、請求
項２、請求項３のうちいずれか１に記載の発明におい
て、前記撮像手段が連続撮影して複数枚の画像として取
得する画像１枚当たりに対して、前記露光手段による露
光時間を設定する設定手段をさらに備えたことにより、
前記第４の目的を達成する。

【００１３】請求項５記載の発明では、所定の振れ許容
範囲で撮影された画像を記憶しておき、撮影された画像
と前記記憶されている画像とを比較することにより、前
記撮影された画像に対して画像処理を施す撮像方法にお
いて、被写体を露光する第１のステップと、前記第１の
ステップによって露光された被写体からの反射光を撮像
素子に入射して連続撮影することにより複数枚の画像と
して取得する第２のステップと、前記第２のステップに
よって所定の振れ許容範囲で撮影された画像を記憶する
第３のステップと、前記第２のステップによって複数枚
の画像を撮影する際の前記撮像素子の振動または前記画
像の動きを画像変位として検出する第４のステップと、
前記第４のステップによって検出された画像変位が所定
の範囲内であるかどうかを判定する第５のステップと、
前記第５のステップによる判定結果に基づいて、前記複
数枚の画像のうち、前記画像変位が所定の範囲内である
と判定された画像と前記第３のステップで記憶された画
像とを合成する第６のステップと、からなり、前記第４
のステップでは、前記複数枚の画像間の移動ベクトルを
算出して画像の動きを画像変位として検出することによ
り、前記第５の目的を達成する。

【００１４】請求項６記載の発明では、所定の振れ許容
範囲で撮影された画像を記憶しておき、撮影された画像
と前記記憶されている画像とを比較することにより、前
記撮影された画像に対して画像処理を施す撮像方法にお
いて、被写体を露光する第１のステップと、前記第１の
ステップによって露光された被写体からの反射光を撮像
素子に入射して連続撮影することにより複数枚の画像と
して取得する第２のステップと、前記第２のステップに
よって所定の振れ許容範囲で撮影された画像を記憶する
第３のステップと、前記第２のステップによって複数枚
の画像を撮影する際の前記撮像素子の振動または前記画
像の動きを画像変位として検出する第４のステップと、
前記第４のステップによって検出された画像変位が所定
の範囲内であるかどうかを判定する第５のステップと、
前記第５のステップによる判定結果に基づいて、前記複
数枚の画像のうち、前記画像変位が所定の範囲内でない
と判定された画像を補正する第６のステップと、前記第
６のステップで補正された画像と前記第３のステップで
記憶された画像とを合成する第７のステップと、からな
り、前記第４のステップでは、前記複数枚の画像間の移
動ベクトルを算出して画像の動きを画像変位として検出
することにより、前記第６の目的を達成する。

【００１５】

【発明の実施の形態】以下、本発明の好適な実施の形態
について図１ないし図１６を参照して詳細に説明する。
図１は、本実施の形態に係る撮像装置の概略構成を示し
た図である。撮像装置は、入力または撮影された複数枚
の画像を記憶する画像記憶部、撮像素子の振動または画
像における動きを検出する変位検出部、変位検出部の出
力結果に基づいて変位が許容範囲内にあるか否かを判定
する画像判定部、および、複数枚の画像を画像判定部の
判定出力結果に基づて複数枚の画像において振動または
動きが許容範囲内にある画像を合成する画像合成部とを
備えている。

【００１６】本実施の形態の撮像装置では、通常の撮像
素子より高速で連写できる撮像素子を使用し、高速シャ
ッタなどを用いて連続撮影を行い、振動が画像劣化にほ
とんど影響しないほどの短い時間で複数枚の画像を撮影
するようになっている（後述の図６参照）。撮影時に振
れ検出センサを使用し、画像劣化のない複数枚の画像と
対応づけ、像振れ幅の大きい画像（図６のＡ、Ｂ、Ｃ、
Ｄに当たる部分）を切り捨てて、像振れ幅が許容範囲に
ある画像群を集め、１枚の画像に合成することによる手
振れ補正を行う。このとき、振動が画像劣化にほとんど
影響しないほどの短い時間で撮影された複数枚の画像
は、画像信号が適正露光時間よりも短くなってノイズに
埋もれてしまっても、複数枚の画像合成を行うことによ
り、ノイズが平均化され画像信号だけが強調され、適正
露光時間に達した静止画像を復元することができる。

【００１７】まず、第１の実施形態について説明する。
図２は、第１の実施形態に係る撮像装置を適用した電子
カメラの一例を示した図である。図２に示したように、
全体制御部１、表示部２、操作部３、振動検出部４、モ
ータドライバ５、モータ６、レンズ７、ローパスフィル
タ（赤外線カットフィルタ）８、高速撮像可能な撮像部
９、ＣＤＳ（相関２重サンプリング）−Ａ／Ｄ（アナロ
グ／ディジタル）１０、画像転送部１１、画像処理部１
２、記憶部１３を備えている。振動検出部４および画像
処理部１２より検出された手振れを元に、像振れ量を算
出する手段（全体制御部１に含まれる）によって被写体
像の像振れを算出し、撮影された複数枚の画像と対応付
ける。その結果に基づいて、画像処理部１２によって複
数枚の画像を合成し、像振れによる画像劣化を低減す
る。

【００１８】図３は、第１の実施形態に係る撮像装置の
動作手順を示したフローチャートである。また、図４
は、撮影する場合の一般的な像振れの軌跡を示した図で
ある。図５は、通常の撮像装置の露光開始からの像振れ
量の推移と通常の撮像装置より撮影された画像の推移の
一例を示した図であり、これより得られる画像には、振
動による画像劣化が発生している。図６は、本実施の形
態に係る撮像装置の露光開始からの像振れ量の推移と高
速撮影可能な撮像装置より撮影された画像の推移から振
動による画像劣化を防ぐ手段の一例を示した図であり、
これより、振動による画像劣化のない画像を得ることが
できる。図４（ａ）に示したように、第１のレリーズを
オンにして、露光前に測光を行い（ステップ１）、撮影
時の条件より適正露光時間を求める（ステップ２）。第
２のレリーズをオンにして、高速シャッタと高速撮影可
能な撮像装置により連続撮影を行い、複数枚の画像を撮
像する（ステップ３）。複数枚の画像と像振れ量との関
係を調べ（ステップ４：判定）、振れ許容範囲外で撮影
された画像（ステップ４；Ｎ）は保存せずに連続撮影へ
戻る。許容範囲内で撮影された画像（ステップ４；Ｙ）
は保存をして（ステップ５）、合成する（ステップ
６）。合成された画像と適正露光時間との関係を調べ
（ステップ７：評価）、合成された画像が適正露出時間
に達していなければ連続撮影に戻り（ステップ７；
Ｎ）、適正露光時間に達していれば（ステップ７；
Ｙ）、合成された画像を記憶する（ステップ８）。

【００１９】次に、複数枚の画像と像振れ量とを比較し
（ステップ４）、像振れ量が許容範囲にある画像を適正
露光時間に達するまで合成する手法（ステップ７）につ
いて説明する。撮影時に手振れをしないように意識して
カメラを構えた場合の像振れは、図４（ａ）に示したよ
うにはならず、ほとんどの場合、図４（ｂ）に示したよ
うに、像振れの軌跡が、露光開始点の周辺を移動する
（Ｓ→Ａ→Ｂ→Ｃ→Ｄ→・・・）ような手振れが生じ
る。従って、撮影期間中で、露光開始からの像振れが所
定の許容量より外れている間に撮影された画像（ＡＢＣ
Ｄ部分）を消去すれば、画像合成により手振れなどによ
る画像劣化を防ぐことができる。従来の撮影方法では、
図５に示すように適正露光時間に達するまでを１枚の画
像としているため、振れ許容範囲外にある部分（図５の
ＡＢＣＤ部分）も１枚の画像に含まれてしまい、振動に
よる画像劣化が発生することになる。そこで、本実施の
形態のような高速撮影可能な撮像装置で短時間の間に複
数枚の撮影を行うことにより、図６に示すように各画像
と像振れ量とを比較し、振れ許容範囲外にある部分で撮
影された画像群（図６のＡＢＣＤ部分）だけを保存しな
いようにすることができる。残った振れ許容範囲内にあ
る画像群を合成すること（図６）によって適正露光時間
に達した画像を復元できるので、高速連続撮影された画
像は適正露光時間に達していなくてもよいことになる。

【００２０】次に、第２の実施形態について説明する。
第２の実施形態は、像振れが許容範囲外の画像を露光さ
れないよう制御することにより、振動による画像劣化を
低減する実施形態である。図７は、第２の実施形態に係
る撮像装置を適用し、撮影期間中に露光を中断させる手
段を有する電子カメラの一例を示した図である。第１の
実施形態の撮像装置に遮光手段制御部１４および遮光手
段１５がさらに備えられた構成となっている。なお、図
２の第１の実施形態と同様の部分には同じ符号が付して
あり、説明を省略する。図７の遮光手段１５は、液晶シ
ャッタや機械的なシャッタなどにより構成することがで
きる。以下、液晶シャッタを光路中に配置して使用した
一例を用いて、その動作について説明する。撮像面を露
光させるときには液晶板を透明にし、露光を中断すると
きには液晶板を不透明にするというように、手振れ情報
に応じて制御を行う。また、像振れ許容範囲より大きな
振れが生じてから、入射光を遮っても遅いので、所定値
（像振れ許容量）より若干小さい量の像振れ（露光中断
像振れ量）が生じた場合には露光を中断し、像振れ許容
値に戻ったら露光を再開するようにしてもよい。

【００２１】図８は、第２の実施形態に係る撮像装置の
動作手順を示したフローチャートである。図８のフロー
チャートは、図３のフローチャートに遮光による画像消
去（ステップ９）を加えた動作手順となっている。な
お、第１の実施形態と同様の動作手順の説明は省略す
る。撮影は、画像振れ判定（ステップ４）により像振れ
が許容範囲外であると判定されると（ステップ４；
Ｎ）、遮光により画像を暗くして画像を消去し（ステッ
プ９）、画像合成（ステップ７）を行う。これにより、
振動による画像劣化を低減することができる。連続撮影
（ステップ３）に入るまでは、図３のフローチャートと
同様に行い、撮影中に各画像と像振れ量との関係を調べ
（ステップ４）、像振れ量が所定値（像振れ許容量また
はその前後の量）を外れた場合、または、外れると予想
された場合には、図７の遮光手段１５により露光を中断
し、像振れが所定値の範囲内に戻ったら露光を再開して
連続撮影を行う。連続撮影により得られた画像を合成す
ることにより、適正露光量に達する画像を作成すること
ができる。

【００２２】次に、第３の実施形態について説明する。
図９は、第３の実施形態に係る撮像装置を適用した電子
カメラの一例を示した図である。第１の実施形態の撮像
装置に画像枚数判定部１６をさらに備えられた構成とな
っている。なお、図２の第１の実施形態と同様の部分に
は同じ符号が付してあり、説明を省略する。撮影枚数判
定部１６は、振動または動きが許容範囲内である画像群
を合成して適正露光量に達した静止画像を得るには何枚
の画像が必要になるかを判定する部分である。図１０
は、第３の実施形態に係る撮像装置の動作手順を示した
フローチャートである。図１０のフローチャートの撮影
手順は、図３のフローチャートの画像合成（ステップ
６）を行う順番を連続撮影終了後にした動作手順となっ
ている。なお、第１の実施形態と同様の動作手順の説明
は省略する。画像合成（ステップ６）を行う順番を連続
撮影終了後にしたので、連続撮影時に撮影された振動ま
たは動きが許容範囲内にある画像の枚数を判定し（ステ
ップ１０）、適正露光量以上または適正露光量以上にな
ると推測される枚数が撮影されたら、連続撮影を終了す
る（ステップ１１）。そして、画像合成（ステップ６）
を行い、振動による画像劣化を減少した静止画像を記憶
する（ステップ８）。

【００２３】次に、第４の実施形態について説明する。
図１１は、第４の実施形態に係る撮像装置を適用した電
子カメラの一例を示した図である。第１の実施形態の撮
像装置に連続撮影枚数設定部１７をさらに備えられた構
成となっている。なお、図２の第１の実施形態と同様の
部分には同じ符号が付してあり、説明を省略する。連続
撮影枚数設定部１７は、連続して撮影する枚数と画像１
枚当たりに対する露光時間を任意に設定する部分であ
る。この設定方法は撮影者の好みに合わせてもよいし、
以前に撮影された画像結果より撮影枚数や１枚当たりに
対する露光時間を決めても良い。また、高速撮影可能な
撮像装置で短時間に画像を撮影し、その画像を合成した
結果により決めてもよい。撮影し始めは手振れによる振
動が大きくなることが多いので、始めに撮影される画像
１枚当たりの露光時間は短くし、振動による画像劣化を
減少させるようにしてもよい。

【００２４】図１２は、第４の実施形態に係る撮像装置
の動作手順を示したフローチャートである。図１２のフ
ローチャートの撮影手順は、図３のフローチャートの画
像振れ判定（ステップ４）と画像合成（ステップ６）を
行う順番を連続撮影終了（ステップ１１）の後にした動
作手順となっている。なお、第１の実施形態と同様の動
作手順の説明は省略する。画像振れ判定（ステップ４）
と画像合成（ステップ６）を行う順番を連続撮影終了後
にしたので、連続撮影する前に撮影枚数設定部１７によ
り連続撮影する枚数と画像１枚当たりに対する露光時間
を設定することができ（ステップ１２）、設定してから
連続撮影を行い（ステップ３）、撮影枚数設定部１７に
より決められた枚数に達した場合（ステップ１３；
Ｙ）、連続撮影を終了する（ステップ１１）。そして、
画像振れ判定（ステップ４）と画像合成（ステップ６）
を行い、振動による画像劣化を減少した静止画像を記憶
する（ステップ８）。

【００２５】次に、第５の実施形態について説明する。
第５の実施形態は、図３のフローチャートにおける像振
れが許容範囲外の画像を図２の記憶部１３に転送しない
実施形態である。振動による劣化がある画像を記憶部１
３に転送しないことより、記憶容量と転送時間の節約を
計ることができる。変位検出手段のによって検出された
変位が許容範囲内にあるか否かを判定し、判定手段によ
って変位が許容範囲内にないと判定されたときに撮影さ
れた画像を記憶手段に保存しないので、振動または動き
が許容範囲外にある画像を保存せずに記憶メモリの節約
と保存時間の短縮をすることができる。

【００２６】次に、第６の実施形態について説明する。
振動検出は、図２の振動検出部４および画像処理部１２
で行われる。振動検出部４は、手振れなどによる撮像装
置本体の揺れ、または、画像の移動量を検出するもので
あり、これより露光時間中の像振れ量を検出する。具体
的には、ジャイロや加速度センサなどの慣性センサによ
り、撮像装置本体の揺れを検出する。また、画像処理部
１２で相互相関値やオプティカルフローに基づいて、画
像間の移動ベクトルを検出するという手段も用いられ
る。また、振動検出結果に応じてジャイロセンサと可動
撮像素子を使用し、振動方向に撮像素子を動かして振動
による画像劣化を低減する撮像装置および撮像方法も提
案されている。また、シフト方式手振れ補正という振動
検出結果に応じて、図２のモータドライバ５およびモー
タ６を使用して補正光学系をフィルム面と平行に移動さ
せて、カメラの振動を打ち消す方向に光を屈折させ、振
動による画像劣化を低減する撮像装置および撮像方法な
ども挙げられる。このような振動による画像劣化を減少
させた複数枚の画像を図２の画像処理部１２で合成する
ことにより、一段と画像劣化を減少させることができ
る。

【００２７】オプティカルフローやジャイロなどから検
出された画像間の速度ベクトルと複数枚の撮影された画
像を利用して、図２の画像処理部１２で検出された速度
ベクトルに応じ複数枚の画像を移動させた後に画像合成
することにより、一段と振動による画像劣化が低減され
た静止画像を得ることができる。速度ベクトルに応じ複
数枚の画像を移動させる装置および手段については公知
の技術であり、例えば、文献”パソコンによる動画像処
理（三池秀敏・古賀和利著、森北出版）”などに記載さ
れている。撮像装置では、変位検出手段の出力結果に基
づき、画像の振動による劣化を補正する画像補正手段を
備えており、画像合成手段が画像補正手段により補正さ
れた複数枚の画像を合成するので、振動による画像劣化
を減少させる装置および手法に振動による画像劣化を減
少させる手段が追加されたことにより、許容量以上の振
動による画像劣化が生じても画像劣化を減少させること
ができる。なお、撮像装置は、複数枚の画像を入力また
は撮影する第一のステップと、画像が撮影されたときの
撮像素子の振動または画像における動きの変位を検出す
る第二のステップと、変位に基づき、複数枚の画像劣化
を補正する第三のステップと、補正された複数枚の画像
を合成する第四のステップとを有する振動による画像劣
化の少ない静止画像を得るための画像処理方法として適
用してもよい。

【００２８】図１３は、第６の実施形態に係る撮像装置
の動作手順を示したフローチャートである。図１３のフ
ローチャートの撮影手順は、図３のフローチャートの画
像合成（ステップ６）を行う前に像振れ補正（ステップ
１４）を行う動作手順である。なお、第１の実施形態と
同様の動作手順の説明は省略する。画像振れ判定（ステ
ップ４）で行うときに使用する図６に示した振れ許容範
囲は、図３のフローチャートのときには複数枚の画像合
成を行ったときに像振れによる劣化がほとんど見られな
い範囲までと狭くなるが、図１３のフローチャートで
は、複数枚の画像を像振れ補正（ステップ１４）をした
後に、画像合成（ステップ６）を行った場合に像振れに
よる劣化がほとんど見られない範囲まで拡張することが
できる。

【００２９】次に、第７の実施形態について説明する。
手振れ許容範囲に収まる画像データが得られない場合、
撮影動作が終わらないことがあり得るので、最長撮影時
間をカメラの使用者が設定できるようにしておく。最長
撮影時間になっても、像振れ許容範囲内に収まる画像デ
ータが得られない場合、撮影動作を中止するようにして
もよい。最長撮影時間の設定方法は、液晶パネルや液晶
モニタディスプレイなどの表示部を見ながら操作できる
ようにしておく。これにより、使用者の性格や好みに合
わせて、許容最長撮影時間を決定することができる。撮
影動作を中止する場合、設定された許容最長撮影時間の
間に、像振れが所定値（許容量）内に収まらなかったた
めに、撮影動作を中止する旨を使用者に知らせる手段を
設けてもよい。これにより、手振れ許容範囲に収まる画
像データが得られない場合は、その旨を使用者に知らせ
ることができる。撮影動作を中断したことを知らせる方
法としては、ファインダや液晶表示部に文字、または、
絵で表示する、発光ダイオードなどのランプを光らせる
などして視覚で感知させる方法や、ブザーを鳴らした
り、手振れが収まらない場合に撮影を中止する旨を合成
された音声で知らせるなど、聴覚に訴える方法などが挙
げられる。これにより、設定された許容最長撮影時間で
十分に露光できなかったことをカメラの使用者が知るこ
とができる。

【００３０】撮影モードや画質モード（画像データの圧
縮率選択）を切り替えるのと同様に、表示部を見なが
ら、操作部より手振れ許容値を選択できるようにしても
よい。これにより、被写体や画像データの使用目的によ
って、画像の振れ許容範囲は変えることができ、使用者
が使用目的、被写体、撮影者の好みなどにより、手振れ
許容範囲を決めることができる。所定値（像振れ許容
量）を超える像振れが生じた場合には、蓄積された電荷
を一旦掃き捨て、再度、電荷蓄積をする。所定値（手振
れ許容量）の設定は、実際の像振れ量、撮像素子の画素
ピッチ、撮影画面の長辺か短辺に対する割合などの数値
の入力だけでなく、「大・中・小」などのような感覚的
な選択肢を設けて選択させる方法などが挙げられる。

【００３１】また、被写体によっては手振れの方向によ
って、同じ量のずれであっても、画質劣化の影響の出や
すい向きと出にくい方向がある場合があるので、上述の
手振れが生じる複数の方向において、それぞれ別々に、
像振れ許容範囲を設定できるようにしてもよい。例え
ば、水平方向と垂直方向で、それぞれ別々に違った像振
れ許容値を設定できるようにする。その設定は、上述と
同様な方法が挙げられる。これにより、使用者が使用目
的、被写体、撮影者の好みなどにより、方向に応じて手
振れ許容範囲を決めることができる。撮影時に撮影枚数
や任意に定めた撮影時間、１枚の画像に対する露光時間
などが自由に設定できる第一の設定手段、または自動的
に設定される第二の設定手段を有するので、撮影者の好
みに合わせて撮影時間や１枚の画像に対する露光時間な
どを任意に設定することができる。

【００３２】次に、第８の実施形態について説明する。
第８の実施形態は、使用者の好みに合わせて連続撮影モ
ードと通常に１枚の画像を撮影するモードとを簡単に切
り替えるスイッチを取り付ける実施形態である。なお、
スイッチを切り替える方法は、第７の実施形態のような
方法が挙げられる。連続撮影により複数枚の画像から振
動による画像劣化の少ない静止画像を得るための撮影モ
ードと通常に１枚の画像を撮影するモードとに切り替え
る切り替え手段を有するので、撮影者の好みに合わせて
連続撮影により複数枚の画像から振動による画像劣化の
少ない静止画像を得るための撮影モードと通常に１枚の
画像を撮影するモードとを選択することができる。

【００３３】次に、第９の実施形態について説明する。
カメラで高速撮影した画像と像振れ検出データをＰＣ
（パーソナルコンピュータ）、サーバなどに転送し、Ｐ
Ｃ内で画像処理をするというシステムと複数枚の画像デ
ータと像振れ検出データを他の装置に転送する手段を有
する撮像装置について説明する。図１４は、複数枚の画
像データと像振れ検出データを他の装置に転送する手段
を有する第９の実施形態に係る撮像装置を示した図であ
る。図１４の撮像装置では、第１の実施の形態の撮像装
置にさらにデータ転送部１８が取り付けられている。ま
た、撮像装置は、データ転送部１８を介して画像処理装
置と接続されている。なお、画像処理装置は、ここでは
一例として全体制御部１９、記憶部２１、画像処理部２
２、データ転送部２０を備えているものとする。撮像装
置のデータ転送部１８で撮影された複数枚の画像データ
と像振れ検出データを画像処理装置に転送し、画像処理
装置で像振れ量と複数枚の画像を対応させ、画像合成を
行うようになっている。

【００３４】複数枚の画像データと変位データを他の装
置に転送する転送手段を有するので、画像合成手段や判
定手段、動き検出手段などを撮像装置以外の装置で行わ
せ、撮像装置の軽量化と低コスト化を図ることができ
る。複数枚の画像入力または撮影する第一のステップ
と、画像が撮影されたときの撮像素子の振動または画像
における動きの変位を検出する第二のステップと、変位
が許容範囲内にある複数枚の画像を合成する第三のステ
ップとを有する振動による画像劣化の少ない静止画像を
得るための画像処理方法として適用することもできる。
入力または撮影手段と、撮像手段に接続され、撮影され
た複数枚の画像を記憶する記憶手段と、撮像手段に接続
され、撮像手段の振動または画像における動きを検出す
る動き検出手段と、複数枚の画像を合成する合成手段と
を含む振動による画像劣化の少ない静止画像を得るため
の画像処理システムとしても利用可能な撮像装置および
撮像方法を提供することができる。

【００３５】図１５は、第９の実施形態の撮像装置およ
び画像処理装置の動作手順を示したフローチャートであ
る。図１５のフローチャートは、図３のフローチャート
に撮像装置で撮影された複数枚の画像と像振れ量を画像
処理装置に転送するステップ１５を取り付けた動作手順
となっている。なお、第１の実施形態と同様の動作手順
の説明は省略する。ここで、撮像装置と画像処理装置を
切り離す手段について説明する。高速連続撮影可能な撮
像装置により連続撮影を行い、撮影された複数枚の画像
と像振れ量を画像処理装置に転送する（ステップ１
５）。そして、画像処理装置において複数枚の画像と像
振れ量との関係より、画像合成を行い、振動による画像
劣化を低減する（ステップ１６）。合成され記憶された
記録画像を画像処理装置から撮像装置への転送（ステッ
プ１７）は、撮影者の好みに応じて決定するようにして
もよい。また、画像処理装置の具体的な例としてはＰＣ
やサーバなどが挙げられる。

【００３６】図１６は、カメラで高速撮影した画像と像
振れ検出データをＰＣ、サーバなどに転送し、ＰＣ内で
画像処理をするというシステムを示した図である。本実
施の形態では、撮像装置と画像処理装置を分離させ、撮
像装置と画像処理装置間で複数枚の画像と像振れ量のデ
ータ、撮影時間データを転送する。データ転送手段とし
ては、撮像装置と画像処理装置間をケーブルにより接続
する方法や無線により転送する方法がある。有線による
データの転送手段としては、ＵＳＢやＩＥＥＥ１３９４
などが挙げられる。無線によるデータ転送手段として
は、例えば、赤外線通信により直接データ転送する方法
や、携帯電話を用いてデータ転送する方法、中間基地局
を設けてデータ転送する方法などがある。画像処理装置
で転送された複数枚の画像と像振れ量のデータ、撮影時
間データなどを利用して振動による画像劣化の少ない静
止画像を合成する。

【００３７】以上のように、本実施の形態に係る撮像装
置では、高速撮影可能な撮像装置で短時間に複数枚の画
像を撮影し、像振れ量が許容範囲内にある画像を合成
し、適正露光時間に達していない画像を合成することに
より、適正露光時間に達した画像を得ることができ、高
価な超高感度素子を使用せずに振動による画像劣化を低
減し、撮影時間が短く適正露光時間に達していない画像
を捨てずに再利用することができる。また、本実施の形
態に係る撮像装置では、連続撮影時に像振れ量が許容範
囲外にある画像を撮影するときには遮光を行うことによ
り、画像合成の際に複数枚の画像において振動が許容範
囲内にある画像であるかを判断せず合成し、振動による
画像劣化を低減させることができる。また、本実施の形
態に係る撮像装置では、撮像装置に画像枚数判定部を取
り付け、画像合成を行う順番を連続撮影終了後にするこ
とにより、複数枚の画像合成処理を撮影後に行い、撮影
時間を短縮することができる。

【００３８】また、本実施の形態に係る撮像装置では、
撮像装置に撮影枚数設定部を取り付けて連続撮影する枚
数をあらかじめ設定し、画像振れ判定と画像合成を行う
順番を連続撮影終了後にすることにより、複数枚の画像
を判定手段の出力結果に基づき、複数枚の画像において
振動または動きが許容範囲内にある画像であるかを判断
する処理と前記画像合成処理を撮影後に行うことがで
き、撮影時間を短縮することと任意に定められた撮影時
間内で撮影することが可能となる。また、本実施の形態
に係る撮像装置では、連続撮影時に像振れが許容範囲外
の画像を記憶部に転送しないことにより、振動または動
きが許容範囲外にある画像を保存せず、記憶メモリの節
約と保存時間の短縮をすることがことができる。

【００３９】また、本実施の形態に係る撮像装置では、
撮影された複数枚の画像を合成する前に、光学的なシフ
ト式像振れ補正やオプティカルフロー、ジャイロから検
出された画像間の速度ベクトルを使用して画像振れ補正
などを行うことにより、許容量以上の振動による画像劣
化が生じても許容量以上の振動がある画像を合成しない
ことで画像劣化を減少させることができる。さらに、複
数枚の画像より移動ベクトルを求めて、振動による画像
劣化の少ない静止画像を得るため方法と、撮像素子の振
動または画像における動きに基づき、振動による画像劣
化の少ない静止画像を得るため方法を提供することがで
きる。また、本実施の形態に係る撮像装置では、使用者
の好みにより、表示部を見ながら操作部より最長撮影時
間、手振れ許容値を選択する装置を取り付けることがで
きるので、使用者の好みに合わせて撮影時間や１枚の画
像に対する露光時間などの設定を可能とすることができ
る。

【００４０】また、本実施の形態に係る撮像装置では、
連続撮影モードと通常に１枚の画像を撮影するモードと
を簡単に切り替えるスイッチを取り付けることにより、
撮影者の好みに合わせて連続撮影により複数枚の画像か
ら振動による画像劣化の少ない静止画像を得るための撮
影モードと、通常に１枚の画像を撮影するモードとを選
択可能とすることができる。また、本実施の形態に係る
撮像装置では、撮像装置に複数枚の画像データと像振れ
検出データを他の装置に転送する転送部を取り付けて撮
像装置と画像処理装置を分離させることにより、画像合
成手段や判定手段、動き検出手段などを撮像装置以外の
装置で行わせ、撮像装置の軽量化と低コスト化を図るこ
とができる。また、本実施の形態に係る撮像装置では、
撮像装置で高速連続撮影した画像と像振れ検出データを
ＰＣ、サーバなどに転送し、ＰＣ内で画像処理をすると
いうシステムを構築することにより、振動による画像劣
化を減少する手段として考慮されるシステムを提供する
ことができる。

【００４１】

【発明の効果】請求項１記載の発明では、画像処理手段
は、複数枚の画像のうち、判定手段によって画像変位が
所定の範囲内であると判定された画像と記憶手段に記憶
された画像とを合成するので、適正露光時間に達した画
像を得ることができ、高価な超高感度素子を使用せずに
振動による画像劣化を低減することができ、撮影時間が
短く、適正露光時間に達していない画像を捨てることな
く再利用することができる。

【００４２】請求項２記載の発明では、遮光手段は、判
定手段によって複数枚の画像の画像変位が所定の範囲内
でないと判定された場合、撮像素子へ入射する反射光を
遮断するので、画像合成の際に複数枚の画像において振
動が許容範囲内にある画像であるかを判断することなく
合成し、振動による画像劣化を低減させることができ
る。

【００４３】請求項３記載の発明では、判定手段によっ
て複数枚の画像のうち、画像変位が所定の範囲内である
と判定された画像を取得した際の露光手段による露光量
を適正露光量とし、適正露光量に達したときの撮像手段
による撮像枚数を記録する枚数記録手段をさらに備えた
ので、複数枚の画像合成処理を撮影後に行うことによっ
て撮影時間を短縮することができる。

【００４４】請求項４記載の発明では、撮像手段が連続
撮影して複数枚の画像として取得する画像１枚当たりに
対して、露光手段による露光時間を設定する設定手段を
さらに備えたので、撮影時間を短縮することができ、任
意に定められた撮影時間内で撮影することが可能とな
る。

【００４５】請求項５記載の発明では、第４のステップ
では、複数枚の画像間の移動ベクトルを算出して画像の
動きを画像変位として検出するので、振動による画像劣
化の少ない静止画像を得ることができる。

【００４６】請求項６記載の発明では、第４のステップ
では、複数枚の画像間の移動ベクトルを算出して画像の
動きを画像変位として検出するので、振動による画像劣
化の少ない静止画像を得ることができる。

【図面の簡単な説明】

【図１】本実施の形態に係る撮像装置の概略構成を示し
た図である。

【図２】第１の実施形態に係る撮像装置を適用した電子
カメラの一例を示した図である。

【図３】第１の実施形態に係る撮像装置の動作手順を示
したフローチャートである。

【図４】撮影する場合の一般的な像振れの軌跡を示した
図である。

【図５】通常の撮像装置の露光開始からの像振れ量の推
移と通常の撮像装置より撮影された画像の推移の一例を
示した図である。

【図６】撮像装置の露光開始からの像振れ量の推移と高
速撮影可能な撮像装置より撮影された画像の推移から振
動による画像劣化を防ぐ手段の一例を示した図である。

【図７】第２の実施形態に係る撮像装置を適用し、撮影
期間中に露光を中断させる手段を有する電子カメラの一
例を示した図である。

【図８】第２の実施形態に係る撮像装置の動作手順を示
したフローチャートである。

【図９】第３の実施形態に係る撮像装置を適用した電子
カメラの一例を示した図である。

【図１０】第３の実施形態に係る撮像装置の動作手順を
示したフローチャートである。

【図１１】第４の実施形態に係る撮像装置を適用した電
子カメラの一例を示した図である。

【図１２】第４の実施形態に係る撮像装置の動作手順を
示したフローチャートである。

【図１３】第６の実施形態に係る撮像装置の動作手順を
示したフローチャートである。

【図１４】複数枚の画像データと像振れ検出データを他
の装置に転送する手段を有する第９の実施形態に係る撮
像装置を示した図である。

【図１５】第９の実施形態の撮像装置および画像処理装
置の動作手順を示したフローチャートである。

【図１６】カメラで高速撮影した画像と像振れ検出デー
タを他の装置内で画像処理するシステムを示した図であ
る。

【符号の説明】

１ 全体制御部 ２ 表示部 ３ 操作部 ４ 振動検出部 ５ モータドライバ ６ モータ ７ レンズ ８ ローパスフィルタ（赤外線カットフィルタ） ９ 撮像部 １０ ＣＤＳ（相関２重サンプリング）−Ａ／Ｄ（アナ
ログ／ディジタル） １１ 画像転送部 １２ 画像処理部 １３ 記憶部 １４ 遮光手段制御部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/335 Ｈ０４Ｎ 5/335 Ｐ // Ｈ０４Ｎ 101:00 101:00 (72)発明者 北澤 智文 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 (72)発明者 佐藤 康弘 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 (72)発明者 佐々木 三郎 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 Ｆターム(参考） 2H002 CC01 GA05 GA41 GA46 JA07 5C022 AA13 AA14 AB03 AB17 AB55 AC52 AC69 AC78 CA00 5C024 AX01 BX01 CY14 CY17 CY21 EX00 HX22 HX29 HX31 HX58

Claims (6)

【特許請求の範囲】
1. 【請求項１】 所定の振れ許容範囲で撮影された画像を
   記憶しておき、前記記憶されている画像と新たに撮影さ
   れた画像とを比較することにより、前記撮影された画像
   に対して画像処理を施す撮像装置において、 被写体を露光する露光手段と、 前記露光手段によって露光された被写体からの反射光を
   撮像素子に入射して連続撮影することにより複数枚の画
   像として取得する撮像手段と、 前記撮像手段によって所定の振れ許容範囲で撮影された
   画像を記憶する記憶手段と、 前記撮像手段が複数枚の画像を撮影する際の前記撮像素
   子の振動または前記画像の動きを画像変位として検出す
   る変位検出手段と、 前記変位検出手段によって検出された画像変位が所定の
   範囲内であるかどうかを判定する判定手段と、 前記判定手段による判定結果に基づいて、前記複数枚の
   画像に画像処理を施す画像処理手段と、を備え、 前記画像処理手段は、前記複数枚の画像のうち、前記判
   定手段によって前記画像変位が所定の範囲内であると判
   定された画像と前記記憶手段に記憶された画像とを合成
   することを特徴とする撮像装置。
2. 【請求項２】 前記撮像素子に入射する反射光を遮断す
   る遮光手段をさらに備え、 前記遮光手段は、前記判定手段によって前記複数枚の画
   像の画像変位が所定の範囲内でないと判定された場合、
   前記撮像素子へ入射する反射光を遮断することを特徴と
   する請求項１記載の撮像装置。
3. 【請求項３】 前記判定手段によって前記複数枚の画像
   のうち、前記画像変位が所定の範囲内であると判定され
   た画像を取得した際の前記露光手段による露光量を適正
   露光量とし、前記適正露光量に達したときの前記撮像手
   段による撮像枚数を記録する枚数記録手段をさらに備え
   たことを特徴とする請求項１または請求項２記載の撮像
   装置。
4. 【請求項４】 前記撮像手段が連続撮影して複数枚の画
   像として取得する画像１枚当たりに対して、前記露光手
   段による露光時間を設定する設定手段をさらに備えたこ
   とを特徴とする請求項１、請求項２、請求項３のうちい
   ずれか１に記載の撮像装置。
5. 【請求項５】 所定の振れ許容範囲で撮影された画像を
   記憶しておき、撮影された画像と前記記憶されている画
   像とを比較することにより、前記撮影された画像に対し
   て画像処理を施す撮像方法において、 被写体を露光する第１のステップと、 前記第１のステップによって露光された被写体からの反
   射光を撮像素子に入射して連続撮影することにより複数
   枚の画像として取得する第２のステップと、 前記第２のステップによって所定の振れ許容範囲で撮影
   された画像を記憶する第３のステップと、 前記第２のステップによって複数枚の画像を撮影する際
   の前記撮像素子の振動または前記画像の動きを画像変位
   として検出する第４のステップと、 前記第４のステップによって検出された画像変位が所定
   の範囲内であるかどうかを判定する第５のステップと、 前記第５のステップによる判定結果に基づいて、前記複
   数枚の画像のうち、前記画像変位が所定の範囲内である
   と判定された画像と前記第３のステップで記憶された画
   像とを合成する第６のステップと、からなり、 前記第４のステップでは、前記複数枚の画像間の移動ベ
   クトルを算出して画像の動きを画像変位として検出する
   ことを特徴とする撮像方法。
6. 【請求項６】 所定の振れ許容範囲で撮影された画像を
   記憶しておき、撮影された画像と前記記憶されている画
   像とを比較することにより、前記撮影された画像に対し
   て画像処理を施す撮像方法において、 被写体を露光する第１のステップと、 前記第１のステップによって露光された被写体からの反
   射光を撮像素子に入射して連続撮影することにより複数
   枚の画像として取得する第２のステップと、 前記第２のステップによって所定の振れ許容範囲で撮影
   された画像を記憶する第３のステップと、 前記第２のステップによって複数枚の画像を撮影する際
   の前記撮像素子の振動または前記画像の動きを画像変位
   として検出する第４のステップと、 前記第４のステップによって検出された画像変位が所定
   の範囲内であるかどうかを判定する第５のステップと、 前記第５のステップによる判定結果に基づいて、前記複
   数枚の画像のうち、前記画像変位が所定の範囲内でない
   と判定された画像を補正する第６のステップと、 前記第６のステップで補正された画像と前記第３のステ
   ップで記憶された画像とを合成する第７のステップと、
   からなり、 前記第４のステップでは、前記複数枚の画像間の移動ベ
   クトルを算出して画像の動きを画像変位として検出する
   ことを特徴とする撮像方法。