JP2010272924A - 撮像システムおよび撮像方法 - Google Patents

Abstract

【課題】撮影時に前後ブレが生じた場合に、前後ブレの影響を低減した画像を得ることができる撮像システムを提供する。
【解決手段】レリーズボタンが押されて撮影を行う際のカメラの前後ブレ量を検出し、被写体の像を結像する撮像素子３によって得られた画像データを、前後ブレ量に基づいて画像処理を行うことで、前後ブレによる影響を低減した画像を得る。
【選択図】図１

Description

本発明は撮像システムおよび撮像方法に関するものである。

従来、カメラにおいては、シャッターキーが半押しされると、フォーカスレンズが合焦位置に達するようになっている。ここで、フォーカスレンズが合焦位置に達するよりも前にシャッターキーが全押しされた場合に、高速でフォーカスレンズを移動させるカメラが特許文献１に開示されている。このようにすることで、再度合焦を行って撮影を行うことができる。

特開２００６−２５９６８８号公報

しかし、上記カメラでは、再度の合焦を行う必要があるので、撮影者がシャッターキーを全押ししてから実際に撮影を行うまでにタイムラグが発生する、といった問題点がある。

本発明はこのような問題点を解決するために発明されたもので、前後ブレが発生した場合に、前後ブレの影響が低減された画像を素早く得ることを目的とする。

本発明のある態様に係る撮像システムは、被写体の像が結像する撮像素子と、撮影時に発生した前後ブレ量を検出する前後ブレ量検出部と、撮像素子によって得られた画像データを前後ブレ量に基づいて画像処理を行う画像処理部と、を備える。

本発明の別の態様に係る撮像方法は、被写体の像が結像される撮像素子により被写体像を撮像し、撮像時に生じた前後ブレ量を検出し、撮像素子によって得られた画像データを前後ブレ量に基づいて画像処理を行う。

これらの態様により、撮影時に前後ブレが発生した場合でも、例えばシャッターキーが全押しされてからの再度の合焦を行うことなく、前後ブレの影響を低減した画像を素早く得ることができる。

本発明によると前後ブレの影響を低減した画像を素早く得ることができる。

第１実施形態の撮像システムの概略ブロック図である。 第１実施形態の撮影時における制御を示すフローチャートである。 前後ブレ量と画像回復量との関係を示すグラフである。 第２実施形態の撮影時における制御を示すフローチャートである。 第３実施形態の撮影時における制御を示すフローチャートである。 第４実施形態の撮像システムの概略ブロック図である。 第４実施形態の撮影時における制御を示すフローチャートである。 第５実施形態の撮像システムの概略ブロック図である。

本発明の第１実施形態について図１を用いて説明する。図１は、第１実施形態の撮像システムの概略ブロック図である。ここでは撮像装置としてデジタルスチルカメラ（以下、カメラとする）について説明する。

カメラは、光学系１と、ブレ検出部２と、撮像素子３と、画像処理部４と、画像表示部５と、画像保存部６と、制御部７とを備える。

光学系１は、例えば、複数のレンズと、絞りとから構成される。レンズの一部はアクチュエータなどにより光軸方向に沿って移動する。これにより、焦点調整が行われる。

ブレ検出部２は、カメラの前後ブレ量を検出する。前後ブレ量は、カメラの基準位置に対する撮影時のカメラの光軸方向のブレを示す量（基準位置からの移動量）である。ブレ検出部２は、例えば加速度センサ、ジャイロスコープ、位置センサである。基準位置は、合焦を行った時のカメラの位置、例えばレリーズボタンが所定量押されて、合焦が行われた時のカメラの位置である。

撮像素子３は、受光面に入射される光に応じた電気信号を所定のタイミングで出力する。撮像素子３は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサと称される形式、あるいはその他の各種の形式の撮像素子である。

画像処理部４は、回復量演算部８と、画像回復部９とを備える。

回復量演算部８は、ブレ検出部２によって検出された前後ブレ量に基づいて、撮像素子３から出力された電気信号に対する画像回復量を算出する。

画像回復部９は、回復量演算部８によって算出された画像回復量に基づいて、撮像素子３から出力された電気信号に対して画像回復処理を行う。

画像処理部４は、この他にもホワイトバランス調整、階調・レベル補正などの処理を行う。画像処理部４によって処理された画像データは、画像表示部５および画像保存部６に出力される。

画像処理部４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。ＲＯＭは制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、画像処理部４の各機能が発揮される。

画像表示部５は、カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどである。画像表示部５は、画像処理部４から出力される画像信号に基づき、撮影した画像を表示する。

画像保存部６は、画像処理部４から出力される画像信号を画像データとして格納する。

制御部７は、ブレ検出部２、画像処理部４、画像表示部５、画像保存部６と接続しており、これらを含むこのカメラ全体を制御する。制御部７は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。ＲＯＭには制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、制御部７の各機能が発揮される。

次に本実施形態の撮影時の制御について、図２のフローチャートを用いて説明する。

ステップＳ１００では、撮影者によってレリーズボタンが所定量押されたこと（例えば、半押し状態）を検知すると、光学系１を制御して焦点調整を行い、被写体に合焦する。

ステップＳ１０１では、合焦時のカメラの位置をブレ検出部２によって検出し、基準位置を決定する。ここでは、合焦時のカメラの位置（姿勢）が基準位置となる。なお、ステップＳ１００とステップＳ１０１は同時に行なわれても良い。

ステップＳ１０２では、撮影者によってレリーズボタンがさらに押されたこと（例えば、全押し状態）を検知すると、撮影を行う。

ステップＳ１０３では、撮影時（撮影瞬間）のカメラの位置をブレ検出部２によって検出する。合焦から撮影までの間に、カメラの位置が光軸方向にずれて前後ブレが発生することがある。そのためステップＳ１０３において撮影時のカメラの位置を検出する。

ステップＳ１０４では、合焦時のカメラの位置と撮影時のカメラの位置とから前後ブレ量を算出する。なお、前後ブレ量がゼロの場合は、ステップＳ１０５は行なわれない。

ステップＳ１０５では、算出した前後ブレ量に基づいて画像回復量を算出する。画像回復量は、例えば図３に示すグラフを用いて算出する。画像回復量は、前後ブレ量が基準位置よりも大きくなるにつれて大きくなる。なお、図３においては、基準位置をゼロとして、基準位置から被写体へ近くなる方向を「＋」とし、被写体と遠くなる方向を「−」とする。

なお、画像回復量の算出では、グラフ以外の手段、例えばグラフに対応する式、またはその近似式を用いても良い。また、例えば、ルックアップテーブルを用いても良い。

ステップＳ１０６では、算出した画像回復量に基づいて、例えば式（１）に示す微分方程式を用いて前後ブレの影響を低減した回復画像を得るための画像処理を行う。

ｆ＝ｇ＋ａ１・ｇ’＋ａ２・ｇ’’＋・・・＋ａｎ・ｇ’（ｎ） 式（１）
式（１）において、ｆ：回復画像、ｇ：撮影画像、ａ１〜ａｎ：光学系の結像特性、画像回復量などによって決まる値である。撮影画像を画像回復量に基づいて画像回復処理する方法はこれに限られることはない。

ステップＳ１０７では、画像回復量に基づいて画像処理を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

以上の制御によって、撮影時に前後ブレが発生した場合でも、前後ブレの影響を低減した画像を素早く得ることができる。

なお、前後ブレ量、画像回復量などを例えば画像処理部４に記憶させても良い。前後ブレ量などを記憶させることで、レリーズボタンを押し続けて連写を行う場合に、画像処理にかかる時間を短くし、時間当たりの撮影枚数を多くすることができる。

本発明の第１実施形態の効果について説明する。

撮影時に前後ブレが生じた場合に、前後ブレ量を算出し、算出した前後ブレ量に基づいて画像処理を行うことで、前後ブレの影響を低減した画像を素早く得ることができる。

前後ブレが発生した際に得られた画像データに対して、画像処理部４によって前後ブレ量に基づいた画像回復処理を行うことで、前後ブレの影響を低減した画像を素早く得ることができる。

合焦時におけるカメラの位置（姿勢）を基準位置として、撮影時における基準位置からのカメラのブレを前後ブレ量として算出することで、前後ブレが生じて撮影された画像を合焦時の画像へ回復させることができる。

前後ブレ量に基づいて画像回復量を算出し、この画像回復量に基づいて画像回復処理を行うことで、前後ブレ量に応じた画像回復処理を適切に行うことができる。

次に本発明の第２実施形態について説明する。

第２実施形態は、カメラの構成については第１実施形態と同じ構成である。第２実施形態は撮影時の制御が第１実施形態と異なっている。ここでは撮影時の制御について図４のフローチャートを用いて説明する。

ステップＳ２００からステップＳ２０５までの制御は第１実施形態のステップＳ１００からステップＳ１０５と同じ制御なのでここでの説明は省略する。

ステップＳ２０６では、光学系１の状態に応じて画像回復量を補正する。光学系１の状態とは、例えば焦点距離の情報である。例えば光学系１の焦点距離が広角側となっているか、望遠側となっているかによって、撮影した画像に対する前後ブレ量の影響は変化する。例えば、同じ前後ブレ量であっても、広角側で撮影した画像は望遠側で撮影した画像に対して前後ブレ量の影響が大きい。そのため、画像回復量を光学系１の状態に応じて補正する。光学系１の状態に応じて画像回復量を補正することで、正確な画像回復量を算出することができる。

また、光学系１の特性に応じて画像回復量を補正する。光学系１の特性とは、例えば収差情報である。光学系１を通り、撮像素子３の受光面で結像する像は、光軸からの像高などに応じて収差が変化する。そのため、例えばＭＴＦなどに基づいて、画像回復量を補正することで、正確な画像回復量を算出することができる。

光学系１の状態、および光学系１の特性は、例えばルックアップテーブルとして記憶させておく。また、光学系１の特性を式で表すことができる場合、この式（近似式を含む）を記憶していても良い。

ステップＳ２０７では、補正した画像回復量に基づいて回復画像を得るために画像処理を行う。

ステップＳ２０８では、画像回復量に基づいて画像処理を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

本発明の第２実施形態の効果について説明する。

光学系１の状態、および光学系１の特性に基づいて画像回復量を補正することで、前後ブレの影響をさらに低減した画像を得ることができる。

光学系１の状態、および光学系１の特性を予め記憶させておくことで、画像処理にかかる時間を短くすることができる。

次に本発明の第３実施形態について説明する。

第３実施形態は、カメラの構成については第１実施形態と同じ構成である。第３実施形態は撮影時の制御が第２実施形態と異なっている。ここでは撮影時の制御について図５のフローチャートを用いて説明する。

ステップＳ３００からステップＳ３０４は第２実施形態のステップＳ２００からステップＳ２０４と同じ制御なので、ここでの説明は省略する。

ステップＳ３０５では、前後ブレ量を許容値と比較する。前後ズレ量が許容値以下である場合には画像回復処理を行わずにステップＳ３０９へ進む。また、前後ブレ量が許容値よりも大きい場合には画像回復処理を行うためにステップＳ３０６へ進む。許容値は、予め設定される値であり、例えば画像を印刷した場合などに、ユーザーが前後ブレが生じていることを感じない値である。許容値はメーカにより設計時に設定される。また、撮影者が設定可能としても良い。

ステップＳ３０６からステップＳ３０８は第２実施形態のステップＳ２０６からステップＳ２０８と同じ制御なので、ここでの説明は省略する。

ステップＳ３０９では、前後ブレ量が許容値以下である場合には撮像素子３によって撮影した画像をそのまま画像表示部５に表示し、画像データを画像保存部６に保存する。また、前後ブレ量が許容値よりも大きい場合には、前後ブレ量に応じて画像回復を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

本発明の第３実施形態の効果について説明する。

前後ブレ量が許容値よりも大きい場合に前後ブレ量に基づいて画像回復処理を行い、前後ブレ量が許容値以下である場合には画像回復処理を行わないことで、前後ブレ量がほとんど無い場合には画像処理を少なくすることができる。

次に本発明の第４実施形態について説明する。

第４実施形態の撮像システムについて図６を用いて説明する。図６は第４実施形態の撮像システムの概略ブロック図である。第４実施形態の撮像システムは、撮像装置と処理装置とから構成される。本実施形態では撮像装置としてカメラを用い、処理装置としてコンピュータを用いた場合について説明する。しかし、これらに限られることはない。

カメラは、光学系１と、撮像素子３と、ブレ検出部２と、回復量演算部８と、記録部１１と、制御部７とを備える。第１実施形態と同じ構成のものについては、第１実施形態と同じ符号を付し、ここでの説明は省略する。

記録部１１は、撮像素子３から出力される電気信号を画像データとして記録する。また、記録部１１は、回復量演算部８によって演算された画像回復量を記録する。なお、画像データと画像回復量とは相関を持って記録される。また、記録部１１は、記憶媒体に画像データおよび画像回復量を記憶させる。記憶媒体は、例えば磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。記憶媒体はカメラおよびコンピュータに脱着可能である。

コンピュータは、画像処理部１２と、画像表示部５と、画像保存部６とを備える。画像処理部１２は画像回復部１３を備える。画像回復部１３は、記憶媒体に記憶された画像データおよび画像回復量を読み出し、撮像素子３から出力された電気信号に対して画像回復処理を行う。

コンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。ＲＯＭは制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、処理装置としての各機能が発揮される。

次に第４実施形態の撮影時の制御について図７のフローチャートを用いて説明する。

ステップＳ４００からステップＳ４０５までの制御は第１実施形態のステップＳ１００からステップＳ１０５までの制御と同じ制御なので、ここでの説明は省略する。

ステップ４０６では、記憶媒体に画像データと画像回復量とを記憶させる。

本実施形態では、記憶媒体に記憶された画像データと画像回復量とは、パーソナルコンピュータで読み出され、画像回復処理が行われ、前後ブレの影響を低減した画像が作成される。

第４実施形態の効果について説明する。

画像データと画像回復量とを記録部１１により、記憶媒体に記憶させる。そして、コンピュータによって画像回復処理を行うことで、カメラにおける処理を少なくすることができる。

次に本発明の第５実施形態の撮像システムについて図８を用いて説明する。図８は第５実施形態の概略ブロック図である。

カメラは、第４実施形態のカメラに加えて、第１通信部１４を備える。その他の構成については、第４実施形態と同じ構成なので、ここでの説明は省略する。

第１通信部１４は、記録部１５に記録された画像データと画像回復量とを読み出し、コンピュータの第２通信部１７に無線を介して画像データと画像回復量との信号を送る。

コンピュータは、第２通信部１７と、画像処理部１２と、画像表示部５と、画像保存部６とを備える。第２通信部１７は第１通信部１４から送られた画像データと画像回復量の信号を受信する。受信した信号は画像処理部１２に送られる。画像処理部１２は画像データと画像回復量とに基づいて、前後ブレの影響を低減した画像を作成する。

第５実施形態では、カメラの第１通信部１４からコンピュータの第２通信部１７へ画像データと画像回復量とを送信し、カメラとは異なる場所に設置されたコンピュータで画像処理を行う。

なお、本実施形態では、カメラに回復量演算部８を設けたが、回復量演算部８をコンピュータに設けても良い。

第５実施形態の効果について説明する。

カメラの第１通信部１４からコンピュータの第２通信部１７へ画像データおよび画像回復量を送ることで、カメラにおける記憶容量を少なくすることができる。また、カメラにおける画像処理を少なくすることができる。また、カメラと離れた場所に設定されたコンピュータで画像処理を随時行うことができる。

各実施形態の構成においては、上記構成に限られることはなく、ハードウェア、ソフトウェアの組み合わせによって実現することが可能である。また、各実施形態を組み合わせることも可能である。

撮像システムは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備えてもよい。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像システムと同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば、ブレ検出部は、複数あっても良い。この場合、ブレ量は、複数のブレ検出部からの検出量の平均値、最大値、最小値を利用することができる。

１ 光学系
２ ブレ検出部（前後ブレ量検出部）
３ 撮像素子
４、１２ 画像処理部
８ 回復量演算部（画像回復量演算部）
９、１３ 画像回復部
１１、１５ 記録部
１４ 第１通信部（送信部）
１７ 第２通信部（受信部）

Claims (14)

1. 被写体の像が結像する撮像素子と、
   撮影時に発生した前後ブレ量を検出する前後ブレ量検出部と、
   前記撮像素子によって得られた画像データを前記前後ブレ量に基づいて画像処理を行う画像処理部と、を備えることを特徴とする撮像システム。
2. 前記画像処理部は、前後ブレが発生して得られた前記画像データを、前記前後ブレ量に基づいて前記前後ブレが低減するように画像回復処理を行うことを特徴とする請求項１に記載の撮像システム。
3. 前記前後ブレ量検出部は、基準位置に対する撮影時の位置に基づいて前記前後ブレ量を検出することを特徴とする請求項１または２に記載の撮像システム。
4. 前記基準位置は合焦時の位置であることを特徴とする請求項３に記載の撮像システム。
5. 前記前後ブレ量に基づいて画像回復量を算出する画像回復量演算部を備え、
   前記画像処理部は、前記画像回復量に基づいて前記画像処理を行うことを特徴とする請求項１から４のいずれか一つに記載の撮像システム。
6. 前記画像回復量演算部は、光学系の状態に応じて前記画像回復量を補正することを特徴とする請求項５に記載の撮像システム。
7. 前記画像回復量演算部は、光学系の特性に応じて前記画像回復量を補正することを特徴とする請求項５または６に記載の撮像システム。
8. 前記画像回復量演算部は、前記光学系の状態と前記光学系の特性との少なくともいずれか一つを記憶することを特徴とする請求項６または７に記載の撮像システム。
9. 前記画像回復量演算部は、前記前後ブレ量を保存することを特徴とする請求項５から８のいずれか一つに記載の撮像システム。
10. 前記画像処理部は、前記撮像素子によって得られた前記画像データを微分した値と前記画像回復量とに基づいて前記画像データに前記画像処理を行うことを特徴とする請求項５から９のいずれか一つに記載の撮像システム。
11. 前記撮像素子と、前記前後ブレ検出部と、前記撮像素子から得られた画像データと前記前後ブレ量に基づいた前記画像回復量とを記録する記録部と、を備えた撮像装置と、
    前記記録部によって記録された前記画像データを前記画像回復量に基づいて画像処理を行う前記画像処理部を備えた画像処理装置と、を備えることを特徴とする請求項５から１０のいずれか一つに記載の撮像システム。
12. 前記撮像装置は、前記画像データと前記画像回復量を送信する送信部を備え、
    前記画像処理装置は、前記送信部から送信された前記画像データを受信する受信部を備えることを特徴とする請求項１１に記載の撮像システム。
13. 前記画像処理部は、前記前後ブレ量が所定値よりも大きい場合に、前記前後ブレ量に基づいて前記画像処理を行うことを特徴とする請求項１から１２のいずれか一つに記載の撮像システム。
14. 被写体の像が結像される撮像素子により被写体像を撮像し、
    撮像時に生じた前後ブレ量を検出し、
    前記撮像素子によって得られた画像データを前記前後ブレ量に基づいて画像処理を行う、ことを特徴とする撮像方法。

Images