JP2010258871A - 撮像システムおよび撮像方法 - Google Patents

Abstract

【課題】煽りが発生した場合でも、被写体の全域に焦点が合った画像を得ることができる撮像システムを提供する。
【解決手段】レリーズボタンが押されて撮影を行う際の煽り量を検出し、被写体の像を結像する撮像素子３によって得られた画像データを、煽り量に基づいて画像処理を行うことで、煽りによる影響を低減した画像を得る。
【選択図】図１

Description

本発明は撮像システムおよび撮像方法に関するものである。

従来、撮像面に対して斜めになっている被写体の全域に焦点を合わせて撮像を行う場合に、レンズを傾けて撮像を行うカメラが、特許文献１に開示されている。

特許文献１では、シャインプルーフの法則に従って、レンズの主面の延長線が撮像面の延長線と被写体面の延長線との交点を通るようにレンズを傾けて撮像を行っている。そこで、このようなカメラでは、レンズを傾けるための機構を備えている。

特開２０００−０５６２１４号公報

通常、合焦時から撮影時までの時間は短い。そのため、上記のカメラでは、合焦時と撮影時（撮影の瞬間）で、被写体に対するカメラの姿勢に差が生じた場合、その差に合わせてレンズを傾けることが困難である。その結果、撮影した画像全面にピントの合った画像を得ることが難しいといった問題点がある。

本発明はこのような問題点を解決するために発明されたもので、撮影した画像全域にピントの合った画像を得ることを目的とする。

本発明のある態様に係る撮像システムは、被写体の像が結像する撮像素子と、撮影時に生じた煽り量を検出する煽り検出部と、撮像素子によって得られた画像データを煽り量に基づいて画像処理を行う画像処理部と、を備える。

本発明の別の態様に係る撮像方法は、被写体の像が結像される撮像素子により被写体像を撮像し、撮影時に生じた煽り量を検出し、撮像素子によって得られた画像データを煽り量に基づいて画像処理を行う。

これら態様により、撮像時に煽りが発生した場合でも、煽り量に基づいて画像回復処理を行うことで、被写体の全域に焦点を合わせた画像を得ることができる。そのため、例えばレンズを傾ける機構などを用いずに、被写体の全域に焦点を合わせた画像を得ることがきる。

本発明によると、撮影した画像全域にピントの合った画像を得ることができる。

第１実施形態の撮像システムの概略ブロック図である。 第１実施形態の撮影時における制御を示すフローチャートである。 煽り量と画像回復量との関係を示すグラフである。 カメラの傾きと画像回復量との関係を説明するマップである。 第２実施形態の撮像システムの概略ブロック図である。 煽り量とピントズレ量との関係を示す図である。 第２実施形態の撮影時における制御を示すフローチャートである。 デフォーカスとＭＴＦとの関係を示すグラフである。 第３実施形態の撮影時における制御を示すフローチャートである。 第４実施形態の撮像システムの概略ブロック図である。 第４実施形態の撮影時における制御を示すフローチャートである。 第５実施形態の撮像システムの概略ブロック図である。

本発明の第１実施形態について図１を用いて説明する。図１は、第１実施形態の撮像システムの概略ブロック図である。ここでは撮像装置としてデジタルスチルカメラ（以下、カメラとする）について説明するが、撮像装置としてはこれに限られることはない。

カメラは、光学系１と、煽り検出部２と、撮像素子３と、画像処理部４と、画像表示部５と、画像保存部６と、制御部７とを備える。

光学系１は、例えば、複数のレンズと、絞りとから構成される。レンズの一部はアクチュエータなどにより光軸方向に沿って移動することができ、焦点調整を行うことができる。

煽り検出部２は、撮像素子３の画素毎に煽り量を検出する。煽り量とは、カメラの基準位置に対する撮影時におけるカメラの姿勢のずれを示す量である。煽り検出部２は、例えば傾きセンサ、角度センサ、加速度センサ、重力センサであり、カメラの傾きを検出する。そして、煽り検出部２は、カメラの傾きを検出すると、カメラの傾き中心からの距離に応じて、各画素における煽り量を算出する。ここで、カメラの傾き中心からの距離とは、図４(a)における矢印Ａの方向の距離である。また煽り量は、図４(a)における矢印Ｂの方向の距離である。基準位置は、レリーズボタンが所定量押され、合焦を行った時のカメラの姿勢である。なお、カメラが任意の点を中心として回転した場合も、カメラの傾き（姿勢のずれ）は生じる。よって、カメラの傾きは角度でも表すことができる。図４(a)では、カメラの傾き中心が回転中心になる。そして、回転方向における基準位置からのずれが、角度で表した場合の煽り量になる。

撮像素子３は、受光面に入射される光に応じた電気信号を所定のタイミングで出力する。撮像素子３は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）センサと称される形式、あるいはその他の各種の形式の撮像素子である。

画像処理部４は、回復量演算部８と、画像回復部９とを備える。

回復量演算部８は、煽り検出部２によって検出された煽り量に基づいて、撮像素子３から出力された電気信号に対する画像回復量を画素毎に算出する。

画像回復部９は、回復量演算部８によって算出された画像回復量に基づいて、撮像素子３から出力された電気信号に対して画像回復処理を行う。

画像処理部４は、この他にもホワイトバランス調整、階調・レベル補正などの処理を行う。画像処理部４によって処理された画像データは、画像表示部５および画像保存部６に出力される。

画像処理部４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。ＲＯＭは制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、画像処理部４の各機能が発揮される。

画像表示部５は、カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどである。画像表示部５は、画像処理部４から出力される画像信号に基づき、撮影した画像を表示する。

画像保存部６は、画像処理部４から出力される画像信号を画像データとして格納する。

制御部７は、煽り検出部２、画像処理部４、画像表示部５、画像保存部６と接続しており、これらを含むこのカメラ全体を制御する。

次に本実施形態の撮影時の制御について、図２のフローチャートを用いて説明する。

ステップＳ１００では、撮影者によってレリーズボタンが所定量押されたこと（例えば、半押し状態）を検知すると、光学系１を制御して焦点調整を行い、被写体に合焦する。

ステップＳ１０１では、合焦時のカメラの姿勢を検出し、基準位置を決定する。ここでは、合焦時のカメラの姿勢が基準位置となる。なお、基準位置は撮像素子３の受光面が鉛直方向と平行となる位置を基準位置としても良い。

ステップＳ１０２では、撮影者によってレリーズボタンがさらに押されたこと（例えば、全押し状態）を検知すると、撮影を行う。

ステップＳ１０３では、撮影時（撮影瞬間）のカメラの姿勢を検出する。合焦から撮影までの間に、カメラの姿勢が変わり煽りが発生することがある。そのためステップＳ１０３において撮影時のカメラの姿勢を検出する。

ステップＳ１０４では、合焦時のカメラの姿勢と撮影時のカメラの姿勢とから、基準位置に対する撮影時のカメラの傾き角度を検出し、カメラの傾き角度から各画素における煽り量を算出する。

ステップＳ１０５では、算出した煽り量に基づいて画像回復量を算出する。画像回復量は、例えば図３に示すグラフを用いて算出する。図３は煽り量と画像回復量との関係を示すグラフである。図３においては煽り量の絶対値が大きくなるにつれて、画像回復量は大きくなる。本実施形態では、図３に示すようなグラフを画素毎に有している。なお、画像回復量の算出では、グラフ以外の手段、例えばグラフに対応する式、またはその近似式を用いても良い。

カメラの傾き（煽り）と画像回復量の関係について図４を用いて説明する。カメラが図４（ａ）の基準位置から図４（ｂ）に示すようにカメラ背面側の一方の端部（カメラの傾き中心）を中心に煽りが発生した場合には、画像回復量は図４（ｃ）のようになる。また、基準位置から図４（ｄ）に示すようにカメラ背面側の中央（カメラの傾き中心）を中心に煽りが発生した場合には、画像回復量は図４（ｅ）のようになる。図４（ｃ）、（ｅ）では画像回復量が大きくなるにつれて黒くなるようにグラデーションを付している。このように、カメラの傾き中心から距離が遠くなるに連れて、画像回復量は大きくなる。なお、図４（ｂ）、（ｄ）において、基準位置のカメラを破線で示す。

ステップＳ１０６では、算出した画像回復量に基づいて、例えば式（１）に示す微分方程式を用いて煽りの影響を低減した回復画像を得るための画像処理を行う。

ｆ＝ｇ＋ａ１・ｇ’＋ａ２・ｇ’’＋・・・＋ａｎ・ｇ’（ｎ） 式（１）
式（１）において、ｆ：回復画像、ｇ：撮影画像、ａ１〜ａｎ：光学系の結像特性、画像回復量などによって決まる値である。撮影画像を画像回復量に基づいて画像回復処理する方法はこれに限られることはない。

ステップＳ１０７では、画像回復量に基づいて画像処理を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

以上の制御によって、撮影時に煽りが発生した場合でも、煽りの影響を低減した画像を得ることができる。

なお、煽り量、画像回復量などを例えば画像処理部４に記憶させても良い。煽り量などを記憶させることで、レリーズボタンを押し続けて連写を行う場合に、画像処理にかかる時間を短くし、時間当たりの撮影枚数を多くすることができる。

本実施形態では、画素毎に煽り量を算出し、画像回復量を算出したが、撮像素子３の受光面を複数の領域に分け、領域毎に画像回復量を算出しても良い。少なくとも２箇所で煽り量を算出し、算出した煽り量に基づいて画像回復量を算出する。そして、算出した画像回復量に基づいて画像処理を行うことで、煽りの影響を低減した画像を得ることができる。

本発明の第１実施形態の効果について説明する。

撮影時に煽りが生じた場合に、煽り量を算出し、算出した煽り量に基づいて画像処理を行うことで、煽りの影響を低減した画像を得ることができる。また、光学系１に補正機構がある場合であっても、その補正機構を用いずに煽りの影響を低減した画像を得ることができる。

煽りが発生した際に得られた画像データを、画像処理部４によって煽り量に基づいた画像回復処理を行うことで、煽りの影響を低減した画像を得ることができる。

合焦時におけるカメラの姿勢を基準位置として、撮影時における基準位置からのずれを煽り量として算出することで、煽りが生じた場合でも撮影された画像を合焦時の画像へ回復させることができる。

煽り量に基づいて画像回復量を算出し、この画像回復量に基づいて画像回復処理を行うことで、煽り量に応じた画像回復処理を適切に行うことができる。

画素毎に煽り量を算出し、画素毎に画像回復を行うことで、画像全体において煽りの影響を低減した画像を得ることができる。

次に本発明の第２実施形態について図５を用いて説明する。図５は第２実施形態の撮像システムの概略ブロック図である。

第２実施形態は、第１実施形態の撮像システムに加えてピントズレ演算部１０を備える。その他の構成は第１実施形態と同じ構成であり、第１実施形態と同じ符号を付し、ここでの説明は省略する。回復量演算部１６は、ピントズレ量に基づいて画像回復量を算出する。

ピントズレ演算部１０は、煽り量に基づいて、例えば図６に示すルックアップテーブルからピントズレ量を算出する。なお、図６に示すルックアップテーブルの値は例示であり、これに限られることはない。また、ルックアップテーブルとしては、さらに多くの煽り量、および煽り量に対応するピントズレ量を有しても良い。

次に第２実施形態の撮影時の制御について図７のフローチャートを用いて説明する。

ステップＳ２００からステップＳ２０４までの制御は第１実施形態のステップＳ１００からステップＳ１０４と同じ制御なのでここでの説明は省略する。

ステップＳ２０５では、煽り量に基づいてピントズレ量を算出する。

ステップＳ２０６では、ピントズレ量に基づいて画像回復量を算出する。ピントズレ量から画像回復量を算出する方法としては、第１実施形態のステップＳ１０５と同様に予め設定されたグラフなどから算出する。

ステップＳ２０７では、光学系１の状態に応じて画像回復量を補正する。光学系１の状態とは、例えば焦点距離の情報である。例えば光学系１の焦点距離が広角側となっていか、望遠側となっているかによって、同じ煽り量であってもピントズレ量は変化する。そのため、画像回復量を光学系１の状態に応じて補正する。光学系１の状態に応じて画像回復量を補正することで、正確な画像回復量を算出することができる。

また、光学系１の特性に応じて画像回復量を補正する。光学系１の特性とは、例えば収差情報やMTFである。煽りが発生すると、合焦した位置から撮像素子３の受光面が傾くので、受光面の傾きによってデフォーカスする。図８に示すように煽りによってｘだけデフォーカスすると、合焦した位置であるＭＴＦのピークからＭＴＦがＭｘだけ低下する。このような場合には、低下したＭｘを回復するように画像回復量を補正することで、正確な画像回復量を算出することができる。

光学系１の状態、および光学系１の特性は、例えばルックアップテーブルとして記憶させておく。また、光学系１の特性を式で表すことができる場合、この式（近似式を含む）を記憶していても良い。

ステップＳ２０８では、補正した画像回復量に基づいて回復画像を得るために画像処理を行う。

ステップＳ２０９では、画像回復量に基づいて画像処理を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

なお、ピントズレ量を例えば回復演算部８などの画像処理部４に記憶させても良い。ピントズレ量などを記憶させることで、レリーズボタンを押し続けて連写を行う場合に、画像処理にかかる時間を短くし、時間当たりの撮影枚数を多くすることができる。

本発明の第２実施形態の効果について説明する。

煽り量からピントズレ量を算出し、ピントズレ量に基づいて画像回復量を算出することで、ピントズレ量に応じた画像回復処理を行うことができる。

光学系１の状態、および光学系１の特性に基づいて画像回復量を補正することで、煽りの影響をさらに低減した画像を得ることができる。

光学系１の状態、および光学系１の特性を予め記憶させておくことで、画像処理にかかる時間を短くすることができる。

次に本発明の第３実施形態の撮像システムについて図９を用いて説明する。図９は第３実施形態の撮影時の制御を示すフローチャートである。

ステップＳ３００からステップＳ３０５は第２実施形態のステップＳ２００からステップＳ２０５と同じ制御なので、ここでの説明は省略する。

ステップＳ３０６では、ピントズレ量を許容値と比較する。ピントズレ量が許容値以下である場合には画像回復処理を行わずにステップＳ３１０へ進む。また、ピントズレ量が許容値よりも大きい場合には画像回復処理を行うためにステップＳ３０７へ進む。許容値は、予め設定される値であり、例えば画像を印刷した場合などに、ユーザーが煽りが生じていることを感じない値である。許容値はメーカにより設計時に設定される。また、撮影者が設定可能としても良い。

ステップＳ３０７からステップＳ３０９は第２実施形態のステップＳ２０６からステップＳ２０８と同じ制御なので、ここでの説明は省略する。

ステップＳ３１０では、ピントズレ量が許容値以下である場合には撮像素子３によって撮影した画像をそのまま画像表示部５に表示し、画像データを画像保存部６に保存する。また、ピントズレ量が許容値よりも大きい場合には、ピントズレ量に応じて画像回復を行った画像を画像表示部５に表示し、画像データを画像保存部６に保存する。

なお、本実施形態ではピントズレ量に基づいて画像回復処理を行うかどうか判定したが、煽り量に基づいて画像回復処理を行うかどうか判定しても良い。

第３実施形態の効果について説明する。

ピントズレ量が許容値よりも大きい場合にピントズレ量に基づいて画像回復処理を行い、ピントズレ量が許容値以下である場合には画像回復処理を行わないことで、ピントズレ量がほとんど無い場合には画像処理を少なくすることができる。

次に本発明の第４実施形態の撮像システムについて図１０を用いて説明する。図１０は第４実施形態の撮像システムの概略ブロック図である。第４実施形態の撮像システムは、撮像装置と処理装置とから構成される。本実施形態では撮像装置としてカメラを用い、処理装置としてコンピュータを用いた場合について説明する。しかし、これらに限られることはない。

カメラは、光学系１と、撮像素子３と、煽り検出部２と、回復量演算部８と、記録部１１と、制御部７とを備える。第１実施形態と同じ構成のものについては、第１実施形態と同じ符号を付し、ここでの説明は省略する。

記録部１１は、撮像素子３から出力される電気信号を画像データとして記録する。また、記録部１１は、回復量演算部８によって演算された画像回復量を記録する。なお、画像データと画像回復量とは相関を持って記録される。また、記録部１１は、記憶媒体に画像データおよび画像回復量を記憶させる。記憶媒体は、例えば磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。記憶媒体はカメラおよびコンピュータに脱着可能である。

コンピュータは、画像処理部１２と、画像表示部５と、画像保存部６とを備える。画像処理部１２は画像回復部１３を備える。画像回復部１３は、記憶媒体に記憶された画像データおよび画像回復量を読み出し、撮像素子３から出力された電気信号に対して画像回復処理を行う。

コンピュータは、ＣＰＵ、ＲＯＭ，ＲＡＭ等から構成されている。ＲＯＭは制御プログラムおよび各データを格納している。ＣＰＵが、ＲＯＭに格納された制御プログラムに基づいて演算を実行することにより、処理装置としての各機能が発揮される。

次に第４実施形態の撮影時の制御について図１１のフローチャートを用いて説明する。

ステップＳ４００からステップＳ４０５までの制御は第１実施形態のステップＳ１００からステップＳ１０５までの制御と同じ制御なので、ここでの説明は省略する。

ステップ４０６では、記憶媒体に画像データと画像回復量とを記憶させる。

本実施形態では、記憶媒体に記憶された画像データと画像回復量とは、パーソナルコンピュータで読み出され、画像回復処理が行われ、煽りの影響を低減した画像が作成される。

第４実施形態の効果について説明する。

画像データと画像回復量とを記録部１１により、記憶媒体に記憶させる。そして、コンピュータによって記憶媒体に記憶された画像データと画像回復量とを読み出して画像回復処理を行うことで、カメラにおける処理を少なくすることができる。

次に本発明の第５実施形態の撮像システムについて図１２を用いて説明する。図１２は第５実施形態の概略ブロック図である。

カメラは、第４実施形態のカメラに加えて、ピントズレ演算部１０と、第１通信部１４とを備える。その他の構成については、第４実施形態と同じ構成なので、ここでの説明は省略する。なお、記録部１５は、画像データと画像回復量とを記録する。また、回復量演算部１６は、ピントズレ量に基づいて画像回復量を算出する。

第１通信部１４は、記録部１５に記録された画像データと画像回復量とを読み出し、コンピュータの第２通信部１７に無線を介して画像データと画像回復量との信号を送る。

コンピュータは、第２通信部１７と、画像処理部１２と、画像表示部５と、画像保存部６とを備える。第２通信部１７は第１通信部１４から送られた画像データと画像回復量の信号を受信する。受信した信号は画像処理部１２に送られる。画像処理部１２は画像データと画像回復量とに基づいて、煽りの影響を低減した画像を作成する。

第５実施形態では、カメラの第１通信部１４からコンピュータの第２通信部１７へ画像データと画像回復量とを送信し、カメラとは異なる場所に設置されたコンピュータで画像処理を行う。

なお、本実施形態では、カメラに回復量演算部１６を設けたが、回復量演算部１６をコンピュータに設けても良い。

第５実施形態の効果について説明する。

カメラの第１通信部１４からコンピュータの第２通信部１７へ画像データおよび画像回復量を送ることで、カメラにおける記憶容量を少なくすることができる。また、カメラにおける画像処理を少なくすることができる。また、カメラと離れた場所に設定されたコンピュータで画像処理を随時行うことができる。

各実施形態の構成においては、上記構成に限られることはなく、ハードウェア、ソフトウェアの組み合わせによって実現することが可能である。また、各実施形態を組み合わせることも可能である。

本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。

１ 光学系
２ 煽り検出部
３ 撮像素子
４、１２ 画像処理部
８、１６ 回復量演算部（画像回復量演算部）
９、１３ 画像回復部
１０ ピントズレ演算部
１１、１５ 記録部
１４ 第１通信部（送信部）
１７ 第２通信部（受信部）

Claims (19)

1. 被写体の像が結像する撮像素子と、
   撮影時に生じた煽り量を検出する煽り検出部と、
   前記撮像素子によって得られた画像データを前記煽り量に基づいて画像処理を行う画像処理部と、を備えることを特徴とする撮像システム。
2. 前記画像処理部は、煽りが発生して得られた前記画像データを、前記煽り量に基づいて前記煽りが低減するように画像回復処理を行うことを特徴とする請求項１に記載の撮像システム。
3. 前記煽り検出部は、基準位置に対する撮影時の煽りを前記煽り量とすることを特徴とする請求項１または２に記載の撮像システム。
4. 前記基準位置は合焦時の位置であることを特徴とする請求項３に記載の撮像システム。
5. 前記基準位置は前記撮像素子の受光面が鉛直方向となる位置であることを特徴とする請求項３に記載の撮像システム。
6. 前記煽り量に基づいて画像回復量を算出する画像回復量演算部を備え、
   前記画像処理部は、前記画像回復量に基づいて前記画像処理を行うことを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
7. 前記画像回復量演算部は、前記煽り量を保存することを特徴とする請求項１から６のいずれか一つに記載の撮像システム。
8. 前記煽り量からピントズレ量を算出するピントズレ演算部を備え、
   前記画像処理部は、前記ピントズレ量に基づいて前記画像処理を行うことを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
9. 前記ピントズレ量に基づいて画像回復量を算出する画像回復量演算部を備え、
   前記画像処理部は、前記画像回復量に基づいて画像処理を行うことを特徴とする請求項８に記載の撮像システム。
10. 前記画像回復量演算部は、前記ピントズレ量を保存することを特徴とする請求項９に記載の撮像システム。
11. 前記画像回復量演算部は、光学系の状態に応じて前記画像回復量を補正することを特徴とする請求項６から１０のいずれか一つに記載の撮像システム。
12. 前記画像回復量演算部は、光学系の特性に応じて前記画像回復量を補正することを特徴とする請求項６から１１のいずれか一つに記載の撮像システム。
13. 前記画像回復量演算部は、前記光学系の状態と前記光学系の特性との少なくともいずれか一つを記憶することを特徴とする請求項１１または１２に記載の撮像システム。
14. 前記煽り検出部は、前記撮像素子の少なくとも２以上の画素における煽り量を算出し、
    前記画像処理部は、少なくとも２以上の前記煽り量に基づいて前記画像処理を行うことを特徴とする請求項１から１３のいずれか一つに記載の撮像システム。
15. 前記画像処理部は、前記撮像素子によって得られた前記画像データを微分した値と前記画像回復量とに基づいて前記画像データに前記画像処理を行うことを特徴とする請求項１から１４のいずれか一つに記載の撮像システム。
16. 前記画像処理部は、前記煽り量が所定値よりも大きい場合に、前記煽り量に基づいて前記画像処理を行うことを特徴とする請求項１から１５のいずれか一つに記載の撮像システム。
17. 前記撮像素子と、前記煽り検出部と、前記撮像素子から得られた画像データと前記煽り量に基づいた前記画像回復量とを記録する記録部と、を備えた撮像装置と、
    前記記録部によって記録された前記画像データを前記画像回復量に基づいて画像処理を行う前記画像処理部を備えた画像処理装置と、を備えることを特徴とする請求項６から１６のいずれか一つに記載の撮像システム。
18. 前記撮像装置は、前記画像データと前記画像回復量を送信する送信部を備え、
    前記画像処理装置は、前記送信部から送信された前記画像データを受信する受信部を備えることを特徴とする請求項１７に記載の撮像システム。
19. 被写体の像が結像される撮像素子により被写体像を撮像し、
    撮像時に生じた煽り量を検出し、
    前記撮像素子によって得られた画像データを前記煽り量に基づいて画像処理を行う、ことを特徴とする撮像方法。