JP2010258700A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2010258700A JP2010258700A JP2009105510A JP2009105510A JP2010258700A JP 2010258700 A JP2010258700 A JP 2010258700A JP 2009105510 A JP2009105510 A JP 2009105510A JP 2009105510 A JP2009105510 A JP 2009105510A JP 2010258700 A JP2010258700 A JP 2010258700A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- lens
- geometric distortion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】レンズ光軸方向へ移動する被写体を撮像面内位置に応じて異なる露光タイミングで撮像したときに、見た目の幾何学歪みが少ない画像を得られる撮像装置を提供する。
【解決手段】露光タイミングが撮像面内の位置によって異なる露光位相差時間が発生するXYアドレス走査型の撮像素子11と、撮像素子11の撮像面に被写体像を結像するレンズ1と、レンズ1の光軸方向へ移動する被写体の像の像面位置の露光位相差時間における像面移動量を検出する像面検出部22と、被写体の光軸方向への移動に伴う倍率変化により被写体像に発生する幾何学歪みを、像面移動量に基づいて画像処理し補正する幾何学歪補正処理部35と、を備えた撮像装置。
【選択図】図1
【解決手段】露光タイミングが撮像面内の位置によって異なる露光位相差時間が発生するXYアドレス走査型の撮像素子11と、撮像素子11の撮像面に被写体像を結像するレンズ1と、レンズ1の光軸方向へ移動する被写体の像の像面位置の露光位相差時間における像面移動量を検出する像面検出部22と、被写体の光軸方向への移動に伴う倍率変化により被写体像に発生する幾何学歪みを、像面移動量に基づいて画像処理し補正する幾何学歪補正処理部35と、を備えた撮像装置。
【選択図】図1
Description
本発明は、露光タイミングが撮像素子の撮像面内の位置によって異なる撮像装置に関する。
露光タイミングが撮像素子の撮像面内の位置によって異なる撮像装置としては、フォーカルプレーンシャッタを備えた撮像装置や、XYアドレス走査型の撮像素子を備え電子ローリングシャッタ方式の露光制御を行う撮像装置などが、幾つかの例として挙げられる。
このような撮像装置により移動する被写体(特に、一画像の露光期間における像面移動量を無視することができない程度に高速にまたは近点で移動する被写体)を一般的な撮影シーケンス(ここに、一般的な撮影シーケンスとは、レンズを停止させて像面位置を一定に固定して露光する撮影シーケンスのことである。この一般的な撮影シーケンスは、撮影された画像を、同一被写体面を同時に撮影した画像と等価であると見なしても良い場合に適用される。このように見なせる具体例としては、被写体が静止している場合や移動速度が十分に低い場合、あるいは被写体の移動速度が高速であっても距離が遠い(つまり遠点にある)ために像面移動速度が十分に低い場合などが挙げられる。)で撮像すると、撮像面内のある位置を露光しているときの被写体の位置と、撮像面内の他の位置を露光しているときの被写体の位置とが異なるために、得られる画像に被写体の幾何学的な歪みが発生してしまったり、レンズの合焦位置がずれてしまったりすることがある。そこで、こうした点に対応するための技術が、従来より提案されている。
まず、幾何学的な歪みが発生する点に対応する技術の一例として、特開2004−96498号公報には、移動物体を非蓄積型CMOSカメラで撮影すると共に、移動物体の速度を速度計測機構により計測し、撮影して得られた画像を計測して得られた速度に基づき画像処理装置により歪み補正する技術が記載されている。そして、物体の移動方向として、該公報の図2、図5(b)、図11には左から右への移動方向が、図5(c)には下から上への移動方向が、図5(d)には上から下への移動方向が、それぞれ例示されている。
また、幾何学的な歪みが発生する点に対応する技術の他の例として、特開2006−148496号公報には、補正対象フレームの画像信号を、補正対象フレームの前後の幾つかのフレームの画像信号を用いて補間することにより、フォーカルプレーン歪みを補正する技術が記載されている。そして、この技術によれば、被写体の速度を求めて歪み補正する等の複雑な処理を行うことなく、フォーカルプレーン歪みを補正することができるとされている。
一方、レンズの合焦位置がずれる点に対応する技術としては、特許3136661号公報、特開平01−285907号公報、特開平08−068934号公報、特開平09−068644号公報などに記載されたものが挙げられる。これらの公報に記載の技術は、撮像面内の各位置が露光されるタイミングに、その位置に結像される被写体像が合焦するように、レンズを連続的に駆動する合焦制御を行う技術である。そして、これにより、移動する被写体に片ボケが発生することがないようにしている。
なお、被写体に正対することがでないときに発生する被写体像の幾何学歪みを、あおり撮影により補正する技術は、従来より広く知られている。
上記特開2004−96498号公報に記載された被写体の移動方向は、上述したように、撮像装置の光軸とほぼ直交する平面内の方向のみとなっている。しかしながら、被写体が撮像装置の光軸方向に移動する場合、すなわち、撮像装置に近付く方向に移動したり、遠ざかる方向に移動したりする場合であっても、被写体の画像には幾何学的な歪みが発生する。この点に関して、本発明に係る図4、図6、図8を参照して説明する。まず、図4に示すように、被写体OBJが、撮像装置の光軸に垂直な矩形平面状をなすものであるというモデル化を行う。さらに、被写体OBJの上側が時間的に先に撮像素子により露光され、被写体OBJの下側が時間的に後に撮像素子により露光されるような露光位相差時間が発生しているものとする。
すると、被写体OBJが撮像装置に近付いてくる場合には、図6に示すように、時間的に先に露光される被写体OBJの上側の距離が遠いために小さく撮影され、時間的に後に露光される被写体OBJの下側の距離が近いために大きく撮影されるような、略台形状の幾何学的な歪み(倍率歪み)が発生することになる。
逆に、被写体OBJが撮像装置から遠ざかっている場合には、図8に示すように、時間的に先に露光される被写体OBJの上側の距離が近いために大きく撮影され、時間的に後に露光される被写体OBJの下側の距離が遠いために小さく撮影されるような、図6とは上下逆の略台形状の幾何学的な歪み(倍率歪み)が発生することになる。
しかしながら、上記特開2004−96498号公報には、このような被写体の光軸方向への移動に起因する幾何学的な歪みに対応する技術は、記載されていなかった。
一方、特許3136661号公報、特開平01−285907号公報、特開平08−068934号公報、特開平09−068644号公報などには、被写体の移動方向が撮像装置の光軸方向であることが記載されているが、これら各公報に記載された技術は移動被写体へのレンズの焦点調節に関する技術(被写体の片ボケに対応するための技術)であり、被写体の光軸方向への移動に起因する幾何学的な歪みに対応する技術ではない。
また、上記特開2006−148496号公報に記載のものは、フォーカルプレーン歪みを簡易的に補正しようとする試みであるが、例えば被写体が存在している画素データと被写体が存在していない画素データとを補間する場合が生じるなど、必ずしも期待通りの歪み補正性能を得られるものとも思われない。しかも、該公報に記載の技術は、被写体の光軸方向への移動に起因する幾何学的な歪みを特に考慮したものでもない。
本発明は上記事情に鑑みてなされたものであり、露光タイミングが撮像素子の撮像面内の位置によって異なる撮像装置により、レンズの光軸方向への移動を含むように移動する被写体を撮像したときに、見た目に幾何学歪みが少ない画像を得ることができる撮像装置を提供することを目的としている。
上記の目的を達成するために、本発明のある態様による撮像装置は、撮像素子を有し、露光タイミングが前記撮像素子の撮像面内の位置によって異なる露光位相差時間が発生する撮像装置であって、前記撮像素子の撮像面に被写体像を結像するレンズと、前記露光位相差時間に前記レンズの光軸方向への移動を含むように移動する被写体の、前記被写体像の像面位置の該露光位相差時間における像面移動量を検出する像面検出部と、前記被写体の移動に伴う倍率変化により前記被写体像に発生する幾何学歪みを、前記像面移動量に基づいて補正する幾何学歪補正部と、を具備したものである。
本発明の撮像装置によれば、露光タイミングが撮像素子の撮像面内の位置によって異なる撮像装置により、レンズの光軸方向への移動を含むように移動する被写体を撮像したときに、見た目に幾何学歪みが少ない画像を得ることができる。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図13は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
図1から図13は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
本実施形態の撮像装置は、例えばデジタルカメラとして構成されたものとなっていて、図1に示すように、レンズ1と、カメラ本体2とを備えている。
レンズ1は、ズームレンズ部3と、フォーカスレンズ部4と、絞り部5と、レンズ制御マイクロコンピュータ(以下では、「マイクロコンピュータ」を「マイコン」と省略する)6と、を備えている。
カメラ本体2は、分光ミラー10と、撮像素子11と、タイミングジェネレータ(TG)12と、アナログフロントエンド(AFE)13と、デジタルシグナルプロセッサ(DSP)14と、LCD表示部15と、RAM17と、位相差センサユニット18と、システム制御マイコン20と、を備えている。ここに、システム制御マイコン20は、露出制御部21と、像面検出部22と、を備えている。また、DSP14は、画素分配部31と、表示処理部32と、記録処理部33と、累積処理部34と、幾何学歪補正処理部35と、を備えている。なお、カメラ本体2には、外部フラッシュメモリ16が着脱自在に装着され得るようになっている。
ズームレンズ部3は、レンズ1の焦点距離を変更させて撮像素子11の撮像面に結像される被写体の光学像(被写体像であり、撮影被写体からの反射光である光学情報)の倍率(画角)調整を行うためのズームレンズと、このズームレンズを駆動するためのズームレンズ駆動部と、を備えたものである。そして、ズームレンズ駆動部は、レンズ制御マイコン6の指令により、ズームレンズを駆動するようになっている。なお、電動ズームでなく手動ズームである場合には、ズームレンズ駆動部を備えなくても構わない。
フォーカスレンズ部4は、レンズ1の焦点位置を変更するためのフォーカスレンズと、このフォーカスレンズを駆動するためのフォーカスレンズ駆動部と、を備えたものである。そして、フォーカスレンズ駆動部は、レンズ制御マイコン6の指令により、フォーカスレンズを駆動するようになっている。
絞り部5は、レンズ1を通る被写体からの反射光の通過範囲を規定することにより撮像素子11上に結像される光学像の明るさを調節するための絞りと、この絞りを駆動するための絞り駆動部と、を備えたものである。そして、絞り駆動部は、レンズ制御マイコン6の指令により、絞りを駆動するようになっている。
レンズ制御マイコン6は、カメラ本体2のシステム制御マイコン20からの指令に基づいて、ズームレンズ部3とフォーカスレンズ部4と絞り部5とを制御するレンズ制御部である。
分光ミラー10は、レンズ1からの光を、一部透過し一部反射する分光デバイスである。この図1に示す構成においては、透過光路上に撮像素子11が配設され、反射光路上に位相差センサユニット18が配設されている。
撮像素子11は、例えばCMOS撮像素子などのXYアドレス走査型の撮像素子として構成されたものであり、後述するように、電子ローリングシャッタによる読み出しを行うことができるようになっている。この撮像素子11は、レンズ1により導かれた光学情報を光電変換して、アナログの画像データとして出力するものである。
TG12は、システム制御マイコン20から指示された撮像素子11の動作モードに応じて、撮像素子11の駆動タイミングを制御するためのタイミング信号を発生するものである。
AFE13は、撮像素子11から出力されたアナログの画像データをゲイン調整した後に、アナログ/デジタル変換処理を行ってデジタルの画像データとして出力するものである。
DSP14は、AFE13からのデジタルの画像データに、種々のデジタル信号処理を施すものである。
このDSP14が備える画素分配部31は、AFE13からの画像データを、表示処理部32と、記録処理部33と、累積処理部34とへそれぞれ分配して出力する。そして、表示処理部32と記録処理部33と累積処理部34とは、以下のような処理を並列的に実行するようになっている。
表示処理部32は、LCD表示部15の表示画素構成に合致するように、画素分配部31からの画像データにリサイズ処理とフレームレートの整合処理を行って表示用画像データを生成する。
記録処理部33は、画素分配部31からの画像データをRAM17に一旦記憶させ、さらにその後の処理途中の画像データや処理後の画像データ、あるいは処理に関連する各種のパラメータなどをRAM17に記憶させながら、記録用の画像データ処理や、画像データの圧縮処理などを行う。
累積処理部34は、画素分配部31からの画像データに基づき、AE検出用のAE評価値およびAWB検出用のAWB評価値を算出し、算出結果をシステム制御マイコン20の露出制御部21等へ出力する処理を行うものである。
幾何学歪補正処理部35は、画素分配部31から記録処理部33を介してRAM17に記憶された画像データに、画像処理としての幾何学歪補正処理を必要に応じて行う幾何学歪補正部である。ここに、幾何学歪補正処理部35が幾何学歪補正処理を行うのは、例えば、処理対象の画像が静止画像であって、かつ、所定値以上の像面移動速度をもって被写体が光軸方向に移動しているときなどである。そして、この幾何学歪補正処理部35には、像面検出部22により算出された像倍率変化比率が、システム制御マイコン20から入力されるようになっている。幾何学歪補正処理部35は、この像倍率変化比率に基づいて、RAMに一時的に記憶されている画像データを読み出しながら、例えば線形補間による図形形状変換処理などの幾何学歪補正処理を行う。
LCD表示部15は、DSP14の表示処理部32から出力される表示用画像データに基づき、画像を表示するものである。
外部フラッシュメモリ16は、DSP14の記録処理部33により記録用に処理された画像データを不揮発に記録する記録媒体である。従って、幾何学歪補正処理が行われた場合には、外部フラッシュメモリ16に記録されるのはこの幾何学歪補正処理が行われた画像データとなる。
RAM17は、DSP14が処理する画像データや処理に用いられるパラメータを一時的に記憶すると共に、システム制御マイコン20の作業領域としても用いられるものである。
位相差センサユニット18は、分光ミラー10からの光学情報を複数の光路に分割してラインセンサにより光電変換し、光電変換により得られた1次元の映像信号の相関演算を行って、演算結果として得られる像の離間情報としての相関値(この相関値は、被写体像の合焦度合いを示す情報である)をシステム制御マイコン20の像面検出部22へ出力するAF検出部である。
システム制御マイコン20は、図示しないユーザインタフェースからの入力に応じて、カメラ本体2内の各部を統括的に制御しあるいは設定すると共に、レンズ制御マイコン6へ指令を与えてレンズ1の制御も行うものである。
すなわち、システム制御マイコン20の像面検出部22は、位相差センサユニット18からの相関値に基づいて、相対的な合焦状態を示すディフォーカス量(像面位置のズレ量)(なお、このディフォーカス量は、合焦している場合にはゼロとなる)をAF評価値として算出し、このAF評価値に基づいてオートフォーカス制御を行うようにレンズ制御マイコン6へ指令を出力する。
さらに、システム制御マイコン20は、フォーカスレンズ部4の駆動位置をレンズ制御マイコン6に問い合わせて、その駆動位置から絶対的な像面の位置または合焦すべき被写体の位置を、演算によりあるいはシステム制御マイコン20が備える特性記憶テーブルを参照することにより求める。
そして、システム制御マイコン20は、記録モードが動画記録モードであるかそれ以外の記録モード(例えば静止画記録モード)であるかを確認し、動画記録モード以外である場合には、位相差センサユニット18から時系列的に得られる相関値に基づいて、像面検出部22により像面位置を時系列的に算出する。さらに、像面検出部22は、撮像素子11の上端ラインの露光タイミングから下端ラインの露光タイミングまでの露光位相差時間に、移動方向の成分としてレンズ1の光軸方向の成分を含むように移動する被写体の、レンズ1により結像される被写体像の像面移動速度(すなわち、像面の移動方向および単位時間当たりの像面の移動量)を算出する。
次に、システム制御マイコン20は、例えば、算出した像面移動速度を所定値と比較することにより、幾何学歪補正処理が必要であるか否かを判定する。そして、幾何学歪補正処理が必要であると判定した場合には、システム制御マイコン20は、像面検出部22により像面移動速度(あるいはさらに必要に応じて像面位置)に基づいて露光位相差時間における像面移動量を検出し、さらに像面移動量から像倍率変化比率を算出して、算出した像倍率変化比率をDSP14へ出力して、幾何学歪補正処理部35に幾何学歪補正処理を行わせる制御をするようになっている。ここに、像倍率変化比率は、上述したように像面移動量から算出されるために、幾何学歪補正処理部35は、被写体の移動に伴う倍率変化により被写体像に発生する幾何学歪みを像面移動量に基づいて補正するということができる。
さらに、システム制御マイコン20の露出制御部21は、累積処理部34からのAE評価値に基づいて、レンズ制御マイコン6へ指令を与えて絞り部5を駆動し、あるいはTG12へ指令を与えて撮像素子11の電荷蓄積時間を制御し、さらにあるいはAFE13におけるゲインを調整するように制御する。
加えて、システム制御マイコン20は、累積処理部34からのAWB評価値に基づいて、AFE13における色成分毎のゲインを調整するように制御する。
また、システム制御マイコン20は、撮像素子11の動作モードを設定して、TG(タイミングジェネレータ)が発生する撮像素子11のタイミング信号を制御する処理も行う。
なお、図1には、露光タイミングが撮像素子11の撮像面内の位置によって異なる露光位相差時間が発生する撮像装置として、XYアドレス走査型の撮像素子11を備えた構成例を示しているが、これに限らず、レンズ1と適宜の型の撮像素子11との間にメカニカル機構のフォーカルプレーンシャッタを配設した構成であっても構わない。
次に、図2は撮像素子11の回路構成例を示す図である。この図2においては、撮像素子11がCMOS撮像素子などのXYアドレス走査型の撮像素子である場合を例に挙げている。より具体的には、この図2に示す画素の回路構成は、一般的なCMOS撮像素子の画素の等価回路となっている。
撮像素子11には、複数の画素PIXが行方向および列方向の2次元状に配列されている。各画素PIX内には、入射光量に応じて電荷を蓄積するフォトダイオードPDと、このフォトダイオードPDに蓄積された電荷を電圧に変換するPDアンプPDAMPと、このPDアンプPDAMPからの読み出しを行う際のオン/オフスイッチとして機能する行トランジスタTrRと、が配設されている。行トランジスタTrRは、入力側がPDアンプPDAMPに、出力側が垂直読出線VLに、ゲートが水平選択線HLに、それぞれ接続されている。
行毎に設けられた水平選択線HLは行デコーダにそれぞれ接続されているとともに、各垂直読出線VLはオン/オフスイッチとして機能する列トランジスタTrCをそれぞれ介して出力線OLに接続されている。そして、各列トランジスタTrCは、ゲートが列デコーダにそれぞれ接続されている。また、出力線OL上には出力アンプAMPが接続されている。
このような構成の撮像素子11から、任意の位置の1画素の画素データを読み出すときには、行デコーダにより着目画素に接続されている水平選択線HLのみに走査信号を印加して行トランジスタTrRをオンするとともに、列デコーダにより着目画素に接続されている垂直読出線VLに接続された列トランジスタTrCのみに走査信号を印加してオンすれば良い。これにより、着目画素のフォトダイオードPDに蓄積された電荷が、PDアンプPDAMP、行トランジスタTrR、垂直読出線VL、列トランジスタTrC、出力線OL、出力アンプAMP、を順に介して読み出される。また、着目画素以外の画素は、行トランジスタTrRと列トランジスタTrCとの少なくとも一方がオフであるために読み出されることはない。こうして、画素電荷の混合が発生することなく、着目画素の画素データのみを読み出すことができる。
次に、図2に示したような構成の撮像素子11により、画像データの電子ローリングシャッタ読み出し、具体的にはラスタスキャンによる読み出しを行うときの作用について説明する。
ラスタスキャンは、撮像素子11の第1ラインの左端から1画素単位で画素データを読み出し始め、第1ラインの右端まで画素データを読み終わったところで、第2ラインの左端に移動して画素データの読み出しを開始し、以下同様にして、ライン単位で左から右へ向けて画像データを読み出す方式となっている。
このようなラスタスキャンを行う場合には、行デコーダにより第1ラインの水平選択線HLのみに走査信号を印加して第1ラインに配列された全画素PIXの行トランジスタTrRをオンし、この状態で、列デコーダにより第1列目の垂直読出線VLに接続された列トランジスタTrCのみに走査信号を印加してオンし、次に第2列目の垂直読出線VLに接続された列トランジスタTrCのみに走査信号を印加してオンし、といった処理を最終列目の垂直読出線VLに接続された列トランジスタTrCのみに走査信号を印加してオンするところまで行う。これにより、第1ラインに配列された全画素PIXの画素データが、左端から右端へ向けて順に読み出される。
続いて、行デコーダにより第2ラインの水平選択線HLのみに走査信号を印加して同様の処理を行い、さらに、第3ラインから最終ラインまでの処理を同様に行うことにより、ラスタスキャンによる全画素データの時系列の読み出しが行われる。
図3は、フォーカルプレーンシャッタまたは電子ローリングシャッタの露光タイミングと、被写体が光軸方向に等速度移動するときの像面位置と、の関係を示す図である。
グラフの上部は、メカニカル機構のフォーカルプレーンシャッタを用いて露光を行ったとき、またはXYアドレス走査型の撮像素子11により電子ローリングシャッタ方式の読み出しを行ったときの露光タイミングを示している。まず、グラフの上部においては、縦軸が撮像素子上の上下位置(縦軸の上が撮像素子の上、縦軸の下が撮像素子の下)を示し、横軸が経過時間を示している。そして、平行四辺形が撮像素子の1つの画像の露光を示している。すなわち、フォトダイオードPDのリセットRSTは、撮像素子11における上のラインの画素列から、下のラインの画素列へ向かって、ライン単位で順次行われる。そして、リセットRSTから所定の露光時間が経過したところで、フォトダイオードPDからの画像データ読出RDが、撮像素子11における上のラインの画素列から、下のラインの画素列へ向かって、ライン単位で順次行われる。この画像データ読出RDを終了した後は、次の画像を取得するために、再びライン単位でフォトダイオードPDのリセットRSTが行われることになる。
なお、フォーカルプレーンシャッタの場合には、リセットRSTに示すラインが先幕の走行ライン、画像データ読出RDに示すラインが後幕の走行ラインに相当することになる。
このように、フォーカルプレーンシャッタまたは電子ローリングシャッタにより露光を行うと、撮像素子11の上のラインの露光は時間的に先に行われ、下のラインの露光は時間的に後に行われるといったような、露光タイミングが撮像素子11の撮像面内の位置によって異なる露光位相差時間が発生することになる。
一方、グラフの下部は、被写体が撮像装置に近付く方向に光軸上を等速度で移動している場合の合焦すべき像面位置を示している(像面位置が曲線CVCにより示されている)。そして、グラフの下部においては、縦軸が像面位置を示し、横軸が経過時間を示している(なお、横軸はグラフの上部と共通である)。ここに、縦軸においては、上端が焦点距離fに近く、下方がバックフォーカスが延びる方向となっている。被写体距離に換算すると、縦軸の上が遠い位置を、縦軸の下が近い位置を、それぞれ示しており、グラフの縦軸には被写体距離に換算したときの遠近の目安を括弧書きで示している。
被写体が光軸方向に移動すると、1つのラインの露光時間内に像面の移動が発生する(像面移動量△L)。
さらに、あるラインの露光タイミングと別のラインの露光タイミングとの間にも像面の移動が発生する。具体的には、撮像素子11の1ライン目の露光時間の中央における像面位置と、撮像素子11の最終ライン目の露光時間の中央における像面位置と、には差が生じている(図3に平行四辺形で示した4つの画像の露光タイミングの内の、第1の画像の露光タイミングにおける像面移動量が△f1、第3の画像の露光タイミングにおける像面移動量が△f2として示されている)。
従って、1つの画像の露光期間中におけるある像面位置に合焦させて、そのまま焦点位置を固定して撮像したとすれば、得られる画像には片ボケ(つまり、被写体の一部は合焦しているが、他の一部はボケているまたはボケがより大きい状態)が発生することが分かる。
すなわち、例えば、撮像素子11の中央のラインの露光時間の中央時刻における像面位置に合焦させて、そのまま焦点位置を固定して撮像したとすれば、該中央のラインの露光時間の開始時点および終了時点では像面の位置が異なるために、該中央のラインから得られる画像データは、合焦位置を中心としたソフトフォーカスのような画像になると考えられる。
さらに、中央のラインから上端側のラインへ向かうほど像面の移動量が大きくなり、また、中央のラインから下端側のラインへ向かうほど像面の移動量が大きくなるために、得られる画像は、上端側および下端側へ行くほどボケが大きくなるような片ボケが発生していることになる。
加えて、被写体が光軸に沿って等速度で移動するときには、曲線CVCに示すように、被写体が近付くほど単位時間当たりの像面移動量(像面移動速度の大きさ)が大きくなることから、片ボケがより目立って発生するのは被写体が至近位置に近付いたときであることが分かる。
また、被写体が近距離にあるほど被写体像が大きくなることから、例えば被写体が無限遠側から至近側へ向けて近付いてくるときに連写した場合には、撮影時点が後になる画像ほど、また1つの画像内においては下のラインになるほど、被写体における同一長さが撮像素子11上においてより大きな像として結像されることになる。
次に、被写体が撮像装置の光軸方向に移動する場合に、被写体の画像に幾何学的な歪みや片ボケが発生することに関して、図4〜図10を参照して説明する。
まず、図4は、撮像装置に対して被写体が光軸方向に移動する様子を示す図である。
この図4(および図5〜図10)においては、被写体OBJが、撮像装置の光軸に垂直な矩形平面状をなすものであるというモデル化を行っている。また、被写体OBJの背景は、被写体OBJよりも充分に遠方にあってボケが大きいものとする。
そして、被写体OBJは、撮像装置CAMの光軸方向DAXに平行な方向MOVに、撮像装置CAM側へ近付くように、または撮像装置CAMから遠ざかるように、移動している。
なお、図4〜図10においては、被写体OBJの上側が時間的に先に撮像素子11により露光され、被写体OBJの下側が時間的に後に撮像素子11により露光されるような露光位相差時間が発生しているものとしている。
まず、図5は、撮像装置CAMに近付く方向に移動する被写体OBJを、撮像素子11のほぼ中央のラインにおいて合焦するように焦点位置を固定した状態で撮像して得られる画像の例を示す図である。
このときには、時間的に先に露光される被写体OBJの上側の距離が遠いために小さく撮影され(被写体画像IOBJの上側)、時間的に後に露光される被写体OBJの下側の距離が近いために大きく撮影される(被写体画像IOBJの下側)ような、略台形状の幾何学的な歪み(倍率歪み)が発生する。
さらに、撮像素子11のほぼ中央のラインにおいては被写体OBJに合焦しているが、撮像素子11の上側のラインや下側のラインにおいては合焦位置からずれているために、被写体画像IOBJには片ボケが発生している(この図5および後述する図7、図9においては、輪郭部分に発生しているボケを点線ハッチングにより示し(ただし、ボケは輪郭部分にのみ発生するものでないことはいうまでもない)、ボケが発生していないときの輪郭線を一点鎖線により示している)。しかも、このときのボケ量は、中央のラインから離れたラインほど大きくなっている。
次に、図6は、撮像装置CAMに近付く方向に移動する被写体OBJを、焦点位置を被写体OBJに連続的に合わせながら撮像して得られる画像の例を示す図である。
この図6(あるいは後述する図8)に示す例においては、レンズ制御マイコン6は、撮像素子11の撮像面内の任意の位置に関して、該位置がほぼ露光タイミングになっているときに、該位置に被写体像が合焦されるように、フォーカスレンズ部4を連続的に駆動させるように制御している。
この図6を図5と比較すると、被写体画像IOBJに略台形状の幾何学的な歪み(倍率歪み)は発生しているが、片ボケは発生していないことが分かる。
続いて、図7は、撮像装置CAMから遠ざかる方向に移動する被写体OBJを、撮像素子11のほぼ中央のラインにおいて合焦するように焦点位置を固定した状態で撮像して得られる画像の例を示す図である。
このときには、時間的に先に露光される被写体OBJの上側の距離が近いために大きく撮影され(被写体画像IOBJの上側)、時間的に後に露光される被写体OBJの下側の距離が遠いために小さく撮影される(被写体画像IOBJの下側)ような、図5とは上下逆の略台形状の幾何学的な歪み(倍率歪み)が発生する。
さらに図5と同様に、撮像素子11のほぼ中央のラインにおいては被写体OBJに合焦しているが、撮像素子11の上側のラインや下側のラインにおいては合焦位置からずれているために、被写体画像IOBJには片ボケが発生している。このときのボケ量が中央のラインから離れたラインほど大きくなっているのも、図5と同様である。
また、図8は、撮像装置CAMから遠ざかる方向に移動する被写体OBJを、焦点位置を被写体OBJに連続的に合わせながら撮像して得られる画像の例を示す図である。
この図8を図7と比較すると、被写体画像IOBJに略台形状の幾何学的な歪み(倍率歪み)は発生しているが、片ボケは発生していないことが分かる。
そして、図9は、図5または図7に示した画像を、幾何学歪補正して得られる画像の様子を示す図である。
幾何学歪補正処理部35による処理を行っているために、図示のように、台形状の幾何学歪は補正されているものの、片ボケは幾何学形状をやや変形させながらそのまま残存している。なお、特定の被写体画像IOBJの幾何学的な歪みを補正するように処理を行うと、元画像の背景に歪みがなくても、処理後の背景には幾何学的な歪みが発生してしまうことになるが、上述したように背景が充分にボケているような場合には、幾何学的な歪みが発生しても目立つことはない。
これに対して、図10は、図6または図8に示した画像を、幾何学歪補正して得られる画像の様子を示す図である。
幾何学歪補正処理部35による処理を行っているために、図示のように、台形状の幾何学歪が補正され、しかも、処理対象の画像中の被写体画像IOBJには元々片ボケが発生していないために、幾何学歪補正処理後の画像にも片ボケは発生していない。そして、この図10に示す画像は、図4と比較すれば分かるように、被写体OBJが静止した状態で露光して得られる画像との視覚的な違和感が、極めて小さい画像となる。
なお、図4〜図10においては、簡単のためにレンズ1の光軸方向へ移動する被写体OBJについて説明したが、光軸方向へのみ移動する被写体OBJに限るものではもちろんなく、レンズ1の光軸方向への移動を含む(つまり、移動方向の成分としてレンズ1の光軸方向の成分を含む)ように移動する被写体OBJであれば構わない。
次に、図11および図12を参照して、幾何学歪補正(あるいはさらに1画像内における連続的な焦点調節)を行うか否かの切り分けを、記録モードに応じて行うことについて説明する。
まず、図11は、動画記録モードのときには幾何学歪補正と一フレーム画像内の連続的な焦点調節を行わない様子を示す図である。
動画像を撮影する際には、幾何学歪みや片ボケの変化が、被写体が光軸方向に移動している連続的な変化として発生し、動画像のスピード感に繋がっている。そこで、システム制御マイコン20は、動画記録モードのときには、幾つかの時刻t1〜t3におけるフレーム画像を例示するように、幾何学歪補正および一フレーム画像内の連続的な焦点調節を行わないように制御している。
一方、図12は、動画記録モード以外のときには幾何学歪補正と一画像内の連続的な焦点調節を行う様子を示す図である。なお、図11との対比感をより高めるために、この図12においては連写記録モードにより静止画像を記録しているときの様子を示している。ただし、以下の説明は、単写記録モードであっても同様である。
静止画像は、単写はもちろん、例え連写であっても、1枚の画像を基本単位として観察されるものである。そのために、1枚の画像の内部に幾何学歪みや片ボケがあると、観察者に違和感を与えたり、画質が良くないと感じさせたりする原因となってしまう。従って、システム制御マイコン20は、図12に幾つかの時刻t1〜t3における画像を例示するように、静止画記録モードなどのとき(動画記録モード以外のとき)には、幾何学歪補正および一画像内の連続的な焦点調節の両方を行うように制御している。
次に、図13は、撮像装置の作用を示すフローチャートである。
この処理を開始すると、システム制御マイコン20は、まず記録モードが動画記録モードであるかそれ以外であるかを確認する(ステップS1)。
ここで、記録モードが動画記録モード以外(例えば静止画記録モード等)である場合には、図12を参照して説明したように、基本的に、幾何学歪補正(像倍率補正)および片ボケ補正を以下に説明するように行う。
すなわち、システム制御マイコン20は、ROM等の不揮発性記憶媒体に予め記憶しているシステム情報を参照して、シャッタの幕速度(電子ローリングシャッタの幕速度、あるいはフォーカルプレーンシャッタの幕速度)を取得する(ステップS2)。取得した幕速度を用いれば、システム制御マイコン20は、撮像素子11上の任意の位置における、該撮像素子11上の予め定められた基準位置との露光位相差時間を知ることができる。従って、システム制御マイコン20は、例えば、シャッタ幕の移動方向に沿った撮像素子11の上端ラインと下端ラインとの露光位相差時間を知ることができる。
次に、システム制御マイコン20は、像面検出を行う(ステップS3)。ここでは、システム制御マイコン20は、位相差センサユニット18からの相関値に基づいてディフォーカス量を算出する。さらに、システム制御マイコン20は、レンズ制御マイコン6に現在のフォーカスレンズ部4の位置を問い合わせる。そして、システム制御マイコン20は、レンズ制御マイコン6から受信した現在のレンズ位置に対応する絶対的な像面位置を算出して、この像面位置にディフォーカス量を加算することにより、本来合焦すべき像面位置を求める。この像面検出処理は、適宜の時間間隔で位相差センサユニット18から相関値を取得しながら、合焦するまで複数回に渡って行われる(なお、動体追尾AF(コンティニュアスAF)の場合には、合焦した後にも継続的に行われる)。
続いて、システム制御マイコン20は、像面移動速度の計算を行う(ステップS4)。ここでは、システム制御マイコン20は、今回の像面検出を行って得られた像面位置から、前回の像面検出を行って得られた像面位置を減算し、この減算値を、前回の像面検出を行ってから今回の像面検出を行ったときまでの経過時間で割ることにより、像面移動速度を求める。ただし、像面移動速度は、一定値をとるとは限らず、一般には時間的に変化する(図3等参照)。従って、ここで求めた像面移動速度は、該像面移動速度に基づいて予測しようとしている先の時点の像面移動速度とは異なる可能性がある。そこで、上述したように2つの時刻における像面検出に基づいて像面移動速度を求める代わりに、例えば、3つ以上の時刻における像面検出に基づいて2次もしくはそれ以上の高次補間を行うことにより像面移動速度をより正確に予測するようにしても良い。あるいは、2つの時刻における像面検出に基づいて求めた像面移動速度に、適宜の係数(この係数は、被写体が近付いているか遠ざかっているかと、被写体までの距離と、に応じた値になると考えられる)を乗算して補正するようにしても構わない。
さらに、システム制御マイコン20は、撮像素子11の撮像面における上端ラインと下端ラインとの露光位相差時間に、ステップS4において求めた像面移動速度(例えば、撮像素子11の中央のラインが露光される時間の中央時刻における像面移動速度)を乗算することにより、上端ライン露光時から下端ライン露光時までの像面移動量を算出する(ステップS5)。なお、1つの画像を露光している最中にも像面移動速度が時々刻々と取得される場合には、時間の関数としての像面移動速度を、撮像素子11の上端ラインの露光タイミングの時刻から下端ラインの露光タイミングの時刻まで積分しても良い。
そして、システム制御マイコン20は、ステップS5において求めた像面移動量に基づいて、撮像面の上端と下端との像倍率変化比率を計算する(ステップS6)。この像倍率変化比率は、例えば、撮像面の中央ラインを基準として(つまり、中央ラインの倍率を1倍として)求められる。なお、システム制御マイコン20は、このステップS6の処理と平行して、ステップS4において求めた像面移動速度またはステップS5において求めた像面移動量に基づいてレンズ制御マイコン6へ指令を行い、片ボケ補正を行うように制御している。すなわち、レンズ制御マイコン6は、被写体の移動により被写体像に発生する片ボケを、像面移動速度または像面移動量に基づいてフォーカスレンズ部4を駆動させることにより補正する。
その後、システム制御マイコン20は、ステップS6において求めた像倍率変化比率をDPS14へ出力して、この像倍率変化比率に基づく対象画像への幾何学歪補正処理を幾何学歪補正処理部35に行わせるように制御する(ステップS7)。
一方、ステップS1において、記録モードが動画記録モードである場合には、図11を参照して説明したように、幾何学歪補正(像倍率補正)も片ボケ補正も行わない。そこで、システム制御マイコン20は、片ボケ補正のためのフォーカス制御を中止させ、幾何学歪補正処理部35による処理を中止させるように制御する(ステップS8)。
ステップS7またはステップS8の何れかの処理を行ったら、システム制御マイコン20は、さらにDSP14にデータ圧縮処理やその他の記録用の画像処理を行わせ、その後に外部フラッシュメモリ16へ記録させるように制御する(ステップS9)。
こうして画像が記録されたら、この処理を終了する。
なお、図13に示した処理においては、記録モードが動画記録モード以外のときには、幾何学歪補正および片ボケ補正を基本的に行うようにしているが、動画記録モード以外のときに幾何学歪補正および片ボケ補正を必ず行わなければならないものではない。すなわち、露光期間における像面移動量が無視し得る場合(つまり、被写体が静止しているかまたは移動速度が充分に遅い場合、あるいは、被写体が充分に遠方にある場合など)には、幾何学歪補正や片ボケ補正を行う必要はない。そこで、ステップS5において求めた像面移動量を所定値と比較して、所定値以上である場合にはステップS6およびステップS7の処理へ進み、所定値未満である場合にはステップS6およびステップS7の処理を行うことなくステップS8の処理へ進むようにしても良い。
また、絞り部5の絞りが絞り込まれている、レンズ1が広角である、被写体が至近位置よりもある程度以上遠い位置に存在する、などの条件が適宜組み合わされて被写界深度が充分に深い状態となっている場合には、幾何学歪補正を行う一方で被写体の移動に伴う焦点調節の処理を省略する、といったような処理を行っても構わない。
さらに、上述においては、AF検出部として、位相差AF方式を採用する位相差センサユニット18を例に挙げている。しかしながら、AF検出部が採用するAF方式は、これに限定されるものではなく、撮像素子AF方式(山登りAF方式あるいはコントラストAF方式とも呼ばれる)であっても構わない。
このような実施形態1によれば、撮像素子上の各ラインに露光位相差時間が生じていることに起因する、移動する被写体の像倍率変動を、画像処理によって幾何学歪補正するようにしたために、見た目に幾何学歪みの少ない、つまり違和感の小さい画像とすることができる。
そして、露光期間中も連続的に合焦制御を行うようにしたために、被写体に片ボケが発生するのを防止することができ、鮮鋭度の高い見た目により高画質な画像となる。
また、動画記録モードのときには、幾何学歪補正(像倍率補正)および片ボケ補正を中止するようにしたために、動画の躍動感を維持し消費電力の低減を図ることができるとともに、幾何学歪補正による微細な量子化歪みが発生することもない。また、像面移動量が充分に小さい場合に幾何学歪補正(像倍率補正)および片ボケ補正を中止するようにした場合にも、同様の効果を奏することができる。
さらに、被写界深度が充分に深い状態となっている場合に片ボケ補正を中止するようにすれば、消費電力の低減を図ることができる。
[実施形態2]
図14から図16は本発明の実施形態2を示したものであり、図14は撮像装置の構成を示すブロック図である。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
図14から図16は本発明の実施形態2を示したものであり、図14は撮像装置の構成を示すブロック図である。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
上述した実施形態1は、幾何学歪補正を画像処理により行っていたが、本実施形態は、幾何学歪補正を撮像素子の仰角制御により行うものとなっている。
図14に示すように、本実施形態の撮像装置も、例えばデジタルカメラとして構成されたものとなっていて、レンズ1と、カメラ本体2とを備えているのは図1に示した実施形態1と同様である。そして、レンズ1の構成も、図1に示したものと同様である。
一方、カメラ本体2には、仰角駆動部19が新たに追加されている。また、システム制御マイコン20は、露出制御部21および像面検出部22に加えて、さらに幾何学歪補正部としての仰角制御部23を備えている。そして、DSP14からは、幾何学歪補正処理部35が省略されている。
このような構成において、仰角制御部23は、取得される像面位置および像面移動速度に基づいて、露光位相差時間に起因して発生する幾何学歪を補正するための仰角制御量を算出する。そして、仰角制御部23は、算出した仰角制御量に基づいて仰角駆動部19を駆動制御し、被写体像に発生した幾何学歪みを補正するように撮像素子11の角度を変更させるようになっている。
次に、図15は、撮像素子の仰角制御機構の構成例を示す図である。
被写体OBJの光学情報は、フォーカスレンズ4aを含むレンズ1により、撮像素子11上に上下左右を反転させて結像される。そして、レンズ1から撮像素子11への光路上には、ハーフミラー面を備える分光ミラー10が例えば傾けて配設されている。そして、この分光ミラー10の反射光路上には、位相差センサユニット18が配設されている。
撮像素子11は、副走査方向に平行な回転軸(ピッチ軸)19a周りに回動可能となるように構成されている。ここに、副走査方向は撮像素子11上の画素配列におけるライン方向であり、この図15に示す例においては、中央のラインと回転軸19aとが略一致するように構成されている。
また、撮像素子11の例えば下端側には、ジョイント19bが配設されている。このジョイント19bの先端部は、周面にねじ溝が刻設された円筒形状のリードスクリュー19cのねじ溝に係合している。ここに、リードスクリュー19cは、円筒形状の中心軸がレンズ1の光軸と平行となるように、かつ中心軸に沿った方向には移動することのないように、配設されている。さらに、リードスクリュー19cは、モータ19dにより円筒形状の中心軸周りに回動されるようになっている。
そして、仰角制御機構は、リードスクリュー19cおよびモータ19dを含む仰角駆動部19と、回転軸19aおよびジョイント19bと、を有して構成されている。
このような構成において、モータ19dを駆動すると、リードスクリュー19cが回転し、リードスクリュー19cのねじ溝に係合しているジョイント19bが光軸方向に移動する。これにより、撮像素子11が回転軸19a周りに回転し、いわゆるチルトの動作を行う。撮像素子11がこのようなピッチ回転を行うと、撮像素子11上の各ラインの像面位置を異ならせることが可能となる。
続いて、図16は、撮像装置の作用を示すフローチャートである。
この処理を開始すると、上述したようなステップS1〜S5の処理を行う。
次に、システム制御マイコン20の仰角制御部23は、ステップS5において求めた像面移動量xと、システム情報として予め記憶している撮像素子11の撮像面の主走査方向長さyと、に基づいて、撮像素子の仰角制御量θを逆正弦関数sin-1により、
θ=sin-1(x/y)
のように算出する(ステップS16)。この仰角制御量θは、上述した露光位相差時間に起因して上端のラインと下端のラインとの間で発生する像面移動量の分だけ、撮像素子11の撮像面を傾ける制御を行うための量である。なお、システム制御マイコン20は、このステップS16の処理と平行して、ステップS4において求めた像面移動速度またはステップS5において求めた像面移動量に基づいてレンズ制御マイコン6へ指令を行い、片ボケ補正を行うように制御している。すなわち、レンズ制御マイコン6は、被写体の移動により被写体像に発生する片ボケを、像面移動速度または像面移動量に基づいてフォーカスレンズ部4を駆動させることにより補正する。
θ=sin-1(x/y)
のように算出する(ステップS16)。この仰角制御量θは、上述した露光位相差時間に起因して上端のラインと下端のラインとの間で発生する像面移動量の分だけ、撮像素子11の撮像面を傾ける制御を行うための量である。なお、システム制御マイコン20は、このステップS16の処理と平行して、ステップS4において求めた像面移動速度またはステップS5において求めた像面移動量に基づいてレンズ制御マイコン6へ指令を行い、片ボケ補正を行うように制御している。すなわち、レンズ制御マイコン6は、被写体の移動により被写体像に発生する片ボケを、像面移動速度または像面移動量に基づいてフォーカスレンズ部4を駆動させることにより補正する。
その後、システム制御マイコン20は、ステップS16において求めた仰角制御量θに基づいて、幾何学歪補正を行うことができるような撮像素子11の仰角制御を、仰角駆動部19に行わせるように制御する(ステップS17)。
一方、ステップS1において、記録モードが動画記録モードである場合には、幾何学歪補正(像倍率補正)も片ボケ補正も行わない。そこで、システム制御マイコン20は、片ボケ補正のためのフォーカス制御を中止させ、仰角制御部23による仰角制御量θの算出を中止するとともに、仰角駆動部19による仰角制御を中止させて撮像素子11の仰角を光軸方向と直交するθ=0度になるように制御する(ステップS18)。
ステップS17またはステップS18の何れかの処理を行ったら、上述したステップS9の処理を行った後に、この処理を終了する。
なお、上述においては、撮像素子11の仰角を像面移動量の差を吸収する分だけチルト方向に傾けて、露光位相差時間に起因して上端のラインと下端のラインとの間で発生する幾何学歪を補正している。しかし、ラスタスキャンを(ライン単位でなく)画素単位で行うときなどには、1つのライン内においても最初に読み出す画素と最後に読み出す画素とで露光位相差時間が生じる考えられる。従って、このような場合に対応するために、撮像素子11をさらにパン方向へも傾けることができるように構成しても構わない。従って、上述では、角度駆動部として仰角駆動部19を例に挙げ、角度制御部として仰角制御部23を例に挙げているが、これらに限るものではない。
また、上述におけるパン方向やチルト方向、あるいは仰角などの記述は、撮像装置が標準の撮影姿勢(いわゆる横位置)である場合に基づいている。従って、撮像装置がいわゆる縦位置である場合には、上述したパン方向やチルト方向は、地面に対してはそれぞれチルト方向、パン方向などとなる。
このような実施形態2によれば、像面移動量の分だけ撮像素子11の撮像面を傾けることにより、上述した実施形態1とほぼ同様の効果を奏することができる。
[実施形態3]
図17および図18は本発明の実施形態3を示したものであり、図17は撮像装置の構成を示すブロック図である。この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
図17および図18は本発明の実施形態3を示したものであり、図17は撮像装置の構成を示すブロック図である。この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
上述した実施形態1は幾何学歪補正を画像処理により行い、実施形態2は幾何学歪補正を撮像素子の仰角制御により行っていたが、本実施形態は、幾何学歪補正をズーム制御により行うものとなっている。
図17に示すように、本実施形態の撮像装置も、例えばデジタルカメラとして構成されたものとなっていて、レンズ1と、カメラ本体2とを備えているのは図1に示した実施形態1と同様である。そして、レンズ1の構成も、図1に示したものとほぼ同様である。ただし、実施形態1においては、ズームレンズ部3は電動ズームであっても手動ズームであっても構わなかったが、本実施形態においては電動ズームを採用している。
一方、カメラ本体2のシステム制御マイコン20は、露出制御部21および像面検出部22に加えて、さらに幾何学歪補正部としてのズーム制御部24を備えている。そして、DSP14からは、幾何学歪補正処理部35が省略されている。
このような構成において、ズーム制御部24は、取得される像面位置および像面移動速度に基づいて、露光位相差時間に起因して発生する幾何学歪を補正するためのズーム制御量を算出する。そして、ズーム制御部24は、算出したズーム制御量に基づいて、レンズ制御マイコン6を介してズームレンズ部3を駆動制御し、被写体像に発生した幾何学歪みを補正するようにレンズ1の像倍率(画角)を変更させるようになっている。
続いて、図18は、撮像装置の作用を示すフローチャートである。
この処理を開始すると、上述したようなステップS1〜S5の処理を行う。
次に、システム制御マイコン20の仰角制御部23は、ステップS5において求めた像面移動量に基づいて、撮像素子11の撮像面の各ラインの走査時刻における像倍率変化比率を計算し、計算した像倍率変化比率に基づき、移動被写体の像倍率変動を吸収するために必要なズーム制御量を算出する(ステップS26)。なお、システム制御マイコン20は、このステップS26の処理と平行して、ステップS4において求めた像面移動速度またはステップS5において求めた像面移動量に基づいてレンズ制御マイコン6へ指令を行い、片ボケ補正を行うように制御している。
そして、システム制御マイコン20は、ステップS26において求めたズーム制御量に基づいて、レンズ制御マイコン6へ指令を行い、ズームレンズ部3を駆動させてレンズ1の像倍率(画角)を変更させるように制御する(ステップS27)。
一方、ステップS1において、記録モードが動画記録モードである場合には、幾何学歪補正(像倍率補正)も片ボケ補正も行わない。そこで、システム制御マイコン20は、幾何学歪補正(像倍率補正)のためのズーム制御と、片ボケ補正のためのフォーカス制御と、を中止させるように制御する(ステップS28)。
ステップS27またはステップS28の何れかの処理を行ったら、上述したステップS9の処理を行った後に、この処理を終了する。
このような実施形態3によれば、像面移動量に応じたズーム制御を行うことにより、上述した実施形態1,2とほぼ同様の効果を奏することができる。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…レンズ
2…カメラ本体
3…ズームレンズ部
4…フォーカスレンズ部
4a…フォーカスレンズ
5…絞り部
6…レンズ制御マイコン(レンズ制御部)
10…分光ミラー
11…撮像素子
12…タイミングジェネレータ(TG)
13…アナログフロントエンド(AFE)
14…デジタルシグナルプロセッサ(DSP)
15…LCD表示部
16…外部フラッシュメモリ
17…RAM
18…位相差センサユニット(AF検出部)
19…仰角駆動部(角度駆動部)
19a…回転軸
19b…ジョイント
19c…リードスクリュー
19d…モータ
20…システム制御マイコン
21…露出制御部
22…像面検出部
23…仰角制御部(幾何学歪補正部、角度制御部)
24…ズーム制御部(幾何学歪補正部)
31…画素分配部
32…表示処理部
33…記録処理部
34…累積処理部
35…幾何学歪補正処理部(幾何学歪補正部)
2…カメラ本体
3…ズームレンズ部
4…フォーカスレンズ部
4a…フォーカスレンズ
5…絞り部
6…レンズ制御マイコン(レンズ制御部)
10…分光ミラー
11…撮像素子
12…タイミングジェネレータ(TG)
13…アナログフロントエンド(AFE)
14…デジタルシグナルプロセッサ(DSP)
15…LCD表示部
16…外部フラッシュメモリ
17…RAM
18…位相差センサユニット(AF検出部)
19…仰角駆動部(角度駆動部)
19a…回転軸
19b…ジョイント
19c…リードスクリュー
19d…モータ
20…システム制御マイコン
21…露出制御部
22…像面検出部
23…仰角制御部(幾何学歪補正部、角度制御部)
24…ズーム制御部(幾何学歪補正部)
31…画素分配部
32…表示処理部
33…記録処理部
34…累積処理部
35…幾何学歪補正処理部(幾何学歪補正部)
Claims (10)
- 撮像素子を有し、露光タイミングが前記撮像素子の撮像面内の位置によって異なる露光位相差時間が発生する撮像装置であって、
前記撮像素子の撮像面に被写体像を結像するレンズと、
前記露光位相差時間に前記レンズの光軸方向への移動を含むように移動する被写体の、前記被写体像の像面位置の該露光位相差時間における像面移動量を検出する像面検出部と、
前記被写体の移動に伴う倍率変化により前記被写体像に発生する幾何学歪みを、前記像面移動量に基づいて補正する幾何学歪補正部と、
を具備したことを特徴とする撮像装置。 - 前記幾何学歪補正部は、前記被写体像に発生した幾何学歪みを、画像処理により補正する幾何学歪補正処理部を含むものであることを特徴とする請求項1に記載の撮像装置。
- 前記レンズの光軸に対する前記撮像素子の角度を変更するための角度駆動部をさらに具備し、
前記幾何学歪補正部は、前記角度駆動部により前記撮像素子の角度を変更することにより、前記被写体像に発生した幾何学歪みを補正する角度制御部を含むものであることを特徴とする請求項1に記載の撮像装置。 - 前記レンズは、該レンズの像倍率を変更するためのズームレンズ部を有し、
前記幾何学歪補正部は、前記ズームレンズ部により像倍率を変更することにより、前記被写体像に発生した幾何学歪みを補正するズーム制御部を含むものであることを特徴とする請求項1に記載の撮像装置。 - 当該撮像装置は、動画記録モードを含む記録モードに設定可能であり、
前記幾何学歪補正部は、動画記録モード以外の記録モードに設定されているときには前記幾何学歪補正を行い、動画記録モードに設定されているときには該幾何学歪補正を行わないことを特徴とする請求項1に記載の撮像装置。 - 前記幾何学歪補正部は、前記像面移動量が所定値以上であるか否かを判定して、所定値以上であると判定した場合に前記幾何学歪補正を行い、所定値未満であると判定した場合には前記幾何学歪補正を行わないことを特徴とする請求項1に記載の撮像装置。
- 前記被写体像の合焦度合いを示す情報を取得するためのAF検出部をさらに具備し、
前記像面検出部は、前記AF検出部の検出結果に基づいて、前記被写体像の像面移動量を検出するものであることを特徴とする請求項1に記載の撮像装置。 - 前記レンズは、該レンズの焦点位置を変更するためのフォーカスレンズ部を有し、
前記撮像素子の撮像面内の任意の位置に関して、該位置がほぼ露光タイミングになっているときに該位置に被写体像が合焦されるように、前記像面移動量に基づいて前記フォーカスレンズ部を連続的に駆動させるように制御するレンズ制御部をさらに具備したこと特徴とする請求項1に記載の撮像装置。 - 前記撮像素子は、XYアドレス走査型の撮像素子であり、
前記露光位相差時間は、前記撮像素子により電子ローリングシャッタ方式の読み出しを行うときに発生するものであることを特徴とする請求項1に記載の撮像装置。 - 前記レンズと前記撮像素子との間に配設されたメカニカル機構のフォーカルプレーンシャッタをさらに具備し、
前記露光位相差時間は、前記フォーカルプレーンシャッタを用いた露光時に発生するものであることを特徴とする請求項1に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009105510A JP2010258700A (ja) | 2009-04-23 | 2009-04-23 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009105510A JP2010258700A (ja) | 2009-04-23 | 2009-04-23 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010258700A true JP2010258700A (ja) | 2010-11-11 |
Family
ID=43319130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009105510A Withdrawn JP2010258700A (ja) | 2009-04-23 | 2009-04-23 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010258700A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200603A (ja) * | 2012-03-23 | 2013-10-03 | Hitachi Automotive Systems Ltd | 車載用画像処理装置及び方法 |
-
2009
- 2009-04-23 JP JP2009105510A patent/JP2010258700A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200603A (ja) * | 2012-03-23 | 2013-10-03 | Hitachi Automotive Systems Ltd | 車載用画像処理装置及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4528235B2 (ja) | デジタルカメラ | |
US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
JP6506517B2 (ja) | 画像処理装置及びその制御方法、及び撮像装置 | |
WO2010004764A1 (ja) | 撮像装置 | |
JP5931619B2 (ja) | 撮像装置 | |
JP5572700B2 (ja) | 撮像装置及び撮像方法 | |
JP4508991B2 (ja) | 撮像装置 | |
JP6833498B2 (ja) | 撮像装置、撮像方法およびコンピュータのプログラム | |
WO2013054527A1 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
JP5393300B2 (ja) | 撮像装置 | |
JP5665760B2 (ja) | 撮像装置およびその制御方法 | |
JP2011188481A (ja) | 撮像装置 | |
JP6249636B2 (ja) | 撮像装置およびその制御方法 | |
JP2011013645A5 (ja) | ||
US9591203B2 (en) | Image processing apparatus, image processing method, recording medium, and image pickup apparatus | |
JP4334784B2 (ja) | オートフォーカス装置及びそれを用いた撮像装置 | |
JP7086551B2 (ja) | 撮像装置及びその制御方法 | |
JP2013218031A (ja) | 撮像装置 | |
JP6168827B2 (ja) | 像振れ補正装置および光学機器 | |
WO2019146164A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2010258700A (ja) | 撮像装置 | |
US20210235017A1 (en) | Imaging device and control method thereof | |
JP5157116B2 (ja) | 撮影装置、合成画像作成方法及びプログラム | |
WO2016167142A1 (ja) | 撮像装置およびその制御方法 | |
JP5455485B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120703 |