まず、本発明の実施例1における撮像装置について説明する。本実施例は、交換レンズを着脱可能な一眼レフタイプのデジタルカメラ(撮像装置)に適用した例である。図1は、一眼レフカメラの光学系を示す中央断面図である。図1において、100はカメラ200に交換可能に装着された撮影レンズ(交換レンズ)、101はフォーカスレンズ群やズームレンズ群からなるレンズ部、Lは撮影レンズ100の光軸である。
200はカメラ(カメラ本体)で、撮影レンズ100の予定結像面付近には、光学ローパスフィルタや赤外カットフィルタ、さらにはCMOSセンサなどからなる光電変換素子を含む撮像素子201(撮像手段)が配置される。撮影レンズ100と撮像素子201の間には、平行平板のガラス板などで形成されたハーフミラー202(光学素子)が撮影レンズ100の光軸Lに対して斜めに固定配置される。ハーフミラー202は全面半透過性を有するミラーであり、入射光束の一部を反射させ他の一部を透過させる。このため、撮影レンズ100を通過した入射光束は、上方の光学ファインダ(ファインダ手段)に導かれる反射光(第一の光束)と撮像素子201に入射する透過光(第二の光束)に分離される。
図1に示される203〜205は光学ファインダである。光学ファインダは、ハーフミラー202で反射した反射光を用いて被写体を観察可能に構成される。具体的には、ハーフミラー202の反射光は、マット面とフレネル面を備えるピント板203のマット面上に結像し、ペンタプリズム204、接眼光学系205を介して撮影者の目に導かれる。一方、透過光は撮像素子201で受光され、受光された光の強度信号はAD変換、画像処理部などを介して電子画像となる。このように、撮像素子201は、ハーフミラー202を透過した透過光を受光して画像データを出力する。なお、ハーフミラー202を通過した光軸Lは、ハーフミラー202での屈折により紙面下方向にオフセットした光軸L’となる。そこで、撮像素子201の中心は、光軸L’に対して一致するように配置されている。
一般的に、撮影レンズ100と撮像素子201の間にガラス板など平板光学素子(ハーフミラー202)を斜めに配置した場合、撮像素子201で得られる画像には大きな収差が発生する。これは、レンズを通過した各光線において、光学素子を通過する光路長方向の位置が異なるためであり、収差もその位置に応じて異なる。したがって、従来の一眼レフカメラにおいては、撮影時に、ハーフミラー202をクイックリターン機構で撮影光束外へ退避させるのが一般的であった。
一方、本実施例では、図1に示されるようにハーフミラー202を傾けて配置しており、撮影時にはハーフミラー202を透過した光束を用いる。撮像素子201で得られる画像には収差及び内面反射ゴーストが発生するが、これは撮影レンズ100の光学収差とは異なり、軸対称性のない画像劣化となる。内面反射ゴーストを軽減するため、ハーフミラー202に反射防止用の多層膜を蒸着することも考えられる。しかしながら、多層膜の蒸着は非常に高価であり、高コストとなる。そこで本実施例では、非対称な収差及び内面反射ゴーストを画像処理回路413で補正することにより、低コストで良好な電子画像を形成する。この画像処理方法の詳細については後述する。
従来、一眼レフカメラにおいて動画撮影を行なう場合には、撮像素子201に撮影光束を導くため、かつ、ハーフミラー202を透過することにより発生する収差を防ぐために、ハーフミラー202を撮影光束外へ退避させるのが一般的であった。このため、撮影光束は光学ファインダに導かれず、電子ファインダを使用していた。電子ファインダでは、撮像素子201での蓄積・読み出し動作や電子画像を作り出すために画像処理動作に時間がかかるため、表示される画像には時間遅れが生じる。このため、動きの速い動体に対して追従することが困難であった。
一方、本実施例の構成では、撮像素子201で電子画像を撮影しながら光学ファインダでの被写体観察を行うことが可能である。このため、動画を撮影する場合においても光学ファインダの利用ができ、従来のカメラの電子ファインダなどでは不可能であった、より動きの速い動体に対しても追従することが可能である。また、ハーフミラー202は固定されて配置されている。このため、従来の一眼レフカメラのように、撮影時にはハーフミラー202を撮影光束外へ退避させるクイックリターン機構を用いる必要がない。したがって、クイックリターン機構に用いる複雑なメカ構成が不要であり、低コスト化とコンパクト化が可能となる。さらに、本実施例の構成によれば、動画撮影時の静音化を達成される。
図2(a)は、ハーフミラー202で生じる収差の説明図であり、図1から必要な部分のみを抽出している。図2(a)において、光線110a、110bは、物体側の光軸L上の1点を発し、レンズ部101を通過して撮像素子201の中心像高付近に結像する光束のうち最外部のみの光線を示している。なお、レンズ部101を挟んで物体側の光線は省略している。光線110a、110bは、ハーフミラー202の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー202中を直進する。その後、ハーフミラー202の射出面で再度スネルの法則に従い所定角度だけ屈折し射出する。このとき、ハーフミラー202に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の屈折の原理原則である。なお、光軸Lについても同様である。すなわち、ハーフミラー202を通過した光線は、角度は変化せず、平行シフトのみが生じることとなる。
図3は、上記光線の屈折の詳細な説明図であり、空気中における平行平板の光の屈折を示す図である。図3において、210は平行平板であり、120は平行平板210に入射する光線を示し、その進行方向が矢印で示される。光線120は、入射角度φで平行平板210の入射面210aに入射し、スネルの法則に基づき光線120は屈折する。そして屈折後は、角度φ’で平行平板210中を直進する。その後、光線120は平行平板210の射出面210bで再度屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してdだけ平行シフトする。ここで、平行平板の板厚をt、空気の屈折率をn、平行平板210の屈折率をn’とすると、平行シフト量dは以下の式(1)で表される。
上記式(1)より入射角度φが大きいほど、平行シフト量dも大きくなる。
そこで、図2(a)において光線110a、光軸L、光線110bの平行シフト量をそれぞれda、dl、dbとすると、daよりdlが大きく、dlよりdbが大きくなるという関係(da<dl<db)が得られる。これは、光線110a、光軸L、光線110bがそれぞれハーフミラー202に入射する角度が異なるためである。入射角度は、光線110aより光軸Lの方が大きく、光軸Lより光線110bの方が大きいという関係になっている。このとき、光線110aが光軸L’と交わる位置と光線110bが光軸L’と交わる位置とは、上述の平行シフトの影響で一致せず、光線110bの方が光線110aより図中右側で光軸Lと交わる。これが、ハーフミラー202による収差の原因である。
図2では、2本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸L’上で交わる位置は、図2の断面においては全て一致しない。図2(b)は、図1の撮像素子201の中央像高付近Cを拡大した図であり、結像する光線を示している。図2(b)において、201aは撮像素子201の受光面近傍、すなわち撮影レンズ100の予定結像面であり、予定決像面201aには多数の光線が集まっている。しかしながら、図2(b)で説明したハーフミラー202による平行シフトの影響により、全ての光線について光軸L’上で交わる位置が異なっており、1点に収斂する結像となっていない。
なお、実際の光線は紙面奥行き方向にも存在するため、より複雑な収差が発生している。しかし、ハーフミラー202は光軸Lに対して図1の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差となっている。また、上記収差は式(1)から、平行平板210、すなわちハーフミラー202の屈折率によっても収差の状況は異なる。したがって、波長によっても収差の状況は異なる。さらに、式(1)より、像高によって入射する光線の角度が異なるため、像高によっても収差の状況は異なる。
図4は、周辺像高に到達する光線の収差の説明図である。図4において、光線111a、111bは撮像素子201の上側像高に結像する光線を示し、光線112a、112bは撮像素子201の下側像高に結像する光線をそれぞれ示す。そして、それぞれの光線はハーフミラー202に入射する角度が異なるため、図3にて説明した原理原則から平行シフト量も異なり、光線111aと111b、光線112aと112bでは異なる収差が発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図2で説明した撮像素子201の中央像高付近に結像する光線とも異なるため、図4における撮像素子201の上下方向においては非対称な収差が生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差となっている。また、周辺像高においても、波長によって収差の状況は異なる。なお、実際の収差の状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやMTFなどを計算することにより、詳細に観察可能である。
図5(a)は、ハーフミラー202の内面反射によって生じるゴースト光線の説明図であり、図1から必要な部分のみを抽出している。また、光線の経路を見やすくするため、ハーフミラー202を厚くして描かれている。図5(a)において、光線113a、113bは、物体側光軸L上の1点を発し、レンズ部101を通過して撮像素子201の中心像高付近に結像する光束のうち最外部のみの光線を示す。なお、レンズ部101を挟んで物体側の光線は省略している。光線113a、113bは、ハーフミラー202の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー202中を直進する。ハーフミラー202の射出面において、大部分の光束はそのまま透過し、スネルの法則にしたがって所定角度だけ屈折して射出する。これが図2(a)で説明した内面反射せずに射出する光線の経路である。
一方、ハーフミラー202の射出面において、反射する光束も存在する。このハーフミラー202の射出面で反射した光束は、ハーフミラー202中を直進し、ハーフミラー202の入射面において、また反射する成分と透過する成分に分離する。ハーフミラー202の入射面で反射した光束は、ハーフミラー202中を直進し、再びハーフミラー202の射出面に到達する。ハーフミラー202の射出面に到達した光束のうち、透過する成分はハーフミラー202の射出面で再度スネルの法則に従い所定角度屈折し射出する。このように、ハーフミラー202の射出面で反射した後にハーフミラー202の入射面で反射し、再び到達したハーフミラー202の射出面を透過して撮像素子201に到達するのが、ハーフミラー202の内面反射によるゴースト光線である。このとき、ハーフミラー202に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の内面反射によるゴースト光線の経路である。なお、光軸Lについても同様である。すなわち、ハーフミラー202を通過した光線は、角度は変化せず、平行シフトのみが生じる。
図6は、ハーフミラー202の内面反射によるゴースト光線の屈折及び反射の詳細な説明図である。図6において、210は平行平板であり、120は平行平板210に入射する光線で、その進行方向が矢印で示されている。光線120は、入射角度φで平行平板210の入射面210aに入射し、スネルの法則に基づき光線120は屈折する。そして屈折後は、角度φ’で平行平板210中を直進する。その後、光線120は平行平板210の射出面210bに角度φ’で入射し、角度φ’で反射する。反射した光線120は、平行平板210の入射面210aに角度φ’で入射し、角度φ’で反射する。再び、平行平板210の射出面210bに到達した光線120は屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してgだけ平行シフトする。ここで、平行平板の板厚をt、空気の屈折率をn、平行平板210の屈折率をn’、平行平板を透過したときの平行シフト量をdとしたとき、内面反射せずに射出したときと内面反射して射出したときの平行シフト量の差eは、以下の式(2)で表される。
また、平行平板で内面反射したときの平行シフト量gは、式(1)、(2)より、以下の式(3)で表される。
上記の式(3)より、入射角度φによって平行シフト量gが変わることがわかる。
そこで、図5(a)において光線113a、光軸L、光線113bの平行シフト量をそれぞれga、gl、gbとすると、式(3)より、gaよりglが小さく、glよりgbが小さくなるという関係(ga>gl>gb)が得られる。これは、光線113a、光軸L、光線113bがそれぞれハーフミラー202に入射する角度が異なるためであり、入射角度は光線113aより光軸Lの方が大きく、光軸Lより光線113bの方が大きいという関係になる。このとき、光線113aが光軸L’’と交わる位置と光線113bが光軸L’’と交わる位置とは、上記平行シフトの影響で一致せず、光線113aの方が光線113bより図中右側で光軸Lと交わる。
ハーフミラー202で内面反射せずに射出した光線は、図2(a)で説明したように、入射した光線に対して図中下方向にシフトする。一方、ハーフミラー202で内面反射して射出した光線は、図5(a)で説明したように、入射した光線に対して図中上方向にシフトする。すなわち、ハーフミラー202を透過した光線は、内面反射せずに下方向にシフトした光線と内面反射して上方向にシフトした光線の2本の光線に分離する。これが、ハーフミラー202の内面反射による2重像の原因である。
図5では、2本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸L’’上で交わる位置は、図5の断面においては全て一致しない。図5(b)は、図1の撮像素子201の中央像高付近Cを拡大した図であり、結像する光線を示している。図5(b)において、201aは撮像素子201の受光面近傍、すなわち、撮影レンズ100の予定結像面を示し、予定決像面201aには多数の光線が集まっている。しかしながら、図5(a)で説明したハーフミラー202による平行シフトの影響により、全ての光線は光軸L’’上で交わる位置が異なり、完全な結像となっていない。
なお、実際の光線は紙面奥行き方向にも存在するためより複雑な収差及び内面反射ゴーストが発生しているが、ハーフミラー202は光軸Lに対して、図1の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差及び内面反射ゴーストとなっている。また、上記収差及び内面反射ゴーストは、式(3)から、平行平板210、すなわちハーフミラー202の屈折率によっても収差の状況は異なる。したがって、波長によっても収差及び内面反射ゴーストの状況は異なる。さらに、式(3)より、像高によって入射する光線の角度が異なるため、像高によっても収差及び内面反射ゴーストの状況は異なる。
図7は、周辺像高に到達する光線の内面反射ゴースト光線の説明図である。図7において、光線114a、114bは撮像素子201の上側像高に結像する光線を示し、光線115a、115bは撮像素子201の下側像高に結像する光線を示す。それぞれの光線はハーフミラー202に入射する角度が異なるため、図6にて説明したように平行シフト量も異なり、光線114a、114b、および、光線115a、115bの間では異なる収差及び内面反射ゴーストが発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図5で説明した撮像素子201の中央像高付近に結像する光線とも異なる。このため、図7における撮像素子201の上下方向においては、非対称な収差及び内面反射ゴーストが生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差及び内面反射ゴーストとなっている。また、周辺像高においても、波長によって収差及び内面反射ゴーストの状況が異なる。なお、実際の収差及び内面反射ゴーストの状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやMTFなどを計算することにより、詳細に観察可能である。
以上のことから、本実施例のようにハーフミラー202を通過した光束で得られる画像には、以下の(1)〜(3)のような収差と内面反射ゴーストが発生していることとなる。(1)内面反射せずに射出した光線と内面反射して射出した光線の2重像が発生している。(2)どちらの光線も、紙面奥行方向に対称で上下方向には非対称な収差が発生している。(3)収差は像高、波長により異なる。
そこで本実施例では、上記収差と内面反射ゴーストを画像処理回路413によって復元処理を行い、収差による劣化のない画像を生成する。以下、収差復元の基本的な考え方について説明する。図8は、撮像素子201による撮影範囲を示す図である。図8において、220は撮影範囲であり、撮影範囲の中央を原点として、図のようにXY座標を定義する。そして、撮影範囲220内の任意の座標点(x,y)における撮影レンズ100およびハーフミラー202の収差及び内面反射ゴーストによる劣化前の画像の光量分布をo(x,y)とする。また、それに対応した撮影レンズ100およびハーフミラー202の収差による劣化後の画像の光量分布をi(x,y)とすると、i(x,y)は以下の式(4)で表される。
ここで、h(x,y)は、撮影レンズ100およびハーフミラー202により画像が劣化する状態を表す伝達関数である。また式(4)は、ハーフミラー202による収差及び内面反射ゴーストのみならず、撮影レンズ100の収差までを含む劣化像モデル式として表されている。また式(4)は、o(x,y)とh(x,y)の畳み込み積分であるため、フーリエ変換を行えば、以下の式(5)のように、よりシンプルな積の形で表すことができる。
ここで、I(u,v)はi(x,y)、O(u,v)はo(x,y)、H(u,v)はh(x,y)のそれぞれ2次元フーリエ変換であり、u、vは空間周波数変数である。したがって、式(5)から劣化前の画像O(u,v)は、以下の式(6)で表される。
ここで、1/H(u,v)は一般的にインバースフィルターと呼ばれる。インバースフィルターをカメラ200の不揮発性メモリ431などに予め記憶しておくことで、ハーフミラー202の収差及び内面反射ゴーストによる劣化前の画像を復元することができる。なお、実際の画像復元処理は、ノイズなどの影響を大きく受けるため、インバースフィルターに限定されず、周知のウィナーフィルターや線形反復修正法、非線形反復修正法などを用いてもよい。また、ハーフミラー202による収差及び内面反射ゴーストは、図8においてY軸対称である。このため、復元用のフィルターとしては撮影範囲220の半分のみを用意することで、全画像を復元処理することができる。さらに、上記フィルターは、ハーフミラー202の収差及び内面反射ゴーストのみならず、撮影レンズ100の収差までも考慮しているため、撮影レンズの収差による劣化も復元することが可能である。
以上のように、ハーフミラー202に収差による劣化前の画像を復元する。なお、ハーフミラー202による収差及び内面反射ゴーストは波長により異なるため、実際の画像処理回路413による復元はRGBの色別に取得された画像データを用いて行う。詳細は後述する。
図9は、本実施例における撮像装置の構成図である。図9は、カメラ200とカメラ200に交換可能に装着される撮影レンズ100で構成されたカメラシステムを示す。本実施例は、カメラ200、撮影レンズ100、または、カメラ200と撮影レンズ100で構成されたカメラシステムのいずれをも撮像装置として適用可能である。また本実施例はこれに限定されるものではなく、カメラと撮影レンズが一体に構成された撮像装置にも適用可能である。
図9を参照して、まずカメラ200側について詳述する。401は露光量を制御するためのシャッター、201は光学像を電気信号に変換する撮像素子、412は撮像素子201のアナログ信号をデジタル信号(画像データ)に変換するA/D変換器である。403は撮像素子201、A/D変換器412、D/A変換器404にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路407およびシステム制御回路440により制御される。
413は画像処理回路(画像処理手段)であり、A/D変換器412からの画像データあるいはメモリ制御回路407からの画像データに対して所定の画素補間処理や色変換処理を行う。本実施例における収差の補正(画像処理方法)は、例えば画像処理回路413で実施される。また画像処理回路413は、画像データを用いて所定の演算処理を行うことも可能である。得られた演算結果に基づいてシステム制御回路440が、後述する撮影レンズ100側のフォーカス制御部454および絞り制御部455に対して、AF(オートフォーカス)処理、AE(自動露出)処理などの処理を行う。さらに、画像処理回路413は、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。
409は顔検出部で、検出する対象画像としては人物の顔が対応している。画像処理回路413からの画像データあるいはメモリ制御回路407からの画像データに対して所定の顔検出動作を行う。メモリ制御回路407は、A/D変換器412、タイミング発生回路403、画像処理回路413、画像表示メモリ408、D/A変換器404、顔検出部409、メモリ410、圧縮伸長回路411を制御する。A/D変換器412のデータが画像処理回路413、メモリ制御回路407を介して、あるいはA/D変換器412のデータが直接メモリ制御回路407を介して、画像表示メモリ408あるいはメモリ410に書き込まれる。
405は液晶モニタ等からなる画像表示部で、画像表示メモリ408に書き込まれた画像データを、D/A変換器404を介して表示する。画像表示部405を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部405は、システム制御回路440の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には、カメラ200の電力消費を大幅に低減することができる。
410は撮影した静止画像や動画像を記憶するためのメモリであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大容量の画像書き込みをメモリ410に対して行うことが可能となる。また、メモリ410はシステム制御回路440の作業領域としても使用することが可能である。
411は適用離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮伸長回路であり、メモリ410に記憶された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えた画像データをメモリ410に書き込む。420は測光部422からの測光情報に基づいて、撮影レンズ100側の絞り452を制御する絞り制御部455と連携しながら、シャッター401を制御するシャッター制御部である。423はカメラ200と撮影レンズ100とを電気的に接続するためのインターフェース(I/F)であり、443はカメラ200を撮影レンズ100と電気的に接続するコネクタである。
421はAF処理を行うためのAF部である。撮像素子201で得られる画像データのコントラスト成分を評価しながら、撮影レンズ100のフォーカス制御を行う周知のコントラスト方式AFを用いることで、撮像素子201上における撮影レンズ100の合焦状態を測定している。422はAE処理を行うための測光部である。撮影レンズ100を通過した光束を、カメラマウント442、ハーフミラー202、そして不図示の測光用レンズを介して、測光部422に入射させることにより、画像の露出状態を測定することができる。また、測光部422は、フラッシュ部424と連携することによりEF処理機能も有するものである。なお、AF部421と同様に、画像処理回路413による撮像素子201の画像データを演算した演算結果に基づき、システム制御回路440が、シャッター制御部420と撮影レンズ100の絞り制御部455に対してAE制御を行うことも可能である。424はフラッシュ部であり、AF補助光の投光機能、フラッシュ調光機能も有する。
440はカメラ200の全体を制御するシステム制御回路、429はシステム制御回路440の動作用の定数、変数、プログラム等を記憶するメモリである。430はシステム制御回路440でのプログラム実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。カメラ200の操作部近辺に視認し易い位置に単数あるいは複数箇所設置され、例えばLCDやLED、発音素子等の組合せにより構成されている。また、表示部430は、その一部の機能が光学ファインダ445内に設置されている。光学ファインダ445の詳細については、後述する。表示部430の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付や時刻等も表示される。光学ファインダ445内に表示するものとしては、合焦状態、手ぶれ警告、フラッシュ充電状態、シャッタースピード、絞り値、露出補正等の情報がある。
431は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。433、434、435、436、437および438は、システム制御回路440の各種の動作指示を入力するための操作部で、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせで構成される。433はダイアルモードスイッチで、電源オフ、オート撮影モード、マニュアル撮影モード、パノラマ撮影モード、マクロ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各種モードを切り替えて設定することができる。434はシャッタースイッチSW1で、不図示のシャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。
435はシャッタースイッチSW2で、不図示のシャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理および記憶処理等のことである。露光処理では、撮像素子201から読み出した信号をA/D変換器412、メモリ制御回路407を介してメモリ410に画像データを書き込む。現像処理では、画像処理回路413やメモリ制御回路407での演算を用いた現像を行う。記録処理では、メモリ410から画像データを読み出し、圧縮伸長回路411で圧縮を行い、記録媒体485または491に画像データを書き込む。436は画像表示ON/OFFスイッチで、画像表示部405のON/OFFを設定することができる。この機能により、光学ファインダ445を用いて撮影を行う際に、液晶モニタ等から成る画像表示部405への電流供給を遮断することにより、省電力を図ることが可能となる。437はクイックレビューON/OFFスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のON/OFFを設定することができる。438は各種ボタンやタッチパネル等からなる操作部である。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、選択移動ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。さらに、操作部438は、顔検出部409での顔検出を行うか否かを設定する顔検出モード設定ボタンも備える。
425は電源制御部で、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部425は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路440の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。426および427はコネクタであり、428はアルカリ電池やリチウム電池等の一次電池やNiCD電池やNiMH電池、Li−Ion電池等の二次電池、ACアダプタ等からなる電源部である。
480および486はメモリカードやハードディスク等の記録媒体とのインターフェースであり、481および487はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。439はコネクタ481または487に記録媒体が装着されているかどうかを検知する記録媒体着脱検知部である。
なお、本実施例では、記録媒体を取り付けるインターフェースおよびコネクタを2系統持つものとして説明している。ただし本実施例はこれに限定されず、記録媒体を取り付けるインターフェースおよびコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としてもよい。また、インターフェースおよびコネクタとしては、PCMCIAカード等の規格に準拠したものを用いて構成しても構わない。さらに、インターフェースおよびコネクタにLANカードやモデムカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
445はファインダ手段としての光学ファインダであり、主にピント板203、ペンタプリズム204、接眼光学系205を備えて構成されている。撮影レンズ100を通過した光束を、カメラマウント442、ハーフミラー202を介して導き、光学像として観察することができる。これにより、画像表示部405による電子ファインダ機能を使用することなく、光学ファインダ445のみを用いて撮影を行うことができる。
432は通信部で、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信等の各種通信機能を有する。446は通信部432によりカメラ200を他の機器と接続するコネクタあるいは無線通信の場合はアンテナである。コネクタ443は、カメラ200と撮影レンズ100との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ443は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
202は全面ハーフミラーで、撮影レンズ100を通過した光速を、光学ファインダ445に反射すると共に、ハーフミラー202を透過した光束は撮像素子201へ導かれる。また、ハーフミラー202を透過した光速の一部は不図示のAF用サブミラーを介してAF部421へ導く構成としてもよい。なお本実施例では、ハーフミラー202は、可動機構なしの全面ハーフミラーとしているが、クイックリターンミラーとすることも可能である。
485および491はメモリカードやハードディスク等の記録媒体である。記録媒体485および491は、半導体メモリや磁気ディスク等から構成される記録部484および490、カメラ200とのインターフェース483および489、カメラ200との接続を行うコネクタ482および488を備えている。
次に、撮影レンズ100について詳細に説明する。458は撮影レンズ100をカメラ200に機械的に結合するレンズマウントで、カメラマウント442を介してカメラ200に交換可能に取り付けられる。カメラマウント442およびレンズマウント458内には、撮影レンズ100をカメラ200と電気的に接続する各種機能が含まれている。101はレンズ部、452は絞りである。なお、レンズ部101には、被写体の焦点調節を行うフォーカスレンズが含まれている。
459は撮影レンズ100をカメラ200と電気的に接続するコネクタであり、457はカメラ200のコネクタ443と接続するためのインターフェース(I/F)である。コネクタ459は、カメラ200と撮影レンズ100との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能を備えている。なお、コネクタ459は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
453はレンズ部101のズーミングを制御するズーム制御部であり、454はレンズ部101のフォーカスレンズ動作を制御するフォーカス制御部である。なお、撮影レンズ100がズーム機能のない単焦点レンズタイプであればズーム制御部453はなくてもよい。455は測光部422からの測光情報に基づいて、シャッター401を制御するシャッター制御部420と連携しながら、絞り452を制御する絞り制御部である。
456は撮影レンズ100全体を制御するレンズ制御部である。レンズ制御部456は、撮影レンズ動作用の定数、変数、プログラム等を記憶するメモリ機能を備えている。その他、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する不揮発メモリの機能も備えている。以上が、本実施例における撮像装置の構成である。
図10〜図14は、本実施例における撮像装置の動作のフローチャートおよびその説明図である。図10は本実施例における撮像装置のメインフローである。図10に示されるメインフロー動作は、システム制御回路440により実施される。撮影者がカメラの操作部438に設けられた電源スイッチをオン操作すると(ステップS600)、システム制御回路440はカメラ内の各アクチュエータや撮像素子201の動作確認を行なう。またシステム制御回路440は、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する(ステップS601)。
ステップS602では、動画撮影を行なうための準備処理を実行する。動画撮影準備処理には、レンズ通信処理、シャッター開処理、プレビュー画像表示開始処理、焦点調節処理、露出制御処理などが含まれる。レンズ通信処理では、コネクタ443、459を介して撮影レンズ100内のレンズ制御部456とレンズ通信を行なう。レンズ通信により撮影レンズ100の動作確認を行い、撮影レンズ100のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要な撮影レンズ100の諸特性データを取得し、メモリ429に保存する。
シャッター開処理では、システム制御回路440は、シャッター制御部420を介してシャッター140を駆動し、シャッター開放状態にする。この動作により、撮影レンズ100を透過した開放Fナンバーの撮影光束が撮像素子201上に到達することになる。プレビュー画像表示開始処理では、プレビュー用として画像表示メモリ408に書き込まれた画像データを、D/A変換器404を介して表示する。カメラ背面に設けられた画像表示部405に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なう。
焦点調節処理では、フォーカス制御部454を介してレンズ部101のフォーカスレンズ動作を制御し、撮影レンズ100の焦点状態が合焦となるように焦点の調節を行なう。レンズ部101のフォーカスレンズを光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、AF評価値の取得を行なう。フォーカスレンズの往復運動によるAF評価値の変動の大きさが所定量に収まっている場合には、撮影レンズ100は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。AF評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。ここでAF評価値とは、画像データのコントラスト情報のことである。コントラスト情報とは、画像データの隣接画素出力の差分の絶対和などを用いることが多い。
露出制御処理では、撮像素子201から得られる画素出力値に基づき、露出条件の設定を行なう。露出制御は、撮像素子201の感度、撮像素子201の蓄積時間、撮影レンズ100のFナンバーの組み合わせで行なう。この動作により、撮像素子201は、所定Fナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。
ステップS603では、操作部438から動画撮影開始操作が行われたか否かを判断する。動画撮影開始操作が行われていなかった場合には、ステップS607に進み、電源スイッチのオフ操作が行われた否かを判断する。動画撮影開始操作が行われていた場合には、ステップS604に進む。ステップS604では、1フレーム処理サブルーチンを実行し、動画撮影における1フレーム分の撮影動作を行なう。ステップS605では、操作部438から動画撮影終了操作が行われたか否かを判断する。動画撮影終了操作が行なわれなかった場合には、ステップS604に戻り、動画撮影を継続させる。動画撮影終了操作が行なわれた場合には、ステップS606に進み、動画撮影終了処理を実行する。ステップS606では、動画撮影を終了させる処理を行なう。動画撮影終了処理には、プレビュー画像表示終了処理、シャッター閉処理、レンズ通信処理が含まれる。
プレビュー画像表示終了処理では、プレビュー用として画像データを画像表示部405に表示する動作を終了する。シャッター閉処理では、シャッター制御部420を介してシャッター140を駆動し、シャッターを閉じた状態にする。この動作により、撮影レンズ100を透過した撮影光束が撮像素子201上に到達しなくなる。レンズ通信処理では、コネクタ443、459を介して、撮影レンズ100内のレンズ制御部456とレンズ通信を行なう。レンズ通信により撮影レンズ100に動画撮影終了を動作指示し、撮影レンズ100のメモリ内容や実行プログラムを動画撮影準備状態へ移行させる。ステップS607では、電源スイッチのオフ操作が行われたか否かを判断する。オフ操作が行われなかった場合には、ステップS602に戻る。オフ操作が行われた場合には、一連の動作を終了させる。
図11は、1フレーム処理サブルーチン(ステップS604)の動作フローである。1フレーム処理サブルーチンの制御は、システム制御回路440が行なう。メインルーチンのステップS604が実行されると、1フレーム処理サブルーチンS604が呼び出され、ステップS650では、撮影レンズ100の焦点状態が合焦となるように焦点の調節を行なう。レンズ部101のフォーカスレンズ位置を光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、AF評価値の取得を行なう。フォーカスレンズ位置の往復運動によるAF評価値の変動の大きさ所定量に収まっている場合には、撮影レンズ100は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。AF評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。
ステップS651では、撮像素子201から得られる画素出力値に基づき、露出制御を行なう。露出制御は、撮像素子201の感度、撮像素子201の蓄積時間、撮影レンズ100のFナンバーの組み合わせで行なう。この動作により、撮像素子201は、所定Fナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。ステップS652では、撮像素子201の蓄積動作を行う。ステップS651における露出制御で設定した蓄積時間に基づいて、電荷蓄積を行なう。
ステップS653では、電荷蓄積して得られた画像データの読み出しを行なう。動画撮影時には毎秒30フレームもしくは毎秒60フレームなどの高速フレームレートで画像データの読み出しを行なう必要があるため、画素数には制限が生じる。そこで、ステップS653の画像データ読み出し時には、動画用のフレームレートでの読み出しが可能な画素数に収まるように、間引き読み出しや加算読み出しを行なう。ステップS654では、画像処理回路413にて、画像のγ補正、色変換、エッジ強調等の画像処理を行なう。
ステップS655では、ステップS658で記録する画像データに対応させて、カメラ200(カメラ本体)の特性情報をメモリ429に記録する。ここでカメラ200の特性情報とは、ハーフミラー202の位置と厚みの情報、ハーフミラー202の屈折率とアッベ数情報、撮像素子201の受光感度分布情報、カメラ200内での撮影光束のケラレ情報が含まれる。更に、特性情報には、カメラ200と撮影レンズ100との取り付け面から撮像素子201までの距離情報や製造誤差情報などが含まれる。撮像素子201の撮像用画素の受光感度分布情報は、オンチップマイクロレンズと光電変換部によって決まるため、これらの情報を記録しても良い。
ステップS656では、ステップS658で記録する画像データに対応させて、撮影レンズ100の特性情報をメモリ429に記録する。ここで撮影レンズ100の特性情報とは、射出瞳の情報、枠情報、撮影時のFナンバー情報、収差情報、製造誤差情報などが含まれる。ステップS657では、収差及び内面反射ゴーストの補正サブルーチンを実行する。ハーフミラー202を透過することにより生じる収差と、ハーフミラー202の内面反射により生じる2重像、両方に起因する像劣化を補正する。補正処理は、画像処理回路413にて行なう。ステップS658では、画像処理回路413で収差補正を行った画像データを、記録媒体485または記録媒体491に順次像を記録する。すなわち、記録媒体485または記録媒体491に保存される画像データは、収差補正済みのものが保存されていくことになる。
本実施例の撮像装置では、ハーフミラー202によって収差と内面反射ゴーストが生じてしまった画像データに対して、撮影レンズ特性情報とカメラ本体特性情報に基づいて伝達関数を推定し、その逆変換による収差補正処理を画像処理回路413にて行なう。そのためステップS658で記録される画像データは、ハーフミラー202による収差と内面反射ゴーストが補正された画像となる。これにより、光学ファインダ445を見ながら高品位な動画撮影画可能な撮像装置を安価な構成で実現することができる。
ステップS659では、記録した画像をカメラ背面に設けられた画像表示部405に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なうとともに、記録した画像の確認を行なうことができる。
ステップS659が終わると、ステップS604 1フレーム処理サブルーチンを終了し、メインルーチンに戻る。
図12は、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)において、分割した撮影範囲に対して順次伝達関数生成と補正処理を行う様子を示したものである。紙面右方向を+X方向,紙面上方向が+Y方向とする。220は、撮像素子201から得られる撮影範囲である。Area(m,n)(m=1〜5−1,n=1〜5)は、撮影範囲220を5×5=25分割した分割領域である。左下端領域がArea(1,1)、一つ右(+X方向)の領域がArea(2,1)、一つ上(+Y方向)の領域がArea(1,2)であるなど、右(+X方向)に行くに従ってmが一つ増え、上(+Y方向)に行くに従ってnが一つ増える。中心領域がArea(3,3)、右上端領域はArea(5,5)となる。(座標系の定義)
撮影光路中にハーフミラー202が45°傾いた角度で介在することにより生じる収差は、画像データにおけるXY方向の位置によって異なる。そこで、図12に示されるように、撮影範囲220を5×5=25分割し、各領域毎に伝達関数を定義し、その伝達関数に基づいて収差補正を行う。ここで定義される伝達関数は、図2乃至図7にて説明したように、紙面奥行き方向に対称で上下方向には非対称な形状となる。これにより、画像データ内の位置に適した収差補正を行なうことができる。
分割された領域であるArea(1,1)〜Area(5,5)のうち、まずArea(1,1)について、伝達関数定義と収差及び内面反射ゴーストの補正を行う。Area(1,1)が完了した場合には、次に領域を一つ右(+X方向)に移動し、Area(1,2)について伝達関数定義と収差及び内面反射ゴーストの補正を行う。右端まで到達した場合には、領域を一つ上の左端であるところのArea(2,1)に移動し、伝達関数定義と収差及び内面反射ゴーストの補正を行う。このように、領域をXY方向に走査するように一つずつ移動させて収差及び内面反射ゴーストの補正処理を行ない、撮影範囲220の全領域に対して収差及び内面反射ゴーストの補正を行なう。
収差及び内面反射ゴーストの補正サブルーチン(ステップS657)にて補正する収差及び内面反射ゴーストは、上下非対称だが左右には対称である。そこで、分割された領域毎に定義する伝達関数も、左右方向対称な位置における伝達関数は同じ形状を左右反転されたものを用いることができる。例えば、Area(1,5)とArea(5,5)は、同形状を左右反転されたもので代用可能である。これにより、定義する伝達関数のデータ数の削減が可能となる。本実施例では、処理速度を考慮して5×5の25分割で説明したが、より多数に分割し、高精度な収差及び内面反射ゴーストの補正を行なうようにしてもよい。
図13は、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)のフローである。収差及び内面反射ゴーストの補正サブルーチンの一連の動作も、画像処理回路413が行なう。ステップS700では、画像データ取り込み時にステップS654の変換処理で行われる変換処理の内容を示す変換情報を取得する。
ステップS701では、補正処理を行なう前に画像データに対して施す変換方法を決定する。画像復元処理アルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像データを変換する方法を決定する。例えば、画像データ取り込み時にステップS654の変換処理で画像処理回路413がガンマ補正を実行する場合には、ステップS701ではガンマ補正による変換の逆変換を設定する。これにより、変換前の画像データを再生することができ、線形性を有する画像データを取得することが可能となる。同様に、画像データ取り込み時にステップS654の変換処理で画像処理回路413が色補正を実行する場合には、ステップS701では色変換による変換の逆変換を設定する。これにより、線形性を有する画像データを取得することが可能となる。以上のように、ステップ701では、画像データ取り込み時にステップS654の変換処理で画像処理回路413が行なう変換処理の逆変換に相当する変換方法を決定する。
本実施例は、線形性が保たれないような変換処理が施された画像データに対して収差補正を行う前提で説明しているため、このような補正前変換を行っている。しかし線形性が保たれた画像データが取得できる場合には、このような補正前変換は行わずに、そのまま収差補正を行ってもよい。
ステップS702では、画像データを取得する。ステップS703では、ステップS701で決定した変換方法に従って、取得した画像データを変換する。ステップS704では、収差及び内面反射ゴーストの補正を行う撮影範囲(補正対象の領域)を、初期位置であるArea(1,1)に設定する。ステップS705では、伝達関数生成サブルーチンを実行し、設定された領域における伝達関数を生成する。ここでは、RGB毎の伝達関数が生成される。また、ここで生成される伝達関数は、図2乃至図7で説明したように上下非対称な形状となる。
ステップS706では、式(6)で説明したようにステップS705で生成した伝達関数に基づいて、ステップS703で変換処理した画像データに対して収差及び内面反射ゴーストの補正処理を行なう。RGB毎に伝達関数が異なるため、RGB信号それぞれに対して、逆変換処理による収差及び内面反射ゴースト補正を行う。ここでは、式(6)で説明した画像復元処理によって収差及び内面反射ゴーストの補正処理を行なう。これにより、所定被写体の収差及び内面反射ゴーストが補正された画像を得ることができる。伝達関数の逆変換処理を行なうことによる画像回復の方法は、例えば特開2000−20691号公報に開示されているため、説明は省略する。
ステップS707では、収差及び内面反射ゴーストの補正を行なう撮影範囲が、Area(5,5)にまで到達したか否かの判定を行なう。Area(5,5)まで到達した場合には、全領域の補正が完了したと判断し、収差及び内面反射ゴーストの補正サブルーチン(ステップS657)を終了し、ステップS604の1フレーム処理サブルーチンに戻る。Area(5,5)まで到達していない場合にはステップS708に進み、補正対象の領域を、次の領域に移動させる。
ステップS708では、領域を一つ右(+X方向)に移動させる。右端まで到達した場合には、領域を一つ上の左端に移動させる。このように、領域をXY方向に走査するように一つずつ移動させて補正処理を行なっていくことで、撮影範囲220の全領域に対して収差及び内面反射ゴーストの補正を順次行なう。ステップS708が完了した場合には、ステップS705に戻り、移動した領域での伝達関数の生成を行なう。
図14は、伝達関数生成サブルーチン(ステップS705)のフローである。撮影範囲220を5×5=25分割した分割領域Area(m,n)(m=1〜5−1,n=1〜5)における伝達関数が生成される。伝達関数生成サブルーチンの一連の動作は、システム制御回路440が行なう。ステップS750では、ステップS655でメモリ429に記録されたカメラ200(カメラ本体)の特性情報を取得する。ステップS751では、ステップS656でメモリ429に記録された撮影レンズ100の特性情報を取得する。ステップS752では、伝達関数を定義する際に用いるパラメータを取得する。伝達関数は、撮影レンズ100と撮像素子201との間の光伝達特性によって決まる。光伝達特性は、RGBの色毎に異なる。また、カメラ200の特性情報、撮影レンズ100の特性情報、画像データにおけるXY方向の位置、被写体距離などの要因によっても変わる。そこで、これらの要因と伝達関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、予め不揮発性メモリ431に記憶しておく。そしてステップS752が実行されると、システム制御回路440は、これらの要因に基づいて、不揮発性メモリ431からRGB色毎の伝達関数定義の際に用いるパラメータを取得する。
ステップS753では、ステップS752で取得したパラメータに基づいて、R信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのR波長における光伝達関数特性と考えられる。ステップS754では、ステップS752で取得したパラメータに基づいて、G信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのG波長における光伝達関数特性と考えられる。
ステップS755では、ステップS752で取得したパラメータに基づいて、B信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ100から撮像素子201に到達するまでのB波長における光伝達関数特性と考えられる。ステップS755が終わったら、ステップS705伝達関数生成サブルーチンを終了し、収差補正サブルーチン(ステップS657)に戻る。
本実施例によれば、小型で安価な構成で、光学ファインダを備えた動画撮影可能なデジタル一眼レフカメラ(撮像装置)が実現できる。また、光学素子により発生した収差及び内面反射ゴーストが補正されているため、高画質な動画を得ることが可能である。
なお本実施例の画像処理回路413は、ステップS657で、撮像素子201から出力された画像データに対して、入射光束がハーフミラー202を透過することにより生じる収差と、ハーフミラー202で内面反射することにより生じる劣化の両方を補正する。ただし本実施例はこれに限定されるものではなく、画像処理回路413は、このような収差と劣化のいずれか一方のみを補正するように構成してもよい。