JP2014132790A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】ハーフミラーの内面反射により発生する像劣化を抑制しながら、小型で安価な撮像装置を提供する。
【解決手段】カメラ２００（撮像装置）は、撮影レンズ１００の光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させるハーフミラー２０２と、ハーフミラー２０２で反射した第一の光束を用いて被写体を観察可能に構成された光学ファインダ４４５と、ハーフミラー２０２を透過した第二の光束を受光して画像データを出力する撮像素子２０１と、撮像素子２０１から出力された画像データに対して、入射光束がハーフミラー２０２で内面反射することにより生じる劣化を補正する画像処理回路４１３とを有する。
【選択図】図１

Description

本発明は、撮影レンズが交換可能な小型で安価な撮像装置に関する。

従来の一眼レフカメラでは、撮影準備状態ではハーフミラーを配置して撮影レンズより入射した光束を光学ファインダへ向かう光束と撮像面へ向かう光束とに分割し、撮影時にはクイックリターン機構により撮影光束外へ退避させるのが一般的であった。このような一眼レフカメラにおいて、光学ファインダを使用して動画を撮影しようとすると、撮影レンズからの入射光束を光学ファインダへの光束と撮像面への光束とに分割した状態を維持するため、ハーフミラーを介在させて動画撮影を行なう必要がある。しかしこの場合、ハーフミラーの内面反射による２重像が発生し、画質が低下するおそれがある。

そこで特許文献１には、ハーフミラーを薄膜ミラーまたは０．２ｍｍ以下のガラスミラーで構成することで、ハーフミラーの内面反射による像劣化の影響を軽減する技術が開示されている。

特開２００８−０５２２４６号公報

しかしながら、特許文献１では、繊細な光学部品である薄膜ミラーまたは０．２ｍｍ以下のガラスミラーが用いられるために取り扱いが難しい。また、薄膜ミラー自体が高価であり、面精度を維持しながら薄膜ミラーまたは０．２ｍｍ以下のガラスミラーを保持する機構を構成しようとすると、小型で安価なカメラを提供することは困難である。

そこで本発明は、ハーフミラーの内面反射により発生する像劣化を抑制しながら小型で安価な撮像装置を提供する。

本発明の一側面としての撮像装置は、交換レンズの光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させる光学素子と、前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、前記撮像手段から出力された前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正する画像処理手段とを有する。

本発明の他の側面としての画像処理方法は、撮像手段から画像データを取得するステップと、前記画像データのうち補正対象の領域を設定するステップと、前記補正対象の領域における伝達関数を生成するステップと、前記補正対象の領域に対して、前記伝達関数に基づき、撮影レンズからの入射光束が該撮影レンズの光軸に対して斜めに固定配置された光学素子で内面反射することにより生じる劣化を補正するステップとを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ハーフミラーの内面反射により発生する像劣化を抑制しながら小型で安価な撮像装置を提供することができる。

実施例１における一眼レフカメラの中央断面図である。 実施例１におけるハーフミラーで発生する収差を表す図である。 実施例１におけるハーフミラーによる光束の屈折を表す図である。 実施例１における周辺像高での収差を表す図である。 実施例１におけるハーフミラー内面反射で発生するゴースト光線を表す図である。 実施例１におけるハーフミラー内面反射の屈折及び反射の様子を表す図である。 実施例１における周辺像高でのハーフミラー内面反射ゴースト光線を表す図である。 実施例１における撮像素子による撮影範囲を表す図である。 実施例１における一眼レフカメラの電気的構成を表すブロック図である。 実施例１における一眼レフカメラの動画撮影シーケンスを表すフローチャートである。 実施例１における動画撮影シーケンス中の１フレーム処理を表すフローチャートである。 実施例１における撮影範囲を分割した様子を表す図である。 実施例１における動画撮影シーケンス中の収差及び内面反射ゴーストの補正サブルーチンを表すフローチャートである。 実施例１における動画撮影シーケンス中の伝達関数生成サブルーチンを表すフローチャートである。 実施例２における一眼レフカメラの中央断面図である。 実施例２における撮影範囲を分割した様子を表す図である。 実施例３の劣化関数の割り当ての説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施例１における撮像装置について説明する。本実施例は、交換レンズを着脱可能な一眼レフタイプのデジタルカメラ（撮像装置）に適用した例である。図１は、一眼レフカメラの光学系を示す中央断面図である。図１において、１００はカメラ２００に交換可能に装着された撮影レンズ（交換レンズ）、１０１はフォーカスレンズ群やズームレンズ群からなるレンズ部、Ｌは撮影レンズ１００の光軸である。

２００はカメラ（カメラ本体）で、撮影レンズ１００の予定結像面付近には、光学ローパスフィルタや赤外カットフィルタ、さらにはＣＭＯＳセンサなどからなる光電変換素子を含む撮像素子２０１（撮像手段）が配置される。撮影レンズ１００と撮像素子２０１の間には、平行平板のガラス板などで形成されたハーフミラー２０２（光学素子）が撮影レンズ１００の光軸Ｌに対して斜めに固定配置される。ハーフミラー２０２は全面半透過性を有するミラーであり、入射光束の一部を反射させ他の一部を透過させる。このため、撮影レンズ１００を通過した入射光束は、上方の光学ファインダ（ファインダ手段）に導かれる反射光（第一の光束）と撮像素子２０１に入射する透過光（第二の光束）に分離される。

図１に示される２０３〜２０５は光学ファインダである。光学ファインダは、ハーフミラー２０２で反射した反射光を用いて被写体を観察可能に構成される。具体的には、ハーフミラー２０２の反射光は、マット面とフレネル面を備えるピント板２０３のマット面上に結像し、ペンタプリズム２０４、接眼光学系２０５を介して撮影者の目に導かれる。一方、透過光は撮像素子２０１で受光され、受光された光の強度信号はＡＤ変換、画像処理部などを介して電子画像となる。このように、撮像素子２０１は、ハーフミラー２０２を透過した透過光を受光して画像データを出力する。なお、ハーフミラー２０２を通過した光軸Ｌは、ハーフミラー２０２での屈折により紙面下方向にオフセットした光軸Ｌ’となる。そこで、撮像素子２０１の中心は、光軸Ｌ’に対して一致するように配置されている。

一般的に、撮影レンズ１００と撮像素子２０１の間にガラス板など平板光学素子（ハーフミラー２０２）を斜めに配置した場合、撮像素子２０１で得られる画像には大きな収差が発生する。これは、レンズを通過した各光線において、光学素子を通過する光路長方向の位置が異なるためであり、収差もその位置に応じて異なる。したがって、従来の一眼レフカメラにおいては、撮影時に、ハーフミラー２０２をクイックリターン機構で撮影光束外へ退避させるのが一般的であった。

一方、本実施例では、図１に示されるようにハーフミラー２０２を傾けて配置しており、撮影時にはハーフミラー２０２を透過した光束を用いる。撮像素子２０１で得られる画像には収差及び内面反射ゴーストが発生するが、これは撮影レンズ１００の光学収差とは異なり、軸対称性のない画像劣化となる。内面反射ゴーストを軽減するため、ハーフミラー２０２に反射防止用の多層膜を蒸着することも考えられる。しかしながら、多層膜の蒸着は非常に高価であり、高コストとなる。そこで本実施例では、非対称な収差及び内面反射ゴーストを画像処理回路４１３で補正することにより、低コストで良好な電子画像を形成する。この画像処理方法の詳細については後述する。

従来、一眼レフカメラにおいて動画撮影を行なう場合には、撮像素子２０１に撮影光束を導くため、かつ、ハーフミラー２０２を透過することにより発生する収差を防ぐために、ハーフミラー２０２を撮影光束外へ退避させるのが一般的であった。このため、撮影光束は光学ファインダに導かれず、電子ファインダを使用していた。電子ファインダでは、撮像素子２０１での蓄積・読み出し動作や電子画像を作り出すために画像処理動作に時間がかかるため、表示される画像には時間遅れが生じる。このため、動きの速い動体に対して追従することが困難であった。

一方、本実施例の構成では、撮像素子２０１で電子画像を撮影しながら光学ファインダでの被写体観察を行うことが可能である。このため、動画を撮影する場合においても光学ファインダの利用ができ、従来のカメラの電子ファインダなどでは不可能であった、より動きの速い動体に対しても追従することが可能である。また、ハーフミラー２０２は固定されて配置されている。このため、従来の一眼レフカメラのように、撮影時にはハーフミラー２０２を撮影光束外へ退避させるクイックリターン機構を用いる必要がない。したがって、クイックリターン機構に用いる複雑なメカ構成が不要であり、低コスト化とコンパクト化が可能となる。さらに、本実施例の構成によれば、動画撮影時の静音化を達成される。

図２（ａ）は、ハーフミラー２０２で生じる収差の説明図であり、図１から必要な部分のみを抽出している。図２（ａ）において、光線１１０ａ、１１０ｂは、物体側の光軸Ｌ上の１点を発し、レンズ部１０１を通過して撮像素子２０１の中心像高付近に結像する光束のうち最外部のみの光線を示している。なお、レンズ部１０１を挟んで物体側の光線は省略している。光線１１０ａ、１１０ｂは、ハーフミラー２０２の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー２０２中を直進する。その後、ハーフミラー２０２の射出面で再度スネルの法則に従い所定角度だけ屈折し射出する。このとき、ハーフミラー２０２に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の屈折の原理原則である。なお、光軸Ｌについても同様である。すなわち、ハーフミラー２０２を通過した光線は、角度は変化せず、平行シフトのみが生じることとなる。

図３は、上記光線の屈折の詳細な説明図であり、空気中における平行平板の光の屈折を示す図である。図３において、２１０は平行平板であり、１２０は平行平板２１０に入射する光線を示し、その進行方向が矢印で示される。光線１２０は、入射角度φで平行平板２１０の入射面２１０ａに入射し、スネルの法則に基づき光線１２０は屈折する。そして屈折後は、角度φ’で平行平板２１０中を直進する。その後、光線１２０は平行平板２１０の射出面２１０ｂで再度屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してｄだけ平行シフトする。ここで、平行平板の板厚をｔ、空気の屈折率をｎ、平行平板２１０の屈折率をｎ’とすると、平行シフト量ｄは以下の式（１）で表される。

上記式（１）より入射角度φが大きいほど、平行シフト量ｄも大きくなる。

そこで、図２（ａ）において光線１１０ａ、光軸Ｌ、光線１１０ｂの平行シフト量をそれぞれｄａ、ｄｌ、ｄｂとすると、ｄａよりｄｌが大きく、ｄｌよりｄｂが大きくなるという関係（ｄａ＜ｄｌ＜ｄｂ）が得られる。これは、光線１１０ａ、光軸Ｌ、光線１１０ｂがそれぞれハーフミラー２０２に入射する角度が異なるためである。入射角度は、光線１１０ａより光軸Ｌの方が大きく、光軸Ｌより光線１１０ｂの方が大きいという関係になっている。このとき、光線１１０ａが光軸Ｌ’と交わる位置と光線１１０ｂが光軸Ｌ’と交わる位置とは、上述の平行シフトの影響で一致せず、光線１１０ｂの方が光線１１０ａより図中右側で光軸Ｌと交わる。これが、ハーフミラー２０２による収差の原因である。

図２では、２本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸Ｌ’上で交わる位置は、図２の断面においては全て一致しない。図２（ｂ）は、図１の撮像素子２０１の中央像高付近Ｃを拡大した図であり、結像する光線を示している。図２（ｂ）において、２０１ａは撮像素子２０１の受光面近傍、すなわち撮影レンズ１００の予定結像面であり、予定決像面２０１ａには多数の光線が集まっている。しかしながら、図２（ｂ）で説明したハーフミラー２０２による平行シフトの影響により、全ての光線について光軸Ｌ’上で交わる位置が異なっており、１点に収斂する結像となっていない。

なお、実際の光線は紙面奥行き方向にも存在するため、より複雑な収差が発生している。しかし、ハーフミラー２０２は光軸Ｌに対して図１の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差となっている。また、上記収差は式（１）から、平行平板２１０、すなわちハーフミラー２０２の屈折率によっても収差の状況は異なる。したがって、波長によっても収差の状況は異なる。さらに、式（１）より、像高によって入射する光線の角度が異なるため、像高によっても収差の状況は異なる。

図４は、周辺像高に到達する光線の収差の説明図である。図４において、光線１１１ａ、１１１ｂは撮像素子２０１の上側像高に結像する光線を示し、光線１１２ａ、１１２ｂは撮像素子２０１の下側像高に結像する光線をそれぞれ示す。そして、それぞれの光線はハーフミラー２０２に入射する角度が異なるため、図３にて説明した原理原則から平行シフト量も異なり、光線１１１ａと１１１ｂ、光線１１２ａと１１２ｂでは異なる収差が発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図２で説明した撮像素子２０１の中央像高付近に結像する光線とも異なるため、図４における撮像素子２０１の上下方向においては非対称な収差が生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差となっている。また、周辺像高においても、波長によって収差の状況は異なる。なお、実際の収差の状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやＭＴＦなどを計算することにより、詳細に観察可能である。

図５（ａ）は、ハーフミラー２０２の内面反射によって生じるゴースト光線の説明図であり、図１から必要な部分のみを抽出している。また、光線の経路を見やすくするため、ハーフミラー２０２を厚くして描かれている。図５（ａ）において、光線１１３ａ、１１３ｂは、物体側光軸Ｌ上の１点を発し、レンズ部１０１を通過して撮像素子２０１の中心像高付近に結像する光束のうち最外部のみの光線を示す。なお、レンズ部１０１を挟んで物体側の光線は省略している。光線１１３ａ、１１３ｂは、ハーフミラー２０２の入射面で周知のスネルの法則に従い所定角度だけ屈折し、ハーフミラー２０２中を直進する。ハーフミラー２０２の射出面において、大部分の光束はそのまま透過し、スネルの法則にしたがって所定角度だけ屈折して射出する。これが図２（ａ）で説明した内面反射せずに射出する光線の経路である。

一方、ハーフミラー２０２の射出面において、反射する光束も存在する。このハーフミラー２０２の射出面で反射した光束は、ハーフミラー２０２中を直進し、ハーフミラー２０２の入射面において、また反射する成分と透過する成分に分離する。ハーフミラー２０２の入射面で反射した光束は、ハーフミラー２０２中を直進し、再びハーフミラー２０２の射出面に到達する。ハーフミラー２０２の射出面に到達した光束のうち、透過する成分はハーフミラー２０２の射出面で再度スネルの法則に従い所定角度屈折し射出する。このように、ハーフミラー２０２の射出面で反射した後にハーフミラー２０２の入射面で反射し、再び到達したハーフミラー２０２の射出面を透過して撮像素子２０１に到達するのが、ハーフミラー２０２の内面反射によるゴースト光線である。このとき、ハーフミラー２０２に対して入射する光線の角度と射出する光線の角度は等しい。これは、周知のように平行平板における光の内面反射によるゴースト光線の経路である。なお、光軸Ｌについても同様である。すなわち、ハーフミラー２０２を通過した光線は、角度は変化せず、平行シフトのみが生じる。

図６は、ハーフミラー２０２の内面反射によるゴースト光線の屈折及び反射の詳細な説明図である。図６において、２１０は平行平板であり、１２０は平行平板２１０に入射する光線で、その進行方向が矢印で示されている。光線１２０は、入射角度φで平行平板２１０の入射面２１０ａに入射し、スネルの法則に基づき光線１２０は屈折する。そして屈折後は、角度φ’で平行平板２１０中を直進する。その後、光線１２０は平行平板２１０の射出面２１０ｂに角度φ’で入射し、角度φ’で反射する。反射した光線１２０は、平行平板２１０の入射面２１０ａに角度φ’で入射し、角度φ’で反射する。再び、平行平板２１０の射出面２１０ｂに到達した光線１２０は屈折し、入射角度φと同じ角度φで射出する。そして、射出した光線は入射する光線に対してｇだけ平行シフトする。ここで、平行平板の板厚をｔ、空気の屈折率をｎ、平行平板２１０の屈折率をｎ’、平行平板を透過したときの平行シフト量をｄとしたとき、内面反射せずに射出したときと内面反射して射出したときの平行シフト量の差ｅは、以下の式（２）で表される。

また、平行平板で内面反射したときの平行シフト量ｇは、式（１）、（２）より、以下の式（３）で表される。

上記の式（３）より、入射角度φによって平行シフト量ｇが変わることがわかる。

そこで、図５（ａ）において光線１１３ａ、光軸Ｌ、光線１１３ｂの平行シフト量をそれぞれｇａ、ｇｌ、ｇｂとすると、式（３）より、ｇａよりｇｌが小さく、ｇｌよりｇｂが小さくなるという関係（ｇａ＞ｇｌ＞ｇｂ）が得られる。これは、光線１１３ａ、光軸Ｌ、光線１１３ｂがそれぞれハーフミラー２０２に入射する角度が異なるためであり、入射角度は光線１１３ａより光軸Ｌの方が大きく、光軸Ｌより光線１１３ｂの方が大きいという関係になる。このとき、光線１１３ａが光軸Ｌ’’と交わる位置と光線１１３ｂが光軸Ｌ’’と交わる位置とは、上記平行シフトの影響で一致せず、光線１１３ａの方が光線１１３ｂより図中右側で光軸Ｌと交わる。

ハーフミラー２０２で内面反射せずに射出した光線は、図２（ａ）で説明したように、入射した光線に対して図中下方向にシフトする。一方、ハーフミラー２０２で内面反射して射出した光線は、図５（ａ）で説明したように、入射した光線に対して図中上方向にシフトする。すなわち、ハーフミラー２０２を透過した光線は、内面反射せずに下方向にシフトした光線と内面反射して上方向にシフトした光線の２本の光線に分離する。これが、ハーフミラー２０２の内面反射による２重像の原因である。

図５では、２本の光線のみを用いて説明したが、実際には多数の光線により像は形成され、各光線が光軸Ｌ’’上で交わる位置は、図５の断面においては全て一致しない。図５（ｂ）は、図１の撮像素子２０１の中央像高付近Ｃを拡大した図であり、結像する光線を示している。図５（ｂ）において、２０１ａは撮像素子２０１の受光面近傍、すなわち、撮影レンズ１００の予定結像面を示し、予定決像面２０１ａには多数の光線が集まっている。しかしながら、図５（ａ）で説明したハーフミラー２０２による平行シフトの影響により、全ての光線は光軸Ｌ’’上で交わる位置が異なり、完全な結像となっていない。

なお、実際の光線は紙面奥行き方向にも存在するためより複雑な収差及び内面反射ゴーストが発生しているが、ハーフミラー２０２は光軸Ｌに対して、図１の断面でのみ傾斜して配置されている。このため、紙面奥行き方向には対称性を有する収差及び内面反射ゴーストとなっている。また、上記収差及び内面反射ゴーストは、式（３）から、平行平板２１０、すなわちハーフミラー２０２の屈折率によっても収差の状況は異なる。したがって、波長によっても収差及び内面反射ゴーストの状況は異なる。さらに、式（３）より、像高によって入射する光線の角度が異なるため、像高によっても収差及び内面反射ゴーストの状況は異なる。

図７は、周辺像高に到達する光線の内面反射ゴースト光線の説明図である。図７において、光線１１４ａ、１１４ｂは撮像素子２０１の上側像高に結像する光線を示し、光線１１５ａ、１１５ｂは撮像素子２０１の下側像高に結像する光線を示す。それぞれの光線はハーフミラー２０２に入射する角度が異なるため、図６にて説明したように平行シフト量も異なり、光線１１４ａ、１１４ｂ、および、光線１１５ａ、１１５ｂの間では異なる収差及び内面反射ゴーストが発生している。また、上側像高と下側像高に結像する光線の平行シフト量は、図５で説明した撮像素子２０１の中央像高付近に結像する光線とも異なる。このため、図７における撮像素子２０１の上下方向においては、非対称な収差及び内面反射ゴーストが生じる。なお、紙面奥行き方向においては前述した理由により、周辺像高においても対称性を有する収差及び内面反射ゴーストとなっている。また、周辺像高においても、波長によって収差及び内面反射ゴーストの状況が異なる。なお、実際の収差及び内面反射ゴーストの状況は、周知の光学シミュレーションソフトウェアなどを用いて、スポットダイアグラムやＭＴＦなどを計算することにより、詳細に観察可能である。

以上のことから、本実施例のようにハーフミラー２０２を通過した光束で得られる画像には、以下の（１）〜（３）のような収差と内面反射ゴーストが発生していることとなる。（１）内面反射せずに射出した光線と内面反射して射出した光線の２重像が発生している。（２）どちらの光線も、紙面奥行方向に対称で上下方向には非対称な収差が発生している。（３）収差は像高、波長により異なる。

そこで本実施例では、上記収差と内面反射ゴーストを画像処理回路４１３によって復元処理を行い、収差による劣化のない画像を生成する。以下、収差復元の基本的な考え方について説明する。図８は、撮像素子２０１による撮影範囲を示す図である。図８において、２２０は撮影範囲であり、撮影範囲の中央を原点として、図のようにＸＹ座標を定義する。そして、撮影範囲２２０内の任意の座標点（ｘ，ｙ）における撮影レンズ１００およびハーフミラー２０２の収差及び内面反射ゴーストによる劣化前の画像の光量分布をｏ（ｘ，ｙ）とする。また、それに対応した撮影レンズ１００およびハーフミラー２０２の収差による劣化後の画像の光量分布をｉ（ｘ，ｙ）とすると、ｉ（ｘ，ｙ）は以下の式（４）で表される。

ここで、ｈ（ｘ，ｙ）は、撮影レンズ１００およびハーフミラー２０２により画像が劣化する状態を表す伝達関数である。また式（４）は、ハーフミラー２０２による収差及び内面反射ゴーストのみならず、撮影レンズ１００の収差までを含む劣化像モデル式として表されている。また式（４）は、ｏ（ｘ，ｙ）とｈ（ｘ，ｙ）の畳み込み積分であるため、フーリエ変換を行えば、以下の式（５）のように、よりシンプルな積の形で表すことができる。

ここで、Ｉ（ｕ，ｖ）はｉ（ｘ，ｙ）、Ｏ（ｕ，ｖ）はｏ（ｘ，ｙ）、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のそれぞれ２次元フーリエ変換であり、ｕ、ｖは空間周波数変数である。したがって、式（５）から劣化前の画像Ｏ（ｕ，ｖ）は、以下の式（６）で表される。

ここで、１／Ｈ（ｕ，ｖ）は一般的にインバースフィルターと呼ばれる。インバースフィルターをカメラ２００の不揮発性メモリ４３１などに予め記憶しておくことで、ハーフミラー２０２の収差及び内面反射ゴーストによる劣化前の画像を復元することができる。なお、実際の画像復元処理は、ノイズなどの影響を大きく受けるため、インバースフィルターに限定されず、周知のウィナーフィルターや線形反復修正法、非線形反復修正法などを用いてもよい。また、ハーフミラー２０２による収差及び内面反射ゴーストは、図８においてＹ軸対称である。このため、復元用のフィルターとしては撮影範囲２２０の半分のみを用意することで、全画像を復元処理することができる。さらに、上記フィルターは、ハーフミラー２０２の収差及び内面反射ゴーストのみならず、撮影レンズ１００の収差までも考慮しているため、撮影レンズの収差による劣化も復元することが可能である。

以上のように、ハーフミラー２０２に収差による劣化前の画像を復元する。なお、ハーフミラー２０２による収差及び内面反射ゴーストは波長により異なるため、実際の画像処理回路４１３による復元はＲＧＢの色別に取得された画像データを用いて行う。詳細は後述する。

図９は、本実施例における撮像装置の構成図である。図９は、カメラ２００とカメラ２００に交換可能に装着される撮影レンズ１００で構成されたカメラシステムを示す。本実施例は、カメラ２００、撮影レンズ１００、または、カメラ２００と撮影レンズ１００で構成されたカメラシステムのいずれをも撮像装置として適用可能である。また本実施例はこれに限定されるものではなく、カメラと撮影レンズが一体に構成された撮像装置にも適用可能である。

図９を参照して、まずカメラ２００側について詳述する。４０１は露光量を制御するためのシャッター、２０１は光学像を電気信号に変換する撮像素子、４１２は撮像素子２０１のアナログ信号をデジタル信号（画像データ）に変換するＡ／Ｄ変換器である。４０３は撮像素子２０１、Ａ／Ｄ変換器４１２、Ｄ／Ａ変換器４０４にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路４０７およびシステム制御回路４４０により制御される。

４１３は画像処理回路（画像処理手段）であり、Ａ／Ｄ変換器４１２からの画像データあるいはメモリ制御回路４０７からの画像データに対して所定の画素補間処理や色変換処理を行う。本実施例における収差の補正（画像処理方法）は、例えば画像処理回路４１３で実施される。また画像処理回路４１３は、画像データを用いて所定の演算処理を行うことも可能である。得られた演算結果に基づいてシステム制御回路４４０が、後述する撮影レンズ１００側のフォーカス制御部４５４および絞り制御部４５５に対して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などの処理を行う。さらに、画像処理回路４１３は、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

４０９は顔検出部で、検出する対象画像としては人物の顔が対応している。画像処理回路４１３からの画像データあるいはメモリ制御回路４０７からの画像データに対して所定の顔検出動作を行う。メモリ制御回路４０７は、Ａ／Ｄ変換器４１２、タイミング発生回路４０３、画像処理回路４１３、画像表示メモリ４０８、Ｄ／Ａ変換器４０４、顔検出部４０９、メモリ４１０、圧縮伸長回路４１１を制御する。Ａ／Ｄ変換器４１２のデータが画像処理回路４１３、メモリ制御回路４０７を介して、あるいはＡ／Ｄ変換器４１２のデータが直接メモリ制御回路４０７を介して、画像表示メモリ４０８あるいはメモリ４１０に書き込まれる。

４０５は液晶モニタ等からなる画像表示部で、画像表示メモリ４０８に書き込まれた画像データを、Ｄ／Ａ変換器４０４を介して表示する。画像表示部４０５を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部４０５は、システム制御回路４４０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には、カメラ２００の電力消費を大幅に低減することができる。

４１０は撮影した静止画像や動画像を記憶するためのメモリであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大容量の画像書き込みをメモリ４１０に対して行うことが可能となる。また、メモリ４１０はシステム制御回路４４０の作業領域としても使用することが可能である。

４１１は適用離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮伸長回路であり、メモリ４１０に記憶された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えた画像データをメモリ４１０に書き込む。４２０は測光部４２２からの測光情報に基づいて、撮影レンズ１００側の絞り４５２を制御する絞り制御部４５５と連携しながら、シャッター４０１を制御するシャッター制御部である。４２３はカメラ２００と撮影レンズ１００とを電気的に接続するためのインターフェース（Ｉ／Ｆ）であり、４４３はカメラ２００を撮影レンズ１００と電気的に接続するコネクタである。

４２１はＡＦ処理を行うためのＡＦ部である。撮像素子２０１で得られる画像データのコントラスト成分を評価しながら、撮影レンズ１００のフォーカス制御を行う周知のコントラスト方式ＡＦを用いることで、撮像素子２０１上における撮影レンズ１００の合焦状態を測定している。４２２はＡＥ処理を行うための測光部である。撮影レンズ１００を通過した光束を、カメラマウント４４２、ハーフミラー２０２、そして不図示の測光用レンズを介して、測光部４２２に入射させることにより、画像の露出状態を測定することができる。また、測光部４２２は、フラッシュ部４２４と連携することによりＥＦ処理機能も有するものである。なお、ＡＦ部４２１と同様に、画像処理回路４１３による撮像素子２０１の画像データを演算した演算結果に基づき、システム制御回路４４０が、シャッター制御部４２０と撮影レンズ１００の絞り制御部４５５に対してＡＥ制御を行うことも可能である。４２４はフラッシュ部であり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

４４０はカメラ２００の全体を制御するシステム制御回路、４２９はシステム制御回路４４０の動作用の定数、変数、プログラム等を記憶するメモリである。４３０はシステム制御回路４４０でのプログラム実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。カメラ２００の操作部近辺に視認し易い位置に単数あるいは複数箇所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組合せにより構成されている。また、表示部４３０は、その一部の機能が光学ファインダ４４５内に設置されている。光学ファインダ４４５の詳細については、後述する。表示部４３０の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付や時刻等も表示される。光学ファインダ４４５内に表示するものとしては、合焦状態、手ぶれ警告、フラッシュ充電状態、シャッタースピード、絞り値、露出補正等の情報がある。

４３１は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。４３３、４３４、４３５、４３６、４３７および４３８は、システム制御回路４４０の各種の動作指示を入力するための操作部で、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせで構成される。４３３はダイアルモードスイッチで、電源オフ、オート撮影モード、マニュアル撮影モード、パノラマ撮影モード、マクロ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各種モードを切り替えて設定することができる。４３４はシャッタースイッチＳＷ１で、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

４３５はシャッタースイッチＳＷ２で、不図示のシャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理および記憶処理等のことである。露光処理では、撮像素子２０１から読み出した信号をＡ／Ｄ変換器４１２、メモリ制御回路４０７を介してメモリ４１０に画像データを書き込む。現像処理では、画像処理回路４１３やメモリ制御回路４０７での演算を用いた現像を行う。記録処理では、メモリ４１０から画像データを読み出し、圧縮伸長回路４１１で圧縮を行い、記録媒体４８５または４９１に画像データを書き込む。４３６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部４０５のＯＮ／ＯＦＦを設定することができる。この機能により、光学ファインダ４４５を用いて撮影を行う際に、液晶モニタ等から成る画像表示部４０５への電流供給を遮断することにより、省電力を図ることが可能となる。４３７はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のＯＮ／ＯＦＦを設定することができる。４３８は各種ボタンやタッチパネル等からなる操作部である。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、選択移動ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。さらに、操作部４３８は、顔検出部４０９での顔検出を行うか否かを設定する顔検出モード設定ボタンも備える。

４２５は電源制御部で、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部４２５は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路４４０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。４２６および４２７はコネクタであり、４２８はアルカリ電池やリチウム電池等の一次電池やＮｉＣＤ電池やＮｉＭＨ電池、Ｌｉ−Ｉｏｎ電池等の二次電池、ＡＣアダプタ等からなる電源部である。

４８０および４８６はメモリカードやハードディスク等の記録媒体とのインターフェースであり、４８１および４８７はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。４３９はコネクタ４８１または４８７に記録媒体が装着されているかどうかを検知する記録媒体着脱検知部である。

なお、本実施例では、記録媒体を取り付けるインターフェースおよびコネクタを２系統持つものとして説明している。ただし本実施例はこれに限定されず、記録媒体を取り付けるインターフェースおよびコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としてもよい。また、インターフェースおよびコネクタとしては、ＰＣＭＣＩＡカード等の規格に準拠したものを用いて構成しても構わない。さらに、インターフェースおよびコネクタにＬＡＮカードやモデムカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

４４５はファインダ手段としての光学ファインダであり、主にピント板２０３、ペンタプリズム２０４、接眼光学系２０５を備えて構成されている。撮影レンズ１００を通過した光束を、カメラマウント４４２、ハーフミラー２０２を介して導き、光学像として観察することができる。これにより、画像表示部４０５による電子ファインダ機能を使用することなく、光学ファインダ４４５のみを用いて撮影を行うことができる。

４３２は通信部で、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。４４６は通信部４３２によりカメラ２００を他の機器と接続するコネクタあるいは無線通信の場合はアンテナである。コネクタ４４３は、カメラ２００と撮影レンズ１００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ４４３は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

２０２は全面ハーフミラーで、撮影レンズ１００を通過した光速を、光学ファインダ４４５に反射すると共に、ハーフミラー２０２を透過した光束は撮像素子２０１へ導かれる。また、ハーフミラー２０２を透過した光速の一部は不図示のＡＦ用サブミラーを介してＡＦ部４２１へ導く構成としてもよい。なお本実施例では、ハーフミラー２０２は、可動機構なしの全面ハーフミラーとしているが、クイックリターンミラーとすることも可能である。

４８５および４９１はメモリカードやハードディスク等の記録媒体である。記録媒体４８５および４９１は、半導体メモリや磁気ディスク等から構成される記録部４８４および４９０、カメラ２００とのインターフェース４８３および４８９、カメラ２００との接続を行うコネクタ４８２および４８８を備えている。

次に、撮影レンズ１００について詳細に説明する。４５８は撮影レンズ１００をカメラ２００に機械的に結合するレンズマウントで、カメラマウント４４２を介してカメラ２００に交換可能に取り付けられる。カメラマウント４４２およびレンズマウント４５８内には、撮影レンズ１００をカメラ２００と電気的に接続する各種機能が含まれている。１０１はレンズ部、４５２は絞りである。なお、レンズ部１０１には、被写体の焦点調節を行うフォーカスレンズが含まれている。

４５９は撮影レンズ１００をカメラ２００と電気的に接続するコネクタであり、４５７はカメラ２００のコネクタ４４３と接続するためのインターフェース（Ｉ／Ｆ）である。コネクタ４５９は、カメラ２００と撮影レンズ１００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能を備えている。なお、コネクタ４５９は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

４５３はレンズ部１０１のズーミングを制御するズーム制御部であり、４５４はレンズ部１０１のフォーカスレンズ動作を制御するフォーカス制御部である。なお、撮影レンズ１００がズーム機能のない単焦点レンズタイプであればズーム制御部４５３はなくてもよい。４５５は測光部４２２からの測光情報に基づいて、シャッター４０１を制御するシャッター制御部４２０と連携しながら、絞り４５２を制御する絞り制御部である。

４５６は撮影レンズ１００全体を制御するレンズ制御部である。レンズ制御部４５６は、撮影レンズ動作用の定数、変数、プログラム等を記憶するメモリ機能を備えている。その他、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する不揮発メモリの機能も備えている。以上が、本実施例における撮像装置の構成である。

図１０〜図１４は、本実施例における撮像装置の動作のフローチャートおよびその説明図である。図１０は本実施例における撮像装置のメインフローである。図１０に示されるメインフロー動作は、システム制御回路４４０により実施される。撮影者がカメラの操作部４３８に設けられた電源スイッチをオン操作すると（ステップＳ６００）、システム制御回路４４０はカメラ内の各アクチュエータや撮像素子２０１の動作確認を行なう。またシステム制御回路４４０は、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する（ステップＳ６０１）。

ステップＳ６０２では、動画撮影を行なうための準備処理を実行する。動画撮影準備処理には、レンズ通信処理、シャッター開処理、プレビュー画像表示開始処理、焦点調節処理、露出制御処理などが含まれる。レンズ通信処理では、コネクタ４４３、４５９を介して撮影レンズ１００内のレンズ制御部４５６とレンズ通信を行なう。レンズ通信により撮影レンズ１００の動作確認を行い、撮影レンズ１００のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要な撮影レンズ１００の諸特性データを取得し、メモリ４２９に保存する。

シャッター開処理では、システム制御回路４４０は、シャッター制御部４２０を介してシャッター１４０を駆動し、シャッター開放状態にする。この動作により、撮影レンズ１００を透過した開放Ｆナンバーの撮影光束が撮像素子２０１上に到達することになる。プレビュー画像表示開始処理では、プレビュー用として画像表示メモリ４０８に書き込まれた画像データを、Ｄ／Ａ変換器４０４を介して表示する。カメラ背面に設けられた画像表示部４０５に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なう。

焦点調節処理では、フォーカス制御部４５４を介してレンズ部１０１のフォーカスレンズ動作を制御し、撮影レンズ１００の焦点状態が合焦となるように焦点の調節を行なう。レンズ部１０１のフォーカスレンズを光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、ＡＦ評価値の取得を行なう。フォーカスレンズの往復運動によるＡＦ評価値の変動の大きさが所定量に収まっている場合には、撮影レンズ１００は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。ＡＦ評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。ここでＡＦ評価値とは、画像データのコントラスト情報のことである。コントラスト情報とは、画像データの隣接画素出力の差分の絶対和などを用いることが多い。

露出制御処理では、撮像素子２０１から得られる画素出力値に基づき、露出条件の設定を行なう。露出制御は、撮像素子２０１の感度、撮像素子２０１の蓄積時間、撮影レンズ１００のＦナンバーの組み合わせで行なう。この動作により、撮像素子２０１は、所定Ｆナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。

ステップＳ６０３では、操作部４３８から動画撮影開始操作が行われたか否かを判断する。動画撮影開始操作が行われていなかった場合には、ステップＳ６０７に進み、電源スイッチのオフ操作が行われた否かを判断する。動画撮影開始操作が行われていた場合には、ステップＳ６０４に進む。ステップＳ６０４では、１フレーム処理サブルーチンを実行し、動画撮影における１フレーム分の撮影動作を行なう。ステップＳ６０５では、操作部４３８から動画撮影終了操作が行われたか否かを判断する。動画撮影終了操作が行なわれなかった場合には、ステップＳ６０４に戻り、動画撮影を継続させる。動画撮影終了操作が行なわれた場合には、ステップＳ６０６に進み、動画撮影終了処理を実行する。ステップＳ６０６では、動画撮影を終了させる処理を行なう。動画撮影終了処理には、プレビュー画像表示終了処理、シャッター閉処理、レンズ通信処理が含まれる。

プレビュー画像表示終了処理では、プレビュー用として画像データを画像表示部４０５に表示する動作を終了する。シャッター閉処理では、シャッター制御部４２０を介してシャッター１４０を駆動し、シャッターを閉じた状態にする。この動作により、撮影レンズ１００を透過した撮影光束が撮像素子２０１上に到達しなくなる。レンズ通信処理では、コネクタ４４３、４５９を介して、撮影レンズ１００内のレンズ制御部４５６とレンズ通信を行なう。レンズ通信により撮影レンズ１００に動画撮影終了を動作指示し、撮影レンズ１００のメモリ内容や実行プログラムを動画撮影準備状態へ移行させる。ステップＳ６０７では、電源スイッチのオフ操作が行われたか否かを判断する。オフ操作が行われなかった場合には、ステップＳ６０２に戻る。オフ操作が行われた場合には、一連の動作を終了させる。

図１１は、１フレーム処理サブルーチン（ステップＳ６０４）の動作フローである。１フレーム処理サブルーチンの制御は、システム制御回路４４０が行なう。メインルーチンのステップＳ６０４が実行されると、１フレーム処理サブルーチンＳ６０４が呼び出され、ステップＳ６５０では、撮影レンズ１００の焦点状態が合焦となるように焦点の調節を行なう。レンズ部１０１のフォーカスレンズ位置を光軸方向に往復運動させる所謂ウォブリング駆動をさせながら、ＡＦ評価値の取得を行なう。フォーカスレンズ位置の往復運動によるＡＦ評価値の変動の大きさ所定量に収まっている場合には、撮影レンズ１００は合焦状態であると判定し、そのままのフォーカスレンズ位置で往復運動を行なう。ＡＦ評価値の変動が所定量より大きい場合には、合焦ではないと判定し、ウォブリング駆動させながら合焦位置の方向にフォーカスレンズ位置を移動させる。

ステップＳ６５１では、撮像素子２０１から得られる画素出力値に基づき、露出制御を行なう。露出制御は、撮像素子２０１の感度、撮像素子２０１の蓄積時間、撮影レンズ１００のＦナンバーの組み合わせで行なう。この動作により、撮像素子２０１は、所定Ｆナンバーの撮影光束による被写体像を所定感度および所定蓄積時間で光電変換処理を行なうことで、適切な画素出力を得ることが可能となる。ステップＳ６５２では、撮像素子２０１の蓄積動作を行う。ステップＳ６５１における露出制御で設定した蓄積時間に基づいて、電荷蓄積を行なう。

ステップＳ６５３では、電荷蓄積して得られた画像データの読み出しを行なう。動画撮影時には毎秒３０フレームもしくは毎秒６０フレームなどの高速フレームレートで画像データの読み出しを行なう必要があるため、画素数には制限が生じる。そこで、ステップＳ６５３の画像データ読み出し時には、動画用のフレームレートでの読み出しが可能な画素数に収まるように、間引き読み出しや加算読み出しを行なう。ステップＳ６５４では、画像処理回路４１３にて、画像のγ補正、色変換、エッジ強調等の画像処理を行なう。

ステップＳ６５５では、ステップＳ６５８で記録する画像データに対応させて、カメラ２００（カメラ本体）の特性情報をメモリ４２９に記録する。ここでカメラ２００の特性情報とは、ハーフミラー２０２の位置と厚みの情報、ハーフミラー２０２の屈折率とアッベ数情報、撮像素子２０１の受光感度分布情報、カメラ２００内での撮影光束のケラレ情報が含まれる。更に、特性情報には、カメラ２００と撮影レンズ１００との取り付け面から撮像素子２０１までの距離情報や製造誤差情報などが含まれる。撮像素子２０１の撮像用画素の受光感度分布情報は、オンチップマイクロレンズと光電変換部によって決まるため、これらの情報を記録しても良い。

ステップＳ６５６では、ステップＳ６５８で記録する画像データに対応させて、撮影レンズ１００の特性情報をメモリ４２９に記録する。ここで撮影レンズ１００の特性情報とは、射出瞳の情報、枠情報、撮影時のＦナンバー情報、収差情報、製造誤差情報などが含まれる。ステップＳ６５７では、収差及び内面反射ゴーストの補正サブルーチンを実行する。ハーフミラー２０２を透過することにより生じる収差と、ハーフミラー２０２の内面反射により生じる２重像、両方に起因する像劣化を補正する。補正処理は、画像処理回路４１３にて行なう。ステップＳ６５８では、画像処理回路４１３で収差補正を行った画像データを、記録媒体４８５または記録媒体４９１に順次像を記録する。すなわち、記録媒体４８５または記録媒体４９１に保存される画像データは、収差補正済みのものが保存されていくことになる。

本実施例の撮像装置では、ハーフミラー２０２によって収差と内面反射ゴーストが生じてしまった画像データに対して、撮影レンズ特性情報とカメラ本体特性情報に基づいて伝達関数を推定し、その逆変換による収差補正処理を画像処理回路４１３にて行なう。そのためステップＳ６５８で記録される画像データは、ハーフミラー２０２による収差と内面反射ゴーストが補正された画像となる。これにより、光学ファインダ４４５を見ながら高品位な動画撮影画可能な撮像装置を安価な構成で実現することができる。

ステップＳ６５９では、記録した画像をカメラ背面に設けられた画像表示部４０５に表示する。撮影者はこの電子画像を目視して撮影時の構図決定を行なうとともに、記録した画像の確認を行なうことができる。
ステップＳ６５９が終わると、ステップＳ６０４ １フレーム処理サブルーチンを終了し、メインルーチンに戻る。

図１２は、収差及び内面反射ゴーストの補正サブルーチン（ステップＳ６５７）において、分割した撮影範囲に対して順次伝達関数生成と補正処理を行う様子を示したものである。紙面右方向を＋Ｘ方向，紙面上方向が＋Ｙ方向とする。２２０は、撮像素子２０１から得られる撮影範囲である。Ａｒｅａ（ｍ，ｎ）（ｍ＝１〜５−１，ｎ＝１〜５）は、撮影範囲２２０を５×５＝２５分割した分割領域である。左下端領域がＡｒｅａ（１，１）、一つ右（＋Ｘ方向）の領域がＡｒｅａ（２，１）、一つ上（＋Ｙ方向）の領域がＡｒｅａ（１，２）であるなど、右（＋Ｘ方向）に行くに従ってｍが一つ増え、上（＋Ｙ方向）に行くに従ってｎが一つ増える。中心領域がＡｒｅａ（３，３）、右上端領域はＡｒｅａ（５，５）となる。（座標系の定義）
撮影光路中にハーフミラー２０２が４５°傾いた角度で介在することにより生じる収差は、画像データにおけるＸＹ方向の位置によって異なる。そこで、図１２に示されるように、撮影範囲２２０を５×５＝２５分割し、各領域毎に伝達関数を定義し、その伝達関数に基づいて収差補正を行う。ここで定義される伝達関数は、図２乃至図７にて説明したように、紙面奥行き方向に対称で上下方向には非対称な形状となる。これにより、画像データ内の位置に適した収差補正を行なうことができる。

分割された領域であるＡｒｅａ（１，１）〜Ａｒｅａ（５，５）のうち、まずＡｒｅａ（１，１）について、伝達関数定義と収差及び内面反射ゴーストの補正を行う。Ａｒｅａ（１，１）が完了した場合には、次に領域を一つ右（＋Ｘ方向）に移動し、Ａｒｅａ（１，２）について伝達関数定義と収差及び内面反射ゴーストの補正を行う。右端まで到達した場合には、領域を一つ上の左端であるところのＡｒｅａ（２，１）に移動し、伝達関数定義と収差及び内面反射ゴーストの補正を行う。このように、領域をＸＹ方向に走査するように一つずつ移動させて収差及び内面反射ゴーストの補正処理を行ない、撮影範囲２２０の全領域に対して収差及び内面反射ゴーストの補正を行なう。

収差及び内面反射ゴーストの補正サブルーチン（ステップＳ６５７）にて補正する収差及び内面反射ゴーストは、上下非対称だが左右には対称である。そこで、分割された領域毎に定義する伝達関数も、左右方向対称な位置における伝達関数は同じ形状を左右反転されたものを用いることができる。例えば、Ａｒｅａ（１，５）とＡｒｅａ（５，５）は、同形状を左右反転されたもので代用可能である。これにより、定義する伝達関数のデータ数の削減が可能となる。本実施例では、処理速度を考慮して５×５の２５分割で説明したが、より多数に分割し、高精度な収差及び内面反射ゴーストの補正を行なうようにしてもよい。

図１３は、収差及び内面反射ゴーストの補正サブルーチン（ステップＳ６５７）のフローである。収差及び内面反射ゴーストの補正サブルーチンの一連の動作も、画像処理回路４１３が行なう。ステップＳ７００では、画像データ取り込み時にステップＳ６５４の変換処理で行われる変換処理の内容を示す変換情報を取得する。

ステップＳ７０１では、補正処理を行なう前に画像データに対して施す変換方法を決定する。画像復元処理アルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像データを変換する方法を決定する。例えば、画像データ取り込み時にステップＳ６５４の変換処理で画像処理回路４１３がガンマ補正を実行する場合には、ステップＳ７０１ではガンマ補正による変換の逆変換を設定する。これにより、変換前の画像データを再生することができ、線形性を有する画像データを取得することが可能となる。同様に、画像データ取り込み時にステップＳ６５４の変換処理で画像処理回路４１３が色補正を実行する場合には、ステップＳ７０１では色変換による変換の逆変換を設定する。これにより、線形性を有する画像データを取得することが可能となる。以上のように、ステップ７０１では、画像データ取り込み時にステップＳ６５４の変換処理で画像処理回路４１３が行なう変換処理の逆変換に相当する変換方法を決定する。

本実施例は、線形性が保たれないような変換処理が施された画像データに対して収差補正を行う前提で説明しているため、このような補正前変換を行っている。しかし線形性が保たれた画像データが取得できる場合には、このような補正前変換は行わずに、そのまま収差補正を行ってもよい。

ステップＳ７０２では、画像データを取得する。ステップＳ７０３では、ステップＳ７０１で決定した変換方法に従って、取得した画像データを変換する。ステップＳ７０４では、収差及び内面反射ゴーストの補正を行う撮影範囲（補正対象の領域）を、初期位置であるＡｒｅａ（１，１）に設定する。ステップＳ７０５では、伝達関数生成サブルーチンを実行し、設定された領域における伝達関数を生成する。ここでは、ＲＧＢ毎の伝達関数が生成される。また、ここで生成される伝達関数は、図２乃至図７で説明したように上下非対称な形状となる。

ステップＳ７０６では、式（６）で説明したようにステップＳ７０５で生成した伝達関数に基づいて、ステップＳ７０３で変換処理した画像データに対して収差及び内面反射ゴーストの補正処理を行なう。ＲＧＢ毎に伝達関数が異なるため、ＲＧＢ信号それぞれに対して、逆変換処理による収差及び内面反射ゴースト補正を行う。ここでは、式（６）で説明した画像復元処理によって収差及び内面反射ゴーストの補正処理を行なう。これにより、所定被写体の収差及び内面反射ゴーストが補正された画像を得ることができる。伝達関数の逆変換処理を行なうことによる画像回復の方法は、例えば特開２０００−２０６９１号公報に開示されているため、説明は省略する。

ステップＳ７０７では、収差及び内面反射ゴーストの補正を行なう撮影範囲が、Ａｒｅａ（５，５）にまで到達したか否かの判定を行なう。Ａｒｅａ（５，５）まで到達した場合には、全領域の補正が完了したと判断し、収差及び内面反射ゴーストの補正サブルーチン（ステップＳ６５７）を終了し、ステップＳ６０４の１フレーム処理サブルーチンに戻る。Ａｒｅａ（５，５）まで到達していない場合にはステップＳ７０８に進み、補正対象の領域を、次の領域に移動させる。

ステップＳ７０８では、領域を一つ右（＋Ｘ方向）に移動させる。右端まで到達した場合には、領域を一つ上の左端に移動させる。このように、領域をＸＹ方向に走査するように一つずつ移動させて補正処理を行なっていくことで、撮影範囲２２０の全領域に対して収差及び内面反射ゴーストの補正を順次行なう。ステップＳ７０８が完了した場合には、ステップＳ７０５に戻り、移動した領域での伝達関数の生成を行なう。

図１４は、伝達関数生成サブルーチン（ステップＳ７０５）のフローである。撮影範囲２２０を５×５＝２５分割した分割領域Ａｒｅａ（ｍ，ｎ）（ｍ＝１〜５−１，ｎ＝１〜５）における伝達関数が生成される。伝達関数生成サブルーチンの一連の動作は、システム制御回路４４０が行なう。ステップＳ７５０では、ステップＳ６５５でメモリ４２９に記録されたカメラ２００（カメラ本体）の特性情報を取得する。ステップＳ７５１では、ステップＳ６５６でメモリ４２９に記録された撮影レンズ１００の特性情報を取得する。ステップＳ７５２では、伝達関数を定義する際に用いるパラメータを取得する。伝達関数は、撮影レンズ１００と撮像素子２０１との間の光伝達特性によって決まる。光伝達特性は、ＲＧＢの色毎に異なる。また、カメラ２００の特性情報、撮影レンズ１００の特性情報、画像データにおけるＸＹ方向の位置、被写体距離などの要因によっても変わる。そこで、これらの要因と伝達関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、予め不揮発性メモリ４３１に記憶しておく。そしてステップＳ７５２が実行されると、システム制御回路４４０は、これらの要因に基づいて、不揮発性メモリ４３１からＲＧＢ色毎の伝達関数定義の際に用いるパラメータを取得する。

ステップＳ７５３では、ステップＳ７５２で取得したパラメータに基づいて、Ｒ信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ１００から撮像素子２０１に到達するまでのＲ波長における光伝達関数特性と考えられる。ステップＳ７５４では、ステップＳ７５２で取得したパラメータに基づいて、Ｇ信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ１００から撮像素子２０１に到達するまでのＧ波長における光伝達関数特性と考えられる。

ステップＳ７５５では、ステップＳ７５２で取得したパラメータに基づいて、Ｂ信号に対する伝達関数を定義する。この伝達関数は、撮影レンズ１００から撮像素子２０１に到達するまでのＢ波長における光伝達関数特性と考えられる。ステップＳ７５５が終わったら、ステップＳ７０５伝達関数生成サブルーチンを終了し、収差補正サブルーチン（ステップＳ６５７）に戻る。

本実施例によれば、小型で安価な構成で、光学ファインダを備えた動画撮影可能なデジタル一眼レフカメラ（撮像装置）が実現できる。また、光学素子により発生した収差及び内面反射ゴーストが補正されているため、高画質な動画を得ることが可能である。

なお本実施例の画像処理回路４１３は、ステップＳ６５７で、撮像素子２０１から出力された画像データに対して、入射光束がハーフミラー２０２を透過することにより生じる収差と、ハーフミラー２０２で内面反射することにより生じる劣化の両方を補正する。ただし本実施例はこれに限定されるものではなく、画像処理回路４１３は、このような収差と劣化のいずれか一方のみを補正するように構成してもよい。

次に、本発明の実施例２における撮像装置について説明する。本実施例は、実施例１の変形例であり、ショートフランジバックの撮影レンズをカメラに装着してカメラシステムを構成している。図１５は、本実施例における一眼レフカメラの光学系を示す中央断面図である。図１５において、図１と同様の部材には同記号を付し、それらの説明は省略する。３００は、カメラ２００に交換可能に装着された撮影レンズである。３０１はフォーカスレンズ群やズームレンズ群からなるレンズ部を示し、Ｌは撮影レンズ１００の光軸である。ＦＢは撮影レンズ３００の後端から撮像素子２０１までの距離、所謂フランジバックであり、実施例１の場合に比べて短い。

また、撮影レンズ３００がカメラ２００に取り付けられた状態において、撮影レンズ３００の後側とハーフミラー２０２の先端は、光軸Ｌに平行な方向において図中Ｄで示される量だけ重なっている。すなわち、撮影レンズ３００の光軸Ｌに平行な平面上に、撮影レンズ３００とハーフミラー２０２を投影した場合、撮影レンズ３００とハーフミラー２０２の少なくとも一部が重なっている。このように、カメラ２００のハーフミラー２０２が回転移動せずに固定されて配置されているため、撮影レンズ３００をよりカメラ２００の内部側に配置することが可能である。したがって、本実施例によれば、撮影レンズ３００とカメラ２００を含めた全体の大きさの小型化が可能である。

なお本実施例では、撮影レンズ３００とハーフミラー２０２の一部が重なる場合について説明したが、これらが重ならない場合においても実施例１に比較して小型化が可能である。一方、ショートフランジバックの場合には、撮影レンズ３００の射出瞳の位置がハーフミラー２０２に近くなる。そのため、ハーフミラー２０２による収差や内面反射ゴーストの像高による変化は、より大きく発生する。そこで、本実施例では、分割した撮影範囲に対して順次伝達関数生成と補正処理を行なう際に、撮影範囲をより細かく分割する。

図１６は、本実施例の収差及び内面反射ゴーストの補正サブルーチン（ステップＳ６５７）において、分割した撮影範囲に対して順次伝達関数生成と補正処理を行っていく様子を示した図である。図１２と同等の部材には同記号を付し、その説明は省略する。実施例１では、撮影範囲２２０を５×５＝２５分割していた。一方、本実施例では７×７＝４９分割している。これにより、ショートフランジバックになることで、ハーフミラー２０２による収差や内面反射ゴーストの像高による変化が大きい場合でも、良好な補正が可能となる。

次に、本発明の実施例３について説明する。本実施例は、実施例１の変形例であり、収差及び内面反射ゴーストの補正の手順を一部変更した例である。図１７は、本実施例において、劣化関数の割り当てを表す図である。実施例１では、撮影レンズ１００とハーフミラー２０２のそれぞれで発生する収差補正を区別することなく、伝達関数として表現している。一方、本実施例では、撮影レンズ１００とハーフミラー２０２それぞれの伝達関数を用いることで、発生する収差を個別に補正することが可能である。以下、実施例１と異なる部分についてのみ説明する。

本実施例において、撮影レンズ１００による劣化後の光量分布Ｉ_ｌ（ｕ，ｖ）は、以下の式（７）で表される。

ここで、Ｈ_ｌ（ｕ，ｖ）は、撮影レンズ１００により画像が劣化する状態を表す伝達関数である。また、ハーフミラー２０２を透過することによる劣化後の光量分布Ｉ_ｍ（ｕ，ｖ）は、以下の式（８）で表される。

ここで、Ｈ_ｍ（ｕ，ｖ）は、ハーフミラー２０２により画像が劣化する状態を表す伝達関数である。式（７）、（８）より、撮影レンズ１００とハーフミラー２０２による劣化の両方を考慮した光量分布Ｉ_ｍ（ｕ，ｖ）は、以下の式（９）のように表すことができる。

ここで、Ｈ_ｍ（ｕ，ｖ）はカメラ２００にとって固有の関数である。一方、Ｈ_ｌ（ｕ，ｖ）は撮影レンズ１００により決定される関数である。このため、交換可能な撮影レンズを用いたカメラシステム（撮像装置）では、光量分布Ｉ_ｍ（ｕ，ｖ）は、撮影レンズが変わるごとに変化する。不揮発性メモリ４３１などに予め記憶されているインバースフィルター１／Ｈ_ｍ（ｕ，ｖ）を読み出し、Ｉ／Ｆ４２３を介して撮影レンズ１００からインバースフィルター１／Ｈ_ｌ（ｕ，ｖ）を読み出すことで、収差の補正が可能となる。

本実施例の画像処理回路４１３は、撮像素子２０１から出力された画像データに対して、入射光束が撮影レンズ１００を通過することにより生じる収差を独立に補正する。このため本実施例によれば、交換可能な撮影レンズに応じて劣化関数を変化させることができ、高画質な動画を得ることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である

１００ 撮影レンズ
２００ カメラ
２０１ 撮像素子
２０２ ハーフミラー
４１３ 画像処理回路
４４５ 光学ファインダ

本発明の一側面としての撮像装置は、交換レンズに着脱可能な撮像装置であって、前記交換レンズの光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させる光学素子と、前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、前記撮像手段から出力された前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を前記撮像装置の特性情報及び前記交換レンズの特性情報に基づいて補正する画像処理手段とを有する。

本発明の他の側面としての画像処理方法は、撮像手段から画像データを取得するステップと、前記画像データのうち補正対象の領域を設定するステップと、前記補正対象の領域に対して、撮影レンズからの入射光束が該撮影レンズの光軸に対して斜めに固定配置された光学素子で内面反射することにより生じる劣化を撮像装置の特性情報及び前記撮影レンズの特性情報に基づいて補正するステップとを有する。

Claims (5)

1. 交換レンズの光軸に対して斜めに固定配置され、入射光束の一部を反射させ他の一部を透過させる光学素子と、
   前記光学素子で反射した第一の光束を用いて被写体を観察可能に構成されたファインダ手段と、
   前記光学素子を透過した第二の光束を受光して画像データを出力する撮像手段と、
   前記撮像手段から出力された前記画像データに対して、前記入射光束が前記光学素子で内面反射することにより生じる劣化を補正する画像処理手段と、を有することを特徴とする撮像装置。
2. 前記画像処理手段は、更に、前記入射光束が前記光学素子を透過することにより生じる収差を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、更に、前記入射光束が前記交換レンズを通過することにより生じる収差を補正することを特徴とする請求項１または２に記載の撮像装置。
4. 前記交換レンズが前記撮像装置に取り付けられた状態において、該交換レンズの光軸に平行な平面上に、該交換レンズおよび前記光学素子を投影した場合、該交換レンズおよび該光学素子の少なくとも一部が重なっていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像手段から画像データを取得するステップと、
   前記画像データのうち補正対象の領域を設定するステップと、
   前記補正対象の領域における伝達関数を生成するステップと、
   前記補正対象の領域に対して、前記伝達関数に基づき、撮影レンズからの入射光束が該撮影レンズの光軸に対して斜めに固定配置された光学素子で内面反射することにより生じる劣化を補正するステップと、を有することを特徴とする画像処理方法。