JP2009086017A

JP2009086017A - 撮像装置および撮像方法

Info

Publication number: JP2009086017A
Application number: JP2007252191A
Authority: JP
Inventors: Naoto Ohara; 直人大原; Yusuke Hayashi; 佑介林; Jiyouya Sugita; 丈也杉田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2009-04-23

Abstract

【課題】深度拡張光学系を用いた撮像装置において、焦点深度外の距離の被写体にもピントを合わせることを可能とする。
【解決手段】結像レンズによる撮像素子１２０の受光面への結像の波面を変形させる機能を有する光波面変調素子１１２と結像の波面の変形状態を変えられる可変光波面変調素子１１４を備えた光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０と、画像処理装置１４０と、を有し、可変光波面変調素子１１４は、変調機能制御部２００により光波面変調機能をコントロールしてボケ画像復元を行なう。更に、様々な被写体距離に応じた光波面変調状態に光波面変調機能のコントロールを行なうことによって、より広い距離範囲の被写体に対応すると共に、未知の距離の被写体に対するオートフォーカスにも応用する。
【選択図】図１

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメ
ラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および
撮像装置に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応
が著しい。

特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像
素子であるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍ
ｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサ
が使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の
映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するもので
あり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナル
コンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌ
Ａｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図２７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。

この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有す
る。

光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢ
ＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図２７に示すように、ベストフォーカス面を撮像素子面
上に合致させている。

図２８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示
している。

また、位相板（ＷａｖｅｆｒｏｎｔＣｏｄｉｎｇｏｐｔｉｃａｌｅｌｅｍｅｎｔ
）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影
を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜
５参照）。

また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが
提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ＵＳＰ６，６４２，５０４ＵＳＰ６，５２５，３０２ＵＳＰ６，０６９，７３８特開２００３−２３５７９４号公報特開２００４−１５３４９７号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位
相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定に
なっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコン
ボリューションにより、被写界深度の深い画像を実現することは極めて難しい。

したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、そ
の光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題
を抱えている。

換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことが
できず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを
引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される
。

しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の
増大、コスト増大、レンズの大型化の問題を引き起こす。

また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信
号処理によって画像を復元する際、ノイズも同時に増幅してしまう。

したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いる
ような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズ
が増幅してしまい、復元画像に影響を与えてしまうという不利益がある。

さらに、深度拡張光学系では、その名が示すとおり被写体の奥行き感によるボケを減少
、あるいは喪失させている。一般的な写真撮影において、意図的に背景にボケを生じさせ
る事で被写体のクローズアップを図る手法もあり、こういった用途には、深度拡張光学系
は向かない。

複数のカメラを持つことなく、用途に応じて深度の異なる撮影を行いたい場合、Ｆ値の
明暗によって従来は行ってきたが、Ｆ値を暗くした光学系は、シャッター速度の低下やノ
イズの増加などにつながり、望ましくない。

本発明の目的は、深度拡張光学系に光波面変調の制御が可能な液体レンズや液晶レンズを加えてぼけ復元に用いることで、通常光学系より被写界深度の深い映像を得たり、焦点ぼけをコントロールして深度拡張光学系のみの場合より奥行き感のある映像を得たりすることができる撮像装置および撮像方法を実現することにある。

本発明の第１の観点の撮像装置は、光波面変調素子を含む深度拡張光学系と、そこに組み込まれて光波面の変調状態を可変とする可変光波面変調素子と、その可変光波面変調素子の光波面変調をコントロールする制御部と、深度拡張光学系を介した像を光電変換する撮像素子と、その出力の画像信号に対して所定の処理を施す画像信号処理部と、を備えて、光波面変調素子によってぼかされたピント（or低下させられたコントラスト）を可変光波面変調素子によって復元する。

好適には、可変光波面変調素子は複数種類の被写体距離に対応して光波面変調状態を切り替えて復元を行なうことが可能で、撮影モードもしくは被写体距離設定によって光波面変調状態を切り替える。

好適には、可変光波面変調素子は任意の被写体距離に対応して光波面変調状態を任意に変化させて復元を行なうことが可能で、光波面変調状態を連続的に変化させることによってオートフォーカスを行なうことができる。

更に好適には、可変光波面変調素子は絞りに隣接する構成とする。

また、好適には、可変光波面変調素子自体が絞りの機能も有する。

更に好適には、深度拡張光学系において、近軸焦点距離が不変となっている。

更に好適には、深度拡張光学系において、球面収差が最低１つ以上の変極点を持っている。

本発明の第２の観点は、
光波面変調素子を含む深度拡張光学系を通過した被写体像を撮像素子で撮像する撮像方法であって、深度拡張光学系の光路に配置され、光波面の変調状態を可変とする可変光波面変調素子をコントロールして光波面変調素子によってぼかされたピント（or低下させられたコントラスト）を復元する撮像方法である。

本発明によれば、深度拡張光学系に光波面変調の制御が可能な液体レンズや液晶レンズを加えてぼけ復元に用いることで、通常光学系より被写界深度の深い映像を得たり、焦点ぼけをコントロールして深度拡張光学系のみの場合より奥行き感のある映像を得たりすることができる利点がある。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロン
トエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示
メモリ１６０、画像モニタリング装置１７０、操作部１８０、露出制御装置１９０、およ
び変調機能制御部２００を有している。

光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。

光学系１１０は、たとえば物体側ＯＢＪＳから順に配置された第１レンズ１１１と、撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（ＣｕｂｉｃＰｈａｓｅＰｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：ＷａｖｅｆｒｏｎｔＣｏｄｉｎｇＯｐｔｉｃａｌＥｌｅｍｅｎｔ）により形成される第２レンズ１１２、絞り１１３、可変光波面変調素子１１４、第３レンズ１１５、および第４レンズ１１６を有する。

第３レンズ１１５および第４レンズ１１６は接合され、撮像素子１２０に結像させるた
めの結像レンズとして機能する。

可変光波面変調素子１１４は光波面変調素子１１２によりぼかされたピント（or低下させられたコントラスト）を復元するように変調機能制御部２００により光波面変調機能をコントロールされる。

図２（Ａ）および（Ｂ）は、本実施形態に係る可変光波面変調素子の構成例および機能を説明するための図である。

可変光波面変調素子１１４は、図２（Ａ），（Ｂ）に示すように、たとえば液晶素子１１４ａにより構成することが可能である。

この液晶素子１１４ａは、素子に与える電圧を切り替えることで、光線の集光状態を変化させることができる。

たとえば、変調機能制御部２００により電圧が印加されると、図２（Ａ）に示すように、液晶素子１１４ａには光波面変調機能が発現し、変調機能制御部２００により光波面の変調状態が制御され、光波面変調素子１１２によりぼかされたピント（or低下させられたコントラスト）は復元する。

一方、変調機能制御部２００により電圧印加が停止（あるいは発現状態より低レベルに設定）されると、図２（Ｂ）に示すように、液晶素子１１４ａは光波面変調機能が非発現状態に制御され、光学系１１０が複数焦点状態となる。

撮像装置１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。

図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。

アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。

タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。

画像処理部の一部を構成する画像処理装置１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。

画像処理装置１４０の処理については後でさらに詳述する。

カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変
換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング
装置１７０への画像表示等を行う。画像モニタリング装置１７０は、カメラ信号処理部１
５０の制御の下、カラー出力あるいは白黒出力が可能である。

カメラ信号処理部１５０は、露出制御装置１９０と変調機能制御部２００との協働によ
り、変調機能制御部２００による光波面変調機能（逆光波面変調機能）の発現、非発現と
フィルタ（カーネル）の適用の切り替えとのリンク、カラー出力あるいは白黒出力の切り
替えとのリンク、色収差補正機能の切り替えとのリンク制御等を行う。

露出制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち
、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１
４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。

変調機能制御部２００は、カメラ信号処理部１５０の指示に応じて可変光波面変調素子１１４光波面変調機能の発現、光波面の変調状態を電圧により制御する。

以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に説明する
。

なお、本実施形態においては、可変光波面変調素子を用いた場合について説明したが、本発明の可変光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーティングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間光波面変調素子）等の可変光波面変調素子であればよい。

また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。

位相板は、光学系により収束される光束を規則正しく分散する光学レンズである。この
位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実
現する。

換言すれば、光波面変調素子によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。

この規則的に分散した画像をデジタル処理により、光学系１１０や１１０Ａを移動させ
ずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡
張光学系システム（ＤＥＯＳ：ＤｅｐｔｈＥｘｐａｎｔｉｏｎＯｐｔｉｃａｌｓｙ
ｓｔｅｍ）という。

ここで、ＤＥＯＳの基本原理について説明する。

図３に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生
成される。

これは、次のような式で表される。

（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

（数２）
ｆ＝Ｈ^−１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。

ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ
，Ｈｎ−１、・・・・とする。

各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数と
する。

ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関
数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離
に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を
物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図１に示すように、光学系１１０に応じた変換係数を取得して、取得した変換係数を光学的に実現させるように変調機能制御部２００により可変光波面変調素子１１４の光波面変調機能をコントロールして分散のない像を生成するように構成している。

なお、本実施形態において、分散とは、上述したように、光波面変調素子１１２を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

ところで、ＤＥＯＳによって被写界深度拡張を行なった場合でも、無限遠から非常に近くまでの全ての被写体が深度内に納まるほどに拡張することは非常に困難である。そこで前述の任意の被写体距離に対して最適となるようなフィルタを複数種類作っておき、その中から主要被写体の距離に適したフィルタを用いて復元処理を行なうことによって、主要被写体を中心に遠近両側に深度を拡張した画を得ることができる。本発明では、このフィルタを光学的に実現する様に可変光波面変調素子１１４の形状をコントロールすることで同様の効果を得ることになる。撮像装置の機能によって、無限遠モード（風景モード）やマクロ撮影モードといったような主要被写体の距離がある程度特定されるモードを備えているものは、その距離に応じた可変光波面変調素子１１４の形状制御パターンを用意してモードに応じて使い分けるものとする。また、撮像装置にはマニュアルフォーカスモード的な使い方を想定して、被写体距離を設定することができるような機能を備えているものがある。その場合も設定距離に応じた最適な可変光波面変調素子１１４の形状に切り替えることによって、それぞれに最適な画を得ることが可能となる。

しかしながら、前述の様なモードが設定されていない一般的な撮影を行なう場合には、主要被写体がどのような距離に存在するかは定まっているわけではないので、撮影前に主要被写体の距離を知り得ることはできず、最適な可変光波面変調素子１１４の形状（復元フィルタに相当）を選択・決定することはできない。可変光波面変調素子１１４の任意の形状を常に用いるという方法もあるが、その場合には結果的に主要被写体が拡張した深度内に納まっていれば良いが、納まっていなければ折角の深度拡張も意味を成さないものとなってしまう。そのため、任意の被写体距離に対して最適となるような可変光波面変調素子１１４の形状を複数種類用意しておき、順次変化させながら連続して画を取り込んでいって、被写体距離（もしくは最適な可変光波面変調素子１１４の形状）の検知を行なっていく、所謂オートフォーカス的な手法が有効である。具体的には、通常光学系の撮像装置の山登り方式のオートフォーカスの様に取り込んだ画のコントラスト値（高周波成分の積算値）を評価値として、それが最大となるような条件のもとで撮影された画をピントが最適なものとする。

図４に示したフローを用いながら処理の流れについて説明を行なう。まず、可変光波面変調素子１１４に変調をかけない状態を初期値として、光学系１１０を介して画像を取り込む。取り込んだ画のコントラスト値（高周波成分の積算値）をメモリしておき、変調機能制御部２００によって、可変光波面変調素子１１４の光波面変調量を変えて、また光学系１１０を介して画像を取り込む。取り込んだ画のコントラスト値とメモリしてあるコントラスト値を比較する。以上の処理を繰り返し、コントラスト値がピークとなる可変光波面変調素子１１４の光波面変調量を検出したら、その光波面変調量の条件が最も被写体にピントが合っている状態として、処理を終了する。

このように通常光学系を用いた撮像装置で行なうオートフォーカスの場合と、処理の流れ自体は同様であるが、大きく異なるのは機構的に駆動する部分が無いことであり、これによって、耐久性、耐衝撃性といった面でメリットがある。

深度拡張を行なっているために、条件を変えながら画を取り込むポイント数が大幅に少なくて済むということがある。通常光学系の撮像装置では、レンズ位置を細かく変えながら画を取り込み、評価をしていかなければ、評価値がピークとなるレンズ位置（ピント位置）を捉えることができず、ピントの甘い画となってしまう。しかしながら、上述の本発明の手法では、深度を拡張しているので、可変光波面変調素子１１４の形状が対応する被写体距離を細かく刻む必要は無く、被写体は深度内に納まることになる。この画を取り込むポイント数が大幅に少なくて済むということは、処理の量が少なくて済み、ひいては処理の高速化と同時に消費電力の削減にもつながる。

本発明の深度拡張光学系においては、光波面変調素子と絞りとの位置関係によって各像高の光束が光波面変調素子を通過する位置が異なってしまい、位相が変化してしまうため、適切な画像を復元することが困難になる場合がある。

光波面変調素子に対して絞りが近い場合に比べて、絞りが遠くなると対角像高の主光線と軸上の主光線が光波面変調面の異なった場所を通過することになる。それによって光波面変調面を通過した光線が成すスポット形状は、絞りが光波面変調面に近い場合に比べて離れている場合は乱れ、スポット形状が乱れると画像を復元する際に困難となる。

以上のことから、本発明における深度拡張光学系の絞り１１３の位置は光波面変調素子１１２か可変光波面変調素子１１４のいずれかに近接していることが好ましい。そうすることによってスポット形状が乱れず、画像復元を確実に行うことができるようになる。

可変光波面変調素子１１４は、例えば液晶レンズのような、端部に光の通過を制限するための絞り機能を有し、中央部は光を透過させると同時に光波面変調機能を有するものを用いることで、相変調素子と絞りが近接（一致）する構成を実現可能である。よって像高による通過光束の位置の違いが無く、スポット形状に乱れが無く、位相が変化しない光学系が実現可能となる。

また、本発明で示すように光波面変調素子１１２と併せて可変光波面変調素子１１４を用いて光波面変調状態を変化させる方法を採ると、光波面変調のための光学的なパワーを光波面変調素子１１２と可変光波面変調素子１１４とに分散させることができる。光波面変調素子１１２の方に主たるパワーを配分することによって、可変光波面変調素子１１４の形状を変化させる量も小さくて済む。これは、比較的パワーの小さい液晶レンズの様な可変光波面変調素子も適用可能となることを意味している。

（変化量が小さいことは省電力）
また、パワーが小さいということは、近軸焦点距離を不変とすることができ、可変光波面変調素子１１４の形状変化に伴って焦点距離（画角）が変化してしまうのを防ぐことができる。

更に、本実施形態における光学系に関して、光波面変調面を有する光学系の特徴としては、球面収差が中央部分から周辺部分にかけて、少なくとも１つの変曲点を持った形状とすることで、物体距離に応じたＯＴＦの変化を小さくしながら、光波面変調面の波面変調量を調整することでピント位置を調整することが可能となる。

図５及び６は球面収差と位相面形状について説明したものである。

球面収差において変曲点を持たない光波面変調を備えた光学系においては、物体距離に応じたＯＴＦの変化を小さくするためには、図６．１に示すような従来の一般的な光学系より、図６．２に示すようにスポット像を大きくせざるを得ない。具体的詳細には図５に示すように中心から周辺に向かってピント位置が近距離側へシフトしている。これを球面収差の図にすると図６．２のようになる。さらにこの状態で絞りに隣接した非球面形状は図５のtype1のようになっており、変曲点をもつと図５のtype２のようになる。このように周辺のピントが近距離に合うような球面収差カーブとした場合、遠距離にピントが合うようにするには球面収差が左右反転するほどまでに大きく光波面を変調しなくてはならない。それに対して、図６．３のように変曲点を持った場合、中心から中域にかけては近距離にピントがあっているが、周辺部では遠距離側にピントがあっている。変曲点を持つことによって中心部から周辺部にかけていずれかの位置が遠距離側、近距離側にピントがあっていることになる。これを球面収差とディフォーカスの関係で示すと、通常光学系を用いた場合を示す図８に対して、図７で示される変曲点を有する場合は遠近のバランスがとれた状態となっていることが判る。変曲点を持てば遠距離から近距離までピントが合っている箇所がある為、図９のようにバランスを調整するだけで遠距離側、近距離側に寄せることができる。

つまり、本発明では図７に示すような変曲点を持つ光学系を用いることで、図８に示すような通常光学系を用いる場合に比べてＭＴＦ（ＯＴＦ）の変化を小さくすることができる。更には、図９に示すように光波面の変調状態を変更（可変光波面変調素子１１４を制御）してＭＴＦのピーク位置をずらして（図９の場合は遠側にシフト）、より被写体の距離に適した撮像を行なうことが可能である。

また、可変光波面変調素子１１４の復元機能を画像処理装置１４０における画像処理によっても持ち、両方の復元機能を併せて用いることにより、より自由度の高い復元処理を実現できる。以下に、画像処理装置１４０の構成および処理について説明する。

画像処理装置１４０は、図１０に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。

コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ
、カーネルデータの入れ替え等の制御を行い、露出制御装置１９０により制御される。

また、カーネルデータ格納ＲＯＭ１４３には、図１１に示すように予め用意されたそれ
ぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納さ
れており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリ
ューション制御部１４４を通じてカーネルデータを選択制御する。

なお、露出情報には、絞り情報が含まれる。

また、図１１の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カ
ーネルデータＢはＦナンバ（４）、カーネルデータＣはＦナンバ（５．６）に対応したデ
ータとなっている。

図１１の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。

絞りを絞って撮影を行う場合、絞りによって光波面変調素子が覆われてしまい、位相が
変化してしまうため、適切な画像を復元することが困難となる。

そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィル
タ処理を行うことによって適切な画像復元を実現している。

図１２は、露出制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフ
ローチャートである。

まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（Ｓ
Ｔ１０１）。

コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数
値演係数がレジスタにセットされる（ＳＴ１０２）。

そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション
演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいて
コンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０
に転送される（ＳＴ１０３）。

コンボリューション演算は下記の式で表される。

ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易に
するために１８０度回転済みのものを使用している）。

また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。

この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中
心座標の値とすることである。

上述したように、コンボリューション処理は画像処理装置１４０で行われる。撮像素子
１２０からの画素データは式４に従いコンボリュージョン処理される。

画像処理装置１４０は、はじめに光波面変調素子によるボケを光波面変調素子によるボケ復元フィルタを用いて、換言すれば、カーネルデータ格納ＲＯＭ１４３から光波面変調素子によるボケ復元用のフィルタ係数を読み込み、このフィルタ係数により復元処理を行う。

すると処理後は光波面変調素子によるボケは改善される。

以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具
体的な例について説明する。

図１３は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図で
ある。なお、簡単化のためにＡＦＥ等は省略している。

図１３の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図であ
る。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカー
ネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネ
ルデータを用いてコンボリューション処理を施す。

図１４は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図で
ある。なお、簡単化のためにＡＦＥ等は省略している。

図１４の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィル
タカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した
場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカー
ネルデータを選択制御する。

２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を
施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデー
タを用いてコンボリューション処理ＳＴ３を施す。

再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に
戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換
でも構わない。

なお、再度のノイズ処理ＳＴ４は省略することも可能である。

図１５は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図で
ある。なお、簡単化のためにＡＦＥ等は省略している。

図１５の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図
である。

２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバー
ジョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理Ｓ
Ｔ１３を施す。

再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空
間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の
変換でも構わない。

なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。

図１６は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図で
ある。なお、簡単化のためにＡＦＥ等は省略している。

図１６の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータと
して露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。

２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１
を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネル
データを用いてコンボリューション処理ＳＴ２３を施す。

再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２
５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が
挙げられるが、他の変換でも構わない。

なお、ノイズ低減処理ＳＴ２１は省略することも可能である。

以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ
処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード
情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行う
ことが可能となる。

図１７は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図
である。

図１２は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成す
るが画像処理装置３００の構成例を示している。

画像処理装置３００は、図１７に示すように、コンボリューション装置３０１、カーネ
ル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した
被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ
３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係
数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボ
リューション装置３０１にて適正な演算を行い、画像を復元する。

上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範囲内であれ
ばその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の
焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ
収差のある画像信号となってしまう。

また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い
範囲外の画像にぼけ味を出すことも可能になる。

本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出
装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことによう
に構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえ
ばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補
正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数
で適性なコンボリューション演算を行う構成をとることができる。

この構成の他にも、以下の構成を採用することが可能である。

焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶し
ておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成
、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数よ
り演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用す
ることが可能である。

図１７の構成に対応付けると次のような構成をとることができる。

変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１
３に起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プ
ロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００に
より生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を
選択する係数選択手段として機能する。

そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画
像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。

または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が
、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情
報に基づき変換係数を演算し、レジスタ３０２に格納する。

そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段として
の画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって
、画像信号の変換を行う。

または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置ま
たはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写
体収差像のカーネルサイズを含まれる。

第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３に起因する収
差に対応した変換係数を予め記憶する。

そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成
された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補
正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。

変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレ
ジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ
３０３により選択された補正値とに基づいて画像信号の変換を行う。

図１８に、露出情報と、物体距離情報と、撮影モードとを用いた場合のフィルタの構成
例を示す。

この例では、物体距離情報と撮影モード情報で２次元的な情報を形成し、露出情報が奥
行きのような情報を形成している。

図１９は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図
である。

図１９は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成す
る画像処理装置３００Ｂの構成例を示している。

画像処理装置３００Ｂは、図１７と同様に、コンボリューション装置３０１、記憶手段
としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３
０３を有する。

この画像処理装置３００Ｂにおいては、物体概略距離情報検出装置５００から読み出し
た被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッ
サ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算
係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコン
ボリューション装置３０１にて適正な演算を行い、画像を復元する。

この場合も上述のように、光波面変調機能を備えた撮像装置の場合、所定の焦点距離範
囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できる
が、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の
被写体のみ収差のある画像信号となってしまう。

本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出
装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことによう
に構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボ
リューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を
予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性な
コンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶し
ておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリュー
ション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算
係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリュー
ション演算を行う構成等、を採用することが可能である。

本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠
（風景）、マクロ）に応じて画像処理を変更する。

図１９の構成に対応付けると次のような構成をとることができる。

前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操
作部１８０の撮影モード設定部６００により設定される各撮影モードに応じて異なる変換
係数を変換係数記憶手段としてのレジスタ３０２に格納する。

画像処理演算プロセッサ３０３が、撮影モード設定部６００の操作スイッチ６０１によ
り設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検
出装置５００により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２
から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数
抽出手段とて機能する。

そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納さ
れた変換係数によって、画像信号の撮影モードに応じた変換処理を行う。

また、図１のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれの
カーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデー
タの数についても３個とは限らない。

図１８のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の
条件を考慮してより適したものを選択することができるようになる。情報としては、上述
した露出情報、物体距離情報、撮像モード情報等であればよい。

なお、上述のように、光波面変調素子を有する撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。

本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも
、光学系を簡単化でき、コスト低減を図ることが可能となっている。

以下、この特徴について説明する。

図２０（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。

図２０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２０
（Ｂ）が合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、図２０（Ｃ）が焦点が−０．２ｍｍず
れた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。

図２０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００において
は、光波面変調機能によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度
が非常に深い光束条件にしている。

図２１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像
の変調伝達関数（ＭＴＦ：ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ
）について説明するための図であって、図２１（Ａ）は撮像レンズ装置の撮像素子の受光
面でのスポット像を示す図で、図２１（Ｂ）が空間周波数に対するＭＴＦ特性を示してい
る。

本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセ
ッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）からなる画像処理装置１４
０の補正処理に任せるため、図２１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本
質的に低い値になっている。

画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受け
て、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施し
て高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置１４０のＭＴＦ補正処理は、たとえば図２２の曲線Ａで示すように、本質
的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調
、クロマ強調等の後処理にて、図２２中曲線Ｂで示す特性に近づく（達する）ような補正
を行う。

図２２中曲線Ｂで示す特性は、たとえば本実施形態のように、光波面変調機能を発現させずに波面を変形させない場合に得られる特性である。

なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図２２に示すように、光学的に得られる空間周波数に対するＭ
ＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、そ
れぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して
補正をかける。

たとえば、図２２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２
３に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調
を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望の
ＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系
１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１
４０からなり、光学系システムの中に、光波面変調機能の発現、非発現を切り替え可能な
光学素子を新たに設けるか、光波面変調機能を有する光学系に光波面変調機能を相殺可能
な逆光波面変調素子を設けることにより、結像の波面を変形（変調）し、そのような波面
をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その
結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである
。

本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしてい
る。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を
画像処理装置１４０で行う。

ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に
考察する。

物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結
像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。

幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便
利である。

結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情
報が重要となる。

ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動
光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は
射出瞳における瞳関数のフーリエ変換から求まる。

さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであ
ることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算
できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像
面におけるＭＴＦ値は変更可能である。

本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、
まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行って
いる。

そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２０（Ａ）〜（Ｃ）に
示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成され
る。

この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高い
ところまでは何とか解像力は維持している特徴を示している。

すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）
であれば、エリアジングの現象を発生させないことになる。

つまり、ローパスフィルタが必要ないのである。

そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因の
フレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。

図２４は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れ
たときのＭＴＦのレスポンス（応答）を示す図である。

図２５は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。

また、図２６は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示
す図である。

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。

この光学系によって結像された画像を、コンボリューションフィルタによる処理によっ
て、ＭＴＦのレスポンスが向上する。

以上説明したように、本実施形態によれば光波面変調機能を含む光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０からの被写体の画像信号に対して所定の処理を施す画像処理装置１４０と、を有し、光学系１１０に、光波面変調素子１１２と可変光波面変調素子１１４を配置し、光学系１１０は、可変光波面変調素子１１４が、変調機能制御部２００により光波面変調機能が制御されて光波面変調素子１１２によって広い距離範囲で均一に発生させた焦点ボケの復元が行なわれる。

したがって、以下の効果を得ることができる。

フォーカス調整はＤＥＯＳ技術を用いることから広い距離範囲にピントの合った復元画像を提供できる。特に監視カメラのような電子画像機器システムには最適な光学システムと言える。

また、拡張した深度でもカバーできない距離に被写体がある場合でも、可変光波面変調素子の変調状態を変化させながら山登りオートフォーカス的処理を行なうことによって、ピントの合った画像を得ることができる。

また、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学
的伝達関数（ＯＴＦ）に対してフィルタ処理を行うことから、光学系を簡単化でき、コス
ト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点
がある。

また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる
係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述し
た係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設
計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。

また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを
駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、い
わゆる自然な画像を得ることができる利点がある。

そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生
機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能で
ある。

また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結
像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決ま
る解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのよ
うな現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。

画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性
能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリ
アジングが発生する。

現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるロ
ーパスフィルタを併用し、エリアジングの現象の発生を避けている。

このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタ
そのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用
することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、
高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければ
ならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用
したりするとコストアップにつながる。

しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象
の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズより
に配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と
同様の作用効果を得ることができる。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。本実施形態に係る可変光波面変調素子の構成例および機能を説明するための図である。ＤＥＯＳの原理を説明するための図である。可変光波面変調素子を用いたオートフォーカスの処理フローの例を示す図である。球面収差と位相面形状について説明するための図である。ピント位置をアパーチャー径によって変化させた光波面形状の球面収差の違いを説明する図である。光波面変調フォーカスに適した球面収差とＭＴＦのデフォーカスの例を示す図である。通常光学系の球面収差とデフォーカスの例を示す図である。光波面を変調して遠側にフォーカスを併せた場合の球面収差とＭＴＦでフォーカスの例を示す図である。可変光波面変調素子と画像処理による復元機能を併せ持ったブロック構成図である。カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。露出制御装置の光学系設定処理の概要を示すフローチャートである。信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示す図である。本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。図２７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・露出制御装置、２００・・・変調機能制御部、１１１・・・第１レンズ、１１２・・・第２レンズ、光波面変調素子、１１３・・・絞り、１１４・・・可変光波面変調素子、１１４ａ・・・光波面変調機能を発現可能な液晶素子、１１５・・・第３レンズ、１１６・・・第４レンズ、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部。

Claims

光波面変調素子を含む深度拡張光学系と、
該深度拡張光学系に組み込まれ、光波面の変調状態を可変とする可変光波面変調素子と、
該可変光波面変調素子の光波面変調をコントロールする制御部と、
前記深度拡張光学系を介した像を光電変換する撮像素子と、
該撮像素子からの画像信号に対して所定の処理を施す画像信号処理部と、を備えて、
前記光波面変調素子によってぼかされたピントを前記可変光波面変調素子によって復元する撮像装置。
前記可変光波面変調素子は、複数種類の被写体距離に対応して前記復元を行なう前記光波面変調状態を切り替えることが可能で、撮影モードもしくは被写体距離設定によって前記光波面変調状態を切り替える請求項１に記載の撮像装置。
前記可変光波面変調素子は、任意の被写体距離に対応して前記復元を行なう前記光波面変調状態を任意に変化させることが可能で、該光波面変調状態を変化させることによってオートフォーカスを行なう請求項１に記載の撮像装置。
前記深度拡張光学系において、前記可変光波面変調素子は絞りに隣接する構成とした請求項１乃至３の何れかに記載の撮像装置。
前記可変光波面変調素子自体が絞りの機能も有することを特徴とした請求項１乃至３の何れかに記載の撮像装置。
前記深度拡張光学系において、近軸焦点距離が不変であることを特徴とする請求項１乃至５の何れかに記載の撮像装置。
前記深度拡張光学系において、球面収差が最低１つ以上の変極点を持つことを特徴とする請求項１乃至６の何れかに記載の撮像光学系。
光波面変調素子を含む深度拡張光学系を通過した被写体像を撮像素子で撮像する撮像方法であって、
前記深度拡張光学系の光路に配置され、光波面の変調状態を可変とする可変光波面変調素子をコントロールして前記光波面変調素子によってぼかされたピント（or低下させられたコントラスト）を復元する撮像方法。