JP2008058540A - 撮像装置、および画像処理方法 - Google Patents

Abstract

【課題】光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能な撮像装置、および画像処理方法を提供する。
【解決手段】１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０は、焦点距離の異なる第１レンズ１１１１と第２レンズ１１１２が接合されて形成され、第１のエリア１１１ａにより所望の距離にある第１の被写体ＯＢＪ１を撮像し、第２のエリア１１１ｂにより第１の被写体ＯＢＪ１とは距離の異なる第２の被写体ＯＢＪ２を撮像する。そして、たとえば第１の被写体ＯＢＪ１と比べて第２被写体ＯＢＪ２を近距離側に配置する構成に対応する場合、第１レンズ１１１１は、物体側曲率半径が接合面の曲率半径より小さく形成される。
【選択図】図１

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置、および画像処理方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図１９は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図１９に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２０（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。

また、ＣＣＤ、ＣＭＯＳなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてＦ値を絞ることで被写界深度を広げて固定ピントとしているものがある。
さらに、ピントの合う被写界を増やす手法は、たとえば特許文献８に開示されている。

"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２００４−１５３４９７号公報 特開２００４−３７７３３号公報 特開２００２−２７０４７号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。

また、バーコードの読み取りに関する第一の方法ではレンズを駆動しなければならず小型化や製造の面で困難となる。
第ニの方法では撮像素子に十分な光量を確保することができず良質な画像を得ることができない。

上記技術では所望の被写体距離で十分な解像感を得ることができないことや、レンズを切り替えるために駆動系が必要となってくる。

本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能な撮像装置、および画像処理方法を提供することにある。

本発明の第１の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、を有し、前記光学系は、第１レンズと第２レンズが接合された接合レンズを含み、前記第１レンズと第２レンズが接合されない第２レンズ上の第１エリアを含む光学系により所望の距離にある第１の被写体を撮像し、前記第１レンズと第２レンズが接合される第２レンズ上の第２エリアを含む光学系により前記第１の被写体とは距離の異なる第２の被写体を撮像する。

好適には、前記光学系において、第１の被写体と比べて、第２の被写体は近距離側に配置される。

好適には、前記光学系において、前記接合レンズは、前記第１レンズが前記第２レンズより物体側に位置するように、当該第２レンズの一部と接合されて形成され、前記第１レンズは、物体側曲率半径が接合面の曲率半径より小さい。

好適には、前記光学系において、第１の被写体と比べて、第２の被写体は遠距離側に配置される。

好適には、前記光学系において、前記接合レンズは、前記第１レンズが前記第２レンズより物体側に位置するように、当該第２レンズの一部と接合されて形成され、前記第１レンズは、物体側曲率半径が接合面の曲率半径より大きい。

好適には、前記接合面は、球面により形成されている。

好適には、前記撮像素子による複数の画像に対して、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理を行う信号処理部を有する。

本発明の第２の観点は、第１レンズと第２レンズが接合された接合レンズを通し撮像素子で撮像した被写体像を処理する画像処理方法であって、前記第１レンズと第２レンズが接合されない第２レンズ上の第１エリアを含む光学系により所望の距離にある第１の被写体を撮像し、前記第１レンズと第２レンズが接合される第２レンズ上の第２エリアを含む光学系により前記第１の被写体とは距離の異なる第２の被写体を撮像し、前記撮像素子による複数の画像に対して、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理を行う。

本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
そして、二次元バーコードや風景など近距離から遠距離において、第１の距離における被写体の撮像のみではなく、任意の第２の距離の被写体を高い精度で撮像することができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。

光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。また、光学系１１０は、絞り１１０ａが配置されている。
光学系１１０は、第１レンズ１１１１と第２レンズ１１１２が接合された接合レンズ１１１を含み、第１レンズ１１１１と第２レンズ１１１２が接合されない第２レンズ１１１２上の第１のエリア１１１ａを含む光学系１１０により所望の距離にある第１の被写体ＯＢＪ１を撮像し、第１レンズ１１１１と第２レンズ１１１２が接合される第２レンズ１１１２上の第２のエリア１１１ｂを含む光学系１１０により第１の被写体とは距離の異なる第２の被写体ＯＢＪ２を撮像する。

本実施形態の光学系１１０のレンズユニットは、接合レンズ１１１を含んで構成されている。
すなわち、本実施形態においては、たとえば無限遠の所望距離にある第１の被写体ＯＢＪ１と、それより近距離にある第２の被写体ＯＢＪ２をそれぞれ第１レンズ１１１１と第２レンズ１１１２が接合されない第２レンズ１１１２上の第１のエリア１１１ａを含む光学系１１０、および第１レンズ１１１１と第２レンズ１１１２が接合される第２レンズ１１１２上の第２のエリア１１１ｂを含む光学系１１０によって撮像する。
たとえば第１の被写体ＯＢＪ１をある有限の位置となるところに光学系を設計すると、接合レンズに物体側曲率半径が接合面の曲率半径より大きいレンズを接合することによってより遠方の被写体を得ることができる。
逆に、接合レンズに物体側曲率半径が接合面の曲率半径より小さいレンズを接合すると近距離側の被写体にピントが合った画像が同時に得られる。さらに接合面は球面にすることで、組立工程を容易にすることができる。

このように、本実施形態においては、光学系１１０を通して第１の被写体ＯＢＪ１と第２の被写体ＯＢＪ２を単一のレンズにて同時にとることで、通常駆動系を使ってピントを合わせていたのが、レンズユニットを固定した状態で複数の被写体ピントを一度で得ることができるようになる。
そして、本実施形態においては、画像処理装置１４０にてフィルタ処理を加えることにより２物体間の距離の解像を補完することができるように構成されている。
この光学系１１０については、後でさらに詳述する。

撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。

アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。

信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０、制御装置１９０の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０による複数の画像に対して、光学的伝達関数（ＯＴＦ）のレスポンスを向上させ、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理（たとえばコンボリューションフィルタ処理）を行う機能を有し、複数の物体距離に依存しながらも、深い被写界深度を得る。また、画像処理装置１４０は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０は、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。

カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。

制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１４０、絞り１１０ａ等を制御し、システム全体の調停制御を司るものである。

以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。

図２は、本実施形態に係る光学系を形成する撮像レンズユニットの基本構成を示す図である。

この撮像レンズユニット１１０Ａは、図２に示すように、物体側ＯＢＪＳから順に配置された、開口絞り部１１０ａ、第１レンズ１１１１および第２レンズ１１１２が接合された接合レンズ１１１、第３レンズ１１２、第４レンズ１１３、第５レンズ１１４、および撮像素子１２０により形成される。
このように、撮像レンズユニット１１０Ａは、全体として多焦点レンズ系として形成されている。

撮像素子１２０は、第４レンズ１１４側から、ガラス製の平行平面板（カバーガラス）１２１と、たとえばＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面１２２が順に配置されている。
撮像光学系１１０を介した第１の被写体ＯＢＪ１および第２の被写体ＯＢＪ２からの光が、撮像素子１２０の撮像面１２２上に結像される。

接合レンズ１１１は、上述したように、焦点距離の異なる第１レンズ１１１１と第２レンズ１１１２が接合されて形成され、第１レンズ１１１１と第２レンズ１１１２が接合されない第２レンズ１１１２上の第１のエリア１１１ａを含む光学系１１０により所望の距離にある第１の被写体ＯＢＪ１を撮像し、第１レンズ１１１１と第２レンズ１１１２が接合される第２レンズ１１１２上の第２のエリア１１１ｂを含む光学系１１０により第１の被写体ＯＢＪ１とは距離の異なる第２の被写体ＯＢＪ２を撮像する。

本実施形態の接合レンズ１１１は、第２レンズ１１１２の物体側面の一部である光軸ＡＸを中心とした所定領域に第１レンズ１１１１が接合されている。そして、第１レンズ１１１１の物体側面に近接して絞り１１０ａが配置されている。

このような構成を有する撮像レンズユニット１１０Ａにおいては、たとえば第１の被写体ＯＢＪ１と比べて、第２の被写体ＯＢＪ２は近距離側に配置される。
このように、第２被写体ＯＢＪ２を近距離側に配置する構成に対応する場合、第１レンズ１１１１は、物体側曲率半径が接合面の曲率半径より小さく形成される。

一方、撮像レンズユニット１１０Ａにおいては、たとえば第１の被写体ＯＢＪ１と比べて、第２の被写体ＯＢＪ２は遠距離側に配置されるように構成することも可能である。
このように、第２被写体ＯＢＪ２を遠距離側に配置する構成に対応する場合、第１レンズ１１１１は、物体側曲率半径が接合面の曲率半径より大きく形成される。

なお、第１レンズ１１１１と第２レンズ１１１２との接続面は、たとえば組立工程を容易にすることができるように、球面により形成される。

図２は、たとえば無限位置にピントを合わせた光学系に５０ｃｍ程度にピントの合うように物体側曲率半径が接合面の曲率半径より小さいレンズを接合した第１レンズ１１１１、第２レンズ１１１２を配置した断面図を示す。

図３および図４は、図２を分かりやすく分離した断面図を示す図であって、図３は無限ピントの第１レンズ１１１１と第２レンズ１１１２が接合されない第２レンズ１１１２上の第１のエリア１１１ａを含む光学系１１０による光束の状態を示す図であり、図４は５０ｃｍピントの第１レンズ１１１１と第２レンズ１１１２が接合される第２レンズ１１１２上の第２のエリア１１１ｂを含む光学系１１０による光束の状態を示す図である。

実際の光学系１１０は図２のように構成されており、図３に示すように、光束の外側である第１のエリア１１１ａは接合レンズ部を通過しないため被写体のピントが無限に合った画像が撮れる。
図４に示すように、光束の内側である第２のエリア１１１ｂは接合レンズ部を通過するため第１レンズ１１１１のみに比べて近距離側にピントの合った画像が撮れる。

図５は、たとえば光束の外側が通過する第１のエリア１１１ａを遠距離ピント、光束の内側が通過する第２のエリア１１１ｂを近距離ピントとなった場合の変調伝達関数（ＭＴＦ）の距離依存性を示した図である。
図５において、横軸が物体距離を示し、縦軸が本実施形態に係る撮像レンズユニットにより形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を示している。
また、図６は、第１レンズと第２レンズの面積による回折限界依存性を説明するための図である。

たとえば、図６に示すように、第１レンズ１１１１のアパーチャー径が第２レンズ１１１２の半分であると、面積比としては第２レンズの方が大きくなる。
第１のエリア１１１ａの光線通過面積は［πｒ^２ −π（ｒ／２）^２］となり、第２のエリア１１１ｂの光線通過面積は［π（ｒ／２）^２］となる。ただし、ｒは第２レンズの半径を示す。
そのため、図５に示すように、回折限界が異なり面積によってピーク値が異なる。さらに第２レンズ１１１２の方が光束としては細くなるため近距離側の被写界深度も伸びる。

図７は、図５の逆のパターンで第１のエリア１１１ａが近距離ピント、光束の内側が通過する第２のエリア１１１ｂが遠距離ピントとなった場合のＭＴＦの距離依存性を示した図である。
この場合も、回折限界が異なり面積によってピーク値が異なる。さらに第１レンズ１１１１の方が光束としては細くなるため近距離側の被写界深度も伸びる。

図８は、図５の場合のフィルタによるコンボリューション処理によって被写界深度を拡張する処理を加えることを示した図である。
画像処理装置１４０におけるフィルタ処理後のＭＴＦは、図８中、一転鎖線で示すような特性を示し、コンボリューション処理によって被写界深度を拡張することができる。

以下に、撮像レンズユニット１１０Ａの具体的な数値による実施例１，２を示す。
なお、各実施例１，２においては、撮像レンズユニット１１０Ａの各レンズ群を構成する、各レンズ１１１（１１１１，１１１２）〜１１４、並びに撮像素子１２０を構成するカバーガラス１２１に対して、図２に示すような面番号を付与した。

図２の撮像レンズユニット１１０Ａにおいて、第１レンズ１１１１の物体側面を面番号１とし、第２レンズ１１１２の物体側面（接合側面）を面番号２とし、第２レンズ１１１２の撮像面側面を面番号３とし、第３レンズ１１２の物体側面を面番号４とし、第３レンズ１１２の撮像面側面を面番号５とし、第４レンズ１１３の物体側面を面番号６とし、第４レンズ１１３の撮像面側面を面番号７とし、第５レンズ１１４の物体側面を面番号８とし、第５レンズ１１４の撮像面側面を面番号９とし、カバーガラス１２１の物体側面を面番号１０とし、カバーガラス１２１の撮像面側面を面番号１１としている。

また、図２に示すように、本実施形態の撮像レンズユニット１１０Ａにおいて、第１レンズ１１１１の物体側面１の中心曲率半径はＲ１に、第２レンズ１１１２の物体側面２の中心曲率半径はＲ２に、第２レンズ１１１２の撮像面側面３の中心曲率半径はＲ３に、第３レンズ１１２の物体側面４の中心曲率半径はＲ４に、第３レンズ１１２の撮像面側面５の中心曲率半径はＲ５に、第４レンズ１１３の物体側面６の中心曲率半径はＲ６に、第４レンズ１１３の撮像面側面７の中心曲率半径はＲ７に、第５レンズ１１４の物体側面８の中心曲率半径はＲ８に、第５レンズ１１４の撮像面側面９の中心曲率半径はＲ９に設定されている。
また、第１レンズ１１１１の屈折率はＮ₁、分散値はν₁、第２レンズ１１１２の屈折率はＮ₂、分散値はν₂、第３レンズ１１２の屈折率はＮ_３、分散値はν_３、第４レンズ１１３の屈折率はＮ₄、分散値はν_4、第５レンズ１１４の屈折率はＮ_５、分散値はν_５に設定される。

また、図１に示すように、第１レンズ１１１１の厚さとなる物体側面１と第２レンズ１１１２との接合面間の距離をＤ２、第２レンズ１１１２の厚さとなる物体側面２と撮像面側面３との距離をＤ３、第２レンズ１１１２の撮像面側面３と第３レンズ１１２の物体側面４間の距離をＤ４、第３レンズ１１２の厚さとなる物体側面４と撮像面側面５間の距離をＤ５、第３レンズ１１２の撮像面側面５と第４レンズ１１３の物体側面６間の距離をＤ６、第４レンズ１１３の厚さとなる物体側面６と撮像面側面７間の距離をＤ７、第４レンズ１１３の撮像面側面７と第５レンズ１１４の物体側面８間の距離をＤ８、第５レンズ１１４の厚さとなる物体側面８と撮像面側面９間の距離をＤ９、第５レンズ１１４の撮像面側面９とカバーガラス１２１の物体側面１０間の距離をＤ１０、カバーガラス１２１の厚さとなる物体側面１０と撮像面側面１１間の距離をＤ１１と、カバーガラス１２１の撮像面側面１１と撮像面１２２との距離をＤ１２とする。

そして、本実施形態のように、開口絞り部１１０を最も物体側に置くことによって、全長が短いながらも像面から射出瞳までの距離が長くなり撮像素子１２０への入射角度をできるだけ小さく（浅くする）ことができる。

（実施例１）
表１および表２に実施例１の各数値を示す。実施例の各数値は図２の撮像レンズユニット１１０Ａに対応している。表１は、実施例１における撮像レンズの各面番号に対応した絞り、各レンズ、カバーガラスの曲率半径（Ｒ：ｍｍ），間隔（Ｄ：ｍｍ）、屈折率（Ｎ）、および分散値（ν）を示している。

表２は、実施例１における非球面を含む一枚目の第１レンズ１１１１、二枚目の第２レンズ１１１２、三枚目の第３レンズ１１２、四枚目の第４レンズ１１３、および五枚目の第５レンズ１１４の所定面の非球面係数を示す。表２において、ｋは円錐定数を、Ａは４次の非球面係数を、Ｂは６次の非球面係数を、Ｃは８次の非球面係数を、Ｄは１０次の非球面係数をそれぞれ表している。

（実施例２）
表３および表４に実施例２の各数値を示す。実施例の各数値は図２の撮像レンズユニット１１０Ａに対応している。表３は、実施例２における撮像レンズの各面番号に対応した絞り、各レンズ、カバーガラスの曲率半径（Ｒ：ｍｍ），間隔（Ｄ：ｍｍ）、屈折率（Ｎ）、および分散値（ν）を示している。

表４は、実施例２における非球面を含む一枚目の第１レンズ１１１１、二枚目の第２レンズ１１１２、三枚目の第３レンズ１１２、四枚目の第４レンズ１１３、および五枚目の第５レンズ１１４の所定面の非球面係数を示す。表４において、ｋは円錐定数を、Ａは４次の非球面係数を、Ｂは６次の非球面係数を、Ｃは８次の非球面係数を、Ｄは１０次の非球面係数をそれぞれ表している。

本実施形態においては、各実施例１，２で示したように、結像性能の優れた撮像レンズユニットを実現することが可能である。

次に、画像処理装置１４０のフィルタ処理について説明する。
焦点距離の異なる画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。

ここで、ＤＥＯＳの基本原理について説明する。
図９に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

[数１]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

[数２]
ｆ＝Ｈ^−１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、絞り開放時には画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。

本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。

画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、フィルタによるコンボリューション処理によって被写界深度を拡張する処理を等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置１４０の構成および処理について説明する。

画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。

コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置１９０により制御される。

また、カーネルデータ格納ＲＯＭ１４３には、図１０、図１１、または図１２に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。

図１０の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。

また、図１１の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）に対応したデータとなっている。なお、Ｆナンバ（２．８）、Ｆナンバ（４）は上記した０．５λの範囲外である。

また、図１２の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。

図１３は、制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。

以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。

図１４は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１４の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。

図１５は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１５の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。

図１６、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１６の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。

図１７は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１７の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。

以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。

図１８は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。

画像処理装置３００は、図１８に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。

焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

図１８の構成に対応付けると次のような構成をとることができる。

変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。

または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。

または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。

以上説明したように、本実施形態によれば、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０は、焦点距離の異なる第１レンズ１１１１と第２レンズ１１１２がされて形成され、前記第１レンズと第２レンズが接合されない第２レンズ上の第１エリアを含む光学系により所望の距離にある第１の被写体ＯＢＪ１を撮像し、前記第１レンズと第２レンズが接合される第２レンズ上の第２エリアを含む光学系により第１の被写体ＯＢＪ１とは距離の異なる第２の被写体ＯＢＪ２を撮像する。
そして、たとえば第１の被写体ＯＢＪ１と比べて第２被写体ＯＢＪ２を近距離側に配置する構成に対応する場合、第１レンズ１１１１は、物体側曲率半径が接合面の曲率半径より小さく形成され、たとえば第１の被写体ＯＢＪ１と比べて第２被写体ＯＢＪ２を遠距離側に配置する構成に対応する場合、第１レンズ１１１１は、物体側曲率半径が接合面の曲率半径より大きく形成される。
このような構成を有する撮像装置１００によれば、光学系１１０を通して第１の被写体ＯＢＪ１と第２の被写体ＯＢＪ２を単一のレンズにて同時にとることで、通常駆動系を使ってピントを合わせていたのが、レンズユニットを固定した状態で複数の被写体ピントを一度で得ることができるようになる。
本実施形態においては、画像処理装置１４０にてフィルタ処理を加えることにより２物体間の距離の解像を補完することができる。
そして、二次元バーコードや風景など近距離から遠距離において、第１の距離における被写体の撮像のみではなく、任意の第２の距離の被写体を高い精度で撮像することができる。

また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

また、図１０、図１１、および図１２のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る光学系を形成する撮像レンズユニットの基本構成を示す図である。 図２を分かりやすく分離した断面図を示す図であって、無限ピントの第１のエリアによる光束の状態を示す図である。 図２を分かりやすく分離した断面図を示す図であって、５０ｃｍピントの第２のエリアによる光束の状態を示す図である。 光束の外側が通過する第１のエリアが遠距離ピント、光束の内側が通過する第２のエリアが近距離ピントとなった場合の変調伝達関数（ＭＴＦ）の距離依存性を示した図である。 第１のエリアと第２のエリアの面積による回折限界依存性を説明するための図である。 図５の逆のパターンで第１のエリアが近距離ピント、光束の内側が通過する第２のエリアが遠距離ピントとなった場合のＭＴＦの距離依存性を示した図である。 図５の場合のフィルタによるコンボリューション処理によって被写界深度を拡張する処理を加えることを示した図である。 ＤＥＯＳの原理を説明するための図である。 カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。 カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。 カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。 露出制御装置の光学系設定処理の概要を示すフローチャートである。 信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第２の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。 被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図４５の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００・・・撮像装置、１１０・・・光学系、１１０ａ・・・絞り、１１１・・・一体化多焦点レンズ、１１１１・・・第１レンズ、１１１２・・・第２レンズ、１１２・・・第３レンズ、１１３・・・第４レンズ、１１４・・・第５レンズ、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・制御装置、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部。

Claims (8)

1. 光学系と、
   前記光学系を通過した被写体像を撮像する撮像素子と、を有し、
   前記光学系は、
   第１レンズと第２レンズが接合された接合レンズを含み、
   前記第１レンズと第２レンズが接合されない第２レンズ上の第１エリアを含む光学系により所望の距離にある第１の被写体を撮像し、前記第１レンズと第２レンズが接合される第２レンズ上の第２エリアを含む光学系により前記第１の被写体とは距離の異なる第２の被写体を撮像する
   撮像装置。
2. 前記光学系において、第１の被写体と比べて、第２の被写体は近距離側に配置される
   請求項１記載の撮像装置。
3. 前記光学系において、
   前記接合レンズは、前記第１レンズが前記第２レンズより物体側に位置するように、当該第２レンズの一部と接合されて形成され、
   前記第１レンズは、物体側曲率半径が接合面の曲率半径より小さい
   請求項２記載の撮像装置。
4. 前記光学系において、第１の被写体と比べて、第２の被写体は遠距離側に配置される
   請求項１記載の撮像装置。
5. 前記光学系において、
   前記接合レンズは、前記第１レンズが前記第２レンズより物体側に位置するように、当該第２レンズの一部と接合されて形成され、
   前記第１レンズは、物体側曲率半径が接合面の曲率半径より大きい
   請求項４記載の撮像装置。
6. 前記接合面は、球面により形成されている
   請求項３または５記載の撮像装置。
7. 前記撮像素子による複数の画像に対して、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理を行う信号処理部を有する
   請求項１から７のいずれか一に記載の撮像装置。
8. 第１レンズと第２レンズが接合された接合レンズを通し撮像素子で撮像した被写体像を処理する画像処理方法であって、
   前記第１レンズと第２レンズが接合されない第２レンズ上の第１エリアを含む光学系により所望の距離にある第１の被写体を撮像し、
   前記第１レンズと第２レンズが接合される第２レンズ上の第２エリアを含む光学系により前記第１の被写体とは距離の異なる第２の被写体を撮像し、
   前記撮像素子による複数の画像に対して、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理を行う
   画像処理方法。
   
   
   
   

Images