JP2011211436A - 撮像画像処理装置 - Google Patents

Abstract

【課題】奥行きのある被写体についても高解像度化することが可能で、通信速度の向上を図れ、プライバシーを保護することが可能な撮像画像処理装置を提供する。
【解決手段】収差を発生させる収差制御機能を有する収差制御光学系と、収差制御光学系を通過した被写体像を撮像する撮像素子と、を含む撮像装置２０と、撮像素子で撮像された複数の画像データを受信し、その複数の受信データの標本化位置のずれを検出して画像の高解像度化を行う第１の画像処部を含む情報受信装置４０と、高解像度化された画像に対して収差制御光学系の収差により低下したコントラストを向上し、表示する第２の画像処理部を含む画像表示装置５０と、を有する。
【選択図】図３

Description

本発明は、低解像度の画像を高解像度化した画像として表示する撮像画像処理装置に関するものである。

この種の技術分野に関し、特許文献１には「画像解像拡張処理にかかる演算量を軽減しつつ、画像間の動き検出の精度を向上させる。」ことを課題とし、その解決手段としての画像復号装置が開示されている。
この画像像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、補助データを受信し復号して補助動き情報を得る補助データ復号手段と、補助データ復号手段により得られた補助動き情報に基づいて、複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルとビデオデータ復号手段により得られた複数の再生画像とを用いて、複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段とを備える、ことが記載されている。

近年、画像表示装置の改善により、高画素数での表示が可能となっている。
たとえば、横１９２０画素、縦１０８０画素の画像を表示可能な表示装置が存在する。
一方、放送局から送出される画像の大きさは、横７２０画素、縦４８０画素程度のものが多い。また、市販されているＤＶＤから再生可能な画像のサイズも、最大で縦７２０画素、横４８０画素である。
このように、多くの一般的な画像の大きさより、表示装置が表示可能な画素数の方が大きいという状態が生じている。

このため、解像度の低い画像データを用いて高解像度の画像を生成する方法として、超解像(super resolution)技術が広く知られており、非特許文献１にはその広い技術分野の概要が記載されている。
また、非特許文献２には、カメラの手ぶれなどによる制御されない位置ずれをもつ複数のデジタル画像を入力し、入力画像以上の解像度を持つ1枚の高解像度画像を出力する技術が記載されている。

図１は、従来の超解像技術の処理系を示す図である。
図１の処理系において、光学系１により撮影した画像データを画像バッファ２に蓄積する。
位置検出部３により、画像バッファ２にたまったそれぞれの画像データの標本化位置のずれ量Δ１、Δ２、Δ３をサブピクセル精度で検出する。
重み係数算出部４により、それぞれの画像データの重みＷ１、Ｗ２、Ｗ３を算出する。
広帯域ＬＰＦ処理部５により、各画像データの折り返し成分も含め原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて、画像データを高密度化する。
高解像度化処理部６により、各高密度化データの標本化位置に応じた重みを使った加重和をとることにより折り返し歪みを打ち消し、原信号の高周波成分を復元する。

超解像の原理としては、以下の通りである。
３つの標本化位置が異なる信号（Δ１、Δ２、Δ３）を考える。
図２のように標本化位置の異なる信号のフーリエ変換は、原信号の位相はすべて一致し、折り返し成分の位相はサンプリング位相の差に応じて回転することが知られている。
ここで３つ信号の重み係数Ｗkが、次の関係を満たすように加重和をとれば、折り返し成分はすべて打ち消され、原成分が高調波成分も含めて復元される。

特開２００６−１７４４１５号公報

S.C. Park, M.K. Park, M.G. Kang： "Super-Resolution Image Reconstruction：A Technical overview," IEEE Signal Processing Magazine, vol.20, no.3, pp.21-36, 2003. "複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp. 19-25, No.24, NOVEMVER, 1998.

ところが、上述した超解像技術において、たとえば２倍の高解像度化を実現するためには、原信号にはナイキスト周波数の２倍の帯域の折返し成分が含まれている必要がある。
したがって、従来技術では、奥行きのある被写体を撮影した場合、ピントの外れた箇所では、現信号にナイキスト周波数の２倍の帯域の折返し成分が含まれないため、高解像度化することができない。
また、高解像度化した画像を転送／表示する際、通信速度に問題が起きる。
さらに、画像の転送を行った場合、プライバシーの問題が生じる。

本発明は、奥行きのある被写体についても高解像度化することが可能で、通信速度の向上を図れ、プライバシーを保護することが可能な撮像画像処理装置を提供することにある。

本発明の観点の撮像画像処理装置は、収差を発生させる収差制御機能を有する収差制御光学系と、前記収差制御光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子で撮像された複数の画像データを受信し、当該複数の受信データの標本化位置のずれを検出して画像の高解像度化を行う第１の画像処部と、前記高解像度化された画像に対して前記収差制御光学系の収差により低下したコントラストを向上し、表示する第２の画像処理部と、を有する。

好適には、前記収差制御光学系は、ディフォーカスに対するＭＴＦ特性において複数のピークを有する。

好適には、前記収差制御光学系において発生させる主たる収差は光軸を中心に回転対象な球面収差で、少なくとも一つの変曲点を有する。

好適には、前記第２の画像処理部は、記憶部をさらに有し、前記光学的伝達関数の逆関数に関するデータを前記記憶部に記憶する。

好適には、前記第１の画像処理部は、前記高解像度化された画像を送信する送信部を含み、第２の画像処理部は、前記高解像度化された画像を受信する受信部を含み、前記第１の画像処理部から前記第２の画像処理部への通信によって前記高解像度化された画像が送信される。

本発明によれば、奥行きのある被写体についても高解像度化することが可能で、通信速度の向上を図れ、しかもプライバシーを保護することが可能となる。

従来の超解像技術の処理系を示す図である。 標本化位置のずれによる原信号と折り返し成分の関係を示す図である。 本発明の実施形態に係る撮像画像処理装置の構成例を示す図である。 本実施形態に係る撮像装置の構成例を示す図である。 本実施形態に係る収差制御光学系の球面収差発生量について説明するための図であって、撮像素子(センサ)を固定したときのセンサとＰＳＦとの関係を示す図である。 本実施形態に係る収差制御光学系の球面収差発生量について説明するための図であって、収差制御光学系を固定したときのセンサとＰＳＦとの関係を示す図である。 通常光学系および本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦの状態を示す図である。 高周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示す図である。 低周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示す図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 通常の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 収差制御素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置の画像処理後のＭＴＦのレスポンスを示す図である。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図３は、本発明の実施形態に係る撮像画像処理装置の構成例を示す図である。

本撮像画像処理装置１０は、図３に示すように、撮像装置２０、情報送信装置３０、第１の画像処理部を含む情報受信装置４０、および第２の画像処理部としての画像表示装置５０を有する。

本実施形態に係る撮像装置２０は、収差光学系と撮像素子を含んで構成される。
撮像装置２０は、光学系に収差制御面、または収差制御素子を適用し、収差制御素子により収差（本実施形態においては球面収差）を意図的に発生させ、ディフォーカスに対する変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）において、任意の周波数の主像面シフト領域で１つではなく、２つ以上のピークを持たせることで、ＭＴＦピーク値の低下を抑えつつ深度拡張を可能にする収差制御光学系システム採用している。

情報送信装置３０は、撮像装置２０の収差制御機能により深度を拡張して撮像素子で撮像した複数枚の画像を送信情報受信装置４０に送信する。
情報受信装置４０で、送信された複数の画像の標本化位置のずれを検出して画像の高解像度化を行う。
情報受信装置４０は、高解像度化した画像を画像表示装置５に送信する。
画像表示装置５０は、高解像度化された画像に対して収差制御光学系の光学的伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の逆関数をかけて収差（ボケ）のない画像信号を復元し、表示デバイスに表示する。

このように、本実施形態の撮像画像処理装置１０においては、収差制御制御素子を備えた光学系を用いる。収差制御素子を備えた光学系の特徴として、ディフォーカスのＭＴＦ（ＯＴＦの絶対値）のピークを２つ以上有することにより、従来の光学系よりも幅広い物体距離に対して、高周波成分が維持される。
したがって、従来の光学系では実現することができなかった、奥行きのある被写体についても高解像度化することが可能となる。
また、標本化位置のずれを検出する検出機能を利用し、動作する物体のみ画像を高解像度化することにより、画像サイズを小さくすることができ、通信速度の問題を解消することが可能となる。
さらに、転送された画像に対し、復元処理を加えることにより、許可された人物のみが閲覧可能となり、プライバシーの問題を解消することが可能となる。

以下、本撮像画像処理装置１０の特徴的構成を有する要部の構成、機能について具体的に説明する。

図４は、本実施形態に係る撮像装置２０の構成例を示す図である。

本実施形態の撮像装置２０は、図４に示すように、収差を発生させる収差制御機能を有する収差制御光学系２１０と、収差制御光学系２１０を通過した被写体像を撮像する撮像素子２２０と、を含んで構成される。

図４は、本実施形態に係る収差制御光学系を形成する撮像レンズユニットの基本構成を示している。
収差制御光学系２１０は、被写体物体ＯＢＪを撮影した像を撮像素子２２０に供給する。また、収差制御光学系２１０は、物体側から順に、第１レンズ２１１、第２レンズ２１２、第３レンズ２１３、絞り２１４、第４レンズ２１５、第５レンズ２１６が配置されている。
本実施形態の収差制御光学系２１０は、第４レンズ２１５と第５レンズ２１６が接続されている。すなわち、本実施形態の収差制御光学系２１０のレンズユニットは、接合レンズを含んで構成されている。

そして、本実施形態の収差制御光学系２１０は、収差を意図的に発生させる収差制御機能を有する収差制御面を適用した光学系として構成されている。
本実施形態においては、球面収差のみを発生させるために、収差制御面を挿入する必要がある。なお、収差制御効果は別素子の収差制御素子を挿入しても良い。
その例を示すと図４のようになり、通常の光学系に収差制御面(第３レンズＲ２面)を含んだ形となっている。
好適には収差制御面２１３ａは絞り２１４に隣接していることが好ましい。
収差制御素子を絞り２１４の近傍に、あるいは収差制御面自身に絞り機能を持たせることにより、収差制御面を最適化することで、物体が画面の中心に写る場合も周辺に写る場合も均一な画質とすることが可能となり、撮像装置の最終出力画像信号として性能の高い固定焦点レンズとすることができる。
収差制御面は、物体距離に応じたＯＴＦを制御することにより、必要な物体距離に対して必要なＯＴＦを維持する作用を持つ。

このように、本実施形態の収差制御光学系２１０は、収差制御機能を有する収差制御面を内包する収差制御光学系を用いてＰＳＦを２画素以上にまたがるようにし、所定の周波数において偽解像しない主像面シフト領域でディフォーカスに対するＭＴＦ特性が２つ以上のピークを持つ深度拡張光学系として構成される。
一般的な光波面変調機能を用いた深度拡張光学系ではＭＴＦ特性において１つのピークの裾野を広げて深度を拡張するが、これではそれと引き換えにＭＴＦ特性のピーク値が下がってしまう。
本実施形態においては、収差制御機能を用いてピークを複数持つようにすることで、ピーク値の低下を抑えつつ深度拡張を実現できる。
なお、球面収差を適切に制御することで画像復元処理を施さなくても深度拡張することができる。
具体的には、本実施形態の収差制御光学系２１０は、主に球面収差を発生させる収差制御素子、または収差制御面によりディフォーカスに対するＭＴＦのピークを複数に分ける（ここでは２分）することでアウトフォーカスにおける深度を拡張する。そして、ピークを分割するために、球面収差に変曲点を持たせる。
以下、この収差制御光学系２１０の特徴的な構成、機能についてさらに詳述する。

図５（Ａ）、(Ｂ)および図６（Ａ），（Ｂ）は、本実施形態に係る収差制御光学系の球面収差発生量について説明するための図である。
図５は撮像素子(センサ)を固定したときのセンサと点像強度分布（ＰＳＦ：Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）との関係を示し、図６は収差制御光学系を固定したときのセンサとＰＳＦとの関係を示している。

たとえば、撮像素子２２０はある画素ピッチを有するセンサであるとする。その場合に、本実施形態では、球面収差を発生させてＰＳＦを１画素ＰＸＬより大きくする必要がある。
図５（Ａ）および図６（Ａ）に示すように、１画素ＰＸＬの中にＰＳＦが納まってしまうサイズで球面収差を発生させてもそれは通常の光学系と同じである。通常光学系では一般的にピント位置の中心ＰＳＦのサイズが最小となる。
これに対して、本実施形態に係る収差制御光学系２１０では、図５（Ｂ）に示すように、ＰＳＦはアウトフォーカスに限らずピント位置までも１画素ＰＸＬに収まらないサイズに制御される。

次に、収差制御光学系に適した撮像素子（センサ）選定について説明する。
たとえばあるＰＳＦサイズを持った収差制御光学系があるとすると、図６（Ｂ）に示すように、センサの画素ピッチがＰＳＦのサイズより小さいものを選ぶことが好ましい。
仮に画素ピッチがＰＳＦより大きいものを選んだとすると通常光学系と同じとなってしまい、そこがピントとなってしまう。よって、その場合、収差制御光学系の球面収差の効果を有効に得ることができない。

図７（Ａ）〜（Ｃ）は、通常光学系および本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦの状態を示す図である。
図７（Ａ）は通常光学系のディフォーカスに対するＭＴＦの状態を示し、図７（Ｂ）は本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦの状態を示し、図７(Ｃ)は１つのピークを拡大したディフォーカスに対するＭＴＦの状態を示している。

通常の光学系では、図７（Ａ）に示すように、ピント位置が一つで中心にある。両サイドにある二つ目の山は落ちきって反転しているため、偽解像となる。
そのため、解像する領域は網掛けで示す主像面シフト領域ＭＳＡＲとなる。通常光学系の１つのピークを深度拡張すると、図７(Ｃ)に示すように、ＭＴＦは大きく劣化してしまう。

そこで、本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦでは、図７(Ｂ)に示すように、通常光学系において一つのピークＰＫ１であったのを２つのピークＰＫ１１、ＰＫ１２に分割させている。
ＭＴＦは若干劣化するが、深度は２つに分割したことによって２倍程度に伸びていて、さらにひとつのピークを深度拡張することにより劣化を抑えていることがわかる。

図８（Ａ）〜（Ｃ）および図９（Ａ）〜（Ｃ）は、本実施形態の収差制御光学系において、球面収差曲線（カーブ）によって任意の周波数でディフォーカスに対するＭＴＦが２分できることを説明する。

図８（Ａ）〜（Ｃ）は、高周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示し、図８（Ａ）が球面収差カーブを示し、図８（Ｂ）が低周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示し、図８（Ｃ）が高周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示している。

図９（Ａ）〜（Ｃ）は、低周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示し、図９（Ａ）が球面収差カーブを示し、図９（Ｂ）が低周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示し、図９（Ｃ）が高周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示している。

図９(Ａ)〜（Ｃ）からわかるように、低周波の深度を伸ばすためには、球面収差の振幅を大きくすれば良い。
振幅の大きさをコントロールすることによって任意の周波数のディフォーカスＭＴＦを２分割することができる。つまり任意の周波数の深度を拡張することができる。

なお、本実施形態において、ディフォーカスに対する低周波および高周波とは次のように定義する。
使用する固体撮像素子（撮像素子２２０）の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。
ただし、ナイキスト周波数は下記の通りに定義する。
ナイキスト周波数＝１／（固体撮像素子の画素ピッチ×２）

以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。

撮像素子２２０は、たとえば、図４に示すように、第５レンズ２１６側から、ガラス製の平行平面板（カバーガラス）２２１と、ＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面２２２が順に配置されている。
収差制御光学系２１０を介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。
なお、撮像素子２２０で撮像される被写体分散像は、収差制御面２１３ａにより撮像素子２２０上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。

そして、図３に示すように撮像素子２２０は、収差制御光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号として、アナログフロントエンド部を介して情報送信装置３０に出力するＣＣＤやＣＭＯＳセンサにより構成される。

情報送信装置３０は、撮像装置２０の収差制御機能により深度を拡張して撮像素子で撮像した複数枚の画像を送信情報受信装置４０に送信する。

情報受信装置４０は、検出部４１０および高解像度化処理部４２０を含んで構成されている。これら検出部４１０および高解像度化処理部４２０により第１の画像処理部が形成される。
検出部４１０は、画像バッファ４１１、および位置検出部４１２を有する。
検出部４１０は、情報送信装置３０から送信された複数の画像データを画像バッファ４１１に蓄積する。
そして、位置検出部４１２は、画像バッファ４１１にたまったそれぞれの画像データの標本化位置のずれ量Δ１、Δ２、Δ３をサブピクセル精度で検出する。
検出部４１０は、検出結果を高解像度化処理部４２０に出力する。

高解像度化処理部４２０は、検出部４１０の検出位置結果に応じて画像の高解像度化を行う。
高解像度化処理部４２０は、高解像度化された画像を画像表示装置５０に送るための送信部４２１を含む。

画像表示装置５００は、画像復元部５１０および画像表示部５２０を有する。この画像復元部５１０により第２の画像処理部が形成される。

画像復元部５１０は、高解像度化された画像に対して収差制御光学系２１０の光学的伝達関数の逆関数をかけて収差（ボケ）のない画像信号を生成し、その画像信号を画像表示部５２０に出力する。
画像復元部５１０は、高解像度化処理部４２０の送信部４２１から送信される高解像度化された画像を受信する受信部５１１を含む。
このように、第１の画像処理部としての高解像度化処理部４２０から第２の画像処理部としての画像復元部５１０への通信によって高解像度化された画像が送信される。

また、画像復元部５１０または画像表示部５２０の信号処理部は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行う。

以下、本実施形態の復元処理について具体的に説明する。

画像復元部５１０のＭＴＦ補正処理は、たとえば図１０の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１０中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１０中曲線Ｂで示す特性は、たとえば本実施形態のように、収差制御面または収差制御光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図１０に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１１に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１０のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１１に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像復元部５１０で行う。

次に、本実施形態および通常光学系のＭＴＦのレスポンスについて考察する。

図１２は、通常の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図１３は、収差制御素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図１４は、本実施形態に係る撮像装置の画像処理後のＭＴＦのレスポンスを示す図である。

図からもわかるように、収差制御面または収差制御素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が収差制御面または収差制御素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、後段の画像復元部５１０によって画像処理することにより、ＭＴＦのレスポンスが向上させることができる。
ただし、画像処理を行うとノイズが増加してしまう場合には、好適にはＭＴＦのレスポンスを向上させるような画像処理は行わないようにすることも可能である。
上述したように、目的に応じて意図的に収差を発生させる光学系を収差制御光学系という。
このように、収差制御素子を挿入することにより物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が従来よりも少なくなる。この光学系によって結像された画像は、後段の画像処理によって、ＭＴＦのレスポンスを向上させることもできる。
図１４は、画像処理後のＭＴＦのレスポンスを示しており、収差制御効果により、ピント外れでもＭＴＦが高い状態にあることがわかる。

図１３に示した、収差制御光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図１４に示した復元後のＯＴＦを達成するためには画像処理でゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに画像処理を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、画像処理前のＭＴＦが０．１以上あれば、画像処理でナイキスト周波数でのゲインを上げずに済む。画像処理前のＭＴＦが０．１未満であると、画像処理後の画像がノイズの影響を大きく受けた画像になるため好ましくない。

以上説明したように、本実施形態によれば、収差を意図的に発生させる収差制御機能を有する収差制御光学系２１０を用いる。収差制御素子を備えた光学系の特徴として、ディフォーカスのＭＴＦ（ＯＴＦの絶対値）のピークを２つ以上有することにより、従来の光学系よりも幅広い物体距離に対して、高周波成分が維持される。
したがって、従来の光学系では実現することができなかった、奥行きのある被写体についても高解像度化することが可能となる。
また、標本化位置のずれを検出する検出機能を利用し、動作する物体のみ画像を高解像度化することにより、画像サイズを小さくすることができ、通信速度の問題を解消することが可能となる。
さらにに、転送された画像に対し、復元処理を加えることにより、許可された人物のみが閲覧可能となり、プライバシーの問題を解消することが可能となる。

すなわち、本実施形態によれば、低解像度の画像しか撮影できない、比較的性能の低いカメラであっても、高解像度の画像を表示可能としつつ、奥行きのある被写体であっても、高解像度の画像を得ることが可能となる。
また、高解像度の画像を効率よく転送することが可能となる。
さらに、許可された人物のみ画像の閲覧でき、プライバシーにも配慮された撮像システムを実現することが可能となる。

本実施形態においては、収差制御機能を用いてディフォーカスに対するＭＴＦ特性において２つ以上のピークを複数持つようにすることで、ピーク値の低下を抑えつつ、収差制御素子を持たない一般的な光学系よりも深度を拡張できる。
すなわち、本実施形態によれば、球面収差を適切に制御することで、画像復元処理を施さなくても深度を拡張することができ、適切な画質の、ノイズの影響が小さい良好な画像を得ることが可能となる。

１０・・・撮像画像処理装置、２０・・・撮像装置、２１０・・・収差制御光学系、２１１・・・第１レンズ、２１２・・・第２レンズ、２１３・・・第３レンズ、２１３ａ・・・収差制御面、２１４・・・絞り、２１５・・・第４レンズ、２２０・・・撮像素子、３０・・・情報送信装置、４０・・・情報受信装置、４１０・・・検出部、４２０・・・高解像度化処理部、４２１・・・送信部、５０・・・画像表示装置、５１０・・・画像復元部、５１１・・・受信部、５２０・・・画像表示部。

Claims (4)

1. 収差を発生させる収差制御機能を有する収差制御光学系と、
   前記収差制御光学系を通過した被写体像を撮像する撮像素子と、
   前記撮像素子で撮像された複数の画像データを受信し、当該複数の受信データの標本化位置のずれを検出して画像の高解像度化を行う第１の画像処部と、
   前記高解像度化された画像に対して前記収差制御光学系の収差により低下したコントラストを向上し、表示する第２の画像処理部と、
   を有する撮像画像処理装置。
2. 前記収差制御光学系は、
   ディフォーカスに対するＭＴＦ特性において複数のピークを有する
   請求項１に記載の撮像画像処理装置。
3. 前記収差制御光学系において発生させる主たる収差は光軸を中心に回転対象な球面収差で、少なくとも一つの変曲点を有する
   請求項１または２に記載の撮像画像処理装置。
4. 前記第１の画像処理部は、
   前記高解像度化された画像を送信する送信部を含み、
   第２の画像処理部は、
   前記高解像度化された画像を受信する受信部を含み、
   前記第１の画像処理部から前記第２の画像処理部への通信によって前記高解像度化された画像が送信される
   請求項１から４のいずれか一に記載の撮像画像処理装置。

Images