JP2016194879A - 画像処理方法、画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】２次元分布の回復フィルタを用いて、撮影光学系により撮影された撮影画像に対して、画像回復処理を行う撮像処理方法において、高輝度で小領域の被写体に画像回復処理を行った場合の弊害を低減することを目標とする。【解決手段】光学系を用いた撮影により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系に入射してから撮像により画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより生成されるフィルタ値が２次元分布を持つ画像回復フィルタを用いて、画像に対してコンボリューション処理を行うことにより画像回復処理を行う画像回復ステップと、画像回復フィルタは高輝度領域判定範囲を有し、高輝度領域判定範囲内に、高輝度小被写体の有無を判定するステップを有し、画像回復処理を行う際、高輝度小被写体を検出する。【選択図】図１

Description

本発明は、撮影光学系により生成された画像の劣化成分を、画像回復フィルタを用いて補正または、低減する画像処理方法、画像処理装置および撮像装置に関する。

情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。

画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ぶものである。これを画像ではぼけ成分と呼ぶことにする。

画像のぼけと言うと例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と云うことができる。また、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれと云うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、即ち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。

ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明が無い限り色ずれを倍率色収差と同意義として記載することにする。

振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理と記すことにする。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている（特許文献１）。特許文献１では、画像の劣化を補正するためのフィルタ係数を保持して画像処理を行う発明が公開されている。

ところで、一般的に画素サイズが数μｍ程度の撮像素子で取得された画像では、撮影光学系の収差等の影響は数十画素に及ぶ場合もあり、画像回復に用いられるフィルタも広範囲の画素を参照できる多タップのフィルタが必要となる。

このような広範囲の画素を参照するフィルタ処理では、入力画像の輝度飽和周辺において、正しい信号値が得られないことによる画質への影響が発生しやすいという問題がある。

輝度飽和部周辺の弊害を抑制する方法として、特許文献２が開示されている。特許文献２では、入力信号に対する出力信号が線形性を保持している保持領域と、保持していない非保持領域を検出する手段を有している。そして、非保持領域の輝度飽和領域において、輝度飽和領域がフィルタサイズ以下でない場合に、輝度飽和に対応したフィルタによりフィルタ処理を行うことで、輝度飽和部周辺の弊害を低減している。

特表２００５−５０９３３３号公報 特開２００８−１０９２３０号公報

入力画像中の輝度飽和領域のような高輝度領域において、回復処理を行うと弊害が発生する場合がある。特に高輝度で撮影光学系の収差と同程度の大きさで撮影される被写体では、撮影光学系のコマ収差などの非対称な収差が大きい場合、被写体が異形状に撮影され、画像回復処理により異形状が鮮鋭化され目立ち、品位を低下させるといった問題が発生する。以降、高輝度で撮影光学系の収差と同程度の大きさで撮影される被写体を高輝度小被写体と記す。

ピント面以外のデフォーカス状態の高輝度小被写体では、撮影光学系の収差に加え、デフォーカスによるボケも加わり、さらに異形状が目立つ。特許文献２では、輝度飽和領域が、フィルタサイズ以下でない場合に、輝度飽和に対応したフィルタを使用しており、高輝度領域が小さい場合に関しては開示されていない。

本発明の目的は、２次元分布の回復フィルタを用いて、撮影光学系により撮影された撮影画像に対して、画像回復処理を行う撮像処理方法において、高輝度小被写体に画像回復処理を行った場合の弊害を低減する手法を提供することである。

上記目的を達成するために、本発明は、光学系を用いた撮影により得られた画像を処理する画像処理方法であって、前記画像を取得するステップと、前記光学系に入射してから前記撮像により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより生成されるフィルタ値が２次元分布を持つ画像回復フィルタを用いて、前記画像に対してコンボリューション処理を行うことにより画像回復処理を行う画像回復ステップと、前記画像回復フィルタは高輝度領域判定範囲を有し、前記高輝度領域判定範囲内に、高輝度小被写体の有無を判定するステップを有し、画像回復処理を行う際、高輝度小被写体を検出することを特徴とする。

本発明によれば、２次元分布のフィルタ値を持つ画像回復フィルタを用いて、撮影光学系により撮影された撮影画像に対して画像回復処理を行う撮像処理方法において、高輝度小被写体で発生する弊害を低減する手法を提供することが出来る。

本発明の実施例１である画像装置を搭載した撮像装置の構成を示すブロック図 実施例の画像処理方法を示すフローチャート 本発明の実施例２である画像処理システムの説明図 本発明の画像処理方法における画像回復フィルタの説明図 本発明の画像処理方法における高輝度画素検出の説明図 本発明の画像処理方法における画像回復フィルタの説明図 本発明の画像処理方法における画像回復フィルタの説明図 本発明の画像処理方法における画像回復フィルタの説明図 本発明の画像処理方法における画像回復フィルタの説明図 撮影光学系の収差による高輝度被写体のボケを説明するための数値実施例の光学系の断面図 撮影光学系の収差による高輝度被写体のボケを説明するための数値実施例の広角端の像高３．０５ｍｍにおける横収差図 撮影光学系の収差による高輝度被写体のボケを説明するための数値実施例の広角端の像高３．０５ｍｍにおける受光面でのスポット像の説明図 撮影光学系の収差による高輝度被写体のボケの説明図

はじめに、本発明の実施例で用いる用語の定義と画像回復処理について図面を用いて説明する。ここで説明する画像処理方法は後記の各実施例において適宜用いることができる。

（入力画像）
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。

また、入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更には色温度を用いることも可能である。

また、入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影状態やこの画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像に撮影状態情報や補正情報を付帯することが好ましい。撮影状態情報や補正情報の別の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すこともできる。

（画像回復処理）
画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、前記光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであるので光学伝達関数（ＯＴＦ）であり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮影された劣化画像からもとの画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことでもとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。画像が２次元のとき、一般的にこの画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタのタップ数（セルの数）は一般的に多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。

この画像回復におけるフィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは一線を隔する技術分野であることは言うまでもない。画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

また、実際の画像にはノイズ成分があるため上記のように光学伝達関数（ＯＴＦ）の理想的な逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については例えば、式１に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

画像回復フィルタを説明するための模式図を図６、図７に示す。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図６では例として１３×１３タップの２次元フィルタとしている。図６では各タップ内の値（係数）を省略しているが、この画像回復フィルタの１断面を図７に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たしている。一般に、画像回復フィルタの各タップの持つ値（係数値）の分布は、中心側で大きく、周辺で値が小さくなる。

フィルタの各タップが画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致する。そして画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理として知られている。

画像回復の実空間と周波数空間での特性を図８、図９を用いて説明する。図８の（ａ）は回復前のＰＳＦ、（ｂ）は回復後のＰＳＦを示している。また、図９の（Ｍ）の（ａ）は回復前のＭＴＦ、（Ｍ）の（ｂ）は回復後のＭＴＦを示し、図９の（Ｐ）の（ａ）は回復前のＰＴＦ、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりをもっており、この非対称性によりＰＴＦは周波数に対して非直線的な値をもっている。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で先鋭になる。

この画像回復フィルタの作成法については、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。本発明で用いる画像回復フィルタは、適宜変更可能であり、例えば前記のウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用する。
以上が、画像回復処理の概要である。

次に、撮影光学系の収差による高輝度被写体のボケについて、数値実施例で説明する。数値実施例の撮影光学系はズーム比５５．７倍の高倍ズームレンズである。図１０は数値実施例の広角端における断面図である。

また、図１１は、数値実施例の広角端での無限物体合焦時における像高３．０５ｍｍでの横収差図である。図中のｄＭはメリジオナル像面、ｄＳはサジタル像面を表している。図１２は数値実施例の広角端での無限物体合焦時における像高３．０５ｍｍでの撮像面のｄ線のスポット像である。数値実施例は、物体側から順に正の第１レンズ群Ｌ１、負の第２レンズＬ２、正の第３レンズ群Ｌ３、負の第４レンズ群Ｌ４、正の第５レンズ群Ｌ５、ガラスブロックＧＢから構成されている。

図１１に示すように、コマ収差のような非対称性の収差が発生している像高においては、図１２に示すように、スポット像が円形や楕円形のような対称形の像とはならずに非対称な異形状となる。また、小デフォーカス領域では、デフォーカスによるボケも加わり異形状が強くなる場合がある。

このような、非対称性の収差を持つ像高において、高輝度被写体を撮影した場合の収差によるボケについて図１３で説明する。図１３（ａ）は高輝度被写体が収差量に対して十分に大きい場合、図１３（ｂ）は高輝度被写体が収差量と同程度の場合の説明図である。
収差によるボケは光学系の結像性能(収差、回折など)によって発生する。収差量に対して被写体が十分大きければ、図１３（ａ）に示すように、被写体に対してボケ量が小さいため、収差によるボケは目立たない。しかしながら、収差量に対して被写体が同程度の図１３（ｂ）では、被写体と収差によるボケの量が同程度となり、収差によるボケが目立つ。

特に被写体が高輝度や輝度飽和状態の場合、収差によるボケ像部分も強い輝度、または、飽和状態となり、被写体の形状が本来の形状とは異なり、収差のボケ形状が加わった異形状となり、品位を低下させる。

また、通常、デフォーカス状態でのスポット像は、図１２に示すようにｂｅｓｔ ｆｏｃｕｓ位置に対してスポットが広がるため、収差によるボケ像の強度は弱くなる。そのため、撮影画像のピントが合っていない領域では、収差によるボケは目立たない。しかしながら、ピントが合っていない領域でも、高輝度や輝度飽和状態の被写体では、収差によるボケの輝度も強くなり被写体の異形状が目立つ。

以上のように、高輝度小被写体は異形状が目立つ傾向にあるが、その撮影画像に対し画像回復処理を行うと、異形状状態の被写体の鮮鋭度を上げるためより、品位を低下させる結果となる。

本発明では、撮影画像内に高輝度小被写体が存在しても、画像回復処理により異形状を強調せず高品位な画像を得ることを目的としている。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１において、不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセン
サやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１
ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変
更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子
１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピ
ント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス
機構によって光軸方向の位置が制御される。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換さ
れる。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタ
ル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カ
ラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この
入力画像に対して画像回復処理と幾何変換処理（歪曲補正処理）を行う画像回復／歪曲補
正部（画像回復手段及び歪曲補正手段）１０４ｂを有する。撮像素子１０２から画像生成
部１０４ａまでが撮像系に相当する。

画像回復／歪曲補正部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以
下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距
離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体
距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の
情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得ても良い。

そして、画像回復／歪曲補正部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶
部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。また、画像回
復／歪曲補正部１０４ｂは、撮像状態に応じた幾何変換条件を記憶部１０８から選択し、
画像回復処理を受けた画像に対して幾何変換処理を行う。状態検知部１０７、画像回復／
歪曲補正部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。

図２には、画像回復／歪曲補正部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復及び幾何変換に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生
成された画像（以下、入力画像という）を取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。

次に、ステップＳ３では、画像処理部１０４は記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮影状態に対応する画像回復フィルタを選択または生成を行う。記憶部１０８には、撮影状態ごとに回復フィルタ有していても良いし、撮影状態ごとに画像劣化を補正するためのフィルタ係数を保持しておき、そのデータから回復フィルタを生成しても良い。

次に、ステップＳ４では、ステップＳ１で取得した入力画像に対し、ステップＳ３で選択または生成した回復フィルタにて回復処理を開始する。次に、ステップＳ５では、撮影画像の各画素について、ステップＳ３で選択した回復フィルタで画像回復処理を行った場合に、タップ内に高輝度小被写体が存在するかどうかの判定を行う。この判定手法を図４、図５で説明する。図４は、本発明の画像回復処理方法における回復フィルタを説明したものである。

前述したように、高輝度小被写体は、撮影光学系の収差により異形状な状態で撮影される場合があり、その画像に画像回復処理を行うと、異形状が鮮鋭化され、品位を大きく低下させる。そこで、補正対称画素に画像回復フィルタを適用した場合、タップ内に高輝度小被写体が存在する場合は、画像回復処理を行わないと良い。画像処理を行わなければ、異形状を鮮鋭化することはないため、品位を大きく低下させることを防ぐことが可能となる。

また、画像回復フィルタではなく、高輝度用の処理として、丸く塗りつぶす、ぼかす、消す、切り貼りする、エッジ処理、ボケ領域を同じ情報でぬりつぶす、にじみ処理などを行うことで、異形状を目立たなくすることも可能である。

しかしながら、タップ内全域で高輝度小被写体を検出すると、画像回復フィルタのタップ数が大きい場合、画像回復処理を行わない画素が多くなり、画像回復処理による画像の鮮鋭化の効果が低下してしまう。また、タップ数全域で検出を行うと、検出に時間がかかり問題となる。

ところで、図７で示したように、画像回復フィルタのタップの値は、中心部ほど大きな値を持ち、周辺部は小さな値を持つ。タップの値が小さい領域では、画像回復処理における影響は少なく、このような領域では、高輝度の被写体が存在しても画像回復処理による効果にほとんど影響がない。そこで、前述した高輝度小被写体を検出する領域を、タップ内の値が大きく、画像回復処理の結果に影響を与える領域のみで行うと良い。

検出の領域をタップ全域ではなく限定することにより、画像回復処理を行わない領域を低減でき、また、検出の時間を短縮することができる。これにより、回復フィルタのタップ数を多くすることも可能となる。本発明の画像回復処理方法では、回復フィルタ内に高輝度領域判定範囲を有し、この高輝度領域判定範囲内で、高輝度小被写体が存在するかを判定している。

図５は、高輝度領域判定範囲内で、高輝度小被写体を検出する方法を説明した図である。高輝度小被写体の判定を行うために輝度値の閾値を設け、高輝度領域判定範囲内を一列ずつ、画素の輝度を参照していき、閾値を超える連続した画素を数えていくことで、高輝度小被写体を判定することができる。以上により、高輝度小被写体の有無を判定することが可能となる。

ところで、高輝度小被写体の異形状が画像回復処理により目立つのは、撮影光学系の収差が大きい領域のみである。そのため、撮影光学系の収差が小さい領域では高輝度小被写体を検出するステップは必要ではない。そこで、焦点距離、物体距離やＦｎｏといった撮影条件や画面内の像高などの条件で、撮影光学系の収差量により検出処理の有無を切り替えても良い。これにより、不用な検出を行うことがなくなり画像回復処理の処理速度を向上できる。

ステップＳ５により、高輝度小被写体が存在しないと判定された場合は、ステップＳ６に進み、ステップＳ３で選択または生成した回復フィルタにより画像回復処理を行う。高輝度小被写体が存在すると判定された場合は、ステップＳ７に進み、高輝度被写体用の処理を実行する。ステップＳ７では、画像回復処理を行わなくても良いし、高輝度用の処理として、丸く塗りつぶす、ぼかす、消す、切り貼りする、エッジ処理、ボケ領域を同じ情報でぬりつぶす、にじみ処理などを行うことも可能である。

次にステップＳ８では、画像回復処理の対称となるすべての画素で処理が完了したかを判定し、完了していなければ、未完了の画素についてステップＳ５の処理を行う。すべての画素で画像回復処理が完了したらステップＳ９へ進む。ステップＳ９では、画像回復処理が完了した画像に対して、画像回復処理以外の画像形成に必要なその他の処理を行い、出力画像を得る。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。

その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファー）とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時的記憶部として、記憶部１０８を用いてもよい。

図３には、本発明の実施例２である画像処理システムの構成を示している。画像処理装置２０１は、コンピュータ機器により構成され、実施例１にて説明した画像処理方法を該コンピュータ機器に実行させるための画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。

撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置２０１は、撮像装置２０２又は記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った出力画像（補正画像）データを出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。また、出力先を画像処理装置２０１に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。

出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタ
である表示機器２０４が接続されており、ユーザーはこの表示機器２０４を通して画像処
理作業を行うとともに、補正画像を評価することができる。画像処理ソフトウェア２０６
は、画像回復処理機能（位相劣化成分および振幅劣化成分の補正機能）および回復度合調
整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

次に数値実施例を示す。数値実施例において、riは物体側より順に第ｉ番目のレンズ面の曲率半径、diは第ｉ番目のレンズ厚または空気間隔、ndiとvdiは第ｉ番目のレンズの材質のd線の屈折率とアッベ数である。また、非球面形状はレンズ面の中心部の曲率半径をＲとし、光軸方向をＸ軸とし、光軸と垂直方向をＹ軸とし、非球面係数をAi（i=1,2,3…）としたとき、

Ｘ＝ （１／Ｒ）Ｙ２
１＋｛１―（Ｋ＋１）(Ｙ／Ｒ)２｝１／２
＋Ａ４Ｙ４＋Ａ６Ｙ６＋Ａ８Ｙ８＋Ａ１０Ｙ１０＋・・・

であらわされるものとする。

（数値実施例１）
単位 mm
面データ
面番号 r d nd vd 有効径
1 108.140 1.80 1.72047 34.7 41.86
2 46.881 5.38 1.49700 81.5 38.16
4 51.471 3.98 1.59282 68.6 37.27
5 280.555 (可変) 36.83
6 142.872 0.95 1.88300 40.8 19.50
7 9.035 3.72 14.11
8 420.609 0.80 1.80400 46.6 13.91
9 19.873 1.94 13.33
10 -96.265 0.70 1.80400 46.6 13.34
11 62.840 0.20 13.42
12 19.601 2.28 1.94595 18.0 13.75
13 111.630 (可変) 13.49
14(絞り) ∞ (可変) 8.73
15* 12.945 3.31 1.55332 71.7 12.72
16* ∞ 0.20 12.61
17 13.677 2.52 1.43875 94.9 12.51
18 -123.271 0.33 12.22
19 17.756 0.60 1.83400 37.2 11.43
20 9.366 (可変) 10.63
21 21.059 0.70 1.90366 31.3 10.61
22 9.026 2.67 1.58144 40.8 10.19
23 60.430 (可変) 10.13
24 21.336 2.10 1.49700 81.5 11.75
25 -55.035 0.60 2.00069 25.5 11.67
26 -105.716 (可変) 11.67
27 ∞ 0.30 1.51633 64.1 30.00
28 ∞ 0.47 30.00
29 ∞ 0.50 1.51633 64.1 30.00
30 ∞ (可変) 30.00
像面 ∞

非球面データ
第15面
K =-2.44016e+000 A 4= 7.92900e-005 A 6=-3.22651e-007 A 8= 6.18532e-009 A10=-4.46626e-011

第16面
K =-1.89560e+010 A 4= 2.15402e-005 A 6= 2.47226e-007

各種データ
ズーム比 55.70
広角 中間 望遠
焦点距離 3.86 28.81 215.00
Fナンバー 2.87 5.50 7.07
画角 40.81 7.66 1.03
像高 3.33 3.88 3.88
レンズ全長 105.12 125.61 151.12
BF 0.53 0.53 0.53

広角 中間 望遠 中間(物体距離50cm)
d 5 0.78 39.83 66.10 39.83
d13 31.87 8.14 1.50 8.14
d14 19.64 5.07 1.50 5.07
d20 2.15 3.26 4.34 3.26
d23 5.87 11.10 32.90 9.52
d26 8.05 21.45 8.03 23.03
d30 0.53 0.53 0.53 0.53

入射瞳位置 18.62 128.02 697.02
射出瞳位置 75.84 -83.36 1206.59
前側主点位置 22.68 146.93 950.35
後側主点位置 -3.33 -28.28 -214.47

ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 84.83 11.34 3.22 -4.14
2 6 -8.98 10.59 0.79 -7.77
絞り 14 ∞ 0.00 0.00 -0.00
3 15 21.73 6.96 -2.41 -6.21
4 21 -637.69 3.37 21.10 18.42
5 24 42.45 2.70 0.14 -1.57
GB 27 ∞ 1.27 0.50 -0.50

単レンズデータ
レンズ 始面 焦点距離
1 1 -116.30
2 2 90.05
3 4 105.65
4 6 -10.96
5 8 -25.97
6 10 -47.20
7 12 24.83
8 15 23.39
9 17 28.22
10 19 -24.57
11 21 -17.98
12 22 17.91
13 24 31.22
14 25 -115.40
15 27 0.00
16 29 0.00

１０１ 撮像光学系、１０２ 撮像素子、１０４ 画像処理部、１０５ 表示部、
１０６ 状態検知部、１０７ 記憶部、１１０ システムコントローラ、
２０１ 画像処理装置、２０２ 撮像装置、２０３ 記憶媒体、２０４ 表示機器、
２０５ 出力機器、２０６ 画像処理ソフトウェア、Ｌ1 1群、Ｌ2 2群、Ｌ3 3群、
Ｌ4 4群、Ｌ5 5群、GB ガラスブロック、ＳＰ 絞り、ＩＰ 像面、
ｄＭ d線メリジオナル光線、ｄＳ d線サジタル光線、ＦｎｏＦナンバー、ω 半画角

Claims (13)

1. 撮影光学系を用いた撮影により得られた画像を処理する画像処理方法であって、
   前記画像を取得するステップと、
   前記撮影光学系に入射してから前記撮影により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより生成されるフィルタ値が２次元分布を持つ画像回復フィルタを用いて、
   前記画像に対してコンボリューション処理を行うことにより画像回復処理を行う画像回復ステップと、
   前記画像回復フィルタは高輝度領域判定範囲を有し、
   前記高輝度領域判定範囲内に、高輝度小被写体の有無を判定するステップを有し、
   画像回復処理を行う際、高輝度小被写体を検出することを特徴とする画像処理方法。
2. 前記高輝度小被写体の有無を判定するステップにおいて、高輝度小被写体が存在しないと判定された場合、前記画像回復処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記高輝度小被写体領域の有無を判定するステップにおいて、高輝度小被写体が存在すると判定された場合、前記画像回復処理を行わないことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記高輝度小被写体の有無を判定するステップにおいて、高輝度小被写体が存在すると判定された場合、高輝度被写体用の画像処理を行うことを特徴とする請求項１または２に記載の画像処理方法。
5. 前記高輝度被写体用の画像処理は丸く塗りつぶす、ぼかす、消す、切り貼りする、エッジ処理、ボケ領域を同じ情報でぬりつぶす、にじみ処理であることを特徴とする請求項４に記載の画像処理方法。
6. 前記高輝度小被写体の有無を判定するステップでは、輝度飽和を判定する閾値を有し、閾値を越える画素を高輝度画素とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記画像の撮影時の撮影状態により、前記高輝度小被写体の有無を判定するステップの要否を判定する判定処理部を有し、高輝度小被写体の有無の判定が必要な場合のみ理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記画像の撮影時の撮影状態とは、前記撮影光学系の撮影時の焦点距離であることを特徴とする請求項７に記載の画像処理方法。
9. 前記画像の撮影時の撮影状態とは、前記撮影光学系の撮影時の合焦物体距離であることを特徴とする請求項７または８に記載の画像処理方法。
10. 前記画像の撮影時の撮影状態とは、前記撮影光学系の撮影時のＦナンバーであることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理方法。
11. 前記高輝度小被写体の有無を判定するステップは、前記撮影光学系の収差が大きい像高のみ処理されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 請求項１乃至１１のいずれか１項に記載の画像処理方法を用い、前記撮影光学系により生成された画像に対し、画像回復処理を行うことを特徴とする画像処理装置。
13. 撮影光学系と請求項１乃至１１のいずれか１項に記載の画像処理方法を有し、前記撮影光学系により生成された画像に対し、画像回復処理を行うことを特徴とする撮像装置。