JP2003108998A

JP2003108998A - 画像処理方法

Info

Publication number: JP2003108998A
Application number: JP2001304527A
Authority: JP
Inventors: Nobuyuki Watanabe; 伸之渡辺
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-04-11

Abstract

(57)【要約】【課題】光学系によるボケ特性が回転非対称な場合で
も、非対称な鮮鋭化フィルタを使わずに画像のボケを回
復することが可能な画像処理方法を提供する。【解決手段】入力された画像に対して、線形フィルタに
よって画像処理を行う画像処理方法であって、光学系に
よる点像分布関数（ＰＳＦ）が回転対称に近くなるよう
に、入力画像に対して幾何変換処理を施す幾何変換処理
工程と、前記幾何変換処理が施された入力画像に対して
前記線形フィルタによる線形フィルタ処理を施す線形フ
ィルタ処理工程と、前記線形フィルタ処理が施された入
力画像に対して前記幾何変換の逆変換となる処理を行う
逆変換処理工程とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法に関
し、特に、画像復元処理において、劣化した画像をより
人間の視覚特性に合いかつ高速に処理できる画像復元方
法に関する。

【０００２】

【従来の技術】ＬＳＩ技術の進展によりデジタルフィル
タによる２次元画像処理が広く行われるようになってき
た。２次元画像処理にはローパスフィルタ処理、ハイパ
スフィルタ処理、コンボルーションフィルタ処理等があ
る。このコンボルーションフィルタ処理においては、処
理対象となる画素を中心とするＮ×Ｎ個（Ｎは２以上の
整数）の画素の画像データに夫々所定の重み係数を乗算
して、これら乗算結果を加算することにより、その処理
対象とする画素の画像データが形成される。

【０００３】ところで、デジタルフィルタを光学系の特
性に合わせて設計しようとした場合、光学系のＰＳＦ
（Point Spread Function）を実験的にまたは、光学設
計の段階での計算により取得して、その特性を補完する
ような形でフィルタを設計する。通常、光学系の収差は
光軸上から離れるにつれて、回転非対称な成分（コマ収
差、非点収差）が大きくなるため、理想的な逆フィルタ
ではＰＳＦの回転非対称性を考慮すれば、回転非対称な
デジタルフィルタになる。

【０００４】もっとも、回転非対称ということになる
と、画像の場所毎に異なるパラメーターでデータを持つ
ということは、フィルタの行列大きさ分のデータを画素
毎に持たなければならず、非現実的といえる。

【０００５】ところで、パイプライン処理のフィルタで
幾何変換と鮮鋭度回復を同時に実現できる構成は特許第
３０３５９２２号に開示されている。この構成において
は、上述の様に回転対称までは考慮されておらず、場所
毎に異なる係数を持っている必要がある。

【０００６】そこで、ボケ関数を対象なものに近似する
と、以下に示すように、比較的簡単な方法でパラメトリ
ックなデジタルフィルタが構成できる。撮像機器の通常
の使用目的では、ＰＳＦを回転対称と見なせる範囲で、
逆フィルタを設計しただけでも周波数成分の回復という
ことでは、効果が期待できる。

【０００７】パラメトリックにデジタルフィルタを定義
する方法にはいくつかあり、３×３のカーネルサイズの
周波数回復フィルタでの例では、高周波強調のフィルタ
Ｈを以下のように設定し

【数１】Ｈの分配係数をパラメータαで調節するようにしたパラ
メトリックな回復フィルタは

【数２】となる。ここで、αを変更すれば回復フィルタの特性が
調整でき、αが小さいほど高周波強調のフィルタとな
る。

【０００８】もう一つのパラメトリックなフィルタを設
計する方法は、ボケ関数を何らかの近似評価基準を用い
てＥｘｐ関数と近似して、そのＥｘｐ関数に対して、最
小二乗法で最適逆フィルタを計算する方法を用いる。２
次のＥｘｐ関数を

【数３】とする。ここで、ｉ，ｊは軸対象のボケ関数の中心位置
を（０，０）としたときのインデクスを表している。パ
ラメータｄの変化に対して、逆フィルタの係数を求め
る。

【０００９】ｄが小さければボケが大きいことになり逆
フィルタの高周波強調も大きくなる。また高周波領域で
の誤差（エイリアシング）を抑えるために逆フィルタの
ための目的関数をδ関数とせずに、高周波帯域を緩和さ
せたものにしても良い。

【００１０】一般的な逆フィルタの設計方法として最小
二乗フィルタの計算例を以下に示す。以下の例では目標
とする応答関数をΔ関数としている。

【００１１】

【数４】で定義されたボケ関数がｈ（ｉ，ｊ）であるときにこれ
を、線形フィルタで表現したときの係数行列は

【数５】となる。インパルスに対するＰＳＦの伝達関数のｚ変換
表現は

【数６】となる。また設計するＦＩＲ逆フィルタを

【数７】と定義しておく。いま、ＰＳＦに逆フィルタを作用させ
たものを

【数８】とする。最小二乗誤差の近似からフィルタｆは以下のよ
うに求められる。

【００１２】

【数９】を得る。ここで簡単のためｐ＝ｑ＝ｍとして（８）式を
行列表現で表すとＡｘ＝ｂ（９）となる。ここで、ｘ，ｂの中身は

【数１０】というような（２ｍ＋１）×（２ｍ＋１）＝４ｍ²＋４
ｍ＋１個の要素を持つものとする。

【００１３】

【発明が解決しようとする課題】しかしながら、上述の
様に、ＰＳＦを対象な関数で近似できる範囲に限定して
しまうと、特に、単レンズで広角な撮像系のように、非
点収差が大きい場合では、軸上付近しか画質の改善が期
待できない。光学系による収差は、デフォーカス、球面
収差、非点収差、コマ収差、歪曲、倍率色などがあり、
このうち、周波数に関連していて、ボケ関数がほぼ回転
対称と見て良いのは、軸上のデフォーカス（縦倍率色収
差）で、それ以外に関しては軸外で非対称性が発生す
る。

【００１４】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、光学系におけ
る軸外の非点収差のように、光学系によるボケ特性が回
転非対称な場合でも、非対称な鮮鋭化フィルタを使わず
に画像のボケを回復することが可能な画像処理方法を提
供することにある。

【００１５】

【課題を解決するための手段】上記の課題を解決するた
めに、第１の発明は、入力された画像に対して、線形フ
ィルタによって画像処理を行う画像処理方法であって、
入力画像に対して幾何変換処理を施す幾何変換処理工程
と、前記幾何変換処理が施された入力画像に対して前記
線形フィルタによる線形フィルタ処理を施す線形フィル
タ処理工程と、前記線形フィルタ処理が施された入力画
像に対して前記幾何変換の逆変換となる処理を行う逆変
換処理工程とを具備する。

【００１６】また、第２の発明は、第１の発明に係る画
像処理方法において、前記線形フィルタの係数は、フィ
ルタ核の中心を軸として対称性を有するように設定され
ている。

【００１７】また、第３の発明は、第２の発明に係る画
像処理方法において、前記線形フィルタは、鮮鋭化フィ
ルタである。

【００１８】また、第４の発明は、第１〜第３のいずれ
か１つの発明に係る画像処理方法において、前記線形フ
ィルタは、像高に応じてパラメトリックにフィルタ係数
を変更可能である。

【００１９】また、第５の発明は、第１〜第４のいずれ
か１つの発明に係る画像処理方法において、前記幾何変
換は、アフィン変換、疑似アフィン変換、２次等角変
換、射影変換のいずれか１つである。

【００２０】

【発明の実施の形態】まず、本発明の実施形態の概略を
説明する。図１は、代表的な光学系の像面を示してい
る。Ｍはレンズのメジオナル面、Ｓはサジタル面であ
り、５０１は近軸像面を示している。この例では、レン
ズのメジオナル面Ｍとサジタル面Ｓが軸外で大きくずれ
ており、焦点位置が異なるため、非点隔差があり、ＰＳ
Ｆは非対称になる（非点収差）。

【００２１】図２は、このような非点収差のＰＳＦの形
状の一例を示している。本実施形態では、このようなボ
ケ関数に対して対称なフィルタを適応するために、フィ
ルタ処理を行う前に画像の幾何変換を行う。すなわち、
入力された画像に対して、線形フィルタによって、画像
処理を行う方法において、線形フィルタの処理に先だっ
て幾何変換処理を行い、当該線形フィルタ処理を行った
後に、前述の幾何変換の逆変換を行うようにする。

【００２２】このとき以下の実施形態が考えられる。す
なわち、（１）前記線形フィルタにおいて、フィルタの
係数がフィルタ核の中心を軸として回転対称になるよう
にする。（２）前記線形フィルタを鮮鋭化フィルタで実
現する。（３）像高によってパラメトリックに幾何変換
および回復フィルタの係数を変更するようにする。
（４）前記幾何変換をアフィン変換、疑似アフィン変
換、等角射影変換などで実現する。

【００２３】図３は、本実施形態に係る幾何変換を含む
フィルタ処理の流れを説明するためのフローチャートで
ある。

【００２４】まず、画像データとＰＳＦのデータを得る
（ステップＳ１０１）。次に、画像の各位置でＰＳＦの
対称性が最良になるような幾何変換のパラメータを設定
する（ステップＳ１０２）。次にこのパラメータを用い
て幾何変換を実行する（ステップＳ１０３）。

【００２５】図４（ａ）、（ｂ）は、上記した幾何変換
によりＰＳＦの対称性が改善することを説明するための
図である。５０２は光軸である。図４（ａ）は元の画像
のＰＳＦで軸外に行くに従って、非点収差によってＰＳ
Ｆの回転対称性が悪くなることを示している。これに幾
何変換を加えると図４（ｂ）の様になり、特に軸外での
ＰＳＦの回転対称性が改善していることがわかる。

【００２６】ここで図２に戻ってステップＳ１０４で
は、上記のように幾何変換された画像のボケ関数を対称
なものとみなしたフィルタパラメータを設定する。すな
わち、上記のように幾何変換された画像のボケ特性か
ら、例えば前述の式（３）のｅｘｐ関数のような対称な
関数でボケ特性を近似した場合の逆フィルタから鮮鋭化
のパラメトリックフィルタを推定する。そしてこのフィ
ルタによるフィルタ処理を実行する（ステップＳ１０
５）。

【００２７】その後、ステップＳ１０３で行った幾何変
換に対して逆変換となるような幾何変換を施し（ステッ
プＳ１０６）、処理を終了する（ステップＳ１０７）。

【００２８】ここで前記したステップＳ１０４，Ｓ１０
５に対応するパラメトリックフィルタの推定について詳
細に説明する。ボケ量の評価に関しては、光軸上のボケ
量を基準として鮮鋭化をはかる。鮮鋭化の測定方法とし
ては、ＰＳＦのフーリエ変換などを用いる。光軸上の鮮
鋭度と軸外の鮮鋭度が近い値になるように、前述の式
（８）のような対称形の鮮鋭化フィルタを用いる。鮮鋭
度のパラメータは式（３）のｄの値が小さいほど大きい
ボケを戻すのに適している。ここで、あらかじめ非対称
なＰＳＦをアフィン変換により変形し、対称性を改善し
てあるので、式（１）、（２）に示すような線形フィル
タや、式（３）から式（８）に示した導出方法のよう
に、対称な行列要素を持つ鮮鋭化フィルタが適応でき
る。

【００２９】従って、画素の各位置に対して個々に鮮鋭
化の情報２次元的に持つ必要はなく、像高に対する１次
元の配列で鮮鋭化の情報を持てばよいことになる。

【００３０】図５〜図８は、上記した幾何変換とフィル
タ処理によって、画質の改善を行った例を示している。
５０３は光軸である。

【００３１】図５は本実施形態の処理を行う前の元の画
像で、軸外で大きな非点収差を持っている。これに対し
て、直接回転対称な逆フィルタを施すことにより図６に
示すような鮮鋭化がなされた画像が得られる。

【００３２】一方、図７〜図９は、本発明の処理により
得られる画像を示している。図７は図３のステップＳ１
０３に対応しており、ＰＳＦの対称性が改善するように
幾何変換の１つとして２次の等角射影を施した画像であ
る。

【００３３】図８はステップＳ１０４、Ｓ１０５に対応
しており、図７に対して回転対称なカーネルの鮮鋭化フ
ィルタを施した画像を示している。図９はステップＳ１
０６に対応しており、図８の画像に対して射影変換の逆
変換を施した画像を示しており、図５に示す画像と同じ
サイズに戻した画像を示している。図９では図６の画像
と比較して特に軸外の鮮鋭度が改善していることがわか
る。

【００３４】なお、上記した幾何変換は、等角射影変換
に限らず、任意の幾何変換、アフィン変換、疑似アフィ
ン変換等を用いても良い。

【００３５】

【発明の効果】本発明によれば、光学系における軸外の
非点収差のように、光学系によるボケ特性が回転非対称
な場合でも、非対称な鮮鋭化フィルタを使わずに画像の
ボケを回復することが可能になる。

【図面の簡単な説明】

【図１】代表的な光学系の像面を示す図である。

【図２】非点収差のＰＳＦの一例を示す図である。

【図３】本実施形態に係る幾何変換を含むフィルタ処理
の流れを説明するためのフローチャートである。

【図４】本実施形態の幾何変換によりＰＳＦの対称性が
改善することを説明するための図である。

【図５】本実施形態の処理を行う前の元の画像を示す図
である。

【図６】図５の元の画像に対して直接回転対称な逆フィ
ルタを施して得られる画像を示す図である。

【図７】ＰＳＦの対称性が改善するように幾何変換の１
つとして２次の等角射影を施した画像を示す図である。

【図８】図７の画像に対して回転対称なカーネルの鮮鋭
化フィルタを施した画像を示す図である。

【図９】図８の画像に対して射影変換の逆変換を施した
画像を示す図である。

【符号の説明】

５０１近軸像面５０２光軸５０３光軸

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年１１月２１日（２００１．１１．
２１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正内容】

【００１３】

【発明が解決しようとする課題】しかしながら、上述の
様に、ＰＳＦを対称な関数で近似できる範囲に限定して
しまうと、特に、単レンズで広角な撮像系のように、非
点収差が大きい場合では、軸上付近しか画質の改善が期
待できない。光学系による収差は、デフォーカス、球面
収差、非点収差、コマ収差、歪曲、倍率色などがあり、
このうち、周波数に関連していて、ボケ関数がほぼ回転
対称と見て良いのは、近軸上のデフォーカス（縦倍率色
収差）で、それ以外に関しては軸外で非対称性が発生す
る。

Claims

【特許請求の範囲】

【請求項１】入力された画像に対して、線形フィルタ
によって画像処理を行う画像処理方法であって、入力画像に対して幾何変換処理を施す幾何変換処理工程
と、前記幾何変換処理が施された入力画像に対して前記線形
フィルタによる線形フィルタ処理を施す線形フィルタ処
理工程と、前記線形フィルタ処理が施された入力画像に対して前記
幾何変換の逆変換となる処理を行う逆変換処理工程と、を具備することを特徴とする画像処理方法。
【請求項２】前記線形フィルタの係数は、フィルタ核
の中心を軸として対称性を有するように設定されている
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】前記線形フィルタは、鮮鋭化フィルタで
あることを特徴とする請求項２記載の画像処理方法。
【請求項４】前記線形フィルタは、像高に応じてパラ
メトリックにフィルタ係数を変更可能であることを特徴
とする請求項１〜３のいずれか１つに記載の画像処理方
法。
【請求項５】前記幾何変換は、アフィン変換、疑似ア
フィン変換、２次等角変換、射影変換のいずれか１つで
あることを特徴とする請求項１〜４のいずれか１つに記
載の画像処理方法。