JP2003132351A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法Info
- Publication number
- JP2003132351A JP2003132351A JP2001324038A JP2001324038A JP2003132351A JP 2003132351 A JP2003132351 A JP 2003132351A JP 2001324038 A JP2001324038 A JP 2001324038A JP 2001324038 A JP2001324038 A JP 2001324038A JP 2003132351 A JP2003132351 A JP 2003132351A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sampling
- discretized
- sampling interval
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 対称な係数を持つ回復フィルタの適応範囲を
広げ、軸外の非対称なボケの回復特性を改善することが
できる画像処理装置及びその方法を提供する。 【解決手段】 所定の空間サンプリング間隔でサンプリ
ングし、空間的に離散化した画像を作成し、前記離散化
された画素データから、別のサンプリング間隔、および
サンプリングの傾きなるように補間演算で画素データを
作成し、作成した別の離散化に対して線形フィルタによ
って処理演算を施し、前記離散化画像と同じサンプリン
グ格子の画素データとして格納する画像処理装置を用い
る。
広げ、軸外の非対称なボケの回復特性を改善することが
できる画像処理装置及びその方法を提供する。 【解決手段】 所定の空間サンプリング間隔でサンプリ
ングし、空間的に離散化した画像を作成し、前記離散化
された画素データから、別のサンプリング間隔、および
サンプリングの傾きなるように補間演算で画素データを
作成し、作成した別の離散化に対して線形フィルタによ
って処理演算を施し、前記離散化画像と同じサンプリン
グ格子の画素データとして格納する画像処理装置を用い
る。
Description
【０００１】
【発明の属する技術分野】本発明は、画像復元処理技術
に係わり、特に劣化した画像をより人間の視覚特性に沿
い、かつ高速に処理できる画像処理装置及びその方法に
関する。
に係わり、特に劣化した画像をより人間の視覚特性に沿
い、かつ高速に処理できる画像処理装置及びその方法に
関する。
【０００２】
【従来の技術】近年、ＬＳＩ技術の進展によりデジタル
フィルタによる２次元画像処理が広く行われるようにな
ってきた。この２次元画像処理にはローパスフィルタ処
理、ハイパスフィルタ処理、コンボルーションフィルタ
処理等がある。このコンボルーションフィルタ処理にお
いては、処理対象とする画素を中心とするＮ×Ｎ個（Ｎ
は２以上。整数）の画素の画像データに夫々所定の重み
係数を乗算して、これら乗算結果を加算することによ
り、その処理対象とする画素の画像データが形成され
る。
フィルタによる２次元画像処理が広く行われるようにな
ってきた。この２次元画像処理にはローパスフィルタ処
理、ハイパスフィルタ処理、コンボルーションフィルタ
処理等がある。このコンボルーションフィルタ処理にお
いては、処理対象とする画素を中心とするＮ×Ｎ個（Ｎ
は２以上。整数）の画素の画像データに夫々所定の重み
係数を乗算して、これら乗算結果を加算することによ
り、その処理対象とする画素の画像データが形成され
る。
【０００３】また、デジタルフィルタを光学系の特性に
合わせて設計しようとした場合、光学系のＰＳＦ（Poin
t Spread Function：点像分布関数）を実験的にまた
は、光学設計の段階での計算により得て、その特性を補
完するような形でフィルタを設計する。通常、光学系の
収差は光軸上から離れるにつれて、回転非対称な成分
（コマ収差、非点収差）が大きくなるため、理想的な逆
フィルタではＰＳＦの回転非対称性を考慮すれば、回転
非対称なデジタルフィルタになる。もっとも、回転非対
称ということになると、画像の場所毎に異なるパラメー
タでデータを持つということは、フィルタの行列大きさ
分のデータを画素毎に持たなければならず、非現実的と
いえる。
合わせて設計しようとした場合、光学系のＰＳＦ（Poin
t Spread Function：点像分布関数）を実験的にまた
は、光学設計の段階での計算により得て、その特性を補
完するような形でフィルタを設計する。通常、光学系の
収差は光軸上から離れるにつれて、回転非対称な成分
（コマ収差、非点収差）が大きくなるため、理想的な逆
フィルタではＰＳＦの回転非対称性を考慮すれば、回転
非対称なデジタルフィルタになる。もっとも、回転非対
称ということになると、画像の場所毎に異なるパラメー
タでデータを持つということは、フィルタの行列大きさ
分のデータを画素毎に持たなければならず、非現実的と
いえる。
【０００４】ところで、パイプライン処理のフィルタで
幾何変換と鮮鋭度回復を同時に実現できる構成は特開平
４−６１５７０号公報に開示されている。この構成にお
いては、上述の様に回転対称までは考慮されておらず、
場所毎に異なる係数を持っている必要がある。
幾何変換と鮮鋭度回復を同時に実現できる構成は特開平
４−６１５７０号公報に開示されている。この構成にお
いては、上述の様に回転対称までは考慮されておらず、
場所毎に異なる係数を持っている必要がある。
【０００５】そこで、ボケ関数を回転対称なものに近似
すると、以下に示すように、比較的簡単な方法でパラメ
トリックなデジタルフィルタが構成できる。撮像機器の
通常の使用目的では、ＰＳＦを回転対称と見なせる範囲
で、逆フィルタを設計しただけでも周波数成分の回復と
いうことでは、効果が期待できる。
すると、以下に示すように、比較的簡単な方法でパラメ
トリックなデジタルフィルタが構成できる。撮像機器の
通常の使用目的では、ＰＳＦを回転対称と見なせる範囲
で、逆フィルタを設計しただけでも周波数成分の回復と
いうことでは、効果が期待できる。
【０００６】パラメトリックにデジタルフィルタを定義
する方法にはいくつかあり、３×３のカーネルサイズの
周波数回復フィルタでの例では、高周波強調のフィルタ
Hを以下のように設定し
する方法にはいくつかあり、３×３のカーネルサイズの
周波数回復フィルタでの例では、高周波強調のフィルタ
Hを以下のように設定し
【数１】
【０００７】Hの分配係数をパラメータαで調節するよ
うにしたパラメトリックな回復フィルタは、 H0=αI+(1-αH) I: 単位行列 （２） ここで、αを変更すれば回復フィルタの特性が調整で
き、αが小さいほど高周波強調のフィルタとなる。
うにしたパラメトリックな回復フィルタは、 H0=αI+(1-αH) I: 単位行列 （２） ここで、αを変更すれば回復フィルタの特性が調整で
き、αが小さいほど高周波強調のフィルタとなる。
【０００８】もう一つのパラメトリックなフィルタを設
計する方法は、ボケ関数を何らかの近似評価基準を用い
てExp関数と近似して、そのExp関数に対して、最小二乗
法で最適逆フィルタを計算する方法を用いる。Exp関数
を
計する方法は、ボケ関数を何らかの近似評価基準を用い
てExp関数と近似して、そのExp関数に対して、最小二乗
法で最適逆フィルタを計算する方法を用いる。Exp関数
を
【数２】
【０００９】とする。ここで、i,jは軸対称のボケ関数
の中心位置を（０,０）としたときのインデクスを表し
ている。パラメータdの変化に対して、逆フィルタの係
数を求める。ｄが小さければボケが大きいことになり逆
フィルタの高周波強調も大きくなる。また高周波領域で
の誤差（エイリアシング）を抑えるために逆フィルタの
ための目的関数をδ関数とせずに、高周波帯域を緩和さ
せたものにしても良い。一般的な逆フィルタの設計方法
として最小二乗フィルタの計算例を以下に示す。以下の
例では目標とする応答関数をΔ関数としている。
の中心位置を（０,０）としたときのインデクスを表し
ている。パラメータdの変化に対して、逆フィルタの係
数を求める。ｄが小さければボケが大きいことになり逆
フィルタの高周波強調も大きくなる。また高周波領域で
の誤差（エイリアシング）を抑えるために逆フィルタの
ための目的関数をδ関数とせずに、高周波帯域を緩和さ
せたものにしても良い。一般的な逆フィルタの設計方法
として最小二乗フィルタの計算例を以下に示す。以下の
例では目標とする応答関数をΔ関数としている。
【００１０】領域
【数３】
【００１１】で定義されたボケ関数がh（i,j）であると
きにこれを、線形フィルタで表現したときの係数行列
は、
きにこれを、線形フィルタで表現したときの係数行列
は、
【数４】
【００１２】となる。インパルスに対するＰＳＦの伝達
関数のz変換表現は、
関数のz変換表現は、
【数５】
【００１３】となる。また設計するFIR逆フィルタを
【数６】
【００１４】と定義しておく。いま、ＰＳＦに逆フィル
タを作用させたものを
タを作用させたものを
【数７】
とする。最小二乗誤差の近似からフィルタｆは以下のよ
うに求められる。
うに求められる。
【００１５】
【数８】
【００１６】を得る。ここで簡単のためP=Q=mとした
（１４）式を行列表現で表すと Ax=b （９） となり。ここで、x,bの中身を
（１４）式を行列表現で表すと Ax=b （９） となり。ここで、x,bの中身を
【数９】
【００１７】上記のような（２m+１）*（２m+１） = ４
m２+４m+１個の要素を持つものとする。
m２+４m+１個の要素を持つものとする。
【００１８】
【発明が解決しようとする課題】しかしながら、上述の
様に、ＰＳＦを対象な関数で近似できる範囲に限定して
しまうと、回復が可能な光学系の収差が制限されてしま
う。特に広角な撮像系のように、非点収差が大きい場合
では、軸上付近でしか画質の改善が期待できない。
様に、ＰＳＦを対象な関数で近似できる範囲に限定して
しまうと、回復が可能な光学系の収差が制限されてしま
う。特に広角な撮像系のように、非点収差が大きい場合
では、軸上付近でしか画質の改善が期待できない。
【００１９】また、光学系による収差は、デフォーカ
ス、球面収差、非点収差、コマ収差、歪曲、倍率色など
があり、このうち、周波数に関連していて、ボケ関数が
ほぼ回転対称と見て良いのは、軸上のデフォーカス（縦
倍率色収差）で、それ以外に関しては、軸外で非対称性
が出る。
ス、球面収差、非点収差、コマ収差、歪曲、倍率色など
があり、このうち、周波数に関連していて、ボケ関数が
ほぼ回転対称と見て良いのは、軸上のデフォーカス（縦
倍率色収差）で、それ以外に関しては、軸外で非対称性
が出る。
【００２０】本発明の目的は、対称な係数を持つ回復フ
ィルタの適応範囲を広げ、軸外の非対称なボケの回復特
性を改善することができる画像処理装置及びその方法を
提供することである。
ィルタの適応範囲を広げ、軸外の非対称なボケの回復特
性を改善することができる画像処理装置及びその方法を
提供することである。
【００２１】
【課題を解決するための手段】本発明による画像処理装
置及び方法は、線形フィルタによる画像の鮮鋭化処理方
法において、第１のサンプリング間隔でサンプリング
し、第１の離散化画像を作成するステップと、第２の離
散化の為のサンプリング間隔及びサンプリング格子の傾
きを算出するステップと、前記第１の離散化画像から前
記第２のサンプリング間隔および格子の傾きを用いて第
２の離散化画像を作成するステップと、前記作成した第
２の離散化画像に対して線形フィルタを用いた処理演算
を施すステップと、前記処理演算を施した画像を、再度
前記第１の離散化画像と同じサンプリング格子のデータ
として離散化するステップとを有することを特徴とす
る。
置及び方法は、線形フィルタによる画像の鮮鋭化処理方
法において、第１のサンプリング間隔でサンプリング
し、第１の離散化画像を作成するステップと、第２の離
散化の為のサンプリング間隔及びサンプリング格子の傾
きを算出するステップと、前記第１の離散化画像から前
記第２のサンプリング間隔および格子の傾きを用いて第
２の離散化画像を作成するステップと、前記作成した第
２の離散化画像に対して線形フィルタを用いた処理演算
を施すステップと、前記処理演算を施した画像を、再度
前記第１の離散化画像と同じサンプリング格子のデータ
として離散化するステップとを有することを特徴とす
る。
【００２２】また、前記第２のサンプリングにおける格
子の傾きを撮像した画像の光学中心からサンプリングを
行う位置までの距離と方向から算出する事を特徴とす
る。
子の傾きを撮像した画像の光学中心からサンプリングを
行う位置までの距離と方向から算出する事を特徴とす
る。
【００２３】また、前記第２の離散化画像を作成するス
テップは、前記算出した第２のサンプリングの傾きを用
いて前記第１の離散化画像から線形補間演算により画素
データを作成することを特徴とする。
テップは、前記算出した第２のサンプリングの傾きを用
いて前記第１の離散化画像から線形補間演算により画素
データを作成することを特徴とする。
【００２４】また、前記補間演算は、光学系による点像
分布関数が回転対称に近くなるように演算することを特
徴とする。
分布関数が回転対称に近くなるように演算することを特
徴とする。
【００２５】また、前記第２のサンプリング間隔を算出
するステップが、光学系による点像分布関数を２値化す
るステップと、前記２値化された光学系による点像分布
関数の互いに異なる所定の２方向の長さの比率を算出す
るステップとを含んでいることを特徴とする。
するステップが、光学系による点像分布関数を２値化す
るステップと、前記２値化された光学系による点像分布
関数の互いに異なる所定の２方向の長さの比率を算出す
るステップとを含んでいることを特徴とする。
【００２６】また、前記第２のサンプリング間隔を算出
するステップが、光学系による点像分布関数の２次元の
フーリエ変換を行うステップと、前記２次元フーリエ変
換像の異なる所定の２方向のパワースペクトルの所定周
波数までの積分値の比率を算出するステップとを含んで
いることを特徴とする。
するステップが、光学系による点像分布関数の２次元の
フーリエ変換を行うステップと、前記２次元フーリエ変
換像の異なる所定の２方向のパワースペクトルの所定周
波数までの積分値の比率を算出するステップとを含んで
いることを特徴とする。
【００２７】また、前記第２のサンプリング間隔を算出
するステップが、互いに異なる２方向のＳＦ値を算出す
るステップを含んでいることを特徴とする画像処理方法
である。
するステップが、互いに異なる２方向のＳＦ値を算出す
るステップを含んでいることを特徴とする画像処理方法
である。
【００２８】また、線形フィルタによる画像の鮮鋭化処
理装置において、第１のサンプリング間隔でサンプリン
グし、第１の離散化画像を作成する手段と、第２の離散
化の為のサンプリング間隔及びサンプリング格子の傾き
を算出する手段と、前記第１の離散化画像から前記第２
のサンプリング間隔および格子の傾きを用いて第２の離
散化画像を作成する手段と、前記作成した第２の離散化
画像に対して線形フィルタを用いた処理演算を施す手段
と、前記処理演算を施した画像を、再度前記第１の離散
化画像と同じサンプリング格子のデータとして離散化す
る手段とを有することを特徴とする。
理装置において、第１のサンプリング間隔でサンプリン
グし、第１の離散化画像を作成する手段と、第２の離散
化の為のサンプリング間隔及びサンプリング格子の傾き
を算出する手段と、前記第１の離散化画像から前記第２
のサンプリング間隔および格子の傾きを用いて第２の離
散化画像を作成する手段と、前記作成した第２の離散化
画像に対して線形フィルタを用いた処理演算を施す手段
と、前記処理演算を施した画像を、再度前記第１の離散
化画像と同じサンプリング格子のデータとして離散化す
る手段とを有することを特徴とする。
【００２９】また、前記第１のサンプリング間隔でサン
プリングされた画像に対して、前記サンプリングされた
画像の位置と、前記第２のサンプリング間隔およびサン
プリング格子の傾きのパラメータをそれぞれ関連づけて
記憶する手段を備えていることを特徴とする画像処理装
置である。
プリングされた画像に対して、前記サンプリングされた
画像の位置と、前記第２のサンプリング間隔およびサン
プリング格子の傾きのパラメータをそれぞれ関連づけて
記憶する手段を備えていることを特徴とする画像処理装
置である。
【００３０】
【発明の実施の形態】本発明の実施形態を以下に図面を
用いて説明する。
用いて説明する。
【００３１】まず、本発明の実施形態では、画像そのも
のの離散化のサンプリング幅、および、サンプリングの
傾きを計算し、画像上のそれぞれの位置と対応付けさせ
て記録する。
のの離散化のサンプリング幅、および、サンプリングの
傾きを計算し、画像上のそれぞれの位置と対応付けさせ
て記録する。
【００３２】図１は、非点隔差とデフォーカスがある点
像分布関数の一実施形態を示している。図２は、所定の
空間サンプリング間隔（Δｘ、Δｙ）（第１のサンプリ
ング間隔）で得られた画像でのＰＳＦ（Point Spread F
unction）を示している。これに対して、図３は、サン
プリングの格子と間隔を変更して（Δｘ’、Δｙ’）サ
ンプリングを行っている。この処理を実行するために
は、フィルタリング処理を行う対象の画像の各位置で第
２のサンプリング格子の間隔（Δｘ’、Δｙ’）およ
び、傾き（θ）を記憶しておけば良い。
像分布関数の一実施形態を示している。図２は、所定の
空間サンプリング間隔（Δｘ、Δｙ）（第１のサンプリ
ング間隔）で得られた画像でのＰＳＦ（Point Spread F
unction）を示している。これに対して、図３は、サン
プリングの格子と間隔を変更して（Δｘ’、Δｙ’）サ
ンプリングを行っている。この処理を実行するために
は、フィルタリング処理を行う対象の画像の各位置で第
２のサンプリング格子の間隔（Δｘ’、Δｙ’）およ
び、傾き（θ）を記憶しておけば良い。
【００３３】次に図４は、前記第２のサンプリング間隔
及び傾きでサンプリングした画像を正方格子で並べたも
のである。図４に示すように、前記第２のサンプリング
間隔（Δｘ’、Δｙ’）および、傾きθでサンプリング
した（図３）画像を正方格子に配列した場合、目的とす
るＰＳＦの対称性は改善される。なお、図５は、光学面
の像面のメジオナル面Ｍと、サジタル面Ｓを示した図で
ある。また、１０は近軸像面である。
及び傾きでサンプリングした画像を正方格子で並べたも
のである。図４に示すように、前記第２のサンプリング
間隔（Δｘ’、Δｙ’）および、傾きθでサンプリング
した（図３）画像を正方格子に配列した場合、目的とす
るＰＳＦの対称性は改善される。なお、図５は、光学面
の像面のメジオナル面Ｍと、サジタル面Ｓを示した図で
ある。また、１０は近軸像面である。
【００３４】また、この様なサンプリング格子の変更を
行うために、次のような手順で、ＰＳＦの特徴に関する
データを得る。
行うために、次のような手順で、ＰＳＦの特徴に関する
データを得る。
【００３５】まず、光軸を通り、垂直または水平な像位
置においてＰＳＦの非対称性を評価する。図６は、像の
各位置に対応するＰＳＦの形状を示している。ここで、
光軸を通り、画像のサンプリング格子の水平または、垂
直方向（４０１）でのＰＳＦは、画像のサンプリング格
子に対して傾きがない。そこで、このＰＳＦの広がりの
縦横の比率を計算する。
置においてＰＳＦの非対称性を評価する。図６は、像の
各位置に対応するＰＳＦの形状を示している。ここで、
光軸を通り、画像のサンプリング格子の水平または、垂
直方向（４０１）でのＰＳＦは、画像のサンプリング格
子に対して傾きがない。そこで、このＰＳＦの広がりの
縦横の比率を計算する。
【００３６】縦横の比率を算出する方法は、まず、ＰＳ
Ｆの強度で２値化して、水平方向、垂直方向の大きさを
求める。次にＰＳＦの２次元フーリエ変換を求め、０°
または９０°位相のパワースペクトルで評価する。そし
て、方向別のＳＦ値（コントラストのヒストグラムに基
づく鮮鋭度）を評価する。
Ｆの強度で２値化して、水平方向、垂直方向の大きさを
求める。次にＰＳＦの２次元フーリエ変換を求め、０°
または９０°位相のパワースペクトルで評価する。そし
て、方向別のＳＦ値（コントラストのヒストグラムに基
づく鮮鋭度）を評価する。
【００３７】などが考えられる。ここでは第３の方法
（方向別のＳＦ値を評価する）について詳述する。
（方向別のＳＦ値を評価する）について詳述する。
【００３８】ＳＦ値とは、注目画素と隣接画素の差分値
ΔＤ（図８）の分布（デルタヒストグラム）に基づく鮮
鋭度の尺度である。隣接画素の差分値は図９に示すよう
に注目画素とその隣接８個の画素との輝度の差分絶対値
であり、例えば、中央の画素レベルが１６, その周り
が、１２,１４,２０,８,,２４,１２,１６,３２となって
いれば、差分の絶対値は、図１０に示すように。４,２,
４,８,,８,４,０,１６となり、ΔＤのヒストグラムは
（１,０,１,０,３０,０,０,２,０,０,０,０,０,０,０,
１）となる。このようなヒストグラムを所定の範囲の画
素について積算したものである。原画像における上述の
差分ΔＤ（絶対値）のヒストグラムをS0(I)とし、原画
像に平滑化フィルタをかけたものをS3(I)として鮮鋭度
ＳＦを
ΔＤ（図８）の分布（デルタヒストグラム）に基づく鮮
鋭度の尺度である。隣接画素の差分値は図９に示すよう
に注目画素とその隣接８個の画素との輝度の差分絶対値
であり、例えば、中央の画素レベルが１６, その周り
が、１２,１４,２０,８,,２４,１２,１６,３２となって
いれば、差分の絶対値は、図１０に示すように。４,２,
４,８,,８,４,０,１６となり、ΔＤのヒストグラムは
（１,０,１,０,３０,０,０,２,０,０,０,０,０,０,０,
１）となる。このようなヒストグラムを所定の範囲の画
素について積算したものである。原画像における上述の
差分ΔＤ（絶対値）のヒストグラムをS0(I)とし、原画
像に平滑化フィルタをかけたものをS3(I)として鮮鋭度
ＳＦを
【数１０】
【００３９】のように定義する。ＳＦ値が大きいほど、
原画像の鮮鋭度が高いと言う評価になる。
原画像の鮮鋭度が高いと言う評価になる。
【００４０】次に、図１１に原画像と平均化フィルタを
施した画像のデルタヒストグラムを示したが、ＳＦ値は
２つのヒストグラムの差分の絶対値を積分したものであ
る。定義からわかるようにＳＦ値は画像に依存する値な
ので、一般に、画像の周波数成分との厳密な関係は成り
立たない、ただし傾向として同一の画像に対してＳＦ値
が高ければ、周波数特性が高周波まで伸びていると言う
ことが出来る。
施した画像のデルタヒストグラムを示したが、ＳＦ値は
２つのヒストグラムの差分の絶対値を積分したものであ
る。定義からわかるようにＳＦ値は画像に依存する値な
ので、一般に、画像の周波数成分との厳密な関係は成り
立たない、ただし傾向として同一の画像に対してＳＦ値
が高ければ、周波数特性が高周波まで伸びていると言う
ことが出来る。
【００４１】ここで、この様なＳＦ値を注目画素と水平
隣接２画素、垂直隣接２画素の差分のヒストグラムとし
て定義する。
隣接２画素、垂直隣接２画素の差分のヒストグラムとし
て定義する。
【００４２】
【数１１】
【００４３】図１２は、ガウス分布を持つ画像を特定の
ＰＳＦ を持つ撮像系で撮像した像に対して方向別のＳ
Ｆ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形
状の関係を示している。簡単のためＰＳＦは非点隔差の
みを持ち、像面のデフォーカスによって形状を変えてい
る。このように、方向別のＳＦ値の測定によって、ＰＳ
Ｆの広がりの縦横比率を求めることが出来る。そこで、
図６に戻って、４０１のラインで示したような、サンプ
リング格子の垂直方向に平行な方向で、光軸中心から、
軸外にかけて、特定の領域４０２内での方向別ＳＦ値を
測定し、その値からＰＳＦの縦横の比率を求め、それに
よって、縦横のサンプリングの比率を計算する。
ＰＳＦ を持つ撮像系で撮像した像に対して方向別のＳ
Ｆ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形
状の関係を示している。簡単のためＰＳＦは非点隔差の
みを持ち、像面のデフォーカスによって形状を変えてい
る。このように、方向別のＳＦ値の測定によって、ＰＳ
Ｆの広がりの縦横比率を求めることが出来る。そこで、
図６に戻って、４０１のラインで示したような、サンプ
リング格子の垂直方向に平行な方向で、光軸中心から、
軸外にかけて、特定の領域４０２内での方向別ＳＦ値を
測定し、その値からＰＳＦの縦横の比率を求め、それに
よって、縦横のサンプリングの比率を計算する。
【００４４】次に、４０１のライン上や水平のライン上
以外の画素位置では、図３に示すようにサンプリングの
格子を傾ける必要がある。また、図１２から解るよう
に、その傾きとは、各画素位置を光軸中心からの距離と
方向で表したときの角度から求めることが出来る。
以外の画素位置では、図３に示すようにサンプリングの
格子を傾ける必要がある。また、図１２から解るよう
に、その傾きとは、各画素位置を光軸中心からの距離と
方向で表したときの角度から求めることが出来る。
【００４５】この様にして、各画素位置でのサンプリン
グ格子の比率のパラメータ、傾きのパラメータを求める
ことが出来る。
グ格子の比率のパラメータ、傾きのパラメータを求める
ことが出来る。
【００４６】次に、図７は第１のサンプリング間隔の格
子（Pi,j,）から第２のサンプリング間隔の格子（Qm,
n）に変換する様子を示した。第２のサンプリング格子
（Qm,n）の座標が、格子点Pi,j,,Pi,j,-１をk:１-k（k<
1）に分割する線と格子点Pi,j,,PI-１,j,jをh:１-h（h<
1）に分割する線との交点にあったときに、サンプリン
グ格子（Qm,n）の輝度値を算出する式は、
子（Pi,j,）から第２のサンプリング間隔の格子（Qm,
n）に変換する様子を示した。第２のサンプリング格子
（Qm,n）の座標が、格子点Pi,j,,Pi,j,-１をk:１-k（k<
1）に分割する線と格子点Pi,j,,PI-１,j,jをh:１-h（h<
1）に分割する線との交点にあったときに、サンプリン
グ格子（Qm,n）の輝度値を算出する式は、
【数１２】
【００４７】のように双１次補間で表せる。このとき、
k,hは第２のサンプリング格子と傾きによって決まる。
また、フィルタリング処理の結果を戻す対象の画素位置
（カーネルの中心）の絶対座標Pi-１,jとすると第２の
サンプリングによるフィルタ処理のカーネルの中心もこ
れに一致するようにQm-１,n= Pi-１,jとする。
k,hは第２のサンプリング格子と傾きによって決まる。
また、フィルタリング処理の結果を戻す対象の画素位置
（カーネルの中心）の絶対座標Pi-１,jとすると第２の
サンプリングによるフィルタ処理のカーネルの中心もこ
れに一致するようにQm-１,n= Pi-１,jとする。
【００４８】次に、フィルタのパラメータを求める方法
であるが、回転対称なボケに関してＳＦ値の大きさと、
式（２）におけるαの値や、式（３）におけるdの値を
関係づけることができるので、光学系を通して撮像した
ガウス分布のランダム画像に対して、上で求めたサンプ
リングの比率を用いて局所的にサンプリングを変更した
ガウス分布の画像を作成しそれに対して、８方向の差分
を用いたＳＦ値を測定し、それに対応するフィルタパラ
メータα、dを求める。
であるが、回転対称なボケに関してＳＦ値の大きさと、
式（２）におけるαの値や、式（３）におけるdの値を
関係づけることができるので、光学系を通して撮像した
ガウス分布のランダム画像に対して、上で求めたサンプ
リングの比率を用いて局所的にサンプリングを変更した
ガウス分布の画像を作成しそれに対して、８方向の差分
を用いたＳＦ値を測定し、それに対応するフィルタパラ
メータα、dを求める。
【００４９】または、図４、図７のように、サンプリン
グの変換によって変形されたＰＳＦをガウス分布のラン
ダム画像に対してコンボリューションを行い作成した画
像を用いて、８方向の対称のＳＦ値測定から、上記の式
（２）におけるαの値や、式（３）におけるdの値を算
出できるので、これを用いてフィルタパラメータを決定
する。
グの変換によって変形されたＰＳＦをガウス分布のラン
ダム画像に対してコンボリューションを行い作成した画
像を用いて、８方向の対称のＳＦ値測定から、上記の式
（２）におけるαの値や、式（３）におけるdの値を算
出できるので、これを用いてフィルタパラメータを決定
する。
【００５０】次に、図１３は、処理の全体の流れを示し
ている。画像データ（輝度値）と画素のROM３０２で画
素のアドレスに対応したサンプリング間隔と傾きを参照
する、３０５では参照したサンプリング条件を用いて図
９に示したような、補間演算で、画像データの対象とす
る位置に対して離散化を行う。３０３ではアドレスに対
応した像高を参照し、３０４では像高に対応した鮮鋭化
フィルタのデータを参照する、３０６ではフィルタ処理
を行う。３０７では元の３０１の画像データと同じ様式
で離散化したデータに戻す。
ている。画像データ（輝度値）と画素のROM３０２で画
素のアドレスに対応したサンプリング間隔と傾きを参照
する、３０５では参照したサンプリング条件を用いて図
９に示したような、補間演算で、画像データの対象とす
る位置に対して離散化を行う。３０３ではアドレスに対
応した像高を参照し、３０４では像高に対応した鮮鋭化
フィルタのデータを参照する、３０６ではフィルタ処理
を行う。３０７では元の３０１の画像データと同じ様式
で離散化したデータに戻す。
【００５１】次に、図１４は、上述した図１３の方法で
画像処理を行う装置の形態を示している。画像メモリ５
００には、画素のアドレスとそれに対応した各画素の輝
度情報が格納されている。図示しないが、MPU（マイク
ロプロセッサユニット）では画像メモリのアドレスを読
み出し、メモリ５０１から、画素位置に対応したサンプ
リングの間隔と傾きを参照し、５０４の補間演算手段で
図９に示したような補間演算を行う。MPUは画像メモリ
５００の画素のアドレスに対応した像高をメモリ２（５
０２）から参照し、参照した像高の値に対応した鮮鋭化
フィルタのパラメータをメモリ３（５０３）から読み出
し、２次元デジタルフィルタ５０５で鮮鋭化フィルタリ
ングを行う。フィルタリングした結果を画像メモリ５０
６に格納する。
画像処理を行う装置の形態を示している。画像メモリ５
００には、画素のアドレスとそれに対応した各画素の輝
度情報が格納されている。図示しないが、MPU（マイク
ロプロセッサユニット）では画像メモリのアドレスを読
み出し、メモリ５０１から、画素位置に対応したサンプ
リングの間隔と傾きを参照し、５０４の補間演算手段で
図９に示したような補間演算を行う。MPUは画像メモリ
５００の画素のアドレスに対応した像高をメモリ２（５
０２）から参照し、参照した像高の値に対応した鮮鋭化
フィルタのパラメータをメモリ３（５０３）から読み出
し、２次元デジタルフィルタ５０５で鮮鋭化フィルタリ
ングを行う。フィルタリングした結果を画像メモリ５０
６に格納する。
【００５２】以上、本発明の実施形態を用いることによ
り、光学系の軸外の非点収差のように、光学系によるボ
ケ特性が回転非対称な場合でも、非対称な鮮鋭化フィル
タを使わずにボケを回復する。
り、光学系の軸外の非点収差のように、光学系によるボ
ケ特性が回転非対称な場合でも、非対称な鮮鋭化フィル
タを使わずにボケを回復する。
【００５３】
【発明の効果】軸外の非点収差のように、光学系による
ボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィ
ルタを使わずにボケを回復する事が出来る。
ボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィ
ルタを使わずにボケを回復する事が出来る。
【図１】本発明の実施形態に係る非点隔差とデフォーカ
スがある点像分布関数を示す図。
スがある点像分布関数を示す図。
【図２】本発明の実施形態に係る所定の空間サンプリン
グ間隔Δｘ（第１のサンプリング間隔）で得られた画像
でのＰＳＦを示す図。
グ間隔Δｘ（第１のサンプリング間隔）で得られた画像
でのＰＳＦを示す図。
【図３】本発明の実施形態に係るサンプリングの格子と
間隔を変更して（Δｘ’）サンプリングを行った図。
間隔を変更して（Δｘ’）サンプリングを行った図。
【図４】本発明の実施形態に係る第２のサンプリング間
隔及び傾きでサンプリングした画像を正方格子で並べた
状態を示す図。
隔及び傾きでサンプリングした画像を正方格子で並べた
状態を示す図。
【図５】本発明の実施形態に係る光学面の像面のメジオ
ナル面Ｍと、サジタル面Ｓを示した図。
ナル面Ｍと、サジタル面Ｓを示した図。
【図６】本発明の実施形態に係る像の各位置に対応する
ＰＳＦの形状を示した図。
ＰＳＦの形状を示した図。
【図７】本発明の実施形態に係る第１のサンプリング間
隔の格子（Pi,j,）から第２のサンプリング間隔（Qm,
n）の格子に変換する様子を示した図。
隔の格子（Pi,j,）から第２のサンプリング間隔（Qm,
n）の格子に変換する様子を示した図。
【図８】本発明の実施形態に係る注目画素と隣接画素の
差分値ΔＤの分布を示す図。
差分値ΔＤの分布を示す図。
【図９】本発明の実施形態に係る隣接画素の差分値を示
した図。
した図。
【図１０】本発明の実施形態に係る差分の絶対値を示し
た図。
た図。
【図１１】本発明の実施形態に係る原画像と平均化フィ
ルタを施した画像のデルタヒストグラムを示す図。
ルタを施した画像のデルタヒストグラムを示す図。
【図１２】本発明の実施形態に係るガウス分布を持つ画
像を特定のＰＳＦを持つ撮像系で撮像した像に対して方
向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰ
ＳＦの形状の関係を示した図。
像を特定のＰＳＦを持つ撮像系で撮像した像に対して方
向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰ
ＳＦの形状の関係を示した図。
【図１３】本発明の実施形態に係る処理の全体の流れを
示した流れ図。
示した流れ図。
【図１４】本発明の実施形態に係る図１３の方法で画像
処理を行う装置の形態を示した図。
処理を行う装置の形態を示した図。
４０２…領域
５００、５０１、５０６…画像メモリ
５０５…次元デジタルフィルタ
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 BA02 CA08 CA12 CA16 CB08
CB12 CB16 CC02 CD08 CE03
CE06
5C022 AC54
5C077 LL02 LL19 PP03 PP46 PP47
PP48 PP49 PP59 PP68 PQ12
RR18 RR19
Claims (9)
- 【請求項１】 線形フィルタによる画像の鮮鋭化処理方
法において、 第１のサンプリング間隔でサンプリングし、第１の離散
化画像を作成するステップと、 第２の離散化の為のサンプリング間隔及びサンプリング
格子の傾きを算出するステップと、 前記第１の離散化画像から前記第２のサンプリング間隔
および格子の傾きを用いて第２の離散化画像を作成する
ステップと、 前記作成した第２の離散化画像に対して線形フィルタを
用いた処理演算を施すステップと、 前記処理演算を施した画像を、再度前記第１の離散化画
像と同じサンプリング格子のデータとして離散化するス
テップとを有することを特徴とする画像処理方法。 - 【請求項２】 前記第２のサンプリングにおける格子の
傾きを撮像した画像の光学中心からサンプリングを行う
位置までの距離と方向から算出する事を特徴とする請求
項１に記載の画像処理方法。 - 【請求項３】 前記第２の離散化画像を作成するステッ
プは、 前記算出した第２のサンプリングの傾きを用いて前記第
１の離散化画像から線形補間演算により画素データを作
成することを特徴とする請求項１に記載の画像処理方
法。 - 【請求項４】 前記補間演算は、光学系による点像分布
関数が回転対称に近くなるように演算することを特徴と
する請求項１または２に記載の画像処理方法。 - 【請求項５】 前記第２のサンプリング間隔を算出する
ステップが、 光学系による点像分布関数を２値化するステップと、 前記２値化された光学系による点像分布関数の互いに異
なる所定の２方向の長さの比率を算出するステップとを
含んでいることを特徴とする請求項１乃至３までのいず
れか１つの記載の画像処理方法。 - 【請求項６】 前記第２のサンプリング間隔を算出する
ステップが、 光学系による点像分布関数の２次元のフーリエ変換を行
うステップと、 前記２次元フーリエ変換像の異なる所定の２方向のパワ
ースペクトルの所定周波数までの積分値の比率を算出す
るステップとを含んでいることを特徴とする請求項１乃
至３までのいずれか１つに記載の画像処理方法。 - 【請求項７】 前記第２のサンプリング間隔を算出する
ステップが、 互いに異なる２方向のＳＦ値を算出するステップを含ん
でいることを特徴とする請求項１乃至３までのいずれか
１つに記載の画像処理方法。 - 【請求項８】 線形フィルタによる画像の鮮鋭化処理装
置において、 第１のサンプリング間隔でサンプリングし、第１の離散
化画像を作成する手段と、 第２の離散化の為のサンプリング間隔及びサンプリング
格子の傾きを算出する手段と、 前記第１の離散化画像から前記第２のサンプリング間隔
および格子の傾きを用いて第２の離散化画像を作成する
手段と、 前記作成した第２の離散化画像に対して線形フィルタを
用いた処理演算を施す手段と、 前記処理演算を施した画像を、再度前記第１の離散化画
像と同じサンプリング格子のデータとして離散化する手
段とを有することを特徴とする画像処理装置。 - 【請求項９】 前記第１のサンプリング間隔でサンプリ
ングされた画像に対して、前記サンプリングされた画像
の位置と、前記第２のサンプリング間隔およびサンプリ
ング格子の傾きのパラメータをそれぞれ関連づけて記憶
する手段を備えていることを特徴とする請求項８記載の
画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324038A JP4067806B2 (ja) | 2001-10-22 | 2001-10-22 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324038A JP4067806B2 (ja) | 2001-10-22 | 2001-10-22 | 画像処理装置及びその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003132351A true JP2003132351A (ja) | 2003-05-09 |
| JP2003132351A5 JP2003132351A5 (ja) | 2005-06-30 |
| JP4067806B2 JP4067806B2 (ja) | 2008-03-26 |
Family
ID=19140842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001324038A Expired - Fee Related JP4067806B2 (ja) | 2001-10-22 | 2001-10-22 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4067806B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007036799A (ja) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | 画像処理装置 |
| JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
| JP2013016008A (ja) * | 2011-07-04 | 2013-01-24 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
| JP2014164004A (ja) * | 2013-02-22 | 2014-09-08 | Hitachi High-Technologies Corp | 蛍光顕微鏡 |
| JP2016081431A (ja) * | 2014-10-21 | 2016-05-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
| JP2016152481A (ja) * | 2015-02-17 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| US10659661B2 (en) | 2017-04-06 | 2020-05-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus, and storage medium |
-
2001
- 2001-10-22 JP JP2001324038A patent/JP4067806B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007036799A (ja) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | 画像処理装置 |
| JP2007183842A (ja) * | 2006-01-10 | 2007-07-19 | Tokyo Institute Of Technology | 画像復元フィルタ及びそれを用いた画像復元方法 |
| JP2013016008A (ja) * | 2011-07-04 | 2013-01-24 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
| US8792014B2 (en) | 2011-07-04 | 2014-07-29 | Canon Kabushiki Kaisha | Image processing apparatus and image pickup apparatus |
| JP2014164004A (ja) * | 2013-02-22 | 2014-09-08 | Hitachi High-Technologies Corp | 蛍光顕微鏡 |
| JP2016081431A (ja) * | 2014-10-21 | 2016-05-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
| JP2016152481A (ja) * | 2015-02-17 | 2016-08-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| US10659661B2 (en) | 2017-04-06 | 2020-05-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image capturing apparatus, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4067806B2 (ja) | 2008-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| EP2566162B1 (en) | Image processing apparatus and method | |
| EP2860694B1 (en) | Image processing apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| JP3995854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| KR101795271B1 (ko) | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 | |
| JP2002369071A (ja) | 画像処理方法および、それを実装したデジタルカメラおよび、プログラム | |
| JP5983373B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| EP1751708B1 (en) | Super-resolution image processing | |
| JP2015507273A (ja) | 低解像入力データ構造の超解像バージョンを生成する方法及び装置 | |
| JP2003172873A (ja) | 補正データ作成方法及び撮像装置 | |
| WO2011033619A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
| US20160371567A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur | |
| JP5049460B2 (ja) | カラー撮像画像データの補間方法およびプログラム | |
| JP2006238032A (ja) | 画像復元方法およびその装置 | |
| Kim et al. | Lens distortion correction and enhancement based on local self-similarity for high-quality consumer imaging systems | |
| EP2320637B1 (en) | Image processing device and method, and image display device | |
| JP4067806B2 (ja) | 画像処理装置及びその方法 | |
| JP2008512766A (ja) | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 | |
| JP2007538436A (ja) | 画像を補間および補正する方法および装置 | |
| Nasonov et al. | Fast super-resolution using weighted median filtering | |
| Paranjape | Fundamental enhancement techniques | |
| Jing et al. | Gradient guided image interpolation | |
| EP2743885B1 (en) | Image processing apparatus, image processing method and program | |
| JP5980081B2 (ja) | 撮像装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |