JP2002369071A - 画像処理方法および、それを実装したデジタルカメラおよび、プログラム - Google Patents

Abstract

(57)【要約】 【課題】 撮影された画像の画質を向上する事を目的と
し、適応的なフィルタの設計方法を提供する。 【解決手段】 元画像の鮮鋭度に基づいて、フィルタの
パラメータを決定する際に、注目画素と隣接画素の差分
値の分布に基づくＳＦ値で元画像の鮮鋭度を測定し（１
０２）、これに基づいてフィルタの係数を決定する鮮鋭
化処理手段（１０３）を備えた画像処理方法を用いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラな
どで撮像した画像に係わり、特に画像の場所ごとに異な
るパラメータで画像の周波数特性を変更する画像処理方
法および、それを実装したデジタルカメラおよび、プロ
グラムに関する。

【０００２】

【従来の技術】近年、ＬＳＩ技術の進展により、デジタ
ルフィルタによる２次元画像処理が広く行われるように
なってきた。この２次元画像処理にはローパスフィルタ
処理、ハイパスフィルタ処理、コンボルーションフィル
タ処理等がある。このコンボルーションフィルタ処理に
おいては、処理対象とする画素を中心とするN×N個（N
は２以上。整数）の画素の画像データに夫々所定の重み
係数を乗算して、これら乗算結果を加算することによ
り、その処理対象とする画素の画像データが形成され
る。

【０００３】また、例えば、動画領域と静止画領域とで
異なるフィルタ処理を施すような所謂アダプティブ（適
応型）フィルタもデジタルフィルタにより実現すること
ができる。しかしながら、ローパスフィルタ処理、及び
ハイパスフィルタ処理は、処理対象とする画像の全体に
一様に施されるものであるため、原画像の持つ局所的な
情報を有効に利用することができない不都合がある。

【０００４】具体的に言えば、例えば、ローパスフィル
タを施すと重要なエッジ情報が失われることがあり、ハ
イパスフィルタを施すと本来輝度変化が滑らかな領域で
もノイズなどが強調されてざらついて見えたりすること
がある。また、従来の単純なコンボルーションフィルタ
処理では非線形処理等の多様な画像処理に対応しにくい
不都合がある。

【０００５】このような問題を鑑み、特開平４−２０５
５７３号公報では、動体と背景を動きベクトルで分離す
る方式を開示している。しかしながら、このような動き
の情報だけでは、位置によって異なる適応フィルタの適
応範囲にも限界があり、例えば、動きのほとんどない、
主要被写体と背景の分離、像面湾曲な光学系に特有なス
ペースバリアントなボケの補正などには適用できない。

【０００６】また、デジタルフィルタを光学系の特性に
合わせて設計しようとした場合、光学系のＰＳＦ（Poin
t Spread Function）を実験的にまたは、光学設計の段
階での計算により得て、その特性を補完するような形で
フィルタを設計する。

【０００７】通常、光学系の収差は光軸上から離れるに
つれて、回転非対称な成分（コマ収差、非点収差）が大
きくなるため、理想的な逆フィルタではＰＳＦの回転非
対称性を考慮すれば、回転非対称なデジタルフィルタに
なる。もっとも、回転非対称ということになると、上述
のように、画像の場所毎に異なるパラメータでデータを
持つということは、N x Nのデータを画素毎に持たなけ
ればならず、非現実的といえる。また、撮像機器の通常
の使用目的では、ＰＳＦを回転対称と見なせる範囲で、
逆フィルタを設計しただけでも周波数成分の回復という
ことでは、効果が期待できる。

【０００８】パラメトリックにデジタルフィルタを定義
する方法にはいくつかあり、３ x３のカーネルサイズの
周波数回復フィルタでの例では、高周波強調のフィルタ
Hを以下のように設定する

【数１】 Ｈの分配係数をパラメータαで調節するようにしたパラ
メトリックな回復フィルタは、 Ｈ_０＝αＩ+（１−α）Ｈ （２） Ｉ＝単位行列 ここで、αを変更すれば、回復フィルタの特性が調整で
き、αが小さいほど高周波強調のフィルタとなる。

【０００９】次に、逆フィルタを計算しておく方法につ
いて述べる。ＰＳＦを ｅｘｐ（−ｄ＊Ｒ） （Rは処理対象とする中心の画素からの距離を表す）の
ような減衰関数で近似した場合でも、効果は期待でき
る。あらかじめ、ｄを変化させたときの最小二乗誤差の
フィルタの計算をしておく。

【００１０】最小二乗フィルタの計算例を以下に示す。
以下の例では目標とする応答関数を△関数としている。
領域

【数２】 で定義されたボケ関数がｈ（ｉ、ｊ）であるときに、こ
れを、線形フィルタで表現したときの係数行列は、

【数３】 となる。インパルスに対するＰＳＦの伝達関数のｚ変換
表現は、

【数４】 となる。また、設計するＦＩＲ逆フィルタを

【数５】 と定義しておく。いま、ＰＳＦに逆フィルタを作用させ
たものを

【数６】 とする。最小二乗誤差の近似からフィルタｆは、以下の
ように求められ、

【数７】 を得る。ここで簡単のため、Ｐ＝Ｑ＝ｍとした（１４）
式を行列表現で表すと、 Ａx＝Ｂ となる。ここで、ｘ、Ｂの中身を

【数８】 というような（２ｍ＋１）±（２ｍ＋１）＝４ｍ^２＋４
ｍ＋１個の要素を持つものとする。

【００１１】ここで、パラメータとしてｄを得たとき
に、回転対称な逆フィルタｆの係数をルックアップテー
ブルで持っておけば、画像の大きさによらずに、画像の
位置によって異なるようなフィルタリング処理となる。

【００１２】その他の鮮鋭化手法としては、原画像とロ
ーパスを施した画像の差分を取り、原画像に差分の定数
倍を加えるという方法がある。このときの定数がパラメ
ータとして与えられる。

【００１３】また、画像位置によって異なるようなフィ
ルタを必要とする状況は以下のような事が考えられる。
最近のデジタルカメラのように、受光面のサイズが小さ
くなるにつれて、焦点深度が浅く、被写界深度が深いと
いう傾向が現れるように、特に小型のデジタルカメラで
は、「ボケ味」を表現することが難しいとされている。
そこで、撮影された画像のコントラストの情報から、周
波数応答を改善するフィルタを設計する様な、適応的な
方法が必要とされる。

【００１４】また、スペースインバリアントについて
は、適応的に画像のボケ状態を測定し、逆フィルタを掛
ける方法としては、特開平６−１６２１８７号公報に、
画像のデフォーカス状態に適応的に逆フィルタを掛ける
技術が開示されている。また、画像に依存する補正方法
としては、特開平１１−１５０６６９号公報では、被写
体の構造が自己相似形（例えば、枝、や山の画像）にな
っていて、低解像の画像の周波数スペクトル構造と理想
とする高解像の画像の周波数スペクトル構造が周波数シ
フトによって類似の構造になることを利用している。

【００１５】

【発明が解決しようとする課題】しかし、特開平６−１
６２１８７号公報では、画像のデフォーカス状態に適応
的に逆フィルタを掛けるものだが、測定時に２つ以上の
像面を必要とし、撮影装置に特殊な構成を必要とすると
いう課題がある。また、画像に依存する補正方法として
は、特開平１１−１５０６６９号公報があるが、これは
被写体の構造が自己相似形（例えば、枝、や山の画像）
になっていて、低解像の画像の周波数スペクトル構造と
理想とする高解像の画像の周波数スペクトル構造が周波
数シフトによって類似の構造になることを利用してい
る。適応的な補正方法として優れているが、計算にコス
トがかかることと、適応できる画像の種類が限定されて
しまう事が難点である。像面湾曲の様に像の位置によっ
て解像感が異なる画像に対して解像感をそろえたり、逆
に遠近によるボケ味を強調するのを目的としている。

【００１６】本発明の目的は、上述のように、スペース
バリアントなフィルタリングによって、画質の改善、加
工を行おうとした場合に、フィルターの係数を求める方
法を提供する。詳しくは、回転対称のような簡易な構造
の逆フィルタにおいては、逆フィルタの係数を、ＰＳＦ
のぼけ具合のパラメータと関連づけておき、そのパラメ
ータを決定する方法を提供する。さらには、領域を分離
した画像で、各領域のボケ味を調整し、被写界深度を擬
似的に加工する画像処理方法および、それを実装したデ
ジタルカメラおよび、プログラム方法を提供することで
ある。

【００１７】

【課題を解決するための手段】本発明による画像処理方
法および、それを実装したデジタルカメラおよび、プロ
グラムは、画像をその画像の位置毎に、異なったデジタ
ルフィルタで画像の周波数特性を変更する方法であっ
て、元画像の鮮鋭度に基づいて、フィルタのパラメータ
を決定する際に、注目画素と隣接画素の差分値の分布に
基づくＳＦ値で元画像の鮮鋭度を測定し、これに基づい
てフィルタの係数を決定する鮮鋭化処理工程を備えたこ
とを特徴とする画像処理方法である。

【００１８】また、画像をその画像の位置毎に、異なっ
たデジタルフィルタで画像の周波数特性を変更するデジ
タルカメラであって、元画像の鮮鋭度に基づいて、フィ
ルタのパラメータを決定する際に、注目画素と隣接画素
の差分値の分布に基づくＳＦ値で元画像の鮮鋭度を測定
し、これに基づいてフィルタの係数を決定する鮮鋭化処
理手段を備えたことを特徴とするデジタルカメラであ
る。

【００１９】また、画像をその画像の位置毎に、異なっ
たデジタルフィルタで画像の周波数特性を変更するプロ
グラムであって、元画像の鮮鋭度に基づいて、フィルタ
のパラメータを決定する際に、注目画素と隣接画素の差
分値の分布に基づくＳＦ値で元画像の鮮鋭度を測定する
処理と、この測定結果に基づいてフィルタの係数を決定
する処理とをコンピュータに実行させるためのプログラ
ムである。

【００２０】

【発明の実施の形態】本発明は、デジタルフィルタによ
って、高周波強調、あるいは低周波強調で、画像の鮮鋭
さ、ボケ味を調節する方式において、前記デジタルフィ
ルタのパラメータを調節する方法に関する。

【００２１】以下に、本発明の実施形態を以下に図面を
用いて説明する。

【００２２】まず、図１は、本発明の実施形態の周波数
特性補正手段を示す概念図である。本実施形態は、画像
をその画像の位置毎に、異なったデジタルフィルタで画
像の周波数特性を変更する（鮮鋭化、ぼかし）方法であ
って、まず、元画像の鮮鋭度に基づいて、フィルタのパ
ラメータを決定する。その際、元画像の鮮鋭度を測定す
る方法が、図２に示したのは、注目画素と隣接画素の差
分値△Dの分布（デルタヒストグラム）に基づくＳＦ（S
harpness Factory）値であり、これに基づいてフィルタ
の係数を決定する。ここで△D値とＳＦ値について補足
すると、隣接画素の差分値は、図３に示すように、注目
画素とその隣接８個の画素との輝度の差分絶対値であ
り、例えば、中央の画素レベルが１６、その周りが、１
２、１４、２０、８、２４、１２、１６、３２となって
いれば、差分の絶対値は、図４に示すように、４、２、
４、８、８、４、０、１６となり、△Dのヒストグラム
（０〜１６の△Dの出現頻度）は、（１，０，１，０，
３，０，０，０，２，０，０，０，０，０，０，０，
１）となる。このようなヒストグラムを所定の範囲の画
素について積算したものである。原画像における上述の
差分△D（絶対値）のヒストグラムをＳ_０（Ｉ）とし、
原画像に平滑化フィルタをかけたものをＳ_３（Ｉ）とし
て鮮鋭度ＳＦを

【数９】 のように定義する。ＳＦ値が大きいほど、原画像の鮮鋭
度が高いと言う評価になる。

【００２３】次に、図５に原画像と平均化フィルタを施
した画像のデルタヒストグラムを示した。ＳＦ値は、２
つのヒストグラムの差分の絶対値を積分したものであ
る。定義からわかるように、ＳＦ値は画像に依存する値
なので、一般に、画像の周波数成分との厳密な関係は成
り立たない。ただし、傾向として同一の画像に対してＳ
Ｆ値が高ければ、周波数特性が高周波まで伸びていると
言うことが出来る。

【００２４】また、ランダムパターンのように、画像の
位置によって、被写体の情報が異ならず、広い周波数成
分を持っている画像であれば、このような条件であれ
ば、光学系の収差（像面湾曲、球面収差）などで、画像
の位置によってボケ具合が異なるのを評価することが出
来る。通常では、光軸付近が最もＭＴＦが高周波成分に
のびている様に設計されているので、軸上付近のＳＦ値
と軸外のＳＦ値を比較することによってどの程度の鮮鋭
化が必要であるのかがわかる。

【００２５】次に、図１に戻って、まず、画像入力手段
１００から入力画像が入力され、周波数特性補正手段１
０１にデータを渡す。ここで、周波数特性補正手段１０
１は、鮮鋭度算出手段１０２、フィルタパラメータ算出
手段１０３、デジタルフィルタ１０４からなり、デジタ
ルフィルタを施した画像が出力画像として出力される。
また、前記鮮鋭度算出手段１０２は、前述したＳＦ値を
計算する。そして、フィルタパラメータ算出手段１０３
は、後述するように、ＳＦ値とフィルタパラメータの関
係をしめすＬＵＴ（Look Up Table）や、関係式を定義
した計算手段を示している。このＬＵＴは、ＳＦ値とデ
ジタルフィルタを構成する行列の各計数の関係を表して
いるものでも良いし、前述、あるいは後述するようにパ
ラメトリックなフィルタのパラメータであっても良い。

【００２６】また、パラメトリックにデジタルフィルタ
の例としては、前述のように３x３のカーネルサイズの
周波数回復フィルタでは、高周波強調のフィルタHを以
下のように設定する。

【００２７】

【数１０】 Ｈの分配係数をパラメータαで調節するようにしたパラ
メトリックな回復フィルタは、 Ｈ_０＝αＩ＋（１−α）Ｈ Ｉ＝単位行列 αを変更すれば回復フィルタの特性が調整でき、αが小
さいほど高周波強調のフィルタとなる。

【００２８】ここでαの値を推定するために、上述のＳ
Ｆ値を用いる方法について述べる。ランダムパターンの
ように、画像の位置によって、被写体の情報が異なら
ず、広い周波数成分を持っている画像であれば、このよ
うな条件であれば、光学系の収差（像面湾曲、球面収
差）などで、画像の位置によってボケ具合が異なるのを
評価することが出来る。通常では、光軸付近が最もＭＴ
Ｆが高周波成分にのびている様に設計されているので、
軸上付近のＳＦ値と軸外のＳＦ値を比較することによっ
てどの程度の鮮鋭化が必要であるのかがわかる。

【００２９】次に、図６に示したように、まず、ランダ
ムパターン６０１を撮影し、デジタルデータを得る。こ
のときに光学系６０２、撮像系であるイメージャ６０３
の伝達特性を含んだデジタル画像データ６０４を得る。

【００３０】前記光学系６０２では、光学伝搬特性（主
に振幅：ＭＴＦ）、前記撮像系（イメージャ６０３）で
は、イメージャのサンプリングの特性、ＡＤ変換の特
性、その他電気系の特性が含まれる。前記デジタル画像
データ６０４で、画像の中央付近Ａ、像高の１／２付近
Ｂ、像高１付近の領域Ｃでそれぞれデルタヒストグラム
を計算しＳＦ値を得る。ここで、領域Ｂ、Ｃの領域のＳ
Ｆ値を領域ＡのＳＦ値に近づけるようにする。その計算
方法を図７を用いて説明する。

【００３１】Ｂ、Ｃの領域の画像（Ｓ７０１）を用い、
式１２のαの初期値及びデクリメント幅δを設定する
（Ｓ７０２）。

【００３２】次に、ＢまたはＣの領域にフィルタ処理を
行う（Ｓ７０３）。また、デルタヒストグラムの計算の
ためにフィルタリングはマージンをとっておく。そし
て、フィルタ処理したＢまたはＣの領域に対して、上述
の式１０の定義に従い、計算したＳＦ値が基準となる領
域ＡのＳＦ値を求める（Ｓ７０４、Ｓ７０５）。

【００３３】そして、基準となる領域ＡのＳＦ値と近い
かどうかを判断する。このとき、単純に２値的に判断し
ても良いし、段階的な判断を行っても良い。判定基準を
満たしていれば処理を終了（Ｓ７０７）、パラメータα
を取得する。基準を満たしていない場合は、Ｓ７０８で
パラメータαを変更する。図７では、パラメータの変更
は等間隔のデクリメントで行っているが、適応的にデク
リメント幅を変更する方法でも良いし、収束精度を良く
するために、最適解の周りで往復的に調べても良い。

【００３４】このようにして、軸外の周波数特性を軸上
のものに近づけるために、領域をＡ、Ｂ、Ｃと離散的に
サンプリングして、ＳＦ値により各領域のパラメータが
取得し、次に各領域の間のパラメータを補間によって求
める様にする。また、サンプリングする領域は、このよ
うな３点で有る必要はなく、精度を上げるために多数の
領域を設定しても良い。

【００３５】このようにして、像面の像高とパラメータ
αの関係が得られれば、それをＬＵＴとして記憶してお
き、像高方向に変化するフィルタリングを実現する。も
う一つのパラメトリックなフィルタを設計する方法は、
上述のＥｘｐ関数を用い、最小二乗法で最適逆フィルタ
を計算する方法を用いる。ボケ関数を２次の関数

【数１１】 （Ｅは、ボケ関数の大きさを表す）とする。ここで、
ｉ，ｊは、軸対象のボケ関数の中心位置を（０、０）と
したときのインデクスを表している。パラメータｄの変
化に対して、逆フィルタの係数を求める。ｄが小さけれ
ばボケが大きいことになり、逆フィルタの高周波強調も
大きくなる。また、高周波領域での誤差を抑えるために
逆フィルタのための目的関数をδ関数とせずに、高周波
帯域を緩和させたものにしても良い。

【００３６】ここでは、７x７のフィルタについて示す
ので対称性を考慮して求めておくべき要素数は、１０種
{Ｆ（−３、−３）、Ｆ（−３、−２）、Ｆ（−３、−
１）、Ｆ（−３、−０）、Ｆ（−２、−２）、Ｆ（−
２、−１）、Ｆ（−２、−０）、Ｆ（−１、−１）、Ｆ
（−１、−０）、Ｆ（０、０）}になる。

【００３７】次に、図８には行列の他の要素を＊で示し
ており、行列の対称性から、それらの領域は前述の１０
種の要素のどれかと等しい。

【００３８】また、図９には、ｄを０．３から５まで変
化させたときの各要素の値を示している。このようにd
の値に対して、行列の要素をＬＵＴで持っておく。

【００３９】次に、前述の図７に準してＳＦ値からｄの
値を算出する方法を図１０を用いて説明する。Ｂ、Ｃの
領域の画像を用い（Ｓ１００１）、式１４のｄの初期値
及びデクリメント幅δを設定する（Ｓ１００２）。そし
て、dの値からＬＵＴにより逆フィルタの要素を読み出
し、逆フィルタＨ_ｉｎｖ（ｄ）を構成する（Ｓ１００
３）。続いて、逆フィルタをＢまたはＣの領域でフィル
タ処理を行う（Ｓ１００４）。そして、フィルタ処理し
たＢまたはＣの領域に対して、上述の式１０定義に従い
計算したＳＦ値が基準となる領域ＡのＳＦ値を求める
（Ｓ１００５、Ｓ１００６）。

【００４０】次に、基準となる領域、ＡのＳＦ値と近い
かどうかを判断する（Ｓ１００７）。このとき、単純に
２値的に判断しても良いし、段階的な判断を行っても良
い。そして、基準を満たしていれば処理を終了し（Ｓ１
００９）、パラメータαを取得する。一方、基準を満た
していない場合は、Ｓ１００８でパラメータdを変更す
る。また、上述のようにパラメータを補間して求めるこ
とも出来る。このパラメータの補完に関しては、像高方
向に補間するほかに、光学系の焦点距離、絞りによって
補間することも考えられる。例えば、画像の有る領域で
のフィルタパラメータをｆ＝５０mm、ｆ＝１００mmで求
めて置いたとすると、ｆ＝７０mmに対しては、直接計算
するのではなく、前述の２つの焦点距離での値を参照し
て補間によって求めることが出来る。

【００４１】次に、図１１に、このようにして求めたフ
ィルタパラメータをＬＵＴに実装した画質補正装置の構
成を示す。入力画像１１０に対して、アドレス算出手段
１１２で画素位置を算出し、画素位置に従ってＬＵＴよ
りフィルタパラメータを読み出す（１１３）。このと
き、像面湾曲等光軸に対象でスペースバリアントな補正
であれば、画素位置から像の中心からの距離（像高）算
出して、ＬＵＴよりパラメータを読み込み、デジタルフ
ィルタを構成する（１１４）。

【００４２】また、ＬＵＴにおいて、位置の分割数また
は像高の分割数は、画素による分割数より粗くても良
い。そのときはＬＵＴに記載されている画素の位置か
ら、対象としている画素の位置を線形補間によって表現
するようにして、ＬＵＴのフィルタパラメータを補間す
ることによって、図１２に示すように、デジタルフィル
タを構成する様にする。

【００４３】次に、図１２では、ＬＵＴ１２３に記録さ
れた位置情報を読み出し（１２４）、アドレス補間を行
い（１２６）、補間係数に従ってＬＵＴに記録されたフ
ィルタパラメータの補間を行い（１２５）、デジタルフ
ィルタ１２７を構成して、フィルタ処理を入力画像に施
し、補正画像を出力する。

【００４４】以上、本発明の第１の実施形態によれば、
ＳＦ値を用いて、光学系、撮像系に起因する像高方向に
変化する周波数特性を補完するフィルタを得ることがで
き、像の位置や、光学系の条件によって変化するパラメ
ータを補間によって得ることが出来る。なお、単板ベイ
ヤー配列においては、ＲＧＢ色の補間を行った後、各色
に対してＳＦ値を求めて、上述の方法で画質補正のフィ
ルタを算出するようにしても良い。

【００４５】次に、本発明の第２の実施形態について説
明する。本発明の第２の実施形態は、光学系、撮像系に
よる歪み補正、色ズレ補正と、第１の実施形態に示した
周波数特性の補正手段を備えた画像の補正手段であり、
その構成を図１３に示した。

【００４６】図１３に示すように、歪み、色ズレの補正
手段１３１は、レンズの設計値から、歪曲収差の値を
得、それに従って画像の幾何変換を行い、周波数特性補
正手段１３２を経由して補正画像が出力される。また、
このときの処理の流れの概要を図１４に示した。入力画
像１３０に対して、歪み、色ズレの補正処理を行い（Ｓ
１４２）、上述のランダムパターンの撮像を用いて、解
像度の（ＳＦ値を用いた）測定を行い（Ｓ１４３）、上
述のように測定されたＳＦ値に従って、フィルタのパラ
メータを決定する（Ｓ１４４）。上述のようにランダム
パターンを用いて、軸上のＳＦ値を参考にフィルタパラ
メータを算出し、スペースバリアントな画像を作成で
き、回復画像が出力される。

【００４７】上述の方法を用いると、フィルタパラメー
タの決定時に歪みの補正の時に用いている、画素補間に
よる周波数応答性も考慮される。このような場合、周波
数応答性が過補正になってしまい、エイリアシングや、
アーティファクトが出てしまう事が考えられる。そのた
めに図１５のように処理の順番を逆にする構成も考えら
れ、入力画像１５０にまず周波数特性補正を行い（１５
１）、歪み補正を行ってから（１５２）、出力画像を出
力する（１５３）方法である。

【００４８】以上、本発明の第２の実施形態によると、
撮像系（レンズ）の歪みの補正と、スペースバリアント
なボケの補正する事が出来、撮像系に起因する画像の劣
化を補正することが出来る。

【００４９】次に、本発明の第３の実施形態について説
明する。

【００５０】近年のデジタルカメラのように、受光面の
サイズが小さくなるにつれて、焦点深度が浅く、被写界
深度が深いという傾向が現れるように、特に小型のデジ
タルカメラでは、「ボケ味」を表現することが難しいと
されている。そこで、本発明の第３の実施形態では、距
離のよるボケ具合を拡大するために、主要被写体と背景
をエッジ検出、彩度などで分離し、それぞれの領域で上
述したＳＦ値を計算して各領域の周波数応答特性を判別
し、各領域のフィルタパラメータを算出する。

【００５１】第３の実施形態の構成を図１６に示した。

【００５２】まず、図１６に示すように、画像が像域分
離手段１６０に入力される。この像域分離手段１６０で
は、例えば、エッジ検出フィルタなどで像域の境界を検
出し、各境界内の色、周波数特性、テクスチャ等で像域
を分離する。即ち、主要被写体で比較的フォーカスが合
っている部分で、コントラストが高いものと背景など、
ボケが含まれていて、コントラストが低いものに分離さ
れる。また、各領域は、次の周波数補正手段（１６１−
１〜１６１−ｎ）を通してボケ具合が調整される。（ボ
ケ具合の調整方法は次の図１７に示した）。そして、周
波数特性を補正された像を合成され（１６３）、画像が
出力される。

【００５３】次に、図１７にボケ具合の調整方法を示し
た。図１７に示すように、領域ｉのＳＦ値Ｓｆｉを計算
し（Ｓ１７１）、この結果とあらかじめ設定した値（閾
値ＳＦｔ）を読み込み（Ｓ１７２）、この値との大小を
比較する（Ｓ１７３）。そして、前記閾値よりも低い場
合、鮮鋭化処理を行わず、その領域の処理は終了する。
一方、前記閾値よりも大きい場合、高周波強調のフィル
タパラメータに設定して鮮鋭化処理（Ｓ１７４）、続い
てフィルタ処理（Ｓ１７５）を行う。このようにして各
領域毎に鮮鋭化の実行の判断を行い、所定のフィルタパ
ラメータで処理を行い図１６の領域合成手段１６２で画
像の合成を行い処理を終了する。

【００５４】この実施形態では、ＳＦ値の高い領域をさ
らに高周波強調を欠ける方法を示したが、これとは逆
に、ＳＦ値の低い領域をさらにぼかしたり、逆にボケの
差を少なくして擬似的に被写界深度を深くする処理も出
来る。

【００５５】なお、ＳＦ値とフィルタパラメータの関係
は前出のランダムパターンを用いた方法を参照する。

【００５６】以上、本発明の第３の実施形態を用いるこ
とにより、撮像系の持つ被写界深度の性能を越えて、擬
似的にボケ味を出すことが出来る。

【００５７】なお、本発明の上記実施形態によれば、以
下のごとき構成が得られる。

【００５８】「付記１」 画像をその画像の位置毎に、
異なったデジタルフィルタで画像の周波数特性を変更す
る方法であって、元画像の鮮鋭度に基づいて、フィルタ
のパラメータを決定する際に、注目画素と隣接画素の差
分値の分布に基づくＳＦ値で元画像の鮮鋭度を測定し、
これに基づいてフィルタの係数を決定する鮮鋭化処理工
程を備えたことを特徴とする画像処理方法。

【００５９】「付記２」 前記フィルタの係数を決定す
る際、レンズ設計上ＭＴＦが最も高い領域のＳＦ値を参
照して、鮮鋭度の回復を行おうとする領域のＳＦ値を、
レンズ設計上最もＭＴＦの高い領域のＳＦ値に近づける
ようにフィルタのパラメータを決定することを特徴とす
る付記１に記載の画像処理方法。

【００６０】「付記３」 前記フィルタの係数を決定す
る際、画像を所定の領域分割を行って鮮鋭度をＳＦ値と
して測定し、この測定から最もＳＦ値が高い領域の値を
参照し、鮮鋭度の回復を行おうとする領域のＳＦ値を、
最も鮮鋭度の高い領域のＳＦ値に近づけるようにフィル
タのパラメータを決定することを特徴とする付記１また
は２に記載の画像処理方法。

【００６１】「付記４」 画像をその画像の位置毎に、
異なったデジタルフィルタで画像の周波数特性を変更す
るデジタルカメラであって、元画像の鮮鋭度に基づい
て、フィルタのパラメータを決定する際に、注目画素と
隣接画素の差分値の分布に基づくＳＦ値で元画像の鮮鋭
度を測定し、これに基づいてフィルタの係数を決定する
鮮鋭化処理手段を備えたことを特徴とするデジタルカメ
ラ。

【００６２】「付記５」 前記フィルタの係数を決定す
る際、レンズ設計上ＭＴＦが最も高い領域のＳＦ値を参
照して、鮮鋭度の回復を行おうとする領域のＳＦ値を、
レンズ設計上最もＭＴＦの高い領域のＳＦ値に近づける
ようにフィルタのパラメータを決定することを特徴とす
る付記４に記載のデジタルカメラ。

【００６３】「付記６」 前記フィルタの係数を決定す
る際、画像を所定の領域分割を行って鮮鋭度をＳＦ値と
して測定し、この測定から最もＳＦ値が高い領域の値を
参照し、鮮鋭度の回復を行おうとする領域のＳＦ値を、
最も鮮鋭度の高い領域のＳＦ値に近づけるようにフィル
タのパラメータを決定する鮮鋭化処理手段を備えている
ことを特徴とする付記４または５に記載のデジタルカメ
ラ。

【００６４】「付記７」 前記注目画素と隣接画素の差
分値の分布に基づくＳＦ値で元画像の鮮鋭度を測定し、
これに基づいてフィルタの係数を決定する鮮鋭化処理手
段がデジタルフィルタであって、そのパラメータを記憶
する機構を備えていることを特徴とする付記４乃至６の
いずれか１つに記載のデジタルカメラ。

【００６５】「付記８」 撮影条件に応じて、記憶した
パラメータからの補間によってデジタルフィルタのパラ
メータを決定する機構をさらに備えていることを特徴と
する付記４乃至７のいずれか１つに記載のデジタルカメ
ラ。

【００６６】「付記９」 光学系の歪み、色ズレを補正
する幾何変換手段をさらに備えたことを特徴とする付記
１乃至３のいずれか１つに記載の画像処理方法。

【００６７】「付記１０」 前記鮮鋭化処理手段は、Ｓ
Ｆ値が所定量より低い領域に対してはアンシャーフ処理
を行わないか、または、ローパスフィルタをかける様に
し、ＳＦ値の高い領域に対しては、鮮鋭度が上がるよう
に処理を行う事を特徴とする付記１乃至３のいずれか１
つに記載の画像処理方法。

【００６８】「付記１１」 元の画像の解像感が高い領
域と低い領域を分割するときに、デルタヒストグラムと
自己組織化マッフを用いて領域を分割することを特徴と
する付記１０に記載の画像処理方法。

【００６９】「付記１２」 元の画像の解像感が高い領
域と低い領域を分割するときに、デルタヒストグラムと
画素の色空間上の位置を参照して領域を分割することを
特徴とする付記１０に記載の画像処理方法。

【００７０】「付記１３」 画像をその画像の位置毎
に、異なったデジタルフィルタで画像の周波数特性を変
更するプログラムであって、元画像の鮮鋭度に基づい
て、フィルタのパラメータを決定する際に、注目画素と
隣接画素の差分値の分布に基づくＳＦ値で元画像の鮮鋭
度を測定する処理と、この測定結果に基づいてフィルタ
の係数を決定する処理とをコンピュータに実行させるた
めのプログラム。

【００７１】

【発明の効果】以上、本発明を用いることにより、光学
系の性能の補正（球面収差、像面湾曲）や主要被写体と
背景を分離して、ボケ味を加工するなど、スペースバリ
アントなフィルタリングによって、画質の改善、加工を
行おうとした場合に、フィルターの係数を求める方法を
提供出来る。即ち、回転対称のような簡易な構造の逆フ
ィルタにおいては、逆フィルタの係数を、ＰＳＦのぼけ
具合のパラメータと関連づけておき、そのパラメータを
決定する方法を提供する。さらには、領域を分離した画
像で、各領域のボケ味を調整し、被写界深度を擬似的に
加工する方法を提供することが出来る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る周波数特性補正
手段を示す概念図。

【図２】本発明の第１の実施形態に係る注目画素と隣接
画素の差分値△Dの分布に基づくＳＦ値を示す図。

【図３】本発明の第１の実施形態に係る注目画素とその
隣接８個の画素を示す図。

【図４】本発明の第１の実施形態に係る注目画素とその
隣接８個の画素との輝度の差分絶対値示す図。

【図５】本発明の第１の実施形態に係る原画像と平均化
フィルタを施した画像のデルタヒストグラムを示した
図。

【図６】本発明の第１の実施形態に係るランダムパター
ンを撮影したときのデジタルデータを示す図。

【図７】本発明の第１の実施形態に係る領域Ｂ、Ｃの領
域のＳＦ値を領域ＡのＳＦ値に近づけるようにするとき
の計算方法を示す図。

【図８】本発明の第１の実施形態に係る行列の他の要素
を＊で示した図。

【図９】本発明の第１の実施形態に係るｄを０．３から
５まで変化させたときの各要素の値を示した図。

【図１０】本発明の第１の実施形態に係るＳＦ値からｄ
の値を算出する方法を示す図。

【図１１】本発明の第１の実施形態に係るフィルタパラ
メータをＬＵＴは、実装した画質補正装置の構成を示す
図。

【図１２】本発明の第１の実施形態に係るデジタルフィ
ルタの構成を示す図。

【図１３】本発明の第２の実施形態に係る補正画像の処
理の流れを示す図。

【図１４】本発明の第２の実施形態に係る補正画像の処
理の流れを示す図。

【図１５】本発明の第２の実施形態に係る補正画像の処
理順序を逆にしたときの処理の流れを示す図。

【図１６】本発明の第３の実施形態に係る構成を示す
図。

【図１７】本発明の第３の実施形態に係るボケ具合の調
整方法を示す図。

【符号の説明】

１００…画像入力手段、１０１…周波数特性補正手段、
１０２…鮮鋭度算出手段、１０３…フィルタパラメータ
算出手段、１０４…デジタルフィルタ、１１０…入力画
像、１１２…アドレス算出手段、１２３…ＬＵＴ、１２
７…デジタルフィルタ、１３０…入力画像、１３１…補
正手段、１３２…周波数特性補正手段、１５０…入力画
像、１６０…像域分離手段、１６２…領域合成手段、６
０１…ランダムパターン、６０２…光学系、６０３…イ
メージャ、６０４…デジタル画像データ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年１２月１８日（２００１．１２．
１８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正内容】

【０００５】このような問題を鑑み、特開平４−２０５
５７３号公報では、動体と背景を動きベクトルで分離す
る方式を開示している。しかしながら、このような動き
の情報だけでは、位置によって異なる適応フィルタの適
応範囲にも限界があり、例えば、動きのほとんどない、
主要被写体と背景の分離、像面湾曲など光学系に特有な
スペースバリアントなボケの補正などには適用できな
い。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正内容】

【００３１】ＢまたはＣの領域の画像（Ｓ７０１）を用
い、式１２のαの初期値及びデクリメント幅δを設定す
る（Ｓ７０２）。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】次に、ＢまたはＣの領域にフィルタ処理を
行う（Ｓ７０３）。また、デルタヒストグラムの計算の
ためにフィルタリングはマージンをとっておく。そし
て、フィルタ処理したＢまたはＣの領域に対して、上述
の式１０の定義に従い、計算したＳＦ値の基準となる領
域ＡのＳＦ値を求める（Ｓ７０４、Ｓ７０５）。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正内容】

【００３９】次に、前述の図７に準してＳＦ値からｄの
値を算出する方法を図１０を用いて説明する。Ｂまたは
Ｃの領域の画像を用い（Ｓ１００１）、式１４のｄの初
期値及びデクリメント幅δを設定する（Ｓ１００２）。
そして、dの値からＬＵＴにより逆フィルタの要素を読
み出し、逆フィルタＨ_ｉｎｖ（ｄ）を構成する（Ｓ１０
０３）。続いて、逆フィルタをＢまたはＣの領域でフィ
ルタ処理を行う（Ｓ１００４）。そして、フィルタ処理
したＢまたはＣの領域に対して、上述の式１０定義に従
い計算したＳＦ値の基準となる領域ＡのＳＦ値を求める
（Ｓ１００５、Ｓ１００６）。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】変更

【補正内容】

【００４１】次に、図１１に、このようにして求めたフ
ィルタパラメータをＬＵＴに実装した画質補正装置の構
成を示す。入力画像１１０に対して、アドレス算出手段
１１２で画素位置を算出し、画素位置に従ってＬＵＴよ
りフィルタパラメータを読み出す（１１３）。このと
き、像面湾曲等光軸に対称でスペースバリアントな補正
であれば、画素位置から像の中心からの距離（像高）算
出して、ＬＵＴよりパラメータを読み込み、デジタルフ
ィルタを構成する（１１４）。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００４７

【補正方法】変更

【補正内容】

【００４７】上述の方法を用いると、フィルタパラメー
タの決定時には歪みの補正済みの画像を用いているの
で、画素補間による周波数応答性も考慮される。このよ
うな場合、周波数応答性が過補正になってしまい、エイ
リアシングや、アーティファクトが出てしまう事が考え
られる。そのために図１５のように処理の順番を逆にす
る構成も考えられ、入力画像１５０にまず周波数特性補
正を行い（１５１）、歪み補正を行ってから（１５
２）、出力画像を出力する（１５３）方法である。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正内容】

【００４８】以上、本発明の第２の実施形態によると、
撮像系（レンズ）の歪みの補正と、スペースバリアント
なボケの補正をする事が出来、撮像系に起因する画像の
劣化を補正することが出来る。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００５２

【補正方法】変更

【補正内容】

【００５２】まず、図１６に示すように、画像が像域分
離手段１６０に入力される。この像域分離手段１６０で
は、例えば、エッジ検出フィルタなどで像域の境界を検
出し、各境界内の色、周波数特性、テクスチャ等で像域
を分離する。即ち、主要被写体で比較的フォーカスが合
っている部分で、コントラストが高いものと、背景など
ボケが含まれていて、コントラストが低いものに分離さ
れる。また、各領域は、次の周波数補正手段（１６１−
１〜１６１−ｎ）を通してボケ具合が調整される。（ボ
ケ具合の調整方法は次の図１７に示した）。そして、周
波数特性を補正された像を合成され（１６３）、画像が
出力される。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正内容】

【００５４】この実施形態では、ＳＦ値の高い領域をさ
らに高周波強調をかける方法を示したが、これとは逆
に、ＳＦ値の低い領域をさらにぼかしたり、逆にボケの
差を少なくして擬似的に被写界深度を深くする処理も出
来る。

【手続補正１０】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

【手続補正１１】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

【手続補正１２】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

【手続補正１３】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正内容】

【図１０】

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA01 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CE03 CE06 CH01 DA20 DB02 DB09 DC22 DC36 5C021 PA66 PA73 XB11 5C022 AA13 AB21 AC69

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像をその画像の位置毎に、異なったデ
   ジタルフィルタで画像の周波数特性を変更する方法であ
   って、 元画像の鮮鋭度に基づいて、フィルタのパラメータを決
   定する際に、注目画素と隣接画素の差分値の分布に基づ
   くＳＦ値で元画像の鮮鋭度を測定し、これに基づいてフ
   ィルタの係数を決定する鮮鋭化処理工程を備えたことを
   特徴とする画像処理方法。
2. 【請求項２】 画像をその画像の位置毎に、異なったデ
   ジタルフィルタで画像の周波数特性を変更するデジタル
   カメラであって、 元画像の鮮鋭度に基づいて、フィルタのパラメータを決
   定する際に、注目画素と隣接画素の差分値の分布に基づ
   くＳＦ値で元画像の鮮鋭度を測定し、これに基づいてフ
   ィルタの係数を決定する鮮鋭化処理手段を備えたことを
   特徴とするデジタルカメラ。
3. 【請求項３】 画像をその画像の位置毎に、異なったデ
   ジタルフィルタで画像の周波数特性を変更するプログラ
   ムであって、 元画像の鮮鋭度に基づいて、フィルタのパラメータを決
   定する際に、注目画素と隣接画素の差分値の分布に基づ
   くＳＦ値で元画像の鮮鋭度を測定する処理と、この測定
   結果に基づいてフィルタの係数を決定する処理とをコン
   ピュータに実行させるためのプログラム。