JP2004289607A

JP2004289607A - Signal processing apparatus and method, recording medium, and program

Info

Publication number: JP2004289607A
Application number: JP2003080441A
Authority: JP
Inventors: Shintaro Okada; 紳太郎岡田; Kazuhiko Ueda; 和彦上田; Mitsuyasu Asano; 光康浅野; Takeshi Kubozono; 猛窪園; Kazuki Yokoyama; 一樹横山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2004-10-14
Anticipated expiration: 2023-03-24
Also published as: JP4277550B2

Abstract

PROBLEM TO BE SOLVED: To allow an edge to gradually fluctuate even in a converted image signal, when the height of the edge contained in the inputted image signal slightly fluctuates, in filtering processing for smoothing portions except the edge in a state of correctly holding the edge having a steeply changing pixel value. SOLUTION: In a step S1, a target pixel C is determined, and in a step S2, a tap around the target pixel is set. In a step S3, the target pixel contained in the tap and a plurality of adjacent pixels are subjected to weighted average to calculate smoothed signals F1, F3 and F5. In a step S4, the differential in pixel value between the target pixel C and each of adjacent pixels is calculated. In a step S5, weighting coefficients w1 and w3 are calculated on the basis of the calculated differential. In a step S6, the smoothing signals F1, F3 and F5 are combined using the weighted coefficients w1, w3. This apparatus is applicable to a video camera and a television receiver etc. COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、例えば、画像の中のエッジを強調し過ぎることなく、エッジに囲まれた内部のテクスチャを強調する場合に用いて好適な信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ビデオカメラにおいては、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ），ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【０００４】
高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００５】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ないという課題があった。
【０００６】
そこで、従来、図１に示すように構成される画像信号処理装置により、入力画像データのうち、画素値の変化が急峻なエッジを保存した状態で当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する（例えば、特許文献１）。
【０００７】
図１に示された画像信号処理装置において、入力された画像信号は、εフィルタ１、および減算部２に入力される。εフィルタ１は、図２Ａに示されるような急峻なエッジを挟んで僅かに変動する画像信号を入力とし、図２Ｂに示されるようなエッジのみが抽出された画像信号に変換して、減算部２および加算部４に出力する。
【０００８】
εフィルタ１の具体的な処理について、図３および図４を参照して説明する。εフィルタ１は、入力画像の各画素を順次、注目画素Ｃに決定し、図３に示すように、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（いまの場合、６画素Ｌ３，Ｌ２，Ｌ１，Ｒ１，Ｒ２，Ｒ３）からなるタップを設定し、次式（１）のように、注目画素Ｃおよび複数の近傍画素の画素値を、タップ係数（例えば、｛１，２，３，４，３，２，１｝）用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。

【０００９】
ただし、図４に示すように、注目画素Ｃの画素値との差分が、所定の閾値ε以上である近傍画素（図４の場合、近傍画素Ｒ２，Ｒ３）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、図４の場合、次式（２）が計算される。

【００１０】
図１に戻る。減算部２は、前段から入力される画像信号（εフィルタ１に対する入力と同一のもの）から、εフィルタ１から入力される画像信号を減算することにより、エッジ以外の僅かに変動している画像信号を抽出して増幅部３に出力する。増幅部３は、減算部２の出力を増幅して加算部４に出力する。加算部４は、増幅部３から出力されるエッジ以外の部分が増幅されている画像信号と、εフィルタ１から入力されるエッジのみが抽出された画像信号を加算する。この加算結果が、急峻なエッジが保持された状態で当該エッジ以外の部分が増幅されている画像信号となっている。
【００１１】
【特許文献１】
特開２００１−２９８６２１号公報
【００１２】
【発明が解決しようとする課題】
ところで、図１に示された画像信号処理装置のεフィルタ１では、所定の閾値εが１００であって、例えば、図５に示されるように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが１００以上であれば、εフィルタ１から出力される画像信号は、図６に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合（例えば、エッジの高さが９９の場合）、εフィルタ１から出力される画像信号は、図７に示すように、エッジの形状が保持されない。なお、図５等において、横軸は画素の配置、縦軸は画素値を示している。
【００１３】
また、例えば、図８に示されるような形状のエッジの画像信号が入力された場合、当該エッジの高さが１００以上であれば、εフィルタ１から出力される画像信号は、図９に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合（例えば、エッジの高さが９９の場合）、εフィルタ１から出力される画像信号は、図１０に示すように、エッジの形状が保持されない。
【００１４】
すなわち、従来のεフィルタ１では、入力された画像信号に含まれるエッジの高さが、閾値εを挟んで微少に変動した場合、フィルタリング後の画像信号ではエッジが大きく変動してしまい、視覚的に見映えが悪くなるという課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにすることを目的とする。
【００１６】
【課題を解決するための手段】
本発明の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段と、指定手段によって指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算手段と、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出手段と、算出手段によって算出された重み付け係数に従い、演算手段によって演算された複数の平滑化信号を合成する合成手段とを含むことを特徴とする。
【００１７】
前記信号は、画像を構成する画素の画素値とすることができる。
【００１８】
前記指定手段、前記決定手段、前記演算手段、前記算出手段、および前記合成手段を含む信号処理系が複数存在し、複数の信号処理系は、直列に配置されているようにすることができる。
【００１９】
前記複数の信号処理系にそれぞれ含まれる前記決定手段は、所定の間隔がそれぞれ異なるようにすることができる。
【００２０】
本発明の信号処理方法は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含むことを特徴とする。
【００２１】
本発明の記録媒体のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２３】
本発明の信号処理装置および方法、並びにプログラムにおいては、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号が決定され、注目信号と複数の近傍信号が、異なる複数の係数組を用いて加重平均されて複数の平滑化信号が演算される。さらに、注目信号と複数の近傍信号とのレベルの差分がそれぞれ算出され、算出された差分が異なる複数の閾値と比較されて、その比較結果に基づいて重み付け係数が算出され、算出された重み付け係数に従い、演算された複数の平滑化信号が合成される。
【００２４】
【発明の実施の形態】
図１１は、本発明を適用した非線形フィルタの第１の構成例を示している。この非線形フィルタ１１は、図１に示された画像信号処理装置のεフィルタ１と置換して用いるものであり、入力された画像信号に含まれるエッジの高さが、所定の閾値を挟んで微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにするものである。より具体的には、画像信号に含まれる画素値のエッジの高さが、所定の閾値ε１よりも小さくなったとしても、閾値ε２（ε２＜ε１）よりも小さくなるまでは、変換後の画像信号に含まれるエッジの変動を緩やかするものである。
【００２５】
非線形フィルタ１１は、上段から入力される画像信号に基づいて重み付け係数ｗ１，ｗ３を発生し、制御信号として合成部１４に出力する制御信号発生部１２、上段から入力された画像信号に、例えば、図１２に示すような注目画素Ｃを中心として左右に隣接する画素からなるタップ（すなわち、インターバル１のタップ）を設定し、タップに含まれる５画素の画素値を３種類のタップ係数を用いて加重平均し、３種類の平滑化信号Ｆ１，Ｆ３，Ｆ５を演算するＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）１３、および制御信号発生部１２により発生される制御信号に従って平滑化信号Ｆ１，Ｆ３，Ｆ５を合成する合成部１４から構成される。
【００２６】
図１３は、ＬＰＦ１３において用いられるタップ係数の一例を示している。ＬＰＦ１３においては、タップに含まれる５画素Ｌ２，Ｌ１，Ｃ、Ｒ１，Ｒ２が設定され、次式（３）に示されるように、タップ係数｛０，０，１，０，０｝を用いて、平滑化信号Ｆ１が演算される。
Ｆ１＝（０・Ｌ２＋０・Ｌ１＋１・Ｃ＋０・Ｒ１＋０・Ｒ２）／１ …（３）
【００２７】
また、ＬＰＦ１３においては、次式（４）に示されるように、タップ係数｛０，１，２，１，０｝を用いて、平滑化信号Ｆ３が演算される。
Ｆ３＝（０・Ｌ２＋１・Ｌ１＋２・Ｃ＋１・Ｒ１＋０・Ｒ２）／４ …（４）
【００２８】
また、ＬＰＦ１３においては、次式（５）に示されるように、タップ係数｛１，２，２，２，１｝を用いて、平滑化信号Ｆ５が演算される。
Ｆ５＝（１・Ｌ２＋２・Ｌ１＋２・Ｃ＋２・Ｒ１＋１・Ｒ２）／８ …（５）
【００２９】
次に、非線形フィルタ１１の動作について、図１４のフローチャートを参照して説明する。
【００３０】
ステップＳ１において、制御信号発生部１２は、入力された画像信号を構成するラスター順の画素を、順次、１画素ずつ注目画素Ｃに決定する。ステップＳ２において、制御信号発生部１２は、図２に示されたように、注目画素Ｃを中心として左右に隣接する画素Ｌ２，Ｌ１，Ｒ１，Ｒ２からなるタップを設定する。以下、タップに含まれる画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２と記述する。
【００３１】
ステップＳ３において、ＬＰＦ１３は、制御信号発生部１２によって決定された注目画素Ｃと近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、式（１）乃至（３）を用いて加重平均し、その結果得られる平滑化信号Ｆ１，Ｆ３，Ｆ５を、合成部１４に出力する。
【００３２】
ステップＳ４において、制御信号発生部１２は、注目画素Ｃと各近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜を演算する。
【００３３】
ステップＳ５において、制御信号発生部１２は、ステップＳ４の処理で算出した差分に基づき、合成部１４において用いられる重み付け係数ｗ１，ｗ３を算出する。具体的は、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ１，Ｒ１との画素値の差分｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜のうち、大きい方を変数ｄ１に代入し、
ｄ１＝ＭＡＸ［｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜］
図１５に示すように、変数ｄ１に従って重み付け係数ｗ１を算出する。
ｄ１＜ε２である場合、ｗ１＝０
ε２≦ｄ１＜ε１である場合、ｗ１＝（ｄ１−ε２）／（ε１−ε２）
ε１≦ｄ１である場合、ｗ１＝１
【００３４】
同様に、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ２，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｒ２−Ｃ｜のうち、大きい方を変数ｄ２に代入し、
ｄ２＝ＭＡＸ［｜Ｌ２−Ｃ｜，｜Ｒ２−Ｃ｜］
変数ｄ２に従って重み付け係数ｗ３を算出する。
ｄ２＜ε２である場合、ｗ３＝０
ε２≦ｄ２＜ε１である場合、ｗ３＝（ｄ２−ε２）／（ε１−ε２）
ε１≦ｄ２である場合、ｗ３＝１
【００３５】
このようにして算出された重み付け係数ｗ１，ｗ３は、制御信号として合成部１４に出力される。ステップＳ６において、合成部１４は、ＬＰＦ１３により演算された平滑化信号Ｆ１，Ｆ３，Ｆ５を、制御信号発生部１２により算出された重み付け係数ｗ１，ｗ３を用い、次式（６）に従って合成して、注目画素Ｃのフィルタリング後の値Ｃ’として出力する。

【００３６】
以上で非線形フィルタ１１の動作の説明を終了する。この非線形フィルタ１１によれば、例えば、閾値ε１が１００、閾値ε２が７０であって、図５に示されたように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが閾値ε１以上の１００であれば、非線形フィルタ１１から出力される画像信号は、図１６に示すように、エッジの形状が保持されたものとなり、当該エッジの高さが閾値ε１より小さい９０，８０となっても、非線形フィルタ１１から出力される画像信号は、図１７、図１８に示すように、エッジの形状が若干変化しただけで保持される。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ１１から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε２と等しい７０となった段階で、非線形フィルタ１１から出力される画像信号のエッジの形状は、図１９に示す程度となる。
【００３７】
図１９と、従来のεフィルタ１の出力を示した図７を比較して明らかなように、従来のεフィルタ１では、入力される画像信号のエッジの高さが、閾値ε＝１００よりも僅かに小さい９９であっても、図７に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ１１では、入力される画像信号のエッジの高さが、閾値ε１より小さくなっても、閾値ε２までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【００３８】
次に、図２０は、本発明を適用した非線形フィルタの第２の構成例を示している。この非線形フィルタ２１は、図１に示された画像信号処理装置のεフィルタ１と置換して用いるものであり、インターバル４の５画素のタップを設定してフィルタリング処理を行う狭帯域処理部２２、狭帯域処理部２２の出力に対してインターバル２の５画素のタップを設定してフィルタリング処理を行う中帯域処理部２６、および中帯域処理部２６の出力に対してインターバル１の５画素のタップを設定してフィルタリング処理を行う広帯域処理部３０から構成される。
【００３９】
インターバル４のタップは、図２１に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の８番目、４番目、右側の４番目、８番目の画素ｌ８，ｌ４，ｒ４，ｒ８が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４０】
インターバル２のタップは、図２２に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の４番目、２番目、右側の２番目、４番目の画素ｌ４，ｌ２，ｒ２，ｒ４が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４１】
インターバル１のタップは、図２３に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の２番目、１番目、右側の１番目、２番目の画素ｌ２，ｌ１，ｒ１，ｒ２が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４２】
図２０に戻る。狭帯域処理部２２は、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、狭帯域処理部２２の制御信号発生部２３、ＬＰＦ２４、および合成部２５が、それぞれ非線形フィルタ１１の制御信号発生部１２、ＬＰＦ１３、および合成部１４に相当する。狭帯域処理部２２の非線形フィルタ１１に対する相違点は、非線形フィルタ１１では図１２に示されたインターバル１のタップを設定することに対して、狭帯域処理部２２では図２１に示されたインターバル４のタップを設定することである。
【００４３】
中帯域処理部２６も、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、中帯域処理部２６の制御信号発生部２７、ＬＰＦ２８、および合成部２９が、それぞれ非線形フィルタ１１の制御信号発生部１２、ＬＰＦ１３、および合成部１４に相当する。中帯域処理部２６の非線形フィルタ１１に対する相違点は、図２２に示されたインターバル２のタップを設定することである。
【００４４】
さらに、広帯域処理３０も、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、中帯域処理部２６の制御信号発生部３１、ＬＰＦ３２、および合成部３３が、それぞれ非線形フィルタ１１の制御信号発生部１２、ＬＰＦ１３、および合成部１４に相当する。中帯域処理部２６は、非線形フィルタ１１と同様に、図２３に示されたインターバル１のタップを設定する。
【００４５】
図２４は、狭帯域処理部２２のＬＰＦ２４、中帯域処理部２６のＬＰＦ２８、および広帯域処理部３０のＬＰＦ３２において用いられるタップ係数の一例を示している。
【００４６】
ＬＰＦ２４において、インターバル４のタップが設定され、平滑化信号Ｆ１１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０｝を用いて加重平均することに相当する。
【００４７】
ＬＰＦ２４において、インターバル４のタップが設定され、平滑化信号Ｆ１３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，２，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００４８】
ＬＰＦ２４において、インターバル４のタップが設定され、平滑化信号Ｆ１５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛１，０，０，０，２，０，０，０，２，０，０，０，２，０，０，０，１｝を用いて加重平均することに相当する。
【００４９】
ＬＰＦ２８において、インターバル２のタップが設定され、平滑化信号Ｆ２１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００５０】
ＬＰＦ２８において、インターバル２のタップが設定され、平滑化信号Ｆ２３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，１，０，２，０，１，０，０｝を用いて加重平均することに相当する。
【００５１】
ＬＰＦ２８において、インターバル２のタップが設定され、平滑化信号Ｆ２５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛１，０，２，０，２，０，２，０，１｝を用いて加重平均することに相当する。
【００５２】
ＬＰＦ３２において、インターバル１のタップが設定され、平滑化信号Ｆ３１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。
【００５３】
ＬＰＦ３２において、インターバル１のタップが設定され、平滑化信号Ｆ３３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。
【００５４】
ＬＰＦ３２において、インターバル１のタップが設定され、平滑化信号Ｆ３５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。
【００５５】
次に、非線形フィルタ２１の動作について説明する。まず、狭帯域処理部２２のフィルタリング処理について、図１４のフローチャートを流用して説明する。
【００５６】
ステップＳ１において、制御信号発生部２３は、入力された画像信号を構成するラスター順の画素を、順次、１画素ずつ注目画素Ｃに決定する。ステップＳ２において、制御信号発生部２３は、図２１に示されたように、注目画素Ｃを中心とするインターバル４のタップを設定する。
【００５７】
ステップＳ３において、ＬＰＦ２４は、制御信号発生部２３によって決定された注目画素Ｃと近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、式（１）乃至（３）を用いて加重平均し、その結果得られる平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を、合成部２５４に出力する。
【００５８】
ステップＳ４において、制御信号発生部２３は、注目画素Ｃと各近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜を演算する。さらに、制御信号発生部２３は、注目画素Ｃと、近傍画素Ｌ２，Ｒ２よりも注目画素Ｃ側に位置していてタップには含まれない画素ｌ７，ｌ６，ｌ５，ｌ３，ｌ２，ｌ１，ｒ１，ｒ２，ｒ３，ｒ５，ｒ６，ｒ７との画素値の差分｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜を演算する。
【００５９】
ステップＳ５において、制御信号発生部２３は、ステップＳ４の処理で算出した差分に基づき、合成部２５において用いられる重み付け係数ｗ１，ｗ３を算出する。
【００６０】
具体的は、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ１，Ｒ１以内に位置する画素の画素値の差分｜Ｌ１−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜Ｒ１−Ｃ｜のうち、最大のものを変数ｄ１に代入し、
ｄ１＝ＭＡＸ［｜Ｌ１−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜Ｒ１−Ｃ｜］図１５に示されたように、変数ｄ１に従って重み付け係数ｗ１を算出する。
ｄ１＜ε２である場合、ｗ１＝０
ε２≦ｄ１＜ε１である場合、ｗ１＝（ｄ１−ε２）／（ε１−ε２）
ε１≦ｄ１である場合、ｗ１＝１
【００６１】
同様に、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ２，Ｒ２以内に位置する画素の画素値の差分｜Ｌ２−Ｃ｜，｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜，｜Ｒ２−Ｃ｜のうち、最大のものを変数ｄ２に代入し、
ｄ２＝ＭＡＸ［｜Ｌ２−Ｃ｜，｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜，｜Ｒ２−Ｃ｜］変数ｄ２に従って重み付け係数ｗ３を算出する。
ｄ２＜ε２である場合、ｗ３＝０
ε２≦ｄ２＜ε１である場合、ｗ３＝（ｄ２−ε２）／（ε１−ε２）
ε１≦ｄ２である場合、ｗ３＝１
【００６２】
このようにして算出された重み付け係数ｗ１，ｗ３は、制御信号として合成部２５に出力される。ステップＳ６において、合成部２５は、ＬＰＦ２４により演算された平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を、制御信号発生部２３により算出された重み付け係数ｗ１，ｗ３を用い、式（６）に従って合成して、注目画素Ｃのフィルタリング後の値Ｃ’として、中帯域処理部２６に出力する。以上で、狭帯域処理部２２によるフィルタリング処理の説明を終了する。
【００６３】
狭帯域処理部２２から出力された画像信号は、次に、中帯域処理部２６でフィルタリング処理が施され、さらに、広帯域処理部３０でもフィルタリング処理が施されることになる。なお、中帯域処理部２６、および広帯域処理部３０におけるフィルタリング処理は、上述した狭帯域処理部２２によるフィルタリング処理と、タップのインターバルが異なることの他は同様であるので、その説明は省略する。
【００６４】
この非線形フィルタ２１によれば、例えば、閾値ε１が１００、閾値ε２が７０であって、図８に示されたように、急峻なエッジの幅がインターバル４に収まるような画像信号が入力された場合、当該エッジの高さが閾値ε１以上の１００であれば、非線形フィルタ２１から出力される画像信号は、図２５に示すように、エッジの形状がほぼ保持されたものとなり、当該エッジの高さが閾値ε１より小さい９０，８０となった場合、非線形フィルタ２１から出力される画像信号は、図２６、図２７に示すように、エッジの形状が徐々に変化したものとなる。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ２１から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε２と等しい７０となった段階で、非線形フィルタ２１から出力される画像信号のエッジの形状は、図２８に示す程度となる。
【００６５】
図２８と、従来のεフィルタ１の出力を示した図１０を比較して明らかなように、従来のεフィルタ１では、入力される画像信号のエッジの高さが、閾値ε＝１００よりも僅かに小さい９９であっても、図１０に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ２１では、入力される画像信号のエッジの高さが、閾値ε１より小さくなっても、閾値ε２までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【００６６】
なお、本発明は、ビデオカメラ、ディジタルスチルカメラ、プリンタ、ディスプレイ、コンピュータ等の画像信号を扱うあらゆる装置に適用することが可能である。
【００６７】
例えば、画像処理を実行するコンピュータに適用した場合、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いだけを補正でき、自然な合成画像を生成することができる。
【００６８】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図２９に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００６９】
このパーソナルコンピュータ５０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）５１を内蔵している。ＣＰＵ５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）５２およびＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５３が接続されている。
【００７０】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部５６、合成された映像信号をディスプレイに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、
磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（ＭｉｎｉＤｉｓｃ）を含む）、およびは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００７１】
ＣＰＵ５１に上述した一連の処理を実行させるプログラムは、磁気ディスク６１乃至半導体メモリ６４に格納された状態でパーソナルコンピュータに供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。あるいは、ネットワークを介して供給されることも考えられる。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するＣＰＵ５１の指令によって、記憶部５８からＲＡＭ５３にロードされて実行される。
【００７２】
なお、本明細書において、各フローチャートを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７３】
【発明の効果】
以上のように、本発明によれば、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動させることが可能となる。
【図面の簡単な説明】
【図１】画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。
【図２】図１のεフィルタに入力される画像信号と、出力される画像信号を示す図である。
【図３】図１のεフィルタで用いられるタップの一例を示す図である。
【図４】図１のεフィルタの動作を説明するための図である。
【図５】フィルタ処理前の画像信号の一例を示す図である。
【図６】図５に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図７】図５に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図８】フィルタ処理前の画像信号の一例を示す図である。
【図９】図８に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図１０】図８に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図１１】本発明を適用した非線形フィルタの第１の構成例を示すブロック図である。
【図１２】図１１の非線形フィルタで設定されるタップを示す図である。
【図１３】図１１の非線形フィルタで用いられるタップ係数を示す図である。
【図１４】図１１の非線形フィルタによるフィルタリング処理を説明するフローチャートである。
【図１５】重み付け係数の決定方法を説明するための図である。
【図１６】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１７】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１８】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１９】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図２０】本発明を適用した非線形フィルタの第２の構成例を示すブロック図である。
【図２１】図２０の狭帯域処理部で設定されるインターバル４のタップを示す図である。
【図２２】図２０の中帯域処理部で設定されるインターバル２のタップを示す図である。
【図２３】図２０の広帯域処理部で設定されるインターバル１のタップを示す図である。
【図２４】図２０の非線形フィルタで用いられるタップ係数を示す図である。
【図２５】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２６】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２７】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２８】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２９】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１１非線形フィルタ，１２制御信号発生部，１３ＬＰＦ，１４合成部，２１非線形フィルタ，２２狭帯域処理部，２３制御信号発生部，２４ＬＰＦ，２５合成部，２６中帯域処理部，２７制御信号発生部，２８ＬＰＦ，２９合成部，３０中帯域処理部，３１制御信号発生部，３２ＬＰＦ，３３合成部，５１ＣＰＵ，６１磁気ディスク，６２光ディスク，６３光磁気ディスク，６４半導体メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing device and method, a recording medium, and a program. For example, a signal processing suitable for use when emphasizing an internal texture surrounded by edges without excessively emphasizing edges in an image. The present invention relates to an apparatus and a method, a recording medium, and a program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a video camera, the contrast (brightness / darkness difference) and sharpness (clearness of a boundary) of an image captured by an imaging device such as a charge coupled device (CCD) and a complementary metal-oxide semiconductor (CMOS) are improved. As a method, a contrast enhancement method by gradation conversion and a high-frequency component enhancement method for enhancing the contrast of a high-frequency component in an image have been considered.
[0003]
As a contrast enhancement method, for each pixel of an image, a tone curve adjustment for converting the pixel level by a function having a predetermined input / output relationship (hereinafter referred to as a level conversion function), a frequency distribution of the pixel level, and the like. There has been proposed a method called histogram equalization that adaptively changes a level conversion function according to.
[0004]
As a high-frequency component enhancement method, there has been proposed a method called an unsharp mask that extracts edges from an image and enhances the extracted edges to perform so-called contour enhancement.
[0005]
However, the contrast enhancement method has a problem that the contrast can be improved only in a part of the luminance range of the entire dynamic range (difference between the maximum level and the minimum level) of the image. In contrast, in contrast, in the brightest and darkest parts of an image, and in the case of histogram equalization, there is a problem that the contrast is reduced in the vicinity of a luminance region where the frequency distribution is small. Further, the high-frequency component emphasizing method has a problem that only the contrast of the high-frequency component of the image is enhanced, whereby the vicinity of the edge of the image is unnaturally enhanced, and the image quality cannot be avoided from being deteriorated.
[0006]
Therefore, conventionally, an image signal processing apparatus configured as shown in FIG. 1 amplifies a portion other than the edge of the input image data while preserving the edge where the pixel value changes sharply, thereby obtaining the edge. There is a method of emphasizing parts other than (for example, Patent Document 1).
[0007]
In the image signal processing device shown in FIG. 1, an input image signal is input to an ε filter 1 and a subtraction unit 2. The ε filter 1 receives an image signal that fluctuates slightly across a steep edge as shown in FIG. 2A, converts the image signal into an image signal in which only the edge is extracted as shown in FIG. 2 and to the adder 4.
[0008]
Specific processing of the ε filter 1 will be described with reference to FIGS. The ε filter 1 sequentially determines each pixel of the input image as a pixel of interest C, and as shown in FIG. 3, a plurality of neighboring pixels (in this case, six pixels L3 , L2, L1, R1, R2, R3), and sets the pixel values of the target pixel C and the plurality of neighboring pixels by tap coefficients (for example, {1, 2, 3, 4, 3, 2, 1}) and output as a conversion result C ′ corresponding to the target pixel C.

[0009]
However, as shown in FIG. 4, for the neighboring pixels (the neighboring pixels R2 and R3 in FIG. 4) whose difference from the pixel value of the target pixel C is equal to or larger than the predetermined threshold ε, the pixel value is set to the target pixel C. To be calculated by replacing with That is, in the case of FIG. 4, the following equation (2) is calculated.

[0010]
Return to FIG. The subtraction unit 2 subtracts the image signal input from the ε-filter 1 from the image signal input from the previous stage (the same signal as the input to the ε-filter 1), thereby obtaining a slightly fluctuating image other than the edge. The signal is extracted and output to the amplifier 3. The amplification unit 3 amplifies the output of the subtraction unit 2 and outputs it to the addition unit 4. The adding unit 4 adds the image signal output from the amplifying unit 3 where the portion other than the edge is amplified, and the image signal obtained by extracting only the edge input from the ε filter 1. The result of the addition is an image signal in which a portion other than the sharp edge is amplified while a steep edge is held.
[0011]
[Patent Document 1]
JP 2001-298621 A
[0012]
[Problems to be solved by the invention]
By the way, in the ε filter 1 of the image signal processing device shown in FIG. 1, the predetermined threshold ε is 100, and for example, as shown in FIG. If the edge is input and the height of the edge is 100 or more, the image signal output from the ε filter 1 retains the shape of the edge as shown in FIG. When the value is slightly smaller than the threshold value ε (for example, when the height of the edge is 99), the image signal output from the ε filter 1 does not retain the shape of the edge as shown in FIG. In FIG. 5 and the like, the horizontal axis indicates the arrangement of pixels, and the vertical axis indicates pixel values.
[0013]
For example, when an image signal of an edge having a shape as shown in FIG. 8 is input and the height of the edge is 100 or more, the image signal output from the ε filter 1 is as shown in FIG. As described above, the shape of the edge is retained, but when the height of the edge is slightly smaller than the threshold ε (for example, when the height of the edge is 99), the image signal output from the ε filter 1 is As shown in FIG. 10, the shape of the edge is not maintained.
[0014]
That is, in the conventional ε filter 1, when the height of the edge included in the input image signal slightly fluctuates across the threshold ε, the edge largely fluctuates in the image signal after filtering, and There was a problem that the appearance deteriorated.
[0015]
The present invention has been made in view of such a situation, and in a filtering process for smoothing a portion other than an edge while accurately holding an edge where a change in pixel value is steep, an input image signal When the height of the included edge fluctuates minutely, an object is to make the edge fluctuate even in the converted image signal.
[0016]
[Means for Solving the Problems]
The signal processing device according to the present invention includes a designating unit that sequentially designates a signal that is continuously arranged as a signal of interest, and a signal of a signal that is continuously arranged with reference to the signal of interest designated by the designating unit. Determining means for determining a plurality of nearby signals at predetermined intervals from among them; calculating means for calculating a plurality of smoothed signals by performing a weighted average of a signal of interest and a plurality of nearby signals using a plurality of different coefficient sets; Calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; Combining means for combining a plurality of smoothed signals calculated by the calculating means in accordance with the weighting coefficients.
[0017]
The signal may be a pixel value of a pixel forming an image.
[0018]
There may be a plurality of signal processing systems including the designation unit, the determination unit, the calculation unit, the calculation unit, and the synthesis unit, and the plurality of signal processing systems may be arranged in series.
[0019]
The determination means included in each of the plurality of signal processing systems may have a predetermined interval different from each other.
[0020]
According to the signal processing method of the present invention, a signal that is continuously arranged is sequentially arranged as a signal of interest, and a signal is successively arranged with reference to the signal of interest specified in the processing of the specification step. A determining step of determining a plurality of neighboring signals at predetermined intervals from among the signals, and an operation of calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of neighboring signals using a plurality of different coefficient sets A step of calculating a level difference between the signal of interest and a plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; And a synthesizing step of synthesizing a plurality of smoothed signals calculated in the processing of the calculating step in accordance with the weighting coefficients calculated in the above.
[0021]
The program of the recording medium according to the present invention includes a step of sequentially designating sequentially arranged signals as a signal of interest, and a step of sequentially arranging the signals of interest designated by the processing of the specifying step. Determining a plurality of nearby signals at predetermined intervals from among the signals present, and calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets. A calculating step, calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; A combining step of combining a plurality of smoothed signals calculated in the processing of the calculation step in accordance with the weighting coefficients calculated in the processing.
[0022]
A program according to the present invention includes a designation step of sequentially designating sequentially arranged signals as a signal of interest; and a signal of continuously arranged signals with reference to the signal of interest designated in the processing of the designation step. A determining step of determining a plurality of nearby signals at predetermined intervals among them; and a calculating step of calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets. Calculating a level difference between the signal of interest and a plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; A combining step of combining a plurality of smoothed signals calculated in the processing of the calculating step in accordance with the weighted coefficient thus calculated. .
[0023]
In the signal processing device and method, and the program according to the present invention, a plurality of neighboring signals are determined at predetermined intervals from continuously arranged signals based on a designated signal of interest, and the signal of interest and A plurality of neighboring signals are weighted and averaged using a plurality of different coefficient sets to calculate a plurality of smoothed signals. Further, a level difference between the signal of interest and the plurality of neighboring signals is calculated, the calculated difference is compared with a plurality of different threshold values, a weighting coefficient is calculated based on the comparison result, and the calculated weighting coefficient is calculated. , A plurality of calculated smoothed signals are combined.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 11 shows a first configuration example of a nonlinear filter to which the present invention is applied. This nonlinear filter 11 is used in place of the ε filter 1 of the image signal processing apparatus shown in FIG. 1, and the height of an edge included in an input image signal is very small with a predetermined threshold value interposed therebetween. When the image signal fluctuates, the edge of the converted image signal also fluctuates gently. More specifically, even if the height of the edge of the pixel value included in the image signal becomes smaller than the predetermined threshold ε1, the converted image is not changed until the height becomes smaller than the threshold ε2 (ε2 <ε1). This is to moderate the fluctuation of the edge included in the signal.
[0025]
The non-linear filter 11 generates weighting coefficients w1 and w3 based on the image signal input from the upper stage, and outputs the control signal to the control signal generator 12 as a control signal to the synthesizing unit 14. A tap consisting of pixels adjacent to the left and right of the target pixel C as shown in FIG. 12 (that is, a tap of interval 1) is set, and the pixel values of five pixels included in the tap are determined using three types of tap coefficients. Weighted averaging is performed, and smoothed signals F1, F3, and F5 are synthesized according to an LPF (Low Pass Filter) 13 that calculates three types of smoothed signals F1, F3, and F5, and a control signal generated by a control signal generator 12. The synthesizing unit 14 is provided.
[0026]
FIG. 13 shows an example of tap coefficients used in the LPF 13. In the LPF 13, five pixels L2, L1, C, R1, and R2 included in the tap are set, and the tap coefficients {0, 0, 1, 0, 0} are used as shown in the following equation (3). , A smoothed signal F1 is calculated.
F1 = (0 · L2 + 0 · L1 + 1 · C + 0 · R1 + 0 · R2) / 1 (3)
[0027]
Further, in the LPF 13, as shown in the following equation (4), the smoothed signal F3 is calculated using the tap coefficients {0, 1, 2, 1, 0}.
F3 = (0 · L2 + 1 · L1 + 2 · C + 1 · R1 + 0 · R2) / 4 (4)
[0028]
Further, in the LPF 13, as shown in the following equation (5), the smoothed signal F5 is calculated using the tap coefficients {1, 2, 2, 2, 1}.
F5 = (1 · L2 + 2 · L1 + 2 · C + 2 · R1 + 1 · R2) / 8 (5)
[0029]
Next, the operation of the nonlinear filter 11 will be described with reference to the flowchart of FIG.
[0030]
In step S 1, the control signal generation unit 12 determines the pixels in the raster order that make up the input image signal sequentially as the target pixel C one by one. In step S2, as shown in FIG. 2, the control signal generator 12 sets a tap composed of pixels L2, L1, R1, and R2 adjacent to each other on the left and right of the target pixel C. Hereinafter, the pixels L2, L1, R1, and R2 included in the tap are described as neighboring pixels L2, L1, R1, and R2.
[0031]
In step S3, the LPF 13 performs a weighted average of the pixel of interest C and the neighboring pixels L2, L1, R1, and R2 determined by the control signal generation unit 12 using equations (1) to (3), and the result is obtained. The smoothing signals F1, F3, and F5 are output to the combining unit 14.
[0032]
In step S4, the control signal generation unit 12 determines the difference | L2-C |, | L1-C |, | R1-C |, | of the pixel value between the target pixel C and each of the neighboring pixels L2, L1, R1, and R2. R2-C | is calculated.
[0033]
In step S5, the control signal generator 12 calculates the weighting coefficients w1 and w3 used in the synthesizer 14 based on the difference calculated in the processing in step S4. Specifically, the larger of the difference | L1-C | and | R1-C | between the pixel value of the target pixel C and the neighboring pixels L1 and R1 symmetrically positioned with respect to the target pixel C is the variable d1. And assign
d1 = MAX [| L1-C |, | R1-C |]
As shown in FIG. 15, the weighting coefficient w1 is calculated according to the variable d1.
If d1 <ε2, w1 = 0
If ε2 ≦ d1 <ε1, w1 = (d1−ε2) / (ε1−ε2)
When ε1 ≦ d1, w1 = 1
[0034]
Similarly, the larger of the differences | L2-C | and | R2-C | between the pixel value of the target pixel C and the neighboring pixels L2 and R2 that are symmetrical with respect to the target pixel C as the variable d2. Substitute,
d2 = MAX [| L2-C |, | R2-C |]
A weighting coefficient w3 is calculated according to the variable d2.
If d2 <ε2, w3 = 0
If ε2 ≦ d2 <ε1, w3 = (d2−ε2) / (ε1−ε2)
When ε1 ≦ d2, w3 = 1
[0035]
The weighting coefficients w1 and w3 calculated in this way are output to the combining unit 14 as control signals. In step S6, the combining unit 14 combines the smoothed signals F1, F3, and F5 calculated by the LPF 13 using the weighting coefficients w1 and w3 calculated by the control signal generating unit 12 according to the following equation (6). , Is output as a filtered value C ′ of the target pixel C.

[0036]
This concludes the description of the operation of the nonlinear filter 11. According to the nonlinear filter 11, for example, when the threshold ε1 is 100 and the threshold ε2 is 70, and an image signal of an edge whose pixel value changes sharply as shown in FIG. If the height of the edge is 100 equal to or larger than the threshold ε1, the image signal output from the non-linear filter 11 retains the shape of the edge, as shown in FIG. Even if they are smaller than 90 and 80, the image signal output from the non-linear filter 11 is held only by slightly changing the shape of the edge as shown in FIGS. Further, as the height of the edge gradually decreases, the image signal output from the non-linear filter 11 gradually changes in the shape of the edge, and when the height of the edge reaches 70 which is equal to the threshold ε2. The shape of the edge of the image signal output from the non-linear filter 11 is as shown in FIG.
[0037]
As is apparent from a comparison between FIG. 19 and FIG. 7 showing the output of the conventional ε filter 1, in the conventional ε filter 1, the edge height of the input image signal is larger than the threshold ε = 100. As shown in FIG. 7, the shape of the edge after filtering has changed greatly even with a slightly smaller 99, but in the nonlinear filter 11 to which the present invention is applied, the edge of the input image signal is Is smaller than the threshold ε1, the shape of the edge after filtering gradually changes up to the threshold ε2.
[0038]
Next, FIG. 20 shows a second configuration example of the nonlinear filter to which the present invention is applied. The non-linear filter 21 is used in place of the ε filter 1 of the image signal processing apparatus shown in FIG. 1, and includes a narrow band processing unit 22 that sets a tap of five pixels in interval 4 and performs a filtering process. A mid-band processing unit 26 that sets a 5-pixel tap at interval 2 for the output of the narrow-band processing unit 22 and performs filtering processing, and a 5-pixel tap at interval 1 for the output of the mid-band processing unit 26 It is composed of a broadband processing unit 30 that performs filtering by setting.
[0039]
As shown in FIG. 21, the taps at interval 4 are the eighth, fourth, eighth, and

fourth pixels

18 and 14 on the left side of the pixel row arranged in the horizontal direction with reference to the target pixel C. , R4, and r8 are the neighboring pixels L2, L1, R1, and R2, respectively.
[0040]
As shown in FIG. 22, the taps in interval 2 are the fourth, second, and

fourth pixels

14 and 12 on the left side of the pixel row arranged in the horizontal direction with reference to the pixel of interest C. , R2, and r4 are the neighboring pixels L2, L1, R1, and R2, respectively.
[0041]
As shown in FIG. 23, the taps in interval 1 are the second, left, first, and second pixels l2, l1 on the left side of the pixel row arranged in the horizontal direction with respect to pixel of interest C, as shown in FIG. , R1, r2 are taken as neighboring pixels L2, L1, R1, R2, respectively.
[0042]
Returning to FIG. The narrow band processing unit 22 is configured similarly to the nonlinear filter 11 shown in FIG. That is, the control signal generator 23, the LPF 24, and the synthesizer 25 of the narrowband processor 22 correspond to the control signal generator 12, the LPF 13, and the synthesizer 14 of the nonlinear filter 11, respectively. The difference between the narrow band processing unit 22 and the nonlinear filter 11 is that the tap of the interval 1 shown in FIG. 12 is set in the nonlinear filter 11, whereas the narrow band processing unit 22 has the interval 4 shown in FIG. Is to set the tap.
[0043]
The middle band processing unit 26 is configured similarly to the nonlinear filter 11 shown in FIG. That is, the control signal generator 27, the LPF 28, and the synthesizer 29 of the middle band processing unit 26 correspond to the control signal generator 12, the LPF 13, and the synthesizer 14 of the nonlinear filter 11, respectively. The difference of the middle band processing unit 26 from the nonlinear filter 11 is that the tap of the interval 2 shown in FIG. 22 is set.
[0044]
Further, the broadband processing 30 is configured similarly to the nonlinear filter 11 shown in FIG. That is, the control signal generator 31, the LPF 32, and the synthesizer 33 of the middle band processor 26 correspond to the control signal generator 12, the LPF 13, and the synthesizer 14 of the nonlinear filter 11, respectively. The middle band processing unit 26 sets the tap of the interval 1 shown in FIG.
[0045]
FIG. 24 illustrates an example of tap coefficients used in the LPF 24 of the narrow band processing unit 22, the LPF 28 of the middle band processing unit 26, and the LPF 32 of the wide band processing unit 30.
[0046]
When the tap of interval 4 is set in the LPF 24 and the smoothed signal F11 is calculated, the tap coefficient {0, 0, 1, 0, 0} is used as in the case of Expression (3). In this calculation, a tap composed of 17 pixels is set in the conventional ε filter 1, and a tap coefficient ｛0,0,0,0,0,0,0,0,1,0,0,0,0,0 , 0, 0, 0}.
[0047]
When the tap of the interval 4 is set in the LPF 24 and the smoothed signal F13 is calculated, the tap coefficients {0, 1, 2, 1, 0} are used in the same manner as in Expression (4). In this calculation, taps of 17 pixels are set in the conventional ε filter 1, and tap coefficients ｛0, 0, 0, 0, 1, 0, 0, 0, 2, 0, 0, 0, 1, 0 , 0, 0, 0}.
[0048]
When the tap of interval 4 is set in the LPF 24 and the smoothed signal F15 is calculated, the tap coefficients {1, 2, 2, 2, 1} are used as in the case of Expression (5). In this calculation, taps of 17 pixels are set in the conventional ε filter 1, and tap coefficients ｛1, 0, 0, 0, 2, 0, 0, 0, 2, 0, 0, 0, 2, 0 , 0, 0, 1}.
[0049]
In the LPF 28, when the tap of the interval 2 is set and the smoothed signal F21 is calculated, the tap coefficient {0, 0, 1, 0, 0} is used as in the case of Expression (3). This operation is equivalent to setting a tap consisting of 9 pixels in the conventional ε filter 1 and performing weighted averaging using tap coefficients {0, 0, 0, 0, 1, 0, 0, 0, 0}. I do.
[0050]
In the LPF 28, when the tap of the interval 2 is set and the smoothed signal F23 is calculated, the tap coefficients {0, 1, 2, 1, 0} are used as in Expression (4). This operation is equivalent to setting a tap composed of 9 pixels in the conventional ε filter 1 and performing weighted averaging using tap coefficients {0, 0, 1, 0, 2, 0, 1, 0, 0}. I do.
[0051]
When the tap of interval 2 is set in the LPF 28 and the smoothed signal F25 is calculated, the tap coefficients {1, 2, 2, 2, 1} are used as in the case of the equation (5). This operation is equivalent to setting a tap composed of 9 pixels in the conventional ε filter 1 and performing weighted averaging using tap coefficients {1, 0, 2, 0, 2, 0, 2, 0, 1}. I do.
[0052]
When the tap of interval 1 is set in the LPF 32 and the smoothed signal F31 is calculated, the tap coefficient {0, 0, 1, 0, 0} is used as in the case of Expression (3).
[0053]
When the tap of interval 1 is set in the LPF 32 and the smoothed signal F33 is calculated, the tap coefficients {0, 1, 2, 1, 0} are used in the same manner as in Expression (4).
[0054]
When the tap of interval 1 is set in the LPF 32 and the smoothed signal F35 is calculated, the tap coefficients {1, 2, 2, 2, 1} are used as in the case of Expression (5).
[0055]
Next, the operation of the nonlinear filter 21 will be described. First, the filtering process of the narrowband processing unit 22 will be described with reference to the flowchart of FIG.
[0056]
In step S 1, the control signal generation unit 23 determines the pixels in the raster order constituting the input image signal as the pixel of interest C one by one. In step S2, the control signal generator 23 sets a tap of the interval 4 centering on the target pixel C as shown in FIG.
[0057]
In step S3, the LPF 24 performs a weighted average of the pixel of interest C and the neighboring pixels L2, L1, R1, and R2 determined by the control signal generation unit 23 using equations (1) to (3), and the result is obtained. The smoothing signals F11, F13, and F15 are output to the combining unit 254.
[0058]
In step S4, the control signal generation unit 23 determines the difference | L2-C |, | L1-C |, | R1-C |, | of the pixel value between the target pixel C and each of the neighboring pixels L2, L1, R1, and R2. R2-C | is calculated. Further, the control signal generator 23 includes the target pixel C and the

pixels

17, 16, 15, 13, 12, 11, which are located closer to the target pixel C than the neighboring pixels L 2 and R 2 and are not included in the tap. , R2, r3, r5, r6, r7 | I7-C |, | 16-C |, | 15-C |, | 13-C |, | 12-C |, | 11-C |, | R1-C |, | r2-C |, | r3-C |, | r5-C |, | r6-C |, | r7-C |
[0059]
In step S5, the control signal generator 23 calculates weighting coefficients w1 and w3 used in the synthesizer 25 based on the difference calculated in the processing in step S4.
[0060]
Specifically, the difference | L1-C |, | 13-C |, | 12− between the pixel value of the target pixel C and the pixel values located within the neighboring pixels L1 and R1 symmetrical with respect to the target pixel C. The largest one among C |, | 11-C |, | r1-C |, | r2-C |, | r3-C |, and | R1-C |
d1 = MAX [| L1-C |, | 13-C |, | 12-C |, | 11-C |, | r1-C |, | r2-C |, | r3-C |, | R1-C |] As shown in FIG. 15, the weighting coefficient w1 is calculated according to the variable d1.
If d1 <ε2, w1 = 0
If ε2 ≦ d1 <ε1, w1 = (d1−ε2) / (ε1−ε2)
When ε1 ≦ d1, w1 = 1
[0061]
Similarly, the difference | L2-C |, | 17-C |, | 16-C of the pixel value of the target pixel C and the pixels located within the neighboring pixels L2 and R2 located symmetrically around the target pixel C |, | 15-C |, | r5-C |, | r6-C |, | r7-C |, | R2-C |
d2 = MAX [| L2-C |, | 17-C |, | 16-C |, | 15-C |, | r5-C |, | r6-C |, | r7-C |, | R2-C |] A weighting coefficient w3 is calculated according to the variable d2.
If d2 <ε2, w3 = 0
If ε2 ≦ d2 <ε1, w3 = (d2−ε2) / (ε1−ε2)
When ε1 ≦ d2, w3 = 1
[0062]
The weighting coefficients w1 and w3 calculated in this way are output to the synthesizing unit 25 as control signals. In step S6, the synthesizing unit 25 synthesizes the smoothed signals F11, F13, and F15 calculated by the LPF 24 using the weighting coefficients w1 and w3 calculated by the control signal generating unit 23 according to the equation (6). The filtered value C ′ of the target pixel C is output to the middle band processing unit 26. This is the end of the description of the filtering process performed by the narrowband processing unit 22.
[0063]
Next, the image signal output from the narrow band processing unit 22 is subjected to a filtering process in the middle band processing unit 26, and further to a filtering process in the wide band processing unit 30. Note that the filtering process in the middle band processing unit 26 and the wide band processing unit 30 is the same as the filtering process in the above-described narrow band processing unit 22 except that the tap interval is different, and a description thereof will be omitted.
[0064]
According to the nonlinear filter 21, for example, an image signal in which the threshold ε1 is 100 and the threshold ε2 is 70, and the width of the steep edge falls within the interval 4 as shown in FIG. In this case, if the height of the edge is 100 which is equal to or larger than the threshold value ε1, the image signal output from the non-linear filter 21 has substantially the shape of the edge as shown in FIG. Is smaller than the threshold value ε1, the image signal output from the non-linear filter 21 has a gradually changing edge shape as shown in FIGS. Further, as the height of the edge gradually decreases, the image signal output from the non-linear filter 21 has a shape in which the shape of the edge gradually changes, and when the height of the edge reaches 70 which is equal to the threshold ε2. The shape of the edge of the image signal output from the non-linear filter 21 is as shown in FIG.
[0065]
As is apparent from a comparison between FIG. 28 and FIG. 10 showing the output of the conventional ε filter 1, in the conventional ε filter 1, the edge height of the input image signal is larger than the threshold ε = 100. As shown in FIG. 10, the shape of the edge after filtering has changed greatly even if it is slightly smaller than 99. However, in the nonlinear filter 21 to which the present invention is applied, the edge of the input image signal is Is smaller than the threshold ε1, the shape of the edge after filtering gradually changes up to the threshold ε2.
[0066]
The present invention can be applied to any apparatus that handles image signals, such as a video camera, a digital still camera, a printer, a display, and a computer.
[0067]
For example, when applied to a computer that executes image processing, when correcting image contrast, it is possible to obtain a high-quality contrast-corrected image while maintaining a dynamic range, and to combine images obtained under different lighting conditions. At the time of combining, only the difference between the respective contrast components can be corrected, and a natural combined image can be generated.
[0068]
Incidentally, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer built into dedicated hardware or installing various programs. It is installed from a recording medium into a possible general-purpose personal computer configured as shown in FIG. 29, for example.
[0069]
The personal computer 50 has a built-in CPU (Central Processing Unit) 51. An input / output interface 55 is connected to the CPU 51 via a bus 54. The bus 54 is connected to a ROM (Read Only Memory) 52 and a RAM (Random Access Memory) 53.
[0070]
The input / output interface 55 stores an input unit 56 including input devices such as a keyboard, a mouse, and a remote controller for inputting operation commands by a user, an output unit 57 for outputting a synthesized video signal to a display, and stores programs and various data. A storage unit 58 formed of a hard disk drive or the like, and a communication unit 59 formed of a modem, a LAN (Local Area Network) adapter, and the like, and performing communication processing via a network represented by the Internet are connected. Also,
A magnetic disk 61 (including a flexible disk), an optical disk 62 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk 63 (including an MD (Mini Disc)), and Is connected to a drive 60 that reads and writes data from and to a recording medium such as a semiconductor memory 64.
[0071]
A program that causes the CPU 51 to execute the above-described series of processing is supplied to the personal computer in a state where the program is stored in the magnetic disk 61 to the semiconductor memory 64, read by the drive 60, and installed in the hard disk drive built in the storage unit 58. Have been. Alternatively, it is conceivable that the information is supplied via a network. The program installed in the storage unit 58 is loaded from the storage unit 58 to the RAM 53 and executed according to a command from the CPU 51 corresponding to a command from the user input to the input unit 56.
[0072]
Note that, in this specification, the steps describing each flowchart include, in addition to the processing performed in chronological order according to the described order, not only the processing performed in chronological order but also the processing performed in parallel or individually. Is also included.
[0073]
【The invention's effect】
As described above, according to the present invention, in a filtering process for smoothing a portion other than an edge in a state where an edge having a sharp change in pixel value is accurately held, a high level of an edge included in an input image signal is obtained. , The edge can be gently changed even in the converted image signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image signal processing apparatus that emphasizes a portion other than an edge while preserving a steep edge in an image.
FIG. 2 is a diagram showing an image signal input to an ε filter of FIG. 1 and an output image signal.
FIG. 3 is a diagram illustrating an example of taps used in the ε filter of FIG. 1;
FIG. 4 is a diagram for explaining the operation of the ε filter of FIG. 1;
FIG. 5 is a diagram illustrating an example of an image signal before filter processing;
FIG. 6 is a diagram showing an image signal output from an ε filter corresponding to the image signal shown in FIG. 5;
FIG. 7 is a diagram showing an image signal output from an ε filter corresponding to the image signal shown in FIG. 5;
FIG. 8 is a diagram illustrating an example of an image signal before filter processing;
9 is a diagram showing an image signal output from an ε filter when the image signal shown in FIG. 8 is input.
10 is a diagram showing an image signal output from an ε filter when the image signal shown in FIG. 8 is input.
FIG. 11 is a block diagram illustrating a first configuration example of a nonlinear filter to which the present invention has been applied.
FIG. 12 is a diagram illustrating taps set by the nonlinear filter of FIG. 11;
FIG. 13 is a diagram showing tap coefficients used in the nonlinear filter of FIG. 11;
FIG. 14 is a flowchart illustrating a filtering process by the nonlinear filter of FIG. 11;
FIG. 15 is a diagram for explaining a method of determining a weighting coefficient.
16 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
17 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
18 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
19 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
FIG. 20 is a block diagram illustrating a second configuration example of a nonlinear filter to which the present invention has been applied.
21 is a diagram showing taps of interval 4 set by the narrow band processing unit in FIG.
FIG. 22 is a diagram illustrating taps in interval 2 set by the middle band processing unit in FIG. 20;
FIG. 23 is a diagram showing taps at interval 1 set by the wideband processing unit in FIG. 20;
FIG. 24 is a diagram showing tap coefficients used in the nonlinear filter of FIG. 20;
25 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
26 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
27 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
28 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
FIG. 29 is a block diagram illustrating a configuration example of a general-purpose personal computer.
[Explanation of symbols]
Reference Signs List 11 nonlinear filter, 12 control signal generator, 13 LPF, 14 synthesizer, 21 nonlinear filter, 22 narrow band processor, 23 control signal generator, 24 LPF, 25 synthesizer, 26 middle band processor, 27 control signal generator Unit, 28 LPF, 29 combining unit, 30 middle band processing unit, 31 control signal generating unit, 32 LPF, 33 combining unit, 51 CPU, 61 magnetic disk, 62 optical disk, 63 magneto-optical disk, 64 semiconductor memory

Claims

In a signal processing device that adjusts the level of a signal that is continuously arranged,
Designating means for sequentially designating the signals arranged continuously as a signal of interest, and a predetermined signal among the signals arranged continuously with reference to the signal of interest designated by the designating means. Determining means for determining a plurality of nearby signals for each interval;
A calculating means for calculating the weighted average of the signal of interest and the plurality of neighboring signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
Calculating means for calculating the level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A signal processing device comprising: a synthesizing unit that synthesizes the plurality of smoothed signals calculated by the calculating unit according to the weighting coefficient calculated by the calculating unit.

The signal processing device according to claim 1, wherein the signal is a pixel value of a pixel forming an image.

A plurality of signal processing systems including the designation unit, the determination unit, the calculation unit, the calculation unit, and the synthesis unit are present, and the plurality of signal processing systems are arranged in series. Item 2. The signal processing device according to item 1.

4. The signal processing apparatus according to claim 3, wherein the determination units included in the plurality of signal processing systems have different predetermined intervals.

In a signal processing method for adjusting a level of a signal arranged continuously,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step in accordance with the weighting coefficients calculated in the processing of the calculation step.

A program for adjusting the level of a signal that is continuously arranged,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step according to the weighting coefficients calculated in the processing of the calculation step. Recording media.

A program for adjusting the level of a signal that is continuously arranged,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A computer-readable storage medium storing a program for causing a computer to execute a process including a combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step according to the weighting coefficients calculated in the processing of the calculation step.