JP2021152763A - 信号処理装置、信号処理方法およびプログラム - Google Patents
信号処理装置、信号処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021152763A JP2021152763A JP2020052998A JP2020052998A JP2021152763A JP 2021152763 A JP2021152763 A JP 2021152763A JP 2020052998 A JP2020052998 A JP 2020052998A JP 2020052998 A JP2020052998 A JP 2020052998A JP 2021152763 A JP2021152763 A JP 2021152763A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- section
- estimated
- estimation
- analysis target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims description 71
- 238000012935 Averaging Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000006866 deterioration Effects 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 description 40
- 230000008569 process Effects 0.000 description 36
- 238000001914 filtration Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 240000004160 Capsicum annuum Species 0.000 description 2
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
以下、図面を参照しながら本発明の実施形態について説明する。図1は、本実施形態に係る信号処理装置10の機能構成例を示す概略ブロック図である。
信号処理装置10は、解析対象とする解析対象信号を取得し、複数個の第1区間のそれぞれについて、その区間内の解析対象信号をなす信号値の系列の特性を示す特性パラメータを算出する。信号処理装置10は、複数個の第1区間のそれぞれについて算出した特性パラメータに基づいて、その複数個の第1区間とは別個の第2区間内の解析対象信号の推定値を算出し、算出した推定値を含む系列を区間別推定信号として生成する。そして、信号処理装置10は、複数個の第1区間のそれぞれについて生成した区間別推定信号に含まれる推定値を平均化し、平均化した推定値を信号値とする系列を推定信号として生成する。
ROM104は、各種のプログラムや各種のデータを格納可能とする。ROM104に格納されるプログラムやデータは、プロセッサ102の制御のもとで読み出されうる。
RAM106は、プロセッサ102の制御のもとに、各種のプログラムやデータを一時的に記憶し、記憶されるプログラムやデータを読み出す。RAM106の記憶領域は、プロセッサ102がプログラムを実行する際に作業領域として用いられる。
次に、区間別推定信号の生成方法の例について説明する。図3は、本実施形態に係る区間別推定信号の生成方法の例を説明するための説明図である。図3に示す例では、解析対象信号は時間の経過に応じて変化する信号値を有する一次元信号である。図3において、縦軸、横軸は、それぞれ振幅A、時刻tを示す。周囲区間w32、参照区間w34は、それぞれ期間Tの時間窓である。変位dは、周囲区間w32から参照区間w34までの時間を示す。
(ステップS12)特性解析部124は、解析対象信号のうち周囲区間w32を分析窓とし、その分析窓で画定される部分を抽出する(抽出)。図3に示す例では、周囲区間w32における解析対象信号の各時刻tにおける信号値は、Acos(2πft+φ)と表されると仮定する。f、φは、それぞれ周波数、位相を示す。
(ステップS14)特性解析部124は、抽出した信号に対して周波数成分ごとの特性パラメータを算出する(解析)。算出される特性パラメータは、位相φ、周波数fおよび振幅Aとなる。
ステップS16において、特性解析部124は、周囲区間w32について定めた位相φに対して、変位dに周波数fに対応する波数f/Tを乗じて得られる調整値fd/Tを加算して調整後の位相φ’を算出する。図3に示す例では、再構成される区間別推定信号の信号値は、Acos(2πft+φ+fd/T)と表される。
次に、本実施形態に係る特性パラメータの算出方法の例について説明する。周囲区間内の解析対象信号をなす信号値の系列の特性を示す特性パラメータを算出する手法として、特性解析部124は、例えば、NHAを用いることができる。NHAは、解析対象信号を構成する信号値s(x)から周波数成分A’cos(2πf’x+φ’)との差分である周波数成分残差の大きさが分析窓内のサンプルn全体として最小化されるように、その周波数成分の特性パラメータとして周波数f’、振幅A’および位相φ’の組を算出する手法である。また、特性解析部124は、周波数成分残差の大きさが最小化した残差周波数成分を新たな信号値とし、新たな別個の周波数成分について特性パラメータを算出する処理を順次繰り返す。これにより、周波数成分ごとに特性パラメータの組が算出される。周波数成分ごとに特性パラメータを算出する処理の繰り返し回数は、予め設定された1以上の整数(通例、2以上)であってもよい。この繰り返し回数が特性パラメータを算出する周波数成分の数に相当する。また、繰り返し回数を特に定めず、周波数成分の残差の大きさ、または、その大きさに対する解析対象信号の大きさとの比が予め設定された下限以下となるまで特性パラメータを算出する処理を繰り返してもよい。NHAによれば、複数の周波数成分のそれぞれの周波数は等間隔に分布するとは限られないため、離散フーリエ変換などの既存の手法よりも解析対象信号の特性を示す特性パラメータの数を減少することができる。また、分析窓による分析精度に対する影響が小さく、分析精度の周波数依存性が抑えられる。
解析対象信号として二次元信号を用いる場合には、特性解析部124は、式(2)に示すコスト関数F(A’,fx’,fy’,φ’)が最小化される振幅A’、二次元の周波数fx’,fy’、位相φ’を探索する。
本願では最小化とは、絶対的に最小となる最小値を算出または発見することに限られず、最小値を与える値(例えば、特性パラメータ)を極力探索するという意味を含み、その処理により指標値が一時的に増加することもある。最小化の手法として、例えば、最急降下法(Steepest Descent Method)が利用可能である。最急降下法は、その時点(現時点)の特性パラメータの各要素値(本実施形態では、各次元の周波数f、振幅A、位相φのそれぞれが該当)について、コスト関数のその要素値による偏微分値に所定の係数を乗じて得られる更新値を差し引いて次時点の要素値を算出する処理を再帰的に繰り返す手法である。処理の繰り返しは、例えば、現時点における特性パラメータに基づくコスト関数と次時点における特性パラメータに基づくコスト関数との差分の絶対値、つまりコスト関数の変化量が所定の変化量の閾値以下となるまで実行すればよい。
特に、二次元の解析対象信号が1フレームの平面画像を示す画像データである場合には、特性解析部124は、式(2)に代え、式(3)の右辺に示すコスト関数F(A’,fx’,fy’,φ’)が最小化される振幅A’、二次元の周波数fx’,fy’,位相φ’を探索すればよい。
ステップS14において、特性解析部124は、ステップS12で抽出した周囲パッチoi54に対して、例えば、式(3)を用いて特性パラメータとして周波数成分kごとに周波数fxk’,fyk’、振幅Ak’、および位相φk’を算出する(解析)。図5の左下には、算出された特性パラメータで表される位相補正前の周囲パッチri54における信号値の分布を示す。
次に、本実施形態に係る強調フィルタリング処理の例について説明する。強調処理部128は、複数の周囲区間に相当する周囲ブロックのそれぞれについて生成されたブロック別推定パッチをなす画素ごとの信号値を、複数の周囲ブロック間で平均化して得られる平均値を信号値として有する推定パッチを推定信号として生成する。平均化処理は、強調フィルタフィルタリングの一態様とみることができる。これは、平均化処理により、信号値に含まれる信号成分を相対的に強調し、ランダムなノイズ成分を低減することができるためである。
(ステップS22)グルーピング(Grouping)、(ステップS24)三次元変換(3D transform)、(ステップS26)強制閾値処理(Hard-thresholding)、(ステップS28)逆三次元変換(Inverse 3D transform)、(ステップS30)集約(Aggregation)
(ステップS24)強調処理部128は、取得した複数のブロック別推定パッチを、例えば、定めた順位に従って積層して1個の三次元画像データを生成する。強調処理部128は、生成した三次元画像データに対して離散フーリエ変換を行い、三次元の周波数領域における周波数領域係数を算出する。
(ステップS30)強調処理部128は、処理済みのブロック別推定パッチの画素ごとに、ある層の信号値とその層の重み係数を乗じて得られる乗算値の層間の総和を新たな信号値として算出し、算出された信号値を含む推定パッチを生成する。各層のブロック別推定パッチに係る重み係数として、例えば、強調処理部128は、ノイズのパワーとの積に反比例する値とする。但し、処理対象信号に含まれるノイズ成分は、一般に未知でありうる。そこで、強調処理部128は、ノイズ成分のパワーに代えて、その層のブロック別推定パッチと参照パッチとのMSEを用いてもよい。推定パッチの生成の信号成分とノイズ成分が無相関であることを仮定すれば、ノイズ成分が多いほどMSEに対するノイズ成分の割合が多くなり、推定精度が十分に高い場合、即ち、ブロック別推定パッチが十分に参照パッチに近似する場合には、MSEがほぼノイズ成分のパワーに比例するためである。
以下、本実施形態に係るノイズ抑圧処理の例について説明する。図9は、本実施形態に係るノイズ抑圧処理の例を示すフローチャートである。図9に示す例では、1フレームの平面画像を示す画像データを解析対象信号として用い、特性パラメータの算出にNHAを用いる場合を例にする。
(ステップS118)強調処理部128は、信号推定部126が生成した周囲ブロックごとのブロック別推定パッチと参照パッチとの差分の大きさに基づいて、個々の推定パッチの順序をソートする。強調処理部128は、例えば、大きさの指標値としてMSEを算出し、ブロック別推定パッチの順序をMSEの昇順に定める。
(ステップS120)強調処理部128は、個々のブロック別推定パッチに対して強調フィルタリングを行って推定パッチを生成する。強調処理部128は、強調フィルタリングにおいて、上記のステップS24−S30の処理を行う。その後、図9に示す処理を終了する。
次に、図9に例示される処理により1フレームの平面画像内の複数の参照ブロックのそれぞれについて生成された推定された推定パッチを二次元平面内に配置して構成される再構成画像の例について説明する。但し、参照ブロック、周囲ブロックの大きさを、それぞれ8×8とした。参照ブロック、周囲ブロックの大きさは任意に設定可能であるが、小さくすることで各ブロックの信号成分が比較的周波数の低い低周波成分が主となる。そのため、不規則な模様による推定精度の低下を抑制することができる。また、周波数成分の数Kを30個とした。周波数成分の数Kも任意に設定可能であるが、周波数成分の数Kを多くするほど推定精度が高くなる傾向がある。例えば、参照ブロックの大きさが8×8である場合には、周波数成分Kが5−20個であれば周囲パッチについてNHAを実行して得られた特性パラメータから推定パッチのPSNR(後述)は40dB以上となる。この推定精度は、人間の視覚により参照パッチと識別できない程度に十分に良好な品質に相当する。
平均化処理の手法は、信号成分をノイズ成分よりも相対的に強調できる手法であれば、BM3Dを応用した手法に限られず、他の手法、例えば、非局所平均化フィルタリング法(NLM: Non-local Means Filtering)を応用した手法であってもよい。NLMにおいても、画像の一部の周囲パッチに代え、上記のブロック別推定パッチを適用すればよい。また、平均化処理の対象は、個々の周囲区間の区間別推定信号に限られず、参照区間の解析対象信号も含まれてもよい。その場合においても、参照区間の解析対象信号に含まれるノイズ成分と、区間別推定信号に含まれるノイズ成分とを平均化して合成されるノイズ成分を、合成される信号成分よりも相対的に低減することができる。
Claims (8)
- 複数個の第1区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する解析部と、
前記第1区間のそれぞれについて前記特性パラメータに基づいて第2区間における解析対象信号の推定値を含む区間別推定信号を生成する推定部と、
前記第1区間のそれぞれの区間別推定信号を平均化して推定信号を生成する処理部と、
を備える信号処理装置。 - 前記解析部は、周波数成分ごとの振幅と位相を前記特性パラメータとして算出し、
前記推定部は、前記周波数成分ごとに前記第1区間のそれぞれから前記第2区間への変位に基づいて前記位相の補正値を算出し、前記振幅と前記位相の補正値に基づいて前記第2区間における再構成値を算出し、
前記再構成値を含む周波数別推定信号を合成して前記区間別推定信号を生成する
請求項1に記載の信号処理装置。 - 前記解析部は、前記周波数成分ごとの周波数、振幅および位相に基づいて前記第1区間のそれぞれにおける再構成値を算出し、
前記再構成値を含む周波数別推定信号と当該第1区間のそれぞれにおける解析対象信号との差分が最小化されるように、前記周波数成分ごとの周波数、振幅および位相を算出する
請求項2に記載の信号処理装置。 - 前記処理部は、前記区間別推定信号のうち、前記第2区間における前記解析対象信号との差分が小さいほど優先して、前記平均化の対象とする区間別推定信号を少なくとも2個選択する
請求項1から請求項3のいずれか一項に記載の信号処理装置。 - 前記処理部は、前記第1区間のそれぞれの区間別推定信号を加重平均して前記推定信号を算出し、
前記第2区間における前記解析対象信号との差分が大きいほど、前記第1区間のそれぞれの区間別推定信号の前記推定信号に対する寄与が小さくなるように、前記加重平均における前記第1区間のそれぞれの区間別推定信号に対する係数を定める
請求項1から請求項4のいずれか一項に記載の信号処理装置。 - 前記解析対象信号は、二次元画像における画素ごとの信号値を示す画像信号であり、
複数個の前記第1区間と前記第2区間は、それぞれ異なる前記二次元画像の一部の領域である
請求項1から請求項5のいずれか一項に記載の信号処理装置。 - 信号処理装置における信号処理方法であって、
複数個の第1区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する第1ステップと、
前記第1区間のそれぞれについて前記特性パラメータに基づいて第2区間における解析対象信号の推定値を含む区間別推定信号を生成する第2ステップと、
前記第1区間のそれぞれの区間別推定信号を平均化して推定信号を生成する第3ステップと、
を有する信号処理方法。 - 信号処理装置のコンピュータに、
複数個の第1区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する第1手順と、
前記第1区間のそれぞれについて前記特性パラメータに基づいて第2区間における解析対象信号の推定値を含む区間別推定信号を生成する第2手順と、
前記第1区間のそれぞれの区間別推定信号を平均化して推定信号を生成する第3ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052998A JP7427239B2 (ja) | 2020-03-24 | 2020-03-24 | 信号処理装置、信号処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020052998A JP7427239B2 (ja) | 2020-03-24 | 2020-03-24 | 信号処理装置、信号処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021152763A true JP2021152763A (ja) | 2021-09-30 |
JP7427239B2 JP7427239B2 (ja) | 2024-02-05 |
Family
ID=77886562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020052998A Active JP7427239B2 (ja) | 2020-03-24 | 2020-03-24 | 信号処理装置、信号処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7427239B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018154733A1 (ja) * | 2017-02-24 | 2018-08-30 | 三菱電機株式会社 | 電動機のトルク脈動補正装置および補正方法、エレベーターの制御装置 |
-
2020
- 2020-03-24 JP JP2020052998A patent/JP7427239B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018154733A1 (ja) * | 2017-02-24 | 2018-08-30 | 三菱電機株式会社 | 電動機のトルク脈動補正装置および補正方法、エレベーターの制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7427239B2 (ja) | 2024-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach | |
JP4893489B2 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
US8965141B2 (en) | Image filtering based on structural information | |
Wang et al. | A variational model with barrier functionals for Retinex | |
Tsai | Adaptive local power-law transformation for color image enhancement | |
JP2001057677A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
JP2007507809A (ja) | レティネックス型アルゴリズムを高速化する方法 | |
KR101134463B1 (ko) | 색 보정 레티넥스 방법 | |
Muniraj et al. | Underwater image enhancement by color correction and color constancy via Retinex for detail preserving | |
Gonzales et al. | Fast Retinex for color image enhancement: methods and algorithms | |
Chaudhry et al. | Underwater visibility restoration using dehazing, contrast enhancement and filtering | |
Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
Leigh et al. | Comprehensive analysis on the effects of noise estimation strategies on image noise artifact suppression performance | |
Zhang et al. | Underwater image enhancement via multi-scale fusion and adaptive color-gamma correction in low-light conditions | |
Ke et al. | Single underwater image restoration based on color correction and optimized transmission map estimation | |
CN108629740B (zh) | 一种图像去噪的处理方法及装置 | |
Raveendran et al. | Image fusion using LEP filtering and bilinear interpolation | |
JP7427239B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
Park et al. | False contour reduction using neural networks and adaptive bi-directional smoothing | |
CN114926452B (zh) | 一种基于NSST和β散度非负矩阵分解的遥感图像融合方法 | |
WO2011086594A1 (ja) | 画像処理装置、及びその方法 | |
CN115082296A (zh) | 一种基于小波域图像生成框架的图像生成方法 | |
WO2011087083A1 (ja) | データ処理方法、データ処理装置、及びデータ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7427239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |