JP2023072643A

JP2023072643A - デジタル画像における背景高周波ノイズを抑制するデータ処理方法

Info

Publication number: JP2023072643A
Application number: JP2022096600A
Authority: JP
Inventors: ▲啓▼光孫; Chi-Kuang Sun; バスカル・ジョティ・ボーラ; Jyoti Borah Bhaskar
Original assignee: National Taiwan University NTU
Current assignee: National Taiwan University NTU
Priority date: 2021-11-12
Filing date: 2022-06-15
Publication date: 2023-05-24
Anticipated expiration: 2042-06-15
Also published as: TW202320012A; EP4181054A1; JP7385311B2; TWI776733B; US20230153953A1; EP4181054B1

Abstract

【課題】デジタル画像における背景の高周波ノイズを迅速に抑制するデータ処理方法を提供する。【解決手段】デジタル画像中の背景高周波ノイズを高速に抑圧するデータ処理方法を提供する。データ処理方法は、入力画像に対して第１の増幅処理、第１のピクセルビニング処理または第１のバイリニア補間処理、第１のガウスぼかし処理、第２のバイリニア補間処理、第１の減算処理、第２のガウスぼかし処理、第２の増幅処理および第２の減算処理を行って入力画像から減算マスクを引き、出力画像を生成する。【選択図】図１

Description

本発明は、データ処理方法に関し、より詳細には、デジタル画像における背景の高周波ノイズを迅速に抑制するデータ処理方法に関する。

アナログ信号をデジタル化する際、様々な機器や環境要因によって、デジタル化されたデータセットが高周波ノイズで汚染されることがある。信号品質を向上させるためのアナログフィルターがあるが、このような構成は通常、専用のハードウェアを必要とし、信号収集システムの有効帯域幅を制限する可能性がある。

本発明は、上記技術的不備に対して、デジタル画像に含まれる背景の高周波ノイズを迅速に抑制し、高周波ノイズにダメージされたターゲット信号を復元することができるデータ処理方法を提供するものである。

本実施形態において、本発明は、デジタル画像における背景高周波ノイズを迅速に抑制するデータ処理方法を提供し、データ処理方法は、処理装置にて、以下のステップを実行することを含む。第１の寸法を有し、複数のピクセル又は複数のデータ点を含む入力画像を取得し、前記入力画像に対して第１の増幅処理を行い、入力画像に第１の増幅率を乗じ、第１の増幅画像を生成し、第１の増幅画像に対してピクセルビニング処理行い、前記第１の増幅画像を縮小率によりリサイズして、第２の寸法を有する第１リサイズ画像を生成し、前記第１リサイズ画像に対して第１のカーネルサイズを有するガウスカーネルによってガウスぼかし(Gaussian Blur)を施し、第１のぼかし画像を取得し、第１のぼかし画像に対してバイリニア補間(Bilinear Interpolation)を行うことによって、第１のぼかし画像を第１の寸法を持ちる第２のリサイズ画像を得て、前記第２のリサイズ画像に対して第１の減算処理を行うことによって、前記第２のリサイズ画像から第１の増幅画像を減算してノイズ関連画像を生成し、ノイズ関連画像に対して、第２のカーネルサイズのガウスカーネルによって畳み込み演算を行うことにより第２のぼかし画像を取得し、前記第２のぼかし画像に対して第２の増幅処理を行い、第２の増幅率を乗じ、前記第１の寸法を持ちる減算マスクを生成し、前記入力画像に対して第２の減算処理を行い、入力画像から減算マスクを減算して出力画像を生成する。

本発明が提供するデジタル化画像の背景高周波ノイズを高速に抑制するデータ処理方法は、以下の利点を有する。

１．ハードウェアを追加することなく、超高速ノイズ抑制に活用することができる。

２．従来のぼかしを用いたノイズ除去アルゴリズムとは異なり、原画の解像度に与える影響が少ない。

３．ノイズ強度がターゲット信号強度と同等以上の場合、超高速処理でターゲット信号の情報を復元することができる。

発明の特徴及び技術内容がより一層分かるように、以下本発明に関する詳細な説明と添付図面を参照する。しかし、提供される添付図面は参考と説明のために提供するものに過ぎず、本発明の特許請求の範囲を制限するためのものではない。

本発明の一実施形態に係るデータ処理方法を示すフローチャートである。本発明の一実施形態に係る入力画像を示す模式図である。本発明の一実施形態によるノイズ関連画像を示す模式図である。本発明の一実施形態による減算マスクを示す模式図である。本発明の一実施形態に係る出力画像を示す模式図である。入力画像セットと、本発明の一実施形態に係るデータ処理方法によって処理される画像セットとの比較結果を示す図である。本発明の一実施形態による、i7-9800X CPU、Quadro P1000 GPU及びQuadro RTX 8000 GPUによる入力画像寸法の処理時間を示すグラフである。

下記より、具体的な実施例で本発明が開示する「デジタル画像に含まれる高周波の背景ノイズを高速に抑制するデータ処理方法」に係る実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な観点又は応用に基づいて、本発明の精神逸脱しない限りに、均等の変形と変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。

以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。また、本明細書に用いられる「又は」という用語は、実際の状況に応じて、関連する項目中の何れか一つ又は複数の組合せを含み得る。

図１は、本発明の一実施形態に係るデータ処理方法を示すフローチャートである。図１を参照すると、本発明の一実施形態は、デジタル画像における背景の高周波ノイズを迅速に抑制するためのデータ処理方法を提供するものである。データ処理方法は、１つ以上のプロセッサ（中央処理装置及びグラフィカルプロセッサなど）及び記憶装置を含むコンピューティングデバイスによって実施することができる。例えば、中央処理装置及びグラフィカルプロセッサは、記憶装置からコンピュータ可読命令にアクセスして、本発明によって提供されるデータ処理方法を実行するようにコンピューティング装置を制御するように構成され得る。

記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブなど、データを記憶するために使用できる任意の記憶装置とすることができるが、これらに限定されるものではない。

演算装置は、例えば、データベース、汎用プロセッサ、画像処理装置、コンピュータ、サーバなど、プログラミングコードとプロセッサ・チップを統合した独自のハードウェアなど、特定の論理回路や特定の機能を有する装置によって実現することが可能である。より詳細には、本発明のデータ処理方法は、コンピュータプログラムを用いることにより実現することができる。コンピュータプログラムは、非一過性のコンピュータ読み取り可能な記録媒体、例えば、読み取り専用メモリ、フラッシュメモリ、フロッピーディスク、ハードディスク、光ディスク、フラッシュドライブ、磁気テープ、ネットワークアクセス可能なデータベース、または同様の機能を有するコンピュータ読み取り可能な記録媒体に格納することが当業者には容易に想到し得るものである。

図１を参照すると、データ処理方法は、グラフィカル処理装置を構成して、以下のステップを実行することを含む。

ステップＳ１０：入力画像ＩＮＰＵＴを取得する。

入力画像ＩＮＰＵＴは、第１の寸法として第１の幅と第１の高さを有し、複数のピクセルまたは複数のデータ点を含む。さらに、入力画像ＩＮＰＵＴは、元の入力画像ＩＮＰＵＴの高周波ノイズ強度が、後続のステップで有効な減算マスクを生成できない原因となるその暗い隣人に分配されないように、いかなるタイプのローパスフィルターによっても処理されていない画像でなければならないことに留意すべきである。

本発明の一実施形態による入力画像の概略図である図２が参照される。入力画像ＩＮＰＵＴは、例えば、データ点に対応する１０×１０ピクセルを有する８ビットグレースケールデジタル化画像であり得、各データ点上の数字はその位置におけるグレースケール値を表す。

ステップＳ１１：入力画像ＩＮＰＵＴに対して第１の増幅処理を行い、入力画像に第１の増幅率を乗算し、第１の増幅画像ＡＭＰ１を生成する。このステップは、入力画像ＩＮＰＵＴに含まれる弱い強度の情報を、好ましくは飽和に近い状態で増幅するものである。

第１の増幅過程は、式ｇ（ｒ，ｃ）＝α×ｆ（ｒ，ｃ）で表すことができる。

ここでｆ（ｒ，ｃ）は入力画像ＩＮＰＵＴである。ｇ（ｒ，ｃ）は第１の増幅画像ＡＭＰ１である。ｒは、縦軸の画素またはデータ点の位置のいずれかを表す。ｃは、横軸の画素またはデータ点の位置のいずれかを表す。αは第１の増幅率である。理想的には、第１の増幅率は、８ビットデータセットに対して２５５．０を乗じた最小関心強度の逆数として選択することができる。本発明の好ましい実施形態において、第１の増幅率αの範囲は、１．０＜α≦５．０とすることができる。

ステップＳ１２：第１の増幅画像ＡＭＰ１に対してピクセルビニング処理または第１のバイリニア補間処理を行い、第１の増幅画像ＡＭＰ１を縮小率でリサイズして、第２の寸法とした第２の幅と第２の高さとを有する第１のリサイズ画像ＲＥＳＩＺＥ１を生成する。つまり、ピクセルビニングは、対象となる対象画素の周囲の画素を結合して、対象画素の輝度を上げるために使われる。

ここで、第１のバイリニア補間処理は、第１の増幅画像ＡＭＰ１のサイズを縮小し、縮小の際に、連続したブロックのつなぎ目に現れるアーチファクト(Artifact)を最小化することができる。

ピクセルビニング処理または第１のバイリニア補間処理は、以下の式で表される。

ここでは、Ｒ、Ｃはそれぞれ第１の高さと第１の幅を表す。Ｒ’、Ｃ’はそれぞれ、第二の高さと第二の幅を表し、ｇ^Ｄ（r’，c’）は第１のリサイズ画像であり、r’、c’はそれぞれ、前記第１のリサイズ画像の複数の画素又は複数のデータ点の縦軸の位置及び横軸の位置の一方を表す。

例えば、第１の増幅画像ＡＭＰ１に縮小率を３にしてピクセルビニング処理又は第１のバイリニア補間処理を施し、得られた第１のリサイズ画像ＲＥＳＩＺＥ１は、実質的に第１の増幅画像ＡＭＰ１の平滑層である。

ステップＳ１３：第１のリサイズ画像ＲＥＳＩＺＥ１に対して、第１のカーネルサイズのガウスカーネルを用いながら畳み込み演算を行うことにより、第１のガウスぼかし処理を行い、第１のぼかし画像ＢＬＵＲ１を取得する。

第１のガウスぼかし処理は、以下の式で表すことができる。

ここでＬ（r’，c’）は，第１のぼかし画像ＢＬＵＲ１を表す。ｇ１×ｇ２は第１のカーネルサイズを表す。

ガウスぼかしは、実は画像処理の分野で広く使われているローパスフィルターの一種で、画像ノイズの低減やディテールレベルの低減によく使われる。ガウスぼかしは、コンピュータビジョンアルゴリズムの前処理段階でも、異なるスケールサイズでの画像強調に使用されている。

なお、第１の増幅画像ＡＭＰ１の平滑層を得るためには、まず第１の増幅画像ＡＭＰ１を３倍縮小し、第１のカーネルサイズが例えば２９×２９のガウスカーネルを用いて、第１のガウスぼかし処理を実行する。ピクセルビニング処理やバイリニア補間処理を行わずに同様の平滑層を得るためには、より大きなガウスカーネルが必要であるが、中～大サイズのデータセットでは、より大きなガウスカーネルは比較的高価である。本発明の実施形態において、平滑層のサイズ低減では、いくつかのアプリケーションにおいて有用な高周波情報をよりよく保存するのに役立ち得る。

ステップＳ１４：第１のぼかし画像ＢＬＵＲ１に対して第２のバイリニア補間処理を行い、第１のぼかし画像ＢＬＵＲ１を、第２の幅および第２の高さ（Ｒ’×Ｃ’）を有するものから第１の幅および第１の高さ（Ｒ×Ｃ）を有する第２のリサイズ画像ＲＥＳＩＺＥ２に変換させた。

第２のバイリニア補間処理は、以下の式で表される。

ここで、Ｌ^Ｕ（r，c）は第２のリサイズ画像ＲＥＳＩＺＥ２となる。

同様に、第２のバイリニア補間処理は、第１のぼかし画像ＢＬＵＲ１のサイズを拡大するために用いる。拡大する際に、連続したブロックのつなぎ目に現れるアーチファクト(Artifact)を最小限に抑えられる。

ステップＳ１５：第２のリサイズ画像ＲＥＳＩＺＥ２および第１の増幅画像ＡＭＰ１に対して第１減算処理を行い、第２のリサイズ画像ＲＥＳＩＺＥ２から第１の増幅画像ＡＭＰ１を減算して、ノイズ関連画像を生成する。

本発明の一実施形態によるノイズ関連画像ＳＵＢ１の模式図である図３をさらに参照する。図３に示すように、ステップＳ１５の目的は、ノイズ及び低周波構造に対応する位置にゼロ強度をもたらし、ノイズの近傍に非ゼロ強度を残すことである。図２に示すように、選択されたフレームの位置ｆ（９，２）は値１２７の高周波ノイズ画素であるが、図３の選択枠の同じ位置は０であり、選択枠の近傍ブロックは非０の強度を獲得している。また、図２の中央部の低周波の構造は、図３ではゼロで埋められている。なお、最初の減算処理で発生する負の値を持つ画素またはデータ点は、すべてゼロに置き換えられる。

ステップＳ１６：第１の減算画像ＳＵＢ１に対して、第２のカーネルサイズのガウスカーネルを用いながら畳み込み演算を行うことにより、第２のガウスぼかし処理を行い、第２のぼかし画像ＢＬＵＲ２が得られる。

例えば、第２カーネルサイズがＭ×Ｍ（Ｍは例えば３でもよい）のガウスカーネルを用いて、ノイズ関連画像に対してガウスぼかしを行って非ゼロの強度を再分配し、ノイズ関連画像中のノイズに対応する位置を（その近傍はまだ非ゼロであるので）非ゼロの値に変化させることが目的であると考えられる。

ステップＳ１７：第２のぼかし画像ＢＬＵＲ２に対して第２の増幅処理を行い、第２のぼかし画像ＢＬＵＲ２に第２の増幅率を乗じ、第１の幅および第１の高さを有する減算マスクＭＡＳＫを生成する。例えば、第２の増幅率は、ノイジーバックグラウンド領域に対応する十分に強い画素（データポイント）を得るように、非ゼロ値を強化するために、２．０とすることができる。

さらに、本発明の一実施形態による減算マスクの模式図である図４を参照することができる。図４に示すように、第２増幅率によって増幅された減算マスクＭＡＳＫにおいて、上述した選択フレームの位置の値は１５６であり、選択フレームの位置の１２７よりも大幅に高い値であるｆ（９，２）を図２に示す。

ステップＳ１８：入力画像ＩＮＰＵＴと減算マスクＭＡＳＫに対して第２の減算処理を行い、入力画像ＩＮＰＵＴから減算マスクＭＡＳＫを減算して、出力画像ＳＵＢ２を生成するステップ。

第１の減算処理、第２のガウスぼかし処理、第２の増幅処理、および第２の減算処理は、以下の式で表される。

ここで、Ｆ（ｒ，ｃ）は出力画像SUB2を表す。βは第２の増幅率である。Ｍ×Ｍは第２のカーネルサイズである。本発明の好ましい実施形態において、第２の増幅率の範囲は、1.0<β≦10.0であり、第２のカーネルサイズの範囲は、Ｍで定義される。また、Ｍ ≦ 7である。

ここで、Ｍは１より大きい奇数でなければならず、計算情報に関係するため、できるだけ小さい数でなければならないことに注意する必要がある。高周波ノイズの影響が大きい場合、Ｍを高くすることで高周波ノイズを抑制できる場合がある。また、高周波ノイズの混入の程度によっては、より高い第２増幅率（β）を用いることも可能である。

本発明の一実施形態による出力画像の模式図である図５をさらに参照することができる。図５に示すように、入力画像ＩＮＰＵＴから減算マスクＭＡＳＫを減算した後、図２にて選択されたフレームｆ（９，２）ではゼロにされながら、Ｆ（９，２）中心部の低周波構造をほぼ保存しつつある。

さらに、本発明の実施形態に従って描画された入力画像セットと、本発明のデータ処理方法を適用した画像セットとの比較を示す図６を参照することができる。

ノイズ密度が低く、信号強度がノイズ混入レベルと同程度、あるいは信号強度がノイズ混入レベルより高く、ターゲット信号があまりダメージを受けていない場合、ハイパスフィルターを直接適用してノイズを分離し、元の入力画像から減算してターゲット信号を回復することができる。しかし、ノイズの密度や強度が高くなると、特に信号強度が比較的弱い場合、この方法ではノイズに汚された低周波情報を識別できないことがある。

例えば、図６の左側のＡ、Ｂ、Ｃと書かれた３つの画像を分離するためにハイパスフィルタを適用した場合、画像Ａのノイズのみを効果的に処理することができる。しかし、本発明のデータ処理方法を適用すると、Ｊ、Ｋ、Ｌとラベル付けされた３つの画像は、効果的にノイズを抑制し、対象信号の情報を復元できることがわかる。

また、処理速度を評価するために、本発明の一実施形態は、さらに、ｉ７－９８００ＸＣＰＵと、ＣＵＤＡコア数がそれぞれ６４０と４６０８であるＱｕａｄｒｏＰ１０００とＱｕａｄｒｏＲＴＸ８０００である２つのＣＵＤＡ対応ＧＰＵで本発明のデータ処理方法を行っている。

図７は、本発明の一実施形態によるｉ７－９８００ＸＣＰＵ、ＱｕａｄｒｏＰ１０００ＧＰＵ、およびＱｕａｄｒｏＲＴＸ８０００ＧＰＵについて描かれた入力画像サイズの処理時間を示すグラフである。小さな画像サイズでは、９８００Ｘ、Ｐ１０００、ＲＴＸ８０００の処理速度は同一である。しかし、画像サイズが大きくなると、ＣＰＵの処理時間は、ｉ７－９８００ＸＣＰＵの曲線で描かれるように、指数関数的に増加する傾向がある。ＣＰＵと比較して、ＱｕａｄｒｏＰ１０００やＱｕａｄｒｏＲＴＸ８０００などのＧＰＵは処理速度が大きく向上していることがわかる。

さらに、図７から、１万×１万の画像サイズ（８ｂｉｔ）の場合、ｉ７－９８００ＸのＣＰＵ処理時間が２５０μｓ以上であるのに対し、ＲＴＸ８０００では２０μｓ以下と、少なくとも１２倍以上の性能向上を実現していることが分かる。また、１０００×１０００サイズの８ｂｉｔ画像を処理した場合、ＲＴＸ８０００では３００μｓ以下となる。つまり、本発明が提供するデジタル画像の背景高周波ノイズを高速に抑圧するデータ処理方法が、サブ１／２ミリ秒の処理速度を実現できることを証明することができる。
［実施形態の有益な効果］

以上より、本発明によって提供されるデジタル化画像の背景高周波ノイズを高速に抑制するデータ処理方法は、以下の利点を有する。

１．ハードウェアを追加することなく、サブミリセカンド(sub-half-millisecond)レベルまでの超高速ノイズ対策に利用できる。

以上に発明された内容は本発明の好ましい実施形態に過ぎず、これにより本発明の特許請求の範囲を制限するものではない。そのため、本発明の明細書及び添付図面の内容に基づき為された等価の技術変形は、全て本発明の特許請求の範囲に含まれるものとする。

ＮＰＵＴ：入力画像
ＡＭＰ１：第１の増幅画像
ＲＥＳＩＺＥ１：第１のリサイズ画像
ＢＬＵＲ１：第１のぼかし画像
ＲＥＳＩＺＥ２：第２のリサイズ画像
ＳＵＢ１：ノイズ関連画像
ＢＬＵＲ２：第２のぼかし画像
ＭＡＳＫ：減算マスク
ＳＵＢ２：出力画像

Claims

画像処理装置において行うように、
複数のピクセル又は複数のデータ点を含みながら、第１の幅及び第１の高さを有する入力画像を取得し、
前記入力画像に対して第１の増幅率を乗じる第１の増幅処理を行い、第１の増幅画像を生成し、
縮小率によって、前記第１の増幅画像を前記第１の幅及び前記第１の高さよりも小さい前記縮小率に従った第２の幅及び第２の高さを有する第１のリサイズ画像に変換するように、前記第１の増幅画像に対して、第１のピクセルビニング(Bilinear Interpolation)処理または第１のバイリニア補間(Bilinear Interpolation)処理を行い、
前記第１のリサイズ画像に対して、第１のカーネルサイズを有するガウスカーネルによって畳み込み演算を行う第１のガウスぼかし処理(Gaussian Blur)を施すことによって、第１のぼかし画像を得て、
前記第１のぼかし画像を前記第２の幅及び前記第２の高さを有するものから前記第１の幅及び前記第１の高さを有する第２のリサイズ画像に変換するように、前記第１のぼかし画像に対して、第２のバイリニア補間処理を行い、
前記第２のリサイズ画像から前記第１の増幅画像を引く第１の減算処理を行うことによって、ノイズ関連画像を生成し、
前記ノイズ関連画像に対して、第２のカーネルサイズを有するガウスカーネルによって畳み込み演算を行う第２のガウスぼかし処理を施すことによって、第２のぼかし画像を得て、
前記第１の幅及び前記第１の高さを有する減算マスクを生成するように、前記第２のぼかし画像に対して前記第２のぼかし画像に第２の増幅率を乗じる第２の増幅処理を行い、
前記入力画像から前記減算マスクを引く第２の減算処理を行い、出力画像を生成する、
ことを特徴とする、デジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第１の増幅率は、
式ｇ（ｒ，ｃ）＝α×ｆ（ｒ，ｃ）で表され、
前記ｆ（ｒ，ｃ）は、前記入力画像を、前記ｇ（ｒ，ｃ）は前記第１の増幅画像を、前記ｒは前記複数の複数のピクセル又は複数のデータ点の縦軸の位置を、前記ｃは前記複数の複数のピクセル又は複数のデータ点の横軸の位置を、前記αは前記第１の増幅率を表している、
請求項１に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記αは、１．０＜α≦５．０を満たす、請求項２に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第１のピクセルビニング処理または第１のバイリニア補間処理は

で表され、
前記Ｒ、Ｃは、前記第１の幅及び前記第１の高さに関わる縦軸長さ及び横軸長さであり、前記Ｒ’、Ｃ’は前記第２の幅及び前記第２の高さに関わる縦軸長さ及び横軸長さであり、前記ｇ^Ｄ（r’，c’）は前記第１のリサイズ画像であり、前記r’、c’はそれぞれ、前記複数の画素又は前記複数のデータ点の縦軸の位置及び横軸の位置の一方を表す、
請求項２に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記縮小率は３である、請求項４に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第１のガウスぼかし処理は

で表され、
前記Ｌ（r’，c’）は前記第１のぼかし画像であり、前記ｇ１×ｇ２は前記第１のカーネルサイズである、
請求項４に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第１のカーネルサイズは２９×２９である、請求項６に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第２のバイリニア補間処理は

で表され、
前記Ｌ^Ｕ（r，c）は前記第２のリサイズ画像である、
請求項４に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記第１の減算処理、前記第２のガウスぼかし処理、前記第２の増幅処理、及び前記第２の減算処理は

で表され、
前記Ｆ（ｒ，ｃ）は前記出力画像であり、前記βは前記第２の増幅率であり、前記Ｍ×Ｍは前記第２のカーネルサイズである、
請求項１に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。
前記βは１．０＜β≦１０．０の関係を満たし、前記ＭはＭ≦７の関係を満たす、請求項９に記載のデジタル画像における背景高周波ノイズを抑制するデータ処理方法。