JP2019144808A - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
JP2019144808A
JP2019144808A JP2018027912A JP2018027912A JP2019144808A JP 2019144808 A JP2019144808 A JP 2019144808A JP 2018027912 A JP2018027912 A JP 2018027912A JP 2018027912 A JP2018027912 A JP 2018027912A JP 2019144808 A JP2019144808 A JP 2019144808A
Authority
JP
Japan
Prior art keywords
image
processing
noise
processing unit
ideal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018027912A
Other languages
English (en)
Inventor
智親 竹嶋
Tomochika Takeshima
智親 竹嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2018027912A priority Critical patent/JP2019144808A/ja
Priority to PCT/JP2018/044067 priority patent/WO2019163244A1/ja
Publication of JP2019144808A publication Critical patent/JP2019144808A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】オリジナル画像からノイズを除去することができる画像処理方法、画像処理装置、及び画像処理プログラムを提供する。【解決手段】この画像処理方法は、予め設定された理想画像IをPSFによって畳み込み演算して予測画像Pを生成する第1のステップと、予測画像Pからオリジナル画像Oを差分処理してエラー画像Eを生成する第2のステップと、エラー画像Eを係数α(0<α<1)で乗算したPSFによって逆畳み込み演算し、理想画像Iから当該逆畳み込み演算後の画像を差分処理して差分画像Dを生成する第3のステップと、差分画像Dを新たな理想画像Iとして上記ステップを複数回繰り返してノイズ画像Nを得た後、オリジナル画像Oからノイズ画像Nを差分処理して修正オリジナル画像(ノイズ除去画像)OCを得る第4のステップと、を備える。【選択図】図1

Description

本開示は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
超解像技術は、動画や静止画などの画像の解像度を高める画像処理技術であり、テレビなどの分野のほか、デジタルカメラ、半導体露光装置、光学顕微鏡といった各種分野への応用が期待されている(例えば非特許文献1,2参照)。超解像技術の方式としては、例えば学習型方式、再構成型方式などが挙げられる。学習型超解像技術は、解析画像から推定した劣化画像をデータベース化し、取得画像をデータベースと照合して劣化前の画像を特定する手法である。また、再構成型方式は、複数の低解像画像を基に高解像度画像を推定する手法である。
W.T.Freeman, T.R.Jones and E.C. Pasztor "Exapple-BasedSupper-resolution"IEEE Computer Graphics and Applucations, 22,2,Pages 56-65 (2002) S.C.Park, M.K.Park and M.G.Kang:"Super-Resolution ImageReconstruction: A Technical Overview" IEEE Signal Processing Magazine 20,3Pages21-36 (2003)
画像処理技術としては、装置に起因する画像のボケ(点拡がり関数)を取得画像から除去するデコンボリューション技術がある。一般的なデコンボリューションは、取得した取得画像の輝度値をフーリエ変換し、これを点拡がり関数のフーリエ変換値で除算することによってオリジナル画像を求めるものである。しかしながら、実際に取得される取得画像にはノイズが含まれるため、オリジナル画像からノイズを除去するための技術が望まれる。
本開示は、上記課題の解決のためになされたものであり、オリジナル画像からノイズを除去することができる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。
本開示の一側面に係る画像処理方法は、オリジナル画像からノイズを除去する画像処理方法であって、予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1のステップと、予測画像からオリジナル画像を差分処理してエラー画像を生成する第2のステップと、エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3のステップと、差分画像を新たな理想画像として第1のステップ〜第3のステップを複数回繰り返してノイズ画像を得た後、オリジナル画像からノイズ画像を差分処理してノイズ除去画像を得る第4のステップと、を備える。
この画像処理方法では、第1のステップ〜第3のステップのループで得られた差分画像を新たな理想画像として第1のステップ〜第3のステップの次のループを実行する。このループを繰り返し実行することで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。また、この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、第1のステップ〜第3のステップを複数回繰り返すことで、エラー画像をオリジナル画像中のノイズを表すノイズ画像に近づけることができる。したがって、第4のステップでオリジナル画像からノイズ画像を差分処理することにより、ノイズ除去画像を得ることができる。
また、第1のステップでは、オリジナル画像に基づいて初回の理想画像を生成してもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことを防止できる。
また、第1のステップでは、オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値としてもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことをより確実に防止できる。
また、この画像処理方法では、第1のステップ〜第3のステップを10回以上繰り返してもよい。これにより、エラー画像をオリジナル画像中のノイズを表すノイズ画像に十分に近づけることができる。
また、第1のステップ〜第3のステップの繰り返しを行う度に第3のステップで用いる係数αを徐々に小さくしていってもよい。これにより、理想画像の修正を好適に実行でき、エラー画像をオリジナル画像中のノイズを表すノイズ画像に一層十分に近づけることができる。
また、本開示の一側面に係る画像処理装置は、オリジナル画像からノイズを除去する画像処理部を備えた画像処理装置であって、画像処理部は、予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1の処理部と、予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第2の処理部と、エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3の処理部と、差分画像を新たな理想画像として第1の処理部〜第3の処理部の各処理を複数回繰り返してノイズ画像を得た後、オリジナル画像からノイズ画像を差分処理してノイズ除去画像を得る第4の処理部とを有する。
この画像処理装置では、第1の処理部〜第3の処理部の各処理のループで得られた差分画像を新たな理想画像として第1の処理部〜第3の処理部の各処理の次のループが実行される。このループが繰り返し実行されることで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、第1の処理部〜第3の処理部での各処理を複数回繰り返すことで、エラー画像をオリジナル画像中のノイズを表すノイズ画像に近づけることができる。したがって、第4の処理部でオリジナル画像からノイズ画像を差分処理することにより、ノイズ除去画像を得ることができる。
また、第1の処理部は、オリジナル画像に基づいて初回の理想画像を生成してもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことを防止できる。
また、第1の処理部は、オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値としてもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことをより確実に防止できる。
また、画像処理部は、第1の処理部〜第3の処理部の各処理を10回以上繰り返してもよい。これにより、エラー画像をオリジナル画像中のノイズを表すノイズ画像に十分に近づけることができる。
また、画像処理部は、第1の処理部〜第3の処理部の各処理を繰り返し行う度に第3の処理部で用いる係数αを徐々に小さくしていってもよい。これにより、理想画像の修正を好適に実行でき、エラー画像をオリジナル画像中のノイズを表すノイズ画像に一層十分に近づけることができる。
また、本開示の一側面に係る画像処理プログラムは、オリジナル画像からノイズを除去する画像処理プログラムであって、予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1の処理と、予測画像からオリジナル画像を差分処理してエラー画像を生成する第2の処理と、エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3の処理と、差分画像を新たな理想画像として第1の処理〜第3の処理の各処理を複数回繰り返してノイズ画像を得た後、オリジナル画像からノイズ画像を差分処理してノイズ除去画像を得る第4の処理と、をコンピュータに実行させる。
この画像処理プログラムを実行したコンピュータでは、第1の処理部〜第3の処理部の各処理のループで得られた差分画像を新たな理想画像として第1の処理部〜第3の処理部の各処理の次のループが実行される。このループが繰り返し実行されることで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、第1の処理部〜第3の処理部での各処理を複数回繰り返すことで、エラー画像をオリジナル画像中のノイズを表すノイズ画像に近づけることができる。したがって、第4の処理部でオリジナル画像からノイズ画像を差分処理することにより、ノイズ除去画像を得ることができる。
本開示によれば、オリジナル画像からノイズを除去することができる。
画像処理装置の一実施形態を示す概略構成図である。 図1に示した画像処理装置の動作の一例を示すフローチャートである。 デコンボリューション処理の一例を示すフローチャートである。 デコンボリューション処理の1stループにおける画像例を示す図である。 エラー画像の逆畳み込み演算の一例を示す図である。 デコンボリューション処理の2ndループ〜29thループにおける画像例を示す図である。 デコンボリューション処理の30thループにおける画像例を示す図である。 ノイズ除去処理の一例を示すフローチャートである。 ノイズ除去処理における画像例を示す図である。 オリジナル画像の修正演算の一例を示す図である。 画像処理プログラム及びその記録媒体の一例を示すブロック図である。 画像処理装置の変形例を示す概略構成図である。
以下、図面を参照しながら、本発明の一側面に係る画像処理方法、画像処理装置、及び画像処理プログラムの好適な実施形態について詳細に説明する。
図1は、画像処理装置の一実施形態を示す概略構成図である。同図に示す画像処理装置1は、サンプルSについて取得したオリジナル画像に基づいて、ノイズが除去されたノイズ除去画像を生成する装置として構成されている。サンプルSとしては、特に制限はないが、例えばヒトや動物等の生体組織、光デバイスや電子デバイスといった各種デバイスなどが挙げられる。
画像処理装置1は、図1に示すように、カメラ2と、コンピュータ3とを備えて構成されている。カメラ2は、イメージセンサ4と、画像制御部5とを有している。イメージセンサ4は、例えばCCDイメージセンサ、CMOSイメージセンサ等の1次元或いは2次元センサである。イメージセンサ4は、対物レンズ6を通して結像光学系7で結像したサンプルSからの光Lを撮像し、撮像結果に基づくデジタル信号を画像制御部5に出力する。サンプルSからの光Lは、サンプルSの種類によって異なるが、例えばサンプルSから発生する蛍光等の発光、サンプルSでの反射光或いは透過光などである。
画像制御部5は、イメージセンサ4からのデジタル信号に基づく画像処理を実行する。画像制御部5は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いはFPGA(field-programmable gate array)等によって構成されている。画像制御部5は、イメージセンサ4から受け取ったデジタル信号に基づいてデジタル画像を生成し、生成したデジタル画像に所定の画像処理を加えた上でコンピュータ3に出力する。以下の説明では、カメラ2からコンピュータ3に出力されたデジタル画像を「オリジナル画像」と称する。
コンピュータ3は、カメラ2から出力されるデジタル画像に対して画像処理を行い、ノイズが除去されたノイズ除去画像を生成する装置である。コンピュータ3は、有線又は無線により、カメラ2と相互に通信可能に接続されている。コンピュータ3は、例えばRAM、ROM等のメモリ、及びCPU等のプロセッサ、通信インターフェイス、ハードディスク等の格納部を備えて構成されている。かかるコンピュータとしては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。
コンピュータ3には、モニタ等の表示装置8及びキーボード、マウス、タッチパネル等の入力装置9が接続されている。表示装置8には、コンピュータ3で処理された各種画像等が表示される。また、入力装置9からは、ユーザの操作に基づいて、動作の開始、条件設定といった各種入力情報がコンピュータ3に対して送信される。
コンピュータ3は、カメラ2から入力されたオリジナル画像に基づいて、ノイズが除去されたノイズ除去画像を生成する画像処理部11を有している。画像処理部11は、FPGAのような集積回路によって構成されていてもよい。画像処理部11は、第1の処理部12と、第2の処理部13と、第3の処理部14と、第4の処理部15とを有している。第1の処理部12、第2の処理部13、及び第3の処理部14は、画像処理の第1ステージとして、デコンボリューション処理を実行する。また、第4の処理部15は、画像処理の第2ステージとして、デコンボリューション処理実行の後にノイズ除去処理を実行する。
以下、画像処理部11による処理を含めた画像処理装置1の動作について説明する。
図2は、画像処理装置1の動作の一例を示すフローチャートである。同図に示すように、画像処理装置1では、まず、カメラ2によるサンプルSの撮像が行われる(ステップS01)。カメラ2では、サンプルSのデジタル画像がオリジナル画像O(図4参照)として生成され、当該オリジナル画像がコンピュータ3に出力される(ステップS02)。
オリジナル画像Oが入力されたコンピュータ3では、画像処理の第1ステージとして、デコンボリューション処理が実行される(ステップS03)。デコンボリューション処理では、第1の処理部12、第2の処理部13、及び第3の処理部14での各処理がこの順番に複数回繰り返し実行される。デコンボリューション処理の繰り返し数は、10回以上であることが好ましく、本実施形態では30回である。デコンボリューション処理の実行後、画像処理の第2ステージとして、第4の処理部15によるノイズ除去処理が実行される(ステップS04)。ノイズ除去処理の実行後、デコンボリューション処理が再実行される(ステップS05)。
デコンボリューション処理の1stループでは、図3及び図4に示すように、まず、第1の処理部12において、オリジナル画像Oに基づく理想画像Iが生成される(ステップS11:第1のステップ)。理想画像Iの画素数には特に制限はなく、オリジナル画像Oの画素数と等しくてもよい。理想画像Iの画素数がオリジナル画像Oの画素数よりも多い場合には、オリジナル画像Oよりも分解能の高い画像(超解像画像)を得ることができる。デコンボリューション処理の1stループでは、例えばオリジナル画像Oを構成する各画素の画素値(輝度値)の平均値が初回の理想画像Iの各画素の画素値とされる。この場合、初回の理想画像Iは、各画素の画素値が一定の一様な画像となる。
初回の理想画像Iは、オリジナル画像Oの各画素の画素値に基づいて生成されることが好ましいが、オリジナル画像Oに基づかず、予め設定された画素値を各画素値とした一様な画像であってもよい。また、理想画像Iの画素数は、最終的に得られる画像(差分画像D)の画素数を決定するパラメータとなる。理想画像Iの画素数は、画像処理部11での処理速度等を考慮し、オリジナル画像の奇数倍(例えば3倍若しくは5倍程度)であることが好ましい。
理想画像Iの生成後、第1の処理部12において、点拡がり関数(Point spread function:以下「PSF」と称す)によって理想画像Iの畳み込み演算がなされ、予測画像Pが生成される(ステップS12:第1のステップ)。PSFは、レンズ等の光学素子が有するパラメータである。本処理で用いられるPSFは、使用する対物レンズ6等のPSFに基づいて、シミュレーションによって算出される。
予測画像Pの生成後、第2の処理部13において、予測画像Pからオリジナル画像Oを差分する差分処理がなされ、エラー画像Eが生成される(ステップS13:第2のステップ)。次に、第3の処理部14において、エラー画像Eに基づく差分画像Dの生成がなされる(ステップS14:第3のステップ)。ここでは、まず、係数α(0<α<1)で乗算したPSFによってエラー画像Eの逆畳み込み演算がなされる。αは、デコンボリューション処理のループ数が増加するほど徐々に小さい値となる。
差分画像Dの生成のための演算は、例えば下記の式(1)及び式(2)で表される(図5参照)。式(1)及び式(2)において、iは画素全体、kはPSFの定義域全体(=W)、Inは入力画素値(理想画像Iの画素値)、Outは出力画素値(差分画像Dの画素値)、αは係数、σはPSF、Eri+kはエラー画像Eの画素値、Loopはデコンボリューション処理のループ数である。

…(1)

…(2)
差分画像Dの生成の後、画像処理部11により、デコンボリューション処理の繰り返し数が予め定められた所定回数に到達したか否かの判断がなされる(ステップS15)。ここでは、デコンボリューション処理のループ数が30回に到達した場合は処理が終了し、デコンボリューション処理のループ数が30回に満たない場合は、ステップS11〜ステップS15の各処理が再実行される。2ndループ〜29thループでは、図6に示すように、直前のループで得られた差分画像Dを新たな理想画像IとしてステップS11〜ステップS15の各処理が再実行される。30thループでは、図7に示すように、最終的に差分画像Dが得られる。差分画像Dは、理想画像Iの画素数がオリジナル画像Oの画素数と等しい場合には、オリジナル画像Oと同じ分解能の画像となる。また、差分画像Dは、理想画像Iの画素数がオリジナル画像Oの画素数よりも多い場合には、オリジナル画像Oよりも分解能の高い画像(超解像画像)となる。
デコンボリューション処理に続くノイズ除去処理では、図8及び図9に示すように、第4の処理部15において、上述したデコンボリューション処理で得られたノイズ画像Nによるオリジナル画像Oの差分処理がなされる(ステップS21:第4のステップ)。上記デコンボリューション処理では、ノイズは、理想画像Iとは無関係であるため、デコンボリューション処理を十分なループ数で繰り返したとしても、エラー画像Eにノイズが残存し得る。ここでは、例えばデコンボリューション処理の30thループで得られたエラー画像Eがノイズ画像Nとして用いられ、オリジナル画像Oからノイズ画像Nを差分処理することにより、ノイズが除去された修正オリジナル画像(ノイズ除去画像)OCが生成される(ステップS22:第4のステップ)。
この修正オリジナル画像OCは、ステップS05におけるデコンボリューション処理の再実行(図2参照)の際に元のオリジナル画像Oと置き換えられる。すなわち、ステップS05では、修正オリジナル画像OCを新たなオリジナル画像として、ステップS11〜ステップS15の各処理が複数回繰り返し実行される。これにより、理想画像Iの画素数がオリジナル画像Oの画素数よりも多い場合には、ステップS03で得られる差分画像Dに対して、ノイズが除去され且つ更に解像度の高い差分画像Dを得ることができる。なお、ノイズ除去処理及びノイズ除去処理後のデコンボリューション処理は、複数回繰り返し実行される態様であってもよい。
オリジナル画像Oの修正のための演算は、例えば下記の式(3)及び式(4)で表される(図10参照)。式(3)及び式(4)において、iは画素全体、Inは入力画素値(オリジナル画像Oの画素値)、Outは出力画素値(修正オリジナル画像OCの画素値)、Erはエラー画像Eの画素値、Loopはノイズ除去処理のループ数、abs(Er)はエラー強度の絶対値、S.D.はエラー強度の標準偏差、Levelは修正レベルである。この例では、Levelは、ノイズ除去処理のループ数が増加するほど徐々に小さい値となる。

…(3)

…(4)
図11は、画像処理プログラム及びその記録媒体の一例を示すブロック図である。同図の例では、画像処理プログラム21は、メインモジュール22と、画像処理モジュール23とを備えている。また、画像処理モジュール23は、第1の処理モジュール24と、第2の処理モジュール25と、第3の処理モジュール26と、第4の処理モジュール27とを有している。画像処理プログラム21の実行によってコンピュータで実現される機能は、上述した画像処理部11の機能と同様である。画像処理プログラム21は、例えばCD−ROM、DVDもしくはROM等のコンピュータ読み取り可能な記録媒体28によって提供される。画像処理プログラム21は、半導体メモリによって提供されてもよく、ネットワークを介し、搬送波に重畳されたコンピュータデータ信号として提供されてもよい。
以上説明したように、この画像処理方法では、デコンボリューション処理のループで得られた差分画像Dを新たな理想画像Iとしてデコンボリューション処理の次のループを実行する。このループを繰り返し実行することで、エラーが最小化するように理想画像Iが徐々に修正され、理想画像Iを真の値に近づけることができる。また、この処理では、オリジナル画像Oのノイズは理想画像Iとは無関係であるため、デコンボリューション処理のループを複数回繰り返すことで、エラー画像Eをオリジナル画像O中のノイズを表すノイズ画像Nに近づけることができる。したがって、オリジナル画像Oからノイズ画像Nを差分処理することにより、ノイズ除去がなされた修正オリジナル画像OCを得ることができる。
また、本実施形態では、デコンボリューション処理の第1のステップにおいて、オリジナル画像Oに基づいて初回の理想画像Iを生成している。具体的には、オリジナル画像Oの各画素の画素値の平均値を初回の理想画像Iの各画素の画素値としている。これにより、初回の理想画像Iがオリジナル画像Oから大きく乖離してしまうことを防止できる。
また、本実施形態では、デコンボリューション処理の第1のステップ〜第3のステップを10回以上繰り返しており、デコンボリューション処理の第1のステップ〜第3のステップの繰り返しを行う度に第3のステップで用いる係数αを徐々に小さくしている。これにより、エラーが最小化するような理想画像Iの修正を好適に実行できる。したがって、エラー画像Eをオリジナル画像O中のノイズを表すノイズ画像Nに一層十分に近づけることができるので、オリジナル画像Oからのノイズ除去を精度良く実施できる。
本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、コンピュータ3側に画像処理部11が設けられた画像処理装置1を例示したが、図12に示す画像処理装置31のように、カメラ2側に画像処理部11が設けられた構成を採用してもよい。また、画像処理装置は、画像処理部11を有するカメラ若しくはコンピュータを有する顕微鏡として構成されていてもよい。
1,31…画像処理装置、11…画像処理部、12…第1の処理部、13…第2の処理部、14…第3の処理部、15…第4の処理部、O…オリジナル画像、I…理想画像、P…予測画像、E…エラー画像、D…差分画像、N…ノイズ画像、OC…修正オリジナル画像(ノイズ除去画像)。

Claims (11)

  1. オリジナル画像からノイズを除去する画像処理方法であって、
    予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1のステップと、
    前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第2のステップと、
    前記エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3のステップと、
    前記差分画像を新たな理想画像として前記第1のステップ〜前記第3のステップを複数回繰り返してノイズ画像を得た後、前記オリジナル画像から前記ノイズ画像を差分処理してノイズ除去画像を得る第4のステップと、を備える画像処理方法。
  2. 前記第1のステップでは、前記オリジナル画像に基づいて初回の理想画像を生成する請求項1記載の画像処理方法。
  3. 前記第1のステップでは、前記オリジナル画像の各画素の画素値の平均値を前記初回の理想画像の各画素の画素値とする請求項1又は2記載の画像処理方法。
  4. 前記第1のステップ〜前記第3のステップを10回以上繰り返す請求項1〜3のいずれか一項記載の画像処理方法。
  5. 前記第1のステップ〜前記第3のステップの繰り返しを行う度に前記第3のステップで用いる前記係数αを徐々に小さくしていく請求項1〜4のいずれか一項記載の画像処理方法。
  6. オリジナル画像からノイズを除去する画像処理部を備えた画像処理装置であって、
    前記画像処理部は、
    予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1の処理部と、
    前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第2の処理部と、
    前記エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3の処理部と、
    前記差分画像を新たな理想画像として前記第1の処理部〜前記第3の処理部の各処理を複数回繰り返してノイズ画像を得た後、前記オリジナル画像から前記ノイズ画像を差分処理してノイズ除去画像を得る第4の処理部とを有する画像処理装置。
  7. 前記第1の処理部は、前記オリジナル画像に基づいて初回の理想画像を生成する請求項6記載の画像処理装置。
  8. 前記第1の処理部は、前記オリジナル画像の各画素の画素値の平均値を前記初回の理想画像の各画素の画素値とする請求項6又は7記載の画像処理装置。
  9. 前記画像処理部は、前記第1の処理部〜前記第3の処理部の各処理を10回以上繰り返す請求項6〜8のいずれか一項記載の画像処理装置。
  10. 前記画像処理部は、前記第1の処理部〜前記第3の処理部の各処理を繰り返し行う度に前記第3の処理部で用いる前記係数αを徐々に小さくしていく請求項6〜9のいずれか一項記載の画像処理装置。
  11. オリジナル画像からノイズを除去する画像処理プログラムであって、
    予め設定された理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第1の処理と、
    前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第2の処理と、
    前記エラー画像を係数α(0<α<1)で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第3の処理と、
    前記差分画像を新たな理想画像として前記第1の処理〜前記第3の処理の各処理を複数回繰り返してノイズ画像を得た後、前記オリジナル画像から前記ノイズ画像を差分処理してノイズ除去画像を得る第4の処理と、をコンピュータに実行させる画像処理プログラム。
JP2018027912A 2018-02-20 2018-02-20 画像処理方法、画像処理装置、及び画像処理プログラム Pending JP2019144808A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018027912A JP2019144808A (ja) 2018-02-20 2018-02-20 画像処理方法、画像処理装置、及び画像処理プログラム
PCT/JP2018/044067 WO2019163244A1 (ja) 2018-02-20 2018-11-29 画像処理方法、画像処理装置、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027912A JP2019144808A (ja) 2018-02-20 2018-02-20 画像処理方法、画像処理装置、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2019144808A true JP2019144808A (ja) 2019-08-29

Family

ID=67687432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018027912A Pending JP2019144808A (ja) 2018-02-20 2018-02-20 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2019144808A (ja)
WO (1) WO2019163244A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022551539A (ja) * 2020-01-30 2022-12-09 三菱電機株式会社 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181508A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011180798A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011237998A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022551539A (ja) * 2020-01-30 2022-12-09 三菱電機株式会社 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成
JP7297164B2 (ja) 2020-01-30 2023-06-23 三菱電機株式会社 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成

Also Published As

Publication number Publication date
WO2019163244A1 (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP4799428B2 (ja) 画像処理装置及び方法
JP5909540B2 (ja) 画像処理表示装置
Likar et al. Retrospective shading correction based on entropy minimization
Chen et al. Alternating direction method of multipliers for nonlinear image restoration problems
JP2016058081A (ja) ぼやけた画像に基づいて鮮明な画像を生成する方法および装置
CN109377508B (zh) 图像处理方法和装置
JP2013175003A (ja) Psf推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
CN110796624B (zh) 一种图像生成方法、装置及电子设备
JP6344934B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
JP2018133110A (ja) 画像処理装置及び画像処理プログラム
Askari Javaran et al. Using a blur metric to estimate linear motion blur parameters
CN111275625B (zh) 一种图像去模糊方法、装置及电子设备
Sanghvi et al. Photon-limited blind deconvolution using unsupervised iterative kernel estimation
WO2019163244A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2019163243A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
CN108537786B (zh) 用于处理图像方法和装置
JP2017010094A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
Agarwal et al. Deblurring of MRI image using blind and non-blind deconvolution methods
JP2020021314A (ja) 画像処理装置及び画像処理方法
JP6647394B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法
JP2014099048A (ja) 画像復元装置および画像復元方法
Javaran Blur length estimation in linear motion blurred images using evolutionary algorithms
US20230069998A1 (en) Electronic device for sharpening image and operation method thereof