JP2023130225A - 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 - Google Patents

磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 Download PDF

Info

Publication number
JP2023130225A
JP2023130225A JP2022034774A JP2022034774A JP2023130225A JP 2023130225 A JP2023130225 A JP 2023130225A JP 2022034774 A JP2022034774 A JP 2022034774A JP 2022034774 A JP2022034774 A JP 2022034774A JP 2023130225 A JP2023130225 A JP 2023130225A
Authority
JP
Japan
Prior art keywords
noise
image
cnn
input image
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022034774A
Other languages
English (en)
Other versions
JP2023130225A5 (ja
Inventor
敦郎 鈴木
Atsuro Suzuki
知樹 雨宮
Tomoki Amamiya
幸生 金子
Yukio Kaneko
亨 白猪
Toru Shirai
慧祐 西尾
Keisuke Nishio
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Priority to JP2022034774A priority Critical patent/JP2023130225A/ja
Priority to CN202211154552.9A priority patent/CN116797467A/zh
Priority to US18/112,498 priority patent/US20230281760A1/en
Priority to EP23159376.5A priority patent/EP4242682A1/en
Publication of JP2023130225A publication Critical patent/JP2023130225A/ja
Publication of JP2023130225A5 publication Critical patent/JP2023130225A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】CNNを用いた画像ノイズ低減処理において、画像の信号レベル及びノイズレベルに依らず、効果的なノイズ低減を行う。【解決手段】CNNに入力する画像から、ノイズ情報と信号レベル情報とを算出し、算出した情報を用いて、CNNに適した規格化因子を決定し、入力画像の規格化を行う。ノイズ情報は、入力画像がMRI画像の場合には、入力画像の背景ノイズの大きさから推定する。信号レベル情報は、背景ノイズの大きさで入力画像を除した画像について被検体領域の画素値から、例えばその平均値として算出することができる。【選択図】図2

Description

本発明は、CNN(Convolutional Neural Network)を用いた医用画像のノイズ低減技術に関し、特に磁気共鳴撮像装置(以下、MRI装置と略す)で得られた画像のノイズ低減技術に関する。
医用撮像装置で取得した医用画像には、モダリティの特性や撮像条件等に起因してノイズが混入する。撮像条件の工夫によって低ノイズの画像を得ることは可能であるが、例えば撮像時間短縮のために短時間で撮像した画像は高ノイズとなり、ノイズ低減に限界がある。このように不可避的に混入するノイズを後処理によって低減する技術として、CNNを用いた手法が種々提案されている(例えば特許文献1)。この方法では、ノイズが多い画像(ノイズ画像)とノイズの少ない画像(正解画像)とを学習画像として、ノイズ画像が正解画像になるように学習したCNNを用い、これを実際に取得したノイズの多い画像に適用することでノイズを低減する。
学習済CNNの適用に際しては、学習に用いた画像(ノイズ画像)とCNN適用の際に入力される画像(入力画像)との信号レベルの違いに起因して、十分なノイズ低減効果が得られないことがある。このような信号レベルの違いに起因する不十分なデノイズを防止するため、CNNを用いたノイズ低減では、画像を信号値の最大値で規格化するのが一般的である(特許文献2)。規格化は、学習用の画像とCNNの入力画像との両方について行われる。
米国特許出願公開2010-0183217号 中国特許出願公開1334495号
従来技術のように、ノイズを低減される画像(入力画像)の画素値を最大値で規格化した場合、関心領域の画素値が学習画像(ノイズ画像と正解画像)の関心領域の画素値の範囲から外れると、学習によって得たCNNのノイズ低減効果が得られない場合がある。
本発明は、入力画像の関心領域の画素値を、学習画像の関心領域の画素値の範囲に入るような規格化を実行することで、確実且つ効果的に画像のノイズを低減することを課題とする。
本発明では、ノイズを加味して規格化を行うことで上記課題を解決する。
即ち、本発明のMRI装置は、被検体から発生する核磁気共鳴信号を計測する計測部と、前記核磁気共鳴信号を用いて画像を生成する演算部と、を備え、演算部は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したCNNを用いて、CNNの入力画像のノイズを低減するノイズ低減部を含む。ノイズ低減部は、入力画像のノイズ情報と信号レベル情報とを用いて、入力画像をCNNに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像についてCNNを用いたノイズ低減処理を行う。
上記MRI装置の演算部の機能は、MRI装置とは独立した画像処理装置として実現可能であり、本発明はそのような画像処理装置を包含する。
また本発明のノイズ低減方法は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したCNNを用いて、前記CNNの入力画像のノイズを低減するノイズ低減方法であって、入力画像のノイズ情報と信号レベル情報とを用いて、入力画像をCNNに適した規格化因子で規格化するステップを含み、規格化後の入力画像についてCNNを用いたノイズ低減処理を行う。
本発明のノイズ低減方法は、MRI装置で取得した画像(MR画像)に好適に適用される。
なお本明細書では「規格化因子」とは、画像を規格化するために用いる値を意味し、特に所定の画素値に係数を乗じて規格化する場合、その係数を「規格化係数」と呼ぶこととする。
本発明によれば、ノイズ情報を加味して推定した信号レベルで入力画像を規格化することで、入力画像の注目領域の画素値が、CNNの学習用画像の画素値から外れることなく規格化して処理を行うことができ、種々のノイズレベルの画像に対し効果的にノイズ低減を行うことができる。
MRI装置の全体概要を示す図 計算機の機能ブロック図 ノイズ低減の処理の概要を示す図 実施形態1のノイズ低減部の機能ブロック図 実施形態1のCNN学習部の機能ブロック図 実施形態1のCNN学習部の処理手順を示す図 実施形態1のノイズ低減処理のフロー図 CNNの構成例を示す図 背景ノイズの推定と領域抽出を説明する図 被検体領域抽出と画素算出を説明する図 デノイズ強度に関わるGUIの一例を示す図 実施形態2のノイズ低減部の機能ブロック図 実施形態2のCNN学習の処理手順を示す図 実施形態2のターゲットノイズ設定の処理手順を示す図 ターゲットノイズ設定の詳細を説明する図 ターゲットノイズ設定の詳細を説明する図 実施形態2のノイズ低減処理のフロー図 実施形態3のノイズ低減部の機能ブロック図 実施形態3のCNN学習と近似式算出の手順を示す図 実施形態3のノSNRと規格化係数との関係を示す図 実施形態3のノイズ低減処理を説明する図
以下、本発明のノイズ低減方法の実施形態を説明する。本発明のノイズ低減方法は、限定されるものではないが、MRIで得られる画像(MR画像)に好適に適用することができ、その場合、MRI装置或いはMR画像を処理する画像処理装置が本発明のノイズ低減方法を実現する機能を備えた構成となる。
以下、本発明の一実施形態として、MRI装置の実施形態を説明する。最初に本発明が適用されるMRI装置1の全体構成を、図1を参照して説明する。
<MRI装置の構成>
本実施形態のMRI装置1は、図1に示すように、被検体が置かれる空間に静磁場を生成する、例えば、静磁場コイル11などの静磁場生成部と、被検体の計測領域に対し高周波磁場パルスを送信する送信用高周波コイル12(以下、単に送信コイルという)および送信器16と、被検体から生じる核磁気共鳴信号を受信する受信用高周波コイル13(以下、単に受信コイルという)および受信器17と、静磁場コイル11が発生する静磁場に磁場勾配を与える傾斜磁場コイル14およびその駆動電源である傾斜磁場電源15と、シーケンス制御装置18と、計算機20と、を備える。計算機20を除くMRI装置1の各部を総称して計測部10という。
MRI装置1には、発生する静磁場の方向により、垂直磁場方式や水平磁場方式があり、静磁場コイル11は、その方式に応じて、種々の形態のものが採用される。傾斜磁場コイル14は互いに直交する3軸方向(x方向、y方向、z方向)それぞれに傾斜磁場を発生する複数のコイルの組み合わせからなり、それぞれ傾斜磁場電源15により駆動される。傾斜磁場を印加することで、被検体から生じる核磁気共鳴信号に位置情報を付加することができる。
なお、図示する例では、送信コイル12と受信コイル13とが別個である場合を示しているが、送信コイル12と受信コイル13との機能を兼用する1つのコイルを用いる場合もある。送信コイル12が照射する高周波磁場は、送信器16により生成される。受信コイル13が検出した核磁気共鳴信号は、受信器17を通して計算機20に送られる。
シーケンス制御装置18は、傾斜磁場電源15、送信器16及び受信器17の動作を制御し、傾斜磁場、高周波磁場の印加および核磁気共鳴信号の受信のタイミングを制御し、計測を実行する。制御のタイムチャートは撮像シーケンスと呼ばれ、計測に応じて予め設定され、後述する計算機20が備える記憶装置等に格納される。
計算機20は、CPU、メモリ、記憶装置などを備える情報処理装置であり、シーケンス制御装置18を介してMRI装置の各部の動作を制御するとともに受信したエコー信号に対して演算処理を行い、予め定めた撮像領域の画像を得る。計算機20が実現する機能については後述するが、その機能はMRI装置1に含まれる計算機20として実現してもよいし、MRI装置とは独立した計算機やワークステーションなどで実現することも可能である。すなわち計算機20の機能の一部または全部を含む画像処理装置であってもよい。
計算機20には、表示装置30、入力装置(入力部)40、外部記憶装置50などが接続される。表示装置30は、演算処理で得られた結果等をオペレータに表示するインタフェースである。入力装置40は、本実施形態で実施する計測や演算処理に必要な条件、パラメータ等をオペレータが入力するためのインタフェースである。ユーザは、入力装置40を介して、例えば、計測するエコーの数や、エコー時間TE、エコー間隔などの計測パラメータを入力できる。外部記憶装置50は、計算機20内部の記憶装置とともに、計算機20が実行する各種の演算処理に用いられるデータ、演算処理により得られるデータ、入力された条件、パラメータ等を保持する。
計算機20は、上述したように、MRI装置の計測部10の制御と計測部10が計測した信号の処理を行うものであるが、計測部10が計測する核磁気共鳴信号は、撮像の対象である被検体からの信号に、装置の特性や撮像条件等に依存して所定のノイズが重畳した信号として得られ、画質を劣化させる原因となる。本実施形態の計算機20は、信号処理の一部として、画像に重畳するノイズを低減する機能を備える。
本実施形態では、このノイズ低減を、CNNを用いて行う。このため計算機20は、図2に示すように、画像再構成部210、ノイズ低減部230、及びCNN学習部250を含む。ノイズ低減部230は、さらに、処理対象である画像のノイズに関する情報を算出するノイズ推定部231、推定したノイズ情報をもとに画像を所定の画素値に規格化する規格化部233、及び学習済のCNN235を含む。ノイズ低減部230における処理の手法については後の実施形態で詳述する。
さらに計算機20には、図示していないが、計測部10の各要素を制御する計測制御部や表示装置に表示させる画像を生成する画像生成部などが含まれていてもよい。
また図2では、CNN学習部250を計算機20に含まれる一機能として示しているが、CNN学習部250の機能は、実際の計測画像についてノイズ低減処理を行うMRI装置1の計算機或いは画像処理装置とは別の計算機で実現することも可能であり、その場合、計算機20のCNN学習部250は省略され、図2に点線で示すように、別の計算機20Aにおいて同機能を持つCNN学習部250が設けられ、このCNN学習部250で学習を行ったCNNをMRI装置1の計算機20に導入する。従って、以下の説明において、CNN学習部250で行うCNNの学習は、学習済CNNを搭載する装置(例えばMRI装置の計算機20)で行う場合とそれ以外の装置(計算機20A)で行う場合の両者を含むものとする。
CNN学習部250は、ノイズを含む画像(ノイズ画像)とノイズがない或いはノイズ画像よりもノイズが少ない画像(正解画像)とのペアを多数用いて、ノイズ画像の入力に対し正解画像を出力するようにCNNの学習を行う。その際、学習用画像に対し、用いたノイズ画像のノイズ強度をもとに規格化を行い、学習済CNNを得る。
ノイズ低減部230は、学習済CNN235を用いてノイズ低減処理を行う。ノイズ低減部230は、ノイズ低減の対象である画像(入力画像)に学習済CNN235を適用するのに先立って、入力画像のノイズに応じて、学習済CNNに適した規格化を行う。このため、図3に示すように、まずノイズ推定部231が、入力画像について、ノイズレベルを推定し(S1)、規格化部233が、推定したノイズレベルをもとに、入力画像の画素値が、適用する学習済CNN235の学習用画像(規格化された学習用画像)の画素値範囲に対し適切な範囲となるように入力画像の規格化を行う(S2)。ノイズ低減部230は、規格化後の入力画像をCNN235に入力しノイズ低減処理(S3)を行う。必要に応じてCNNの出力画像に対し、規格化前の画素値に戻す処理を行ってノイズ低減画像を出力する(S4)。
上述したように、本実施形態によれば、ノイズ低減部230が、ノイズレベルをもとに規格化した学習用画像で学習したCNNを用いるとともに、学習済CNNの適用においては、入力画像を、入力画像のノイズレベルをもとに学習済CNNの画素値範囲となるように規格化して、ノイズ低減を行うことにより、入力画像の注目領域の画素値が、CNNの学習用画像の画素値から外れ、それによりノイズ低減効果が薄れるという課題を解決することができ、種々のノイズレベルの画像に対し確実にノイズ低減を行うことができる。
以下、入力画像を規格化してノイズ低減する手法の具体的な実施形態を説明する。
<実施形態1>
本実施形態は、ノイズレベルが異なる複数のCNNを用意し、入力画像のノイズレベルに応じて複数のCNNからノイズレベルが同等のCNNを選択し、入力画像に対し、選択したCNNと同様の規格化を行った後、ノイズ低減を行う。ノイズレベルに応じた処理を行うために、画像のノイズレベルの推定を行う。
ノイズレベルの推定において、本実施形態は、空気のノイズレベルが画像自体のノイズに比例するというMR画像の特性を利用する。即ち、空気のノイズレベル、即ち背景ノイズを推定し、推定した背景ノイズを用いて規格化係数を決定する。規格化は、CNNの学習段階及び適用段階の両方で、CNNに入力される画像に対し行う。
このため本実施形態のノイズ低減部230は、図4Aに示すように、ノイズ低減処理の対象である画像(入力画像)の背景ノイズの大きさを推定する背景ノイズ推定部2311と、推定した背景ノイズの大きさをもとに被検体領域を抽出し、当該領域の画素値を算出する画素値算出部232と、被検体領域の画像の画素値を用いてノイズレベルを算出するノイズレベル算出部2312とを備える。さらにノイズ低減部230は、ノイズレベル毎に学習した複数のCNN235から入力画像の処理に用いるCNNを選択するCNN選択部234を備える。その他、図2に示す要素と同じ機能を持つ要素は同じ符号で示す。
またCNN学習部250には、図4Bに示すように、ノイズ低減部230が備える機能、即ちノイズ推定部231、画素値算出部232及び規格化部233の機能、に対応する機能部(251、252、253等)が備えられている。
以下、図5A、図5Bに示す処理の流れを参照して、本実施形態のノイズ低減処理を説明する。図5AはCNNの学習段階のフロー、図5Bはノイズ低減の処理フローである。
最初にCNN学習部250によるCNNの学習について、説明する。なお以下の説明において、学習前のCNNと学習後のCNNとを区別するときは、前者をCNN235B、後者をCNN235Aとし、区別を要しない場合は総括的にCNNと記す。
CNN学習部250は、CNN235Bに入力する学習用画像に対し、所定の規格化を行い、規格化された学習用画像を用いて繰り返し演算を行ってCNNにノイズ低減された画像を出力するように学習を行う。
CNN235は、図6に示すように、入力層と出力層との間に、複数の層(畳み込み層及びプーリング層)とを積み重ねた構造を有し、層の数や各層のカーネルサイズが設定された公知のソフトウェアとして入手可能であり、また層の数やカーネルサイズ等を適宜カスタマイズしたものを用いてもよい。
CNN235Bは、多数の学習用画像を用いて、入力と出力とを繰り返すことで、最終的にノイズが低減された画像を出力するように、CNNで用いられる係数(バイアスやカーネル等)が決定され、学習済CNN235Aとなる。学習用画像として、本実施形態では、例えばMRIでは、同じ撮像を複数回行って加算したSNR(Signal to noise ratio)が高い画像(正解画像)と、正解画像にノイズを加えた画像(ノイズ画像という)と、のセットを用いる。加えるノイズとしては、例えばガウスノイズなど所定の分布を持つノイズを用いることができる。あるいは、学習用画像として、SNRが高い画像にノイズを加えたSNRが低い正解画像と、SNRが低い正解画像にさらにノイズを加えたノイズ画像と、のセットを用いてもよい。このSNRが低い正解画像を学習に用いることで、過剰なノイズ低減を抑制し、ノイズ低減後の画像のノイズの粒状性が自然に見える効果が得られる。
また、MRIでは複数のコントラスト画像(T2強調画像、T1強調画像等)を取得することが可能であり、これらの複数のコントラスト画像を混合して学習する場合がある。このとき、正解画像のSNRはコントラスト画像ごとに異なる場合がある。そこで、高SNRの正解画像に対して加えるノイズをコントラスト画像ごとに調整することで、コントラスト画像ごとのSNRを統一した低SNRの正解画像を作成することが可能となる。作成した低SNRの正解画像にコントラスト間で同一のノイズを加えてノイズ画像を作成することで、正解画像のSNRとノイズ画像のSNRの比率をコントラスト間で統一することが可能となる。
CNN学習部250は、学習に先立って、ノイズレベルを変えて、ノイズレベル毎に学習用のノイズ画像を作成するとともに(図5A:S11)、ノイズ情報を用いて決定した規格化係数(規格化因子)で学習用画像を規格化する。このため、まずCNN学習部250は所定のノイズレベルの学習用画像ペアを入力すると、ノイズ画像について、その関心領域外の背景(空気)ノイズの大きさNを推定する(S12)。ノイズ推定の手法としては、例えば図7に示すようなノイズ画像のヒストグラムから、信号値が最も低く且つ頻度が高いピークを背景ノイズと決定し、その信号値をノイズの大きさN(以下、単に背景ノイズNという)とする。
次に被検体領域を抽出する(S13)。被検体領域の抽出は、ノイズ画像全体(各画素値)を背景ノイズNで割り、その値が、1よりも大きい所定の閾値T以上となる画素を抽出することでなされる。図7の下側に、背景ノイズNで割った画像のヒストグラムと閾値との関係を示している。閾値T以上の画素値を持つ画像が被検体領域として抽出される。抽出前後の画像を図8に示す。画素値算出部232は、背景ノイズNで割った画像の抽出領域について画素値の平均値Mを算出する。また1/M(=L)を算出し、Lをノイズ画像のノイズレベルとする(S14)。
CNN学習部250(規格化部)は、ノイズ画像全体(ノイズNで割った画像)を、抽出画像について求めた画素値の平均値Mで割る。これによりノイズ画像は抽出領域の画素の平均値Mで規格化される(S15)。正解画像については、(1/N)/Mを乗じて規格化を行う(S16)。これにより正解画像は、ノイズ画像と同様の規格化がなされたことになる。
このように規格化された正解画像とノイズ画像とのペアを用いてCNN235Bの学習を行い、学習済CNNを得る(S17)。正解画像に加えるノイズの大きさを変えて、上記処理S11~S17を繰り返し(S18)、最終的に、複数のノイズレベル毎のCNN235Aを作成する。
なお処理S13における領域抽出方法として、上述したように、S11で用いたヒストグラムを利用する方法が簡便であるが、それ以外の方法、例えば、被検体領域の輪郭を追跡し領域を抽出する方法或いは領域拡張法により被検体領域を抽出し、被検体領域を除いた残りの領域を背景領域として、その画素値からノイズを求める方法など、を採用することも可能である。
また被検体領域の画素値を算出する画像として、予めノイズを低減した画像を用いてもよい。このような画像は、例えば、公知のノイズ除去フィルタによる処理を行ったり、画像のマトリクスサイズを変更(例えば256×256の画像の隣接する画素値を加算して128×128などに縮小するなど)したりすることで得ることができる。
次にCNN学習部250が作成した複数のノイズレベル毎のCNN235Bを用いたノイズ低減部230の処理の流れを説明する。
ノイズ低減部230においても、入力画像について規格化する処理は、CNNの学習過程における規格化と同様であり、まず、背景ノイズ推定部2311が、入力画像から被検体以外の領域(背景)を抽出し、背景ノイズNを推定する(S21)。次いで、画素値算出部232が、入力画像をノイズNで割り、所定閾値以上となる領域を被検体領域として抽出し、抽出した領域の画素値の平均値Mを算出する(S22)。規格化部233は、入力画像(Nで割った後の入力画像)全体を平均値Mで割り、入力画像を規格化する(S23)。またノイズレベル算出部2312は、この入力画像のノイズレベルL(=1/M)を算出する。このように入力画像は、ノイズレベルと画素値(信号レベル)とを規格化因子として規格化される。
ノイズ低減部230は、CNN学習過程において、複数作成されたCNN235AのうちノイズレベルLが、入力画像について算出されたノイズレベルと同じ或いは最も近いCNN235Aを選択し(S24)、選択されたCNN2235Aに入力画像を入力し、その出力画像としてノイズが低減された画像を得る(S25)。
以上説明したように、ノイズレベル毎に学習済CNNを用意するとともに、入力画像のノイズレベルに応じたCNN235Aを選択し、その学習用画像と同様にノイズレベルと信号レベルを規格因子とする規格化を行ってCNN235Aを適用することで、ノイズ低減効果を損うことがなく、信号レベルやノイズレベルが種々の画像に対し、効果的なノイズ低減を行うことができる。
なお本実施形態では、ノイズレベルに応じて複数のCNNから所定のCNNを選択する場合を説明したが、ユーザが所望するデノイズの程度に応じてCNNを選択するようにしてもよい。例えば、図9に示すようなGUIを表示装置30に表示し、ユーザが選択するデノイズ強度に合わせて、いずれかを選択するようにしてもよい。この場合、入力画像のノイズレベルLinputと最も近いノイズレベルのCNNをNLmedium、ノイズレベルが低いCNNをNLlight、ノイズレベルが高いCNNをNLheavyとしたとき、デノイズ強度「弱」が選択された場合には、適用するCNNとしてNLlightを選択し、デノイズ強度「強」が選択された場合には、NLheavyを選択するなどである。
このようなGUIを設けることで、デノイズ強度についてのユーザ選択の自由度を高めることができる。
さらに本実施形態では、一つのノイズレベルの入力画像について対応する一つのCNN235Aを選択して適用する場合を説明したが、2以上のCNN235Aを用いることも可能である。例えば、入力画像のノイズレベルに近い2つのCNN235Aを選択して適用し、両者の出力を合成してもよい。
<実施形態2>
実施形態1では、ノイズレベルの異なる複数のCNN235Aを用意しておき、入力画像のノイズレベルに応じて1ないし複数を選択し、選択したCNN235Aの学習用画像と同じ画素値範囲になるように入力画像を規格化してノイズ低減を行う実施形態であるが、本実施形態は、一つのCNN235Aを作成し、その一つのCNN235Aを適用したときに、最適な画素値範囲に規格化されるようにノイズレベルに応じて異なる係数(規格化係数)を用いて入力画像を規格化する。規格化係数は、用意されたCNNを適用したときに、目標となるノイズレベル(ターゲットノイズ)を設定し、ノイズレベル毎に当該ターゲットノイズとなる値(範囲)に設定される。
本実施形態のノイズ低減部230の構成を図10に示す。図10において、図2及び図4と同様の機能を持つ要素は同じ符号で示し、重複する説明は省略する。またCNN学習部250の機能は、ノイズ低減を行うMRI装置或いは画像処理装置とは別の装置で実現できることは実施形態1と同様である。
図10に示すように、本実施形態のノイズ低減部230は、実施形態1のノイズ低減部230に、規格化係数算出部236とターゲットノイズ算出部237とが追加される。規格化係数算出部236は、ノイズ画像と正解画像との差を最小とする規格化係数を算出する。ターゲットノイズ算出部237は、CNN学習部250が作成したCNN235Aを用いて、ノイズレベルが異なる種々のノイズ画像を、規格化係数算出部236が算出した規格化係数で規格化後のノイズ(最適背景ノイズ)をターゲットノイズとして算出する。規格化部233は、ターゲットノイズを用いて、入力画像の規格化を行う。また図示しないが、CNN学習部250が、ノイズ低減230に対応する機能を持つことは実施形態1と同様である。
以下、図11~図13を参照して、本実施形態におけるCNN学習及びノイズ低減の処理を説明する。図11A,11B及び図12A,12BはCNN学習及びターゲットノイズ設定の処理を示すフロー及び説明図、図13はノイズ低減処理を示す図である。
最初にCNN学習部250におけるCNNの学習(それに先立つ学習用画像の規格化)について説明する。
実施形態1と同様に、正解画像及びノイズ画像のペアを用意する(S31)。ノイズ画像に用いるノイズは、所定のノイズレベルのものを用いることができる。次に正解画像の被検体領域外の背景(空気)ノイズNを推定する(ノイズ推定機能)(S32)。背景ノイズNで正解画像全体を割り(S33)、ノイズNで割った正解画像に対し、閾値T(T>1)よりも値の大きい画素値の領域(すなわち被検体領域)を抽出する。
実施形態1では、上記処理S32、S33に対応する処理S12、S13において、ノイズ画像を対象としてノイズNの推定と、被検体領域の抽出を行ったが、本実施形態では、ノイズレベル毎に異なる規格化を行うものではないので、ノイズ画像を用いる必要はなく、正解画像を用いることとしている。但し、実施形態1と同様にノイズ画像を用いることも可能である。
抽出した被検体領域の画素の平均値Mを算出し、正解画像を算出した平均値Mで割る。これにより正解画像は抽出領域の画素値(平均値)で規格化される。次いで、ノイズ画像に(1/N)/Mを乗じて、ノイズ画像を規格化する(S34)。S34で規格化した正解画像及びノイズ画像のペアを用いてCNNの学習を行うこと(S35)は実施形態1と同様であるが、ここではノイズレベル毎の繰り返し(図5A:S18)は不要であり、単一のCNN235Aを作成する。
続いてターゲットノイズを設定する。ターゲットノイズを設定するため、まず規格化係数算出部236が、CNN学習部250が作成したCNN235Aをノイズ強度が異なる種々の画像に適用した場合に、入力画像と正解画像との差を最小とする規格化係数を算出する。次いで、ターゲットノイズ算出部237が、規格化係数算出部236が算出した規格化係数で規格化してノイズ低減する前の画像の背景ノイズを求め、背景ノイズの最適範囲をターゲットノイズとして決定する。
具体的には、CNN学習時の処理と同様に、正解画像にノイズを加えノイズ画像を作成する(S41)。このノイズ画像に、複数の係数(Kmin~Kmax)をそれぞれ乗じ、係数の数と同数のノイズ画像を得て(S42)、これらノイズ画像に対し、学習済CNNを用いたノイズ低減を行う(S43)。学習済CNNの出力即ちノイズ低減後の画像を、それぞれの係数(Kmin~Kmax)で除した後、正解画像との二乗平均平方根誤差(RMSE)を算出し、この値が最小となる係数(Kj)を求める(S44)。次いで、係数(Kj)を乗じた後のノイズ低減する前のノイズ画像の背景ノイズN’を推定する(S45)。背景ノイズN’の推定方法は、CNN学習において正解画像について背景ノイズを推定した手法と同様の手法を用いることができる。
処理S41~S45を、ノイズ強度を変えて行い(S46)、ノイズ強度の異なるノイズ画像毎に、正解画像とのRMSEを最小とする係数Kj及び係数Kj乗じた後のノイズ低減する前のノイズ画像の背景ノイズN’を求める。その後、各ノイズ画像の背景ノイズN’の許容範囲(最適背景ノイズ)をターゲットノイズとして決定する(S47)。
ターゲットノイズ算出の詳細を図12(図12A、図12B)を用いてさらに説明する。図12Aは、ノイズ強度が異なる4つのノイズ画像について、係数を変えてノイズ低減した場合の、係数と各画像のRMSEとの関係を示す図で、RMSEが最小値となっている位置(図中、〇で示す位置)の係数がKjである。ノイズ強度は、“noise SD”で表し、図12では、noise SDを1、2、3、5に変えた4つの場合を示している。このグラフでは、noise SD=1(ノイズ強度が最小)の入力画像ではKj≒0.6のときに正解画像との差(RMSE)が最小となり、noise SD=2の入力画像ではKj≒1のときに正解画像との差(RMSE)が最小となり、ノイズ強度が高いほど、RMSEが最小となるKjの値は大きくなる。
図12Bは、ノイズ強度が異なる4つのノイズ画像について、係数と背景ノイズN’との関係を示すグラフで、図12AのグラフにおいてRMSEが最小となるKjの位置を同じく〇で示している。ターゲットノイズ算出部237は、各ノイズ強度のKjが収まる背景ノイズの範囲内の値をターゲットノイズとして算出する。図12Bのグラフでは、4つのノイズ画像毎に求めたKj(4つの点)は、背景ノイズN’(N’(SNR1)、N’(SNR2)、N’(SNR3)、N’(SNR4)Nがほぼ0.18~0.22の範囲となる。ターゲットノイズ算出部237は、例えば、これら4つの背景ノイズN’の平均値や中央値を算出し、ターゲットノイズとする。
以上の処理で、学習済CNNの作成とターゲットノイズの設定が完了する。これら学習済CNNとターゲットノイズを用いて、ノイズ低減部230は、入力画像の処理を行う。以下、図13を参照してノイズ低減処理を説明する。
最初に入力画像の関心領域外の背景(空気)ノイズNを推定し(S51)、ノイズNで入力画像全体を割る(S52)。次いで入力画像(ノイズNで割ったもの)に対してターゲットノイズを乗じる(S53)。これにより入力画像は、背景ノイズが最適な範囲となるように規格化される。規格化後の画像をそのまま学習済CNNの入力画像としてノイズ低減処理を行ってもよいが、本実施形態では、規格化後のノイズ画像にデノイズ強度を調整する調整係数Fを乗じた後に(S54)、学習済CNNに入力し、ノイズが低減された出力画像を得る(S55)。
調整係数Fは、デノイズ強度に応じて、例えば強度が弱(Light)であればF=2.0、中(Medium)であればF=1.0、強(Heavy)であればF=0.5、と予め定めた値であり、このような係数Fを乗じることで、入力画像は背景ノイズ×係数Fで規格化されることになり、デノイズ強度を弱めたり強めたりすることができる。どの調整係数を適用するかは、実施形態1の説明で参照した図10に示したようなGUIを介してユーザ指定を受け付けてもよいし、ノイズレベルに応じて規定値として設定しておいてもよい。
本実施形態によれば、学習済CNNを適用するためのターゲットノイズ(最適背景ノイズ)を決めておき、このターゲットノイズで入力画像を規格化することで、ノイズレベルが異なる入力画像に対しても一つの学習済CNNでノイズ低減処理を実現できる。またターゲットノイズに加えて、デノイズ強度に応じた調整係数Fを設定しておくことで、処理の汎用性を高めることができる。
<実施形態3>
本実施形態も、種々のノイズレベルの入力画像(ノイズ低減処理画像)に対し一つの学習済CNNを用いることは実施形態2と同様である。但し、実施形態2ではその学習済CNNを用いたときに最適なターゲットノイズとなるように入力画像を規格化したものであるが、本実施形態では、信号ノイズ比(SNR)の関数として規格化係数を算出しておき、入力画像のSNRを推定し、そのSNRから規格化係数を求め、入力画像を規格化する。
本実施形態のノイズ低減部230の構成例を図14に示す。図14において、図4及び図10と同じ要素は同じ符号で示し重複する説明は省略する。図14に示すように、本実施形態のノイズ低減部230は、ノイズ推定部231の一態様として、SNR推定部238を含み、また規格化部233は、規格化係数の近似式を算出する近似式算出部239を含む。また図示しないが、CNN学習部250がノイズ低減230に対応する機能を持つこと、およびCNN学習部250が計算機20及び他の計算機20Aのいずれに設けられていてもよいことは他の実施形態と同様である。
以下、図15~図17を参照して、上記各部の処理内容を含む本実施形態のノイズ低減処理を説明する。
最初にCNN学習部250の処理を説明する。
CNN学習部250は、図15に示すように、ノイズが少ない画像(正解画像)と、正解画像にノイズを加えたノイズ画像を用意する(S61)。次に正解画像の画素値がゼロ以外の領域(非ゼロ領域)の中央値を求め、求めた中央値で正解画像及びノイズ画像全体を割り、両画像を規格化する(S62)。なお、中央値は正解画像の中央値ではなくノイズ画像(その非ゼロ領域)の中央値でもよい。規格化後の正解画像とノイズ画像とのペアを用いてCNNの学習を行い、学習済CNN235Aを得る(S63)。
次に近似式算出部部239が規格化係数の近似式を算出する。このため、まず上記処理S61、S62と同様に、正解画像及びノイズ画像を作成し(S71)、ノイズ画像の非ゼロ領域の中央値Mnoiseでノイズ画像全体を割り、ノイズ画像を規格化する(S72)。次いで規格化後のノイズ画像に複数(N個)の係数K(K1~KN)をそれぞれ乗じて、複数のノイズ画像(N枚の画像)とした後、S63で学習済CNN235Aを用いて各ノイズ画像のノイズ低減を行う(S73)。ノイズ低減後の画像に、それぞれ、「ノイズ画像の中央値Mnoise」/「ノイズ画像に乗じた係数」を乗じて元の値に戻した後、正解画像との二乗平均平方根誤差(RMSE)を算出し、この値が最小となる係数(最適係数)Koptを求める(S74)。元のノイズ画像に最適係数Koptを乗じた後のノイズ低減する前のノイズ画像の背景ノイズN”を推定する(S75)。SNR推定部238は、最適係数Koptを乗じた後のノイズ画像の非ゼロ領域の中央値M’noiseを求め、この画像のSNRをM’noise/N”として算出する(S76)。
S71で作成するノイズ画像のノイズ強度を変えて、処理S71~S76を繰り返し(S77)、ノイズ強度が異なるノイズ画像毎に、最適係数KoptとSNRとの組み合わせを算出する(S78)。図16に上記繰り返しにより求めたSNRと最適係数Koptとの関係を示す。図示するように両者の関係は、例えば、
Ki=a・SNR+b (1)
で表される一次式で近似することができる。近似式算出部239は、ノイズ強度の異なるノイズ画像毎に求めたKoptとSNRとの関係から、近似式の線形回帰傾斜a及び線形回帰切片bを近似的に求める。但し、近似式は一次式に限定されるものではない。
以上の処理で、学習済CNNの作成及び規格化係数とノイズとの関係を表す近似式の算出が完了する。ノイズ低減部230は、学習済CNNと近似式を用いて、入力画像の規格化及びノイズ低減処理を行う。以下、図17を参照してノイズ低減処理を説明する。
まず入力画像について、ノイズ推定部231(背景ノイズ推定部2311)が実施形態1と同様に背景ノイズNを求め(S81)、画素値算出部232が入力画像の非ゼロ領域の中央値Minputを算出する。SNR推定部238は、Minput/Nを算出し、この値を入力画像のSNRとする(S82)。
規格化部233は、このSNRを近似式算出部239が算出した近似式に代入し、最適係数Koptを求める(S83)。
opt=a・(SNR/f)+b (2)
式中、fはデノイズ強度決める調整係数であり、実施形態2で説明した調整係数Fと同様の意味を持つ。即ちfの値を大きくすることで、デノイズ強度を強くし、値を小さくすることでデノイズ強度を弱くする。但し、実施形態2ではFとして離散的な値を取る場合を説明したが、本実施形態では規格化係数はSNRとの関数になっているので、調整係数fについても中間的な値を取ることが可能である。fの値は中程度のデノイズ強度である1に固定しておいてもよいし、ユーザ指定等に応じて例えば0.5~2.0の間の値を適宜調整可能にしてもよい。f=1とした場合には、前述の式(1)となる。
規格化部233は、入力画像をその中央値Minputで割った後、上記のように求めた最適係数Koptを乗じる(次式(3))。これにより入力画像が規格化される(S84)。
=(1/Minput(I0))・Kopt・I
=(1/Minput(I0))・(a・(SNR/f)+b)・I
式中、Iは規格化前の入力画像、Iは規格化後の入力画像、
こうして規格化された入力画像を学習済CNNに入力し、ノイズが低減された出力画像を取得する(S85)。
本実施形態によれば、ノイズを示す指標SNRと、最適な規格化係数との関係を近似的に求めておき、ノイズをもとに規格化された学習用画像を用いて学習したCNNの適用において、入力画像の推定SNRをもとに、近似的に求めたSNRと最適規格化係数との関係から求めた最適規格化係数を用いて入力画像を規格化することで、ノイズレベルや信号レベルが異なる種々の入力画像に対応したノイズ低減を実現できる。また本実施形態によれば、SNRと規格化係数との関係式を用いることで、学習済CNNは単一のものを用意すればよく、且つ、精度の良いノイズ低減が可能になる。
さらに本実施形態によれば、デノイズの強度を関係式において調整可能であり、ユーザのデノイズ強度を調整する際の自由度が向上する。
以上、本発明のノイズ低減方法について、MRI装置内での処理を例に各実施形態を説明したが、本発明はMRI装置に限らず、一般的な画像処理プロブラムを実現できるデバイス(画像処理装置、計算機、ワークステーション等)において実現可能である。また実施形態では、背景ノイズが画像全体のノイズに比例するというMR画像の特性を利用したMR画像のノイズ低減処理を説明したが、本発明は、CNNを用いた画像のノイズ低減処理において、CNNに用いた規格化画像の画素値範囲に、入力画像の画素値が収まるよう規格化を最適化することを主旨とし、特に、画像のノイズ情報を反映させた規格化を行うというものであり、ノイズ情報を推定できる画像であれば、MR画像に限定されることなく、適用することができ、また利用可能なノイズ情報やそれを規格化に反映させる手法も実施形態の手法に限定されるものではない。
1:MRI装置、20:計算機、210:画像再構成部、230:ノイズ低減部、231:ノイズ推定部、2311:背景ノイズ推定部、2312:ノイズレベル算出部、232:画素値算出部、233:規格化部、234:CNN選択部、235:CNN、236:規格化係数算出部、237:ターゲットノイズ算出部、238:SNR推定部、239:近似式算出部、250:CNN学習部

Claims (20)

  1. 被検体から発生する核磁気共鳴信号を計測する計測部と、前記核磁気共鳴信号を用いて画像を生成する演算部と、を備え、
    前記演算部は、規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したCNNを用いて、前記CNNの入力画像のノイズを低減するノイズ低減部を含み、
    前記ノイズ低減部は、前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記CNNに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像について前記CNNを用いたノイズ低減処理を行うことを特徴とする磁気共鳴撮像装置。
  2. 請求項1に記載の磁気共鳴撮像装置であって、
    前記規格化部は、前記入力画像における被検体領域の画素値を算出する画素値算出部を備え、前記信号レベル情報として前記画素値を用いることを特徴とする磁気共鳴撮像装置。
  3. 請求項2に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記入力画像から背景ノイズの大きさを推定する背景ノイズ推定部を有し、前記画素値算出部は、前記背景ノイズ推定部が推定した背景ノイズの大きさよりも大きな画素値を用いて、前記被検体領域の画素値を算出することを特徴とする磁気共鳴撮像装置。
  4. 請求項3に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記ノイズ情報として、前記背景ノイズの大きさと前記被検体領域の画素値とを用いて前記入力画像のノイズレベルを算出するノイズレベル算出部を備え、前記ノイズレベル算出部が算出したノイズレベルと同じ又は近いノイズレベルのノイズ画像を用いて学習したCNNを用いることを特徴とする磁気共鳴撮像装置。
  5. 請求項1に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、ノイズの大きさを変えて学習した複数のCNNを有し、前記入力画像のノイズ情報に応じて、前記複数のCNNのいずれかを選択してノイズ低減処理を行うことを特徴とする磁気共鳴撮像装置。
  6. 請求項5に記載の磁気共鳴撮像装置であって、
    デノイズ強度に関するユーザ指定を受け付ける入力部をさらに備え、
    前記ノイズ低減部は、前記入力部が受け付けたユーザ指定に従い、前記複数のCNNから1以上のCNNを選択することを特徴とする磁気共鳴撮像装置。
  7. 請求項1に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記入力画像のノイズ情報を推定するノイズ推定部を備え、前記規格化部は、前記規格化因子として、前記ノイズ推定部が推定したノイズ情報を用いることを特徴とする磁気共鳴撮像装置。
  8. 請求項7に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、ノイズの大きさが異なる複数のノイズ画像を用いて予め求めた、複数の値が異なる規格化因子と当該規格化因子で規格化後の画像の背景ノイズとの関係を用いて、ターゲットノイズを算出するターゲットノイズ算出部をさらに備え、
    前記規格化部は、前記規格化因子として前記ターゲットノイズを用いて前記入力画像を規格化することを特徴とする磁気共鳴撮像装置。
  9. 請求項8に記載の磁気共鳴撮像装置であって、
    前記規格化因子は、デノイズ強度を調整する調整係数をさらに含むことを特徴とする磁気共鳴撮像装置。
  10. 請求項1に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、画像のSNRを推定するSNR推定部をさらに備え、
    前記規格化部は、SNRが異なる複数のノイズ画像を用いて予め求めた、それらノイズ画像と正解画像との差を最小化する最適規格化因子とノイズ画像のSNRとの関係、および、前記SNR推定部が推定した入力画像のSNRを用いて、当該入力画像の規格化因子を決定し、決定した規格化因子で前記入力画像を規格化することを特徴とする磁気共鳴撮像装置。
  11. 請求項10に記載の磁気共鳴撮像装置であって、
    前記ノイズ低減部は、前記最適規格化因子とノイズ画像のSNRとの関係を近似式として算出する近似式算出部をさらに備えることを特徴とする磁気共鳴撮像装置。
  12. 請求項11に記載の磁気共鳴装置であって、
    前記近似式算出部は、前記近似式のSNRにデノイズ強度を調整する調整係数を乗じて近似式とすることを特徴とする磁気共鳴撮像装置。
  13. 請求項1に記載の磁気共鳴撮像装置であって、
    前記CNNで用いる学習用画像は、ノイズが少ないSNRの高い正解画像と、当該高SNR正解画像にノイズを加えたノイズ画像との組み合わせ、あるいは、ノイズが少ないSNRの高い正解画像にノイズを加えたSNRの低い正解画像と、当該低SNR正解画像にノイズを加えたノイズ画像との組み合わせであり、前記ノイズ画像及び前記正解画像は、被写体領域の推定画素値を用いて規格化されていることを特徴とする磁気共鳴撮像装置。
  14. 請求項13に記載の磁気共鳴撮像装置であって、
    前記被写体領域の推定画素値は、前記ノイズ画像からノイズの大きさを推定し、前記推定したノイズの大きさよりも大きな画素値の平均値を求めることにより得た値であることを特徴とする磁気共鳴撮像装置。
  15. 規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したCNNを用いて、前記CNNの入力画像のノイズを低減するノイズ低減方法であって、
    前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記CNNに適した規格化因子で規格化するステップを含み、規格化後の入力画像について前記CNNを用いたノイズ低減処理を行うことを特徴とするノイズ低減方法。
  16. 請求項15に記載のノイズ低減方法であって、
    前記入力画像は、磁気共鳴撮像装置で取得した画像であることを特徴とするノイズ低減方法。
  17. 請求項15に記載のノイズ低減方法であって、
    前記入力画像をノイズの大きさで除した画像から、1より大きい閾値よりも大きな画素値の領域を抽出し、抽出した領域の画素値の平均値を求めるステップと、
    前記ノイズの大きさで除した画像を前記平均値で除して、前記CNNの入力画像とするステップと、を含むノイズ低減方法。
  18. 請求項15に記載のノイズ低減方法であって、
    ノイズの大きさが異なる複数のノイズ画像について、複数の値が異なる規格化因子と当該規格化因子で規格化後の画像の背景ノイズとの関係を求めるステップと、
    前記規格化因子と背景ノイズとの関係をもとにターゲットノイズを設定するステップとをさらに含み、
    前記規格化因子として前記ターゲットノイズを用いて前記入力画像を規格化することを特徴とするノイズ低減方法。
  19. 請求項15に記載のノイズ低減方法であって、
    SNRが異なる複数のノイズ画像について、それらノイズ画像と正解画像との差を最小化する最適規格化因子とノイズ画像のSNRとの関係を求めるステップと、
    前記入力画像のSNRを推定するステップと、をさらに備え、
    前記最適規格化因子とノイズ画像のSNRとの関係および前記入力画像のSNRを用いて、当該入力画像の規格化因子を決定し、決定した規格化因子で前記入力画像を規格化することを特徴とするノイズ低減方法。
  20. 規格化されたノイズ画像とノイズ画像よりもノイズが少ない正解画像とを用いて学習したCNNを有し、前記CNNの入力画像のノイズを低減する画像処理装置であって、
    前記ノイズ低減部は、前記入力画像のノイズ情報と信号レベル情報とを用いて、前記入力画像を前記CNNに適した規格化因子で規格化する規格化部を有し、規格化後の入力画像について前記CNNを用いたノイズ低減処理を行うことを特徴とする画像処理装置。
JP2022034774A 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法 Pending JP2023130225A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022034774A JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法
CN202211154552.9A CN116797467A (zh) 2022-03-07 2022-09-20 磁共振摄像装置、图像处理装置以及图像的噪声减少方法
US18/112,498 US20230281760A1 (en) 2022-03-07 2023-02-21 Magnetic resonance imaging apparatus, image processor, and image noise reduction method
EP23159376.5A EP4242682A1 (en) 2022-03-07 2023-03-01 Magnetic resonance imaging apparatus, image processor, and image noise reduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022034774A JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法

Publications (2)

Publication Number Publication Date
JP2023130225A true JP2023130225A (ja) 2023-09-20
JP2023130225A5 JP2023130225A5 (ja) 2024-05-21

Family

ID=85415418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022034774A Pending JP2023130225A (ja) 2022-03-07 2022-03-07 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法

Country Status (4)

Country Link
US (1) US20230281760A1 (ja)
EP (1) EP4242682A1 (ja)
JP (1) JP2023130225A (ja)
CN (1) CN116797467A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008133951A2 (en) 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
CN113344951B (zh) 2021-05-21 2024-05-28 北京工业大学 一种边界感知双重注意力引导的肝段分割方法

Also Published As

Publication number Publication date
CN116797467A (zh) 2023-09-22
US20230281760A1 (en) 2023-09-07
EP4242682A1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
US7636098B2 (en) Salience preserving image fusion
US9466098B2 (en) Local definition of global image transformations
EP3410392A1 (en) Image processing system and medical information processing system
CN108364297B (zh) 血管图像分割方法、终端、存储介质
US11100611B2 (en) Systems and methods for background noise reduction in magnetic resonance images
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
JP2020197915A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112150368A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10497106B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium having recorded thereon a program for performing the image processing method
KR102669220B1 (ko) 지향성 스케일링 시스템들 및 방법들
Zhang et al. Joint channel-spatial attention network for super-resolution image quality assessment
US8379938B2 (en) Gradation correction characteristics evaluation device, image processing device, gradation correction characteristics evaluation method, image processing method, and computer-readable computer program product
CN112785540B (zh) 一种扩散加权图像的生成系统及方法
JP2023130225A (ja) 磁気共鳴撮像装置、画像処理装置、及び、画像のノイズ低減方法
Hernández-Gutiérrez et al. Improved preclassification non local-means (IPNLM) for filtering of grayscale images degraded with additive white Gaussian noise
US20210374480A1 (en) Arithmetic device, arithmetic method, program, and discrimination system
KR100452644B1 (ko) 영상 처리 방법과 장치, 기록 매체 및 촬상 장치
Bianco et al. Image quality assessment by preprocessing and full reference model combination
RU2364937C1 (ru) Способ и устройство фильтрования шума видеосигналов
Benzi et al. A bio-inspired synergistic virtual retina model for tone mapping
US9123126B2 (en) Method for enhancing local contrast of an image
US11941871B2 (en) Control method of image signal processor and control device for performing the same
Alai et al. Optimization of ISP parameters for low light conditions using a non-linear reference based approach
Cahyani et al. Underwater Quality Enhancement Based on Mixture Contrast Limited Adaptive Histogram and Multiscale Fusion
Janabi et al. Image Improvement via Fuzzy Inference Centered Contextual-Dissimilarity Histogram Equalization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240508

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20240821