JP2020141908A - 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル - Google Patents

医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル Download PDF

Info

Publication number
JP2020141908A
JP2020141908A JP2019041887A JP2019041887A JP2020141908A JP 2020141908 A JP2020141908 A JP 2020141908A JP 2019041887 A JP2019041887 A JP 2019041887A JP 2019041887 A JP2019041887 A JP 2019041887A JP 2020141908 A JP2020141908 A JP 2020141908A
Authority
JP
Japan
Prior art keywords
image
noise
medical
unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019041887A
Other languages
English (en)
Other versions
JP7302988B2 (ja
Inventor
金子　幸生
Yukio Kaneko
幸生 金子
昌宏 荻野
Masahiro Ogino
昌宏 荻野
喜実 野口
Yoshimi Noguchi
喜実 野口
尾藤　良孝
Yoshitaka Bito
良孝 尾藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019041887A priority Critical patent/JP7302988B2/ja
Priority to US16/804,054 priority patent/US11257196B2/en
Publication of JP2020141908A publication Critical patent/JP2020141908A/ja
Application granted granted Critical
Publication of JP7302988B2 publication Critical patent/JP7302988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】機械学習モデルによる画像処理において、画像処理内容を解析可能とすることにより、不適切な画像処理を予防しつつノイズを精度よく低減させて画質を向上させる医用撮像装置を提供する。【解決手段】医用画像を取得する医用画像取得部と、医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価部２１１と、ノイズ評価部により基準値を超えるノイズを有すると判定された医用画像のノイズを低減するノイズ低減部２１２とを備え、ノイズ低減部が、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を有し、複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む機械学習モデルを用いて、医用画像のノイズを低減する。【選択図】図２

Description

本発明は、機械学習モデルを利用した医用撮像装置、医用画像処理装置及び方法に関する。
ＭＲＩ、ＣＴ及び超音波撮像装置等の医用画像撮像装置によって取得される医用画像において、病変や疾患の見落としを防止し、高精度な診断をするという観点から高画質化が望まれている。また、ＭＲＩにおける撮像時間の短縮や、ＣＴにおける低被ばく化、超音波撮像装置における高フレームレート撮像などの実現の為に、少ない計測データで画像再構成することが必要とされているが、その際、画像の劣化が課題となる。そこで、高画質化、特にノイズ低減について、例えば、以下（１）〜（３）のような手法がある。
（１）複数種類の線形又は非線形画像フィルタを選択的に用いる、すなわち、平滑化フィルタ、平均値フィルタ、バイラテラルフィルタなどのノイズを低減させるのに有効な線形又は非線形画像フィルタを用いて、ノイズを含む画像にフィルタを畳み込み処理することでノイズを低減させる。
（２）ノイズ成分が小さくなるように補正処理を繰り返し行う（逐次再構成）。
（３）ノイズを含む画像データ（入力データセット）及びノイズを含まない画像データ（出力データセット）からなる学習セットを収集して生成された機械学習モデルを用いてノイズを低減させる（非特許文献１）。
ISOGAWA K.他著、NOISE LEVEL ADAPTIVE DEEP CONVOLUTIONAL NEURAL NETWORK FOR IMAGE DENOISING、PROCEEINGS OF INTERNATIONAL SOCIETY FOR MAGNETIC RESONANCE IN MEDICINE、2018、vol.26,p.2797
しかしながら、線形又は非線形画像フィルタを用いる場合は、設計者の経験に基づいてその画像のノイズ低減に適したフィルタの種類等を個別具体的に選定しているため、ノイズ低減の効果に差異が生じる。また、フィルタを多段組み合わせることも可能であるが、複数のフィルタを組み合わるパターンは無数に考えられる。このため、組合せによっては、ノイズ低減効果が不十分であったり、フィルタを強くかけすぎることにより画像ボケが生じたり等の不具合が生じるなど、最適化が困難である。
逐次再構成によるノイズ低減の場合には、補正処理を繰り返し計算することから、演算に要する時間が膨大となる。
さらに、機械学習を用いた高画質化では、従来のフィルタ等による高画質化よりも高いノイズ低減効果が得られるポテンシャルを有しているものの、一方で、必ずしもノイズを低減できるとは言えない場合が考えられる。すなわち、機械学習においては、処理が原則ブラックボックスであり、どのような処理がなされているかの解析が困難である。このため、例えば、ノイズでないものをノイズと誤判断して不適切な画像処理を行ってしまうことも考えられるが、不適切な画像処理であったか否かの解析さえも困難である。従って、例えば、医用画像の場合には、病変をノイズと誤判断して画像処理を行うことも考えられるため、医療現場において使用する際の障壁となり得る。
本発明は、上記事情に鑑みてなされたものであり、機械学習モデルによる画像処理において、画像処理内容をできる限りホワイトボックス化し、解析可能とすることにより、不適切な画像処理を予防しつつノイズを精度よく低減させて画質を向上させることを目的とする。
上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、医用撮像装置であり、医用画像を取得する撮像部と、前記医用画像に対して畳み込み処理を行う画像処理部と、を備え、前記画像処理部は、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、前記記憶部に記憶された畳み込み係数のセットとその重み係数を用いて、前記畳み込み処理の演算を行う演算部と、を備え、前記畳み込み処理により画質を向上することを特徴とする。
本発明の他の態様は、医用画像処理装置であり、医用画像を取得する医用画像取得部と、医用画像に対して畳み込み処理を行う画像処理部と、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、畳み込み処理の演算を行う計算機と、を備え、記憶部は、入力データとしてのノイズの大きい画像及び出力データとしてのノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含み、前記学習モデルは、いずれかの層が、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含み、前記畳み込み処理により画質を向上すること、を特徴とする。
本発明のさらに他の態様は、医用画像処理プログラムであり、以下のステップをコンピュータに実行させる。医用画像を取得する医用画像取得ステップ、前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価ステップ、及び、前記ノイズ評価ステップにおいて基準値を超えるノイズを有すると判定された前記医用画像について、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を有し、前記複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む機械学習モデルを用いて、前記医用画像のノイズを低減するステップ。
また、本発明のさらに他の態様は、機械学習モデルであり、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を備え、前記複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む。
本発明によれば、機械学習モデルによる画像処理において、画像処理内容を解析可能とすることにより、不適切な画像処理を予防しつつノイズを精度よく低減させて画質を向上させることができる。
第一実施形態の医用撮像装置（ＭＲＩ装置）の全体概要を示す図。 第一実施形態の、機械学習モデルを適用した医用画像処理装置（画像処理部）の概略構成を示すブロック図である。 図２の画像処理部においてノイズ低減される前後の医用画像を示す参考図である。 第一実施形態に係る機械学習モデルを構築する際の処理を説明するフローチャートである。 第一実施形態に係る機械学習モデルの参考図である。 第一実施形態に係るノイズ低減処理を説明するフローチャートである。 図２の画像処理部によりノイズ低減処理の結果の表示例を示す図である。 図２の画像処理部においてノイズ低減される前後の医用画像と共に、画像処理マップ及び画質マップを表示させた他の例を示す参考図である。 第一実施形態の変形例に係るノイズ低減処理を説明するフローチャートである。 第二実施形態の医用撮像装置（超音波撮像装置）の全体概要を示す図。 第三実施形態の医用撮像装置（Ｘ線ＣＴ装置）の全体概要を示す図。
以下、本発明の機械学習モデルを医用撮像装置に適用した実施形態を説明する。本発明の機械学習モデルは、入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を備える。これら複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む。
＜第一実施形態＞
本発明を核磁気共鳴撮像装置に適用した実施形態を説明する。
なお、各実施形態を説明するための全図において、同一機能を有するものは、同一の符号を付し、その繰り返しの説明は省略する。なお、これにより本発明が限定されるものではない。
まず、本実施形態のＭＲＩ装置の全体構成について説明する。図１は、本実施形態のＭＲＩ装置１００のブロック図である。本図に示すように、本実施形態のＭＲＩ装置１００は、静磁場を発生するマグネット１０１と、傾斜磁場を発生するコイル（傾斜磁場コイル）１０２と、静磁場均一度を調整するシムコイル１１２と、シーケンサ１０４と、高周波磁場（ＲＦ）を照射（送信）するＲＦ送信用コイル（送信コイル）１１４と、被検体１０３から発生する核磁気共鳴信号を検出（受信）するＲＦ受信用コイル（受信コイル）１１５と、被検体１０３を載置するテーブル１０７と、傾斜磁場電源１０５と、高周波磁場発生器１０６と、受信器１０８と、シム電源１１３と、ＭＲＩ装置１００の各部を制御し、撮像を実現する計算機１０９と、を備える。
傾斜磁場コイル１０２およびシムコイル１１２は、それぞれ傾斜磁場電源１０５およびシム電源１１３に接続される。また、送信コイル１１４および受信コイル１１５は、それぞれ、高周波磁場発生器１０６および受信器１０８に接続される。
シーケンサ１０４は、計算機１０９からの指示に従って、傾斜磁場電源１０５とシム電源１１３、および高周波磁場発生器１０６に命令を送り、それぞれ傾斜磁場およびＲＦを発生させる。ＲＦは、送信コイル１１４を通じて被検体１０３に照射（送信）される。ＲＦを照射（送信）することにより被検体１０３から発生する核磁気共鳴信号は受信コイル１１５によって検出（受信）され、受信器１０８で検波が行われる。受信器１０８での検波の基準とする磁気共鳴周波数は、計算機１０９によりシーケンサ１０４を介してセットされる。検波された信号はＡ／Ｄ変換回路を通して計算機１０９に送られ、ここで画像再構成などの信号処理が行われる。その結果は、計算機１０９に接続される表示装置１１０に表示される。検波された信号や測定条件は、必要に応じて、計算機１０９に接続される記憶装置１１１に保存される。
本実施形態のＭＲＩ装置は、計算機１０９が作成した再構成画像に対し機械学習モデルを用いてノイズ低減処理を行う画像処理部２００を備えることが特徴である。画像処理部２００は、エコー信号から画像再構成を行う計算機１０９内に構築することも可能であるし、画像再構成部として機能する計算機１０９とは別の計算機に構築したもの、例えばＭＲＩ装置とは独立した医用画像処理装置内に構築したものであってもよい。画像処理部２００以外の各要素の構成及びＭＲＩ装置の動作は、特に断らない限り、公知のＭＲＩ装置と同様である。
図２に画像処理部２００の概略構成図を示す。図２では、医用画像処理装置としての画像処理部２００の構成を示しているが、計算機１０９に構築される場合も同様である。
図示するように、画像処理部２００は、演算部２０１、画像取得部２０２、記憶装置２０３、メモリ２０４及び表示メモリ２０５を備えている。画像処理部２００は、画像取得部２０２を介して計算機１０９の画像再構成部から医用画像を取得して所望の画像処理を行う。また、画像処理部２００は、表示メモリ２０５を介して画像処理部２００において処理を行った画像を表示させるディスプレイ２１０と接続されている。なお画像処理部２００が独立した医用画像処理装置の場合には、図示しないモダリティや医用画像データベース等と接続され、これらから画像取得部２０２を介して医用画像を取得する。
演算部２０１は、画像処理部２００全体を制御するとともに、画像取得部２０２が取得した医用画像に対してノイズ低減処理のための所定の演算処理（画像処理部としての主たる機能）を実行する。
このため、図２に示すように、演算部２０１は、主要な機能としてノイズ低減部２１２を有する。さらに、必須ではないが、ノイズ評価部２１１、及び画質評価部２１３の機能を備えていてもよい。なお、これらの演算部２０１が実現するノイズ評価部２１１、ノイズ低減部２１２及び画質評価部２１３の機能は、演算部２０１等のメモリに格納されたプログラムを読み込んで実行することによりソフトウェアとして実現することができる。
なお、演算部２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは両者の組み合わせによって構成することができる。また、演算部２０１に含まれる各部が実行する動作の一部又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）により実現することもできる。
ノイズ評価部２１１は、画像取得部２０２を介して取得した医用画像について、ノイズレベルを評価する。具体的には、ノイズ評価対象の医用画像が撮影されたモダリティや、部位、撮像方法毎に予め定められたノイズ基準値と、当該医用画像のノイズレベルとを比較し、ノイズが基準値を超える場合に、当該医用画像をノイズ低減処理の対象画像とする。なおノイズ評価部２１１を有しない場合には、取得した医用画像をそのままノイズ低減部２１２の処理に渡す。
ノイズ低減部２１２は、ノイズ評価部２１１によりノイズ低減処理の対象とされた医用画像について、機械学習モデルを適用してノイズ低減処理を行う。ここでの機械学習モデルは、最適化された人工知能アルゴリズムであり、入力データに対して特定のデータを出力する関数と同様の機能を有するプログラムである。従って、機械学習モデルを記憶装置２０３に記憶させておくこともできる。参考として、ノイズ低減前後の画像を図３に示す。機械学習モデルの詳細については後述する。
画質評価部２１３は、ノイズ低減部２１２においてノイズ低減処理が施された医用画像の画質を評価する。具体的には、画質評価部２１３は、ノイズ低減部２１２においてどのような画像処理をしたのかを示す画像処理マップ、及び、ノイズ低減処理が施された医用画像について、ＰＳＮＲ（Peak signal-to-noise ratio）、ＳＳＩＭ（Structural Similarity）等の指標をマッピングした画質マップを生成する。
メモリ２０４は、演算部２０１が実行するプログラムや演算処理の途中経過を記憶するものである。
記憶装置２０３は、ノイズ評価部２１１がノイズ評価の際に用いるノイズ評価対象の医用画像が撮影されたモダリティや、部位、撮像方法毎に予め定められたノイズ基準値、その他、演算部２０１が実行するプログラムやプログラム実行に必要なデータを格納する。具体的には、後述する学習済みの機械学習モデルを規定する複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数が格納される。
さらに、記憶装置２０３は、画像取得部２０２が取得した医用画像（ここではＭＲ画像）及び医用画像に係る付帯情報を格納する。付帯情報としては、例えば、医用画像を撮像したモダリティ、撮像部位、撮像時の体位・姿勢などが挙げられる。記憶装置２０３として、例えば、ハードディスク等のＣＤ／ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬性記録媒体とデータの授受が可能な装置を適用することができる。
表示メモリ２０５は、ディスプレイ２１０に画像等を表示させるための表示データを一時的に格納するものである。ディスプレイ２１０は、画像処理部２００によってノイズが低減された画像及び画質評価部によって生成された画質マップ及び画像処理マップを表示することで、医用画像及び画像処理の内容をユーザに提供する。
（機械学習モデルの構築について）
ノイズ低減部２１２は、上述のように、機械学習モデルを利用してノイズ低減処理を行う。本実施形態において、ノイズ低減に係る機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を用い、短時間で撮像されたことによりノイズが比較的多い医用画像に対してノイズ低減処理を行うことで画質を向上させる。
機械学習モデルは、例えば、図４に示すフローチャートに示す手順に従い、予め専用又は汎用のコンピュータ等を用いて構築することができる。
図４に示すように、ステップＳ１０１では、ノイズ低減のための学習に必要な学習データを収集する。例えば、ノイズを含む画像データ及びノイズを含まない（あるいはノイズが小さい）画像データを学習データセットとして複数収集する。ノイズを含む画像データとノイズを含まない画像データの例として、例えば、ｋ空間を間引いて取得したアンダーサンプリングデータとｋ空間を間引かずに取得したフルサンプリングデータとの組や、低解像度データと高解像度データとの組などがある。また，撮像時の積算回数を減らして取得した低画質画像と，高画質画像との組もある。それ以外にも、ノイズ発生条件を異ならせて取得したデータなどがありえる。
次に、ステップＳ１０２において、収集された学習データセットに含まれる画像データの一部を切り出して学習パッチを作成する。例えば、５１２×５１２のサイズの画像データから、３２×３２のパッチを複数枚作成する。ステップＳ２０３において、全ての学習パッチを入力して特徴量を学習させて機械学習モデル（ノイズ低減用ネットワーク）を構築する。
このような手順で生成された機械学習モデルは、図５に示すように、複数の畳み込み層からなるネットワークである。図５の例では、各畳み込み層で抽出される特徴量をＮ１，Ｎ２，・・・、処理対象のカーネルサイズをｆ１，ｆ２，・・・、各カーネルの畳み込み係数のセットを（ｋ１１、ｋ１２、ｋ１３、・・・）、（ｋ２１、ｋ２２、ｋ２３、・・・）、・・・、各畳み込み係数のセットの重み係数をｗ１、ｗ２、・・・、としている。これら複数の畳み込み層における、畳み込み係数のセット及び各畳み込み係数のセットの重み係数は、記憶装置２０３に格納され、ノイズ低減処理に用いられる。
ここで、一般的な畳み込みニューラルネットワークにおける各畳み込み層は、元の画像からフィルタにより特徴点を凝縮する処理を行うものであり、カーネルに対して初期値をランダムに与えて処理を実行している。各畳み込み層は、元の画像にフィルタをかける処理を行うが、このフィルタは自動作成され、学習により変化していく。このため、算出されたカーネルを見てもどのような処理をしているか解析が困難である。
そこで、本実施形態に係る機械学習モデルでは、複数の畳み込み層のうち、前段の何れかの層を畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層となるように構築する。フィルタ層は、第１層であることが好ましい。フィルタ層に適用する線形又は非線形フィルタは、例えば、平滑化フィルタ、平均化フィルタ、微分フィルタ、２次微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、鮮鋭化フィルタなどが挙げられる。これらの各フィルタに対する重み付けについては、機械学習モデルを構築する際に自由度を与えて学習させ決定する。フィルタ層以降は、カーネル特性にも自由度を与えて学習させることにより機械学習モデルを構築する。なお、フィルタ層に適用するフィルタは、平滑化フィルタ、平均化フィルタ、微分フィルタ、２次微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、鮮鋭化フィルタのような既存フィルタでもいいし、別方法により設計されたフィルタを適用してもよい。また、フィルタ層は全層に入れてもよい。さらに、ネットワーク構造は、図５ではＳＲＣＮＮ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ ＣＮＮ）を例に示しているが、Ｕ−Ｎｅｔなど他のネットワーク構造でもよい。
このように構築された機械学習モデルを用いてノイズ低減を行う場合には、ネットワーク前段（第１層）のフィルタ層が、機械学習により自動生成されたフィルタでなく、畳み込み係数が予め定められた複数の線形又は非線形フィルタからなる、既知のものであるため、どのような処理をしているか解析が容易となる。つまり、例えば、平滑化フィルタ０．７、先鋭化フィルタ０．３の割合で使用している等の処理内容を解析することができる。また、特に、フィルタ層を第一層とすることで、入力画像が第一層である程度ノイズ低減されるため、残りのノイズ成分に対してのみ、機械学習モデルにより自動生成されたフィルタでノイズ低減を行えばよい。
機械学習モデルの構築においては、一般には大量の学習データセットを収集して反復学習させる必要があるが、第１層をフィルタ層として定めているため、機械学習モデルの構築に要する学習データセットの量及び演算コストを低減させることができる。
このように構成された画像処理部２００では、図６のフローチャートに従ってノイズ低減処理が行われる。まず、ステップＳ２０１において、画像取得部２０２を介して医用画像を取得する。次のステップＳ２０２において、取得した医用画像のノイズレベルを評価する。ノイズレベルの評価は、例えば、ＳＤ（標準偏差）などを用いることができる。
ステップＳ２０３において、ステップＳ２０２で評価されたノイズレベルと、記憶装置２０３に記憶された基準値とを比較し、医用画像のノイズレベルが基準値を超えるか否かを判定する。ステップＳ２０３の判定において、医用画像のノイズレベルが基準値を超えた場合には、ステップＳ２０４に進み、機械学習モデルを用いたノイズ低減処理を行う。ステップＳ２０３の判定において、医用画像のノイズレベルが基準値を下回る場合には、ノイズ低減処理を行わずに本処理を終了する。
ノイズ低減処理された画像は、表示メモリ２０５を介してディスプレイ２０１に表示させることができる。この時、画質評価部２１３は、ノイズ低減処理が施された医用画像について画像処理マップ及び画質マップの何れか一方又は両方を生成し、表示メモリ２０５に出力する。ディスプレイ２１０は、画像処理マップ及び画質マップを単独で又はノイズ低減処理が施された医用画像と共にディスプレイ２１０に表示させることができる。
図７及び図８に、ディスプレイ２１０に表示される表示画面の例を示す。図７の例では、画像処理マップ７０１及び画質マップ７０２が表示されている。画像処理マップは、ノイズ低減部２１２が行った処理をマッピングした画像で、これを見ることでユーザは先鋭化と平滑化がどのような割合で行われたかを知ることができる。また画質マップは、ＰＳＮＲ（ピークＳＮ比）やＳＳＩＭ（類似度）等の指標をマッピングした画像であり、ユーザは指標が良好な部分とそうではない部分とを確認することができる。さらに後述する変形例で述べるように複数種類の学習済み機械学習モデルが格納されている場合には、画質マップの指標に応じて、別の学習済み機械学習モデルを用いて再度ノイズ低減処理を行ってもよい。この処理は、ユーザの指示で行ってもよいが、画像処理部が画質マップの指標を元に判断してもよい。
また、図８の例では、画像処理マップ８０１及び画質マップ８０２に加えて、入力画像（ノイズ低減前）８０３、出力画像（ノイズ低減後）８０４、及び、ユーザに手動で画像処理バランスを調整するためのバー８０５を表示させたＧＵＩが表示されている。このような画像処理バランス調整バー８０５により、ユーザは、現在表示されている画像処理マップ８０１よりも、先鋭度あるいは平滑度を高く／低くするなどの指示を画像処理部２００に送ることができ、画像処理部２００はこのユーザ指示を受けて、後述する変形例で述べるように複数種類の学習モデルから最適な学習モデルを選択して、処理を行う。
なお図７及び図８では、画像処理マップ及び画質マップを両方表示した例を示したが、これらのうち一つのマップのみを表示させてもよい。
以上述べた如く、本実施形態によればノイズ低減処理に、ノイズを含む画像と含まない画像との複数の組を用いて学習された機械学習モデルを用いることからノイズ低減効果が向上し高画質の医用画像を取得することができる。また、機械学習モデルの畳み込み層の前段（第一層）のフィルタ層を、機械学習により自動生成されたフィルタでなく、畳み込み係数が予め定められた複数の線形又は非線形フィルタからなる既知の特性を持つ層としているため、ノイズ低減処理の内容の解析が容易となる。つまり、例えば、平滑化フィルタ０．７、先鋭化フィルタ０．３の割合で使用している等の処理内容を解析することができる。この解析結果をディスプレイ２０１に表示させてもよい。
従って、ノイズ低減が誤判断に基づくような場合であっても、処理内容の解析が容易となることから、誤判断か否かを把握することができ、精度の高いノイズ低減処理が可能となる。特に、画像処理マップ及び画質マップをノイズ低減後の画像と共に表示させることで、ユーザに対して、ノイズ低減処理の内容を視覚的に提供することができる。
（変形例）
なお、ノイズ低減処理の対象となる医用画像の種類、部位、撮像条件等に応じて機械学習モデルを複数用意しておき、ノイズ低減処理の際に、最適な機械学習モデルを選択する構成とすることもできる。この場合には、図９に示すフローチャートに従って処理を行う。
すなわち、画像処理部２００は、ステップＳ３０１において、画像取得部２０２を介して医用画像を取得する。次のステップＳ３０２において、取得した医用画像のノイズレベルを評価する。
ステップＳ３０３において、ステップＳ３０２で評価されたノイズレベルと、記憶装置１０３に記憶された基準値とを比較し、医用画像のノイズレベルが基準値を超えるか否かを判定する。ステップＳ３０３の判定において、医用画像のノイズレベルが基準値を超えた場合には、ステップＳ３０４に進む。このステップＳ３０４では、記憶装置２０３に格納されている医用画像の付帯情報（画像の種類、部位、撮像条件等の情報）を用いて、それら情報と紐付けられた、当該医用画像に最適な機械学習モデルを選択する。或いは、ユーザが最適な機械学習モデルを選択するのに必要な情報を入力し、それをもとに最適な機械学習モデルをしてもよい。例えば、図８に示したように、画像処理バランス調整バー８０５のユーザ操作によって処理バランスの指示を受付けた場合には、指示された処理バランスの処理を行う機械学習モデルを選択する。
その後は、上記実施形態と同様であり、ステップＳ３０５において選択された機械学習モデルを用いてノイズ低減処理を行う。ステップＳ３０３の判定において、医用画像のノイズレベルが基準値を下回る場合には、ノイズ低減処理を行わずに本処理を終了する。
なお、処理対象である画像データは、空間的な三次元ボリュームデータでもいいし、時間軸方向も含めた四次元データでもよい。また、画像データは、絶対値データでもいいし、位相データでもいいし、複素データでもいい。また、Ｔ１強調画像、Ｔ２強調画像のような組織構造を可視化した画像だけでなく、ＭＲＡのように血流を可視化する画像や、拡散係数等の定量値を可視化する画像に適用してもいい。
本実施形態の核磁気共鳴撮像装置によれば、少ないサンプリング数で取得したノイズの大きな画像から、サンプリング数の多い低ノイズ画像を取得することが可能となるため、たとえば、撮像時間を短縮することが可能となる。
＜第二実施形態＞
本発明を超音波撮像装置に適用した実施形態を説明する。
超音波撮像装置４００の全体概要を図１０に示す。この装置は、超音波撮像部４１０と、超音波撮像部４１０から受信した超音波信号を用いて画像再構成等の演算を行う画像処理部４２０とからなる。
超音波撮像部４１０は、従来の超音波撮像装置と同様の構成を備えており、超音波を発信する超音波探触子４１１、探触子４１１に超音波駆動信号を送る送信部４１２、探触子４１１からの超音波信号（ＲＦ信号）を受信する超音波受信部４１３、超音波受信部４１３が受信した信号を整相加算（ビームフォーミング）する整相加算部４１５、及び、超音波送信部４１２及び超音波受信部４１３を制御する超音波送受信制御部４１４を備える。
画像処理部４２０は、撮像部４１０が取得した超音波信号から超音波画像を生成して第一実施形態の画像処理部２００の演算部２０１と同様の処理を行う演算部４２１と、入力部４２２と、表示部４２３と、記憶装置４２４とを備える。演算部４２１は、さらにドプラー処理部（不図示）などを備えていてもよい。図示する構成例では、超音波送受信制御部４１４及び演算部４２１は一つのＣＰＵ内に構築されているが、超音波送受信制御部４１４は、演算部４２１とは別のＣＰＵ内に構築されていてもよいし、送受信回路等のハードウェアと制御ソフトウェアとの組み合わせであってもよい。
演算部４２１の構成及び機能は、第一実施形態の演算部２０１と同様であり、図２に示したように、ノイズ評価部２１１、ノイズ低減部２１２、及び画質評価部２１３を備えている。ノイズ評価部２１１及び画質評価部２１３は省略することも可能である。
本実施形態のノイズ低減部２１２で用いる学習モデルを構築するための学習用データには、画質の異なる超音波画像（例えば、Ｂモード像）を用意する。一例として、フレームレートを落として高解像度を実現した画像と、高フレームレートで撮像した画像との組み合わせなどが挙げられる。このような学習用データを用いて、第一実施形態と同様に（図４のフローチャート）学習モデルを構築する。この学習モデルも、複数の層を含む学習モデルであって、図５に示したように、例えば、第１層が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である。
このような学習モデルは、例えば、超音波画像の種類、部位、撮像条件等に応じて複数用意することができる。
撮像においては、超音波撮像部４１０において探触子４１１が受信した超音波を整相加算し、画像処理部４２０に超音波信号を送信する。画像処理部４２０は、第一実施形態と同様の処理を行う。まず超音波信号から超音波画像を生成し、ノイズ評価部２１１が生成された超音波画像のノイズを評価する。ノイズが記憶装置４２４に予め格納された基準値以下であれば、ノイズ低減処理を行うことなく超音波画像を表示部４２３に表示する。超音波画像のノイズが基準値を超える場合には、ノイズ低減部２１２が上述した学習モデルを用いてノイズ低減処理を行う。すなわちもとの画像を入力として、ノイズが低減された画像を出力する。この場合、予め複数の学習モデルが用意されている場合には、撮像の目的に合わせて最適な学習モデルを選択してノイズ低減処理を行う。
ついで画質評価部２１３において、ノイズ低減処理後の画像の画質を評価し、処理結果を示す画像（画像処理マップや画質マップ）を作成してもよい。処理結果を示す画像を表示部４２３にすること、その表示画面において処理バランスのユーザ指示を受付けてもよいことは、第一実施形態と同様である。
本実施形態の超音波撮像装置によれば、少ないサンプリング数で取得したノイズの大きな画像から、サンプリング数の多い低ノイズ画像を取得することが可能となるため、たとえば、高フレームレート撮像などを行うことが可能となる。
＜第三実施形態＞
本発明をＣＴ装置に適用した実施形態を説明する。
ＣＴ装置５００の全体概要を図１１に示す。この装置は、大きく分けてＣＴ撮像部５１０と、ＣＴ撮像部５１０が受信したＣＴ画像信号を用いて画像再構成等の演算を行う画像処理部５２０とからなる。
ＣＴ撮像部５１０は、従来のＣＴ装置と同様の構成を備えており、被検体１０３にＸ線を照射するＸ線源５１１と、Ｘ線の放射範囲を制限するコリメータ５１３と、被検体１０３を透過した透過Ｘ線を検出するＸ線検出器５１６と、中央に開口５１４を有してＸ線源５１１及びＸ線検出器５１６を対向する位置で支持する回転板５１２と、開口５１４内の空間で被検体１０３を搭載する寝台５１５と、Ｘ線検出器５１６の出力を投影データ毎に収集するデータ収集部５１７と、ＣＴ撮像部５１を構成する各要素の動作を制御するシステム制御部５１８とを備えている。
画像処理部５２０は、撮像部５１０が生成した断層画像（ＣＴ画像）に対して、第一実施形態の演算部２０１と同様の処理を行う演算部５２１と、入力部５２２と、表示部５２３と、記憶装置５２４とを備える。また図示する構成例では、システム制御部５１８及び演算部５２１は一つのＣＰＵ内に構築されているが、システム制御部５１８は、演算部５２１とは別のＣＰＵ内に構築されていてもよいし、ハードウェアと制御ソフトウェアとの組み合わせであってもよい。同様に画像処理部５２０の機能の一部をハードウェアで構成することも可能である。
演算部５２１の機能は、第一実施形態の画像処理部２００の演算部２０１の機能と同様であり、図２に示したように、ノイズ評価部２１１、ノイズ低減部２１２、及び画質評価部２１３を備えている。
本実施形態のノイズ低減部２１２で用いる学習モデルを構築するための学習用データには、画質の異なるＣＴ画像を用意する。一例として、高線量で取得した高解像度画像と、低線量で取得した低解像度画像との組み合わせなどが挙げられる。このような学習用データを用いて、第一実施形態と同様に（図４のフローチャート）学習モデルを構築する。この学習モデルも、複数の層を含む学習モデルであって、図５に示したように、例えば、第１層が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層である。
このような学習モデルは、例えば、撮像部位、撮像条件等に応じて複数用意することができる。
撮像においては、ＣＴ撮像部５１０においてＸ線検出器５１６が検出した透過Ｘ線のＸ線信号を、データ収集部５１７が収集して画像処理部５２０に送信する。画像処理部５２０は、第一実施形態と同様に、まず画像再構成部２００がＣＴ画像を生成し、生成された超音波画像に対し、第一実施形態と同様の処理を行う。まずノイズ評価部２１１が生成されたＣＴ画のノイズを評価する。ノイズが記憶装置４２４に予め格納された基準値以下であれば、ノイズ低減処理を行うことなくＣＴ画を表示部４２３に表示する。ＣＴ画のノイズが基準値を超える場合には、ノイズ低減部２１２が上述した学習モデルを用いてノイズ低減処理を行う。すなわちもとの画像を入力として、ノイズが低減された画像を出力する。この場合、予め複数の学習モデルが用意されている場合には、撮像の目的に合わせて最適な学習モデルを選択してノイズ低減処理を行う。
ついで画質評価部２１３において、ノイズ低減処理後の画像の画質を評価し、処理結果を示す画像（画像処理マップや画質マップ）を作成してもよい。処理結果を示す画像を表示部４２３にすること、その表示画面において処理バランスのユーザ指示を受付けてもよいことは、第一及び第二実施形態と同様である。
本実施形態のＣＴ装置によれば、低線量で取得したノイズの大きな画像から、高線量で取得可能な低ノイズ画像を取得することが可能となるため、被爆の少ない撮像で高精度な診断を行うことが可能となる。
以上、本発明の医用撮像装置とその画像処理部の各実施形態を説明したが、各撮像装置における画像処理部は、前述したように各撮像装置とは独立した画像処理装置であってもよい。
１００・・・ＭＲＩ装置（医用撮像装置）、２００・・・画像処理部（医用画像処理装置）、２０１・・・演算部、２０２・・・画像取得部、２０３・・・記憶装置、２０４・・・メモリ、２０５・・・表示メモリ、２１１・・・ノイズ評価部、２１２・・・ノイズ低減部、２１３・・・画質評価部、２１０・・・ディスプレイ、４００・・・超音波撮像装置（医用撮像装置）、４１０・・・超音波撮像部、４２０・・・画像処理部（医用画像処理装置）、５００・・・ＣＴ装置（医用撮像装置）、５１０・・・ＣＴ撮像部、５２０・・・画像処理部（医用画像処理装置）

Claims (15)

  1. 医用画像を取得する撮像部と、
    前記医用画像に対して畳み込み処理を行う画像処理部と、を備え、
    前記画像処理部は、予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、前記記憶部に記憶された畳み込み係数のセットとその重み係数を用いて、前記畳み込み処理の演算を行う演算部と、を備え、前記畳み込み処理により画質を向上することを特徴とする医用撮像装置。
  2. 請求項１に記載の医用撮像装置であって、
    前記記憶部は、入力データとしてのノイズの大きい画像、及び、出力データとしてのノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含むこと、を特徴とする医用撮像装置。
  3. 請求項２に記載の医用撮像装置であって、
    前記学習モデルは、いずれかの層が、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含むこと、を特徴とする医用撮像装置。
  4. 請求項３に記載の医用撮像装置であって、
    前記フィルタ層が第１層であること、を特徴とする医用撮像装置。
  5. 請求項２に記載の医用撮像装置であって、
    前記学習モデルは、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタを初期値として、学習により算出された畳み込み係数を含むこと、を特徴とする医用撮像装置。
  6. 請求項２に記載の医用撮像装置であって、
    前記画像処理部は、
    前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価部と、
    前記ノイズ評価部により基準値を超えるノイズを有すると判定された前記医用画像のノイズを低減するノイズ低減部と、を備え、
    前記ノイズ低減部が、前記学習モデルを用いて、前記医用画像のノイズを低減すること、
    を特徴とする医用撮像装置。
  7. 請求項６に記載の医用撮像装置であって、
    前記ノイズ低減部によりノイズ低減処理された前記医用画像を評価する画質評価部をさらに備え、
    前記画質評価部が、前記ノイズ低減処理部によるノイズ低減処理の内容を示す画像処理マップ、もしくは、画質評価指標をマッピングした画質マップの少なくとも一方を生成すること、を特徴とする医用撮像装置。
  8. 請求項７に記載の医用撮像装置であって、
    前記記憶部は、複数種類の画像学習データセットを元に学習された、複数の学習モデルを含み、
    前記画質評価部が、前記画像処理マップ、もしくは、前記画質マップの少なくとも一つを用いて、前記複数の学習モデルから適切な学習モデルを選択し、前記ノイズ低減部は選択した学習モデルを適用してノイズ低減処理を行うこと、を特徴とする医用撮像装置。
  9. 請求項７に記載の医用撮像装置であって、
    前記記憶部は、複数種類の画像学習データセットを元に学習された、複数の学習モデルを含み、
    前記画像処理マップ、もしくは、前記画質マップの少なくとも一つを表示する表示部と、前記表示部を介してユーザによる画像処理バランスの調整を受け付ける調整部と、をさらに備え、
    前記ノイズ低減部は、ユーザの調整に応じて、前記複数の学習モデルから適切な学習モデルを選択して適用してノイズ低減処理を行うこと、を特徴とする医用撮像装置。
  10. 請求項１に記載の医用撮像装置であって、
    前記医用画像は、三次元ボリュームデータであること、を特徴とする医用撮像装置。
  11. 請求項１に記載の医用撮像装置であって、
    前記医用撮像装置は、核磁気共鳴撮像装置であり、
    前記画像処理部は、前記核磁気共鳴撮像が取得したｋ空間データを用いて画像再構成を行うこと、を特徴とする医用撮像装置。
  12. 請求項１１に記載の医用撮像装置であって、
    前記記憶部は、
    前記入力データとして、アンダーサンプリングにより取得されたノイズの大きい画像及び、前記出力データとして、フルサンプリングされたノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含むこと、を特徴とする医用撮像装置。
  13. 医用画像を取得する医用画像取得部と、
    前記医用画像に対して畳み込み処理を行う画像処理部と、
    予め定められた複数の畳み込み係数のセット、および各畳み込み係数のセットの重み係数を記憶する記憶部と、を備え、
    前記記憶部は、入力データとしてのノイズの大きい画像及び、出力データとしてのノイズの小さい画像からなるデータセットを元に学習された、複数の層を含む学習モデルによって算出された、複数の畳み込み係数のセットを含み、
    前記学習モデルは、いずれかの層が、予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含み、
    前記記憶部に記憶された複数の畳み込み係数のセットの畳み込み処理により画質を向上すること、を特徴とする医用画像処理装置。
  14. 医用画像を取得する医用画像取得ステップと、
    前記医用画像におけるノイズが予め定めた基準値を超えるか否かを判定するノイズ評価ステップと、
    前記ノイズ評価部により基準値を超えるノイズを有すると判定された前記医用画像について、
    入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、入力される画像に対して畳み込みを行う複数の層を有し、前記複数の層のうち、いずれかの層に各画素の重み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む機械学習モデルを用いて、前記医用画像のノイズを低減するステップとを、コンピュータに実行させる医用画像処理プログラム。
  15. 入力データとしてのノイズを含む画像及び出力データとしてのノイズを含まない画像からなる学習データセットを複数収集して構築され、
    入力される画像に対して畳み込みを行う複数の層を備え、
    前記複数の層のうち、いずれかの層に畳み込み係数が予め定められた複数の線形又は非線形フィルタが組み込まれたフィルタ層を含む機械学習モデル。
JP2019041887A 2019-03-07 2019-03-07 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム Active JP7302988B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019041887A JP7302988B2 (ja) 2019-03-07 2019-03-07 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
US16/804,054 US11257196B2 (en) 2019-03-07 2020-02-28 Medical imaging apparatus, medical image processing device, and medical image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041887A JP7302988B2 (ja) 2019-03-07 2019-03-07 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020141908A true JP2020141908A (ja) 2020-09-10
JP7302988B2 JP7302988B2 (ja) 2023-07-04

Family

ID=72335367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041887A Active JP7302988B2 (ja) 2019-03-07 2019-03-07 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム

Country Status (2)

Country Link
US (1) US11257196B2 (ja)
JP (1) JP7302988B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022103122A1 (ko) * 2020-11-10 2022-05-19 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
KR20220067616A (ko) * 2020-11-17 2022-05-25 (주)자비스 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
WO2022172506A1 (ja) * 2021-02-15 2022-08-18 浜松ホトニクス株式会社 放射線画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
JP2023077989A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102423A (zh) * 2019-06-17 2020-12-18 通用电气精准医疗有限责任公司 医学成像方法及系统
KR20210067699A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US11790492B1 (en) * 2019-12-18 2023-10-17 Thales Sa Method of and system for customized image denoising with model interpretations
CN113808025A (zh) * 2020-06-11 2021-12-17 通用电气精准医疗有限责任公司 图像降噪方法及装置
CN115082320B (zh) * 2022-07-22 2022-11-15 深圳华声医疗技术股份有限公司 超声图像超分辨率处理方法、超声设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013512024A (ja) * 2009-11-25 2013-04-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 向上された画像データ／線量低減
JP2014505491A (ja) * 2010-06-30 2014-03-06 メディック ビジョン−イメージング ソリューションズ エルティーディー． 医療用画像の非線形分解能の低減
WO2018209193A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830687B2 (en) * 2013-02-28 2017-11-28 Hitachi, Ltd. Image processing device, magnetic resonance imaging apparatus and image processing method
US10970887B2 (en) * 2016-06-24 2021-04-06 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
WO2019090533A1 (en) * 2017-11-08 2019-05-16 Shenzhen United Imaging Healthcare Co., Ltd. System and method for diagnositic and treatment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013512024A (ja) * 2009-11-25 2013-04-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 向上された画像データ／線量低減
JP2014505491A (ja) * 2010-06-30 2014-03-06 メディック ビジョン−イメージング ソリューションズ エルティーディー． 医療用画像の非線形分解能の低減
WO2018209193A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井内 悠太: "カーネルテンプレート化と計算再利用によるＣＮＮの計算量削減に関する検討", 情報処理学会 研究報告 システム・アーキテクチャ（ＡＲＣ） ２０１８−ＡＲＣ−２３２ ［ＯＮＬＩＮＥ, vol. Vol.2018-ARC-232 No.11, JPN6022051693, 31 July 2018 (2018-07-31), JP, pages 1 - 7, ISSN: 0004936710 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022103122A1 (ko) * 2020-11-10 2022-05-19 주식회사 딥바이오 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템
KR20220067616A (ko) * 2020-11-17 2022-05-25 (주)자비스 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
WO2022108250A1 (ko) * 2020-11-17 2022-05-27 (주)자비스 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
KR102454975B1 (ko) 2020-11-17 2022-10-18 (주)자비스 딥러닝 기반 고화질 엑스레이 영상 생성 방법, 장치 및 프로그램
WO2022172506A1 (ja) * 2021-02-15 2022-08-18 浜松ホトニクス株式会社 放射線画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
JP2023077989A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム

Also Published As

Publication number Publication date
US20200286214A1 (en) 2020-09-10
JP7302988B2 (ja) 2023-07-04
US11257196B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP7302988B2 (ja) 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
US20220237748A1 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
US7949170B2 (en) Image processing method, image processing device, computer aided detection, and method for filtering along the time axis
Yoon et al. Staging of hepatic fibrosis: comparison of magnetic resonance elastography and shear wave elastography in the same individuals
JP6289664B2 (ja) 磁気共鳴イメージング装置、定量的磁化率マッピング方法、計算機、磁化率分布計算方法、及び、磁化率分布計算プログラム
JP6072723B2 (ja) 磁気共鳴イメージング装置、及び画像撮像方法
CN109152549B (zh) 图像诊断装置以及图像取得方法
JP2020137992A (ja) 磁気共鳴イメージング装置、方法及びプログラム
EP2720062A1 (en) Medical image imaging method, medical diagnostic apparatus using the same, and recording medium therefor
CN106251295A (zh) 考虑轮廓显著性数据的结果图像的重建
Cui et al. Motion artifact reduction for magnetic resonance imaging with deep learning and k-space analysis
US20240138700A1 (en) Medical image processing apparatus, method of medical image processing, and nonvolatile computer readable storage medium storing therein medical image processing program
CN106102576A (zh) 动态医疗图像中运动的检测
US20180210053A1 (en) Systems and Methods for Adaptive Multi-Resolution Magnetic Resonance Imaging
US11391803B2 (en) Multi-shot echo planar imaging through machine learning
US20220414837A1 (en) Medical image processing device, medical imaging apparatus, and noise reduction method for medical image
Ibrahim et al. Magnetic resonance tractography of the lumbosacral plexus: Step-by-step
WO2022217157A1 (en) System and method for quantitative magnetic resonance imaging using a deep learning network
Tripathi et al. Denoising of motion artifacted MRI scans using conditional generative adversarial network
WO2015170394A1 (ja) 撮像装置、画像処理装置及び画像処理方法
Susanto et al. Application of Denoising Weighted Bilateral Filter and Curvelet Transform on Brain MR Imaging of Non-cooperative Patients
US11688044B2 (en) Systems and methods of validating motion correction of medical images for quantitative parametric maps
US20230136320A1 (en) System and method for control of motion in medical images using aggregation
JP6377712B2 (ja) 超音波診断装置、及び画像撮像方法
WO2023027732A1 (en) Systems and methods of constrained reconstruction of images with white noise

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7302988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150