JP2020108593A - 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法 - Google Patents

医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法 Download PDF

Info

Publication number
JP2020108593A
JP2020108593A JP2019000234A JP2019000234A JP2020108593A JP 2020108593 A JP2020108593 A JP 2020108593A JP 2019000234 A JP2019000234 A JP 2019000234A JP 2019000234 A JP2019000234 A JP 2019000234A JP 2020108593 A JP2020108593 A JP 2020108593A
Authority
JP
Japan
Prior art keywords
medical image
unit
image
output
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019000234A
Other languages
English (en)
Other versions
JP7228386B2 (ja
Inventor
健輔 篠田
Kensuke Shinoda
健輔 篠田
和人 中林
Kazuto Nakabayashi
和人 中林
仁 金澤
Hitoshi Kanazawa
仁 金澤
岡本 和也
Kazuya Okamoto
和也 岡本
博司 高井
Hiroshi Takai
博司 高井
伸行 小沼
Nobuyuki Konuma
伸行 小沼
裕市 山下
Yuichi Yamashita
裕市 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019000234A priority Critical patent/JP7228386B2/ja
Publication of JP2020108593A publication Critical patent/JP2020108593A/ja
Application granted granted Critical
Publication of JP7228386B2 publication Critical patent/JP7228386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】診断精度を向上させることが可能な医用画像を生成することである。【解決手段】実施形態の医用画像処理装置は、出力部と、取得部と、導出部と、出力制御部とを備える。出力部は、情報を出力する。取得部は、一以上の医用画像を取得する。導出部は、前記取得部により取得された前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出する。出力制御部は、前記導出部により導出された前記指標値に応じて、ユーザに前記医用画像の撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる。【選択図】図3

Description

本発明の実施形態は、医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法に関する。
ディープニューラルネットワークを利用して、MR(Magnetic Resonance)画像などの医用画像を再構成によって生成する技術が知られている。これに関連し、医用画像のノイズ強度と最大画像信号強度との比が所定レベルを超えた時点でアラートを出力する技術や、医用画像の投影データの雑音分布特性を、ボウタイ形ベクトルを用いた標準偏差で近似し、その雑音分布特性を用いて投影データに雑音低減演算を施して修正した後、画像の再構成を行う技術が知られている。
従来の技術では、再構成によって得られた医用画像の画質が悪い場合に、その医用画像に対してノイズを除去するデノイズ処理を行った場合、本来デノイズ処理の後も残っているべき微細な構造物までもが、医用画像から除去される可能性があった。この結果、医者などの読影者がデノイズされた医用画像を読影して被検体の病状などを診断する場合、正しくない診断結果を導いてしまう場合があった。
米国特許出願公開第2007/0019861号明細書 米国特許第6493416号明細書
本発明が解決しようとする課題は、診断精度を向上させることが可能な医用画像を生成することである。
実施形態の医用画像処理装置は、出力部と、取得部と、導出部と、出力制御部とを備える。出力部は、情報を出力する。取得部は、一以上の医用画像を取得する。導出部は、前記取得部により取得された前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出する。出力制御部は、前記導出部により導出された前記指標値に応じて、ユーザに前記医用画像の撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる。
第1の実施形態に係る医用画像処理装置200を含む医用画像処理システム1の構成の一例を示す図。 第1の実施形態に係る医用画像生成装置100の一例を示す図。 第1の実施形態に係る医用画像処理装置200の一例を示す図。 撮像条件情報232の一例を示す図。 デノイズモデルMDL1の構成の一例を示す図。 アクティベーション層330の活性化関数の一例を示す図。 混合画像を生成する構成の一例を示す図。 第1の実施形態における処理回路210の一連の処理の流れを示すフローチャート。 第1の実施形態に係る医用画像生成装置100の他の例を示す図。 第2の実施形態に係る医用画像処理装置200の一例を示す図。 第2の実施形態における処理回路210のランタイム時の一連の処理の流れを示すフローチャート。 第2の実施形態における処理回路210のトレーニング時の一連の処理の流れを示すフローチャート。 第2の実施形態の変形例における処理回路210のランタイム時の一連の処理の流れを示すフローチャート。
以下、図面を参照しながら、医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法の実施形態について詳細に説明する。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置200を含む医用画像処理システム1の構成の一例を示す図である。例えば、図1に示すように、医用画像処理システム1は、医用画像生成装置100と、医用画像処理装置200とを備える。医用画像生成装置100および医用画像処理装置200は、ネットワークNWを介して接続される。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダなどを含む。
医用画像生成装置100は、例えば、MRI(Magnetic Resonance Imaging)装置や、CT(Computed Tomography)装置などを含む。MRI装置は、例えば、被検体(例えば人体)に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することで医用画像(MR画像)を生成する装置である。CT装置は、例えば、被検体の周囲を回転するX線管から被検体にX線を照射すると共に、その被検体を通過したX線を検出し、検出したX線に基づく信号を再構成することで医用画像(CT画像)を生成する装置である。以下の説明では、一例として医用画像生成装置100がMRI装置であるものとして説明する。
医用画像処理装置200は、一つまたは複数のプロセッサにより実現される。例えば、医用画像処理装置200は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ(スタンドアローンのコンピュータ)であってもよい。
[医用画像生成装置(MRI装置)の構成例]
図2は、第1の実施形態に係る医用画像生成装置100の一例を示す図である。図2に示すように、医用画像生成装置100は、静磁場磁石101と、傾斜磁場コイル102と、傾斜磁場電源103と、寝台104と、寝台制御回路105と、送信コイル106と、送信回路107と、受信コイル108と、受信回路109と、シーケンス制御回路110と、コンソール装置120とを備える。
静磁場磁石101は、中空の略円筒形状に形成された磁石であり、内部の空間に一様な静磁場を発生させる。静磁場磁石101は、例えば、永久磁石や超伝導磁石などである。傾斜磁場コイル102は、中空の略円筒形状に形成されたコイルであり、静磁場磁石101の内側に配置される。傾斜磁場コイル102は、互いに直交するx,y,zの各軸に対応する3つのコイルが組み合わされて形成される。z軸方向は、寝台104の天板104aの長手方向を表し、x軸方向は、z軸方向に直交し、医用画像生成装置100が設置される部屋の床面に対して平行である軸方向を表し、y軸方向は、床面に対して垂直方向である軸方向を表している。各軸方向に対応した3つのコイルは、傾斜磁場電源103から個別に電流を受けて、x,y,zの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。なお、z軸方向は、静磁場と同方向とする。
傾斜磁場電源103は、傾斜磁場コイル102に電流を供給する。ここで、傾斜磁場コイル102によって発生するx,y,zの各軸の傾斜磁場は、例えば、スライス選択用傾斜磁場Gs、位相エンコード用傾斜磁場Ge、及びリードアウト用傾斜磁場Grにそれぞれ対応する。スライス選択用傾斜磁場Gsは、任意に撮像断面を決めるために利用される。位相エンコード用傾斜磁場Geは、空間的位置に応じて磁気共鳴信号の位相を変化させるために利用される。リードアウト用傾斜磁場Grは、空間的位置に応じて磁気共鳴信号の周波数を変化させるために利用される。
寝台104は、被検体OBが載置される天板104aを備え、寝台制御回路105による制御のもと、天板104aを、被検体OBが載置された状態で傾斜磁場コイル102の空洞(撮像口)内へ挿入する。通常、寝台104は、長手方向が静磁場磁石101の中心軸と平行になるように設置される。寝台制御回路105は、コンソール装置120による制御のもと、寝台104を駆動して天板104aを長手方向及び上下方向へ移動する。
送信コイル106は、傾斜磁場コイル102の内側に配置され、送信回路107からRF(Radio Frequency)パルスの供給を受けて、高周波磁場を発生する。送信回路107は、対象とする原子核の種類及び磁場の強度で決まるラーモア周波数に対応するRFパルスを送信コイル106に供給する。
受信コイル108は、傾斜磁場コイル102の内側に配置され、高周波磁場の影響によって被検体OBから発せられる磁気共鳴信号を受信する。磁気共鳴信号には、例えば、信号強度成分と位相成分が含まれる。受信コイル108は、磁気共鳴信号を受信すると、受信した磁気共鳴信号を受信回路109へ出力する。なお、第1の実施形態において、受信コイル108は、1以上、典型的には複数の受信コイルを有するコイルアレイである。以下、受信コイルが複数のコイルを含むマルチコイルである場合、そのマルチコイルを構成する各コイルを、コイルエレメントと称して説明する。なお、送信コイル106と受信コイル108とを分けて説明したが、例えば送受信兼用のコイルを用いることも可能である。
受信回路109は、受信コイル108から出力される磁気共鳴信号に基づいて磁気共鳴データを生成する。具体的には、受信回路109は、受信コイル108から出力されるアナログ信号の磁気共鳴信号をアナログ・デジタル変換することによって、デジタル信号である磁気共鳴データを生成する。また、受信回路109は、生成した磁気共鳴データをシーケンス制御回路110へ送信する。なお、受信回路109は、静磁場磁石101や傾斜磁場コイル102等を備える架台装置側に備えられていてもよい。受信コイル108の各コイルエレメントから出力される磁気共鳴信号は、適宜分配合成されることで受信回路109に出力される。
シーケンス制御回路110は、コンソール装置120から送信されるシーケンス情報に基づいて、傾斜磁場電源103、送信回路107及び受信回路109を駆動することによって、被検体OBを撮像する。シーケンス情報は、撮像処理を行うための手順を定義した情報である。シーケンス情報には、傾斜磁場電源103が傾斜磁場コイル102に供給する電源の強さや電源を供給するタイミング、送信回路107が送信コイル106に送信するRFパルスの強さやRFパルスを印加するタイミング、受信回路109が磁気共鳴信号を検出するタイミング等が定義された情報が含まれる。
なお、シーケンス制御回路110は、傾斜磁場電源103、送信回路107及び受信回路109を駆動して被検体OBを撮像し、受信回路109から磁気共鳴データを受信すると、受信した磁気共鳴データをコンソール装置120へ転送する。
コンソール装置120は、医用画像生成装置100の全体を制御したり、磁気共鳴データを収集したりする。例えば、コンソール装置120は、通信インターフェース122と、入力インターフェース124と、ディスプレイ126と、処理回路130と、メモリ(ストレージ)150とを備える。
通信インターフェース122は、例えば、NIC(Network Interface Card)などの通信インターフェースを含む。通信インターフェース122は、ネットワークNWを介して医用画像処理装置200と通信し、医用画像処理装置200から情報を受信する。通信インターフェース122は、受信した情報を処理回路130に出力する。また、通信インターフェース122は、処理回路130による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。
入力インターフェース124は、操作者から各種の入力操作を受け付けるインターフェースである。例えば、入力インターフェース124は、医者や技師などから、医用画像を撮像する際に考慮すべき種々の条件(以下、撮像条件と称する)を設定する操作を受け付ける。入力インターフェース124は、入力操作を受け付けると、その受け付けた入力操作を電気信号に変換して処理回路130に出力する。例えば、入力インターフェース124は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース124は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース124がタッチパネルである場合、後述するディスプレイ126は入力インターフェース124と一体として形成されてよい。
ディスプレイ126は、各種の情報を表示する。例えば、ディスプレイ126は、処理回路130によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)などを表示したりする。例えば、ディスプレイ126は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electroluminescence)ディスプレイなどである。
処理回路130は、例えば、取得機能132と、生成機能134と、通信制御機能136と、表示制御機能138とを実行する。これらの機能(構成要素)は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサ(あるいはプロセッサ回路)が、メモリ150に記憶されたプログラム(ソフトウェア)を実行することにより実現される。また、処理回路130の機能の一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェア(回路部:circuitry)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ150に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がコンソール装置120のドライブ装置に装着されることで記憶媒体からメモリ150にインストールされてもよい。
メモリ150は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ150には、ROM(Read Only Memory)やレジスタなどの一過性の記憶媒体が含まれてもよい。
取得機能132は、シーケンス制御回路110から磁気共鳴データを取得する。磁気共鳴データは、上述したように、核磁気共鳴現象によって被検体OB内において発生した電磁波の信号(磁気共鳴信号)をデジタル化して得られる磁気共鳴データである。磁気共鳴データは、k空間データとも称される。k空間とは、磁気共鳴信号が1次元の波形として受信コイル108により繰り返し収集される際に、その1次元の波形が収集される周波数空間(k空間データが配列される空間)を表している。
生成機能134は、取得機能132によって取得されたk空間データに対してフーリエ変換(例えば、逆フーリエ変換)などの処理を含む再構成処理を行うことで、k空間データから再構成されたMR画像を生成する。生成機能134は、「生成部」の一例である。
通信制御機能136は、生成機能134がMR画像を再構成により生成すると、通信インターフェース202に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200に、再構成されたMR画像を送信する。この際、通信制御機能136は、通信インターフェース202を介して、医用画像処理装置200にMR画像の撮像条件を示す情報を送信してよい。また、通信制御機能136は、通信インターフェース202に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200から各種情報を受信させてよい。
表示制御機能138は、生成機能134によって生成されたMR画像を、ディスプレイ126に表示させる。また、表示制御機能138は、通信インターフェース122が医用画像処理装置200からMR画像などの医用画像を受信した場合、通信インターフェース122によって受信された医用画像をディスプレイ126に表示させてもよい。
[医用画像処理装置の構成例]
図3は、第1の実施形態に係る医用画像処理装置200の一例を示す図である。図3に示すように、医用画像処理装置200は、例えば、通信インターフェース202と、入力インターフェース204と、ディスプレイ206と、処理回路210と、メモリ230とを備える。
通信インターフェース202は、例えば、NICなどの通信インターフェースを含む。例えば、通信インターフェース202は、ネットワークNWを介して医用画像生成装置100と通信し、医用画像生成装置100から、再構成された医用画像や、その医用画像の撮像条件を示す情報を受信する。通信インターフェース202は、受信した医用画像や撮像条件を示す情報を処理回路210に出力する。また、通信インターフェース202は、処理回路210による制御を受けて、ネットワークNWを介して接続された医用画像生成装置100やその他の装置に情報を送信してもよい。他の装置とは、例えば、医師や技師などの画像の読影者が利用可能な端末装置であってよい。通信インターフェース202は、「出力部」の一例である。
入力インターフェース204は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路210に出力する。例えば、入力インターフェース204は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース204は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース204がタッチパネルである場合、後述するディスプレイ206は入力インターフェース204と一体として形成されてよい。
ディスプレイ206は、各種の情報を表示する。例えば、ディスプレイ206は、処理回路210によって生成された画像(後述するデノイズ画像や混合画像)を表示したり、操作者からの各種の入力操作を受け付けるためのGUIなどを表示したりする。例えば、ディスプレイ206は、LCDや、CRTディスプレイ、有機ELディスプレイなどである。ディスプレイ206は、「出力部」の他の例である。
処理回路210は、例えば、取得機能212と、デノイズ機能214と、導出機能216は、混合画像生成機能218と、出力制御機能220と、学習機能222とを実行する。取得機能212は、「取得部」の一例であり、デノイズ機能214は、「除去部」の一例であり、導出機能216は、「導出部」の一例であり、混合画像生成機能218は、「混合画像生成部」の一例であり、出力制御機能220は、「出力制御部」の一例である。
これらの機能(構成要素)は、例えば、CPUやGPU等のプロセッサ(あるいはプロセッサ回路)が、メモリ230に記憶されたプログラム(ソフトウェア)を実行することにより実現される。また、これらの複数の機能のうち一部または全部は、LSI、ASIC、FPGA等のハードウェア(回路部:circuitry)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ230に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体が医用画像処理装置200のドライブ装置に装着されることで記憶媒体からメモリ230にインストールされてもよい。
メモリ230は、例えば、RAM、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ230には、ROMやレジスタなどの一過性の記憶媒体が含まれてもよい。メモリ230には、例えば、撮像条件情報232や、デノイズモデル情報234などが格納される。
撮像条件情報232は、医用画像生成装置100において医用画像が生成される際に設定された撮像条件(撮像パラメータともいう)に関する情報である。図4は、撮像条件情報232の一例を示す図である。図示の例のように、撮像条件情報232は、医用画像を識別する識別情報(図中医用画像ID)に対して、撮像条件が対応付けられた情報であってよい。撮像条件には、例えば、マトリクス数や、レシーバーゲイン、撮像加算回数、受信バンド幅などのパラメータが条件として含まれる。マトリクス数は、医用画像の解像度(MRI装置の分解能)を決めるための医用画像の画素数を表すパラメータである。レシーバーゲインは、受信コイル108や受信回路109などの受信系のゲインを表すパラメータである。撮像加算回数は、同一のスライスに対して反復してスキャンする回数を表すパラメータである。受信バンド幅は、被検体OBから発せられる磁気共鳴信号を読み取るときのサンプリング周波数を表すパラメータである。このようなパラメータは、例えば、医者や技師などのユーザがスキャン時に設定する必要があることからハイパーパラメータとして扱われる。なお、撮像条件には、上記のパラメータに加えて、あるいは代えて、スライス厚や、撮像視野(Field of View)、フリップ角度、位相エンコード方向などのパラメータが含まれていてもよい。
デノイズモデル情報234は、後述するデノイズモデルMDL1を定義した情報(プログラムまたはデータ構造)である。デノイズモデルMDL1は、例えば、一つ以上のDNN(Deep Neural Network(s))を含む。
デノイズモデル情報234には、例えば、デノイズモデルMDL1に含まれる各DNNを構成する入力層、一以上の隠れ層(中間層)、出力層の其々に含まれるニューロン(ユニットあるいはノード)が互いにどのように結合されるのかという結合情報や、結合されたニューロン間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。結合情報は、例えば、各層に含まれるニューロン数や、各ニューロンの結合先のニューロンの種類を指定する情報、各ニューロンを実現する活性化関数、隠れ層のニューロン間に設けられたゲートなどの情報を含む。ニューロンを実現する活性化関数は、例えば、入力符号に応じて動作を切り替える関数(ReLU(Rectified Linear Unit)関数やELU(Exponential Linear Units)関数、クリッピング関数)であってもよいし、シグモイド関数や、ステップ関数、ハイパポリックタンジェント関数であってもよいし、恒等関数であってもよい。ゲートは、例えば、活性化関数によって返される値(例えば1または0)に応じて、ニューロン間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、活性化関数のパラメータであり、例えば、ニューラルネットワークの隠れ層において、ある層のニューロンから、より深い層のニューロンにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
取得機能212は、通信インターフェース202に医用画像生成装置100と通信させ、その通信相手の医用画像生成装置100から再構成された医用画像や撮像条件を示す情報を取得する。取得機能212は、取得した医用画像に対して撮像条件を対応付けた情報を、撮像条件情報232としてメモリ230に記憶させる。以下、取得機能212によって取得された医用画像を「原画像」と称して説明する。原画像は、「第1医用画像」の一例である。
デノイズ機能214は、デノイズモデル情報234が示すデノイズモデルMDL1を利用して、取得機能212によって取得された原画像からノイズを除去する。デノイズモデルMDL1は、例えば、プロセッサがデノイズモデルMDL1を実行することによって、デノイズモデルMDL1がデノイズ機能214の一部として実現されてよい。
例えば、デノイズモデルMDL1は、CNN(Convolutional Neural Network)によって実現されてよく、そのCNNは、畳み込み層や、アクティベーション層などが多層に構成されていてよい。
図5は、デノイズモデルMDL1の構成の一例を示す図である。図示のように、デノイズモデルMDL1には、例えば、入力層310と、一以上の畳み込み層320と、一以上のアクティベーション層330と、出力層340とが含まれてよい。
例えば、原画像を、各画素に対応した要素をもつ行列とした場合、入力層310には、原画像に対応した行列が入力される。入力層310は、入力された行列に対して適時バイアス成分を加えるなどして、後段の畳み込み層320に出力する。
畳み込み層320は、入力された行列に対して、フィルタまたはカーネルと呼ばれる線形変換行列を、ある決められたストライド量でスライドさせながら積和演算を繰り返し、入力された行列から、線形変換行列との積和が要素値として対応付けられた複数の要素を含む行列を生成する。この際、畳み込み層320は、入力された行列の周囲に任意の値の要素を補間するパディング(例えばゼロパティング)を行って、畳み込み層320に入力された行列を、入力層310に入力される原画像の行列と行数および列数が同じ行列に変換してよい。そして、畳み込み層320は、生成した行列をアクティベーション層330に出力する。
アクティベーション層330は、畳み込み層320から入力された行列の各要素に対して活性化関数の計算処理を行い、その計算処理を行った行列を、後段のレイヤに出力する。
図6は、アクティベーション層330の活性化関数の一例を表す図である。図示の例のように、アクティベーション層330の活性化関数は、Soft‐Shrinkage関数であってよい。Soft‐Shrinkage関数は、例えば、数式(1)によって表される。なお、アクティベーション層330の活性化関数は、Soft‐Shrinkage関数に代えて、Hard‐Shrinkage関数であってもよい。
Figure 2020108593
Soft‐Shrinkage関数あるいはHard‐Shrinkage関数は、入力値である要素値xが、ゼロを中心にした所定の正負の閾値±Tの範囲内である場合、ゼロを出力し、入力値である要素値xが、閾値Tを超える、あるいは閾値T未満である場合、その要素値xに比例する値を出力する関数である。アクティベーション層330の活性化関数に、Soft‐Shrinkage関数やHard‐Shrinkage関数を適用することで、振幅が閾値Tよりも小さな画像信号、すなわち、ノイズである蓋然性が高い微弱な画像信号を、活性化関数の出力においてゼロとすることができる。
閾値Tは、入力画像に含まれるノイズのレベル(信号強度あるいは信号電力)に応じて変動するパラメータであり、例えば、数式(2)によって表される。
Figure 2020108593
数式(2)のGは、入力画像に含まれるノイズのレベルを表しており、入力画像に含まれるノイズのレベルが大きいほど、パラメータGは大きくなり、入力画像に含まれるノイズのレベルが小さいほど、パラメータGは小さくなる。入力画像に含まれるノイズのレベルは、入力画像のSNRの大きさによって決定されてよい。
数式(2)のαは、ノイズレベルに乗算される重み係数である。重み係数αは、機械学習によって決定される。数式(2)に示すように閾値Tを変動させることで、アクティベーション層330の活性化関数を、ある一定の強度以上の信号に対して反応する活性化関数とすることができる。この結果、原画像に含まれるノイズの信号強度がばらついていても原画像からノイズを精度よく除去することができる。
出力層340は、前段の畳み込み層320およびアクティベーション層330によって処理された行列を出力する。デノイズ機能214は、デノイズモデルMDL1の出力層340により出力された行列を、原画像からノイズを除去した医用画像(以下、デノイズ画像と称する)として取得する。デノイズ画像は、「第2医用画像」の一例である。
なお、図5に例示したデノイズモデルMDL1はあくまでも一例であり、例えば、プーリング層などが含まれていてもよい。プーリング層は、入力された行列の要素値を、その行列に含まれる全要素値の平均値や最大値といった代表値に置き換えることで、行列の次元数を圧縮する(減らす)。プーリング層は、次元数を圧縮した行列を後段のレイヤに出力する。
導出機能216は、取得機能212によって取得された原画像に基づいて、原画像に含まれるノイズに関する指標値を導出する。例えば、導出機能216は、ノイズに関する指標値として、SNR(Signal-Noise Ratio)を導出する。SNRは、画像の信号強度を、ノイズの信号強度で除算した指標値である。SNRの導出方法の詳細について後述する。
混合画像生成機能218は、取得機能212によって取得された原画像と、デノイズ機能214によりノイズが除去されたデノイズ画像とを混合した混合画像を生成する。
図7は、混合画像を生成する構成の一例を示す図である。図示の例のように、混合画像生成機能218は、デノイズモデルMDL1に入力される原画像と、デノイズモデルMDL1により出力されるデノイズ画像とを、ある混合比で混合することで混合画像を生成する。混合とは、原画像およびデノイズ画像のそれぞれに含まれる複数の要素のうち、互いに同じ行iおよび列jの要素eijの要素値同士を足し合わせ、その足し合わせた和を、混合画像における要素eijの要素値とすることである。混合画像生成機能218は、要素値の足し合わせの際に、混合比に応じた重み係数を各要素に乗算する。混合画像の生成式は、例えば、数式(3)によって表される。
Figure 2020108593
数式(3)のIMGMIXは、混合画像を表しており、IMGoriginalは、原画像を表しており、IMGdenoiseは、デノイズ画像を表している。また、βは混合比を表している。例えば、混合画像生成機能218は、原画像の要素値に対して係数βを乗算し、デノイズ画像の要素値に対して係数(β−1)を乗算し、これらの和を混合画像の要素値とする。
出力制御機能220は、導出機能216によって導出されたSNRが閾値以下である場合、通信インターフェース202を制御して、医用画像生成装置100に所定の情報を送信する。所定の情報とは、例えば、医者や技師といった医用画像生成装置100を操作するユーザに、医用画像の撮像条件を変更させることを促すための情報である。具体的には、所定の情報は、撮像条件を変更させるメッセージを含む画像や、アラート音であってよい。
また、出力制御機能220は、所定の情報として、混合画像やデノイズ画像を医用画像生成装置100に送信してもよいし、混合画像やデノイズ画像をディスプレイ206に表示させてもよい。
学習機能222は、デノイズモデルMDL1に対して、ある教師データとする原画像を入力し、デノイズモデルMDL1によって出力されたデノイズ画像が、教師データとする原画像に対して予め教師ラベルとして対応付けられた画像に近づくようにデノイズモデルMDL1を学習する。例えば、教師ラベルとする画像は、サンプリング周波数を大きくするなどしてSNRを高くした画像であってよく、教師データとしてデノイズモデルMDL1に入力する原画像は、サンプリング周波数を大きくするなどしてSNRを高くした画像に、既知のノイズを加えた画像であってよい。既知のノイズは、例えば、ガウシアンノイズであってよい。
例えば、学習機能222は、デノイズモデルMDL1によって出力されたデノイズ画像と、教師データの画像との差分が小さくなるように、畳み込み層320の線形変換行列の要素値や、アクティベーション層330の各ノードの活性化関数の重み係数αといった種々のパラメータを、SGD(Stochastic Gradient Descent)、Momentum SGD、AdaGrad、RMSprop、AdaDelta、Adam(Adaptive moment estimation)などの勾配降下法を利用して学習する。
[処理フロー]
以下、第1の実施形態における処理回路210の一連の処理の流れをフローチャートに即して説明する。図8は、第1の実施形態における処理回路210の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、プレスキャンによって得られた医用画像が取得機能212によって取得された場合に、所定の周期で繰り返し行われてよい。すなわち、本フローチャートの処理は、医用画像生成装置100によってプレスキャンが行われる時に所定の周期で繰り返し行われてよい。
プレスキャンとは、本スキャンの前に、コイルのチューニングや、中心周波数の設定、受信感度の調整などを行うために被検体OBを少なくとも1回スキャンすることである。本スキャンとは、パルスシーケンスとも呼ばれるシーケンス情報に基づいて、被検体OBをシーケンシャルにスキャンすることである。
また、プレスキャンは、本スキャンとしてシーケンシャルに行われる複数のスキャンの一部であってもよい。例えば、本スキャンが5回のシーケンシャルなスキャンを含む場合、プレスキャンは、5回のそれぞれのスキャンの直前に行われるスキャンであってよい。
また、本フローチャートの処理は、プレスキャンよりもさらに前の時点のスキャンによって得られた医用画像が取得機能212によって取得された場合に行われてもよい。プレスキャンよりもさらに前の時点とは、例えば、被検体OBが載置された寝台104(天板104a)が撮像口に挿入される前の時点や、寝台104に被検体OBが載置されていない時点などである。プレスキャンやプレスキャン前に行われるスキャンによって生成された医用画像は、本スキャンによって生成された医用画像の一部分に相当する画像であってよく、SNRが導出できる程度のサイズや解像度であればいかなる画像であってもよい。
まず、デノイズ機能214は、デノイズモデルMDL1を利用して、取得機能212によって取得された原画像からノイズを除去して、デノイズ画像を生成する(ステップS100)。
次に、導出機能216は、取得機能212によって取得された原画像のSNRを導出する(ステップS102)。
例えば、導出機能216は、撮像条件情報232から、取得機能212によって取得された原画像の識別情報に対応付けられた撮像条件を抽出し、抽出した撮像条件に基づいて、原画像のSNRを導出する。原画像に含まれ得るノイズには、受信系の熱雑音に起因したガウシアンノイズが含まれる。熱雑音は、撮像条件によって変わることが知られている。そのため、導出機能216は、マトリクス数やレシーバーゲイン、撮像加算回数、受信バンド幅といった複数のパラメータのうち一部または全部を説明変数とし、SNRを目的変数として導く関数に、抽出した撮像条件に含まれるパラメータを入力することで、原画像のSNRを導出する。
また、導出機能216は、取得機能212によって取得された一以上の原画像のうち、傾斜磁場コイル10が傾斜磁場を発生させた状態で、送信コイル106にRFパルスを供給し、その送信コイル106から高周波磁場が出力されたときに得られた原画像(以下、RFパルスあり原画像と称する)と、傾斜磁場コイル10が傾斜磁場を発生させた状態で、送信コイル106にRFパルスを供給せず、その送信コイル106から高周波磁場が出力されなかったときに得られた原画像(以下、RFパルスなし原画像と称する)との画素値の差分に基づいて、原画像のSNRを導出してもよい。
また、導出機能216は、取得機能212によって取得された一以上の原画像のうち、同じ被検体OBに向けて高周波磁場が出力されたときに得られた2つ以上のRFパルスあり原画像の画素値の差分に基づいて、原画像のSNRを導出してもよい。この際、導出機能216は、中心スライスに近い2つのRFパルスあり原画像の画素値の差分に基づいて、原画像のSNRを導出してよい。例えば、本スキャンがスキャンを10回繰り返すシーケンスである場合、中心スライスとは、5回目または6回目のスキャンによって得られる原画像である。
このように、被検体OBが同じであるという条件の下、複数回にわたってスキャンを行って得られた2つの原画像の差分をとることによって、磁気共鳴信号成分を互いにキャンセルし、受信系の熱雑音に起因したランダムノイズ成分を基にしてSNRを求めることができる。
次に、混合画像生成機能218は、導出機能216によって導出されたSNRが閾値TH以下であるか否かを判定し(ステップS104)、SNRが閾値THを超えると判定した場合、混合比βを所定値に設定し(ステップS106)、設定した混合比βに基づいて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する(ステップS108)。
例えば、十分に学習されたデノイズモデルMDL1を利用して原画像からノイズを除去した場合、デノイズ画像は一見して綺麗に見えるものの、腫瘍や臓器などの所望の構造物がノイズとして除去されている場合がある。このような場合に、SNRが大きい原画像上では構造物が存在している蓋然性が高いため、言い換えれば、SNRが大きい原画像上では構造物が視認しやすいため、デノイズ画像をSNRが閾値THを超える原画像と混合させる。これによって、仮に、デノイズモデルMDL1によって原画像から誤って所望の構造物がノイズとして除去された場合であっても、SNRが大きい原画像を混合させた混合画像上ではデノイズ画像よりも所望の構造物が視認しやすくなるため、より診断の精度を向上させることができる。
次に、出力制御機能220は、通信インターフェース202を制御して、混合画像生成機能218により生成された混合画像を医用画像生成装置100に送信する(ステップS110)。この際、出力制御機能220は、ディスプレイ206に混合画像を表示させてもよい。医用画像生成装置100の通信インターフェース122が医用画像処理装置200から混合画像を受信した場合、医用画像生成装置100の表示制御機能138は、混合画像をディスプレイ126に表示させてよい。また、出力制御機能220は、通信インターフェース202を制御して、画像の読影者が利用可能な端末装置に混合画像を送信してもよい。なお、出力制御機能220は、混合画像に加えて、あるいは代えて、デノイズ画像と、このデノイズ画像と混合する前の原画像とを医用画像生成装置100や読影者が利用可能な端末装置に送信してもよい。
一方、S104の処理において、出力制御機能220は、混合画像生成機能218によってSNRが閾値TH以下であると判定された場合、通信インターフェース202を制御して、医用画像生成装置100に所定の情報を送信する(ステップS112)。また、出力制御機能220は、通信インターフェース202を制御して、画像の読影者が利用可能な端末装置に所定の情報を送信してもよい。
例えば、原画像のSNRが閾値TH以下であり、原画像の画質が悪い場合、その原画像からノイズを除去しても、ノイズを除去する前の原画像上で所望の構造物を認識できないことが多く、デノイズ画像を診断に用いることは信頼するに足りない場合が多い。そのため、画質が悪い場合に、所定の情報を医用画像生成装置100などに送信することで、医師などのユーザに撮像条件を変更させるように促す。これによって、次周期以降にデノイズ画像の元となる原画像のSNRが向上し得るため、デノイズ画像を利用した診断の精度を向上させることができる。
次に、混合画像生成機能218は、入力インターフェース204に対して、手動で混合比βを変更する操作がなされたか否かを判定し(ステップS114)、手動で混合比βを変更する操作がなされたと判定した場合、上述したS108の処理に移り、手動設定された混合比βに応じて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する。
一方、混合画像生成機能218は、手動で混合比βを変更する操作がなされなかったと判定した場合、原画像のSNRに応じて混合比βを決定する(ステップS116)。
例えば、混合画像生成機能218は、原画像のSNRが大きくなるほど混合比βを小さくし、原画像のSNRが小さくなるほど混合比βを大きくする。このように、原画像のSNRが大きく画質が良好な場合、混合画像における原画像の割合を減少させることで、よりノイズが除去された明瞭な画像をユーザに提供し、原画像のSNRが小さく画質が良好でない場合、混合画像における原画像の割合を増加させることで、所望の構造物をより残した画像をユーザに提供することができる。
次に、混合画像生成機能218は、上述したS108の処理に移り、S116の処理で決定した混合比βに基づいて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する。そして、出力制御機能220は、上述したS110の処理として、通信インターフェース202を制御して、混合画像生成機能218により生成された混合画像を医用画像生成装置100などに送信する。
以上説明した第1の実施形態によれば、処理回路210が、一以上の原画像を取得する取得機能212と、取得機能212により取得された原画像に基づいて、原画像のSNRをノイズに関する指標値として導出する導出機能216と、導出機能216により導出されたSNRに応じて、ユーザに撮像条件を変更させることを促すための所定の情報を、通信インターフェース202に出力させる出力制御機能220とを実行することによって、医用画像の撮像条件を、より医用画像の画質が良好となる撮像条件に変更させるようにユーザに促すことができる。この結果、より診断精度を向上させることが可能な医用画像を生成することができる。
また、第1の実施形態によれば、原画像のSNRが閾値TH以下である場合、すなわち、原画像の画質が良好でない場合、SNRに応じて混合比βで原画像とデノイズ画像とを混合した混合画像を生成し、生成した混合画像を医用画像生成装置100などに送信するため、例えば、デノイズ処理によって原画像から病変などの所望の構造物が除去されてしまっても、原画像が混合比βの割合で含まれる混合画像上では、所望の構造物が残っているため、診断精度を向上させることができる。
また、第1の実施形態によれば、原画像のSNRが小さくなるほど混合比βを大きくするため、混合画像に含まれる原画像の割合を大きくすることができる。これにより、混合画像の画質も良好でなくなるため、原画像上で既に所望の構造物が描出されておらず、診断精度が低下する蓋然性が高いということをユーザに認識させることができる。この結果、ユーザに、撮像条件を変えて再スキャンするように促すことができる。
また、第1の実施形態によれば、原画像のSNRが大きくなるほど混合比βを小さくするため、所望の構造物を含み、且つノイズが除去された混合画像をユーザに提供することができる。
(第1の実施形態の変形例)
以下、第1の実施形態の変形例について説明する。上述した第1の実施形態では、医用画像生成装置100と医用画像処理装置200とが互いに異なる装置であるものとして説明したがこれに限られない。例えば、医用画像処理装置200は、医用画像生成装置100のコンソール装置120の一機能によって実現されてもよい。すなわち、医用画像処理装置200は、医用画像生成装置100のコンソール装置120によって仮想的に実現される仮想マシンであってもよい。
図9は、第1の実施形態に係る医用画像生成装置100の他の例を示す図である。図9に示すように、コンソール装置120の処理回路130は、上述した取得機能132と、生成機能134と、通信制御機能136と、表示制御機能138に加えて、デノイズ機能214と、導出機能216と、混合画像生成機能218と、学習機能222とを実行してよい。
また、コンソール装置120のメモリ150には、撮像条件情報232と、デノイズモデル情報234とが格納されてよい。
このような構成によって、医用画像生成装置100単体で、診断精度を向上させることが可能な医用画像を生成することができる。
また、上述した第1の実施形態では、医用画像生成装置100がMRI装置であるものとして説明したがこれに限られず、CT装置であってもよい。医用画像生成装置100がCT装置である場合、医用画像処理装置200は、CT画像に対して、デノイズ処理を行ったり、デノイズ画像に対して原画像であるCT画像を混合させた混合画像を生成したりしてよい。
(第2の実施形態)
以下、第2の実施形態について説明する。第1の実施形態では、原画像のSNRが閾値THを超える場合、混合比βを所定値に設定するものとして説明した。これに対して、第2の実施形態では、原画像のSNRが閾値THを超える場合、混合比βを原画像の撮像条件に応じて設定する点で上述した第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する点については説明を省略する。なお、第2の実施形態の説明において、第1の実施形態と同じ部分については同一符号を付して説明する。
図10は、第2の実施形態に係る医用画像処理装置200の一例を示す図である。図10に示すように、メモリ230には、例えば、上述した撮像条件情報232やデノイズモデル情報234に加えて、混合比出力モデル情報236が格納される。
混合比出力モデル情報236は、混合比出力モデルMDL2を定義した情報(プログラムまたはデータ構造)である。混合比出力モデルMDL2は、撮像条件を示す情報が入力されると、原画像とデノイズ画像との混合比βを出力するように学習されたモデルである。混合比出力モデルMDL2は、例えば、一つ以上のDNNを含む。混合比出力モデル情報236には、デノイズモデル情報234と同様に、結合情報や、重み情報などが含まれる。
第2の実施形態における学習機能222は、デノイズモデルMDL1に加えて、更に混合比出力モデルMDL2のパラメータを教師あり学習によって決定する。
[ランタイム時の処理フロー]
以下、第2の実施形態における処理回路210の一連の処理の流れをフローチャートに即して説明する。図11は、第2の実施形態における処理回路210のランタイム時の一連の処理の流れを示すフローチャートである。ランタイムとは、十分に学習されたデノイズモデルMDL1や混合比出力モデルMDL2を利用して処理を実行することである。本フローチャートの処理は、例えば、プレスキャンや本スキャン、プレスキャン前のスキャンによって生成された医用画像が取得機能212によって取得された場合に行われてよい。
まず、デノイズ機能214は、デノイズモデルMDL1を利用して、取得機能212によって取得された原画像からノイズを除去して、デノイズ画像を生成する(ステップS200)。
次に、導出機能216は、取得機能212によって取得された原画像のSNRを導出する(ステップS202)。
次に、混合画像生成機能218は、導出機能216によって導出されたSNRが閾値TH以下であるか否かを判定し(ステップS204)、SNRが閾値THを超えると判定した場合、混合比βを所定値に設定し(ステップS206)、設定した混合比βに基づいて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する(ステップS208)。
次に、出力制御機能220は、通信インターフェース202を制御して、混合画像生成機能218により生成された混合画像を医用画像生成装置100などに送信する(ステップS210)。
一方、S204の処理において、出力制御機能220は、混合画像生成機能218によってSNRが閾値TH以下であると判定された場合、通信インターフェース202を制御して、医用画像生成装置100に所定の情報を送信する(ステップS212)。また、出力制御機能220は、通信インターフェース202を制御して、画像の読影者が利用可能な端末装置に所定の情報を送信してもよい。
次に、混合画像生成機能218は、入力インターフェース204に対して、手動で混合比βを変更する操作がなされたか否かを判定し(ステップS214)、手動で混合比βを変更する操作がなされたと判定した場合、上述したS208の処理に移り、手動設定された混合比βに応じて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する。
一方、混合画像生成機能218は、手動で混合比βを変更する操作がなされなかったと判定した場合、撮像条件情報232において、SNRが求められた原画像の識別情報に対応付けられた撮像条件を抽出し、抽出した撮像条件を示す情報を混合比出力モデルMDL2に入力する(ステップS216)。混合比出力モデルMDL2は、十分に学習されているものとする。
次に、混合画像生成機能218は、撮像条件を示す情報を入力した混合比出力モデルMDL2により出力された値を、混合比βに決定する(ステップS218)。
次に、混合画像生成機能218は、上述したS208の処理に移り、S218の処理で決定した混合比βに基づいて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する。そして、出力制御機能220は、通信インターフェース202を制御して、混合画像生成機能218により生成された混合画像を医用画像生成装置100などに送信する。これによって本フローチャートの処理が終了する。
[トレーニング時の処理フロー]
以下、第2の実施形態における処理回路210の一連の処理の流れをフローチャートに即して説明する。図12は、第2の実施形態における処理回路210のトレーニング時の一連の処理の流れを示すフローチャートである。トレーニングとは、デノイズモデルMDL1や混合比出力モデルMDL2を学習することである。本フローチャートでは、一例として、混合比出力モデルMDL2を学習するときの処理について説明する。
まず、取得機能212は、通信インターフェース202に医用画像生成装置100と通信させ、その通信相手の医用画像生成装置100から撮像条件を示す情報を取得する(ステップS300)。
次に、学習機能222は、取得機能212によって取得された撮像条件を示す情報を、混合比出力モデルMDL2に入力する(ステップS302)。
次に、学習機能222は、撮像条件を示す情報を入力した混合比出力モデルMDL2の出力結果と、ある教師データとの差分を導出する(ステップS304)。ここでの教師データは、例えば、撮像条件に対して、その撮像条件に従ってスキャンしたときに得られた原画像をデノイズ画像に混合する際にユーザが手動設定した混合比β(S214の処理で手動設定された混合比β)が教師ラベルとして対応付けられたデータであってよい。
次に、学習機能222は、混合比出力モデルMDL2により出力された混合比βと、教師ラベルの混合比βとの差分が小さくなるように、すなわち、混合比出力モデルMDL2により出力された混合比βが教師ラベルの混合比βに近づくように、混合比出力モデルMDL2に含まれる各DNNのパラメータを、勾配法を利用して学習する(ステップS306)。これによって本フローチャートの処理が終了する。
以上説明した第2の実施形態によれば、ある撮像条件で得られた原画像に対してデノイズ画像を混合させる際にユーザが手動設定した混合比βを教師データとして学習された混合比出力モデルMDL2を利用して、撮像条件から混合比βを決定するため、原画像をどの程度デノイズ画像に混ぜるのかというユーザの好みに合わせて混合画像を生成することができる。
(第2の実施形態の変形例)
以下、第2の実施形態の変形例について説明する。上述した第2の実施形態では、原画像のSNRが閾値THを超える場合であれば、混合比βを所定値に設定し、原画像のSNRが閾値TH以下である場合であれば、混合比βを機械学習によって決定するものとして説明したがこれに限られない。例えば、医用画像処理装置200は、原画像のSNRに依らずに、混合比βを機械学習によって決定してもよい。この場合、原画像のSNRは、例えば、混合比出力モデルMDL2のいずれかのDNNの中間層で計算される特徴量として扱われてよい。
以下、第2の実施形態の変形例における処理回路210の一連の処理の流れをフローチャートに即して説明する。図13は、第2の実施形態の変形例における処理回路210のランタイム時の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、プレスキャンや本スキャン、プレスキャン前のスキャンによって生成された医用画像が取得機能212によって取得された場合に行われてよい。
まず、デノイズ機能214は、デノイズモデルMDL1を利用して、取得機能212によって取得された原画像からノイズを除去して、デノイズ画像を生成する(ステップS400)。
次に、混合画像生成機能218は、撮像条件情報232において、SNRが求められた原画像の識別情報に対応付けられた撮像条件を抽出し、抽出した撮像条件を示す情報を混合比出力モデルMDL2に入力する(ステップS402)。混合比出力モデルMDL2は、十分に学習されているものとする。
次に、混合画像生成機能218は、撮像条件を示す情報を入力した混合比出力モデルMDL2により出力された値を、混合比βに決定する(ステップS404)。
次に、混合画像生成機能218は、混合比出力モデルMDL2を利用して決定した混合比βに基づいて、SNRを求めた原画像と、その原画像からノイズが除去されたデノイズ画像とを混合した混合画像を生成する(ステップS406)。
次に、出力制御機能220は、通信インターフェース202を制御して、混合画像生成機能218により生成された混合画像を医用画像生成装置100などに送信する(ステップS408)。
上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
一以上の医用画像を取得し、
前記取得した前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出し、
前記導出した前記指標値に応じて、ユーザに前記医用画像の撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる、
ように構成されている医用画像処理装置。
以上説明した少なくともひとつの実施形態によれば、処理回路210が、一以上の原画像を取得する取得機能212と、取得機能212により取得された原画像に基づいて、原画像のSNRをノイズに関する指標値として導出する導出機能216と、導出機能216により導出されたSNRに応じて、ユーザに撮像条件を変更させることを促すための所定の情報を、通信インターフェース202に出力させる出力制御機能220とを実行することによって、より医用画像の画質が良好となる撮像条件に変更された上で再スキャンが行われやすくなる。この結果、診断精度を向上させることが可能な医用画像を生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…医用画像処理システム、100…医用画像生成装置、101…静磁場磁石、102…傾斜磁場コイル、104…寝台、105…寝台制御回路、106…送信コイル、107…送信回路、108…受信コイル、109…受信回路、110…シーケンス制御回路、120…コンソール装置、200…医用画像処理装置、202…通信インターフェース、204…入力インターフェース、206…ディスプレイ、210…処理回路、212…取得機能、214…デノイズ機能、216…導出機能、218…混合画像生成機能、220…出力制御機能、222…学習機能、230…メモリ

Claims (11)

  1. 情報を出力する出力部と、
    一以上の医用画像を取得する取得部と、
    前記取得部により取得された前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出する導出部と、
    前記導出部により導出された前記指標値に応じて、ユーザに前記医用画像の撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる出力制御部と、
    を備える医用画像処理装置。
  2. 前記導出部は、前記医用画像の信号対雑音比を前記指標値として導出し、
    前記出力制御部は、前記信号対雑音比が閾値以下である場合、前記所定の情報を前記出力部に出力させる、
    請求項1に記載の医用画像処理装置。
  3. 前記導出部は、前記医用画像の撮像条件に基づいて、前記信号対雑音比を前記指標値として導出する、
    請求項2に記載の医用画像処理装置。
  4. 前記導出部は、少なくとも2つの前記医用画像の差分に基づいて、前記信号対雑音比を前記指標値として導出する、
    請求項2または3に記載の医用画像処理装置。
  5. 前記取得部により取得された前記医用画像からノイズを除去する除去部と、
    前記取得部により取得された前記医用画像である第1医用画像と、前記除去部によりノイズが除去された前記医用画像である第2医用画像とを混合した混合画像を生成する混合画像生成部と、を更に備え、
    前記出力制御部は、前記混合画像生成部により生成された前記混合画像を、前記所定の情報として前記出力部に出力させる、
    請求項1から4のうちいずれか一項に記載の医用画像処理装置。
  6. 前記混合画像生成部は、
    前記導出部により導出された前記指標値に応じて、前記第1医用画像と前記第2医用画像との混合比を決定し、
    前記決定した混合比に応じて、前記第1医用画像と前記第2医用画像とを混合した前記混合画像を生成する、
    請求項5に記載の医用画像処理装置。
  7. 前記導出部は、前記医用画像の信号対雑音比を前記指標値として導出し、
    前記混合画像生成部は、前記信号対雑音比が大きくなるほど前記混合比を小さくし、前記信号対雑音比が小さくなるほど前記混合比を大きくする、
    請求項6に記載の医用画像処理装置。
  8. 前記混合画像生成部は、
    前記医用画像の撮像条件を表すデータが入力されると、前記第1医用画像と前記第2医用画像との混合比を出力するように学習されたモデルに対して、前記取得部により取得された前記医用画像の撮像条件を表すデータを入力して得られた前記モデルの出力結果に基づいて、前記混合比を決定し、
    前記決定した混合比に応じて、前記取得部により取得された前記医用画像と、前記除去部によりノイズが除去された前記医用画像とを混合した混合画像を生成する、
    請求項5に記載の医用画像処理装置。
  9. 情報を出力する出力部と、
    一以上の医用画像を取得する取得部と、
    前記取得部により取得された前記医用画像からノイズを除去する除去部と、
    前記取得部により取得された前記医用画像と、前記除去部によりノイズが除去された前記医用画像とを混合した混合画像を、前記出力部に出力させる出力制御部と、
    を備える医用画像処理装置。
  10. 情報を出力する出力部と、
    撮像条件に応じて被検体に電磁波を作用させることで一以上の医用画像を生成する生成部と、
    前記生成部により生成された前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出する導出部と、
    前記導出部により導出された前記指標値に応じて、ユーザに前記撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる出力制御部と、
    を備える磁気共鳴イメージング装置。
  11. 情報を出力する出力部を備えるコンピュータが、
    一以上の医用画像を取得し、
    前記取得した前記医用画像に基づいて、前記医用画像に含まれるノイズに関する指標値を導出し、
    前記導出した前記指標値に応じて、ユーザに前記医用画像の撮像条件を変更させることを促すための所定の情報を、前記出力部に出力させる、
    医用画像処理方法。
JP2019000234A 2019-01-04 2019-01-04 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法 Active JP7228386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019000234A JP7228386B2 (ja) 2019-01-04 2019-01-04 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019000234A JP7228386B2 (ja) 2019-01-04 2019-01-04 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法

Publications (2)

Publication Number Publication Date
JP2020108593A true JP2020108593A (ja) 2020-07-16
JP7228386B2 JP7228386B2 (ja) 2023-02-24

Family

ID=71569689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019000234A Active JP7228386B2 (ja) 2019-01-04 2019-01-04 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法

Country Status (1)

Country Link
JP (1) JP7228386B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176911A (ja) * 1991-12-27 1993-07-20 Hitachi Medical Corp 磁気共鳴イメージング装置
US20040128092A1 (en) * 2002-10-09 2004-07-01 Michael Deimling Method for processing raw magnetic resonance data, magnetic resonance tomography unit and magnetic resonance spectroscopy unit
CN101101325A (zh) * 2007-08-03 2008-01-09 华东师范大学 一种磁共振正交线圈成像的数字合成方法
JP2008136630A (ja) * 2006-11-30 2008-06-19 Toshiba Corp 画像処理装置及びプログラム
WO2009128213A1 (ja) * 2008-04-14 2009-10-22 株式会社日立メディコ 医用診断装置および医用診断装置の画質改善方法
JP2013046833A (ja) * 2006-02-17 2013-03-07 Toshiba Corp データ補正装置
JP2016525391A (ja) * 2013-07-11 2016-08-25 シナプティヴ メディカル (バルバドス) インコーポレイテッドSynaptive Medical (Barbados) Inc. 外科研修及び撮像脳ファントム
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176911A (ja) * 1991-12-27 1993-07-20 Hitachi Medical Corp 磁気共鳴イメージング装置
US20040128092A1 (en) * 2002-10-09 2004-07-01 Michael Deimling Method for processing raw magnetic resonance data, magnetic resonance tomography unit and magnetic resonance spectroscopy unit
JP2013046833A (ja) * 2006-02-17 2013-03-07 Toshiba Corp データ補正装置
JP2008136630A (ja) * 2006-11-30 2008-06-19 Toshiba Corp 画像処理装置及びプログラム
CN101101325A (zh) * 2007-08-03 2008-01-09 华东师范大学 一种磁共振正交线圈成像的数字合成方法
WO2009128213A1 (ja) * 2008-04-14 2009-10-22 株式会社日立メディコ 医用診断装置および医用診断装置の画質改善方法
JP2016525391A (ja) * 2013-07-11 2016-08-25 シナプティヴ メディカル (バルバドス) インコーポレイテッドSynaptive Medical (Barbados) Inc. 外科研修及び撮像脳ファントム
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Also Published As

Publication number Publication date
JP7228386B2 (ja) 2023-02-24

Similar Documents

Publication Publication Date Title
CN111513716B (zh) 使用扩展灵敏度模型和深度神经网络进行磁共振图像重建的方法和系统
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
JP7246864B2 (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
JP5485663B2 (ja) 対称性検出及び画像位置合わせを用いた自動式走査計画のシステム及び方法
JP2014064889A (ja) 医療映像装置及びその制御方法
US11965948B2 (en) Medical information processing apparatus, medical information processing method, and storage medium
US11815581B2 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
JP7346270B2 (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
JP6552804B2 (ja) 磁気共鳴イメージング装置
JP7300811B2 (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
US20220180575A1 (en) Method and system for generating magnetic resonance image, and computer readable storage medium
JP7206073B2 (ja) 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
JP2006255046A (ja) 磁気共鳴映像法および画像処理装置
JPWO2006109550A1 (ja) 磁気共鳴イメージング装置及び方法
JP7246194B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
JP7228386B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法
JP2021518228A (ja) 磁気共鳴フィンガープリンティングを用いた異常検出
KR20190117234A (ko) 인공신경망을 이용한 자기 공명 영상의 영상 프로토콜 선택 장치와 방법 및 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP7341913B2 (ja) 医用情報処理装置、磁気共鳴イメージング装置、および医用情報処理方法
JP2018196582A (ja) 磁気共鳴イメージング装置及び拡散強調画像の補正方法
JP7213099B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、医用画像処理方法、およびプログラム
JP7221067B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、学習装置、医用画像処理方法、およびプログラム
JP7186604B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
US11972540B2 (en) Image processing apparatus, medical imaging apparatus, and image processing program
US20230326099A1 (en) Magnetic resonance image processing apparatus and method using artificial neural network in k-space domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7228386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150