JP2020179031A - 医用画像処理装置、x線ct装置及び学習用データの生成方法 - Google Patents

医用画像処理装置、x線ct装置及び学習用データの生成方法 Download PDF

Info

Publication number
JP2020179031A
JP2020179031A JP2019085941A JP2019085941A JP2020179031A JP 2020179031 A JP2020179031 A JP 2020179031A JP 2019085941 A JP2019085941 A JP 2019085941A JP 2019085941 A JP2019085941 A JP 2019085941A JP 2020179031 A JP2020179031 A JP 2020179031A
Authority
JP
Japan
Prior art keywords
image
data
data collection
learning
collection period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019085941A
Other languages
English (en)
Other versions
JP7242410B2 (ja
Inventor
昂彦 西岡
Takahiko Nishioka
昂彦 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019085941A priority Critical patent/JP7242410B2/ja
Publication of JP2020179031A publication Critical patent/JP2020179031A/ja
Application granted granted Critical
Publication of JP7242410B2 publication Critical patent/JP7242410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】診断時の定量性を向上させることができる。【解決手段】本実施形態に係る医用画像処理装置は、取得部と、生成部とを含む。取得部は、対象物を撮影した入力画像を取得する。生成部は、異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する。【選択図】図1

Description

本発明の実施形態は、医用画像処理装置、X線CT装置及び学習用データの生成方法に関する。
心臓などの動きがある臓器に対してCT(Computed Tomography)撮影を行う際に問題となるのが、臓器の動きによって生じるモーションアーチファクトである。モーションアーチファクトに対して後処理で補正を行う動き補正技術がある。
しかし、動き補正技術においては、目的の位相の前後の位相に関する動き情報が重要である。この前後の位相に関する動き情報を表す動きベクトルの情報が、目的画像が持っている動きベクトルの情報と異なっている場合、目的画像を適切に補正することができない。
特開2018−107603号公報 特開2018−175227号公報
本発明が解決しようとする課題は、診断時の定量性を向上させることである。
本実施形態に係る医用画像処理装置は、取得部と、生成部とを含む。取得部は、対象物を撮影した入力画像を取得する。生成部は、異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する。
図1は、第1の実施形態に係る医用画像処理装置を示すブロック図である。 図2は、学習済みモデルを生成する学習システムを示すブロック図である。 図3は、医用画像処理装置自身で学習済みモデルを生成する場合の医用画像処理装置を示すブロック図である。 図4は、第1の実施形態に係る学習済みモデルの学習時の概念を示す図である。 図5は、ビューの回転角によって、学習用データに関するデータ収集期間の設定方法の概念を示す図である。 図6は、ECG信号との比較によって、学習用データに関するデータ収集期間の設定方法の概念を示す図である。 図7は、実施形態に係る学習用データの生成方法を示す図である。 図8は、第1の実施形態に係る学習済みモデルの利用例を示す図である。 図9は、学習済みモデルの利用例として動き指標値の算出処理を示すフローチャートである。 図10は、図9の動き指標値の算出処理に関する具体例を示す図である。 図11は、第2の実施形態に係る第1の学習済みモデルの学習時の一例を示す図である。 図12は、第2の実施形態に係る第2の学習済みモデルの学習時の一例を示す図である。 図13は、第2の実施形態に係る学習済みモデルの利用時の一例を示す図である。 図14は、第3の実施形態に係る学習済みモデルの学習時の一例を示す図である。 図15は、第3の実施形態に係る学習済みモデルの利用時の一例を示す図である。 図16は、第4の実施形態に係る医用画像処理装置を含むX線CT装置を示すブロック図である。
以下、図面を参照しながら本実施形態に係わる医用画像処理装置、システムおよびプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。以下、一実施形態について図面を用いて説明する。
なお、以下の本実施形態に係る医用画像処理装置は、X線CT(Computed Tomography)装置またはMRI(Magnetic Resonance Imaging)装置などの各医用画像診断装置のコンソールに含まれてもよいし、ワークステーションに含まれてもよいし、クラウドサーバなどのサーバに含まれてもよい。以下の第4の実施形態で、X線CT装置のコンソールに含まれる場合について説明する。また、以下の本実施形態では、X線CT装置により撮影した投影データおよび投影データに基づく再構成画像について処理することを想定する。
(第1の実施形態)
第1の実施形態に係る医用画像処理装置について図1のブロック図を参照して説明する。
第1の実施形態に係る医用画像処理装置1は、メモリ11と、処理回路13と、入力インタフェース15と、通信インタフェース17とを含む。処理回路13は、取得機能131と、生成機能133と、画像処理機能135と、表示制御機能137とを含む。
メモリ11は、種々の情報を記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。メモリ11は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体や、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリの保存領域は、医用画像処理装置1内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。メモリ11は、学習済みモデル、各種医用データ(生データ、投影データ、サイノグラムなどの中間データなど)および各種医用画像(再構成画像、CT画像、MR画像、超音波画像、PET(positron emission tomography )画像など)を格納することを想定するが、これらの学習済みモデル、医用データ及び医用画像などは、外部に記憶されていてもよい。
処理回路13は、例えば、ハードウェア資源として、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサとROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとを含む。また処理回路13は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)やフィールド・プログラマブル・ゲート・アレイ(Field Programmable Gate Array:FPGA)、他の複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)により実現されてもよい。処理回路13は、メモリに展開されたプログラムを実行するプロセッサにより、取得機能131、生成機能133、画像処理機能135および表示制御機能137を実行する。なお、各機能(取得機能131、生成機能133、画像処理機能135および表示制御機能137)は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路13を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。
取得機能131により処理回路13は、動きのある対象物を撮影した画像(入力画像ともいう)を取得する。動きのある対象物としては、本実施形態では、被検体の心臓、呼吸により上下動する肺野など周期的に動いているものを想定する。なお、心臓や肺のように無意識的に動作するものに加え、一定速度及び一定範囲で手または足を動かすなど、自発的に周期的動作をするものを対象物としてもよい。また、周期的動作に限らず、一定の動きであってもよい。
生成機能133により処理回路13は、学習済みモデルを用いて、入力画像から対象物の動きに起因する画像への影響を低減した補正画像を生成する。学習済みモデルは、動きのある対象物を異なるデータ収集期間で撮影することにより生成された2以上の画像の組を含む学習用データを用いて学習され、画像間における対象物の動き情報(方向と動き量とを含む動きベクトルなど)を学習したモデルである。学習済みモデルは、例えばメモリ11に格納される学習済みモデルを参照してもよいし、学習済みモデルが医用画像処理装置1の外部に格納され、生成機能133が参照可能な構成でもよい。
画像処理機能135により処理回路13は、入力画像または補正画像に対して画像処理を行う。具体的には、画像処理機能135は、入力画像または補正画像に対してフィルタ処理やアーチファクト除去処理を行う。また、画像処理機能135により処理回路13は、学習済みモデルの適用前の第1画像に、前処理としてフィルタ処理やアーチファクト除去処理を行ってもよい。
表示制御機能137により処理回路13は、補正画像を、ディスプレイやプロジェクタを介してスクリーンなどに表示させるように画像の出力を制御する。
入力インタフェース15は、ユーザから各種の入力操作を受け付け、受け付けた入力操作に基づく信号をメモリ11,処理回路13、通信インタフェース17などに出力する。例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インタフェース15は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する信号を受け取り、この信号を処理回路13へ出力するような処理回路も入力インタフェース15の例に含まれる。
通信インタフェース17は、外部と通信するための無線又は有線のインタフェースであり、一般的なインタフェースを用いればよいため、ここでの説明は省略する。
次に、処理回路13の生成機能133が利用する学習済みモデルを生成する学習システムについて図2を参照して説明する。
図2は、学習済みモデルを生成する学習システムの一例を示すブロック図である。図2に示される医用情報処理システムは、学習用データ生成装置20、学習用データ保管装置22と、モデル学習装置24と、医用画像診断装置26とを含む。
学習用データ生成装置20は、各種医用データおよび医用画像に基づいて、同一の対象物に対するデータ収集期間の違う少なくとも2種類の画像データの組を複数生成し、学習用データを生成する。なお、学習用データの生成方法の一例については、図7を参照して後述する。
学習用データ保管装置22は、学習用データ生成装置30において生成された学習用データおよび複数の学習サンプルを含む学習用データを記憶する。例えば、学習用データ保管装置22は、大容量記憶装置が内蔵されたコンピュータである。また、学習用データ保管装置22は、コンピュータにケーブルや通信ネットワークを介して通信可能に接続された大容量記憶装置であってもよい。当該記憶装置としては、HDD、SSD、集積回路記憶装置等が適宜利用可能である。
モデル学習装置24は、学習用データ保管装置22に記憶された学習用データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることで、学習済みモデルを生成する。本実施形態で想定する機械学習としては、ニューラルネットワーク、ディープラーニング、決定木、カーネル回帰等を想定するが、これに限らず、学習用データから何らかの特徴を学習できる手法であれば、他の機械学習アルゴリズムであってもよい。モデル学習装置24は、CPU、GPU等の汎用プロセッサ、または機械学習専用に構成されたプロセッサを有するワークステーション等のコンピュータでもよい。
モデル学習装置24と学習用データ保管装置22とはケーブル、又は通信ネットワークを介して通信可能に接続されてもよい。また、学習用データ保管装置22がモデル学習装置24に搭載されてもよい。これらの場合、学習用データ保管装置22からモデル学習装置24へ学習用データが供給される。なお、モデル学習装置24と学習用データ保管装置22とは通信可能に接続されてなくてもよい。この場合、学習用データが記憶された可搬型記憶媒体を介して、学習用データ保管装置22からモデル学習装置24へ学習用データが供給される。
医用画像診断装置26は、X線診断装置、X線CT装置、磁気共鳴イメージング装置、超音波診断装置、PET装置、SPECT(Single Photon Emission Computed Tomography)装置などのいずれかを想定する。医用画像診断装置26とモデル学習装置24とはケーブル、又は通信ネットワークを介して通信可能に接続されてもよい。モデル学習装置24で生成された学習済みモデルが医用画像診断装置26へ供給され、学習済みモデルが医用画像処理装置1のメモリ11に記憶される。なお、医用画像診断装置26とモデル学習装置24とは、必ずしも通信可能に接続されてなくてもよい。この場合、学習済みモデルが記憶された可搬型記憶媒体等を介して、モデル学習装置24から医用画像診断装置26へ学習済みモデルが供給される。
なお、第1の実施形態に係る学習済みモデルは、機械学習前の多層ネットワーク(単にモデルともいう)をディープニューラルネットワーク(DNN)に代表されるニューラルネットワークで機械学習させることで生成される。なお、学習済みモデルは、パラメータ付き合成関数ではなく、ルックアップテーブル(LUT)により実現されてもよい。
なお、図2のようにモデル学習装置24を別途用意せず、医用画像処理装置1が学習済みモデルを生成してもよい。
医用画像処理装置1において学習済みモデルを生成する場合について図3のブロック図を参照して説明する。
医用画像処理装置1に係る処理回路13は、学習機能139をさらに含む。
取得機能131により処理回路13は、学習用データ保管装置22から学習用データを取得する。
学習機能139により処理回路13は、学習用データを用いて多層ネットワークを学習させて学習済みモデルを生成する。学習済みモデルの生成方法については、図4以降で説明する生成方法を用いればよい。
メモリ11は、学習機能139により生成された学習済みモデルを格納する。
次に、第1の実施形態に係る学習済みモデルの学習時の概念について図4を参照して説明する。図4は、学習前の多層ネットワーク40と、多層ネットワーク40に入力される学習用データとを示す。
モデル学習時には、例えば工場出荷時などにおいて、学習用データを用いて多層ネットワーク40を機械学習させればよい。また、修理時やソフトウェアのアップデート時において学習済みモデルをアップデートできるようにしてもよい。また、モデル学習時において、対象物の動きの種類が異なるものごとに、例えば被検体であれば、心臓、肺などの部位ごとに、学習済みモデルを用意することが望ましい。
多層ネットワーク40は、例えば、多層ニューラルネットワーク、畳み込みニューラルネットワークを想定するが、畳み込みネットワークから派生したResNet、DenseNetなど他のネットワーク構成を用いてもよい。また、学習させる多層ネットワーク40の構成を、GAN(Generative Adversarial Network)、DCGAN(Deep Convolutional GAN)、またはpix2pixで構成してもよい。
学習用データは、ある対象物に対する第1のデータ収集期間で収集されたデータに基づく再構成画像を入力データとし、同一の対象物に対して第1のデータ収集期間よりも短い第2のデータ収集期間で収集されたデータに基づく再構成画像を正解データとした1組のデータを、複数用意したデータセットである。なお、学習用データとして用いられる画像を、学習画像とも呼ぶ。
図4の例では、第1のデータ収集期間がフルスキャン収集に対応するデータ収集期間(以下、便宜上フルスキャン期間という)である場合、第2のデータ収集期間は、フルスキャンよりも短い、ハーフスキャン収集に対応するデータ収集期間(以下、便宜上ハーフスキャン期間という)とする。フルスキャン収集は360度分の投影データを収集する方法であり、ハーフスキャン収集は180度+ファン角分の投影データを収集する方法である。
なお、第1のデータ収集期間と第2のデータ収集期間とは、互いを比較して収集期間に差分があればよいため、フルスキャン収集とハーフスキャン収集との対応関係に限られない。例えば、フルスキャン収集の代わりに200度分の投影データを収集する方法でもよいし、720度分の投影データを収集する方法であってもよい。
例えば、第1のデータ収集期間は第2のデータ収集期間よりも長ければよいため、第2のデータ収集期間がハーフスキャン期間である場合、第1のデータ収集期間として、フルスキャン収集を100%とすると70%のデータ収集期間と設定してもよい。同様に、第2のデータ収集期間も第1のデータ収集期間よりも短ければよいため、第1のデータ収集期間がフルスキャン期間であれば、1回転の30%のデータ収集期間であってもよいし、1回転の70%のデータ収集期間であってもよい。上述の学習用データで多層ネットワーク40を学習させることにより、画像に含まれる対象物の動きを学習した学習済みモデル42を生成することができる。
上述の学習用データを用いることで対象物の動きを学習できる理由は、以下の通りである。動きのある対象物を撮影する場合は、再構成画像にはモーションアーチファクトの影響が存在する。データ収集期間が短ければ、その分モーションアーチファクトの影響は少なくなる。つまり、例えば、データ収集期間が長いフルスキャン期間のデータに基づく再構成画像は、対象物の動き情報を多く保存している。一方、データ収集期間が短いハーフスキャン期間のデータに基づく再構成画像は、フルスキャン期間のデータに基づく再構成画像よりも動きの影響が少ない。
よって、第1の収集期間のデータに基づく再構成画像を入力データ(第1の学習画像)とし、第2の収集期間のデータに基づく再構成画像を正解データ(第2の学習画像)として多層ネットワークを学習させることで、再構成画像における動き情報(動きの差分)を学習させることができる。第1の実施形態では、対象物の動きを学習することができ、モーションアーチファクトの影響を学習させることができる。
なお、動き情報のみを学習できるモデルであれば、第2の学習画像を入力データと子、第1の学習画像を正解データとして多層ネットワークを学習させてもよい。
次に、学習用データに関するデータ収集期間の設定方法の概念について図5及び図6を参照して説明する。
図5は、対象物である被検体Pがガントリ内に存在し、第1のデータ収集期間と第2のデータ収集期間との関係を、ガントリの回転量に応じた収集期間(ビューの回転角)で示した図である。実線の矢印は、フルスキャン期間である第1のデータ収集期間50であり、破線の矢印は、ハーフスキャン期間である第2のデータ収集期間52である。
学習用データにおける入力に対応する第1のデータ収集期間50と第2のデータ収集期間52との組は、再構成画像の対応付けの観点から、データ収集期間に基づく再構成画像を生成する際の心位相の中心位相を揃えたデータを用いることが望ましい。また、フルスキャンのデータ列の中から再構成に使用するデータ列を部分的に抜き出して再構成することができる。その場合、中心位相は抜き出したデータ列の中心となるため、データ列を抜き出す範囲を調整することで中心位相を任意の位置に定めることができる。よって、データ列を抜き出す範囲を調整し、第2のデータ収集期間、例えばハーフスキャン期間の中心位相に合わせればよい。
続いて、図6は、ECG(Electrocardiogram)信号とデータ収集期間との関係を示す概念図である。
図6のように、ECG信号60のR−R間隔の60%〜90%となる心位相をハーフスキャン収集した場合、R−R間隔の75%を中心位相として、第1のデータ収集期間62と第2のデータ収集期間64とが設定される。これにより結果として、学習用データとして適切な再構成画像の組を設定できる。
なお、フルスキャン収集したデータから再構成に使用するデータ列を抜き出す範囲を調整し、ハーフスキャン収集における中心位相と同じ位置をフルスキャン収集における中心位相として指定すればよい。例えば、第1のデータ収集期間としてフルスキャン収集の70%のデータ収集期間を設定する際に、第2のデータ収集期間と中心位相が揃うように70%のデータ収集期間66が抽出されればよい。
次に、本実施形態に係る学習用データの生成方法について図7を参照して説明する。
入力データのデータ収集期間(第1のデータ収集期間)においては、フルスキャン期間からハーフスキャン期間、80%や70%のデータ収集期間を部分的に抽出して、中心位相を変えることにより複数の学習用データの組が生成されてもよい。
例えば図7では、中心位相75を揃えた、フルスキャン収集の70%のデータ収集期間である第1のデータ収集期間70−1とハーフスキャン期間である第2のデータ収集期間72−1との組が抽出され、学習用データに用いられればよい。
続いて、図7(b)では、図7(a)に示す第1のデータ収集期間70−1と第2のデータ収集期間72−1とからは、データ収集期間を少しずらして、つまり図7(b)では中心位相75を時計回りに約45度ずらして第1のデータ収集期間70−2と第2のデータ収集期間72−2との組を生成する。同様に、図7(c)では、図7(b)から中心位相75をずらして第1のデータ収集期間70−3と第2のデータ収集期間72−3との組を生成する。なお、各学習用データにおける第1のデータ収集期間と第2のデータ収集期間とは中心位相を揃える点に留意する。
このように、1度フルスキャン収集したデータから、中心位相を変えながら複数の組の学習用データのデータセットをバリエーション的に生成することで、第1のデータ収集期間の撮影および第1のデータ収集期間の撮影をそれぞれ別個に行わなくても、時相が異なる学習用データを容易かつ大量に用意することができる。図7に示すような学習用データは、学習用データ生成装置20が生成してもよいし、医用画像処理装置1の学習機能139が生成してもよい。
次に、第1の実施形態に係る学習済みモデル42の利用例について図8を参照して説明する。
学習済みモデル42の利用時には、モーションアーチファクトを含む入力画像が学習済みモデル42に入力され、モーションアーチファクトが低減された補正画像が出力される。理想的には、モーションアーチファクトを含む入力画像から、モーションアーチファクトの無い静止した補正画像が得られる。なお、学習済みモデル42の利用時における入力画像のデータ収集期間は、任意の期間でよい。学習済みモデル42では、動き情報自体が学習されているため、利用時の入力画像のデータ収集期間を、学習時の入力画像のデータ収集期間と同じにするといった制約はなく、どのようなデータ収集期間の入力画像でも当該入力画像に含まれるモーションアーチファクトを低減できる。
図8のように、学習用データ用いて生成された学習済みモデルの利用例では、モーションアーチファクトを低減した画像を出力する例を示したが、これに限らず、動きに関するパラメータとして動き指標値を出力してもよい。
学習済みモデルの利用例として動き指標値を算出する場合について図9のフローチャートを参照して説明する。
ステップS901では、取得機能131および画像処理機能135などにより処理回路13が、1周分のデータ収集をした際に、画像再構成の中心位相の異なる複数の第2のデータ収集期間のデータ(例えば、ハーフスキャン期間のデータ)を抽出し、時系列に沿って中心位相をずらし、各中心位相に対応するデータから再構成画像を生成する。以下便宜上、各時相の画像と呼ぶ。
ステップS902では、生成機能133により処理回路13が、各時相の画像に学習済みモデルを適用し、モーションアーチファクトが低減された各時相の補正画像を生成する。
ステップS903では、画像処理機能135により処理回路13が、各時相にて再構成画像と補正画像とを比較する。具体的には、例えば、画素値の差分量の総和を計算することにより、各時相の動き指標値を得る。
ステップS904では、表示制御機能137により処理回路13が、各時相の動き指標値の変化をグラフ表示する。または、最も指標値の小さい時相を提示する。また、時相の提示とともに、動き指標値を提示してもよい。さらに、動き指標値の小さい時相を再構成中心とした第2のデータ収集期間に基づく画像や、当該第2のデータ収集期間の補正画像を提示してもよい。
次に、図9の動き指標値の算出処理に関する具体例について図10を参照して説明する。
図10(a)は、学習済みモデルに入力される入力画像の元となるデータ収集期間をビュー期間で模式的に表した図である。図10(a)では、ハーフスキャン期間において、時系列に沿って所定期間ずつ中心位相をずらしたデータを4つ示す。
図10(b)は、各時相のデータ収集期間に基づいて画像再構成処理が実施されることで生成される入力画像である。
図10(c)では、図10(b)に示す各入力画像に対して、学習済みモデルが適用される。
図10(d)は、各入力画像に対して学習済みモデルが適用された後の、モーションアーチファクトが低減された補正画像を示す。
図10(e)では、入力画像と補正画像とに基づいて、各時相の動き指標値を算出する。図10(e)の例では、算出された動き指標値は、横軸を時間、縦軸を動き量としたグラフにプロットされる。なお、プロットされた点を線形回帰などによりフィッティングさせる例を示すが、これに限らず、時間と動き指標値との関係性が表現されればよい。
このように学習済みモデル42を利用してパラメータとして動き指標値を算出することで、モーションアーチファクトが最も低減されるデータ収集期間を判定することができる。つまり、最良のデータ収集期間を入力画像とすることで、モーションアーチファクトが最も低減された再構成画像を生成することができる。これにより、例えば、画像の位相情報を選択できるため、ステップアンドシュート方式で撮影されたマルチスライスの画像において、モーションアーチファクトを低減させつつ、各スライスで同じ中心位相をとなるような画像を作成することができる。よって、動きのある心臓などの画像についても、スライス間で位置ずれの少ない画像を作成することができる。
なお、学習用データとして、動きの傾向について学習させてもよい。例えば、心臓と、肝臓などの腹部臓器では動きの傾向が異なるため、心臓のデータに特化してデータを学習した心臓用動き補正学習済みモデル、肝臓のデータに特化したモデル、と臓器別に学習し、個別にモデル構築を行ってもよい。心臓も心時相によって動きのパターンが異なるため、心臓の拡張期が中心位相のデータに特化して学習した心臓拡張期用モデル、収縮期モデル、と位相別に学習し、個別にモデルを構築してもよい。
これにより、似た傾向のデータに特化して学習するため、少ない学習用データでも学習済みモデルの推定精度が高く、かつ収束を早くすることができる。
また、学習済みモデル42の利用時における入力画像の入力状態を、学習時の入力画像の状態に合わせてもよい。例えば、ローパスフィルタをかけたり、メタルアーチファクトを除いたりするなどの前処理後の画像で学習した場合を想定する。学習済みモデルの利用時に、メタルを含む対象物を撮影した再構成画像を入力画像とする場合は、入力画像に対してメタルアーチファクトを除去するフィルタ処理を実施した後に、学習済みモデルを適用しても良い。このようにすることで、学習済みモデルの利用時の入力画像について、より高精度にモーションアーチファクトを低減することができる。
以上に示した第1の実施形態によれば、時間情報が多く保存されるデータ収集期間が長い第1のデータ収集期間に基づくデータと、データ収集期間が短い第2のデータ収集期間に基づくデータとを用いた学習済みモデルによれば、モーションアーチファクトが低減された補正画像を生成することができる。モーションアーチファクトが低減された画像により、ある時間ではどこに血管が存在するかという、時間と位置とをより正確に決定でき、狭窄部位などの血管解析における精度が向上する。結果として、診断時の定量性が向上する。
(第2の実施形態)
第1の実施形態では、画像に含まれるモーションアーチファクトを低減するために、長いデータ収集期間に基づく再構成画像を入力画像とし、短いデータ収集期間に基づく再構成画像を正解画像としている。つまり、フルスキャン収集に基づく再構成画像に対してハーフスキャン収集に基づく再構成画像を正解画像とするため、モーションアーチファクトとの観点では、ハーフスキャン収集の方がモーションアーチファクトの影響が少ないものの、画質の観点ではフルスキャン収集よりも解像度が劣る画像が出力されうる。
よって、このように学習された学習済みモデルを用いた場合、入力画像から生成される補正画像は、画像の明るさ、画像に含まれるノイズ量(またはSN比など)が、入力画像よりも劣化すると考えられる。また、モーションアーチファクトにおける動き量を学習させる場合は、同じデータ収集期間におけるモーションアーチファクト有りの画像とモーションアーチファクト無しの画像とを用いることで、より精度良くモーションアーチファクトの動き量を学習できると考えられる。
そこで第2の実施形態では、2つの学習済みモデルを適用することで、データ収集期間の違いに起因する画質変化を補正し、より高精度にモーションアーチファクトを低減した補正画像を生成する。
まず、第2の実施形態に係る学習済みモデルの学習時の一例について図11及び図12を参照して説明する。
図11は、第1の学習済みモデルの学習時の例である。モデル学習装置24または学習機能139により処理回路13は、動きのない対象物について第1の収集期間で得られるデータに基づく再構成画像を入力画像とし、同一の対象物について第2の収集期間撮影したデータに基づく再構成画像を正解画像として、多層ネットワーク90を学習させる。例えば、フルスキャン期間に基づく再構成画像の入力に対し、ハーフスキャン期間に基づく再構成画像を正解とする学習の結果、入力画像と正解画像との間の輝度差、ノイズ量(SN比)等を学習した第1の学習済みモデル92が生成される。言い換えれば、画質補償用の学習済みモデル92が生成される。
次に、図12は、第2の学習済みモデルの学習時の例である。第2の学習済みモデル生成時において、モデル学習装置24または学習機能139により処理回路13は、今度は動きのある対象物について第1の収集期間撮影した投影データに基づく再構成画像に第1の学習済みモデル92を適用した画像(以下、中間画像という)を入力画像とし、同一の対象物について第2の収集期間撮影した投影データに基づく再構成画像を正解データとして、多層ネットワーク94を学習させる。図12における第1の収集期間および第2の収集期間は、第1の学習済みモデル92を生成する際の第1の収集期間および第2の収集期間と同じ長さの期間で設定されればよい。
中間画像の入力に対し、第2の収集期間に基づく再構成画像を正解画像とする学習の結果、モーションアーチファクトにおける動きの方向および動き量などを学習した第2の学習済みモデル96が生成される。
次に、第2の実施形態に係る学習済みモデルの利用時の一例について図13を参照して説明する。
図13に示すように、任意の収集期間のデータに基づく再構成画像が入力画像として第2の学習済みモデル96に入力され、補正画像が出力される。補正画像は、入力画像からモーションアーチファクトが低減されることに加えて、輝度の低下などの画質の劣化成分も補償される。
以上に示した第2の実施形態によれば、画質補償用の学習済みモデルを生成し、当該第1の学習済みモデルの出力画像である中間画像を入力として動き補償用の第2の学習済みモデルを生成することで、モーションアーチファクトが低減されることに加えて、輝度の低下などの画質の劣化成分も補償した補正画像を生成することができる。
(第3の実施形態)
第3の実施形態では、利用時に1つの学習モデルに入力するのではなく、目的に応じて学習済みモデルを用意して、それぞれの学習済みモデルを適用することで、第2の実施形態と同様にデータ収集期間の違いに起因する画質変化を補正し、所望の画像を生成することができる。
第3の実施形態に係る学習済みモデルの学習時の一例について図14を参照して説明する。
第3の実施形態では2つの学習済みモデルを生成することを想定する。1つ目は、第1の実施形態と同様の動き補正用の学習済みモデル(第1の学習済みモデルともいう)である。2つ目は、画質補正用の学習済みモデル(第2の学習済みモデルともいう)である。
図14に示すように、静止した、動きのない対象物をハーフスキャン期間で撮影した投影データに基づく再構成画像を入力画像とし、同一の対象物をフルスキャン期間で撮影した投影データに基づく再構成画像を正解画像として多層ネットワーク90を学習させる。当該学習では、入力データよりもデータ収集期間が長いフルスキャン収集による再構成画像のほうが解像度が高いため、フルスキャン収集よりも収集期間が短い投影データに基づく再構成画像からフルスキャン収集相当の解像度を有する画像を生成する、画質補正用の第2の学習済みモデル98を構築することができる。
次に、第3の実施形態に係る学習済みモデルの利用時の一例について図15を参照して説明する。
図15に示すように、生成機能133により処理回路13は、フルスキャン収集したモーションアーチファクトを有する再構成画像を入力画像とし、動き補正用の第1の学習済みモデル42を適用する。その後、当該第1の学習済みモデル42を適用した後の画像に対して、画質補正用の第2の学習済みモデル98を適用することで補正画像を生成する。
なお、第1の学習済みモデル42と第2の学習済みモデル98とを適用する順序は、順不同であり、第2の学習済みモデル98を適用した後に、第1の学習済みモデル42を適用するようにしてもよい。
以上に示した第3の実施形態によれば、動き補正用の学習済みモデルと画質補正用の学習済みモデルとを生成し、入力画像に対して段階的に適用することで、モーションアーチファクトが低減され、かつフルスキャン収集に基づく再構成画像と同様の画質を有する補正画像を生成することができる。
なお、第3の実施形態では、2種類の学習済みモデルを生成することを例に説明したが、3種類以上の学習済みモデルを生成し、各目的の補正効果を生じさせる学習済みモデルを段階的に適用するようにしてもよい。
(第4の実施形態)
第4の実施形態では、医用画像処理装置1を含む医用画像診断装置として、医用画像処理装置1を含むX線CT装置について図16のブロック図を参照して説明する。図1に示すX線CT装置2は、架台装置100と、寝台装置300と、X線CT装置の処理を実現するコンソール装置400とを有する。図16では説明の都合上、架台装置100を複数描画している。
なお、本実施形態では、非チルト状態での回転フレーム130の回転軸又は寝台装置300の天板330の長手方向をZ軸方向、Z軸方向に直交し、床面に対し水平である軸方向をX軸方向、Z軸方向に直交し、床面に対し垂直である軸方向をY軸方向とそれぞれ定義するものとする。
例えば、架台装置100及び寝台装置300はCT検査室に設置され、コンソール装置400はCT検査室に隣接する制御室に設置される。なお、コンソール装置400は、必ずしも制御室に設置されなくてもよい。例えば、コンソール装置400は、架台装置100及び寝台装置300とともに同一の部屋に設置されてもよい。いずれにしても架台装置100と、寝台装置300と、コンソール装置400とは互いに通信可能に有線または無線で接続されている。
架台装置100は、被検体PをX線CT撮影するための構成を有するスキャン装置である。架台装置100は、X線管110と、X線検出器120と、回転フレーム130と、X線高電圧装置140と、制御装置150と、ウェッジ160と、コリメータ170と、データ収集装置180(以下、DAS(Data Acquisition System)180ともいう)とを含む。
X線管110は、X線高電圧装置140からの高電圧の印加及びフィラメント電流の供給により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生する真空管である。具体的には、熱電子がターゲットに衝突することによりX線が発生される。例えば、X線管110には回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。X線管110で発生したX線は、例えばコリメータ170を介してコーンビーム形に成形され、被検体Pに照射される。
X線検出器120が、X線管110から照射され、被検体Pを通過したX線を検出し、当該X線量に対応した電気信号をDAS180へと出力する。X線検出器120は、例えば、X線管110の焦点を中心として1つの円弧に沿ってチャネル方向に複数のX線検出素子が配列された複数のX線検出素子列を有する。X線検出器120は、例えば、チャネル方向に複数のX線検出素子が配列されたX線検出素子列がスライス方向(列方向、row方向)に複数配列された列構造を有する。
X線検出器120は、具体的には、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。X線検出器120は、検出部の一例である。
シンチレータアレイは、複数のシンチレータを有する。シンチレータは、入射X線を当該入射X線の強度に応じた光子量の光を出力するシンチレータ結晶を有する。
グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドはコリメータ(1次元コリメータまたは2次元コリメータ)と呼ばれる場合もある。
光センサアレイは、シンチレータから受けた光を増幅して電気信号に変換する機能を有し、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。
回転フレーム130は、X線発生部(X線管110,ウェッジ160およびコリメータ170を含む)とX線検出器120とを回転軸回りに回転可能に支持する。具体的には、回転フレーム130は、X線管110とX線検出器120とを対向支持し、後述する制御装置150によってX線管110とX線検出器120とを回転させる円環状のフレームである。回転フレーム130は、アルミニウム等の金属により形成された固定フレーム(図示せず)に回転可能に支持される。詳しくは、回転フレーム130は、ベアリングを介して固定フレームの縁部に接続されている。回転フレーム130は、制御装置150の駆動機構からの動力を受けて回転軸Z回りに一定の角速度で回転する。
なお、回転フレーム130は、X線管110とX線検出器120に加えて、X線高電圧装置140やDAS180を更に備えて支持する。このような回転フレーム130は、撮影空間をなす開口(ボア)190が形成された略円筒形状の筐体に収容されている。開口はFOVに略一致する。開口の中心軸は、回転フレーム130の回転軸Zに一致する。なお、DAS180が生成した検出データは、例えば発光ダイオード(LED)を有する送信機から光通信によって架台装置の非回転部分(例えば固定フレーム。図1での図示は省略する。)に設けられた、フォトダイオードを有する受信機(図示せず)に送信され、コンソール装置400へと転送される。なお、回転フレームから架台装置の非回転部分への検出データの送信方法は、前述の光通信に限らず、非接触型のデータ伝送であれば如何なる方式を採用しても構わない。
X線高電圧装置140は、変圧器(トランス)及び整流器等の電気回路を有し、X線管110に印加する高電圧及びX線管110に供給するフィラメント電流を発生する機能を有する高電圧発生装置と、X線管110が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。なお、X線高電圧装置140は、後述する回転フレーム130に設けられてもよいし、架台装置100の固定フレーム(図示しない)側に設けられても構わない。
制御装置150は、CPUを有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。処理回路は、ハードウェア資源として、CPUやMPU(Micro Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。また、制御装置150は、特定用途向け集積回路(ASIC)やフィールド・プログラマブル・ゲート・アレイ(FPGA)、他の複合プログラマブル論理デバイス(CPLD)、単純プログラマブル論理デバイス(SPLD)により実現されてもよい。制御装置150は、コンソール装置400からの指令に従い、X線高電圧装置140及びDAS180等を制御する。前記プロセッサは、前記メモリに保存されたプログラムを読み出して実現することで上記制御を実現する。
また、制御装置150は、コンソール装置400若しくは架台装置100に取り付けられた、後述する入力インタフェース430からの入力信号を受けて、架台装置100及び寝台装置300の動作制御を行う機能を有する。例えば、制御装置150は、入力信号を受けて回転フレーム130を回転させる制御や、架台装置100をチルトさせる制御、及び寝台装置300及び天板330を動作させる制御を行う。なお、架台装置100をチルトさせる制御は、架台装置100に取り付けられた入力インタフェース430によって入力される傾斜角度(チルト角度)情報により、制御装置150がX軸方向に平行な軸を中心に回転フレーム130を回転させることによって実現される。また、制御装置150は架台装置100に設けられてもよいし、コンソール装置400に設けられても構わない。なお、制御装置150は、前記メモリにプログラムを保存する代わりに、前記プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、前記プロセッサは、前記回路内に組み込まれたプログラムを読み出して実行することで上記制御を実現する。
ウェッジ160は、X線管110から照射されたX線量を調節するためのフィルタである。具体的には、ウェッジ160は、X線管110から被検体Pへ照射されるX線が、予め定められた分布になるように、X線管110から照射されたX線を透過して減衰するフィルタである。例えば、ウェッジ160(ウェッジフィルタ(wedge filter)、ボウタイフィルタ(bow-tie filter))は、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ170は、ウェッジ160を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ170は、X線絞りと呼ばれる場合もある。
DAS180は、例えば、検出データを生成可能な回路素子を搭載したASIC(Application Specific Integrated Circuit)により実現される。DAS180とX線検出器120とは検出器ユニットを構成する。
DAS180は、X線検出器120から電気信号を読み出し、読み出した電気信号に基づいて、X線検出器120により検出されたX線の線量に関するデジタルデータである検出データを生成する。検出データは、生成元のX線検出素子のチャンネル番号、列番号、収集されたビュー(投影角度ともいう)を示すビュー番号、及び検出されたX線の線量の積分値を示すデータのセットである。
例えば、DAS180は、検出素子各々について前置増幅器、可変増幅器、積分回路及びA/D変換器を含む。前置増幅器は、接続元の検出素子からの電気信号を所定のゲインで増幅する。可変増幅器は、前置増幅器からの電気信号を可変のゲインで増幅する。積分回路は、前置増幅器からの電気信号を、1ビュー期間に亘り積分して積分信号を生成する。積分信号の波高値は、1ビュー期間に亘り接続元の検出素子により検出されたX線の線量値に対応する。A/D変換器は、積分回路からの積分信号をアナログデジタル変換して検出データを生成する。
寝台装置300は、スキャン対象の被検体Pを載置、移動させる装置であり、基台310と、寝台駆動装置320と、天板330と、支持フレーム340とを備えている。
基台310は、支持フレーム340を鉛直方向に移動可能に支持する筐体である。
寝台駆動装置320は、被検体Pが載置された天板330を天板330の長軸方向に移動するモータあるいはアクチュエータである。寝台駆動装置320は、コンソール装置400による制御、または制御装置150による制御に従い、天板330を移動する。例えば、寝台駆動装置320は、天板330に載置された被検体Pの体軸が回転フレーム130の開口の中心軸に一致するよう、天板330を被検体Pに対して直交方向に移動する。また、寝台駆動装置320は、架台装置100を用いて実行されるX線CT撮影に応じて、天板330を被検体Pの体軸方向に沿って移動してもよい。寝台駆動装置320は、制御装置150からの駆動信号のデューティ比等に応じた回転速度で駆動することにより動力を発生する。寝台駆動装置320は、例えば、ダイレクトドライブモータやサーボモータ等のモータにより実現される。
支持フレーム340の上面に設けられた天板330は、被検体Pが載置される板である。なお、寝台駆動装置320は、天板330に加え、支持フレーム340を天板330の長軸方向に移動してもよい。
コンソール装置400は、メモリ410と、ディスプレイ420と、入力インタフェース430と、処理回路440と、上述した第1の実施形態から第3の実施形態に係る医用画像処理装置1を有する。メモリ410と、ディスプレイ420と、入力インタフェース430と、処理回路440との間のデータ通信は、バス(BUS)を介して行われる。なお、コンソール装置400は架台装置100とは別体として説明するが、架台装置100にコンソール装置400またはコンソール装置400の各構成要素の一部が含まれてもよい。
メモリ410は、種々の情報を記憶するHDDやSSD、集積回路記憶装置等の記憶装置である。メモリ410は、例えば、検出データや再構成画像データを記憶する。メモリ410は、HDDやSSD等以外にも、CD、DVD、フラッシュメモリ等の可搬性記憶媒体や、RAM等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ410の保存領域は、X線CT装置2内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。例えば、メモリ410は、CT画像や表示画像のデータを記憶する。また、メモリ410は、本実施形態に係る制御プログラムを記憶する。
ディスプレイ420は、各種の情報を表示する。例えば、ディスプレイ420は、処理回路440によって生成された医用画像(CT画像)や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ420としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが、適宜、使用可能となっている。また、ディスプレイ420は、架台装置100に設けられてもよい。また、ディスプレイ420は、デスクトップ型でもよいし、コンソール装置400本体と無線通信可能なタブレット端末などで構成されることにしても構わない。
入力インタフェース430は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路440に出力する。例えば、入力インタフェース430は、検出データを収集する際の収集条件や、CT画像を再構成する際の再構成条件、CT画像から後処理画像を生成する際の画像処理条件等を操作者から受け付ける。入力インタフェース430としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インタフェース430は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路440へ出力する電気信号の処理回路も入力インタフェース430の例に含まれる。入力インタフェース430は、架台装置100に設けられてもよい。又、入力インタフェース430は、コンソール装置400本体と無線通信可能なタブレット端末などで構成されることにしても構わない。
処理回路440は、入力インタフェース430から出力される入力操作の電気信号に応じてX線CT装置2全体の動作を制御する。例えば、処理回路440は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。処理回路440は、メモリに展開されたプログラムを実行するプロセッサにより、システム制御機能4410、前処理機能4420、再構成処理機能4430および表示制御機能4440を実行する。なお、各機能(システム制御機能4410、前処理機能4420、再構成処理機能4430および表示制御機能4440)は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。
システム制御機能4410は、入力インタフェース430を介して操作者から受け付けた入力操作に基づいて、処理回路440の各機能を制御する。具体的には、システム制御機能4410は、メモリ410に記憶されている制御プログラムを読み出して処理回路440内のメモリ上に展開し、展開された制御プログラムに従ってX線CT装置2の各部を制御する。例えば、処理回路440は、入力インタフェース430を介して操作者から受け付けた入力操作に基づいて、処理回路440の各機能を制御する。例えば、システム制御機能4410は、スキャン範囲、撮影条件等を決定するための被検体Pの2次元の位置決め画像を取得する。なお、位置決め画像は、スキャノ画像またはスカウト画像とも呼ばれる。
前処理機能4420は、DAS180から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施したデータを生成する。なお、前処理前の生データ(検出データ)及び前処理後のデータを総称して投影データと称する場合もある。
再構成処理機能4430は、前処理機能4420にて生成された投影データに対して、フィルタ補正逆投影法(FBP法:Filtered Back Projection)や逐次近似再構成法等を用いた再構成処理を行ってCT画像データを生成する。
表示制御機能4440は、処理回路440の各機能または処理における処理途中又は処理結果の情報を表示するようにディスプレイ420を制御する処理である。
なお、処理回路440は、スキャン制御処理、画像処理および表示制御処理も行う。
スキャン制御処理は、X線高電圧装置140に高電圧を供給させて、X線管110にX線を照射させるなど、X線スキャンに関する各種動作を制御する処理である。
画像処理は、入力インタフェース430を介して操作者から受け付けた入力操作に基づいて、再構成処理機能4430によって生成されたCT画像データを、任意断面の断層画像データや3次元画像データに変換する処理である。なお、3次元画像データの生成は、再構成処理機能4430が直接行なっても構わない。
処理回路440は、コンソール装置400に含まれる場合に限らず、複数の医用画像診断装置にて取得されたデータに対する処理を一括して行う統合サーバに含まれてもよい。
なお、コンソール装置400は、単一のコンソールにて複数の機能を実行するものとして説明したが、複数の機能を別々のコンソールが実行することにしても構わない。
なお、上述した実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD−ROM、DVD、Blu−ray(登録商標)ディスクなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。
上述の第1の実施形態から第3の実施形態に係る医用画像処理装置および第4の実施形態に係るX線CT装置によれば、診断時の定量性を向上させることができる。
なお、本実施形態では、X線CT装置により撮影された投影データに基づく再構成画像を処理する場合を例に説明したが、これに限らず、X線診断装置で撮影されたX線画像、超音波診断装置で得られる超音波データから生成された超音波画像に対しても同様に学習済みモデルを生成できる。
具体的には、X線診断装置で撮影されたX線画像の場合は、対象物に対する曝射時間を制御することで、第1のデータ収集期間に基づくX線画像と第2のデータ収集期間に基づくX線画像とを生成し、上述の学習用データとすればよい。
また、超音波診断装置における超音波画像の場合は、画像一枚当たりのビーム密度の高い画像を第1のデータ収集期間に基づく超音波画像とし、ビーム密度の低い画像を第2のデータ収集期間に基づく超音波画像とした学習用データを生成すればよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 医用画像処理装置
2 X線CT装置
11, 410 メモリ
13,440 処理回路
15 入力インタフェース
17 通信インタフェース
20 学習用データ生成装置
22 学習用データ保管装置
24 モデル学習装置
26 医用画像診断装置
40,90,94 多層ネットワーク
42,92,96,98 学習済みモデル
50,62,70−1〜70−3 第1のデータ収集期間
52,64,72−1〜72−3 第2のデータ収集期間
60 ECG信号
66 70%のデータ収集期間
75 中心位相
100 架台装置
110 X線管
120 X線検出器
130 回転フレーム
131 取得機能
133 生成機能
135 画像処理機能
137,4440 表示制御機能
139 学習機能
140 X線高電圧装置
150 制御装置
160 ウェッジ
170 コリメータ
180 データ収集装置(DAS)
190 開口
300 寝台装置
310 基台
320 寝台駆動装置
330 天板
340 支持フレーム
400 コンソール装置
411 学習済みモデル
420 ディスプレイ
430 入力インタフェース
4410 システム制御機能
4420 前処理機能
4430 再構成処理機能

Claims (9)

  1. 対象物を撮影した入力画像を取得する取得部と、
    異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する生成部と、
    を具備する医用画像処理装置。
  2. 前記学習済みモデルは、前記動きのある対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのある対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いてモデルを学習することで生成される、請求項1に記載の医用画像処理装置。
  3. 前記第1の学習画像と前記第2の学習画像との組は、それぞれのデータ収集期間における中心位相が同じである、請求項2に記載の医用画像処理装置。
  4. 前記入力画像に対し、前記学習済みモデルの学習に用いた画像に合わせた前処理を実行する画像処理部をさらに具備し、
    前記生成部は、前記学習済みモデルを用いて、前処理後の入力画像から前記補正画像を生成する、請求項1から請求項3のいずれか1項に記載の医用画像処理装置。
  5. 前記生成部は、前記入力画像または前記補正画像に対し、データ収集期間の違いに起因する画質変化の補正処理を実行する、請求項1から請求項4のいずれか1項に記載の医用画像処理装置。
  6. 前記学習済みモデルは、動きのない対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのない対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いて第1のモデルを学習することで生成される第1の学習済みモデルと、
    前記動きのある対象物を前記第1のデータ収集期間で撮影した第3の学習画像に前記第1の学習済みモデルを適用して生成された中間画像と、前記動きのある対象物を前記第2のデータ収集期間で撮影した第4の学習画像との組を用いて第2のモデルを学習することで生成される第2の学習済みモデルと、を含み、
    前記生成部は、前記第2の学習済みモデルを用いて、前記入力画像から前記補正画像を生成する、請求項1に記載の医用画像処理装置。
  7. 前記学習済みモデルは、動きのない対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのない対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いて第1のモデルを学習することで生成される第1の学習済みモデルと、
    前記動きのある対象物を前記第1のデータ収集期間で撮影した第3の学習画像と、前記動きのある対象物を前記第2のデータ収集期間で撮影した第4の学習画像との組を用いて第2のモデルを学習することで生成される第2の学習済みモデルと、を含み、
    前記生成部は、前記第1の学習済みモデルと前記第2の学習済みモデルとをそれぞれ用いて、前記入力画像から前記補正画像を生成する、請求項1に記載の医用画像処理装置。
  8. X線管と、
    前記X線管から照射されて対象物を透過したX線を検出する検出器と、
    前記検出器からの出力に基づいて対象物に関する入力画像を再構成する再構成部と、
    異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する生成部と、
    を具備するX線CT装置。
  9. 対象物を第1のデータ収集期間撮影することにより得られる第1のデータを取得し、
    前記第1のデータ収集期間よりも短い第2のデータ収集期間に対応する第2のデータについて、画像再構成の中心となる中心位相を変えながら、各時相の第2のデータを抽出し、
    前記時相ごとに、中心位相が同一となる前記第1のデータに基づく再構成画像と前記第2のデータに基づく再構成画像との組を学習用データとして生成する、学習用データの生成方法。
JP2019085941A 2019-04-26 2019-04-26 医用画像処理装置、x線ct装置及び学習用データの生成方法 Active JP7242410B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019085941A JP7242410B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、x線ct装置及び学習用データの生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019085941A JP7242410B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、x線ct装置及び学習用データの生成方法

Publications (2)

Publication Number Publication Date
JP2020179031A true JP2020179031A (ja) 2020-11-05
JP7242410B2 JP7242410B2 (ja) 2023-03-20

Family

ID=73022849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019085941A Active JP7242410B2 (ja) 2019-04-26 2019-04-26 医用画像処理装置、x線ct装置及び学習用データの生成方法

Country Status (1)

Country Link
JP (1) JP7242410B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486818B1 (ko) * 2022-01-04 2023-01-10 주식회사 클라리파이 의료영상의 움직임 보상처리 장치 및 방법
JP2023057871A (ja) * 2021-10-12 2023-04-24 キヤノン株式会社 医用画像処理装置、医用画像処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130571A1 (en) * 2017-10-27 2019-05-02 Siemens Healthcare Gmbh Method and system for compensating for motion artifacts by means of machine learning
JP2019534763A (ja) * 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534763A (ja) * 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク
US20190130571A1 (en) * 2017-10-27 2019-05-02 Siemens Healthcare Gmbh Method and system for compensating for motion artifacts by means of machine learning

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023057871A (ja) * 2021-10-12 2023-04-24 キヤノン株式会社 医用画像処理装置、医用画像処理方法およびプログラム
JP7487159B2 (ja) 2021-10-12 2024-05-20 キヤノン株式会社 医用画像処理装置、医用画像処理方法およびプログラム
KR102486818B1 (ko) * 2022-01-04 2023-01-10 주식회사 클라리파이 의료영상의 움직임 보상처리 장치 및 방법

Also Published As

Publication number Publication date
JP7242410B2 (ja) 2023-03-20

Similar Documents

Publication Publication Date Title
US9237874B2 (en) Method and system for non-invasive imaging of a target region
US11200709B2 (en) Radiation image diagnostic apparatus and medical image processing apparatus
US10111626B2 (en) X-ray CT apparatus
JP7242288B2 (ja) 医用画像診断装置及びモデル学習装置
JP2020003406A (ja) 医用情報処理装置
CN103860185A (zh) 多能量图像的确定
JP2023039991A (ja) 医用処理装置、x線ctシステム及び処理プログラム
JP7242410B2 (ja) 医用画像処理装置、x線ct装置及び学習用データの生成方法
JP7106384B2 (ja) 医用画像処理装置及びx線コンピュータ断層撮影装置
US11241212B2 (en) Medical apparatus
JP7462433B2 (ja) 医用診断システム、医用診断装置、および医用情報処理装置
JP6466057B2 (ja) 医用画像診断装置
JP7224829B2 (ja) 医用画像処理装置および方法
JP2020099409A (ja) 医用画像処理装置、医用画像診断装置、及び医用画像処理方法
JP7334088B2 (ja) 医用情報処理装置、医用情報処理プログラムおよびx線ct装置
JP7055709B2 (ja) X線ct装置及び撮影計画装置
JP7418950B2 (ja) X線ct装置、撮影計画装置およびx線ct撮影方法
JP6510203B2 (ja) 画像処理装置、x線ct装置およびプログラム
JP7320934B2 (ja) 医用画像処理装置および医用画像処理方法
JP7487367B2 (ja) X線ct装置、検出器補正方法および医用情報システム
JP7309429B2 (ja) 医用情報処理システム、および医用情報処理装置
JP7066399B2 (ja) 放射線画像診断装置及び医用画像処理装置
JP7236239B2 (ja) X線ctシステム及びctスキャン実行プログラム
JP2022071921A (ja) X線ct装置
JP2016220967A (ja) X線ct装置、放射線診断装置及び画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150