JP2023074958A - 医用画像処理装置、医用画像処理方法及びプログラム - Google Patents

医用画像処理装置、医用画像処理方法及びプログラム Download PDF

Info

Publication number
JP2023074958A
JP2023074958A JP2021188179A JP2021188179A JP2023074958A JP 2023074958 A JP2023074958 A JP 2023074958A JP 2021188179 A JP2021188179 A JP 2021188179A JP 2021188179 A JP2021188179 A JP 2021188179A JP 2023074958 A JP2023074958 A JP 2023074958A
Authority
JP
Japan
Prior art keywords
medical image
image data
super
processing
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021188179A
Other languages
English (en)
Inventor
匡平 武田
Kyohei Takeda
庸次郎 鈴木
Yojiro Suzuki
惇起 橋爪
Junki Hashizume
隆宏 養田
Takahiro Yoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2021188179A priority Critical patent/JP2023074958A/ja
Priority to US18/053,879 priority patent/US20230153945A1/en
Priority to CN202211458572.5A priority patent/CN116137028A/zh
Publication of JP2023074958A publication Critical patent/JP2023074958A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • A61B6/035Mechanical aspects of CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】医用画像の超解像処理の効率を向上させる。【解決手段】実施形態に係る医用画像処理装置は、取得部と、特定部と、出力部とを備える。取得部は、処理対象の医用画像データを取得する。特定部は、医用画像データに基づいて、医用画像データのうち、画質を向上させる超解像処理の対象となる対象領域と超解像処理の対象外となる対象外領域とを特定する。出力部は、医用画像データの対象領域に関する情報を出力する。【選択図】図1

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法及びプログラムに関する。
従来、医用画像診断装置によって収集された医用画像について、深層学習を含む機械学習等のAI(Artificial Intelligence)技術を用いた画像の解像度を高める超解像処理が行われている。
例えば、X線CT装置によって三次元再構成された医用画像を、AI技術によって作成した超解像モデル(学習済モデル)に入力することで、医用画像を高画質化することが行われている。しかしながら、医用画像を高画質化する超解像処理には時間がかかることが知られており、超解像処理の効率を向上させる技術が切望されている。
米国特許出願公開第2013/051519号明細書
クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像の超解像処理の効率を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る医用画像処理装置は、取得部と、特定部と、出力部とを備える。取得部は、処理対象の医用画像データを取得する。特定部は、医用画像データに基づいて、医用画像データのうち、画質を向上させる超解像処理の対象となる対象領域と超解像処理の対象外となる対象外領域とを特定する。出力部は、医用画像データの対象領域に関する情報を出力する。
図1は、実施形態に係る医用画像処理システムの構成の一例を示すブロック図である。 図2は、実施形態に係るX線CT装置の構成の一例を示すブロック図である。 図3は、実施形態に係る対象部位の選択処理の一例を示す説明図である。 図4は、実施形態に係るスライス画像データの分割処理の一例を示す説明図である。 図5は、実施形態に係る機械学習による超解像モデルの生成方法の一例を示す説明図である。 図6は、実施形態に係る超解像モデルの入出力イメージの一例を示す図である。 図7は、実施形態に係る医用情報処理装置が実行する処理の一例を示すフローチャートである。 図8は、変形例3に係る医用画像処理システムの構成の一例を示すブロック図である。 図9は、変形例3に係るマスク処理の一例を示す説明図である。 図10は、変形例3に係る医用画像処理装置の処理の概要の一例を示す説明図である。 図11は、変形例3に係る医用情報処理装置が実行する処理の一例を示すフローチャートである。
以下、添付図面を参照しながら、医用画像処理装置、医用画像処理方法及びプログラムの実施形態について詳細に説明する。
本実施形態では、図1に示すように、X線CT装置1及び医用画像処理装置2を含んだ医用画像処理システムSを例として説明する。図1は、実施形態に係る医用画像処理システムSの構成の一例を示すブロック図である。本実施形態では、図1に示すX線CT装置1により収集された投影データに基づいて後述の各処理が実行されるものとして説明する。X線CT装置1及び医用画像処理装置2は、ネットワークNWを介して相互に接続される。
なお、ネットワークNWを介して接続可能であれば、X線CT装置1及び医用画像処理装置2が設置される場所は任意である。例えば、X線CT装置1及び医用画像処理装置2は、互いに異なる施設内に設置されていてもよい。即ち、ネットワークNWは、施設内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークであってもよい。
また、X線CT装置1と医用画像処理装置2との間の通信は、画像保管装置等の他の装置を介して行なわれてもよいし、他の装置を介さず直接的に行なわれてもよい。このような画像保管装置の例としては、例えば、PACS(Picture Archiving and Communication System)のサーバが挙げられる。
まず、X線CT装置1について、図2を用いて説明する。図2は、実施形態に係るX線CT装置1の構成の一例を示すブロック図である。図2に示すように、X線CT装置1は、架台装置10と寝台装置30とコンソール装置40とを有する。
なお、本実施形態では、非チルト状態での回転フレーム13の回転軸の長手方向をZ軸方向、Z軸方向に直交し、かつ回転中心から回転フレーム13を支持する支柱に向かう方向をX軸、当該Z軸及びX軸と直交する方向をY軸とそれぞれ定義するものとする。
架台装置10は、診断に用いられる医用画像を撮影するための撮影系19を有する。撮影系19は、例えば、X線管11、X線検出器12、ウェッジ16、及びコリメータ17で構成される。すなわち、架台装置10は、被検体PにX線を照射し、被検体Pを透過したX線の検出データから投影データを収集する撮影系19を有する装置である。
また、架台装置10は、被検体Pを収容するための開口部を有する。被検体Pが載置された天板33は、寝台装置30が設けられる側を入り口として開口部へ収容される。
架台装置10は、X線管11と、ウェッジ16と、コリメータ17と、X線検出器12と、X線高電圧装置14と、DAS(Data Acquisition System)18と、回転フレーム13と、制御装置15と、寝台装置30とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射する真空管である。例えば、X線管11には回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
ウェッジ16は、X線管11から照射されたX線のX線量を調節するためのフィルタである。具体的には、ウェッジ16は、X線管11から被検体Pへ照射されるX線が、予め定められた分布になるように、X線管11から照射されたX線を透過して減衰するフィルタである。
ウェッジ16は、例えばウェッジフィルタ(wedge filter)またはボウタイフィルタ(bow-tie filter)であり、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ17は、ウェッジ16を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ17は、X線絞りと呼ばれる場合もある。
X線検出器12は、X線管11から照射され、被検体Pを通過したX線を検出し、当該X線量に対応した電気信号をデータ収集装置(DAS18)へと出力する。X線検出器12は、例えば、X線管11の焦点を中心として1つの円弧に沿ってチャンネル方向に複数のX線検出素子が配列された複数のX線検出素子列を有する。なお、チャンネル方向は、回転フレーム13の円周方向を意味する。
X線検出器12は、例えば、X線管11の焦点を中心として一つの円弧に沿ってチャンネル方向に複数のX線検出素子が配列された複数のX線検出素子列を有する。X線検出器12は、例えば、チャンネル方向に複数のX線検出素子が配列されたX線検出素子列がスライス方向(体軸方向、列方向とも呼ばれる)に複数配列された構造を有する。
また、X線検出器12は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有し、シンチレータは入射X線量に応じた光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収する機能を有するX線遮蔽版を有する。
光センサアレイは、シンチレータからの光量に応じた電気信号に変換する機能を有し、例えば、光電子増倍管(PMT)等の光センサを有する。なお、X線検出器12は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧を発生する機能を有する高電圧発生装置と、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。
なお、X線高電圧装置14は、回転フレーム13に設けられてもよいし、架台装置10の固定フレーム(図示しない)側に設けられても構わない。なお、固定フレームは、回転フレーム13を回転可能に支持するフレームである。
DAS18は、X線検出器12の各X線検出素子から出力される電気信号に対して増幅処理を行う増幅器と、電気信号をデジタル信号に変換するA/D変換器とを有し、検出データを生成する。DAS18が生成した検出データは、コンソール装置40へと転送される。検出データは、例えば、サイノグラムである。
サイノグラムとは、X線管11の位置(以下、ビュー角度ともいう)ごとに、且つX線検出素子ごとに生成される投影データを、ビュー方向とチャンネル方向とに対応付けて示すデータである。ここで、ビュー方向は、ビュー角度に対応し、X線の照射方向を意味する。
なお、X線検出器12における1つの検出素子列のみを用いてシングルスキャンを実行した場合、1つのスキャンに対して1つのサイノグラムを生成することができる。また、X線検出器12における複数の検出素子列を用いてヘリカルスキャン又はボリュームスキャンを実行した場合、1つのスキャンに対して複数のサイノグラムを生成することができる。
回転フレーム13は、X線管11とX線検出器12とを対向支持し、制御装置15によってX線管11とX線検出器12とを回転させる円環状のフレームである。なお、回転フレーム13は、X線管11とX線検出器12に加えて、X線高電圧装置14やDAS18を更に支持する。
回転フレーム13は架台装置の非回転部分(例えば固定フレーム。図2での図示は省略している)により回転可能に支持される。回転機構は例えば回転駆動力を生ずるモータと、当該回転駆動力を回転フレーム13に伝達して回転させるベアリングとを含む。モータは例えば当該非回転部分に設けられ、ベアリングは回転フレーム13及び当該モータと物理的に接続され、モータの回転力に応じて回転フレーム13が回転する。
回転フレーム13と非回転部分にはそれぞれ、非接触方式または接触方式の通信回路が設けられ、これにより回転フレーム13に支持されるユニットと当該非回転部分あるいは架台装置10の外部装置との通信が行われる。
例えば、非接触の通信方式として光通信を採用する場合、DAS18が生成した検出データは、回転フレーム13に設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置の非回転部分に設けられた、フォトダイオードを有する受信機に送信され、さらに送信器により当該非回転部分からコンソール装置40へと転送される。
なお、通信方式としては、この他に容量結合式や電波方式等の非接触型のデータ伝送の他、スリップリングと電極ブラシを使った接触型のデータ伝送方式を採用しても構わない。
制御装置15は、CPU等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。制御装置15は、コンソール装置40若しくは架台装置10に取り付けられた、後述する入力インタフェース43からの入力信号を受けて、架台装置10及び寝台装置30の動作制御を行う機能を有する。
例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御、及び寝台装置30及び天板33を動作させる制御を行う。なお、架台装置10をチルトさせる制御は、架台装置10に取り付けられた入力インタフェースによって入力される傾斜角度(チルト角度)情報により、制御装置15がX軸方向に平行な軸を中心に回転フレーム13を回転させることによって実現される。
なお、制御装置15は架台装置10に設けられてもよいし、コンソール装置40に設けられても構わない。
寝台装置30は、スキャン対象の被検体Pを載置、移動させる装置であり、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備える。基台31は、支持フレーム34を鉛直方向に移動可能に支持する筐体である。寝台駆動装置32は、被検体Pが載置された天板33をその長軸方向(図2のZ軸方向)に移動させるモータあるいはアクチュエータである。
支持フレーム34の上面に設けられた天板33は、被検体Pが載置される板である。なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長軸方向に移動してもよい。
寝台駆動装置32は、制御装置15からの制御信号に従って、基台31を上下方向に移動させる。また、寝台駆動装置32は、制御装置15からの制御信号に従って、天板33を長軸方向(Z軸方向)に移動させる。
コンソール装置40は、操作者によるX線CT装置1の操作を受け付けるとともに、架台装置10によって収集されたX線検出データからX線CT画像データを再構成する装置である。コンソール装置40は、メモリ41と、ディスプレイ42と、入力インタフェース43と、処理回路45とを備える。
メモリ41は、例えばRAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ41は、例えば投影データや再構成画像データを記憶する。また、メモリ41は、撮影プロトコルを記憶する。
ここで、撮影プロトコルとは、撮影系19を制御して被検体Pを撮影し画像を取得するための手順等を規定したものである。撮影プロトコルは、例えば、撮影部位、撮影条件、撮影範囲、再構成条件、架台装置10(撮影系19)の動作、寝台装置30の動作等のパラメータ群である。
また、メモリ41は、後述するシステム制御機能451、前処理機能452、再構成処理機能453、及び画像処理機能454を実現するための専用プログラムを格納する。
ディスプレイ42は、操作者が参照するモニタであり、各種の情報を表示する。例えば、ディスプレイ42は、処理回路45によって生成された医用画像(CT画像)や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ42は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。
入力インタフェース43は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路45に出力する。例えば、入力インタフェース43は、投影データを収集する際の収集条件や、CT画像を再構成する際の再構成条件、CT画像から後処理画像を生成する際の画像処理条件等を操作者から受け付ける。
また、例えば、入力インタフェース43は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック等により実現される。また、入力インタフェース43は、架台装置10に設けられてもよい。また、入力インタフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
処理回路45は、X線CT装置1全体の動作を制御する。処理回路45は、例えば、システム制御機能451、前処理機能452、再構成処理機能453、及び画像処理機能454を有する。
実施形態では、構成要素であるシステム制御機能451、前処理機能452、再構成処理機能453、及び画像処理機能454にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ41へ記憶されている。処理回路45はプログラムをメモリ41から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。
換言すると、各プログラムを読み出した状態の処理回路45は、図2の処理回路45内に示された各機能を有することになる。
なお、図2においては単一の処理回路45にて、システム制御機能451、前処理機能452、再構成処理機能453、及び画像処理機能454にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路45を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。
換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
システム制御機能451は、入力インタフェース43を介して操作者から受け付けた入力操作に基づいて、処理回路45の各種機能を制御する。例えば、システム制御機能451は、入力インタフェース43を介し、ログインのためのユーザ情報(例えばユーザID等)、被検体情報等の入力を受け付ける。また、例えば、システム制御機能451は、入力インタフェース43を介し、撮影プロトコルの入力を受け付ける。
前処理機能452は、DAS18から出力された検出データに対して対数変換処理やオフセット処理、チャンネル間の感度補正処理、ビームハードニング補正等の前処理を施したデータを生成する。なお、前処理前のデータ(検出データ)及び前処理後のデータを総称して投影データと称する場合もある。
再構成処理機能453は、後述する医用画像処理装置2から送信される超解像処理の対象となる被検体Pの部位に関する情報に基づいて、前処理機能452により生成された投影データに対して、再構成条件に従ってフィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行って、複数のスライス画像データ(CT画像データ)を生成する。生成されたスライス画像データは、医用画像処理装置2に送信され、医用画像処理装置2で超解像処理が行われる。なお、スライス画像データは、医用画像データの一例である。
また、再構成処理機能453は、医用画像処理装置2から参照用画像データの送信要求を受信した場合、投影データに対して再構成処理を行って参照用画像データを生成する。参照用画像は、超解像処理の対象部位の選択処理を行うために用いられるスライス画像である。参照用画像は、診断に用いるものではないため、低画質の画像であってもよい。生成された参照用画像データは、処理回路45により、医用画像処理装置2に送信される。
画像処理機能454は、入力インタフェース43を介して操作者から受け付けた入力操作に基づいて、医用画像処理装置2から受信した、超解像処理を施したスライス画像データ(以下、超解像スライス画像データともいう)を公知の方法により、任意断面の断層像データや三次元画像データに変換する。なお、三次元画像データの生成は再構成処理機能453が行なってもよい。
なお、後処理は、コンソール装置40又は医用画像処理装置2のどちらで実施することにしても構わない。また、コンソール装置40と医用画像処理装置2の両方で同時に処理することにしても構わない。
ここで定義される後処理とは、医用画像処理装置2から受信した、複数の超解像スライス画像データに対する処理を指す概念である。例えば、後処理は、ノイズの除去、複数の超解像スライス画像のMulti-Planar Reconstruction(MPR)表示、及び、ボリュームデータのレンダリング等を含む処理である。
図1に戻り、医用画像処理装置2について説明する。医用画像処理装置2は、X線CT装置1による被検体Pのスキャンによって生成されるスライス画像データに対して、画質を向上させる超解像処理を行なう装置である。本実施形態では、一例として、X線CT装置1において生成されたスライス画像データに対して、医用画像処理装置2による超解像処理が行なわれる場合について説明する。
医用画像処理装置2は、例えば、図1に示すように、メモリ21、ディスプレイ22、入力インタフェース23及び処理回路24を備える。
メモリ21は、各種の情報を記憶する。メモリ21は、例えば、超解像モデル211を記憶する。超解像モデル211は、例えば、スライス画像データの入力に応じて、超解像スライス画像データを出力するよう機能付けられた学習済みモデルである。なお、超解像モデル211は、ネットワークNWを介して、医用画像処理装置2と接続されたサーバ等の外部装置に記憶されていてもよい。超解像モデル211については、後述する。
また、例えば、メモリ21は、医用画像処理装置2に含まれる回路がその機能を実現するためのプログラムを記憶する。また、例えば、メモリ21は、X線CT装置1から受信したデータ、及び、処理回路24によって生成されたデータを記憶する。
なお、メモリ21は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。また、メモリ21は、医用画像処理装置2とネットワークNWを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
ディスプレイ22は、各種の情報を表示する。例えば、ディスプレイ22は、入力インタフェース23を介してユーザから各種の指示や設定等を受け付けるためのGUI(Graphical User Interface)を表示する。
例えば、ディスプレイ22は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ22は、デスクトップ型でもよいし、医用画像処理装置2本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インタフェース23は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路24に出力する。例えば、入力インタフェース23は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。
なお、入力インタフェース23は、医用画像処理装置2本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース23は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース23は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。
また、入力インタフェース23は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置2とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路24へ出力する電気信号の処理回路も入力インタフェース23の例に含まれる。
処理回路24は、選択機能241、取得機能242、分割機能243、特定機能244及び超解像処理機能245を実行することで、医用画像処理装置2全体の動作を制御する。ここで、取得機能242は、取得部の一例である。また、選択機能241は、選択部の一例である。また、分割機能243及び特定機能244は、特定部の一例である。また、超解像処理機能245は、処理部の一例である。
図1に示す医用画像処理装置2においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ21へ記憶されている。処理回路24は、メモリ21からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路24は、読み出したプログラムに対応する機能を有することとなる。
なお、図1においては単一の処理回路24にて、選択機能241、取得機能242、分割機能243、特定機能244、及び超解像処理機能245が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路24を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路24が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
また、処理回路24は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路24は、メモリ21から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置2とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
選択機能241は、超解像処理の対象となる被検体Pの対象部位をスライス画像データから選択する。具体的には、まず、選択機能241は、参照用画像データの送信要求をX線CT装置1に送信する。次いで、X線CT装置1から参照用画像データを受信する。次いで、選択機能241は、当該参照用画像データをディスプレイ22に出力する。
次いで、選択機能241は、ユーザから対象部位の選択指示の入力を受付ける。図3は、選択処理の一例を示す説明図である。図3の参照用画像データRIは、被検体Pの特定の断面を表すスライス画像データである。ユーザは、選択枠SFを用いて参照画像データRI上の対象部位の選択指示を行う。なお、選択枠SFの位置、大きさ、及び形状等は、ユーザが自由に調整できる。
選択機能241は、ユーザから受け付けた、対象部位の選択指示の入力に従い、対象部位を選択する。例えば、図3では、選択機能241は、選択枠SFで囲われた領域を、対象部位となる選択領域SEとして選択する。
なお、選択機能241は、被検体Pの撮影部位等に基づいて、対象部位を自動的に選択してもよい。この場合、選択機能241は、撮影部位を決定するための撮影された位置決め画像データに基づいて、対象部位を選択する。また、位置決め画像データから複数の対象部位が候補として導出される場合、選択機能241は、ユーザから、複数の候補の何れを対象部位とするかを指示する入力を受付けてもよい。
また、選択機能241は、被検体Pの既往歴に基づいて、対象部位を自動的に選択してもよい。例えば、被検体Pの既往歴に肺疾患が含まれる場合、選択機能241は、肺部を対象部位に選択してもよい。なお、既往歴から複数の対象部位が候補として導出される場合、選択機能241は、ユーザから、複数の候補の何れを対象部位とするかを指示する入力を受付けてもよい。
ユーザの対象部位の選択入力の内容(図2では、選択領域SEの情報)は、処理回路24により、X線CT装置1へ送信される。X線CT装置1の再構成処理機能453は、ユーザの選択入力の内容に基づいて、再構成処理を行い、複数のスライス画像データを生成する。
取得機能242は、処理対象の複数のスライス画像データを取得する。具体的には、取得機能242は、ユーザの対象部位の選択入力の内容に基づいて、X線CT装置1の再構成処理機能453により生成された複数のスライス画像データを取得する。なお、取得機能242は、選択機能241により選択された対象部位が存在する複数のスライス画像データを取得する。
分割機能243は、1のスライス画像データを複数のサブスライス画像データに分割する。サブスライス画像データは、サブデータの一例である。具体的には、分割機能243は、取得機能242により取得された各スライス画像データを複数のサブスライス画像データに分割する。図4は、スライス画像データの分割処理の一例を示す図である。図4に示すように、分割機能243は、スライス画像LIを縦5×横5の格子状の領域に分割する。
このように分割機能243により分割された各領域を表す画像データがサブスライス画像データとなる。図4では、1のスライス画像データから25のサブスライス画像データを生成している。
なお、図4では、分割機能243は、スライス画像LIを縦5×横5の領域に分割しているが、分割の方法はこれに限定されるものではない。例えば、分割機能243は、スライス画像LIを縦2×横2の領域に分割してもよいし、スライス画像LIを縦10×横5の領域に分割してもよい。
特定機能244は、スライス画像データに基づいて、スライス画像データのうち、画質を向上させる超解像処理の対象となる対象領域と超解像処理の対象外となる対象外領域とを特定する。具体的には、特定機能244は、分割機能243により生成された複数のサブスライス画像データについて、サブスライス画像データごとに対象領域と非対象領域とを特定する。
より具体的には、特定機能244は、選択機能241により選択された対象部位と、人体の部位ごとに予め定められた基準特徴量と、サブスライス画像データに含まれる特徴量の分布とに基づいて、対象領域を特定する。なお、特徴量はデータ値の一例である。
特徴量としては、例えば、エッジ量が用いられる。一例として、対象部位が肝臓である場合、特定機能244は、サブスライス画像データのエッジ量を算出し、予め定めた肝臓を表すエッジ量(以下、基準エッジ量ともいう)と比較する。なお、エッジ量は、離散微分した微分値、2次元フーリエ変換した高周波の振幅、フィルタリングにより特徴抽出した値等を用いる既存の手法により算出することができる。
算出したエッジ量と基準エッジ量とが類似する場合、特定機能244は、当該サブスライス画像データが表すスライス画像データ上の特定の領域を対象領域として特定する。一方、算出したエッジ量と基準エッジ量とが類似しない場合、特定機能244は、当該サブスライス画像データが表すスライス画像データ上の特定の領域を対象外領域として特定する。
なお、算出したエッジ量と基準エッジ量とが類似するか否かは、例えば、両者の差分値の閾値を定めること等により判断する。この場合、差分値が閾値未満のとき、特定機能244は、算出したエッジ量と基準エッジ量とが類似すると判断する。一方、差分値が閾値以上のとき、特定機能244は、算出したエッジ量と基準エッジ量とが類似しないと判断する。
また、特定機能244は、スライス画像データを極座標変換した後、距離方向に1次元フーリエ変換し、高周波の振幅が予め定めた閾値以下となる最小の距離で対象領域を特定してもよい。これは、スライス画像の中心に重要な情報が含まれている可能性が高いためである。
なお、上記では特徴量としてエッジ量を用いているが、特徴量は、例えば、CT値等であってもよい。また、例えば、CT値及びエッジ量のように、2つの要素を組み合わせて特徴量として用いてもよい。
特定機能244は、選択機能241により選択された対象部位が存在する複数のスライス画像データについて、対象領域と対象外領域とを特定する処理(以下、単に特定処理ともいう)を行う。なお、特定機能244は、特定処理を行ったスライス画像データに隣接するスライス画像データについては、特定処理を省略してもよい。
これは、例えば、あるスライス画像データに対象領域が含まれる場合、当該スライス画像データに隣接するスライス画像データにも対象領域が含まれる可能性が高いからである。また、特定処理を省略する場合、あるスライス画像データから何枚先のスライス画像データまで特定処理を省略するかを予め定めてもよい。この場合、対象部位によって、省略する枚数を変更してもよい。
なお、特定機能244は、特定処理用の特定処理用画像データを生成してもよい。例えば、特定機能244は、対象部位が判別できる範囲でサブスライス画像データをダウンサンプリングして特定処理用画像データを生成する。ダウンサンプリングした特定処理用画像データを生成することにより、処理回路24の処理負担を軽減させることができる。
また、特定機能244は、エッジを強調した特定処理用画像データを用いて特定処理を行ってもよい。この場合、例えば、X線CT装置1の再構成処理機能453は、サイノグラムに対して、対象部位のエッジ抽出を行い、抽出結果に基づいて、再構成処理を行い、エッジを強調した特定処理用画像データを生成する。エッジが強調されることにより、対象領域の特定がしやすくなる。
超解像処理機能245は、対象領域に関する情報に基づいて、スライス画像データに対して超解像処理を行う。例えば、超解像処理機能245は、超解像モデル211を用いて超解像処理を行う。
ここで、図5を用いて超解像モデル211の生成処理について説明する。図5は、機械学習による超解像モデル211の生成方法の一例を示す説明図である。なお、超解像モデル211は、医用画像処理装置2で生成されてもよいし、医用画像処理装置2以外の外部装置で生成されてもよい。以下、超解像モデル211を生成する装置を学習装置という。
例えば、学習装置は、図5に示すように、入力側教師データである「低画質スライス画像データ」と、出力側教師データである低画質スライス画像データを高画質化した「高画質スライス画像データ」とを学習用データセットとして機械学習エンジンに入力し、機械学習を行う。
ここで、低画質スライス画像データは、例えば、高線量で撮影された高画質スライス画像データを、一旦縮小した後、再度拡大する等の加工を行い低画質化させたものである。なお、低画質スライス画像データの収集方法はこれに限定されるものではない。例えば、被検体Pの同じ部位を低線量と高線量との両方で撮影し、低線量で撮影されたスライス画像データを低画質スライス画像データとしてもよい。
なお、機械学習エンジンとしては、例えば、公知である非特許文献「クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290」に記載のニューラルネットワーク(Neural Network)等を適用することができる。
また、機械学習エンジンについては、上記したニューラルネットワークの他、例えば、ディープラーニングや、ロジスティック(Logistic)回帰分析、非線形判別分析、サポートベクターマシン(Support Vector Machine:SVM)、ランダムフォレスト(Random Forest)、ナイーブベイズ(Naive Bayes)等の各種のアルゴリズムを用いるものでもよい。
上述の学習装置で生成された超解像モデル211は、スライス画像データ(低画質スライス画像データ)の入力に応じて、超解像スライス画像データ(高画質スライス画像データ)を出力するように機能付けられる。
図6は、超解像モデル211の入出力イメージの一例を示す図である。図6に示すように、超解像モデル211は、スライス画像データの入力に応じて、スライス画像データを高画質化した超解像スライス画像データを出力する。超解像処理機能245は、この超解像モデル211を用いて超解像処理を行う。
まず、超解像処理機能245は、サブスライス画像データから、対象領域として特定された領域をクロッピングした画像データを超解像モデル211に入力する。超解像処理機能245は、超解像モデル211から出力された超解像画像データを取得する。
なお、この例では、サブスライス画像データから、対象領域として特定された領域をクロッピングしたサブスライス画像データを超解像モデル211に入力しているが、対象領域として特定された領域を極座標変換した情報を超解像モデル211に入力してもよい。この場合の超解像モデル211は、例えば、極座標変換した結果を入力側教師データとして学習された学習済みモデルである。
次いで、超解像処理機能245は、超解像モデル211に入力しなかった領域(サブスライス画像データ上のクロッピングされた領域以外の領域)を表す画像データと、超解像モデル211から出力された超解像画像データとをマージし、超解像サブスライス画像データを生成する。
次いで、超解像処理機能245は、対象領域として特定された領域を含む全てのサブスライス画像データに対して同様の処理を行う。そして、生成された全ての超解像サブスライス画像データと、対象領域として特定された領域を含まない全てのサブスライス画像データとをマージして、超解像スライス画像データを生成する。生成された超解像スライス画像データは、X線CT装置1に送信され、X線CT装置1で後処理が行われる。
なお、超解像モデル211が外部装置に記憶されている場合、超解像処理機能245は、当該外部装置に、対象領域として特定された領域を表すサブスライス画像データを送信する。そして、超解像モデル211から出力された超解像サブスライス画像データを外部装置から取得する。この場合、超解像処理機能245は、超解像モデル211を記憶する外部装置に対して、スライス画像データの対象領域に関する情報を出力することになるため、出力部の一例であるといえる。
また、医用画像処理装置2に超解像モデル211が記憶されている場合も、超解像処理機能245は、超解像モデル211に対して、スライス画像データの対象領域に関する情報を出力しているともいえるため、この場合も超解像処理機能245は、出力部の一例であるといえる。
次に、医用画像処理装置2が実行する処理について説明する。図7は、医用画像処理装置2が実行する処理の一例を示すフローチャートである。
まず、選択機能241は、超解像処理の対象部位を選択する(ステップS1)。具体的には、選択機能241は、X線CT装置1から参照用画像データを取得する。選択機能241は、当該参照用画像データを用いて、ユーザから対象部位の選択入力を受付ける。次いで、選択機能241は、ユーザから受け付けた対象部位の選択入力の内容をX線CT装置1へ送信する(ステップS2)。
対象部位の選択入力の内容を受信したX線CT装置1は、対象部位の選択入力の内容に基づいて、投影データにして再構成処理を実行し、複数のスライス画像データを生成する。生成された複数のスライス画像データは、X線CT装置1の処理回路45により、医用画像処理装置2に送信される。
次いで、取得機能242は、処理対象の複数のスライス画像データを取得する(ステップS3)。具体的には、取得機能242は、X線CT装置1から送信される、対象部位を含む複数のスライス画像データを取得する。次いで、分割機能243は、スライス画像データをサブスライス画像データに分割する(ステップS4)。具体的には、分割機能243は、スライス画像を格子状に分割し、分割された各領域を表す画像をサブスライス画像とする。
次いで、特定機能244は、各サブスライス画像データについて、対象領域と対象外領域とを特定する。具体的には、特定機能244は、選択機能241により選択された対象部位と、人体の部位ごとに予め定められた基準エッジ量と、に基づいて、対象領域と対象外領域とを特定する。そして、特定機能244は、各サブスライス画像データが対象領域として特定された領域を含むか否かを判定する(ステップS5)。
特定機能244により、対象領域として特定された領域を含まないと判定された場合(ステップS5:No)、ステップS8の処理に移行する。一方、特定機能244により、対象領域として特定された領域を含むと判定された場合(ステップS5:Yes)、超解像処理機能245は、当該サブスライス画像データの対象領域として特定された領域をクロッピングした画像データを超解像モデル211に入力する(ステップS6)。
次いで、超解像処理機能245は、超解像サブスライス画像データを生成する(ステップS7)。具体的には、超解像処理機能245は、超解像モデル211から出力された超解像画像データを取得する。そして、超解像処理機能245は、超解像画像データと、対象外領域を表す画像データとをマージすることで、対象領域が高解像度化された超解像サブスライス画像データを生成する。
次いで、超解像処理機能245は、特定処理を行っていない(未処理の)サブスライス画像データの有無を確認する(ステップS8)。未処理のサブスライス画像データが存在する場合(ステップS8:Yes)、ステップS5の処理に移行する。
一方、未処理のサブスライス画像データが存在しない場合(ステップS8:No)、超解像処理機能245は、生成した全ての超解像サブスライス画像データと、対象外領域として特定された領域のみを含む全てのサブスライス画像データとをマージし、超解像スライス画像データを生成する(ステップS9)。超解像処理機能245は、当該超解像スライス画像データをX線CT装置1へ送信し、本処理を終了する(ステップS10)。
以上に述べた実施形態に係る医用画像処理装置2は、処理対象となるスライス画像データを取得し、当該スライス画像データのうち、超解像処理の対象となる対象領域と、超解像処理の対象外となる対象外領域とを特定し、特定された対象領域に関する情報を出力する。
これにより、対象領域を特定し、対象領域に関する情報を出力することができるため、対象外の領域に対して超解像処理が行われることがなくなる。したがって、超解像処理にかかる時間を短縮することができる。つまり、本実施形態に係る医用画像処理装置2によれば、医用画像の超解像処理の効率を向上させることができる。
また、本実施形態に係る医用画像処理装置2は、出力された対象領域に関する情報に基づいて、スライス画像データに対して超解像処理を行う。これにより、外部装置とのデータの送受信回数を減少させることができる。したがって、より医用画像の超解像処理の効率を向上させることができる。
また、本実施形態に係る医用画像処理装置2は、超解像処理の対象となる被検体Pの部位である対象部位を選択する。これにより、例えば、診断の対象外となる被検体Pの部位については、超解像処理を行わないようにすることができる。したがって、医用画像の超解像処理の効率を向上させることができる。
また、本実施形態に係る医用画像処理装置2は、ユーザの選択指示に従い、前対象部位を選択してもよい。これにより、ユーザが指示した被検体Pの部位のみについて、超解像処理を行うことができる。
また、本実施形態に係る医用画像処理装置2は、位置決め撮影により生成される位置決め画像データに基づいて、対象部位を選択してもよい。これにより、対象部位を選択しなくても自動的に対象部位が選択されるため、ユーザの負担を軽減することができる。
また、本実施形態に係る医用画像処理装置2は、被検体Pに過去の既往歴がある場合、当該既往歴に基づいて、対象部位を選択してもよい。これにより、例えば、過去に診断の対象となった被検体Pの部位が自動的に対象部位として選択されるため、ユーザの負担を軽減することができる。
また、本実施形態に係る医用画像処理装置2は、予め定めた対象部位を表す特徴量の基準値と、スライス画像データに含まれる特徴量の分布に基づいて、対象領域を特定する。これにより、対象領域を正確に特定することができる。そして、対象領域を正確に特定することで、超解像処理が不要な領域に対して超解像処理を行うことがなくなり、医用画像の超解像処理の効率を向上させることができる。
また、本実施形態において、特徴量は、少なくともCT値及びエッジ量の何れか1つを含んでいる。これにより、CT値やエッジ量といった既存のデータ値を算出することで、対象領域を正確に特定することができる。
また、本実施形態に係る医用画像処理装置2は、スライス画像データを複数のサブスライス画像データに分割し、当該複数のサブスライス画像データに基づいて、対象領域を特定する。これにより、1回1回の特定処理を行う領域が小さくなるため、処理負担を軽減することができる。
なお、上述した実施形態は、各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
(変形例1)
上述の実施形態においては、医用画像診断装置1が、X線CT装置である場合を例として説明したが、これに限定されるものではない。医用画像診断装置1は、例えば、MRI(Magnetic Resonance Imaging)装置、アンギオ-CTシステム、トモシンセシス装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等であってもよい。
本変形例によれば、X線CT装置に限らず、低画質で撮影された医用画像データを高画質化することができる。これにより、医用画像の撮影によって被検体Pにかかる負担を軽減することができる。
(変形例2)
上述の実施形態においては、X線CT装置1のコンソール装置40とは別体の情報処理装置を医用画像処理装置2とする形態について説明した。しかしながら、コンソール装置40が、医用画像処理装置2が備える機能構成を備えていてもよい。本変形例によれば、1つの装置で再構成処理や超解像処理等の処理を行うことができるため、医用画像の超解像処理の効率を向上させることができる。
(変形例3)
上述の実施形態においては、選択機能241により選択された対象部位以外の領域や空気を表す空気領域についても特定処理を行う形態について説明した。しかしながら、対象部位以外の領域や空気領域をマスクし、マスクした領域(以下、マスク領域ともいう)については特定処理を省略してもよい。
図8は、変形例3に係る医用画像処理システムSの構成の一例を示すブロック図である。図8に示すように、変形例3に係る医用画像処理装置2は、マスク機能246を機能部として備える。また、図8の例では、医用画像処理装置2は、分割機能243を備えていない。
マスク機能246は、スライス画像データ上の対象部位以外の領域や空気領域をマスクする。例えば、マスク機能246は、選択機能241により選択された対象部位をクロッピングし、クロッピングされた領域以外の領域をマスク領域として設定する。
また、マスク機能246は、スライス画像データを構成する各画素のCT値に基づいて、空気領域を検出する。これは、スライス画像において、空気は黒く描画されるためである。したがって、CT値の閾値を定めることにより、閾値未満のCT値を示す領域を空気領域として検出することができる。そして、マスク機能246は、検出した空気領域をマスク領域として設定する。以下、図9を用いてマスク処理について説明する。
図9は、マスク処理の一例を示す図である。まず、マスク機能246は、スライス画像データLIから選択機能241により選択された選択領域SEをクロッピングする。これにより、スライス画像データLIは、選択領域SE以外の領域を表す画像データである対象部位外画像データMIとクロッピング画像データCLとに分割される。マスク機能246は、対象部位外画像データMI全体をマスク領域MEとして設定する。
また、マスク機能246は、クロッピング画像データCLから空気領域を検出する。なお、図9では、クロッピング画像データCLに空気領域は存在しないが、空気領域がある場合、マスク機能246は、当該空気領域をマスクして、マスク領域を設定する。
次に、本変形例における超解像処理について、図10を用いて説明する。図10は、変形例3に係る超解像処理の概要の一例を示す図である。まず、特定機能244は、クロッピング画像データCLについて、対象領域を特定する。超解像処理機能245は、対象領域として特定された領域をクロッピングして、超解像モデル211に入力する。
超解像処理機能245は、超解像モデル211から出力された超解像画像データと、対象領域として特定された領域を含まない領域を表す画像データとをマージして、超解像クロッピング画像データCHを生成する。超解像処理機能245は、マスク領域MEが設定された対象部位外画像データMIと、超解像クロッピング画像データCHとをマージして超解像スライス画像データCIを生成する。
なお、クロッピング画像データCL上にマスク領域MEが設定されている場合、超解像処理機能245は、クロッピング画像データCLからのマスク領域MEを除いて、超解像モデル211に入力して超解像処理を行う。この場合は、クロッピング画像データCLのマスク領域MEを表す画像データと、対象部位外画像データMIと、マスク領域MEが除かれた超解像クロッピング画像データCHとをマージして超解像スライス画像データCIを生成する。
なお、この例では、スライス画像データをサブスライス画像データに分割する分割処理を行っていないが、上述したマスク処理を分割処理と併せて行ってもよい。この場合、スライス画像データをサブスライス画像データに分割した後、マスク機能246は、サブスライス画像データから選択機能241により選択された対象部位を含む領域をクロッピングし、サブスライス画像データにマスク領域を設定する。
また、マスク機能246は、クロッピングした対象部位を含む領域について、空気領域を検出し、マスク領域を設定する。その後、特定機能244及び超解像処理機能245は、サブスライス画像データごとに、対象領域の特定処理及び超解像処理を行う。
次に、本変形例に係る医用画像処理装置2が実行する処理について説明する。図11は、変形例3に係る医用画像処理装置2が実行する処理の一例を示すフローチャートである。なお、ステップS11乃至ステップS13については、図7のステップS1乃至ステップS3と同様の処理のため、説明を省略する。
スライス画像データの取得後、マスク機能246は、スライス画像データについて、マスク領域を設定する(ステップS14)。具体的には、マスク機能246は、選択機能241により選択された対象部位をクロッピングし、クロッピングされた領域以外の領域をマスク領域として設定する。さらに、マスク機能246は、スライス画像データを構成する各画素のCT値に基づいて、スライス画像データから空気領域を検出し、当該空気領域をマスク領域として設定する。
次いで、特定機能244は、スライス画像データにおけるマスク領域以外の領域について、対象領域と対象外領域とを特定する。具体的には、特定機能244は、スライス画像データにおけるマスク領域以外の領域について、選択機能241により選択された対象部位と、人体の部位ごとに予め定められた基準エッジ量と、に基づいて、対象領域と対象外領域とを特定する。
そして、特定機能244は、スライス画像データにおけるマスク領域以外の領域が対象領域として特定された領域を含むか否かを判定する(ステップS15)。対象領域として特定された領域を含まないと判定された場合(ステップS15:No)、ステップS18の処理に移行する。
一方、特定機能244により、対象領域として特定された領域を含むと判定された場合(ステップS15:Yes)、超解像処理機能245は、スライス画像データにおけるマスク領域以外の領域から対象領域として特定された領域をクロッピングした、クロッピング画像データを超解像モデル211に入力する(ステップS16)。
次いで、超解像処理機能245は、超解像モデル211から出力された超解像クロッピング画像データを取得する(ステップS17)。そして、超解像処理機能245は、マスク領域を表す画像データと、超解像クロッピング画像データとをマージすることで、対象領域が高解像度化された超解像スライス画像データを生成する(ステップS18)。次いで、超解像処理機能245は、当該超解像スライス画像データをX線CT装置1へ送信し、本処理を終了する(ステップS19)。
本変形例に係る医用画像処理装置2によれば、マスク領域を除いた領域をスライス画像データからクロッピングすることで、特定処理を高速化させることができる。つまり、医用画像の超解像処理の効率を向上させることができる。
(変形例4)
上述の実施形態においては、1の超解像モデル211を用いて超解像処理を行う形態について説明した。しかしながら、超解像処理の対象となる部位ごとに異なる超解像モデルを用いて超解像処理を行ってもよい。この場合、超解像処理機能245は、対象部位が肺臓の場合は、肺臓用の超解像モデルを用いて、対象部位が心臓の場合は、心臓用の超解像モデル・・・といったように、対象部位に対応する超解像モデルを用いて超解像処理を行う。
例えば、肺臓用の超解像モデルは、「肺臓が撮影された低画質スライス画像データ」を入力側教師データ、「肺臓が撮影された高画質スライス画像データ」を出力側教師データとした機械学習により生成される学習済モデルである。肺臓用の超解像モデルは、肺臓が撮影されたスライス画像データのみを用いて機械学習が行われるため、肺臓が撮影されたスライス画像データを高画質化するのに適した超解像モデルが生成される。
本変形例では、例えば、特定機能244は、エッジ量に基づいて、スライス画像データ内に存在する部位(肺臓、心臓、肝臓等)を特定する。そして、超解像処理機能245は、特定した部位に対応する超解像モデルを用いて超解像処理を行う。
本変形例に係る医用画像処理装置2によれば、スライス画像データごとに最適な超解像モデルを用いて超解像処理を行うことができる。また、1のスライス画像データに複数の部位が存在する場合、夫々の部位について、最適な超解像モデルを用いて超解像処理を行うことができる。
(変形例5)
上述の実施形態においては、対象領域と対象外領域とを特定する形態について説明した。しかしながら、例えば、第1処理の対象となる第1処理対象領域、第2処理の対象となる第2処理対象領域、及び対象外領域のように、複数の領域を特定し、夫々の領域に対応する処理を行ってもよい。ここで、第2処理は、第1処理よりも処理回路24への負担が小さい処理であるものとする。
本変形例では、例えば、特定機能244は、選択機能241により選択された対象部位と、スライス画像データから算出したエッジ量とに基づいて、第1処理対象領域、第2処理対象領域、及び対象外領域を特定する。具体的には、対象部位を表す基準エッジ量と、スライス画像データから算出したエッジ量との差分値について、第1閾値及び第2閾値(ただし、第1閾値<第2閾値とする)を予め定める。
そして、特定機能244は、差分値<第1閾値となる領域を第1処理領域、第1閾値≦差分値≦第2閾値となる領域を第2処理領域、差分値>第2閾値となる領域を対象外領域として特定する。次いで、超解像処理機能245は、第1処理対象領域に対しては、第1処理を、第2処理対象領域に対しては第2処理を行う。なお、超解像処理機能245は、対象外領域に対しては何の処理も行わない。
なお、この例では、特定機能244は、第1処理対象領域、第2処理対象領域、及び対象外領域を特定しているが、4つ以上の領域を特定してもよい。例えば、特定機能244は、第1処理対象領域、第2処理対象領域、第3処理の対象となる第3処理対象領域、及び対象外領域を特定してもよい。ここで、第3処理は、第2処理よりも処理回路24への負担が小さい処理であるものとする。
本変形例に係る医用画像処理装置2によれば、負担が重い処理が必要な領域については重い処理を、そこまで重い処理が必要でない領域については軽い処理を行うことができるため、処理速度を向上させることができる。また、超解像処理を行う領域と行わない領域との2つを特定し、超解像処理を行った場合、ユーザは、例えば、両領域の境界付近等の領域に違和感を覚える可能性がある。しかしながら、本変形例のように軽い処理を行う対象となる領域を特定することで、上記の違和感を軽減させる効果が期待できる。
以上説明した少なくとも実施形態及び変形例等によれば、医用画像の超解像処理の効率を向上させることができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD),及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。
プロセッサはメモリ41に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ41にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 X線CT装置
2 医用画像処理装置
10 架台装置
11 X線管
12 X線検出器
13 回転フレーム
14 X線高電圧装置
15 制御装置
16 ウェッジ
17 コリメータ
18 DAS(Data Acquisition System)
19 撮影系
21 メモリ
22 ディスプレイ
23 入力インタフェース
24 処理回路
241 選択機能
242 取得機能
243 分割機能
244 特定機能
245 超解像処理機能
246 マスク機能
30 寝台装置
31 基台
32 寝台駆動装置
33 天板
34 支持フレーム
40 コンソール装置
41 メモリ
42 ディスプレイ
43 入力インタフェース
45 処理回路
451 システム制御機能
452 前処理機能
453 再構成処理機能
454 画像処理機能

Claims (12)

  1. 処理対象の医用画像データを取得する取得部と、
    前記医用画像データに基づいて、前記医用画像データのうち、画質を向上させる超解像処理の対象となる対象領域と前記超解像処理の対象外となる対象外領域とを特定する特定部と、
    前記医用画像データの前記対象領域に関する情報を出力する出力部と、
    を備える医用画像処理装置。
  2. 前記出力部が出力する前記対象領域に関する情報に基づいて、前記医用画像データに対して前記超解像処理を行う処理部を更に備える、
    請求項1に記載の医用画像処理装置。
  3. 前記超解像処理の対象となる被検体の対象部位を前記医用画像データから選択する選択部を更に備え、
    前記特定部は、前記対象部位が含まれるか否かに基づいて、前記対象領域と前記対象外領域とを前記医用画像データから特定する、
    請求項1又は2に記載の医用画像処理装置。
  4. 前記選択部は、ユーザから指示された部位を前記対象部位として選択する、
    請求項3に記載の医用画像処理装置。
  5. 前記選択部は、前記被検体の撮影部位に基づいて前記対象部位を選択する、
    請求項3又は4に記載の医用画像処理装置。
  6. 前記選択部は、前記被検体の既往歴に基づいて前記対象部位を選択する、
    請求項3乃至5の何れか1項に記載の医用画像処理装置。
  7. 前記特定部は、予め定めた前記対象部位を表すデータ値の基準値と、前記医用画像データに含まれるデータ値の分布に基づいて、前記対象領域を特定する、
    請求項3乃至6の何れか1項に記載の医用画像処理装置。
  8. 前記データ値は、少なくとも画素値又はエッジ量の何れか1つを含む、
    請求項7に記載の医用画像処理装置。
  9. 前記特定部は、前記医用画像データを複数のサブデータに分割し、当該複数のサブデータに基づいて前記対象領域を特定する、
    請求項1乃至8の何れか1項に記載の医用画像処理装置。
  10. 前記特定部は、前記複数のサブデータに含まれるデータ値の分布に基づいて、前記対象領域を特定する、
    請求項9に記載の医用画像処理装置。
  11. 医用画像処理装置による医用画像処理方法であって、
    処理対象の医用画像データを取得する取得ステップと、
    前記医用画像データに基づいて、当該医用画像データのうち、前記医用画像データの画質を向上させる超解像処理の対象となる対象領域と超解像処理の対象外となる対象外領域とを特定する特定ステップと、
    特定された前記対象領域に関する情報を出力する出力ステップと、
    を含む医用画像処理方法。
  12. 医用画像処理装置のコンピュータに、
    処理対象の医用画像データを取得する取得ステップと、
    前記医用画像データに基づいて、前記医用画像データのうち、画質を向上させる超解像処理の対象となる対象領域と前記超解像処理の対象外となる対象外領域とを特定する特定ステップと、
    前記医用画像データの前記対象領域に関する情報を出力する出力ステップと
    を実行させるプログラム。
JP2021188179A 2021-11-18 2021-11-18 医用画像処理装置、医用画像処理方法及びプログラム Pending JP2023074958A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021188179A JP2023074958A (ja) 2021-11-18 2021-11-18 医用画像処理装置、医用画像処理方法及びプログラム
US18/053,879 US20230153945A1 (en) 2021-11-18 2022-11-09 Medical image processing apparatus, medical image processing method, and storage medium
CN202211458572.5A CN116137028A (zh) 2021-11-18 2022-11-17 医用图像处理装置、医用图像处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021188179A JP2023074958A (ja) 2021-11-18 2021-11-18 医用画像処理装置、医用画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023074958A true JP2023074958A (ja) 2023-05-30

Family

ID=86323698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021188179A Pending JP2023074958A (ja) 2021-11-18 2021-11-18 医用画像処理装置、医用画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230153945A1 (ja)
JP (1) JP2023074958A (ja)
CN (1) CN116137028A (ja)

Also Published As

Publication number Publication date
CN116137028A (zh) 2023-05-19
US20230153945A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
US10307129B2 (en) Apparatus and method for reconstructing tomography images using motion information
US10628972B2 (en) Diagnostic imaging method and apparatus, and recording medium thereof
US10143433B2 (en) Computed tomography apparatus and method of reconstructing a computed tomography image by the computed tomography apparatus
US10339675B2 (en) Tomography apparatus and method for reconstructing tomography image thereof
JP2020127635A (ja) 医用処理装置、x線ctシステム及び処理プログラム
JP6466057B2 (ja) 医用画像診断装置
JP2020099409A (ja) 医用画像処理装置、医用画像診断装置、及び医用画像処理方法
JP7462433B2 (ja) 医用診断システム、医用診断装置、および医用情報処理装置
JP2023074958A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7362322B2 (ja) X線ctシステム及び医用処理装置
JP2018064715A (ja) 医用画像診断装置
EP3773214A1 (en) Cross directional bilateral filter for ct radiation dose reduction
JP7437887B2 (ja) 医用情報処理装置及びx線ct装置
US20220383501A1 (en) Medical information display apparatus, medical image processing apparatus, medical information display method, and computer program product
US20220287667A1 (en) Medical image processing apparatus, x-ray ct apparatus, method of medical image processing, and computer program product
WO2024062894A1 (ja) 医用画像処理装置およびその制御方法、医用画像処理プログラム
JP7166870B2 (ja) 画像処理装置及び医用画像撮像装置
EP4092617A2 (en) Medical information processing method and medical image processing apparatus
JP2023055322A (ja) 機械学習モデル評価装置、機械学習モデル評価方法、及びプログラム
JP7179497B2 (ja) X線ct装置及び画像生成方法
JP2024039641A (ja) 医用情報定量化装置、医用情報定量化方法、医用情報定量化プログラム及び医用画像診断装置
US10165989B2 (en) Tomography apparatus and method of reconstructing cross-sectional image
JP2021074378A (ja) 医用処理システム及びプログラム
JP2022172743A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP6815074B2 (ja) X線ct装置及び画像処理装置