JP2021006247A - 医用画像結像方法及びシステム - Google Patents

医用画像結像方法及びシステム Download PDF

Info

Publication number
JP2021006247A
JP2021006247A JP2020103470A JP2020103470A JP2021006247A JP 2021006247 A JP2021006247 A JP 2021006247A JP 2020103470 A JP2020103470 A JP 2020103470A JP 2020103470 A JP2020103470 A JP 2020103470A JP 2021006247 A JP2021006247 A JP 2021006247A
Authority
JP
Japan
Prior art keywords
image
original image
network
processing
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020103470A
Other languages
English (en)
Other versions
JP7080924B2 (ja
Inventor
デジュン・ワン
Dejun Wang
ヤーン・ゲ
Yaan Ge
ヤン・スン
Yan Sun
ブウア・チ
Buer Qi
フアンジョン・リ
Huanzhong Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of JP2021006247A publication Critical patent/JP2021006247A/ja
Application granted granted Critical
Publication of JP7080924B2 publication Critical patent/JP7080924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

【課題】本願は医用画像結像方法及びシステムと、非一時的なコンピュータ読み取り可能な記憶媒体とを提供している。【解決手段】前記医用画像結像方法は、X線画像結像システムが収集した原画像を取得することと、トレーニングされたネットワークに基づき、原画像に後処理を施し、処理後の最適化画像を得ることとを含む。【選択図】図6

Description

本発明は医用画像結像技術に関し、より具体的には医用画像結像方法及びシステム、並びに非一時的なコンピュータ読み取り可能な記憶媒体に関する。
X線画像結像システムにおいては、供給源からの放射線を被験者に照射するが、当該被験者は通常医学診断応用における患者である。放射線の一部は前記患者を通過し、かつ、検出器に衝撃を与え、当該検出器は離散素子(例えば、画素)のマトリクスに区分される。検出器素子を読み取って衝撃を受けた各画素領域の放射線の数量または強度に基づき出力信号を生成する。次いで、前記信号を処理して、表示可能な検視用の医用画像を生成することができ、当該医用画像はX線画像結像システムの表示装置中に表示することができる。
検出器が収集した信号に基づき得られる医用画像の画像品質はあまり理想的ではないため、通常は当該医用画像に後処理(例えば、ノイズ低減、細部補正、コントラストの調整など)を施して、画像の品質を高める必要があるが、この過程においては、画像処理パラメータの間に相互依存性が存在しているため、ある1つの項目の後処理パラメータの調整がその他項目の後処理の効果に影響を及ぼし、例えば、コントラストパラメータに基づき医用画像のコントラストを調整すると、当該パラメータの調整が医用画像の細部に影響を及ぼす可能性があり(例えば、ある種の鍵となる細部が曖昧となる)、相応に、医用画像の背景ノイズに対する処理も医用画像の細部(コントラストまたはその他の面)に影響を及ぼす可能性があるため、各後処理過程における相応のパラメータを調節することにより比較的理想的な最適化画像を得ることは、繰り返し試みる必要があり、かつ、比較的困難である。
本発明では、医用画像結像方法及びシステム、並びに非一時的なコンピュータ読み取り可能な記憶媒体が提供されており、当該画像結像方法は、ディープラーニング技術に基づきネットワークを構築及びトレーニングしており、X線画像結像システムが収集した原画像をネットワーク中に入力することにより、後処理が施された後の最適化画像を得る(出力)することができ、当該最適化画像はコントラスト、細部補正、ノイズ低減などの面においていずれも非常に良好な結果を示している。
本発明の例示的な実施例では、医用画像結像方法が提供されており、前記方法は、X線画像結像システムが収集した原画像を取得することと、トレーニングされたネットワークに基づき、前記原画像に後処理を施して、処理後の最適化画像を得ることとを含む。
本発明の例示的な実施例では、更に、コンピュータプログラムを記憶するための非一時的なコンピュータ読み取り可能な記憶媒体が提供されており、前記コンピュータプログラムは、コンピュータにより実行されると、コンピュータに上記の医用画像結像方法に用いられる指令を実行させる。
本発明の例示的な実施例では、更に、医用画像結像システムが提供されており、前記システムは、制御モジュール及び後処理モジュールを含む。前記制御モジュールは、X線画像結像システムが収集した原画像を取得するために用いられ、前記後処理モジュールは、トレーニングされたネットワークに基づき、前記原画像に後処理を施して、処理後の最適化画像を得るために用いられる。
以下の詳細な記述、添付図面及び請求項を通して、その他の特徴及び方面が明確になるはずである。
添付図面を結合して本発明の例示的な実施例について記述することにより、本発明をより良好に理解することが可能となる。添付図面において、
本発明の一連の実施例におけるX線画像結像システムの概略図である。 本発明の一連の実施例における医用画像結像システムの概略図である。 本発明の一連の実施例における最適化過程の概略図である。 本発明の一連の実施例におけるネットワークの概略図である。 図2に示されている医用画像結像システムにおける表示モジュールの画像表示インターフェイスの概略図である。及び、 本発明の一連の実施例における医用画像結像方法の流れ図である。
以下においては本発明の具体的な実施形態について記述するが、ここで指摘すべきは、それら実施形態の具体的な記述過程においては、簡明かつ要点を明確に記述するため、本明細書では実際の実施形態におけるすべての特徴についていずれも詳細に記述することは不可能である点である。従って、任意の実施形態の実際の実施過程において、正に任意1つの工事プロジェクトまたは設計プロジェクトの過程においては、開発者の具体的な目標を実現するために、システム関連またはビジネス関連の制限を満足するために、常に各種各様の具体的な方針が下され、それにより1つの実施形態から他の実施形態への変化が生じる点を理解すべきである。また、更に、この種の開発過程において費やされた努力はおそらく複雑かつ冗長であるが、本発明で公開されている内容に関連する当業者に対して述べると、本公開で開示されている技術的内容を基礎として実施する一連の設計、製造または生産などの変更は通常の技術的手段に過ぎないと理解すべきであり、本公開の内容が不十分であると理解すべきではない。
別途定義されていない限り、特許請求の範囲及び明細書中で使用されている技術用語または科学用語は、本発明が属する技術分野内における一般の技術者が理解する通常の意味でなければならない。本発明特許出願の明細書及び特許請求の範囲中で使用する「第1」、「第2」及び類似した用語は、何らかの順序、数量または重要性を示しているものではなく、異なる構成部分を区別するためのものに過ぎない。「1つ」または「1」などの類似した用語は、数量の制限は示しておらず、少なくとも1つが存在することを示している。「含む」、「包含する」などの類似した用語は、「含む」または「包含する」の前に出現した要素または対象が「含む」または「包含する」の後に列挙されている要素または対象及びその等価な要素をカバーしていることを指しており、その他の要素または対象を排除するものではない。「接続する」、「接続される」などの類似した用語は、物理的または機械的な接続に限定されず、また直接的ないしは間接的な接続にも限定されない。
X線画像結像システムにおいては、後処理過程における各調節パラメータの間の相互影響により、ある1つのパラメータがその他の後処理過程に影響を及ぼすため、本発明の一連の実施例における医用画像結像方法及びシステムは、ディープラーニング技術に基づきX線画像結像システムで得られた原画像に後処理を施し、後処理後の最適化画像を直接取得することができ、それに基づき、後処理過程におけるパラメータ調節の難度及び調節する時間が低減されるばかりではなく、後処理後に得られる最適化画像の画像品質も向上しており、また、異なるユーザ(例えば、医師)の嗜好に応じて異なる学習ネットワークをトレーニングするとともに、ユーザの指令応じてネットワークの選択を行うことにより、異なるスタイル(つまり異なるユーザの嗜好)の最適化画像を得ることができる。ここで指摘すべきは、本分野または関連分野の一般的な技術者の角度から見て、このような記述は本発明をデジタルX線画像結像システム中に制限するものであると理解すべきではなく、実際に、このように記述されている医用画像結像方法及びシステムは医療分野及び非医療分野におけるその他の画像結像分野、例えば、CTシステム、MRシステム、PETシステム、SPECTシステムまたはそれらの任意の組合せに合理的に応用することができる点である。
図1には本発明の一連の実施例に基づくX線画像結像システム100が示されている。図1に示すように、X線画像結像システム100は、X線源104、検出器106、及び制御サブシステム108を含む。一連の実施例において、前記X線画像結像システム100は、固定X線画像結像室中に設置される固定X線画像結像システムとしてもよく、移動X線画像結像システムとしてもよい。
X線源104は、被検出対象102中の所期の関心領域(ROI)にX線114を投射することができる。具体的には、X線源104はコリメータ116に近接して位置決めすることができ、コリメータ116はX線114を被検出対象102中の所期のROIに位置合わせするために用いられる。X線114の少なくとも一部は被検出対象102を通過して減衰し、かつ、検出器106上に入射することができる。
検出器106は、検出器パネルアレイを含み、それは光を検知するフォトダイオード及びスイッチングする薄膜電界効果トランジスタ(FET)の画素アレイを含み、フォトンを電気信号に変換する。フォトダイオード及びFETの画素アレイ上に堆積されたシンチレータ材料は、シンチレータ材料表面上で受信した入射X線が放射したフォトンを比較的低エネルギのフォトンに変換する。上記文章で言及されている通り、フォトダイオード及びFETの画素アレイはフォトンを電気信号に変換する。代替候補として、検出器パネルアレイはX線フォトンを電気信号に直接変換することができる。それらの電気信号は検出器パネルアレイインターフェイス(それはデジタル信号を提供する)からコンピューティング装置120に与えられて、画像データに変換され、かつ、被検出対象102の医用画像を再構築する。一連の実施例において、検出器106は、光変換、直接変換及び/またはその他任意の適当な検出技術を使用して、入射X線114を電気信号に変換するように配置することができる。一連の実施例において、検出器106は、通信リンク112と無線通信するための無線通信インターフェイス及び有線通信インターフェイスを含み、制御サブシステム108と無線及び/または有線通信するために用いられ、無線通信インターフェイスは、任意の好適な無線通信プロトコル、例えば、超広帯域(UWB)通信規格、ブルートゥース通信規格または任意のIEEE 802.11通信規格を利用することができる。
検出器106は、更に、有線または無線接続を経由して未処理または部分的に処理された画像データをワークステーションまたはポータブル式検出器制御装置に伝送するか、または処理されたX線画像をプリンタに伝送して画像のコピーを生成するように配置することができる。ポータブル式検出器制御装置は、携帯情報端末(PDA)、パームトップコンピュータ、ラップトップコンピュータ、スマートフォン、例えばiPadTMなどのフラットパネルコンピュータまたは任意の好適な汎用もしくは専用のポータブル式インターフェイス装置を含むことができる。ポータブル式検出器制御装置は、ユーザが所持しかつ検出器106と無線通信するように配置される。検出器及びポータブル式検出器制御装置は、任意の好適な無線通信プロトコル、例えば、IEEE 802.15.4プロトコル、UWB通信規格、ブルートゥース通信規格または任意のIEEE 802.11通信規格を利用することができる点に注意すること。代替候補として、ポータブル式検出器制御装置は、検出器106に連結または着脱可能に連結して有線接続を経由して通信するように配置することができる。
制御サブシステム108は、ソースコントローラ(図示せず)及び検出器コントローラ(図示せず)を含む。ソースコントローラは、X線源104に画像を露光するためのX線114を発するように命令するために用いられる。検出器コントローラは、各種検出器機能の制御の協調を図るために用いられ、例えば、各種信号処理及びフィルタリング機能を実行することができ、具体的には、動的範囲の初期調整、デジタル画像データのインターリーブなどに用いられる。一連の実施例において、制御サブシステム108は、X線放射源104及び検出器106の操作を制御するためのパワー及びタイミング信号を提供することができる。確実に述べると、制御サブシステム108は、それぞれ電源110及び1つまたは複数の有線及び/または無線通信リンク112を使用することによりX線放射源104及び/または検出器106にパワー及びタイミング信号を提供することができ、通信リンク112は、バックプレーンバス、ローカルエリアネットワーク、ワイドエリアネットワーク及び/またはインターネットなどに対応可能である。一連の実施例において、電源110は1つまたは複数の電池を含み、また、図1には電源110とX線源104とが通信リンクを介して接続されると示されているが、当業者であれば理解可能な通り、電源110とX線源104とは直接結合することもできる。
制御サブシステム108は、異なる方式で使用するように設置及び/または配置することができる。例えば、一連の実現においては、単一の制御サブシステム108を使用することができ、その他の実現においては、複数の制御サブシステム108が一括して(例えば、分散型処理に基づく配置)または単独で動作するように配置され、各制御サブシステム108は、特定の面及び/または機能を処理する、及び/または特定の医用画像結像システムモデルの生成のみに用いられるデータを処理するように配置される。一連の実現において、制御サブシステム108は、ローカル(例えば、1つまたは複数のX線画像結像システム100と同一地点、例えば、同一施設及び/または同一のローカルエリアネットワーク内)としてもよく、その他の実現において、制御サブシステム108は、リモートとしてもよく、リモート接続のみを経由(例えば、インターネットまたはその他の利用可能リモートアクセス技術を経由)してアクセスすることができる。特定の実現において、制御サブシステム108は、クラウドに類似した方式で配置してもよく、かつ、その他のクラウドベースのシステムにアクセス及び使用する方式と基本的に類似した方式でアクセス及び/または使用してよい。
一連の実施例において、システム100は、更にコンピューティング装置120を含み、コンピューティング装置120は、デジタル化信号を使用して1つまたは複数の必要とする画像を再構築する及び/または被検出対象102に対応する有用診断情報を確定するように配置することができ、コンピューティング装置120は、1つまたは複数の専用プロセッサ、図形処理ユニット、デジタル信号プロセッサ、マイクロコンピュータ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)またはその他適当な処理装置を含むことができる。
一連の実施例において、システム100は、更に、記憶装置122を含み、コンピューティング装置120はデジタル化信号を記憶装置122中に記憶することができる。例えば、記憶装置122は、ハードディスクドライバ、ソフトディスクドライバ、光ディスク読み/書き(CD−R/W)ドライバ、デジタル汎用磁気ディスク(DVD)ドライバ、フラッシュメモリドライバ及び/またはソリッドステート記憶装置を含むことができる。当該記憶装置は、コンピュータが実行可能なプログラムを記憶するために用いられ、コンピュータがプログラムを実行すると、X線画像結像システムの複数の部材が上記画像シーケンスに対応した操作を実施する。コンピュータがプログラムを実行すると、更に、医用画像結像方法を実行して、原画像に後処理を施して、後処理後の最適化画像を得ることができる。
図1では記憶装置122、コンピューティング装置120、及び制御サブシステム108を単独の装置として図示しているが、一連の実施例においては、それらのうちの1つまたは複数を単一の装置として組み合わせることにより、占有面積を効果的に使用及び/または所期の画像結像要求を満足することができる。
1つの実施例において、システム100は、更に、表示装置124を含み、表示装置124は、再構築画像及び/または診断情報などを表示するために用いることができ、例えば、表示装置124は、上記の原画像及び/または最適化画像を表示することができ、その画像表示インターフェイスについては図3を結合して更に記述する。
1つの実施例において、システム100は、更に、オペレータワークステーション126を含み、オペレータワークステーション126は、ユーザが再構築画像を受信及び評価すること、及び制御指令(操作信号または制御信号)を入力することを許容する。オペレータワークステーション126は、ユーザインターフェイス(またはユーザ入力機器)、例えば、キーボード、マウス、音声活性化コントローラまたは任意のその他好適な入力機器などのオペレータインターフェイスのある種の形式を含み、オペレータは、ユーザインターフェイスを介して制御サブシステム108に操作信号/制御信号、例えば、1つまたは複数の走査パラメータを入力、及び/または必要とする診断情報及び/または画像をリクエストして、被検出対象102の内部構造及び/またはメカニズムを評価することができる。
図2には本発明の一連の実施例に基づく医用画像結像システム200が示されており、図3には本発明の一連の実施例に基づく最適化過程の概略図が示されており、図2〜3に示すように、医用画像結像システム200は、制御モジュール210、後処理モジュール220及び表示モジュール230を含む。
制御モジュール210は、X線画像結像システムが収集した原画像を取得するために用いられる。
一連の実施例においては、検出器106(図1に示す)を介して被検出対象を通過して減衰したX線を収集し、かつ、データ処理及び再構築を行うと原画像を取得することができ、図3中の原画像246に示すように、原画像246は表示モジュール230中に表示することができる。一連の実施例において、制御モジュール210は、図1に示すように設置されているX線画像結像システム100中の制御サブシステム108(またはコンピューティング装置120)に接続されるか、または当該制御サブシステム108(またはコンピューティング装置120)の一部となる。
後処理モジュール220は、トレーニングされたネットワークに基づき、原画像に後処理を施して、処理後の最適化画像を得るために用いられる。
具体的には、図3に示すように、原画像246をトレーニングされたネットワーク300中に入力することにより、後処理後の最適化画像247を得る(または出力する)ことができる。一連の実施例において、後処理モジュール220が出力した最適化画像247も表示モジュール230中に表示することができる。一連の実施例において、後処理モジュール220は、図1に示されているX線画像結像システム100中に設置されている制御サブシステム108(またはコンピューティング装置120)に接続されるか、または当該制御サブシステム108(またはコンピューティング装置120)の一部となる。
一連の実施例において、医用画像結像システム200は、サンプル原画像セット(既知入力)及び目標画像セット(所望出力)に基づきネットワーク300をトレーニングするためのトレーニングモジュール(図示せず)を更に含む。前記ネットワークは、トレーニングデータの準備、ネットワークモデルの選択及び構築、ネットワークのトレーニング、テスト及び最適化により完成する。一連の実施例において、トレーニングデータセットは、X線画像結像システム100の記憶装置122中に記憶され、トレーニングモジュールは、前記トレーニングデータセットを取得することによりネットワークをトレーニング及び/または更新することができる。
一連の実施例において、トレーニングモジュールは、更に、以下の機能を実現するように配置される。
第1:X線画像結像システムが収集した複数枚の医用画像をサンプル原画像セットとして取得する。一連の実施例において、前記サンプル原画像は、X線画像結像システムに基づき再構築して得られた医用画像に前処理を施した後に得られ、前処理には正規化処理などが含まれる。別の一連の実施例においては、正規化処理を施していない医用画像をサンプル原画像セットとするとともに、前記サンプル原画像セットをネットワーク中に入力し、その後、ネットワーク中の正規化層に基づき前記サンプル画像に正規化処理を施すこともできる。別の一連の実施例において、前記サンプル原画像は、異なる型式番号のX線画像結像システムにより収集、再構築するとともに、正規化処理を施した後に得られる。
第2:前記サンプル原画像セット中の各画像に対応する後処理された後の最適化画像を取得して、目標画像セットとする。一連の実施例において、前記後処理には、ノイズ低減、細部補正、及びコントラスト調整過程のうちの1つまたは複数が含まれる。一連の実施例において、前記最適化画像は従来の後処理方法に基づき得られ、例えば、1つまたは複数の後処理パラメータを手動で調整するとともに、経験に基づき判断して得られる。しかし、当業者であれば理解可能な通り、上記最適化画像の取得は、上記表示方式に限定されず、任意の好適な方式を採用することもできる。
第3:前記サンプル原画像セットを入力とし、目標画像セットを出力とし、ネットワークをトレーニングして、前記トレーニングされたネットワークを得る。
別の一連の実施例において、トレーニングモジュールは、更に、以下の機能を実現するように配置される。
第1:X線画像結像システムが収集した複数枚の医用画像をサンプル原画像セットとする。
第2:複数のユーザの嗜好に基づき、それぞれサンプル原画像セット中の各画像に後処理を施して、各ユーザの嗜好に対応した複数の目標画像セットを得る。一連の実施例において、ユーザ(例えば、医師)の最適化画像に対する嗜好はいずれも異なり、あるユーザはコントラストが比較的高い画像を好み、あるユーザは細部が突出した画像を好むため、ユーザの嗜好に応じて、サンプル原画像に異なる後処理を施して、複数の目標画像セットを得ることができ、例えば、第1目標画像セットはコントラストが高い目標画像に対応しており、第2目標画像セットは細部が突出した目標画像に対応している。
第3:前記サンプル原画像セットを入力とし、複数の目標画像セットのうちの各々を出力とし、ネットワークをトレーニングして、各ユーザの嗜好に対応した1つまたは複数のネットワークを得る。例えば、サンプル原画像セット及び第1目標画像セットによりトレーニングして第1ネットワークを得る場合では、当該第1ネットワークはコントラストが高いことを好むユーザに対応しており、第1ネットワークにより後処理して得られる最適化画像もコントラストが比較的高くなり、同様に、サンプル原画像セット及び第2目標画像セットによりトレーニングして第2ネットワークを得る場合では、当該第2ネットワークは細部が突出することを好むユーザに対応しており、第2ネットワークにより後処理して得られる最適化画像も細部が突出している。
一連の実施例において、前記1つまたは複数のネットワークはUNetまたはその他公知のモデルに基づきトレーニングされる。図4には本発明の一連の実施例に基づくネットワーク300の概略図が示されている。図4に示すように、ネットワーク300は、入力層310、処理層(隠れ層とも称される)330及び出力層320を含む。
一連の実施例において、処理層330は、エンコード部分(331〜338)及びデコード部分(341〜348)を含み、具体的に、処理層330は、第1エンコード層331及び第1エンコード層331にスキップコネクション(skip connection)された第1デコード層341と、第2エンコード層332及びそれにスキップコネクションされた第2デコード層342と、第3エンコード層333及びそれにスキップコネクションされた第3デコード層343と、第4エンコード層334及びそれにスキップコネクションされた第4デコード層344と、第5エンコード層335及びそれにスキップコネクションされた第5デコード層345と、第6エンコード層336及びそれにスキップコネクションされた第6デコード層346と、第7エンコード層337及びそれにスキップコネクションされた第7デコード層347と、第8エンコード層338及びそれにスキップコネクションされた第8デコード層348とを含み、かつ、第1〜第8エンコード層331〜338及び第8〜第1デコード層348〜341も順次接続される。スキップコネクションを設置することにより、ある1つのエンコード層の出力を、近隣層(つまり順次接続層)ではなく、それにスキップコネクションされたデコード層に直接伝送することができるため、異なる級別(例えば、異なる分解能)の特徴画像を出力することができる。
図4中には8つのエンコード層及び8つのデコード層を含む処理層が示されているが、当業者であれば理解可能な通り、処理層は任意の数量のエンコード層を含むことができ(デコード層の数量はエンコード層の数量に対応している)、8つに限定されず、エンコード層(またはデコード層)の数量はサンプル画像中の画素の数量に応じて適宜に調整することができる。また、当業者であれば理解可能な通り、図4にはネットワークの構造が例示的に示されているだけであり、任意のその他好適な配置を採用することもできる。
一連の実施例において、第1〜第8エンコード層331〜338及び第1〜第8デコード層341〜348のうちの各層は、いずれも少なくとも1つの畳み込み層及び少なくとも1つのプーリング層を含み、各畳み込み層及び各プーリング層はいずれも若干のニューロンを含み、かつ、各層中のニューロンの数量は同一としてもよく、必要に応じて異なる設定としてもよい。サンプル原画像(既知入力)及び目標画像(所望出力)に基づき、ネットワークにおける処理層の数量及び各処理層におけるニューロンの数量を設定するとともに、ネットワークの重み付け及び/または偏差を予測(または調整もしくは校正)することにより、既知入力と所望出力との間の数学的関係を識別する、及び/または各層入力と出力との間の数学的関係を識別及び特徴付ける。
具体的には、1つの層のニューロンの数量をnと設定し、かつ、当該n個のニューロン中の対応する値をX、X、…Xと設定し、前記1つの層に接続する直下1層のニューロンの数量をmと設定し、かつ、当該m個のニューロン中の対応する値をY、Y、…Yと設定すると、前記隣接する2つの層の間は下記の通り表示することができる。
式中、Xは直前1層の第i番目のニューロンに対応する値を示し、Yは直後1層の第j番目のニューロンに対応する値を示し、Wjiは重み付けを示し、Bは偏差を示す。一連の実施例において、関数fは正規化線形ユニットである(Rectified Linear unit、ReLU)。
従って、重み付けWji及び/または偏差Bを調整することにより、各層の入力と出力との間の数学的関係を識別して、損失関数(loss function)を収束させて、前記ネットワークをトレーニングすることができる。
ネットワークを新たに構築するか良好にトレーニングすると、後処理待ちの原画像をネットワーク中に入力するだけで、後処理後の最適化画像を取得することができる。
1つの実施例において、ネットワーク300の配置は、予測問題の先験的知識、入力、出力などの次元によりリードされるが、入力データに依存するかまたは専ら基づくことにより必要とする出力データの最適近似解が実現される。各種の代替実施形態においては、データ、結像幾何学、再構築アルゴリズムなどのある種の面及び/または特徴を利用して、ネットワーク300中のある種のデータ表示に明確な意義を付与することができ、それはトレーニング加速の助けとなる。それによりネットワーク300中における単独トレーニング(またはプレトレーニング)が新たに構築されるかまたはある種の層を定義する機会が得られる。
一連の実施例において、上記のサンプル原画像セット(サンプル原画像セット及びそれに対応する目標画像セットを含む)は更新して、新たなサンプル画像セットに基づき前記トレーニング済みのネットワークに対して更新または最適化を実施することができ、前記目標画像セットは、従来の後処理方法に基づき得ることができ(つまり1つまたは複数の後処理パラメータを調整するとともに、経験に応じて判断して得られる)、本発明における一連の実施例に記載されている医用画像結像方法に基づき(つまり上記のトレーニングされたネットワークを介して)得ることもできる。
別の一連の実施例において、上記のトレーニングされたネットワークは、外部キャリア(例えば、医用画像結像システム以外の機器)上のトレーニングモジュールに基づきトレーニングして得られる。一連の実施例において、前記トレーニングモジュールは、サンプル原画像セット及びそれに対応して後処理を実施した後の目標画像セットに基づき、UNetまたはその他公知のモデルに基づいて、前記ネットワークをトレーニングする。一連の実施例において、トレーニングシステムは、トレーニングデータセット(サンプル原画像セット及び目標画像セットを含む)を記憶するための第1モジュール、モデルに基づきトレーニング及び/または更新を実施するための第2モジュール、及び第1モジュールと第2モジュールとを接続するためのネットワークを含むことができる。一連の実施例において、前記第1モジュールは、第1処理ユニット及び第1記憶ユニットを含み、第1記憶ユニットは、トレーニングデータセットを記憶するために用いられ、第1処理ユニットは、関連する指令(例えば、トレーニングデータセットを取得する)を受信するとともに、指令に応じて前記トレーニングデータセットを送信するために用いられ、また、前記第2モジュールは、第2処理ユニット及び第2記憶ユニットを含み、第2記憶ユニットは、トレーニングモデルを記憶するために用いられ、第2処理ユニットは、関連する指令を受信して、ネットワークのトレーニング及び/または更新などを実施するために用いられ、別の一連の実施例においては、更に、トレーニングデータセットを第2モジュールの第2記憶ユニット中に記憶することができ、トレーニングシステムは第1モジュールを含まなくてもよい。一連の実施例において、ネットワーク各種の接続類型、例えば、有線、無線通信リンクまたは光ファイバケーブルなどを含むことができる。
ひとたびデータ(例えば、トレーニングされたネットワーク)が生成及び/または配置されると、データはX線画像結像システム100中に複製及び/またはロードされるが、それは異なる方式で達成することができる。例えば、X線画像結像システム100と制御サブシステム108との間■定方向接続またはリンクを介してモデルをロードすることができる。この点について述べると、利用可能な有線及び/または無線接続を使用する、及び/または任意の好適な通信(及び/またはネットワーク)規格またはプロトコルに応じて異なる素子の間の通信を達成することができる。選択候補またはそれ以外として、データは間接的にX線画像結像システム100中にロードすることができる。例えば、データは好適な機器の読み取り可能媒体(例えば、フラッシュメモリカードなど)中に記憶することができ、その後、当該媒体を使用してデータをX線画像結像システム100(フィールド、例えば、システムのユーザまたは権限付与した人)中にロードするか、またはデータをローカル通信可能な電子機器(例えば、ノートパソコンなど)中にダウンロードし、その後、フィールドで(例えば、システムのユーザまたは権限付与した人が)当該機器を使用して当該データを直接接続(例えば、USBコネクタなど)を経由してX線画像結像システム100中にアップロードすることができる。
本文で検討している通り、ディープラーニング技術(深層機械学習、階層型学習または深層構造化学習などとも称される)には学習するための人工ニューラルネットワークが採用されている。ディープラーニング方法の特徴は、1つまたは複数のネットワーク構造を使用して関心のあるデータを抽出またはシミュレートすることにある。ディープラーニング方法は、1つまたは複数の処理層(例えば、入力層、出力層、畳み込み層、正規化層、サンプリング層などであり、異なる深層ネットワークモデルに基づき異なる数量及び機能の処理層を有することができる)を使用して達成することができ、層の配置及び数量は、深度ネットワークが複雑な情報抽出を処理し、タスクをモデリングすることを許容している。通常はいわゆる学習過程(またはトレーニング過程)を介してネットワークの特定パラメータ(「重み付け」または「偏差」と称してもよい)を予測する。学習またはトレーニングされたパラメータは、通常、1つの異なる級別層に対応するネットワークを導出(または出力)するため、初期データの異なる面の抽出もしくはシミュレート、または直前1層の出力は、通常、層の階層構造またはカスケードを表示することができる。画像処理または再構築過程において、それはデータ中の異なる特徴級別の異なる層に対するものであると特徴付けられる。従って、処理は層別に実施することができ、つまり、比較的早いまたは比較的高い級別の層は、入力データ中から「簡単な」特徴を抽出することに対応可能であり、次いで、これらの簡単な特徴をより高い複雑度の特徴を表現する層となるように組み合わせる。実際上、各層(またはより具体的に、各層中の各「ニューロン」)は1つまたは複数の線形及び/または非線形変換(いわゆる活性化関数)を採用して、入力データを出力データとなるように処理して表示することができる。複数の「ニューロン」の数量は複数の層の間で一定としてもよく、または層から層まで変化としてよい。
本文で検討している通り、特定問題を解決するディープラーニング過程における初期トレーニングの一部として、トレーニングデータセットは、既知入力値(例えば、サンプル画像または画像を座標変換した画素マトリクス)及びディープラーニング過程において最終的に出力する所望(目標)出力値(例えば、画像または識別判断結果)を含む。この種の方式により、ディープラーニングアルゴリズムは、既知入力と所望出力との間の数学的関係を識別及び/または各層の入力と出力との間の数学的関係を識別及び特徴付けるまで、当該トレーニングデータセットを(監督もしくはリードする方式または無監督もしくは非リード方式で)処理することができる。学習過程においては、通常、(一部の)入力データを利用するとともに、当該入力データのためにネットワーク出力を新たに構築し、その後、新たに構築されたネットワーク出力と当該データセットの所望出力とを比較した後、新たに構築された所望の出力との間の差異を使用してネットワークのパラメータ(重み付け及び/または偏差)を繰り返し更新する。通常は確率的勾配下降(Stochastic gradient descent、SGD)法を使用してネットワークのパラメータを更新することができ、その後、当業者であれば理解している通り、本分野における既知のその他の方法を使用してネットワークパラメータを更新することもできる。同様に、単独の検証データセットを採用してトレーニングされたネットワークを検証することができ、既知入力及び所望出力はいずれも既知であるため、既知入力をトレーニングされたネットワークに提供することによりネットワーク出力を得ることができ、その後、当該ネットワーク出力と(既知の)所望出力とを比較して先行するトレーニング及び/または過度のトレーニングの防止を検証する。
引き続き図2を参照すると、表示モジュール230は、原画像及び最適化画像を表示するために用いられる。図5には医用画像結像システム200における表示モジュール230の画像表示インターフェイス231が示されており、図5に示すように、画像表示インターフェイス231は、最適化画像247を表示するために用いられ、同様に、図3に示されている原画像246も画像表示インターフェイス231中に表示することもできる。
表示モジュール230は、第1指令を生成して、原画像246をネットワーク300中に入力するための第1操作ユニットを含み、例えば、前記第1操作ユニットは画像表示インターフェイス231中に設置され、具体的に、前記第1操作ユニットは画像表示インターフェイス231のメニュー欄241中に設置され、より具体的に、前記第1操作ユニットはメニュー欄241中の後処理制御オプション242である。一連の実施例において、ユーザは第1操作ユニットを励起することにより、第1指令を得ることができ、具体的に、ユーザはマウスまたは外部入力機器を介して前記オプション242を選択することができ、タッチすることによりオプション242などを選択することもできる。
表示モジュール230は、第2指令を生成し、1つまたは複数のネットワークにおいて1つを選択して、原画像246に後処理を施すための第2操作ユニットを含む。一連の実施例において、前記第2操作ユニットは、画像表示インターフェイス231のメニュー欄241中に設置され、より具体的に、前記第2操作ユニットは、メニュー欄241中のネットワーク選択オプション(図示せず)であり、ユーザは第2操作ユニットを励起することにより、第2指令を得ることができ、具体的には、ユーザはマウスまたは外部入力機器を介して前記オプションを選択することができ、タッチすることによりオプションなどを選択することもできる。別の一連の実施例において、第2操作ユニットはユーザ登録インターフェイスに設置され、ユーザが自らのアカウントを登録すると、システムは当該ユーザに対応するネットワークを自動的に識別するかまたは選択することができ、選択可能として、ユーザが自らのアカウントを登録した後、ネットワークの選択インターフェイスがポップアップし、ユーザが必要とするネットワークを手動で選択することができる(つまり必要とする最適化画像スタイルに対応している)。
上記実施例では第2操作ユニットを表示モジュールに設置することを説明しているが、当業者であれば理解可能な通り、第2操作ユニットは、任意その他の制御機器またはシステム中に設置することもでき、例えば、制御室のカードリーダに設置してユーザのIDを識別し、当該ユーザに対応するネットワークを自動的に選択することができる。
表示モジュール230は、第3指令を生成して、前記原画像及び前記最適化画像を前記ネットワーク中に入力して前記ネットワークを最適化するための第3操作ユニットを含み、例えば、前記第3操作ユニットは画像表示インターフェイス231のメニュー欄241中に設置され、具体的に、前記第3操作ユニットはメニュー欄241中のネットワーク最適化オプションである(図示せず)。一連の実施例において、ユーザは第3操作ユニットを励起することにより、第3指令を得ることができ、具体的に、ユーザはマウスまたは外部入力機器を介して前記オプションを選択することができ、タッチすることによりオプションなどを選択することもできる。
一連の実施例において、画像表示インターフェイス231中のメニュー欄241は、更に、拡大または縮小、移動などの操作ユニットを含むことができる。
図5ではメニュー欄241が画像表示インターフェイスの左側の位置に位置しているとのみ表示されているが、当業者であれば理解可能な通り、メニュー欄241は任意の方式及び/または位置及び/またはスタイルで表示することができ、例えば、フローティングウィンドウを有してもよく、選択することによりすべてのメニューオプションを展開することができ、またはメニュー欄を表示インターフェイスの下方に1列配置するなどであってもよい。また、図5中の画像表示インターフェイス231は最適化画像247及びメニュー欄241のみを表示しているが、当業者であれば理解可能な通り、画像表示インターフェイス231は、更に、その他のタイプの内容を表示してもよく、例えば、最適化画像表示部分の左側に、更に、画像のアドレス、複数の画像(原画像及び最適化画像)の切換え制御などのその他の内容を含むことができる。一連の実施例においては、原画像及び最適化画像を同一のグラフィックユーザインターフェイス中に表示することもできる。
一連の実施例において、表示モジュール230は、X線画像結像システムにおける表示装置124(図1に示す)であり、表示モジュール230は、走査室(または機器室)に設置された制御表示器及び/または制御室に設置された表示器を含む。
図6には本発明の一連の実施例に基づく医用画像結像方法400の流れ図が示されている。図6に示すように、本発明の一連の実施例における医用画像結像方法400は、ステップ410及び420を含む。
ステップ410においては、X線画像結像システムが収集した原画像を取得する。
一連の実施例においては、検出器を介して被検出対象を通過して減衰したX線を収集し、かつ、データ処理及び再構築を実施すると医用画像を得ることができ、前記原画像は、X線画像結像システムにおける表示装置または表示モジュール中に表示することができる。
ステップ420においては、トレーニングされたネットワークに基づき、前記原画像に後処理を施して、処理後の最適化画像を得る。具体的には、原画像をトレーニングされたネットワーク中に入力することにより、後処理後の最適化画像を得る(または出力する)ことができ、最適化画像も同様にX線画像結像システムにおける表示機器中に表示することができる。
一連の実施例において、前記ネットワークは、トレーニングデータの準備、ネットワークモデルの選択及び構築、ネットワークのトレーニング、テスト及び最適化により完成する。一連の実施例において、前記1つまたは複数のネットワークはUNetまたはその他公知のモデルに基づきトレーニングされ、前記ネットワークは、サンプル原画像セット及び目標画像セットに基づくトレーニングにより得られ、具体的に、前記ネットワークのトレーニングは、以下のステップ1〜ステップ3を含む。
ステップ1:X線画像結像システムが収集した複数枚の医用画像をサンプル原画像セットとする。一連の実施例において、前記サンプル原画像は、X線画像結像システムに基づき再構築して得られた医用画像に前処理を施した後に得られ、前処理には正規化処理などが含まれる。一連の実施例において、前記サンプル原画像は、異なる型式番号のX線画像結像システムにより収集、再構築するとともに、正規化処理を施した後に得られる。
ステップ2:前記サンプル原画像セット中の各画像に対応する後処理された後の最適化画像を取得して、目標画像セットとする。一連の実施例において、前記後処理には、ノイズ低減、細部補正、及びコントラスト調整過程のうちの1つまたは複数が含まれる。一連の実施例において、前記最適化画像は従来の後処理方法に基づき得られ、例えば、1つまたは複数の後処理パラメータを手動で調整するとともに、経験に基づき判断して得られる。しかし、当業者であれば理解可能な通り、上記最適化画像の取得は、上記表示方式に限定されず、任意の好適な方式を採用することもできる。
ステップ3:前記サンプル原画像セットを入力とし、目標画像セットを出力とし、ネットワークをトレーニングして、前記トレーニングされたネットワークを得る。
別の一連の実施例において、前記ネットワークのトレーニングは、以下のステップ1〜ステップ3を含む。
ステップ1:X線画像結像システムが収集した複数枚の医用画像をサンプル原画像セットとする。
ステップ2:複数のユーザの嗜好に基づき、それぞれサンプル原画像セット中の各画像に後処理を施して、各ユーザの嗜好に対応した複数の目標画像セットを得る。一連の実施例において、ユーザ(例えば、医師)の最適化画像に対する嗜好はいずれも異なり、あるユーザはコントラストが比較的高い画像を好み、あるユーザは細部が突出した画像を好むため、ユーザの嗜好に応じて、サンプル原画像に異なる後処理を施して、複数の目標画像セットを得ることができ、例えば、第1目標画像セットはコントラストが高い目標画像に対応しており、第2目標画像セットは細部が突出した目標画像に対応している。
ステップ3:前記サンプル原画像セットを入力とし、複数の目標画像セットのうちの各々を出力とし、ネットワークをトレーニングして、各ユーザの嗜好に対応した1つまたは複数のネットワークを得る。例えば、サンプル原画像セット及び第1目標画像セットによりトレーニングして第1ネットワークを得る場合では、当該第1ネットワークはコントラストが高いことを好むユーザに対応しており、第1ネットワークにより後処理して得られる最適化画像もコントラストが比較的高くなり、同様に、サンプル原画像セット及び第2目標画像セットによりトレーニングして第2ネットワークを得る場合では、当該第2ネットワークは細部が突出することを好むユーザに対応しており、第2ネットワークにより後処理して得られる最適化画像も細部が突出している。
一連の実施例においては、ステップ420(トレーニングされたネットワークに基づき、前記原画像に後処理を施して、処理後の最適化画像を得る)の前に、ユーザの第1指令に基づき前記原画像を前記ネットワーク中に入力することが更に含まれ、具体的に、前記第1指令は、画像表示インターフェイス中の第1操作ユニットに基づき励起される。
一連の実施例において、前記トレーニングされたネットワークは、1つまたは複数のネットワークを含み、医用画像結像方法400は、更に、ユーザの第2指令に基づき、前記1つまたは複数のネットワーク中の1つを選択して、前記原画像に後処理を施すことを含む。一連の実施例において、前記ユーザの第2指令は、ユーザの身分識別に基づき励起される。別の一連の実施例において、前記ユーザの第2指令は、画像表示インターフェイス中の第2操作ユニットに基づき励起される。
一連の実施例において、医用画像結像方法400は、更に、ユーザの第3指令に基づき、前記原画像及び前記最適化画像を更に前記ネットワーク中に入力して前記ネットを最適化することを含み、具体的に、前記第3指令は、画像表示インターフェイス中の第3操作ユニットに基づき励起される。
本発明で提出されているディープラーニングに基づく医用画像結像方法は、より正確、より適時に医用原画像に後処理を施すことができるため、現場技師の手動調整及び経験による判断に依拠することなく、後処理過程におけるパラメータ調節の難度及び調節時間が低減されると同時に、後処理後に得られる最適化画像の画像品質も更に向上している。また、更に、ユーザの嗜好(またはスタイル)に応じて、異なるスタイルのサンプル画像セットを設置して、異なるスタイルの学習ネットワークをトレーニングし、ユーザがそれに対応した学習ネットワークを選択することにより、ユーザの嗜好に対応した最適化画像スタイルを得ることができる。
本発明では、更に、指令セット及び/またはコンピュータプログラムを記憶するための非一時的なコンピュータ読み取り可能な記憶媒体が提供されており、当該指令セット及び/またはコンピュータプログラムは、コンピュータにより実行されると、コンピュータに上記の医用画像結像方法に用いられる指令を実行させ、当該指令セット及び/またはコンピュータプログラムを実行するコンピュータは、X線画像結像システムのコンピュータとしてもよく、X線画像結像システムのその他の装置/モジュールとしてもよく、1種の実施例において、当該指令セット及び/またはコンピュータプログラムは、コンピュータのプロセッサ/コントローラ中に編成されている。
具体的に、当該指令セット及び/またはコンピュータプログラムがコンピュータにより実行されると、コンピュータに、
X線画像結像システムが収集した原画像を取得させ、
トレーニングされたネットワークに基づき、前記原画像に後処理を施して、処理後の最適化画像を取得させる。
以上に記載された指令は、1つの指令に併合して実行することができ、任意1つの指令を複数の指令に分割して実行することもでき、また、上記の指令実行順序にも限定されない。
一連の実施例において、前記原画像に後処理を施す前に、更に、ユーザの第1指令に基づき前記原画像を前記ネットワーク中に入力することを含む。
一連の実施例において、前記トレーニングされたネットワークは、1つまたは複数のネットワークを含み、かつ、前記方法は、更に、ユーザの第2指令に基づき前記1つまたは複数のネットワークのうちの1つを選択して、前記原画像に後処理を施すことを含む。
一連の実施例においては、更に、ユーザの第3指令に基づき、前記原画像及び前記最適化画像を前記ネットワーク中に更に入力して前記ネットワークを最適化することを含む。
本文章で使用している用語「コンピュータ」には、任意のプロセッサベースまたはマイクロプロセッサベースのシステムを含むことができ、それにはマイクロコントローラ、縮小命令セットコンピュータ(RISC)、特定用途向け集積回路(ASIC)、論理回路及び本文で記述している機能を実行可能な任意その他の回路またはプロセッサを使用したシステムが含まれる。上記文章の例示はデモンストレーションであるに過ぎず、任意の方式を採用して用語「コンピュータ」の定義及び/または意義を制限することは意味していない。
指令セットは、処理機としてのコンピュータまたはプロセッサに特定の操作、例えば、各種実施例の方法及びプロセスを実行するように指示する各種の命令を含むことができる。指令セットにはソフトウェアプログラムの形式を採用することができ、当該ソフトウェアプログラムは、1つまたは複数の有形の非一時的なコンピュータ読み取り可能な媒体の一部を形成することができる。当該ソフトウェアには、例えば、システムソフトウェアまたはアプリケーションソフトウェアの各種の形式を採用することができる。また、当該ソフトウェアには、独立したプログラムまたはモジュールの集合、更に大きなプログラム内におけるプログラムモジュールまたはプログラムモジュールの一部分の形式を採用することができる。当該ソフトウェアは、更に、オブジェクト指向プログラミングの形式を採用したモジュール化プログラミングを含むことができる。入力データは、処理機の処理によりオペレータの命令に応答するか、または先行する処理結果に応答するか、または別の処理機により行われたリクエストに応答することができる。
上記においてはすでに一連の例示的な実施例について記述している。しかし、ここで理解すべきは、各種の修正を施すこともできる点である。例えば、記述されている技術を異なる順序で実行する、及び/または記述されているシステム、アーキテクチャ、設備、または回路中のコンポーネントを異なる方式で組み合わせる及び/または個別のコンポーネントまたはその等価物で代替または補充することにより、好適な結果を実現することができる。相応に、その他の実施形態も特許請求の範囲の保護範囲内に入っているものとする。
100 X線画像結像システム
102 被検出対象
104 X線源(X線放射源)
106 検出器
108 制御サブシステム
110 電源
112 通信リンク
114 X線
116 コリメータ
120 コンピューティング装置
122 記憶装置
124 表示装置
126 オペレータワークステーション
200 医用画像結像システム
210 制御モジュール
220 後処理モジュール
230 表示モジュール
231 画像表示インターフェイス
241 メニュー欄
242 オプション
246 原画像
247 最適化画像
300 ネットワーク
310 入力層
320 出力層
330 処理層
331〜338 エンコード部分
331 第1エンコード層
332 第2エンコード層
333 第3エンコード層
334 第4エンコード層
335 第5エンコード層
336 第6エンコード層
337 第7エンコード層
338 第8エンコード層
341〜348 デコード部分
341 第1デコード層
342 第2デコード層
343 第3デコード層
344 第4デコード層
345 第5デコード層
346 第6デコード層
347 第7デコード層
348 第8デコード層
400 医用画像結像方法

Claims (17)

  1. X線画像結像システム(100)が収集した原画像(246)を取得することと、
    トレーニングされたネットワーク(300)に基づき、前記原画像(246)に後処理を施し、処理後の最適化画像(247)を得ることと、を含む、医用画像結像方法(400)。
  2. 前記原画像(246)に後処理を施す前に、ユーザの第1指令に基づき前記原画像(246)を前記ネットワーク(300)中に入力することを更に含む、請求項1に記載の方法(400)。
  3. 前記第1指令は、画像表示インターフェイス(231)中の第1操作ユニットに基づき励起される、請求項2に記載の方法(400)。
  4. 前記トレーニングされたネットワーク(300)は、1つまたは複数のネットワーク(300)を含み、かつ、前記方法(400)は、
    ユーザの第2指令に基づき前記1つまたは複数のネットワーク(300)のうちの1つを選択し、前記原画像(246)に後処理を施すことを更に含む、請求項1に記載の方法(400)。
  5. 前記ユーザの第2指令は、ユーザの身分認証に基づき励起される、請求項4に記載の方法(400)。
  6. 前記ユーザの第2指令は、画像表示インターフェイス(231)中の第2操作ユニットに基づき励起される、請求項4に記載の方法(400)。
  7. 前記ネットワーク(300)は、サンプル原画像セット及び目標原画像セットに基づきトレーニングして得られる、請求項1に記載の方法(400)。
  8. 前記トレーニング方法は、
    X線画像結像システム(100)が収集して得られた複数枚の原画像(246)を取得して、サンプル原画像セットを得ることと、
    1つまたは複数のユーザの嗜好に基づき、それぞれ前記原画像(246)に後処理を施して、各ユーザの嗜好に対応した複数の目標画像セットを得ることと、
    前記サンプル原画像セットを入力とし、前記複数の目標画像セットのうちの各々をそれぞれ出力として、ニューラルネットワークをトレーニングし、各ユーザの嗜好に対応した1つまたは複数のネットワーク(300)を得ることと、を含む、請求項7に記載の方法(400)。
  9. ユーザの第3指令に基づき、前記原画像(246)及び前記最適化画像(247)を更に前記ネットワーク(300)中に入力して前記ネットワーク(300)を最適化することを更に含む、請求項1に記載の方法(400)。
  10. 前記第3指令は、画像表示インターフェイス(231)中の第3操作ユニットに基づき励起される、請求項9に記載の方法(400)。
  11. コンピュータプログラムを記憶するための非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、コンピュータにより実行されると、コンピュータに請求項1〜10のいずれか1項に記載の医学画像結像方法(400)を実行させる、非一時的なコンピュータ読み取り可能な記憶媒体。
  12. X線画像結像システム(100)が収集した原画像(246)を取得するための制御モジュール(210)と、
    トレーニングされたネットワーク(300)に基づき、前記原画像(246)に後処理を施し、処理後の最適化画像(247)を得るための後処理モジュール(220)と、
    前記原画像(246)及び前記最適化画像(247)を表示するための表示モジュール(230)と、を含む、医用画像結像システム(200)。
  13. 前記表示モジュール(230)は、第1指令を生成して、前記原画像(246)を前記ネットワーク(300)中に入力するための第1操作ユニットを含む、請求項12に記載のシステム(200)。
  14. サンプル原画像セット及び目標画像セットをトレーニングするためのトレーニングモジュールを更に含む、請求項12に記載のシステム(200)。
  15. 前記トレーニングモジュールは、更に、
    X線画像結像システム(100)が収集して得られた複数枚の原画像(246)を取得して、サンプル原画像セットを得て、
    1つまたは複数のユーザの嗜好に基づき、それぞれ前記原画像(246)に後処理を施して、各ユーザの嗜好に対応した複数の目標画像セットを得て、
    前記サンプル原画像セットを入力とし、前記複数の目標画像セットのうちの各々をそれぞれ出力として、ニューラルネットワークをトレーニングし、各ユーザの嗜好に対応した1つまたは複数のネットワーク(300)を得るように、配置される、請求項14に記載のシステム(200)。
  16. 前記表示モジュール(230)は、第2指令を生成し、前記1つまたは複数のネットワーク(300)のうちの1つを選択して、前記原画像(246)に後処理を施すための第2操作ユニットを含む、請求項15に記載のシステム(200)。
  17. 前記表示モジュール(230)は、第3指令を生成し、前記原画像(246)及び前記最適化画像(247)を前記ネットワーク(300)中に入力して前記ネットワーク(300)を最適化するための第3操作ユニットを含む、請求項12に記載のシステム(200)。
JP2020103470A 2019-06-17 2020-06-16 医用画像結像方法及びシステム Active JP7080924B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910519964.XA CN112102423A (zh) 2019-06-17 2019-06-17 医学成像方法及系统
CN201910519964.X 2019-06-17

Publications (2)

Publication Number Publication Date
JP2021006247A true JP2021006247A (ja) 2021-01-21
JP7080924B2 JP7080924B2 (ja) 2022-06-06

Family

ID=71103226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103470A Active JP7080924B2 (ja) 2019-06-17 2020-06-16 医用画像結像方法及びシステム

Country Status (4)

Country Link
US (2) US11398012B2 (ja)
EP (1) EP3753493A1 (ja)
JP (1) JP7080924B2 (ja)
CN (1) CN112102423A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790492B1 (en) * 2019-12-18 2023-10-17 Thales Sa Method of and system for customized image denoising with model interpretations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106951A (ja) * 2011-11-23 2013-06-06 General Electric Co <Ge> ユーザからの明示的な学習により駆動されるスマートpacsワークフローシステムおよび方法
US20170185871A1 (en) * 2015-12-29 2017-06-29 Qiang Zhang Method and apparatus of neural network based image signal processor
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
US20190104940A1 (en) * 2017-10-06 2019-04-11 Toshiba Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US9412046B2 (en) * 2014-10-10 2016-08-09 Facebook, Inc. Training image adjustment preferences
EP3404611A1 (en) * 2017-05-19 2018-11-21 RetinAI Medical GmbH Reducing noise in an image
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
WO2019217437A2 (en) * 2018-05-07 2019-11-14 Eolianvr, Incorporated Device and content agnostic, interactive, collaborative, synchronized mixed reality system and method
US10635943B1 (en) * 2018-08-07 2020-04-28 General Electric Company Systems and methods for noise reduction in medical images with deep neural networks
US11526713B2 (en) * 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments
US10290084B1 (en) * 2018-11-14 2019-05-14 Sonavista, Inc. Correcting image blur in medical image
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
JP7302988B2 (ja) * 2019-03-07 2023-07-04 富士フイルムヘルスケア株式会社 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106951A (ja) * 2011-11-23 2013-06-06 General Electric Co <Ge> ユーザからの明示的な学習により駆動されるスマートpacsワークフローシステムおよび方法
US20170185871A1 (en) * 2015-12-29 2017-06-29 Qiang Zhang Method and apparatus of neural network based image signal processor
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
US20190104940A1 (en) * 2017-10-06 2019-04-11 Toshiba Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction

Also Published As

Publication number Publication date
EP3753493A1 (en) 2020-12-23
US20220366540A1 (en) 2022-11-17
US11398012B2 (en) 2022-07-26
US20200394758A1 (en) 2020-12-17
CN112102423A (zh) 2020-12-18
JP7080924B2 (ja) 2022-06-06

Similar Documents

Publication Publication Date Title
AU2019257675B2 (en) Image enhancement using generative adversarial networks
CN107680657B (zh) 医学扫描仪自学优化临床协议和图像采集
US11941786B2 (en) Image noise reduction method and device
US11996178B2 (en) Parameter search in radiotherapy treatment plan optimization
US20200155868A1 (en) 3d deep planning radiotherapy system and method
US10950343B2 (en) Highlighting best-matching choices of acquisition and reconstruction parameters
CN107688815A (zh) 医学图像的分析方法和分析系统以及存储介质
US20210182674A1 (en) Automatic training and deployment of deep learning technologies
JP7080924B2 (ja) 医用画像結像方法及びシステム
US11380026B2 (en) Method and device for obtaining predicted image of truncated portion
EP3736773A1 (en) Imaging method and device
US20230097895A1 (en) Multimodal analysis of imaging and clinical data for personalized therapy
US20220198667A1 (en) Method and device for extracting blood vessel wall
WO2021229497A1 (en) Methods relating to medical diagnostics and to medical diagnostic systems
US20220044454A1 (en) Deep reinforcement learning for computer assisted reading and analysis
CN114140487A (zh) 脑部图像分割方法及装置
US20240104719A1 (en) Multi-task learning framework for fully automated assessment of coronary arteries in angiography images
US20230060113A1 (en) Editing presegmented images and volumes using deep learning
EP4343782A1 (en) A multi-task learning framework for fully automated assessment of coronary arteries in angiography images
US20240046453A1 (en) Semi-supervised learning leveraging cross-domain data for medical imaging analysis
US20240070853A1 (en) Self-supervised learning for modeling a 3d brain anatomical representation
KR20240018186A (ko) 머신러닝에 기반하여 안면 이미지를 학습함으로써 부비동염을 예측하는 방법 및 이를 이용한 컴퓨팅 장치
EP4288146A1 (en) Parameter search in radiotherapy treatment plan optimization
WO2024151323A1 (en) Comprehensive action plan recommendations for medical machines using transformer networks
JP2024512295A (ja) 機械学習によるpet画像の分析および再構成

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210526

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220525

R150 Certificate of patent or registration of utility model

Ref document number: 7080924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150