JP2021500547A - ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 - Google Patents
ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 Download PDFInfo
- Publication number
- JP2021500547A JP2021500547A JP2020521895A JP2020521895A JP2021500547A JP 2021500547 A JP2021500547 A JP 2021500547A JP 2020521895 A JP2020521895 A JP 2020521895A JP 2020521895 A JP2020521895 A JP 2020521895A JP 2021500547 A JP2021500547 A JP 2021500547A
- Authority
- JP
- Japan
- Prior art keywords
- image
- training
- imaging
- acquisition device
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 167
- 238000002600 positron emission tomography Methods 0.000 title claims description 14
- 238000013461 design Methods 0.000 title description 6
- 238000005457 optimization Methods 0.000 title description 4
- 238000012549 training Methods 0.000 claims abstract description 183
- 238000013528 artificial neural network Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims description 40
- 238000012879 PET imaging Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 15
- 230000004807 localization Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000012636 positron electron tomography Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 23
- 239000013078 crystal Substances 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000013170 computed tomography imaging Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229940121896 radiopharmaceutical Drugs 0.000 description 3
- 239000012217 radiopharmaceutical Substances 0.000 description 3
- 230000002799 radiopharmaceutical effect Effects 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002223 garnet Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ANDNPYOOQLLLIU-UHFFFAOYSA-N [Y].[Lu] Chemical compound [Y].[Lu] ANDNPYOOQLLLIU-UHFFFAOYSA-N 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001647 drug administration Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating thereof
- A61B6/582—Calibration
- A61B6/583—Calibration using calibration phantoms
- A61B6/584—Calibration using calibration phantoms determining position of components of the apparatus or device using images of the phantom
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
イメージング方法１００は、第１の画像取得装置１２を使用して、１又は複数のイメージング対象の第１のトレーニング画像を取得するステップと、第１のイメージング装置と同じイメージングモダリティの第２の画像取得装置１４を使用して、第１のトレーニング画像と同じ１又は複数のイメージング対象の第２のトレーニング画像を取得するステップと、第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワーク（ＮＮ）１６をトレーニングするステップであって、変換された第１のトレーニング画像は、当該変換された第１のトレーニング画像と第２のトレーニング画像とを比較する差分メトリックの最小値を有する、ステップと、を有する。
Description
本発明は、一般に、医用イメージング技術、医用画像解釈技術、画像再構成技術、ディープラーニング技術、及び関連技術に関する。
ハイエンドのポジトロンエミッショントモグラフィ／コンピュータトモグラフィ（ＰＥＴ／ＣＴ）システムは、デジタル検出技法、高い時間解像度のタイムオブフライト（ＴＯＦ）エレクトロニクスのようなハードウェア設計の高度な技術、及びリストモードＴＯＦ再構成のような高度なデータ処理ソフトウェアを使用する。主な欠点は、関連するシステムの複雑さ、設計及び製造コスト、保守コストなどである。
臨床応用のためのシステム性能を維持しながら、システムの設計を最適化することによるコスト削減は、ＰＥＴ／ＣＴシステムの最大の産業上の課題の１つである。結晶のコストは、ＰＥＴシステムの総コストの大きな要素であるので、コスト削減のための１つの主要な取り組みは、より安価な結晶を使用することである。しかしながら、結晶のコストの低減は、ほとんどの場合、性能の低下につながる。例えば、ルテチウムイットリウムオキシオルソシリケート（ＬＹＳＯ）結晶と比較して安価な結晶を使用すると、ＰＥＴ／ＣＴシステム全体のコストを削減することができるが、次善のＴＯＦ解像度しか実現できない場合がある。
ソフトウェアアプローチが、主に高度な再構成及びデータ処理アルゴリズムを通じて、低コストでシステムの性能を改善するために開発されてきた。例えば、一部の既存の再構成ソフトウェアプログラムが、低解像度のＴＯＦを備えたシステム又はＴＯＦ機能をまったく備えていないシステムからの画像品質を改善するために使用されることができる。このような従来の再構成及びデータ処理アルゴリズムからの改善は、システム性能と顧客のニーズとの間のギャップを埋めるには十分でないことがある。
ＰＥＴ／ＣＴ設計の最適化は、所望のシステム性能とコスト（製造コスト、運用及び保守コスト等を含むライフサイクルコスト）とのバランスである。ローエンドのＰＥＴ／ＣＴシステムはコストが一層低くなるが、性能が低下する可能性がある。従来のソフトウェアソリューションは、ローエンドシステムの性能（画像品質、定量化など）を改善することができるが、多くの場合、性能を満足できるレベルに改善するには不十分である。
以下は、これらの問題を克服するための新しく改善されたシステム及び方法を開示する。
１つの開示された態様において、イメージング方法は、第１の画像取得装置使用して１又は複数のイメージング対象の第１のトレーニング画像を取得するステップと、第１のイメージング装置と同じイメージングモダリティの第２の画像取得装置を使用して、第１のトレーニング画像と同じ１つ又は複数のイメージング対象の第２のトレーニング画像を取得するステップと、ニューラルネットワーク（ＮＮ）をトレーニングして、第１のトレーニング画像を、変換された第１のトレーニング画像に変換し、変換された第１のトレーニング画像及び第２のトレーニング画像とを比較する差分メトリックの最小値を有する。
別の開示された態様において、非一時的なコンピュータ可読媒体は、少なくとも１つの電子プロセッサによって可読かつ実行可能な命令であって、イメージング方法を実行する命令を記憶し、イメージング方法は、第１の画像取得装置を使用して対象の対象画像を取得するステップと、トレーニングされたニューラルネットワークを対象画像に適用して、変換された対象画像を生成するステップと、変換された対象画像を表示するステップと、を有する。トレーニング済みニューラルネットワークは、第１の画像取得装置又は同等の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１トレーニング画像に変換するニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第１の画像取得装置と同等でない第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する、当該変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される。
開示される別の態様において、イメージングシステムは、対象のイメージングデータを取得するように構成される第１の画像取得装置を有する。少なくとも１つの電子プロセッサは、（ｉ）イメージングデータを再構成して再構成画像を生成し、画像ドメインでトレーニングされたニューラルネットワークを再構成画像に適用すること、又は（ｉｉ）イメージングデータドメインのトレーニング済みニューラルネットワークをイメージングデータに適用して、変換されたイメージングデータを生成し、変換されたイメージングデータを再構成し、ディスプレイ装置を制御して、変換された対象画像を表示すること、のうち一方の処理によって、変換された対象画像を生成するようにイメージングデータを処理するようにプログラムされる。以下の一方が実行される：（ｉａ）画像ドメインのトレーニング済みニューラルネットワークが、第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する前記変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される、又は（ｉｉａ）イメージングデータドメインのトレーニング済みニューラルネットワークが、第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニングイメージングデータを、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニングイメージングデータと、第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する前記変換された第１のトレーニングイメージングデータの差分メトリックの値が、トレーニングによって最小化される。
１つの利点は、よりハイエンドのイメージングシステムと同等の画像を生成するように、よりローエンドのイメージングシステムをプログラムするためにディープラーニングを使用することにある。
別の利点は、ローエンドのＰＥＴ／ＣＴシステムの設計を最適化するために、ハイエンドのＰＥＴ／ＣＴシステムのデータを用いたディープイメージングアプローチを使用するＰＥＴ／ＣＴシステムを提供することにある。
別の利点は、ローエンドのイメージングデータとハイエンドのイメージングデータとを有するハイエンドのＰＥＴ／ＣＴイメージングシステムからのディープイメージングデータセットを用いてトレーニングされるローエンドのＰＥＴ／ＣＴイメージングシステムを提供し、結果として得られるディープイメージングを、ローエンドシステムの画像の日常的なイメージングプロセスに適用することにある。
別の利点は、ハイエンドシステム及びローエンドシステムの両方からのデータセットを組み合わせてディープイメージングニューラルネットワークを共同でトレーニングし、ローエンドシステムからの画像及びその臨床使用（特徴の識別、定量化の改善を含む）を一層改善することにある。
別の利点は、ハイエンドのイメージングシステムからのデータを用いてトレーニングされたローエンドのイメージングシステムを購入することにより、医療施設のコストを低減することにある。
所与の実施形態は、前述の利点のいずれも提供せず、前述の利点の１、２以上、又はすべてを提供することができ、及び／又は本開示を読み理解することによって当業者に明らかになるような他の利点を提供することができる。
本開示は、さまざまなコンポーネント及びコンポーネントの配置、並びにさまざまなステップ及びステップの配置の形をとることができる。図面は、好適な実施形態を例示する目的のためだけであり、開示を限定するものとして解釈されるべきではない。
市販のＰＥＴシステムの製品ラインには、通常、「エントリレベル」から「プレミアム」までのモデルが含まれる。エントリレベルのシステムは、通常は非ＴＯＦであり、つまり、個々のラインオブレスポンス（ＬＯＲ）に沿ったイベントのタイムオブフライトのローカライズに関する情報を取得せず又は活用せず、大きなサイズの検出器シンチレータ結晶を使用して、解像度を大幅に低下させる。一方、プレミアムシステムは、ＬＯＲに沿ってＴＯＦローカリゼーション情報を取得し、この情報を画像再構成に活用し、より小さくて高速なシンチレータ結晶と改善された画像処理を使用して、より良い解像度と全体的により良い画像品質の画像とを提供する。
プレミアムＰＥＴシステムは、通常、広範なリソースを有する医療機関によって購入され運用されており、そのような医療機関で利用可能な広範なトレーニングを受けた人員を採用しており、これは、エントリレベルのシステムと比較して、これらのプレミアムＰＥＴシステムによって得られる画像品質の間の格差を更に拡大させる。
プレミアムレベルのシステムの導入とエントリレベルのシステムの導入の間のこの隔たりは、エントリレベルシステムのハードウェアをアップグレードすることでは解決することができず、その理由は、そのようなハードウェアのアップグレードはコストがかかり、エントリレベルのＰＥＴシステムをエントリレベルの価格で販売する能力を打ち消すからである。
概して、ハードウェアのアップグレードは一般にコストが高いため、エントリレベルのシステムとプレミアムシステムとの間のギャップを埋めるには、処理側のソフトウェアを改善する方が費用対効果が高くなる。しかしながら、プレミアムとエントリレベルの性能の間の低減される相違を分離して定量化することは難しいので、かなりの困難が生じる。相違は、ハードウェアの違い、ワークフローの違い、メンテナンスプロシージャの違いなどに起因する可能性があり、これらのさまざまな違いは、処理の改善による低減の影響を受けやすい場合とそうでない場合がある。処理側の違いは、種類の違い、例えば、非ＴＯＦ対ＴＯＦ再構成の違い、又は再構成中に使用されるフィルタの選択、又はフィルタパラメータに起因する一層とらえがたい違いでありうる。更に、改善された「画像品質」につながる画像内の結果として生じる違いは、同様に不適切に定義されることがある。
以下の開示は、エントリレベルＰＥＴイメージングシステムの画像品質を改善するために、プレミアムＰＥＴイメージングシステムを用いて取得された画像を活用する。開示されるアプローチは、プレミアムＰＥＴイメージングシステムによって生成された画像と比較して、そのようなシステムによって生成された画像間の差異を低減する中間レベル又はエントリレベルのＰＥＴイメージングシステムを改善することが期待される。
開示されたアプローチは、エントリレベルのＰＥＴシステムによって取得された画像を、プレミアムＰＥＴ画像システムによって取得される同等の画像に一層匹敵する画像に変換するように設計されるディープラーニングコンポーネントを提供することである。このコンポーネントを構築するために、同じ対象（人間又はファントム）の第１及び第２の画像が、エントリレベルのＰＥＴシステム（第１のシステム）及びプレミアムＰＥＴシステム（第２のシステム）を使用して、同等の条件下（例えば、同じ放射性医薬品、薬剤投与とイメージングの間の同じ時間間隔、同じイメージングボリューム、同じ画像取得時間など）でそれぞれ取得される。これは、多数の類似する対象、類似するイメージングシナリオ等について反復されて、（第１の画像、第２の画像）対のトレーニングセットを開発することができ、この場合、各第１の画像は、エントリレベルのＰＥＴシステムによって取得され、各第２の画像は、プレミアムＰＥＴシステムを用いて取得される。
目標は、ディープラーニングコンポーネントをトレーニングして、各第１の画像を、対応する第２の画像と可能な限り類似した変換済み第１の画像に変換することである。その後、トレーニングされたディープラーニングコンポーネントが、エントリレベルのＰＥＴシステムによって取得された臨床画像に適用されることにより、かかる臨床画像は、プレミアムＰＥＴシステムを使用して取得される画像により近い画像に変換される。
本明細書に開示される実施形態において、ディープラーニングコンポーネントは、畳み込みニューラルネットワーク（ＣＮＮ）であり、その重みは、エントリレベルＰＥＴシステムによって取得された第１の画像を、最小の損失を有する変換された第１の画像に変換するようにトレーニングされ、損失は、変換された第１の画像と対応する第２の画像との間の差を定量化するメトリックである。一般に、各サンプル（すなわち、各第１／第２画像ペア）ごとの損失は、変換された第１の画像及び第２の画像を空間的に位置合わせし、次いで、平均二乗差又は他の適切な損失メトリックを計算することによって、計算される。可能であれば、損失は事前の知識を含むことができ、例えば臨床ＰＥＴイメージングが、病変を検出することを意図している場合には、そのような病変を有するファントムをイメージング対象とすることができ、損失は、変換された第１の画像又は第２の画像を使用して病変が検出可能である容易さの差を定量化することができる。
アプローチは、プレミアムイメージングシステムから利用可能な画像を活用して、エントリレベルのイメージングシステムによって生成される画像を改善する。有利には、ニューラルネットワークは、既存の画像取得及び処理ワークフローの上に重ねられるため、既存のワークフローの変更は必要ない。更に、ニューラルネットワークのトレーニングにより、手動での分離又は定量化が困難なとらえがたい違いを修正することができる。エントリレベルのイメージングシステムによって生成される画像は、イメージングワークフローのすべての側面を暗黙的に取り込むので、ワークフローのどこにおいても欠陥を具体化する。逆に、プレミアムイメージングシステムからの画像は、「モデル」ワークフローを暗黙的に取り込むので、画像品質を向上させるための適切なトレーニング目標としての役目を果たす。
本開示は、例示的な例としてＰＥＴ又はハイブリッドＰＥＴ／ＣＴイメージングシステムを説明するが、開示されたアプローチは、任意の適切なイメージングシステム（例えば、磁気共鳴（ＭＲ）イメージングシステム、機能ＭＲイメージングシステム、ハイブリッドＰＥＴ／ＭＲシステム、シングルフォトンエミッションコンピュータトモグラフィ（ＳＰＥＣＴ）イメージングシステム、ハイブリッドＳＰＥＣＴ／ＣＴイメージングシステム等）にも適用されることができる。
図１を参照すると、例示の第１の画像取得装置１２は、対象のイメージングデータを取得するように構成され、例示の第２の画像取得装置１４は、対象のイメージングデータを取得するように構成される。第１及び第２の画像取得装置１２及び１４は同一のイメージングモダリティである。例えば、第１及び第２の画像取得装置１２及び１４は、ハイブリッドＰＥＴ／ＣＴシステム、又は任意の他の適切な画像取得装置（例えば、ＭＲ、ハイブリッドＰＥＴ／ＭＲ、ＳＰＥＣＴ、ハイブリッドＳＰＥＣＴ／ＣＴなど）でありうる。目標がＰＥＴ画像を改善することである場合、一方のシステム（ほとんどの場合エントリレベルシステム）がスタンドアロンのＰＥＴイメージング装置であり、もう一方のシステム（ほとんどの場合プレミアムシステム）がＰＥＴ／ＣＴイメージング装置であることが企図され、ＰＥＴ／ＣＴイメージング装置は、ＰＥＴイメージングにおいて使用される減衰マップを生成するためにＣＴモダリティを活用する。
第２の画像取得装置１４は、第１の画像取得装置１２と同等ではない。より具体的には、第１の画像取得装置１２は、第２の画像取得装置１４と比較して「低品質」のイメージング装置である。すなわち、第２のＰＥＴ／ＣＴ装置１４は、第１のＰＥＴ／ＣＴ装置１２により取得される第１のＰＥＴ画像よりも高い画像品質をもつＰＥＴ画像として、第２のイメージングデータを取得するように構成される。一例において、第１の画像取得装置１２は、非ＴＯＦ ＰＥＴイメージング装置でありえ、第２の画像取得装置１４は、ＴＯＦ ＰＥＴイメージング装置である。別の例では、第２の画像取得装置１４は、第２のタイミング解像度を有するＴＯＦＰＥＴイメージング装置であり、第１の画像取得装置１２は、第２のタイミング解像度よりも粗い第１のタイミング解像度を有するＴＯＦ ＰＥＴイメージング装置である。更なる例において、第２の画像取得装置１４は、第１の画像取得装置１２よりも高い空間解像度を有する。磁気共鳴イメージング（ＭＲＩ）スキャナに適した更に別の例として、第１の取得装置は、低磁場（例えば、０．２３テスラ乃至１．５テスラ）ＭＲＩスキャナであり、第２の取得装置は、高磁場（例えば、３．０テスラ以上）のＭＲＩスキャナでありうる。
第１の画像取得装置１２は、本明細書で更に説明される畳み込みＮＮ（又は任意の他の適切なＮＮ）のようなニューラルネットワーク（ＮＮ）１６を使用する。一実施形態において、ＮＮ１６は、画像ドメインでトレーニングされたニューラルネットワークである。第１の画像取得装置１２は更に、コンピュータ、又はワークステーション、又は例えば少なくとも１つの電子プロセッサ２２、少なくとも１つのユーザ入力装置（例えば、マウス、キーボード、トラックボール等）２０、及び表示装置２４のような典型的なコンポーネントを有する他の電子データ処理装置１８を有する。いくつかの実施形態において、表示装置２４は、コンピュータ１８とは別個のコンポーネントでありうる。
患者診断、治療モニタリング、又は他の臨床目的のための臨床画像を生成するために、少なくとも１つの電子プロセッサ２０は、第１のイメージング方法又はプロセス１００を使用してイメージングデータを再構成して再構成画像を生成し、次いで、トレーニングされたＮＮ１６を再構成画像に適用して臨床画像を生成することによって、変換された対象画像を生成するようにイメージングデータを処理するようにプログラムされる。変形実施形態（表示せず）において、画像再構成の前に、イメージングデータドメインのトレーニング済みＮＮが、イメージングデータに適用されて、変換されたイメージングデータが生成され、次いで、変換されたイメージングデータが再構成され、臨床画像が生成される。いずれの場合も、表示装置２４は、臨床画像を適切に表示する。
典型的な意図されたシナリオでは、第１の画像取得装置１２は、病院、クリニック、又は例えば外傷センタではない又は低レベルの外傷センタである郊外の病院のようなわずかなリソースしかもたない他の医療機関（囲み破線のボックス６によって概略的に示される）によって所有される（又はリースされる或いは他のやり方で調達される）エントリレベルのイメージング装置である。これとは対照的に、第２の画像取得装置１４は、病院、クリニック、又はより広範なリソースを有する他の医療機関、例えば、実質的に進行中の臨床研究及び関連する助成金収入を有する一流の教育病院、高水準の地域外傷センタなど（囲み破線のボックス８によって図示される）によって所有される（又はリースされる、若しくは他のやり方で調達される）プレミアムイメージング装置である。これは典型的な想定シナリオであり、本明細書では例示的な実施形態として参照されるが、より一般的には、第１及び第２の取得装置は、異なる機能を備えた同じイメージングモダリティの別個のイメージング装置であり、第２のイメージング装置は、より高い臨床効果をもつ、より高品質の画像を生成する点で「より良い」と考えられる。更に、第１及び第２のイメージング装置は、同じ病院、同じクリニック、又は同じ医療機関によって所有される（又はリースされる若しくは他のやり方で調達される）ことが企図される。
ＮＮ１６のトレーニングは、（例えばプレミアム）画像取得装置により取得された第２のトレーニング画像１４を、ＮＮ１６の「ターゲット出力」として利用する。第２のトレーニング画像は、第２のイメージング方法又はプロセス２００を使用して第２の画像取得装置１４により生成され、第２のイメージング方法又はプロセス２００は、第１（例えばエントリレベル）の画像取得装置１２で用いられる第１のイメージング方法又はプロセス１００と大きく異なるものでありうる。例えば、一実施形態において、第１の画像イメージング方法又はプロセス１００は、ＴＯＦローカライゼーション情報を提供しないエントリレベル画像取得装置１２により取得されるイメージングデータの非ＴＯＦ画像再構成を使用する。一方、第２の画像イメージング方法又はプロセス２００は、その検出されたイベントのＴＯＦローカライゼーション情報を提供するプレミアム画像取得装置１４により取得されるイメージングデータのＴＯＦ画像再構成を使用する。第２のイメージング方法又はプロセス２００は、より複雑な画像再構成を使用することができ、例えば、プレミアムＴＯＦ ＰＥＴイメージング装置を通常調達するタイプの医療機関の広範なリソースの一部として利用可能又はアクセス可能な高速ネットワークサーバコンピュータ２６上に実装される。これらの技術的な違いの他に、２つのイメージング方法又はプロセス１００、２００は、フィルタ、フィルタパラメータ、その他の異なる選択肢を用いて人員によって実行されることができる。
図１を引き続き参照して、トレーニング済みニューラルネットワーク１６は、第１の画像取得装置１２により１又は複数のトレーニング対象について取得された第１の（トレーニング）画像（すなわち、トレーニング画像）を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第２の画像取得装置１４により１又は複数のトレーニング対象について（同じ）取得された第２のトレーニング画像とを比較する、当該変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される。「最小化」という語は、完全な最小値を必要としないことを理解されたい（例えば、ＮＮの重みを調整して差分メトリックを小さくし、停止基準が満たされるまで実行するように動作する反復最適化アルゴリズムによって生成されるに十分である；例えば、差分メトリック値の反復と反復との間の変化が、ある閾値を下回る、及び／又は、差分メトリックの絶対値が、ある閾値を下回る、など）。
ＮＮ１６のトレーニングは、ニューラルネットワークトレーナ３０を実装する例示的なサーバコンピュータ又は他の電子データ処理装置２８によって適切に実現される。例示的な実施形態において、サーバコンピュータ２８及びトレーニング３０は、囲み破線のボックス１０によって概略的に示される第３のエンティティによって所有される（又はリースされる若しくは他のやり方で調達される）。この第３のエンティティ１０は、例えば、イメージング装置１２、１４を各医療機関６、８に販売する又はリースするベンダでありうる。この企図される構成において、第２の画像取得装置１４を所有する機関８は、購入契約の下で、又は研究開発（Ｒ＆Ｄ）契約などの一部として、第２のトレーニング画像をイメージング装置ベンダ１０に供給する。例えば、ベンダ１０は、第２の画像取得装置１４を所有する施設８と契約し、かかる第２の画像取得装置１４は、第２のイメージング方法又はプロセス２００を具体化する標準的な臨床画像化プロトコルを使用して、イメージングファントムの標準セット（例えば、種々の臨床タスクのためにイメージングされることが期待される胴体、頭部、又は他の解剖学的領域を表す）をイメージングすることにより、第２のトレーニング画像を生成する。第１のトレーニング画像は、第１の画像取得装置１２のインストール中、第１の画像取得装置１００により同じ組のイメージングファントムについて取得されることができ、又は、第１のイメージング方法又はプロセス１２を実施する第１の施設６の標準的な臨床イメージングプロトコルの後に行われる追加の処理ステップとして画像品質改善ＮＮ１６が追加される「レトロフィット」プロセスの一部として、インストールのかなり後に取得されることができる。これは単なる例示的な例であり、さまざまな機関又はエンティティ６、８、１０間の他の構成及び関連付けが企図される。例えば、別の企図される構成では、第２の画像取得装置１４を所有する医療機関８は、例えば、医療画像コミュニティ全体に対するサービスとして、ＮＮトレーニング３０を実行するエンティティ１０でありうる。（この場合、２つの機関８、１０は同一であり、２つの処理装置２６、２８は、同一のコンピュータサーバ又は別のコンピュータサーバでありうる）。
ニューラルネットワークトレーナ３０は、任意の適切なニューラルネットワークトレーニングアルゴリズムを使用することができ、例えば、（基準）第２のトレーニング画像とニューラルネットワークによって変換された第１のトレーニング画像の類似性を定量化する損失メトリックを、（例えば、勾配降下法、ニュートン法、又は他の反復最小化アルゴリズムを使用して）最小化するために、（逆伝搬）ネットワークを介した誤差の伝播、又はニューラルネットワークの重みの反復最適化を伴う同様の技術を使用する。ニューラルネットワークトレーナ３０の出力は、トレーニング済みニューラルネットワーク１６である（例えば、ニューラルネットワークトポロジー又はそのトポロジのポインタ又は識別子とニューラルネットワークの最適化された重みとを記憶するデータファイルとして記憶される）。トレーニング済みニューラルネットワーク１６は、第１のイメージング方法又はプロセス１００によって出力された画像を、改善された画像品質を有する臨床画像に変換するために後で使用するために、コンピュータ１８にロードされる。
別の実施形態（図示せず）において、ＮＮは、トレーニング済みのイメージングデータドメインのニューラルネットワークである。イメージングデータドメインのトレーニング済みニューラルネットワークは、第１の画像取得装置１２により１又は複数のトレーニング対象について取得された第１のイメージングデータ（つまり、トレーニングイメージングデータ）を、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニングイメージングデータと、第２のイメージング装置により１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する、前記変換された第１のトレーニングイメージングデータの差分メトリックが、トレーニングによって最小化される。ＮＮ１６をトレーニングする処理は、以下により詳しく記載される。
少なくとも１つの電子プロセッサ２０、サーバコンピュータ２６、及び／又はサーバコンピュータ２８は、第１のイメージング方法又はプロセス１００及び第２のイメージング方法１６を実行することを含む開示された処理を実行し、ＮＮ２００をトレーニングするために読み取り可能かつ実行可能な命令を記憶する非一時的記憶媒体（図示せず）に動作可能に接続される。非一時的な記憶媒体は、例えば、ハードディスクドライブ、ＲＡＩＤ若しくは他の磁気記憶媒体、ソリッドステートドライブ、フラッシュドライブ、電子的に消去可能な読み取り専用メモリ（ＥＥＲＯＭ）、又は光ディスク又はその他の光学ストレージのようなその他の電子メモリ、それらのさまざまな組み合わせ等を含みうる。いくつかの例において、イメージング方法又はプロセス１００又は２００は、クラウド処理によって実行されることができる。
図２を参照すると、臨床画像を改善するための例示のニューラルネットワークのトレーニング及びトレーニング済みニューラルネットワーク１６の使用例が、フローチャートとして概略的に示されている。ステップ１０２において、第１の画像取得装置１２（イメージングデータの再構成、再構成後のフィルタリング、及び／又はその他を含み得る第１のイメージング方法又はプロセス１００による処理を含む）を用いて、１又は複数のイメージング対象の第１のトレーニング画像が取得される。
ステップ１０４において、第２の画像取得装置１４（イメージングデータの再構成、再構成後フィルタリングなどを含む第２のイメージング方法又はプロセス２００による処理を含む）を用いて、第１のトレーニング画像と同一の１又は複数のイメージング対象の第２のトレーニング画像が取得される。第１及び第２のトレーニング画像（のセット）が十分に同等であるためには、同じイメージング対象がイメージングされなければならず、一般に、イメージング対象は、１又は複数のイメージングファントム、すなわち、人間の臓器及び組織の特性を模倣するように構成された製品、及び（ＰＥＴ又はＳＰＥＣＴ画像用）であって、ヒト対象に投与される放射性医薬品を模倣する方法で放射性医薬品を受け取るための貯蔵容器、アセンブリ、又は吸収性材料を含むものであることが最も都合がよいと予想される。しかしながら、適切なヒト対象が、両方の施設６、８でのイメージングのために利用可能である場合、イメージング対象は、実際のヒトイメージング対象でありうる。第１及び第２の画像取得装置１２及び１４は更に、第１及び第２のトレーニング画像（のセット）が十分に同等であるようにするために、同じイメージングモダリティのものである。一例では、第１の画像取得装置１２及び第２の画像取得装置１４は、それぞれＰＥＴ／ＣＴイメージング装置である。第２のＰＥＴ／ＣＴ装置１４は、第２のトレーニング画像を、第１のＰＥＴ／ＣＴ装置１２により取得される第１のＰＥＴトレーニング画像よりも高い画像品質のＰＥＴ画像として取得するように構成される。別の例では、第１の画像取得装置１２は、非ＴＯＦ ＰＥＴイメージング装置であり、第１のトレーニング画像の取得は、前記第１の画像取得装置により取得される非ＴＯＦ ＰＥＴイメージングデータの再構成を含み、かかる再構成により、前記第１のトレーニング画像をＴＯＦローカライゼーションを利用することなく生成する。第２の画像取得装置１４は、ＴＯＦ ＰＥＴイメージング装置であり、第２のトレーニング画像の取得は、ＴＯＦローカライゼーションを利用して第２のイメージング装置により取得されるＴＯＦ ＰＥＴイメージングデータを再構成することを含む。
ニューラルネットワークのトレーニング３０は、図２の例示の方法において、例示的な処理１０６、１０８、１１０によって実現される。ステップ１０６において、いくつかの実施形態では、第１のトレーニング画像は、第１のトレーニング画像よりも高い解像度を有することができる第２のトレーニング画像に合致するように、その解像度（例えば、画像内の多数のピクセル又はボクセル）を高めるためにアップサンプリングされる。（ステップ１０６は、第１及び第２のトレーニング画像が同じ解像度のものである場合、又はニューラルネットワーク１６が統合されたアップサンプリングを組み込んでいる場合には省略されることができる）。
ステップ１０８において、アップサンプリングされた第１のイメージングデータは、第２のイメージングデータと空間的に位置合わせされる。例えば、第１及び第２のトレーニング画像は、共通の画像空間において位置合わせされる。
ステップ１１０において、ＮＮ１６は、第１のトレーニング画像を、変換された第１のトレーニング画像に変換するようにトレーニングされ、変換された第１のトレーニング画像は、当該変換された第１のトレーニング画像及び第２のトレーニング画像を比較する差分メトリックの最小値を有する。差分メトリックは、変換された第１のトレーニング画像を第２のトレーニング画像と比較する任意の適切な画像比較メトリック、例えば、ピクセルごとの差分メトリックでありうる。エッジなどの特徴は通常臨床画像において重要であるので、例えば最初にエッジ検出アルゴリズムを画像に適用し、次にエッジ変換された画像を比較することによって、そのような特徴を強調する差分メトリックが選択されることができる。臨床医にとって最も価値があると予期される画像特性に応じて、個々の異なる臨床応用についてＮＮをトレーニングするために個々の異なる差分メトリックを使用することが企図される。ＮＮ１６の重みは、差分メトリックの値を最小にするようにトレーニングによって調整されるので、トレーニング済みＮＮ１６の動作は、第１のトレーニング画像を第２のトレーニング画像と同様であるように変換することができる。いくつかの例において、ＮＮ１６は、畳み込みＮＮ（ＣＮＮ）である。得られたトレーニング済みＮＮ１６は、サーバコンピュータ２８から第１の画像取得装置１２のコンピュータ１８に通信される（図２に示されていないステップ）。
図２を引き続き参照して、機関６で適切に実行されるステップの組１１１は、トレーニング済みＮＮ１６の適切な適用を示す。ステップ１１２において、臨床対象の臨床画像が、第１のイメージング装置１２によって取得される（ステップ１０２のような第１のイメージング方法又はプロセス１００による処理を含む）。ステップ１１４において、トレーニングによって生成されたＮＮ１６は、臨床分析又は使用のために医師、腫瘍医、心臓医、又は他の臨床医に提示される臨床画像を生成するために、第１のイメージング方法又はプロセス１００によって出力される臨床画像に適用される。ステップ１１６において、臨床画像が表示装置２４に表示される。変換された臨床画像は、画像保管通信システム（ＰＡＣＳ）に保存されるか、他の方法で利用されることができる。
例示的な一例において、第１の画像取得装置１２は、結晶特性、タイミング分解能、あまり洗練されていない再構成及び処理アルゴリズム、又は他のイメージング特性に起因する最先端の性能に満たない、Geminiシステム又はIngenuity TFシステム（オランダ、アイントホーフェン所在のKoninklijke Philips N.V.から入手可能）などのハイブリッドＰＥＴ／ＣＴシステムでありうる。第２の画像取得装置１４は、Vereos Digital PET（Koninklijke Philips NVから同様に入手可能）のような、第１の画像取得装置１２よりも優れた性能特性を有する任意の適切なイメージングシステムでありうる。トレーニング済みＮＮ１６を用いることにより、第１の画像取得装置１２によって取得された画像は、第２の画像取得装置１４によって取得された画像と一層同等なものにされることができる。
いくつかの例では、第１の画像取得装置１２は、約５００−６００ピコ秒（ｐｓ）のタイミング分解能でフォトマルチプライヤの読み出しを行う数値ベースの性能ＬＹＳＯ結晶ＰＥＴシステムである。第２の画像取得装置１４は、３２５ピコ秒ＴＯＦ解像度を有するPereos Digital PETシステムである。ＮＮ１６は、Vereosシステムからのイメージングデータを用いてトレーニングされ、Garnetシステムに適用される。これにより、Garnetシステムは、TOF Premium PETシステムにより近い画像品質を実現する。
本開示は、好適な実施形態を参照して説明された。当業者であれば、前述の詳細な説明を読み理解することにより、修正及び変更が思いつくであろう。本発明は、それらが添付の特許請求の範囲又はその均等物の範囲内にある限り、そのようなすべての修正及び変更を含むものとして解釈されることが意図される。
Claims (20)
- 第１の画像取得装置を使用して、１又は複数のイメージング対象の第１のトレーニング画像を取得するステップと、
前記第１の画像取得装置と同じイメージングモダリティの第２の画像取得装置を使用して、前記第１のトレーニング画像と同じ１又は複数のイメージング対象の第２のトレーニング画像を取得するステップと、
ニューラルネットワーク（ＮＮ）をトレーニングして、前記第１のトレーニング画像を、変換された第１トレーニング画像に変換するステップであって、前記変換された第１トレーニング画像は、当該変換された第１トレーニング画像及び前記第２トレーニング画像を比較する差分メトリックの最小値を有する、ステップと、
を有するイメージング方法。 - 前記第１の画像取得装置を使用して臨床対象の臨床画像を取得するステップと、
前記トレーニングによって生成されたニューラルネットワークを前記臨床画像に適用して、変換された臨床画像を生成するステップと、
前記変換された臨床画像を表示するステップと、
を更に有する、請求項１に記載の方法。 - 前記トレーニングに先立って、前記第１のトレーニング画像及び前記第２のトレーニング画像を共通の画像空間において位置合わせするステップ、を更に有する、請求項１又は２に記載の方法。
- 前記１又は複数のイメージング対象が、人間のイメージング対象及びイメージングファントムの少なくとも一方である、請求項１乃至３のいずれか１項に記載の方法。
- 前記第２のトレーニング画像が前記第１のトレーニング画像よりも高い解像度を有し、前記方法が更に、
前記位置合わせに先立って、前記第２のトレーニング画像と合致するように、前記第１のトレーニング画像をアップサンプリングしてその解像度を上げるステップと、
前記アップサンプリングされた第１のトレーニング画像を前記第２のトレーニング画像と位置合わせするステップと、
を有する、請求項１乃至４のいずれか１項に記載の方法。 - 前記第１の画像取得装置は、非ＴＯＦ（非タイムオブフライト）のポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第１のトレーニング画像の取得は、前記第１の画像取得装置によって取得される非ＴＯＦ ＰＥＴイメージングデータを再構成して、ＴＯＦローカリゼーションを利用せずに前記第１のトレーニング画像を生成することを含み、
前記第２の画像取得装置は、ＴＯＦ ＰＥＴイメージング装置であり、前記第２のトレーニング画像の取得は、ＴＯＦローカリゼーションを利用して、前記第２の画像取得装置によって取得されたＴＯＦ ＰＥＴイメージングデータを再構成することを含む、請求項１乃至５のいずれか１項に記載の方法。 - 前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記第１の画像取得装置及び前記第２の画像取得装置は、それぞれがポジトロンエミッショントモグラフィ／コンピュータトモグラフィ（ＰＥＴ／ＣＴ）イメージング装置であり、前記第２のＰＥＴ／ＣＴ装置は、前記第１のＰＥＴ／ＣＴ装置によって取得された前記第１のＰＥＴトレーニング画像よりも画像品質の高いＰＥＴ画像として前記第２のトレーニング画像を取得するように構成されている、請求項１乃至６のいずれか１項に記載の方法。
- イメージング方法を実行するための、少なくとも１つの電子プロセッサによって読み取り可能及び実行可能な命令を保存する非一時的コンピュータ可読媒体であって、前記イメージング方法が、
第１の画像取得装置を使用して対象の対象画像を取得するステップと、
トレーニング済みニューラルネットワークを対象画像に適用して、変換された対象画像を生成するステップと、
前記変換された対象画像を表示するステップと、を有し、
前記トレーニング済みニューラルネットワークは、第１の画像取得装置によって又は同等の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１トレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニング画像と、前記第１のイメージング装置と同等でない第２の画像取得装置によって前記１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する、前記変換された第１のトレーニング画像の差分メトリックの値が、前記トレーニングによって最小化される、コンピュータ可読媒体。 - 前記第１のトレーニング画像が前記第１の画像取得装置によって取得される、請求項８に記載の非一時的コンピュータ可読媒体。
- 前記第１の画像取得装置及び前記同等の画像取得装置は、共通のイメージング構成をもつ共通の装置モデルであり、
前記第１の画像取得装置及び前記第２の画像取得装置は、異なるイメージング構成の異なる装置モデルである、請求項８又は９に記載の非一時的コンピュータ可読媒体。 - 前記第２の画像取得装置が、タイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第２のトレーニング画像が、ＴＯＦ ＰＥＴトレーニング画像であり、
前記第１の画像取得装置が、非ＴＯＦ ＰＥＴイメージング装置であり、前記第１のトレーニング画像が非ＴＯＦ画像であり、前記対象画像が非ＴＯＦ画像であるという点で少なくとも、前記第２の画像取得装置は前記第１の画像取得装置と同等ではない、請求項１０に記載の非一時的コンピュータ可読媒体。 - 前記第２の画像取得装置が、第２のタイミング解像度をもつタイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、
前記第１の画像取得装置が、第２のタイミング解像度よりも粗い第１の時間解像度をもつＴＯＦ ＰＥＴイメージング装置であるという点で少なくとも、前記第２の画像取得装置は前記第１の画像取得装置と同等ではない、請求項１０又は１１に記載の非一時的コンピュータ可読媒体。 - 前記第２の画像取得装置が前記第１の画像取得装置よりも高い空間分解能を有し、前記第２のトレーニング画像が前記第１のトレーニング画像よりも高い空間分解能を有し、前記第２のトレーニング画像が前記対象画像よりも高い空間分解能を有するという点で少なくとも、前記第２の画像取得装置は前記第１の画像取得装置と同等ではない、請求項１０乃至１２のいずれか１項に記載の非一時的コンピュータ可読媒体。
- 前記トレーニング済みニューラルネットワークが、トレーニング済み畳み込みニューラルネットワークである、請求項８乃至１３のいずれか１項に記載の非一時的コンピュータ可読媒体。
- 対象のイメージングデータを取得するように構成される第１の画像取得装置と、
少なくとも１つの電子プロセッサであって、
（ｉ）前記イメージングデータを再構成して再構成画像を生成し、画像ドメインのトレーニング済みニューラルネットワークを前記再構成画像に適用すること、又は（ｉｉ）イメージングデータドメインのトレーニング済みニューラルネットワークを前記イメージングデータに適用して、変換されたイメージングデータを再構成すること、のうち一方によって、変換された対象画像を生成するように前記イメージングデータを処理するステップと、
前記変換された対象画像を表示するように表示装置を制御するステップと、
を実行するようにプログラムされる少なくとも１つの電子プロセッサと、
を有し、
（ｉａ）前記画像ドメインのトレーニング済みニューラルネットワークは、前記第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニング画像と、前記第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する、前記変換された第１のトレーニング画像の差分メトリックの値が、前記トレーニングによって最小化される、又は
（ｉｉａ）前記イメージングデータドメインのトレーニング済みニューラルネットワークは、前記第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニングイメージングデータを、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニングイメージングデータと、前記第２のイメージング装置によって前記１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する、前記変換された第１のトレーニングイメージングデータの差分メトリックは、前記トレーニングによって最小化される、
の一方により構成される、イメージングシステム。 - 前記画像ドメインのトレーニング済みニューラルネットワークは、前記第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニング画像と、前記第２の画像取得装置によって前記１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する、前記変換された第１のトレーニング画像の差分メトリックの値が、前記トレーニングによって最小化される、請求項１５に記載のイメージングシステム。
- 前記イメージングデータドメインのトレーニング済みニューラルネットワークは、前記第１のイメージング装置によって１又は複数のトレーニング対象について取得された第１のトレーニングイメージングデータを、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニングイメージングデータと前記第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する、前記変換された第１のトレーニングイメージングデータの差分メトリックの値が、前記トレーニングによって最小化される、請求項１５に記載のイメージングシステム。
- 前記第２の画像取得装置が、タイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第２の画像取得装置が、非ＴＯＦ ＰＥＴイメージング装置である、請求項１５乃至１７のいずれか１項に記載のイメージングシステム。
- 前記第２の画像取得装置が、第２のタイミング分解能を有するタイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第１の画像取得装置が、前記第２のタイミング分解能より粗い第１のタイミング分解能を有するＴＯＦ ＰＥＴイメージング装置である、請求項１５乃至１７のいずれか１項に記載のイメージングシステム。
- 前記第２の画像取得装置が、前記第１の画像取得装置よりも高い空間分解能を有する、請求項１５乃至１９のいずれか１項に記載のイメージングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023102525A JP2023129412A (ja) | 2017-10-23 | 2023-06-22 | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762575547P | 2017-10-23 | 2017-10-23 | |
| US62/575,547 | 2017-10-23 | ||
| PCT/EP2018/078126 WO2019081256A1 (en) | 2017-10-23 | 2018-10-16 | OPTIMIZING THE DESIGN OF POSITRON EMISSION TOMOGRAPHY (PET) SYSTEMS USING DEEP IMAGING |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023102525A Division JP2023129412A (ja) | 2017-10-23 | 2023-06-22 | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021500547A true JP2021500547A (ja) | 2021-01-07 |
| JP7324195B2 JP7324195B2 (ja) | 2023-08-09 |
Family
ID=63896148
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020521895A Active JP7324195B2 (ja) | 2017-10-23 | 2018-10-16 | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 |
| JP2023102525A Pending JP2023129412A (ja) | 2017-10-23 | 2023-06-22 | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023102525A Pending JP2023129412A (ja) | 2017-10-23 | 2023-06-22 | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11748598B2 (ja) |
| EP (1) | EP3700425B1 (ja) |
| JP (2) | JP7324195B2 (ja) |
| CN (1) | CN111447877A (ja) |
| WO (1) | WO2019081256A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102675806B1 (ko) * | 2019-05-03 | 2024-06-18 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US11255985B2 (en) | 2019-05-31 | 2022-02-22 | Canon Medical Systems Corporation | Method and apparatus to use a broad-spectrum energy source to correct a nonlinear energy response of a gamma-ray detector |
| CN112014870A (zh) * | 2019-05-31 | 2020-12-01 | 佳能医疗系统株式会社 | 放射线检测装置、能量校正方法以及程序 |
| JP7254656B2 (ja) * | 2019-07-18 | 2023-04-10 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像診断装置及び核医学診断装置 |
| US11574184B2 (en) * | 2019-09-13 | 2023-02-07 | Siemens Medical Solutions Usa, Inc. | Multi-modal reconstruction network |
| US11604986B2 (en) * | 2020-02-28 | 2023-03-14 | International Business Machines Corporation | Blockchain-enabled decentralized ecosystem for secure training of deep neural networks using trusted execution environments |
| US20230260141A1 (en) * | 2022-02-16 | 2023-08-17 | Siemens Medical Solutions Usa, Inc. | Deep learning for registering anatomical to functional images |
| US20230342932A1 (en) * | 2022-04-21 | 2023-10-26 | Optum Services (Ireland) Limited | Enhanced calibration of imaging device output |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050100208A1 (en) * | 2003-11-10 | 2005-05-12 | University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
| JP2012021977A (ja) * | 2010-06-16 | 2012-02-02 | Toshiba Corp | Ｔｏｆ―ｐｅｔ装置、検出器リング、及び検出器 |
| JP2014048267A (ja) * | 2012-09-04 | 2014-03-17 | Natl Inst Of Radiological Sciences | Ｐｅｔ装置における同時計数判定方法及び装置 |
| JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
| US20160210749A1 (en) * | 2015-01-21 | 2016-07-21 | Siemens Aktiengesellschaft | Method and system for cross-domain synthesis of medical images using contextual deep network |
| JP2017113182A (ja) * | 2015-12-22 | 2017-06-29 | 高知県公立大学法人 | Ｍｒ画像の超解像化システム |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6959109B2 (en) * | 2002-06-20 | 2005-10-25 | Identix Incorporated | System and method for pose-angle estimation |
| DE102005023907A1 (de) * | 2005-05-24 | 2006-12-07 | Siemens Ag | Verfahren zur Ermittlung von Positronen-Emissions-Messinformationen im Rahmen der Positronen-Emissions-Tomographie |
| RU2527211C2 (ru) * | 2009-06-08 | 2014-08-27 | Конинклейке Филипс Электроникс Н.В. | Реконструкция времяпролетной позитронно-эмиссионной томографии с помощью содержания изображения, формируемого поэтапно на основе времяпролетной информации |
| US8483992B2 (en) * | 2011-04-28 | 2013-07-09 | Kabushiki Kaisha Toshiba | Analytical computation of geometric normalization factor for TOF-PET |
| US8620404B2 (en) * | 2011-07-26 | 2013-12-31 | Wisconsin Alumni Research Foundation | System and method of high-frame rate, time-resolved, three-dimensional magnetic resonance angiograpy |
| US20130051516A1 (en) | 2011-08-31 | 2013-02-28 | Carestream Health, Inc. | Noise suppression for low x-ray dose cone-beam image reconstruction |
| EP2890300B1 (en) * | 2012-08-31 | 2019-01-02 | Kenji Suzuki | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
| US9700219B2 (en) | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| JP6486953B2 (ja) * | 2014-01-29 | 2019-03-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 画像データにおける運動構造をセグメント化する方法、対象運動構造セグメンター及び記憶媒体 |
| WO2016033458A1 (en) | 2014-08-29 | 2016-03-03 | The University Of North Carolina At Chapel Hill | Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr) |
| US9922272B2 (en) | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| CN107205624B (zh) * | 2014-10-29 | 2019-08-06 | 光谱Md公司 | 用于组织分类的反射式多光谱时间分辨光学成像方法和装备 |
| JP2018505705A (ja) | 2014-12-10 | 2018-03-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 |
| WO2017042650A2 (en) * | 2015-09-09 | 2017-03-16 | Koninklijke Philips N.V. | System and method for planning and performing a repeat interventional procedure |
| US9916525B2 (en) | 2015-10-13 | 2018-03-13 | Siemens Healthcare Gmbh | Learning-based framework for personalized image quality evaluation and optimization |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| US20180060512A1 (en) * | 2016-08-29 | 2018-03-01 | Jeffrey Sorenson | System and method for medical imaging informatics peer review system |
| JP6688536B2 (ja) * | 2016-09-07 | 2020-04-28 | エレクタ、インク.Elekta, Inc. | 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法 |
| CN107137102B (zh) * | 2016-12-29 | 2021-02-02 | 上海联影医疗科技股份有限公司 | 一种pet成像系统及多模态医学图像处理系统 |
| US10769551B2 (en) * | 2017-01-09 | 2020-09-08 | International Business Machines Corporation | Training data set determination |
| US10826934B2 (en) * | 2017-01-10 | 2020-11-03 | Crowdstrike, Inc. | Validation-based determination of computational models |
| CN106887025B (zh) * | 2017-01-16 | 2019-06-11 | 浙江大学 | 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法 |
| US10096109B1 (en) | 2017-03-31 | 2018-10-09 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of medical images using multi-contrast and deep learning |
| US20180330233A1 (en) * | 2017-05-11 | 2018-11-15 | General Electric Company | Machine learning based scatter correction |
-
2018
- 2018-10-16 EP EP18789081.9A patent/EP3700425B1/en active Active
- 2018-10-16 CN CN201880075937.1A patent/CN111447877A/zh active Pending
- 2018-10-16 WO PCT/EP2018/078126 patent/WO2019081256A1/en unknown
- 2018-10-16 US US16/758,000 patent/US11748598B2/en active Active
- 2018-10-16 JP JP2020521895A patent/JP7324195B2/ja active Active
-
2023
- 2023-06-22 JP JP2023102525A patent/JP2023129412A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050100208A1 (en) * | 2003-11-10 | 2005-05-12 | University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
| JP2012021977A (ja) * | 2010-06-16 | 2012-02-02 | Toshiba Corp | Ｔｏｆ―ｐｅｔ装置、検出器リング、及び検出器 |
| JP2014048267A (ja) * | 2012-09-04 | 2014-03-17 | Natl Inst Of Radiological Sciences | Ｐｅｔ装置における同時計数判定方法及び装置 |
| JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
| US20160210749A1 (en) * | 2015-01-21 | 2016-07-21 | Siemens Aktiengesellschaft | Method and system for cross-domain synthesis of medical images using contextual deep network |
| JP2017113182A (ja) * | 2015-12-22 | 2017-06-29 | 高知県公立大学法人 | Ｍｒ画像の超解像化システム |
Non-Patent Citations (1)
| Title |
|---|
| DONG CHAO ET AL.: "Image Super-Resolution Using Deep Convolutional Networks", IEEE TRANSACTIONS ON PATTERN NALYSIS AND MACHINE INTELLIGENCE, vol. 38, no. 2, JPN6022042752, February 2016 (2016-02-01), pages 295 - 307, XP055559563, ISSN: 0004998502, DOI: 10.1109/TPAMI.2015.2439281 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111447877A (zh) | 2020-07-24 |
| JP7324195B2 (ja) | 2023-08-09 |
| JP2023129412A (ja) | 2023-09-14 |
| US11748598B2 (en) | 2023-09-05 |
| US20200289077A1 (en) | 2020-09-17 |
| EP3700425A1 (en) | 2020-09-02 |
| WO2019081256A1 (en) | 2019-05-02 |
| EP3700425B1 (en) | 2023-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7324195B2 (ja) | ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 | |
| Wang et al. | A review on medical imaging synthesis using deep learning and its clinical applications | |
| Roy et al. | QuickNAT: A fully convolutional network for quick and accurate segmentation of neuroanatomy | |
| Yang et al. | Joint correction of attenuation and scatter in image space using deep convolutional neural networks for dedicated brain 18F-FDG PET | |
| CN109009200B (zh) | 用于正电子发射断层成像图像重建的系统和方法 | |
| Vandemeulebroucke et al. | Spatiotemporal motion estimation for respiratory‐correlated imaging of the lungs | |
| US20170372193A1 (en) | Image Correction Using A Deep Generative Machine-Learning Model | |
| Aide et al. | New PET technologies–embracing progress and pushing the limits | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| Liu et al. | Deep learning with noise‐to‐noise training for denoising in SPECT myocardial perfusion imaging | |
| Le Pogam et al. | Evaluation of a 3D local multiresolution algorithm for the correction of partial volume effects in positron emission tomography | |
| CN104252714A (zh) | 时变数据的重建 | |
| Dey et al. | Estimation and correction of cardiac respiratory motion in SPECT in the presence of limited‐angle effects due to irregular respiration | |
| Ladefoged et al. | Low-dose PET image noise reduction using deep learning: application to cardiac viability FDG imaging in patients with ischemic heart disease | |
| Marinelli et al. | Automatic PET‐CT Image Registration Method Based on Mutual Information and Genetic Algorithms | |
| Farrag et al. | Evaluation of fully automated myocardial segmentation techniques in native and contrast‐enhanced T1‐mapping cardiovascular magnetic resonance images using fully convolutional neural networks | |
| Habert et al. | Optimization of brain PET imaging for a multicentre trial: the French CATI experience | |
| Bustamante et al. | Automatic time‐resolved cardiovascular segmentation of 4D flow MRI using deep learning | |
| Guo et al. | Thoracic CT‐MRI coregistration for regional pulmonary structure–function measurements of obstructive lung disease | |
| Yu et al. | Radiation dose reduction in pediatric body CT using iterative reconstruction and a novel image-based denoising method | |
| Torkaman et al. | Direct image-based attenuation correction using conditional generative adversarial network for SPECT myocardial perfusion imaging | |
| Atuegwu et al. | Longitudinal, intermodality registration of quantitative breast PET and MRI data acquired before and during neoadjuvant chemotherapy: preliminary results | |
| US10229500B2 (en) | Incorporation of statistical strength into voxels in an fMRI image | |
| Pourmoghaddas et al. | Respiratory phase alignment improves blood‐flow quantification in Rb82 PET myocardial perfusion imaging | |
| WO2023219963A1 (en) | Deep learning-based enhancement of multispectral magnetic resonance imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7324195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |