JP2020527060A - ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 - Google Patents
ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 Download PDFInfo
- Publication number
- JP2020527060A JP2020527060A JP2019572231A JP2019572231A JP2020527060A JP 2020527060 A JP2020527060 A JP 2020527060A JP 2019572231 A JP2019572231 A JP 2019572231A JP 2019572231 A JP2019572231 A JP 2019572231A JP 2020527060 A JP2020527060 A JP 2020527060A
- Authority
- JP
- Japan
- Prior art keywords
- artifact
- computed tomography
- patient
- image
- cone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 131
- 238000013527 convolutional neural network Methods 0.000 title claims description 68
- 230000002829 reductive effect Effects 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000002591 computed tomography Methods 0.000 claims description 66
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 210000003484 anatomy Anatomy 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005094 computer simulation Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000001959 radiotherapy Methods 0.000 description 110
- 230000000875 corresponding effect Effects 0.000 description 79
- 238000011282 treatment Methods 0.000 description 63
- 230000015654 memory Effects 0.000 description 44
- 238000012545 processing Methods 0.000 description 37
- 230000005855 radiation Effects 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 30
- 206010028980 Neoplasm Diseases 0.000 description 28
- 238000004891 communication Methods 0.000 description 28
- 238000002595 magnetic resonance imaging Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 17
- 230000005291 magnetic effect Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 10
- 238000011084 recovery Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012636 positron electron tomography Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000001225 therapeutic effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002721 intensity-modulated radiation therapy Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000013929 Psidium pyriferum Nutrition 0.000 description 1
- 244000236580 Psidium pyriferum Species 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 231100000673 dose–response relationship Toxicity 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 238000012831 peritoneal equilibrium test Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012877 positron emission topography Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000002673 radiosurgery Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5282—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
- A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Radiation-Therapy Devices (AREA)
- Image Processing (AREA)
Abstract
【選択図】図9B
Description
[0001]
この出願は、2017年6月26日に出願された米国仮出願第62/524,933号の優先権の利益を主張し、その開示は参照により本明細書に全体が組み込まれる。
[0002]
本発明の実施形態は、一般に、コーンビームコンピュータ断層撮影画像の画像品質を改善することに関する。特に、本発明は、ディープラーニング技術を使用して、コーンビームコンピュータ断層撮影画像内のアーチファクトを低減することに関する。
放射線療法は、哺乳動物(例えば、ヒトや動物)組織のがんやその他の病気の治療に利用されている。X線コーンビームコンピュータ断層撮影(CBCT:cone beam computed tomography)は、患者のセットアップと適応的再計画のための現代の放射線療法で広く採用されている。CBCTは、ほんの数例であるが、歯科イメージングやインプラントの計画のような診断目的にも使用されている。さらに、X線CBCTは、マイクロコンピュータ断層撮影のような多くのイメージング関連アプリケーションでますます採用されている。X線CBCTは、円形のスキャンジオメトリを備えた比較的単純なジオメトリ構成を含むことができる。CBCTのセットアップは、さまざまな目的のために他のイメージングモダリティと簡単に統合することもできる。
ただし、CBCT画像の画質は、医学物理学者、医師、その他の研究者からの苦情の原因となっている。一般に、CBCT画像には多くの異なるタイプのアーチファクト(すべてのタイプのノイズを含む)が含まれる。イメージアーチファクトは、診断中の実際のオブジェクトには存在しない再構成データの構造として定義することができる。一般的に、アーチファクトは、特定の物理的条件(CBCTスキャナの物理パラメータや、スキャン中のオブジェクトの組成や特性のような条件)での実際の測定データと、2D/3D画像の再構成に使用される暗黙の数学的仮定との不一致によって誘発される可能性がある。
CBCT画像のアーチファクトとノイズは、適応的再計画を深刻に妨げ、医師の診断に影響を与え、画像セグメンテーションのような、他の多くの画像処理ステップを不可能または困難にする可能性がある。各アーチファクトは1つまたはそれ以上の異なる要因によって引き起こされる可能性があるので、異なる方法を使用して、各アーチファクトを抑制できる。このため、非常に時間がかかり、非常に複雑になる可能性があり、従来の方法を使用して、すべてのアーチファクトを抑制することではなく、それらの一部を抑制することも困難である。研究者は多くの調査を行い、CBCT画像のアーチファクトを低減する目的でいくつかの関連する方法を開発してきたが、現在、すべての一般的なアーチファクトを抑制することができる単純で効率的な方法は存在しない。したがって、CBCT画像のアーチファクトとノイズを抑制するための、新規で効率的かつ簡単な方法を開発する必要性が高い。
一態様では、本開示は、ディープ畳み込みニューラルネットワークをトレーニングして、少なくとも1つの投影空間画像内の1つまたはそれ以上のアーチファクトを低減する方法を特徴とすることができる。この方法は、少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、患者グループ内の各患者からの少なくとも1つの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を収集することを含むことができる。この方法は、また、前記少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、前記患者グループ内の各患者からの前記少なくとも1つの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を用い、ディープ畳み込みニューラルネットワークをトレーニングして、投影空間画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができる。この方法は、また、患者グループ内の各患者から投影空間画像の複数のペアを収集し、投影空間画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影投影画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影画像を含むことができる。この方法は、また、前記患者グループ内の各患者から前記投影空間画像の複数のペアを用い、回帰用のディープ畳み込みニューラルネットワークをトレーニングして、前記投影空間画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができる。この方法は、また、複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、患者グループ内の各患者からの対応するアーチファクト低減された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層撮影投影空間画像を収集し、前記複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、前記患者グループ内の各患者からの前記対応するアーチファクト低減された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層撮影投影空間画像を用い、ディープ畳み込みニューラルネットワークをトレーニングして、複数の隣接するビューの少なくとも中央のビューのコーンビームコンピュータ断層撮影投影空間画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができる。この方法は、また、3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、患者グループ内の各患者からの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を収集し、前記3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、前記患者グループ内の各患者からの前記対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を用い、ディープ畳み込みニューラルネットワークをトレーニングして、前記コーンビームコンピュータ断層撮影投影空間内の1つまたはそれ以上のアーチファクトを低減することを含むことができる。
一態様では、本開示は、ディープ畳み込みニューラルネットワークを用いて、患者から収集された投影空間画像内の1つまたはそれ以上のアーチファクトを低減する方法を特徴とすることができる。この方法は、前記患者から少なくとも1つのアーチファクト汚染された投影空間画像を収集することを含むことができる。この方法は、また、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくも1つの投影空間画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、患者のグループから収集された複数の投影空間画像を用いることによりトレーニングされたモデルを含むことを含むことができる。前記トレーニングされたディープ畳み込みニューラルネットワークは、患者からほぼリアルタイムで収集された投影空間画像内の少なくとも1つのアーチファクトを低減することができ、前記少なくとも1つのアーチファクトは、散乱アーチファクトまたはノイズアーチファクトの少なくとも1つを含むことができる。この方法は、また、前記患者からのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像を収集し、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層投影空間画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、患者グループ内の各患者から収集された投影空間画像の複数のペアを使用することによりトレーニングされたモデルを含無事ができ、投影空間画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を含むことができる。この方法は、また、前記患者からの複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像を収集し、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層投影空間画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、収集された複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影空間画像と、患者グループ内の各患者からの前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層投影空間画像を使用することによりトレーニングされたモデルを含むことができる。前記トレーニングされたディープ畳み込みニューラルネットワークは、前記患者から収集された隣接する複数のビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像間の少なくとも1つの相関を使用して、前記患者から収集された前記隣接する複数のビューの中央のビューにおける1つまたはそれ以上の前記アーチファクトを低減することができる。この方法は、また、前記患者からの3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間を収集することが含むことができ、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層撮影投影空間内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された3次元アーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、患者グループ内の各患者から収集された前記対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を使用することによりトレーニングされたモデルを含むことができる。
一態様において、本開示は、ディープ畳み込みニューラルネットワークをトレーニングして、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを減らす方法を特徴とすることができる。この方法は、複数のコーンビームコンピュータ断層撮影の患者の解剖学的画像と、患者のグループからの対応するコンピュータ断層撮影の解剖学的画像を収集することを含むことができる。この方法は、また、前記複数のコーンビームコンピュータ断層撮影の解剖学的画像と、前記対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を使用して、回帰用のディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像からアーチファクトを除去することを含むことができる。この方法は、また、患者のグループ内の各患者からの複数のペアの解剖学的画像を収集することを含むことができ、個々のペアの解剖学的画像は、アーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を含み、前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減することを含むことができる。この方法は、また、複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、患者のグループ内の各患者に対する複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像の前記中央の画像に対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を収集することと、前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、複数のコーンビームコンピュータ断層撮影の解剖学的画像の少なくとも中央の画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができる。この方法は、また、少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的ボリュームと、患者グループ内の各患者に対する少なくとも1つの対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的ボリュームを収集することと、前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的ボリュームの1つまたはそれ以上のアーチファクトを低減することを含むことができる。一態様において、本開示は、ディープ畳み込みニューラルネットワークを使用して、患者から収集された解剖学的画像の1つまたはそれ以上のアーチファクトを減らす方法を特徴とすることができる。この方法は、前記患者から少なくとも1つのアーチファクト汚染された解剖学的画像を収集することを含むことができる。この方法は、また、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくとも1つの解剖学的画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、収集された複数のアーチファクト汚染された解剖学的画像と、対応するアーチファクト低減された解剖学的画像を使用することによりトレーニングされたモデルを含むことができる。
前記トレーニングされたディープ畳み込みニューラルネットワークは、前記患者からほぼリアルタイムで収集された解剖学的画像内の少なくとも1つのアーチファクトを低減することができ、前記少なくとも1つのアーチファクトは、散乱アーチファクト、ビーム強化アーチファクト、ノイズアーチファクト、減衰アーチファクト、指数エッジ勾配アーチファクト、エイリアシングアーチファクト、リングアーチファクト、ストリーキングアーチファクト、またはモーションアーチファクトのうちの少なくとも1つを含むことができる。
この方法は、また、前記患者からアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像を収集することを含むことができ、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、患者グループの各患者から収集された複数のペアの解剖学的画像を用いることによりトレーニングされたモデルを含み、解剖学的画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影の解剖学的画像が含むことができる。この方法は、また、複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像を収集することを含むことができ、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された複数の隣接するコーンビームコンピュータ断層撮影の解剖学的画像の中央の画像内の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、収集された複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、患者グループ内の各患者に対する前記複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像の中央の画像に対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を用いることによりトレーニングされたモデルを有することができる。この方法は、また、少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的ボリュームを収集することを含むことができ、トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくとも1つのコーンビームコンピュータ断層撮影の解剖学的ボリューム内の1つまたはそれ以上のアーチファクトを低減することを含むことができ、前記ディープ畳み込みニューラルネットワークは、収集された少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影ボリュームと、患者グループの各患者に対する少なくとも1つの対応するアーチファクトが低減されたコンピュータ断層撮影の解剖学的ボリュームを用いることによりトレーニングされたモデルを含むことができる。
一態様において、本開示は、ディープ畳み込みニューラルネットワークをトレーニングして、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減する方法を特徴とすることができる。この方法は、複数のコーンビームコンピュータ断層撮影の患者の解剖学的画像と、患者グループから対応するアーチファクト低減された解剖学的画像を収集することを含むことができる。この方法は、また、前記複数のコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減された解剖学的画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像からアーチファクトを除去することを含むことができる。この方法は、また、反復アルゴリズム、コンピュータシミュレーション、物理ファントム、または登録されたコンピュータ断層撮影の解剖学的画像のうちの少なくとも1つを使用して、前記患者グループから前記対応するアーチファクト低減された解剖学的画像を提供することができる。
必ずしも縮尺通りに描かれていない図面において、同様の数字はいくつかの図を通して実質的に同様の構成要素を説明している。異なる文字の接尾辞を持つ同じ数字は、実質的に同様の要素の異なる実例を表している。図面は、一般に、限定ではなく例として、本明細書で説明されている様々な実施形態を示している。
以下の詳細な説明では、本明細書の一部を形成し、本発明を実施することができる例示的な特定の実施形態として示されている添付図面を参照する。本明細書で「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施できるように十分詳細に説明されており、それらの実施形態を組み合わせてもよく、または他の実施形態も利用することができ、および、その構造的、論理的および電気的変更は、本発明の範囲から逸脱することなく行うことができるいことを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではなく、本発明の範囲は、添付の特許請求の範囲およびそれらの均等物によって画定される。
図1は、患者に放射線療法を提供する例示的な放射線治療システム10を示す。放射線治療システム10は、画像処理装置12を含む。画像処理装置12は、ネットワーク20に接続することができる。ネットワーク20は、インターネット22に接続することができる。ネットワーク20は、画像処理装置12を、データベース24、病院データベース26、腫瘍情報システム(OIS)28、放射線治療装置30、画像取得装置32、表示装置34、およびユーザインターフェース36の1つまたはそれ以上と接続することができる。画像処理装置12は、放射線治療装置30によって使用される放射線療法治療計画16を生成するように構成される。
画像処理装置12は、メモリ装置16、プロセッサ14、および通信インターフェース18を含むことができる。メモリ装置16は、オペレーティングシステム43、放射線療法治療計画42(例えば、オリジナルの治療計画、適応治療計画、など)、ソフトウェアプログラム44(例えば、人工知能、ディープラーニング、ニューラルネットワーク、放射線治療計画ソフトウェア)、およびプロセッサ14によって実行されるその他のコンピュータ実行可能命令のようなコンピュータ実行可能命令を記憶することができる。一実施形態では、ソフトウェアプログラム44は、疑似CT画像のような合成画像を生成することにより、あるフォーマット(例えば、MRI)の医用画像を別のフォーマット(例えば、CT)に変換することができる。例えば、ソフトウェアプログラム44は、あるモダリティの医用画像46(例えば、MRI画像)を異なるモダリティの合成画像(例えば、擬似CT画像)に変換する予測モデルをトレーニングする画像処理プログラムを含むことができ、その代わりに、トレーニングされた予測モデルが、CT画像をMRI画像に変換してもよい。メモリ装置16は、医用画像46、患者データ45、および放射線療法治療計画42を作成および実施するのに必要な他のデータを含むデータを格納することができる。
ソフトウェアプログラム44を記憶するメモリ16に加えて、ソフトウェアプログラム44は、ハードドライブ、コンピュータディスク、CD−ROM、DVD、HD、ブルーレイDVD、USBフラッシュドライブ、SDカード、メモリスティック、またはその他の適切なメディアのような、取り外し可能なコンピュータ媒体に記憶されることができ、画像処理装置14にダウンロードされたときのソフトウェアプログラム44は、画像プロセッサ14によって実行することができると考えられている。
プロセッサ14は、メモリ装置16に通信可能に結合されることができ、プロセッサ14は、そこに格納されたコンピュータ実行可能命令を実行するように構成されることができる。プロセッサ14は、医用画像46をメモリ16に送信または受信することができる。例えば、プロセッサ14は、通信インターフェース18およびネットワーク18を介して画像取得装置32から医用画像46を受信し、メモリ16に格納することができる。また、プロセッサ14は、メモリ16に格納された医用画像46を、通信インターフェース18を介してネットワーク20に送信し、データベース24または病院データベース26に格納することができる。
さらに、プロセッサ14は、医用画像46および患者データ45とともにソフトウェアプログラム44(例えば、治療計画ソフトウェア)を利用して、放射線療法治療計画42を作成することができる。医用画像46は、患者の解剖学的領域、器官、または関心ボリュームセグメンテーションデータに関連付けられた画像データのような情報を含むことができる。患者データ45は、(1)機能的臓器モデリングデータ(例えば、シリアル臓器対パラレル臓器、適切な用量反応モデルなど)、(2)放射線量データ(例えば、線量−体積ヒストグラム(DVH)情報)、(3)患者および治療経過に関する他の臨床情報(例えば、他の手術、化学療法、以前の放射線療法など)のような情報を含むことができる。
さらに、プロセッサ14は、ソフトウェアプログラムを利用して、例えば、ニューラルネットワークモデルによって使用される更新されたパラメータのような、中間データを生成する、または、中間の2Dまたは3D画像を生成することができ、それらは、その後メモリ16に格納されることができる。その後、プロセッサ14は、実行可能な放射線療法治療計画42を、通信インターフェース18を介してネットワーク20から放射線治療装置30へ送信することができ、放射線治療装置30では、放射線療法計画が患者を放射線で治療するために使用される。加えて、プロセッサ14は、ソフトウェアプログラム44を実行して、画像変換、画像分割、ディープラーニング、ニューラルネットワーク、および人工知能のような機能を実装することができる。例えば、プロセッサ14は、医用画像をトレーニングまたは輪郭化するソフトウェアプログラム44を実行することができ、そのようなソフトウェア44は、実行されると、境界検出器をトレーニングし、形状辞書を利用することができる。
プロセッサ14は、例えば、マイクロプロセッサ、中央処理装置(CPU)、グラフィックス・プロセッシング・ユニット(GPU:Graphics Processing Unit)、および/またはアクセラレーテッド・プロセッシング・ユニット(APU:Accelerated Processing Unit)のような1つまたはそれ以上の汎用処理装置を含む処理装置であってもよい。詳細には、いくつかの実施形態では、プロセッサ14は、複合命令セットコンピューティング(CISC:complex instruction set computing)マイクロプロセッサ、縮小命令セットコンピューティング(RISC:reduced instruction set computing)マイクロプロセッサ、超長命令ワード(VLIW:very long instruction Word)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。プロセッサ14は、特定用途向け集積回路(ASIC:application specific integrated circuit)、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)、デジタルシグナルプロセッサ(DSP:digital signal processor)、システムオンチップ(SoC:System on a Chip)、またはその他の適切なプロセッサのような1つまたはそれ以上の専用処理装置によって実装されることができる。当業者に理解されるように、いくつかの実施形態では、プロセッサ14は、汎用プロセッサではなく、専用プロセッサであってもよい。プロセッサ14は、Intel(登録商標)によって製造されたPentium(登録商標)、Core(登録商標)、Xeon(登録商標)、またはItanium(登録商標)ファミリー、AMD(登録商標)によって製造されたTurion(登録商標)、Athlon(登録商標)、Sempron(登録商標)、Opteron(登録商標)、FX(登録商標)、Phenon(登録商標)ファミリー、Sun Microsystemsによって製造された様々なプロセッサのいずれか、または他の適切なプロセッサのような、1つまたはそれ以上の既知の処理装置を含み得る。画像プロセッサ14は、また、Nvidia(登録商標)によって製造されたGeForce(登録商標)、Quadro(登録商標)、Tesla(登録商標)ファミリー、Intel(登録商標)によって製造されたGMA、Iris(登録商標)ファミリー、またはAMD(登録商標)によって製造されたRadeon(登録商標)ファミリーのような、グラフィック処理ユニットを含み得る。プロセッサ14は、また、AMD(登録商標)によって製造されたDesktop A−4(6、8)シリーズ、または、Intel(登録商標)によって製造されたXeon Phi(登録商標)ファミリーのような、加速処理装置を含み得る。開示された実施形態は、いかなるタイプのプロセッサに限定されるものではなく、大量の撮像データを識別、分析、維持、生成、および/または提供するというコンピューティング命令を満たすように構成されている。さらに、「プロセッサ」という用語は、複数のプロセッサ、例えばマルチコア設計またはそれぞれがマルチコア設計を有する複数のプロセッサを含むことができる。プロセッサ14は、本開示の例示的な実施形態による様々な動作、プロセス、および方法を実行するために、例えば、メモリ16に格納されたコンピュータプログラム命令のシーケンスを実行するように構成され得る。
メモリ装置16は、医用画像46を格納することができる。いくつかの実施形態では、医用画像46は、例えば、1つまたはそれ以上のMR画像(例えば、2DMRI、3DMRI、2DストリーミングMRI、4DMRI、4DボリュームMRI、4DシネMRIなど)、機能的MRI画像(例えば、fMRI、DCE−MRI、拡散MRI)、CT画像(例えば、2DCT、CBCT、3DCT、4DCT)、超音波画像(例えば、2D超音波、3D超音波、4D超音波)、PET画像、X線画像、透視画像、放射線治療ポータル画像、SPECT画像、および/またはコンピュータ生成合成画像(例えば、疑似CT画像)を含み得る。さらに、医用画像46は、例えば、トレーニング画像、グラウンドトルース画像、および/または輪郭画像などの医用画像データを含むことができる。一実施形態において、医用画像46は、画像取得装置32から受信されることができる。したがって、画像取得装置32は、MR撮像装置、CT撮像装置、PET撮像装置、超音波撮像装置、蛍光透視装置、SPECT撮像装置、統合型リニアック及びMR撮像装置、または、患者の医用画像を取得するため他の医療撮像装置を含むことができる。医用画像46は、開示された実施形態による動作を実行するために画像処理装置12が使用し得る任意のタイプのデータまたは任意のタイプのフォーマットで受信および格納され得る。メモリ装置12は、読み取り専用メモリ(ROM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリ、ランダムアクセスメモリ(RAM)のような非一時的なコンピュータ可読媒体、同期DRAM(SDRAM)のようなダイナミックランダムアクセスメモリ(DRAM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、スタティックメモリ(例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセス)、または、他の適切なタイプのランダムアクセスメモリ、例えば、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタルバーサタイルディスク(DVD)、または、その他の光学ストレージ、カセットテープ、他の磁気記憶装置、または、画像プロセッサ14または他の種類のコンピュータ装置によりアクセスされる画像、データ、またはコンピュータ実行可能命令(例えば、任意のフォーマットで保存されたもの)を含む情報を保存するために使用できる他の非一時的な媒体デバイス、であり得る。コンピュータプログラム命令は、画像プロセッサ14によってアクセスされ、ROMまたは他の任意の適切なメモリ位置から読み取られ、画像プロセッサ14による実行のためにRAMにロードされ得る。例えば、メモリ16は、1つ以上のソフトウェアアプリケーションを格納し得る。メモリ16に格納されたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステムならびにソフトウェア制御デバイス用のオペレーティングシステム43を含み得る。さらに、メモリ16は、画像プロセッサ14によって実行可能なソフトウェアアプリケーション全体、またはソフトウェアアプリケーションの一部のみを格納してもよい。例えば、メモリ装置16は、1つまたはそれ以上の放射線療法治療計画42を格納してもよい。
画像処理装置12は、画像プロセッサ14およびメモリ16に通信可能に結合され得る通信インターフェース18を介してネットワーク20と通信し得る。通信インターフェース18は、画像処理装置12と放射線治療システム10の構成要素との間の通信接続(例えば、外部装置とのデータ交換を可能にする)を提供することができる。例えば、通信インターフェース18は、いくつかの実施形態では、ユーザインターフェース36に接続する適切なインターフェース回路を有することができ、ユーザインターフェース36は、例えば、ユーザが放射線治療システム10に情報を入力することができるハードウェアキーボード、キーパッド、および/またはタッチスクリーンであり得る。
通信インターフェース18は、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、高速データ伝送アダプタ(例えば、ファイバ、USB3.0、サンダーボルト)、ワイヤレスネットワークアダプタ(例えば、WiFiアダプタ)、通信アダプタ(例えば、3G、4G/LTE)、またはその他の適切なインターフェースのうちの1つまたはそれ以上を含むことができる。通信インターフェース18は、画像処理装置12がネットワーク20を介して遠隔配置されたコンポーネントなどの他の機械および装置と通信できるようにすることができる1つまたはそれ以上のデジタルおよび/またはアナログ通信装置を含むことができる。
ネットワーク20は、例えば、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど)、クライアントサーバー、またはワイドエリアネットワーク(WAN)の機能を提供することができる。例えば、ネットワーク20は、他のシステムS1(38)、S2(40)、S3(41)を含み得るLANまたはWANであり得る。システムS1、S2、およびS3は、画像処理装置12と同一であっても、異なるシステムであってもよい。いくつかの実施形態では、ネットワーク20内の1つまたはそれ以上のシステムは、本明細書で説明する実施形態を協働して実行することができる分散コンピューティング/シミュレーション環境を形成し得る。いくつかの実施形態では、1つ以上のシステムS1、S2、およびS3は、CT画像(例えば、医用画像46)を取得するCTスキャナを含み得る。加えて、ネットワーク20は、インターネット22に接続して、インターネット上に遠隔に存在するサーバーおよびクライアントと通信することができる。
したがって、ネットワーク20は、画像処理装置12と、OIS28、放射線治療装置30、および/または画像取得装置32のようないくつかの他の様々なシステムおよび装置との間のデータ送信を可能にし得る。さらに、OIS28および/または画像取得装置32によって生成されたデータは、メモリ16、データベース24、および/または病院データベース26に格納することができる。データは、必要に応じて画像プロセッサ14によってアクセスされるために、ネットワーク20を介し、通信インターフェース18を介して送信/受信され得る。
画像処理装置12は、ネットワーク20を介してデータベース24と通信して、データベース24に格納された複数の様々なタイプのデータを送受信することができる。例えば、データベース24は、放射線治療装置30、画像取得装置32、および/または放射線療法に関連する他の機械および/または装置に関連する情報を含む機械データを含むことができる。マシンデータ情報は、放射線ビームサイズ、アーク配置、ビームのオン/オフ時間、制御点、セグメント、MLC構成、ガントリ速度、MRIパルスシーケンス、および/またはその他の適切な情報を含み得る。データベース24は記憶装置であり得る。当業者は、データベース24が中央または分散方式で配置された複数のデバイスを含むことができることを理解するであろう。
いくつかの実施形態では、データベース24は、プロセッサ可読記憶媒体(図示せず)を含み得る。いくつかの実施形態におけるプロセッサ可読記憶媒体は単一の媒体であってもよいが、用語「プロセッサ可読記憶媒体」という用語は、1つまたはそれ以上のコンピュータ実行可能命令またはデータのセットを格納する単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連キャッシュおよびサーバー)を含むものと解釈されるべきである。用語「プロセッサ可読記憶媒体」は、また、プロセッサによる実行のための命令セットを格納および/またはエンコードすることができ、プロセッサに、1つまたはそれ以上の本開示の方法論(methodology)を実行させる、いかなる媒体も含むものとする。したがって、用語「プロセッサ可読記憶媒体」は、個体メモリ、光学、および磁気媒体を含むが、これらには限定されないと解釈される。例えば、プロセッサ可読記憶媒体は、1つまたはそれ以上の揮発性、非一時的、または不揮発性の有形のコンピュータ可読媒体であり得る。
画像プロセッサ14は、データベース24と通信して、画像をメモリ16に読み込み、および/または、画像をメモリ16からデータベース24に格納することができる。例えば、データベース24は、データベース24が画像取得装置32から受け取った複数の画像(例えば、3DMRI、4DMRI、2DMRIスライス画像、CT画像、2D透視画像、X線画像、MRスキャンまたはCTスキャンからの生データ、医学におけるデジタル画像化および通信(DIMCOM)データ、等)を格納するように構成されることができる。データベース24は、ソフトウェアプログラム44を実行するとき、および/または放射線療法治療計画42を作成するときに画像プロセッサ14によって使用されるデータを格納することができる。画像処理装置12は、データベース24、放射線治療装置30(例えば、MRI−リニアック)、および/または画像取得装置32のいずれかから医用画像46(例えば、2DMRIスライス画像、CT画像、2D透視画像、X線画像、3DMR画像、4DMR画像など)を受け取り、治療計画42を生成することができる。
例示的な実施形態では、放射線療法システム100は、患者の医用画像(例えば、3DMRI、2DストリーミングMRI、または4DボリュームMRI、CT画像、CBCT、PET画像、機能的MR画像(例えば、fMRI、DCE−MRI、拡散MRI)、X線画像、X線透視画像、超音波画像、放射線治療ポータル画像、SPECT画像など)を取得するように構成された画像取得装置32を含むことができる。画像取得装置32は、例えば、MR撮像装置、CT撮像装置、PET撮像装置、超音波装置、蛍光透視装置、SPECT撮像装置、または、1つまたはそれ以上の患者の医用画像を取得するための任意の他の適切な医療撮像装置であり得る。画像取得装置32によって取得された画像は、画像データおよび/またはテストデータのいずれかとしてデータベース24内に保存され得る。例として、画像取得装置32によって取得された画像は、メモリ16内の医用画像データ46として画像処理装置12によって保存されることができる。
いくつかの実施形態では、例えば、画像取得装置32は、単一の装置(例えば、「MRIリニアック」とも呼ばれるリニアックと組み合わされたMRIデバイス)として放射線治療装置30と統合され得る。このようなMRI−リニアックは、例えば、放射線療法治療計画42に従って放射線療法を所定の標的に正確に向けるために、患者の標的器官または標的腫瘍の位置を決定するために使用され得る。
画像取得装置32は、関心領域(例えば、標的器官、標的腫瘍、またはその両方)における患者の解剖学的構造の1つまたはそれ以上の画像を取得するように構成され得る。各画像、通常は2D画像またはスライスは、1つまたはそれ以上のパラメータ(例えば、2Dスライスの厚さ、向き、場所など)を含むことができる。一実施形態では、画像取得装置32は、任意の向きの2Dスライスを取得することができる。例えば、2Dスライスの方向には、矢状方向、冠状方向、または軸方向が含まれる。プロセッサ14は、2Dスライスの厚さおよび/または向きなどの1つまたはそれ以上のパラメータを調整して、標的器官および/または標的腫瘍を含めることができる。一実施形態では、2Dスライスは、3DMRIボリュームのような情報から決定することができる。そのような2Dスライスは、患者が放射線治療を受けている間、例えば、放射線治療装置30を使用するときに、「リアルタイム」で画像取得装置32によって取得することができる。「リアルタイム」とは、ミリ秒またはそれ以下でデータを取得することを意味する。
画像処理装置12は、1人またはそれ以上の患者の放射線療法治療計画42を生成および保存することができる。放射線療法治療計画42は、各患者に適用される特定の放射線量に関する情報を提供することができる。放射線療法治療計画42は、また、ビーム角、線量ヒストグラムボリューム情報、治療中に使用される放射線ビームの数、ビームあたりの線量、または他の適切な情報またはそれらの組み合わせのような他の放射線療法情報を含むことができる。
画像プロセッサ14は、ソフトウェアプログラム44、例えば、スウェーデンのストックホルムのエレクタAB社によって製造されたMonaco(登録商標)のような治療計画ソフトウェアを使用することにより、放射線療法治療計画42を生成することができる。放射線療法治療計画42を生成するために、画像プロセッサ14は、画像取得装置32(例えば、CT装置、MRI装置、PET装置、X線装置、超音波装置など)と通信して、患者の画像にアクセスし、腫瘍のような標的を描写することができる。いくつかの実施形態では、腫瘍の周囲または腫瘍に近接した健康な組織のような、1つまたはそれ以上のリスク臓器(OAR)の描写が必要になる。したがって、OARが標的腫瘍に近いときにOARのセグメンテーションを実行する。また、標的腫瘍がOAR(例えば、膀胱および直腸の近くにある前立腺)に近い場合には、腫瘍からOARをセグメント化することにより、治療計画装置110は、標的だけでなくOARについても線量分布を検討することができる。
OARから標的臓器または標的腫瘍を区別して輪郭を描くために、放射線治療を受けている患者の、MR画像、CT画像、PET画像、fMR画像、X線画像、超音波画像、放射線治療ポータル画像、SPECT画像、またはその他の医用画像のような医用画像が画像取得装置32によって取得され、身体部分の内部構造が明らかにされる。医用画像からの情報に基づいて、関連する解剖学的部分の3D構造を取得することができる。さらに、治療計画プロセス中に、多くのパラメータを考慮して、標的腫瘍の効率的な治療(例えば、標的腫瘍が効果的な治療に十分な放射線量を受けること)と、OARの低照射(例えば、OARが可能な限り低い放射線量を受けること)とのバランスをとることができる。考慮され得る他のパラメータには、標的器官および標的腫瘍の位置、OARの位置、および/またはOARに関する標的の動きが含まれる。例えば、三次元構造は、標的の輪郭を描く、または、各二次元層またはスライス内のOARの輪郭を描き、各二次元層またはスライスの輪郭を統合することにより得ることができる。輪郭は、手動で(例えば、医師、線量計、または医療従事者によって)、または自動で(例えば、スウェーデンのストックホルムのエレクタAB社によって製造されたアトラスベースの自動セグメンテーションソフトウエアであるABAS(登録商標)を用いて)生成することができる。特定の実施形態において、標的腫瘍またはOARの三次元構造は、治療計画ソフトウェアにより自動的に生成されることできる。
標的腫瘍とOARの位置を特定して輪郭を描いた後、放射線線量測定士、医師、または医療従事者は、標的腫瘍に照射される放射線の線量と共に、腫瘍に近接したOAR(例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹、または他の解剖学的構造)が受ける可能性のある最大線量とを決定することができる。関連する解剖学的構造(例、標的腫瘍、OAR)の放射線量を決定した後、逆計画法(inverse planning)として知られるプロセスを実行して、望ましい放射線量分布を達成する1つまたはそれ以上の治療計画パラメータを決定することができる。治療計画パラメータの例には、(例えば、標的ボリュームの輪郭を定める、機密構造の輪郭を描く、などの)ボリューム描写パラメータ、標的腫瘍およびOARの周囲のマージン、ビーム角選択、コリメータ設定、および/またはビームオン時間が含まれる。逆計画プロセス中、医師は、OARが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること(例えば、腫瘍標的への全線量と任意のOARへのゼロ線量を定めること;脊髄、脳幹、および視覚構造が、それぞれ、45Gy以下の線量、55Gy以下の線量、および54Gyより低い線量を受けると定めること)ができる。逆計画の結果は、メモリ16またはデータベース24に保存される放射線療法治療計画42を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして1つのパラメータ(たとえば、標的腫瘍への線量を増やすなどのさまざまな目的の重み)を調整すると、少なくとも1つの他のパラメータに影響を与え、その結果、異なる治療計画が開発される可能性がある。したがって、画像処理装置12は、放射線治療装置30が患者に放射線療法治療を提供するために、これらのパラメータを有する調整された放射線療法治療計画42を生成する。
さらに、放射線治療システム10は、表示装置34とユーザインターフェース36を含むことができる。表示装置34は、医用画像、インターフェース情報、治療計画パラメータ(例えば、輪郭、線量、ビーム角、など)、治療計画、標的、標的の位置特定、および/または標的の追跡、または、ユーザへの適切な情報、を表示するように構成された1つまたはそれ以上の表示画面を含むことができる。ユーザインターフェース36は、キーボード、キーパッド、タッチスクリーン、または、ユーザが放射線治療システム10に情報を入力することができる任意のタイプのデバイスであり得る。あるいは、表示装置34およびユーザインターフェース36は、スマートフォン、コンピュータ、またはタブレットコンピュータ、例えば、Apple社製のiPad(登録商標)、Lenovo社のThinkpad(登録商標)、Samsung社のGalaxy(登録商標)のようなデバイスに統合されてもよい。
さらに、放射線治療システム10のありとあらゆる構成要素は、仮想マシン(例えば、VMWare、Hyper−Vなど)として実装されてもよい。たとえば、仮想マシンはハードウェアとして機能するソフトウェアであってもよい。したがって、仮想マシンは、ハードウェアとして一緒に機能する少なくとも1つまたはそれ以上の仮想プロセッサ、1つまたはそれ以上の仮想メモリ、および/または1つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理装置12、OIS28、および/または画像取得装置32は、仮想マシンとして実装されてもよい。利用可能な処理能力、メモリ、および計算能力が与えられるならば、放射線治療システム10全体を仮想マシンとして実装することができる。
図2は、X線源または線形加速器などの放射線源、カウチ(couch)116、画像化検出器114、および放射線療法出力104を含むことができる例示的な放射線治療装置102を示している。放射線治療装置102は、患者に治療を提供するために放射線ビーム108を放出するように構成されている。放射線治療出力104は、図5の図示された実施例で記述されている、マルチリーフコリメータ(MLC)のような1つまたはそれ以上の減衰器またはコリメータを含むことができる。
図2に戻ると、患者は、放射線治療計画に従って放射線治療線量を受け取るためにカウチ116によって支持される領域112に配置される。放射線治療出力104は、ガントリ106または他の機械的支持体に備え付けられる、または、取り付けられることができる。カウチ116が治療領域に挿入されると、1つまたはそれ以上のシャーシモータ(図示せず)がガントリ106と放射線治療出力104をカウチ116の周りに回転させることができる。一実施形態では、ガントリ106は、カウチ116が治療領域に挿入されるとき、カウチ116の周りで連続的に回転することができる。別の実施形態では、ガントリ106は、カウチ116が治療領域に挿入されると、所定の位置まで回転することができる。例えば、ガントリ106は、治療出力104を軸(「A」)の周りに回転させるように構成されることができる。カウチ116および放射線療法出力104は、両方とも、横方向(transverse direction)(「T」)に移動可能、横方向(lateral direction)(「L」)に移動可能、または、横軸(transverse axis)(「R」として示される)を中心とした回転のような1つまたはそれ以上の軸の周りに回転するような、患者の周りの他の位置に独立して移動可能である。1つまたはそれ以上のアクチュエータ(図示せず)に通信可能に接続されたコントローラは、放射線療法治療計画に従って患者を放射線ビーム108の内または外に適切に配置するために、カウチ116の動きまたは回転を制御することができる。カウチ116およびガントリ106の両方が、複数の自由度で互いに独立して移動可能であるため、放射線ビーム108が腫瘍を正確に標的にできるように患者を配置することができる。
図2に示す座標系(軸A、T、およびLを含む)は、アイソセンタ110に位置する原点を有する。アイソセンタは、患者上または患者内部の位置に所定の放射線量を送達するために、放射線治療ビーム108の中心軸が座標軸の原点と交差する位置として定義することができる。例えば、アイソセンタ110は、ガントリ106によって軸Aの周りに位置決めされる放射線治療出力104の様々な回転位置について、放射線治療ビーム108の中心軸が患者と交差する場所として定義することができる。
ガントリ106は、また、取り付けられた画像化検出器114を有することができる。画像化検出器114は、好ましくは、放射線源104の反対側に配置され、一実施形態では、画像化検出器114は、治療ビーム108の視野内に配置することができる。
画像化検出器114は、治療ビーム108との位置合わせを維持するために、好ましくは放射線治療出力104の反対側のガントリ106に取り付けられる。ガントリ106が回転すると、画像化検出器114は回転軸の周りを回転する。一実施形態では、画像化検出器114は、フラットパネル検出器(例えば、直接検出器またはシンチレータ検出器)であってもよい。このようにして、画像化検出器114を使用して、治療ビーム108を監視することができ、または、画像化検出器114を使用して、ポータル画像化のような患者の解剖学的構造を画像化することができる。放射線治療装置102の制御回路は、システム100内に統合されてもよく、システム100から離れていてもよい。
例示的な実施形態では、カウチ116、治療出力104、またはガントリ106のうちの1つまたはそれ以上を自動的に配置することができ、治療出力104は、特定の治療送達インスタンスの指定線量に従って治療ビーム108を確立することができる。ガントリ106、カウチ116、または治療出力104の1つまたはそれ以上の異なる向きまたは位置を使用するような、放射線療法治療計画に従って一連の治療送達を指定することができる。治療の送達は連続して行われてもよいが、アイソセンタ110のような患者上または患者内部の所望の治療場所で交差してもよい。これにより、放射線治療の処方された累積線量が治療部位に送達され、治療部位の近くの組織への損傷が軽減または回避され得る。
図3は、コンピュータ断層撮影(CT)撮像システムのような、線形加速器と撮像システムの組み合わせを含む、例示的な放射線治療装置102を示す。CT撮像システムは、キロ電子ボルト(keV)エネルギー範囲のX線エネルギーを提供するような撮像X線源118を含むことができる。撮像X線源118は、フラットパネル検出器124のような画像化検出器122に向けられた扇形ビームおよび/または円錐ビーム120を提供する。放射線治療システム102は、放射線療法出力104、ガントリ106、プラットフォーム116、および他のフラットパネル検出器114を含むような、図2に関連して説明したシステム102と同様である。X線源118は、イメージングするための比較的低エネルギーのX線診断ビームを提供することができる。
図3の例示的な実施例では、放射線療法出力104とX線源118が、互いに90°回転方向に分離されて、同じ回転ガントリ106上に搭載されている。別の実施例では、2つまたはそれ以上のX線源が、それぞれが独自の検出器配置を有して、複数の角度の診断イメージングを同時に提供するように、ガントリ106の周囲に沿って搭載されている。同様に、複数の放射線治療出力104を提供することができる。
図4Aは、開示された実施形態による核磁気共鳴(MR)撮像システム130(例えば、MR−リニアックのような技術分野で知られている)のような、放射線治療装置102と撮像システムの組み合わせを含む、例示的な放射線治療システム300を示す。図示されるように、システム300は、カウチ310、画像取得装置320、および放射線送達装置330を含むことができる。システム300は、放射線療法治療計画に従って患者に放射線療法を実施する。いくつかの実施形態では、画像取得装置320は、第1のモダリティのオリジナル原画像(例えば、図4Bに示されたMRI画像)または第2のモダリティのデスティネーション画像(例えば、図4Cに示されたCT画像)を取得することができる。
カウチ310は、治療セッション中に患者(図示せず)を支えることができる。いくつかの実装形態では、カウチ310は、カウチ310上に載っている患者をシステム300に出入りさせるように、水平の平行移動軸(「I」とラベル付けされた)に沿って移動することができる。カウチ310は、また、並進軸を横断する回転の中心垂直軸の周りを回転することができる。そのような移動または回転を可能にするために、カウチ310は、カウチが様々な方向に移動し、様々な軸に沿って回転することを可能にするモータ(図示せず)を有してもよい。コントローラ(図示せず)は、治療計画に従って患者を適切に配置するために、これらの動きまたは回転を制御することができる。
いくつかの実施形態では、画像取得装置320は、治療セッションの前、最中、および/または後に、患者の2Dまたは3DMRI画像を取得するために使用されるMRI機械を含むことができる。画像取得装置320は、磁気共鳴撮像のための一次磁場を生成するための磁石321を含むことができる。磁石321の動作により生成される磁力線は、中央並進軸Iに実質的に平行とすることができる。磁石321は、並進軸Iに平行に延びる軸を備えた1つまたはそれ以上のコイルを含むことができる。いくつかの実施形態では、磁石321の1つまたはそれ以上のコイルは、磁石321の中央窓323にコイルがないように間隔を空けることができる。他の実施形態では、磁石321内のコイルは、放射線治療装置330によって生成された波長の放射に対して実質的に透明であるように、十分に薄いまたは低減された密度とすることができる。画像取得装置320は、また、磁石321の外側の磁場をキャンセルまたは低減するために、ほぼ等しい大きさおよび反対の極性の磁場を磁石321の外側に生成する1つ以上の遮蔽コイルを含むことができる。以下で説明するように、放射線治療装置330の放射線源331は、磁場が少なくとも1次まで、または低減される領域に位置することができる。
画像取得装置320は、2つの勾配コイル325および326も含むことができ、これらは、一次磁場に重畳される勾配磁場を生成することができる。コイル325および326は、磁場に勾配を発生させ、プロトンの空間的な符号化を可能にして、それらの位置を決定することができる。勾配コイル325および326は、磁石321と共通の中心軸の周りに配置されてもよく、その中心軸に沿って変位して配置されてもよい。変位は、コイル325と326との間にギャップまたは窓を生成することができる。磁石321がコイル間に中央窓323も含む実施形態では、2つの窓は互いに位置合わせされる。
いくつかの実施形態では、画像取得装置320は、X線、CT、CBCT、スパイラルCT、PET、SPECT、光断層撮影、蛍光撮像、超音波イメージング、または放射線治療ポータルイメージング装置のような、MRI以外の撮像装置であってもよい。当業者によって認識されるように、画像取得装置320の上記の説明は、特定の実施形態に関するものであり、限定することを意図するものではない。
放射線治療装置330は、X線源、または直線加速器、および(図5で以下示されているような)マルチリーフコリメータ(MLC)333のような、放射線源331を含むことができる。放射線治療装置330は、シャーシ335に取り付けられてもよい。カウチ310が治療領域に挿入されると、1つまたはそれ以上のシャーシモータ(図示せず)がカウチ310の周りでシャーシ335を回転させることができる。一実施形態において、カウチ310が治療領域に挿入されるとき、シャーシ335がカウチ310の周りで連続的に回転可能であってもよい。シャーシ335は、また、好ましくは放射線源331の反対側に配置された放射線検出器(図示せず)を取り付けれ、シャーシ335の回転軸が、放射線源331と検出器との間に配置されていてもよい。さらに、装置330は、例えば、カウチ310、画像取得装置320、および放射線治療装置330のうちの1つまたは複数を制御するために使用される制御回路(図示せず)を含むことができる。放射線治療装置330の制御回路は、システム300に統合されてもよく、システム300から離れていてもよい。
放射線療法治療セッション中、患者はカウチ310上に配置される。次いで、システム300は、磁気コイル321、325、326、およびシャーシ335によって画定された治療領域にカウチ310を移動させる。次いで、制御回路は、放射線源331、MLC333、およびシャーシモータを制御して、放射線治療計画に従ってコイル325と326の間の窓を通して患者に放射線を送達する。
図2、図3、図4Aは、放射線療法の出力が中心軸(例えば軸「A」)の周りに回転させることができる構成を含む、患者への放射線治療を提供するように構成された、一般的な放射線治療装置の例を示す。他の放射線療法の出力構成を使用することができる。例えば、放射線療法の出力は、複数の自由度を持つロボットアームまたはマニピュレーターに取り付けることができる。さらに別の実施例において、治療出力を、患者から横方向に離れた領域に位置するように固定することができ、患者を支えるプラットフォームを用いて、放射線治療アイソセンタを患者内の指定された標的軌跡に合わせることができる。
上述したように、図2、図3、図4Aにより説明された放射線治療装置は、患者の体内の指定された標的部位に放射線療法ビームを成形、方向付け、または強度を変調するためのマルチリーフコリメータを含む。図5は、自動的に位置決めされて腫瘍140の断面または投影に近い開口を画定することができる、リーフ132Aから132Jを含む例示的なマルチリーフコリメータ(MLC)132を示す。リーフ132Aから132Jは、放射線治療ビームの変調を可能にする。リーフ132Aから132Jは、放射線治療計画に従って、開口部以外の領域で放射線ビームを減衰または遮断するような材料で作られている。例えば、リーフ132Aから132Jは、タングステンを含むような金属プレートを含み、プレートの長軸がビーム方向に平行に向けられ、(図2の図示平面内に示される)ビーム方向に直角に向けられた端部を有する。マルチリーフコリメータ(MLC)132の「状態」は、腫瘍140または他の標的部位の形状または位置によりよく近似する治療ビームを確立するように、放射線療法治療中に適応的に調整することができる。これは、静的コリメータ構成を用いることと比較した場合、または「オフライン」治療計画手法を使用するだけで決定されたMLC132構成を使用することと比較した場合である。腫瘍または腫瘍内の特定の領域に特定の放射線量分布を生成するためにMLC132を用いる放射線療法技術は、強度変調放射線療法(IMRT)と呼ばれる。
図6は、本開示のいくつかの実施形態による、放射線治療装置130(例えば、レクセルガンマナイフ:Leksell Gamma Knife)の別のタイプの実施例を示す。図1Dに示すように、放射線治療セッション中、患者202は手術または放射線療法を受けている患者の身体部分(例えば、頭部)を安定に保つために、座標フレーム220を着用することができる。座標フレーム220および患者位置決めシステム222は、患者の撮像中または放射線手術中に使用することができる空間座標系を確立することができる。放射線治療装置130は、複数の放射線源212を囲む保護ハウジング214を含むことができる。放射線源212は、ビームチャネル216を介して複数の放射ビーム(例えば、ビームレット)を生成することができる。複数の放射ビームは、異なる方向からアイソセンタ218に焦点を合わせるように構成することができる。個々の放射線ビームの強度は比較的低くすることができるが、異なる放射線ビームからの複数の線量がアイソセンタ218に蓄積すると、アイソセンタ218は、比較的高レベルの放射線を受け取ることができる。特定の実施形態では、アイソセンタ218は、腫瘍などの手術または治療中の標的に対応する。
図7は、X線コーンビームコンピュータ断層撮影スキャナ700を示す。X線コーンビームコンピュータ断層撮影スキャナ700は、X線管704と検出器708を含むことができる。動作中には、光子は、X線管704から放出され、検出器708に到達する前に3Dオブジェクト(例えば、患者の解剖学的構造の一部)を通過する。3Dオブジェクトは、放出された光子の一部を吸収する。検出器708は、受信した光子を対応する電子信号に変換するD平面を含む。電子信号は、2D投影空間画像を形成するように、特定のX線経路(直線経路)に沿った吸収強度を記録する。3Dオブジェクトの3D構造情報を取得するためには、3Dオブジェクトを回転軸を中心に回転させるか、または、X線管704と検出器708を軌跡のような軌道でスキャンさせるかして、異なる視野角からの2D投影空間画像を取得する。一実施例では、数百の2D投影空間画像に対応するような、200度を超える範囲で2D投影空間画像を収集することができる。
画像再構成アルゴリズムを使用して、X線コーンビームコンピュータ断層撮影スキャナ700によって収集された2D投影空間画像から3Dオブジェクトの3D画像を形成することができる。再構成アルゴリズムには、分析的および反復的な再構成アルゴリズムを含むことができる。一実施例では、分析アルゴリズム(フェルドカンプ(Feldkamp)またはフェルドカンプ修正アルゴリズム(Feldkamp-modified algorithms)のような)を使用して、スキャナ700によって収集された2D投影空間画像を処理して3D再構成画像を取得することができる。一実施例では、分析アルゴリズムは数秒で2D投影空間画像を処理することができる。しかし、3D再構成画像には、収集された2D投影空間画像と分析アルゴリズムに関連する数学的仮定との不一致によって導入されるアーチファクトのような、アーチファクトが発生する可能性がある。さらに、ノイズのような他の原因からアーチファクトが発生する可能性がある。一実施例では、反復アルゴリズムを使用して、スキャナ700によって収集された2D投影空間画像を処理し、3D再構成画像を取得することができる。反復アルゴリズムは、分析アルゴリズムに関連するすべてのタイプではないがいくつかのアーチファクトを抑制して、分析アルゴリズムよりも高品質の画像を取得できるが、反復アルゴリズムは、高度なGPUテクノロジーを用いても、分析アルゴリズムよりもはるかに長い時間がかかる可能性がある。分析アルゴリズムも反復アルゴリズムも、すべてのタイプのアーチファクトに有効であるわけではない。画像内のアーチファクトは、ノイズ、散乱、消滅アーチファクト、ビーム強化アーチファクト、指数エッジ勾配効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、または位置ずれ効果のいずれか1つまたはそれ以上を含む。
ノイズアーチファクトは、丸め誤差または電気ノイズからの付加ノイズを含み得る。ノイズアーチファクトは、ポアソン分布に従うことができるフォトンカウントノイズも含み得る。CBCT機械装置は、ミリアンペアの電流で動作させることができ、これは、CT機械装置の電流よりも約1桁小さいため、CBCT画像の信号対雑音比はCT画像よりも低くすることができる。散乱アーチファクトは、直線経路に沿った移動から外れたオブジェクトによって散乱された光子によって引き起こされ得る。光子が直線経路を移動していると想定する特定の再構成アルゴリズムでは、散乱のためにアーチファクトが導入され得る。散乱アーチファクトは、CBCT2D/3D画像の不均一な暗色化を含み得る。減衰アーチファクトは、オブジェクトが強力な吸収材料を含んでいて、光子がオブジェクトを透過できない場所に存在し、検出器に非常に弱いまたはゼロの信号を発生させる。検出器の信号が非常に弱いかゼロの場合、吸収情報が失われる可能性がある。2DCBCT投影空間画像の消滅アーチファクトは、強い明るい縞状のアーチファクトのような、再構成されたCBCT2D/3D画像にアーチファクトを引き起こす可能性がある。多色X線ビームを使用して2DCBCT投影空間画像を形成する場合、ビーム硬化アーチファクトが発生する可能性がある。多色X線ビームでは、低エネルギーX線が患者の組織に優先的に吸収され、高エネルギーX線と低エネルギーX線の比率が相対的に増加する可能性がある。比率の相対的な増加は、再構成されたCBCT2D/3D画像にアーチファクトをもたらす可能性がある。指数エッジ勾配効果(EEGE)は、隣接する構造とのコントラストが高い鋭いエッジで発生する可能性がある。再構成のアルゴリズムではビーム幅がゼロであると想定されるので、EEGEは、有限のビーム幅で測定された強度を平均化することで発生する可能性がある。EEGEは、計算された密度の値を小さくすることができ、投影方向に長い直線のエッジに接する縞模様を引き起こす可能性がある。エイリアシングアーチファクトは、画像のサンプリング周波数(単位面積あたりのピクセル数)がサンプリングされる空間周波数の値の2倍未満の場合に発生する可能性がある。エイリアシングアーチファクトは、CBCT投影空間画像の収集に使用されるような発散コーンビームの結果としても発生する可能性がある。リングアーチファクトは、欠陥または未較正の検出器要素によって発生する可能性がある。リングアーチファクトは、回転軸を中心とする同心リングとして表示される。モーションアーチファクトと不整列の影響は、CBCT画像の収集中に、ソース、オブジェクト、検出器のいずれか1つの不整列が原因で発生する可能性がある。
図8Aは、ディープラーニングの例示的なフローダイヤグラムを示す。入力804は、値の初期セット、患者画像、および期待される結果を有する定義済みのディープラーニングモデルを含む。一実施例では、ディープラーニングモデルにディープ畳み込みニューラルネットワークを含めることができる。一実施例では、患者画像は、CBCT画像などの医用画像を含むことができる。一実施例では、医用画像はアーチファクトで汚染される可能性があり、期待される結果には、医用画像のアーチファクト低減バージョンが含まれる可能性がある。ディープラーニングモデル808のトレーニング中に、トレーニングデータのバッチを患者の画像と期待される結果から選択することができる。ディープラーニングモデルは、患者画像に適用されて推定結果を提供し、それは、エラーマップを提供するように予想結果と比較することができる。エラーマップは推定結果と予想結果との相違の測定値を提供することができる。エラーマップは、ユーザにより提供されるように、あらかじめ決められた基準と比較することができる。エラーマップが所定の基準を満たさない場合、ディープラーニングモデルのモデルパラメータをエラーマップに基づいて更新し、トレーニングデータの別のバッチを患者の画像と期待される結果から選択して、ディープラーニングモデルをさらにトレーニングすることができる。エラーマップが所定の基準を満たす場合、トレーニングを終了でき、トレーニングされたモデルをディープラーニング推論ステージ812で使用して、トレーニングデータとは異なる患者画像からアーチファクトを除去することができる。トレーニングされたモデルは、新しい患者の画像を受け取り、予測された結果(例えば、アーチファクトが低減された患者画像)を提供することができる。
図8Bは、投影空間と画像空間との関係の一実施例を示す。一実施例では、CBCTスキャナ700を用いて収集することができるような、2D投影空間画像のセットは、再構成された3Dボリューム画像、または、逆投影演算子または再構成アルゴリズム(例えば、分析または反復)を用いて再構成された2D画像に変換することができる。再構成された3Dボリューム画像は、順投影演算子を使用して2D投影空間画像のセットに逆変換することができる。
図9Aは、投影空間アプローチにおいて2DCBCT投影空間画像におけるアーチファクトを低減するためのディープ畳み込みニューラルネットワーク(DCNN)900の一実施例を示す。一実施例では、DCNN900は回帰のDCNNになり得る。DCNN900は、画像処理装置12のメモリ装置16のようなメモリに格納され得る。DCNN900は、特徴抽出層904および画像回復層908を含むことができる。特徴抽出層904および画像回復層908は、畳み込み層、プーリング/サブサンプリング層、デコンボリューション層、プール解除/アップサンプリング層、活性化層、正規化層、コピー層、またはクロップ層のいずれか1つまたはそれ以上を含むことができる。
DCNNは、CBCTスキャナ700で収集されたもののような2DCBCT投影空間画像を入力902で受け取ることができる。特徴抽出層904は、異なるスケールおよび異なる複雑度レベルで所望の特徴を抽出する階層的特徴抽出パラダイムを構築することができ、抽出層904のそれぞれは、入力として先行層の潜在表現を受け取る。画像回復層908は、所望の2DCBCT投影空間画像解像度または画像サイズが達成されるまで、粗い解像度から細かい解像度までアーチファクト低減された2DCBCT投影空間画像を徐々に回復および/または再構成することができる。一実施例では、DCNN900は全体としてトレーニングすることができる(例えば、特徴抽出層904および画像回復層908のパラメータは、トレーニングモデルの各反復中に一緒に更新することができる)。一実施例では、特徴抽出層908のパラメータと画像回復層908のパラメータは別々に更新することができる。一実施例では、特徴抽出層904または画像回復層908のパラメータは、VGG画像分類モデルなどの事前トレーニングモデルからの重みから初期化することができる。特徴抽出層904または画像回復層908の他のパラメータは、トレーニングモデルの各反復中に更新することができる。
図9Bは、投影空間アプローチにおいて2DCBCTアーチファクト汚染された投影空間画像におけるアーチファクトを低減するために、DCNN900のようなDCNNをトレーニングするための方法の一実施例を示す。DCNNは、アーチファクトで汚染された2DCBCT投影空間画像のセットを受け取る(ステップ940)。DCNNは、対応するアーチファクトが低減された2DCBCT投影空間画像も受け取る。アーチファクトで汚染された2DCBCT投影空間画像と、対応するアーチファクトが低減された2DCBCT投影空間画像との受け取りのセットは、患者グループ(例えば、患者グループ内の各患者)から収集できます。一実施例では、対応するアーチファクトが低減された2DCBCT投影空間画像は、アーチファクトがないまたはほぼアーチファクトがない可能性がある。対応するアーチファクトが低減された2DCBCT投影空間画像は、既存の伝統的な方法(例えば、分析または反復アルゴリズム)によってオフラインで用意することができ、それは非常に時間がかかり、複雑となり得るものであり、リアルタイムまたは、ほぼリアルタイムのアプリケーションに適していない可能性がある。2DCBCTのアーチファクト汚染された投影空間画像のセットは、さまざまな視野角の画像を含むことができる。DCNNの1対1トレーニングに対応する一実施例では、DCNNは、患者グループ内の各患者から2DCBCT投影空間画像の複数のペアを受け取ることができ、2DCBCT投影空間画像の各々のペアは、アーチファクト汚染された2DCBCT投影空間画像と、対応するアーチファクト低減された2DCBCT投影空間画像を含む。DCNNの多数対1トレーニングに対応する一実施例では、DCNNは、患者グループ内の各患者から、複数の隣接する視野角のアーチファクト汚染された2DCBCT投影空間画像と、対応するアーチファクト低減された2DCBCT投影空間画像とを受け取ることができる。DCNNの多数対多数トレーニングに対応する一実施例では、DCNNは、患者グループ内の各患者に対する、アーチファクト汚染された3DCBCT投影ボリュームと、対応するアーチファクト低減された3DCBCT投影ボリュームを受け取ることができる。反復インデックスは、ゼロの初期値に設定される(ステップ942)。トレーニングデータのバッチは、2DCBCT投影空間画像のサブセットから形成される(ステップ944)。トレーニングデータのバッチは、ノイズ、散乱、消滅アーチファクト、ビーム硬化アーチファクト、指数関数的エッジグラデーション効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のような、アーチファクト汚染された2DCBCT投影空間画像を含むことができる。トレーニングデータのバッチは、対応するアーチファクト低減された2DCBCT投影空間画像も含むことができる。トレーニングデータのバッチをDCNNに提供する(ステップ946)。DCNNは、DCNNの現在のパラメータに基づいて2DCBCT投影空間画像の出力セットを提供する(ステップ948)。2DCBCT投影空間画像と、対応するアーチファクト低減された2DCBCT投影空間画像の出力セットとの間の比較をすることができる。DCNNの1対1のトレーニングに対応する一実施例では、DCNNによって処理されたアーチファクト汚染された2DCBCT投影空間画像のそれぞれは、対応するアーチファクト低減された2DCBCT投影空間画像と比較できる。DCNNの多数対1のトレーニングに対応する一実施例では、DCNNによって処理された、隣接する視野角の汚染された複数の2DCBCT投影空間画像の所定の1つの画像(例えば、中央の画像)が、対応するアーチファクト低減された2DCBCT投影空間画像に比較される。DCNNの多数対多数のトレーニングに対応する一実施例では、DCNNによって処理された、アーチファクト汚染された3DCBCT投影ボリュームのそれぞれが、対応するアーチファクト低減された3DCBCT投影ボリュームに比較される。対応するエラーマップは、比較から決定することができる(ステップ950)。次に、DCNNのパラメータは、バックプロパゲーション法を用いるなどにより、対応するエラーマップに基づいて更新される(ステップ952)。DCNNのパラメータを更新した後、反復インデックスは値が1だけ増やされる(ステップ954)。反復インデックスは、DCNNのパラメータが更新された回数に対応する。停止基準が計算され、停止基準が満たされている場合、DCNNモデルは、画像処理装置12のメモリ装置16のようなメモリに保存され、トレーニングが停止される(ステップ958)。停止基準が満たされない場合、トレーニングはステップ944から続行する。一実施例では、停止基準は、反復インデックスの値を含む(例えば、停止基準は、反復インデックスが所定の最大反復数と同じかそれ以上であるかどうかを含む)。一実施例では、停止基準は、また、2DCBCT投影空間画像の出力セットの精度を含む(例えば、停止基準は、2DCBCT投影空間画像の出力セットとアーチファクト低減された2DCBCT投影空間画像との相違が所定のしきい値よりも小さいかどうかを含む)。
図9Cは、図9Bで述べられた方法によりトレーニングされたDCNNのような、トレーニングされたDCNNを使用してアーチファクト低減され、再構成された3D画像を生成する方法を示す。DCNNは、ノイズ、散乱、消滅アーチファクト、ビーム強化アーチファクト、指数関数的エッジグラデーション効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のようなアーチファクトを低減することができる。アーチファクト汚染された2DCBCT投影空間画像のセットが、複数の視野角について受け取られる(ステップ980)。トレーニングされたDCNNモデルは、ネットワーク20のようなネットワークから、または画像処理装置12のメモリ装置16のようなメモリから受け取ることができる(ステップ982)。トレーニングされたDCNNが使用されて、受け取られたアーチファクト汚染された2DCBCT投影空間画像におけるアーチファクト(例えば、散乱アーチファクトまたはリングアーチファクト)を低減する(ステップ984)。DCNNの1対1トレーニングに対応する一実施例では、1つのアーチファクト低減された2DCBCT投影空間画像が、受け取られたアーチファクト汚染された2DCBCT画像のそれぞれに対するDCNNにより提供される。DCNNの多数対1トレーニングに対応する一実施例では、1つのアーチファクト低減された2DCBCT投影空間画像が、受け取られた複数の隣接する視野角のアーチファクト汚染された2DCBCT画像のそれぞれに対するDCNNにより提供される。提供された1つのアーチファクト低減された2DCBCT投影空間画像は、対応する受け取られた複数の隣接する視野角のアーチファクト汚染された2DCBCT投影空間画像の中央の画像に対応する。DCNNの多数対多数トレーニングに対応する一実施例では、1つのアーチファクト低減された3DCBCT投影ボリュームが、受け取られたアーチファクト汚染された3DCBCT投影ボリュームのそれぞれに対するDCNNにより提供される。アーチファクト低減された2DCBCT投影空間画像は、再構成アルゴリズムの数学的仮定との互換性を高めることができる。次に、再構成アルゴリズムが使用されて、アーチファクト低減された再構成2D画像または3Dボリューム画像を提供する(ステップ988)ように、アーチファクト低減された2DCBCT投影空間画像を変換する(ステップ986)。一実施例では、トレーニングされたDCNNは、リアルタイムで、またはほぼリアルタイムでのオンラインアプリケーションに対する、アーチファクト低減され再構成された3D画像を生成することができる(例えば、トレーニングされたDCNNは、1秒当たり、15から20の再構成された臨床的な寸法の2D画像を生成することができる)。一実施例では、トレーニングされたDCNNは、2DCBCT投影空間画像および再構築された2D画像または3Dボリューム画像における散乱によりアーチファクトを除去または大幅に低減することができる、または、3Dボリューム画像は、散乱アーチファクトがない、またはほとんどないことがあり得る。
図10Aは、画像空間アプローチにおいて2DCBCT画像におけるアーチファクトを低減するためのディープ畳み込みニューラルネットワーク(DCNN)1000の一実施例を示す。一実施例では、DCNN1000は回帰のためのDCNNである。DCNN1000は、画像処理装置12のメモリ装置16のようなメモリに格納することができる。DCNN1000は、特徴抽出層1004および画像回復層1008を含む。特徴抽出層1004および画像回復層1008は、畳み込み層、プール/サブサンプリング層、デコンボリューション層、プール解除/アップサンプリング層、活性化層、正規化層、コピー層、クロップ層のいずれか1つまたは複数を含む。
図10Bは、画像空間アプローチで3DCBCTボリューム画像におけるアーチファクトを低減するための、DCNN1000のようなDCNNをトレーニングするための方法を示す。DCNNは、アーチファクト汚染された3DCBCTボリューム画像のセットを受け取る(ステップ1040)。DCNNは、対応するアーチファクト低減された3DCBCTボリューム画像も受け取る。アーチファクト汚染された3DCBCTボリューム画像のセットと、対応するアーチファクト低減された3DCBCTボリューム画像の受け取ったセットは、患者グループから(例えば、患者グループ内の各患者から)収集される。一実施例では、アーチファクト低減された3DCBCTボリューム画像は、解析アルゴリズムまたは反復アルゴリズムを使用して、アーチファクト汚染された3DCBCTボリューム画像のアーチファクトを低減することで提供される。一実施例では、アーチファクト低減された3DCBCTボリューム画像は、登録されたCT画像である。対応するアーチファクト低減された3DCBCTボリューム画像は、リアルタイムまたはほぼリアルタイムのアプリケーションに適さない可能性のある方法によって(例えば、CTイメージングによって、またはアルゴリズムの使用によって)オフラインで準備することができる。一実施例では、アーチファクト汚染された3DCBCTボリューム画像は、散乱アーチファクトを有する3DCBCTボリューム画像を含むことができ、対応するアーチファクト低減された3DCBCTボリューム画像は、低減された散乱アーチファクトを有する対応する3DCBCTボリューム画像を含むことができる。一実施例では、アーチファクト汚染された3DCBCTボリューム画像は、リングアーチファクトを有する3DCBCTボリューム画像を含むことができ、対応するアーチファクト低減された3DCBCTボリューム画像は、低減されたリングアーチファクトを有する対応する3DCBCTボリューム画像を含むことができる。一実施例では、対応するアーチファクト低減された3DCBCTボリューム画像は、アーチファクトがない、またはアーチファクトがほとんどない可能性がある。DCNNの1対1トレーニングに対応する一実施例では、DCNNは、患者グループ内の各患者から2D画像の複数のペアを受け取ることができ、2D画像の各ペアは、アーチファクト汚染された2DCBCT画像と対応するアーチファクト低減された2D画像とを含む。アーチファクト低減された2D画像には、登録されたCT画像を含むことができる。DCNNの多数対1トレーニングに対応する一実施例では、DCNNは、複数の隣接するアーチファクト汚染された2DCBCT画像と、患者グループの各患者からの対応するアーチファクト低減された2DCBCT画像を受け取ることができる。アーチファクト低減された2D画像には、登録されたCT画像を含めることができる。DCNNの多数対多数トレーニングに対応する一実施例では、DCNNは、アーチファクト汚染された3DCBCT画像ボリュームと、患者グループ内の各患者に対する対応するアーチファクト低減された3D画像ボリュームを受け取ることができる。アーチファクト低減された3D画像ボリュームには、登録されたCT画像を含めることができる。反復インデックスをゼロの初期値に設定する(ステップ1042)。アーチファクト汚染された3DCBCTボリューム画像と対応するアーチファクト低減された3DCBCT画像または登録されたCT画像とのセットが選択されて、トレーニングデータのバッチを形成することができる(ステップ1044)。アーチファクト汚染された3DCBCTボリューム画像は、ノイズ、散乱、消滅アーチファクト、ビーム硬化アーチファクト、指数関数的エッジグラディエント効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のような、アーチファクト汚染された3DCBCTボリューム画像を含む。トレーニングデータのバッチがDCNNに提供される(ステップ1046)。DCNNは、DCNNの現在のパラメータに基づいて、3DCBCTボリューム画像の出力セットを提供する(ステップ1048)。3DCBCTボリューム画像の出力セットと対応するアーチファクト低減された3DCBCTボリューム画像との間で比較を行う。DCNNの1対1トレーニングに対応する一実施例では、DCNNで処理されたアーチファクト汚染された2DCBCT画像が、対応するアーチファクト低減された2D画像に比較される。アーチファクト低減された2D画像は、登録された2DCT画像を含むことができる。DCNNの多数対1のトレーニングに対応する一実施例では、DCNNの多数対1のトレーニングに対応する一実施例では、DCNNによって処理された、隣接する視野角の汚染された複数の2DCBCT投影空間画像の所定の1つの画像(例えば、中央の画像)が、対応するアーチファクト低減された2D画像に比較される。アーチファクト低減された2D画像は、登録された2DCT画像を含めることができる。DCNNの多数対多数のトレーニングに対応する一実施例では、DCNNによって処理されたアーチファクト汚染された各3DCBCT画像ボリュームが、対応するアーチファクト低減された3D画像ボリュームに比較される。アーチファクトが低減された3D画像ボリュームは、登録された3DCT画像を含むことができる。対応するエラーマップは、比較から決定される(ステップ1050)。次に、DCNNのパラメータは、バックプロパゲーションを用いるような、対応するエラーマップに基づいて更新される(ステップ1052)。DCNNのパラメータを更新した後、反復インデックスは値が1だけ増やされる(ステップ1054)。反復インデックスは、DCNNのパラメータが更新された回数に対応する。停止基準が計算され、停止基準が満たされる場合、DCNNモデルを画像処理装置12のメモリ装置16のようなメモリに保存し、トレーニングが停止される(ステップ1058)。停止基準が満たされない場合、トレーニングはステップ1044から続行する。一実施例において、停止基準は、反復インデックスの値を含むことができる(例えば、停止基準は、反復インデックスが所定の最大反復数と同じかそれ以上であるかどうかを含むことができる)。一実施例では、停止基準は、3DCBCTボリューム画像の出力セットの精度も含むことができる(例えば、停止基準は、3DCBCTボリューム画像の出力セットとアーチファクト低減された3DCBCTボリュームとの相違が所定のしきい値よりも小さいかどうかを含むことができる)。
図10Cは、図10Bで述べられた方法によりトレーニングされたDCNNのような、トレーニングされたDCNNを使用してアーチファクト低減された3Dボリューム画像または2DCBCT画像を生成する方法を示す。DCNNは、ノイズ、散乱、消滅アーチファクト、ビーム強化アーチファクト、指数関数的エッジグラデーション効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のようなアーチファクトを低減することができる。アーチファクト汚染された2DCBCT画像のセットが受け取られる(ステップ1080)。トレーニングされたDCNNモデルは、ネットワーク20のようなネットワークから、または画像処理装置12のメモリ装置16のようなメモリから受け取ることができる(ステップ1082)。トレーニングされたDCNNを用いて、受け取られたアーチファクト汚染された2DCBCT画像のアーチファクトを低減することができる(ステップ1084)。DCNNの1対1のトレーニングに対応する一実施例では、受け取られたアーチファクト汚染された2DCBCT画像に対するDCNNによって1つのアーチファクト低減された2DCBCT画像を提供することができる。DCNNの多数対1のトレーニングに対応する一実施例では、受け取られた複数の隣接するアーチファクト汚染された2DCBCT画像に対するDCNNによって、1つのアーチファクト低減された2DCBCT画像を提供することができる。提供された1つのアーチファクト低減された2DCBCT画像は、対応する複数の受け取られた隣接するアーチファクト汚染された2DCBCT画像の中央の1つに対応する。DCNNの多数対多数のトレーニングに対応する一実施例では、受け取られたアーチファクト汚染された各3DCBCT画像ボリュームに対するDCNNによって、1つのアーチファクト低減された3DCBCT画像ボリュームを提供することができる。一実施例では、特徴抽出部1004のようなDCNNの第1の部分は、アーチファクト汚染された2DCBCT画像における非アーチファクト(non-artifacts)として識別された特徴を抽出する。次に、画像回復部分1008のようなDCNNの第2の部分は、DCNNの第1の部分によって抽出された特徴からアーチファクト低減された2DCBCT画像を再構成する。次に、アーチファクト低減された2DCBCT画像を組み立てて、アーチファクト低減された3Dボリューム画像を形成する(ステップ1086)。一実施例では、トレーニングされたDCNNは、アーチファクト低減された3Dボリューム画像、またはリアルタイムで、またはほぼリアルタイムのオンラインアプリケーションに対する2DCBCT画像を生成することができる(例えば、トレーニングされたDCNNは、1秒当たり、15から20のアーチファクト低減された2DCBCT画像を生成することができる)。一実施例では、トレーニングされたDCNNは、散乱によるアーチファクトを除去または大幅に低減することができ、2DCBCT画像または3Dボリューム画像は、改善された画像コントラストにつながるように、散乱アーチファクトがないか、またはほとんどないようにすることができる。一実施例では、トレーニングされたDCNNは、アーチファクト汚染された2D画像または3DCBCT画像においてリング形状として現れるようなリングアーチファクトを除去または大幅に減らすことができる。
図10Dは、患者から収集した2DCBCT画像1090、患者から収集した登録されたCT画像1092、および、図10Bで説明された方法を用いてトレーニングされたDCNNのようなDCNNを用いて提供されるアーチファクト低減されたCBCT画像1094の一例を示す。2DCBCT画像1090はアーチファクトで汚染されており、登録されたCT画像1092はアーチファクトを含まない、またはほぼアーチファクトを含まず、アーチファクト低減された2DCBCT画像1094はDCNNによる処理後、登録されたCT画像1092と密接に一致している。
図11は、アーチファクト低減された3DCBCT画像を生成するための別の実施形態を示す。アーチファクト汚染された3DCBCTボリューム画像を受け取る(ステップ1120)。3DCBCT画像のプレーンを選択する(ステップ1122)。図10Bで説明された方法によりトレーニングされるように、トレーニングされたDCNNモデルを受け取る(ステップ1124)。選択されたプレーンから一連の2D画像を生成する(ステップ1126)。受け取られたDCNNモデルは一連の2D画像のそれぞれに適用されて、対応するアーチファクト低減された2DCBCT画像を生成する(ステップ1128)。次に、生成されたアーチファクト低減された2DCBCT画像を組み立てて、アーチファクト低減された3DCBCTボリューム画像を形成する(ステップ1130)。アーチファクト汚染されて3DCBCTボリューム画像のすべてのプレーンが処理されていない場合、ステップ1122からステップ1130に再び進む前に、ステップ1122でアーチファクト汚染されて3DCBCTボリューム画像の別のプレーンを選択する。アーチファクトが混入した3DCBCTボリューム画像のすべてのプレーンが処理された場合、異なる選択されたプレーンに対応するアーチファクト低減された3DCBCTボリューム画像を融合することにより、最終的なアーチファクトが低減された3DCBCT画像を形成する。一実施例では、アーチファクト汚染された3DCBCT画像のさまざまな選択されたプレーンを、さまざまなトレーニング済みDCNNモデルを使用して処理することができる。
図12は、本明細書で説明される方法の1つまたはそれ以上を実施することができるマシン1200の実施形態のブロック図を一実施例として示す。1つまたはそれ以上の実施形態では、画像処理装置12の1つまたはそれ以上のアイテムは、マシン1200によって実装される。代替の実施形態では、マシン1200は、スタンドアロンデバイスとして動作するか、または他のマシンに接続されても(例えば、ネットワーク化されても)よい。1つまたはそれ以上の実施形態において、画像処理装置12は、マシン1200の1つまたはそれ以上のアイテムを含むことができる。ネットワーク化された展開では、マシン1200は、サーバー、またはサーバークライアントネットワーク環境のサーバーのクライアントマシンの容量で、またはピアツーピア(または分散)ネットワーク環境のピアマシンとして動作する。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブアプライアンス、ネットワークルーター、スイッチまたはブリッジ、またはそのマシンが実行するアクションを指定する命令(シーケンシャルまたはそれ以外)を実行できるマシンであることができる。さらに、単一のマシンのみが示されているが、「マシン」という用語は、本明細書で説明する方法論の1つまたは複数を実行する命令のセット(または複数のセット)を個別または共同で実行するマシンの集合も含むものとする。
例示的なマシン1200は、バス1208を介して互いに接続されている処理回路1202(例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、特定用途向け集積回路、1つまたはそれ以上のトランジスタ、抵抗器、コンデンサ、インダクタ、ダイオード、論理ゲート、マルチプレクサ、バッファ、変調器、復調器、無線装置(例えば、送信または受信無線装置またはトランシーバのような回路)、センサ1221(例えば、エネルギー(光、熱、電気、機械、またはその他のエネルギー)のあるフォームを他のフォームに変換するトランスデューサーなど、またはそれらの組み合わせ)、メインメモリ1204、およびスタティックメモリを含む。マシン1200(例えば、コンピュータシステム)は、ビデオディスプレイユニット1210(例えば、液晶ディスプレイ(LCD)または陰極線管(CRT))をさらに含み得る。マシン1200は、英数字入力装置1212(例えば、キーボード)、ユーザインターフェース(UI)ナビゲーション装置1214(例えば、マウス)、ディスクドライブまたは大容量記憶装置1216、信号生成装置1218(例えば、スピーカー)およびネットワークインターフェース装置1220も含む。
ディスクドライブユニット1216は、本明細書で説明される方法または機能のうちのいずれか1つまたはそれ以上によって具現化または利用される命令およびデータ構造(例えば、ソフトウェア)1224の1つまたはそれ以上のセットが記憶される機械可読媒体1222を含む。命令1224は、また、マシン1200、メインメモリ1204およびプロセッサ1202による実行中に、完全にまたは少なくとも部分的に、メインメモリ1204および/またはプロセッサ1202内に常駐し、機械可読媒体を構成することができる。
図示されたマシン1200は、出力コントローラ1228を含む。出力コントローラ1228は、マシン1200への、またはマシン1200からのデータフローを管理する。出力コントローラ1228はデバイスコントローラと呼ばれ、出力コントローラ1228と直接相互に作用するソフトウェアはデバイスドライバと呼ばれる。
機械可読媒体1222は、例示的な実施形態では単一の媒体であるように示されているが、用語「機械可読媒体」は、1つまたはそれ以上の命令またはデータ構造を格納する、単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバー)を含み得る。「機械可読媒体」という用語は、機械による実行のための命令を格納、符号化、または搬送することができ、機械に本発明の方法論の1つまたはそれ以上を実行させることができ、またはそのような命令によって利用される、または関連するデータ構造を保存、エンコード、または実行することができる、いかなる有形媒体も含むものとする。したがって、「機械可読媒体」という用語は、ソリッドステートメモリ、光学および磁気媒体を含むと解されるが、これらに限定されない。機械可読媒体の特定の例は、半導体メモリデバイスを含む不揮発性メモリ、たとえば、消去可能プログラマブル読み取り専用メモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、およびフラッシュメモリデバイス、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク。光磁気ディスク、およびCD−ROMおよびDVD−ROMディスクを含む。
命令1224は、さらに、伝送媒体を使用して通信ネットワーク1226を介して送信または受信され得る。命令1224は、ネットワークインターフェース装置1220や、いくつかの周知の転送プロトコル(例えば、HTTP)のうちのいずれか1つを使用して送信され得る。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、インターネット、携帯電話ネットワーク、プレインオールドテレフォン(POTS)ネットワーク、および無線データネットワーク(例えば、WiFi、WiMaxネットワークなど)が含まれる。「伝送媒体」という用語は、機械による実行のための命令を保存、エンコード、または実行できる無形媒体を含み、そのようなソフトウェアの通信を促進するためのデジタルまたはアナログ通信信号または他の無形媒体を含むものとする。
本明細書で使用する「通信可能に結合」とは、いずれかの結合上のエンティティがその間のアイテムを介して通信する必要があり、それらのエンティティがアイテムを介して通信せずに互いに通信できないことを意味する。
[0096]
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、限定ではなく例示として、本発明を実施することができる特定の実施形態を示すものである。これらの実施形態は、本明細書では「例」とも呼ばれる。そのような例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている例を考慮している。さらに、本願発明者らは、また、特定の例(またはその1つまたは複数の態様)に関して、あるいは他の例(またはその1つまたは複数の態様)に関して示された、または説明された要素の任意の組合せまたは置換を用いる例を考慮している。
本明細書で言及されている全ての刊行物、特許、および特許文書は、個々に参照により組み込まれるように、その全体が参照により本明細書に組み込まれる。本明細書と、参照により組み込まれたそれら文書との間で矛盾する用法がある場合には、組み込まれた文書における用法は、本明細書の用法の補脚と考えられるべきであり、調整できない矛盾については、本明細書の用法が支配する。
本明細書では、用語「a」、「an」、「the」、「said」は、特許文書において一般的であるように、本発明の態様の要素またはその実施形態の要素を紹介するときに使用され、「少なくともひとつ」または「1つまたは複数」の他の例または用法とは独立に、1つまたは複数の要素以上の1つまたは複数を含む。本明細書では、用語「または(or)」は、「AまたはB(A or B)」が、そうでないと示されない限り、「Aを含むがBを含まない(A but not B)」、「Bを含むがAを含まない(B but not A)」、「AおよびB(A and B)」を含むように、非排他的であることを指すために使用される。
添付の特許請求の範囲において、用語「including(含む)」および「in which(その中で)」は、それぞれの用語「comprising(含む)」および「wherein(ここで)」の平易な英語の等価物として使用される。また、添付の特許請求の範囲において、用語「含む(comprising)」、「含む(including)」および「有する(having)」は、請求項内のそのような用語(例えば、comprising、including、having)の後に追加の要素が依然として含まれるとみなされるように、列挙された要素以外の追加の要素が存在し得ることを意味するオープンエンドであることを意図している。さらに、添付の特許請求の範囲では、「第1の」、「第2の」、および「第3の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
本発明の実施形態は、コンピュータ実行可能命令を用いて実施することができる。コンピュータ実行可能命令(たとえばソフトウェアコード)は、1つまたは複数のコンピュータ実行可能コンポーネントまたはモジュールに構成することができる。本発明の態様は、任意の数および構成の構成要素またはモジュールを用いて実施することができる。例えば、本発明の態様は、図示され本明細書に記載された特定のコンピュータ実行可能命令または特定の構成要素もしくはモジュールに限定されない。本発明の他の実施形態は、図示され本明細書に記載されたものより多いまたは少ない機能を有する異なるコンピュータ実行可能命令または構成要素を含むことができる。
本明細書で説明される方法例(例えば、動作および機能)は、機械的に実施される、または少なくとも部分的にコンピュータで実施される(例えば、ソフトウェアコードまたは命令として実施される)ことができる。いくつかの例は、上記の例で説明されたような方法を実行するように電子デバイスを構成するように動作可能な命令で符号化された、コンピュータ可読媒体または機械可読媒体を含むことができる。そのような方法の実装は、マイクロコード、アセンブリ言語コード、より高いレベルの言語コードなど(例えば、ソースコード)のようなソフトウェアコードを含むことができる。そのようなソフトウェアコードは、様々な方法を実行するためのコンピュータ可読命令(例えば、オブジェクトまたは実行可能コード)を含むことができる。ソフトウェアコードは、コンピュータプログラム製品の一部を形成してもよい。本明細書に記載の実施形態のソフトウェア実装は、コードまたは命令を格納した製品を介して、または、通信インターフェース(例えば、無線、インターネット、衛星通信、など)を介してデータを送信するために通信インターフェースを動作させる方法を介して提供される。
さらに、ソフトウェアコードは、実行中または他のときに、1つまたは複数の揮発性または不揮発性のコンピュータ可読記憶媒体に有形に格納することができる。これらのコンピュータ可読記憶媒体は、これらに限定されないが、例えば、フロッピーディスク、ハードディスク、リムーバブル磁気ディスク、任意の形態の磁気ディスク記憶媒体、CD−ROM、光磁気ディスク、リムーバブル光ディスク(例えば、コンパクトディスクおよびデジタルビデオディスク)、フラッシュメモリ装置、磁気カセット、メモリカードまたはスティック(例えば、セキュアデジタルカード)、ランダムアクセスメモリ(RAM)(例えば、CMOS、RAMなど)、記録可能/記録不可能媒体(例えば、読み出し専用メモリ(ROM))、EPROM、EEPROM、または電子命令を格納するのに適した任意の種類の媒体等々のような、機械(例えば、コンピューティングデバイス、電子システムなど)によってアクセス可能な形式で情報を格納するための任意のメカニズムを含むことができる。そのようなコンピュータ可読記憶媒体は、プロセッサおよびOISの他の部分によってアクセス可能であるようにコンピュータシステムバスに結合される。
一実施形態では、コンピュータ可読記憶媒体は治療計画用のデータ構造を符号化してもよく、治療計画は適応的でもよい。コンピュータ可読記憶媒体のためのデータ構造は、医学におけるデジタル画像形成および通信(DICOM)フォーマット、拡張DICOMフォーマット、XMLフォーマットなどのうちの少なくともひとつでもよい。DICOMは、さまざまなタイプの医療機器間で医用画像関連データを転送するために使用されるフォーマットを定義する国際通信規格である。DICOM RTは放射線療法に特有の通信規格を指し示している。
本発明の様々な実施形態では、構成要素またはモジュールを作成する方法は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。本発明の様々な実施形態によって提供される方法は、例えば、C、C++、Java(登録商標)、Pythonなど、およびそれらの組み合わせのような標準的なプログラミング言語を使用することによってソフトウェアで実装することができる。本明細書で使用されるとき、用語「ソフトウェア」および「ファームウェア」は、交換可能であり、コンピュータによる実行のためにメモリに格納された任意のコンピュータプログラムを含む。
通信インターフェースは、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラ、およびディスクコントローラのような、他の装置と通信するための、有線、無線、光学などの媒体のいずれかとインターフェースする任意の機構を含む。通信インターフェースは、構成パラメータを提供すること、および/またはソフトウェアコンテンツを記述するデータ信号を提供するために通信インターフェースを準備するために信号を送信することによって構成することができる。通信インターフェースは、通信インターフェースに送信された1つまたは複数のコマンドまたは信号を介してアクセスされることができます。
本発明は、また本明細書の動作を実行するためのシステムに関する。このシステムは、要求される目的のために特別に構築されてもよく、あるいはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むようにしてもよい。本明細書で図示および説明された本発明の実施形態における動作の実行の順序は、特に指定のない限り、本質的なものではない。すなわち、特に指定されない限り、動作は任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示されたものより動作が追加されてもよいし、より少ない動作でもよい。例えば、特定の動作を他の動作の前、それと同時に、またはその後に実行または実行することは、本発明の態様の範囲内であると考える。
上記を考慮すると、本発明のいくつかの目的が達成され、他の有利な結果が達成されることが理解されよう。本発明の態様を詳細に説明してきたが、添付の特許請求の範囲に規定されるような本発明の態様の範囲から逸脱することなく修正および変形が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく上記の構成、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ添付の図面に示されるすべての事項は例示として、限定的な意味ではないと解釈されるべきである。
上記の説明は例示的であり、限定的ではない。例えば、上述の例(または1つまたは複数の態様)は互いに組み合わせて使用することができる。さらに、その範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために多くの修正を加えることができる。本明細書に記載の寸法、材料の種類、およびコーティングは、本発明のパラメーターを規定することを意図しているが、それらは決して限定するものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が含まれる等価物の全範囲と共に決定されるべきである。
また、上記の詳細な説明では、開示を簡素化するために様々な特徴を一緒にグループ化することができる。これは、請求されていない開示された機能がいかなる請求にも不可欠であることを意図していると解釈されるべきではない。むしろ、本発明の主題は、特定の開示された実施形態の全ての特徴より少ない特徴にあってもよい。したがって、添付の特許請求の範囲は、詳細な説明に組み込まれ、各特許請求の範囲は、別個の実施形態としてそれ自体に基づいている。本発明の範囲は、添付の特許請求の範囲を、そのような特許請求の範囲が権利を有する等価物の全範囲と共に参照して決定されるべきである。さらに、添付の特許請求の範囲の限定は、ミーンズプラスファンクションの形式で書かれておらず、米国特許法(35USC)に基づいて解釈されることを意図していない。米国特許法第112条第6段落は、そのような請求の範囲の限定が明示的でない限り、さらなる構造を欠く機能の記述を続く「ミーンズフォー(means for)」なる句を使用する。
要約書は、読者が技術的開示の性質を迅速に確認することを可能にするために、米国特許法施行規則第1.72条(b)に準拠して提供される。本明細書は、特許請求の範囲または意味を解釈または限定するために使用されることはないとの理解のもとに提出されている。
Claims (21)
- ディープ畳み込みニューラルネットワークをトレーニングして、少なくとも1つの投影空間画像内の1つまたはそれ以上のアーチファクトを低減する方法であって、
少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、患者グループ内の各患者からの少なくとも1つの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を収集し、
前記少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、前記患者グループ内の各患者からの前記少なくとも1つの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を用い、ディープ畳み込みニューラルネットワークをトレーニングして、投影空間画像内の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - 請求項1記載の方法において、
患者グループ内の各患者から投影空間画像の複数のペアを収集し、投影空間画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影投影画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影画像を含み、
前記患者グループ内の各患者から前記投影空間画像の複数のペアを用い、回帰用のディープ畳み込みニューラルネットワークをトレーニングして、前記投影空間画像内の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - 請求項1記載の方法において、
複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、患者グループ内の各患者からの対応するアーチファクト低減された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層撮影投影空間画像を収集し、
前記複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、前記患者グループ内の各患者からの前記対応するアーチファクト低減された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層撮影投影空間画像を用い、ディープ畳み込みニューラルネットワークをトレーニングして、複数の隣接するビューの少なくとも中央のビューのコーンビームコンピュータ断層撮影投影空間画像内の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - 請求項1記載の方法において、
3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、患者グループ内の各患者からの対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を収集し、
前記3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、前記患者グループ内の各患者からの前記対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を用い、ディープ畳み込みニューラルネットワークをトレーニングして、前記コーンビームコンピュータ断層撮影投影空間内の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - ディープ畳み込みニューラルネットワークを用いて、患者から収集された投影空間画像内の1つまたはそれ以上のアーチファクトを低減する方法であって、
前記患者から少なくとも1つのアーチファクト汚染された投影空間画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくも1つの投影空間画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、患者のグループから収集された複数の投影空間画像を用いることによりトレーニングされたモデルを含む
ことを特徴とする方法。 - 請求項5記載の方法において、
前記トレーニングされたディープ畳み込みニューラルネットワークは、患者からほぼリアルタイムで収集された投影空間画像内の少なくとも1つのアーチファクトを低減し、
前記少なくとも1つのアーチファクトは、散乱アーチファクトまたはノイズアーチファクトの少なくとも1つを含む
ことを特徴とする方法。 - 請求項5記載の方法において、
前記患者からのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層投影空間画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、患者グループ内の各患者から収集された投影空間画像の複数のペアを使用することによりトレーニングされたモデルを含み、投影空間画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間画像を含む
ことを特徴とする方法。 - 請求項5記載の方法において、
前記患者からの複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層投影空間画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された複数の隣接するビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影空間画像と、患者グループ内の各患者からの前記複数の隣接するビューの中央のビューのコーンビームコンピュータ断層投影空間画像を使用することによりトレーニングされたモデルを含む
ことを特徴とする方法。 - 請求項5記載の方法において、
前記トレーニングされたディープ畳み込みニューラルネットワークは、
前記患者から収集された隣接する複数のビューのアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間画像間の少なくとも1つの相関を使用して、前記患者から収集された前記隣接する複数のビューの中央のビューにおける1つまたはそれ以上の前記アーチファクトを低減する
ことを特徴とする方法。 - 請求項5記載の方法において、
前記患者からの3次元のアーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層撮影投影空間内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された3次元アーチファクト汚染されたコーンビームコンピュータ断層撮影投影空間と、患者グループ内の各患者から収集された前記対応するアーチファクト低減されたコーンビームコンピュータ断層撮影投影空間を使用することによりトレーニングされたモデルを含む
ことを特徴とする方法。 - ディープ畳み込みニューラルネットワークをトレーニングして、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを減らす方法であって、
複数のコーンビームコンピュータ断層撮影の患者の解剖学的画像と、患者のグループからの対応するコンピュータ断層撮影の解剖学的画像を収集し、
前記複数のコーンビームコンピュータ断層撮影の解剖学的画像と、前記対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を使用して、回帰用のディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像からアーチファクトを除去する
ことを特徴とする方法。 - 請求項11記載の方法において、
患者のグループ内の各患者からの複数のペアの解剖学的画像を収集し、個々のペアの解剖学的画像は、アーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を含み、
前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - 請求項11記載の方法において、
複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、患者のグループ内の各患者に対する複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像の中央の画像に対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を収集し、
前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、複数のコーンビームコンピュータ断層撮影の解剖学的画像の少なくとも中央の画像内の1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - 請求項11記載の方法において、
少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的ボリュームと、患者グループ内の各患者に対する少なくとも1つの対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的ボリュームを収集し、
前記収集された画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的ボリュームの1つまたはそれ以上のアーチファクトを低減する
ことを特徴とする方法。 - ディープ畳み込みニューラルネットワークを使用して、患者から収集された解剖学的画像の1つまたはそれ以上のアーチファクトを減らす方法であって、
前記患者から少なくとも1つのアーチファクト汚染された解剖学的画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくとも1つの解剖学的画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された複数のアーチファクト汚染された解剖学的画像と、対応するアーチファクト低減された解剖学的画像を使用することによりトレーニングされたモデルを含む
ことを特徴とする方法。 - 請求項15記載の方法において、
前記トレーニングされたディープ畳み込みニューラルネットワークは、前記患者からほぼリアルタイムで収集された解剖学的画像内の少なくとも1つのアーチファクトを低減し、
前記少なくとも1つのアーチファクトは、散乱アーチファクト、ビーム強化アーチファクト、ノイズアーチファクト、減衰アーチファクト、指数エッジ勾配アーチファクト、エイリアシングアーチファクト、リングアーチファクト、ストリーキングアーチファクト、またはモーションアーチファクトのうちの少なくとも1つを含む
ことを特徴とする方法。 - 請求項15記載の方法において、
前記患者からアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、患者グループの各患者から収集された複数のペアの解剖学的画像を用いることによりトレーニングされたモデルを含み、解剖学的画像の個々のペアは、アーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減されたコーンビームコンピュータ断層撮影の解剖学的画像が含む
ことを特徴とする方法。 - 請求項15記載の方法において、
複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像を収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された複数の隣接するコーンビームコンピュータ断層撮影の解剖学的画像の中央の画像内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像と、患者グループ内の各患者に対する前記複数の隣接するアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的画像の中央の画像に対応するアーチファクト低減されたコンピュータ断層撮影の解剖学的画像を用いることによりトレーニングされたモデルを有する
ことを特徴とする方法。 - 請求項15記載の方法において、
少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影の解剖学的ボリュームを収集し、
トレーニングされたディープ畳み込みニューラルネットワークを使用して、前記患者から収集された前記少なくとも1つのコーンビームコンピュータ断層撮影の解剖学的ボリューム内の1つまたはそれ以上のアーチファクトを低減し、前記ディープ畳み込みニューラルネットワークは、収集された少なくとも1つのアーチファクト汚染されたコーンビームコンピュータ断層撮影ボリュームと、患者グループの各患者に対する少なくとも1つの対応するアーチファクトが低減されたコンピュータ断層撮影の解剖学的ボリュームを用いることによりトレーニングされたモデルを含む
ことを特徴とする方法。 - ディープ畳み込みニューラルネットワークをトレーニングして、コーンビームコンピュータ断層撮影の解剖学的画像の1つまたはそれ以上のアーチファクトを低減する方法であって、
複数のコーンビームコンピュータ断層撮影の患者の解剖学的画像と、患者グループから対応するアーチファクト低減された解剖学的画像を収集し、
前記複数のコーンビームコンピュータ断層撮影の解剖学的画像と、対応するアーチファクト低減された解剖学的画像を使用して、ディープ畳み込みニューラルネットワークをトレーニングし、コーンビームコンピュータ断層撮影の解剖学的画像からアーチファクトを除去する
ことを特徴とする方法。 - 請求項20記載の方法において、
反復アルゴリズム、コンピュータシミュレーション、物理ファントム、または登録されたコンピュータ断層撮影の解剖学的画像のうちの少なくとも1つを使用して、前記患者グループから前記対応するアーチファクト低減された解剖学的画像を提供する
ことを特徴とする方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021082929A JP2021142326A (ja) | 2017-06-26 | 2021-05-17 | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762524933P | 2017-06-26 | 2017-06-26 | |
US62/524,933 | 2017-06-26 | ||
PCT/US2017/043479 WO2019005180A1 (en) | 2017-06-26 | 2017-07-24 | METHOD FOR ENHANCING CT QUALITY QUALITY WITH CONIC BEAM THROUGH DEEP CONVOLUTIVE NEURAL NETWORK |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082929A Division JP2021142326A (ja) | 2017-06-26 | 2021-05-17 | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020527060A true JP2020527060A (ja) | 2020-09-03 |
JP6887030B2 JP6887030B2 (ja) | 2021-06-16 |
Family
ID=59501629
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019572231A Active JP6887030B2 (ja) | 2017-06-26 | 2017-07-24 | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
JP2021082929A Pending JP2021142326A (ja) | 2017-06-26 | 2021-05-17 | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082929A Pending JP2021142326A (ja) | 2017-06-26 | 2021-05-17 | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10573032B2 (ja) |
EP (1) | EP3646288B1 (ja) |
JP (2) | JP6887030B2 (ja) |
CN (1) | CN111684492B (ja) |
AU (1) | AU2017420781B2 (ja) |
WO (1) | WO2019005180A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022063257A (ja) * | 2020-10-09 | 2022-04-21 | ベイカー ヒューズ オイルフィールド オペレーションズ エルエルシー | コンピュータ断層撮影撮像のための散乱補正 |
JP2022063256A (ja) * | 2020-10-09 | 2022-04-21 | ベイカー ヒューズ オイルフィールド オペレーションズ エルエルシー | コンピュータ断層撮影撮像のための散乱補正 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016217984A1 (de) * | 2016-09-20 | 2018-04-05 | Siemens Healthcare Gmbh | Sinogrammbasierte Streustrahlenkorrektur in der Computertomographie |
JP6887030B2 (ja) | 2017-06-26 | 2021-06-16 | エレクタ、インク.Elekta, Inc. | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
CN111373448B (zh) * | 2017-09-22 | 2023-12-08 | 尼维医疗公司 | 使用机器学习正则化器的图像重建 |
CN109378043A (zh) * | 2017-10-13 | 2019-02-22 | 北京昆仑医云科技有限公司 | 基于患者的医学图像生成诊断报告的系统和方法及介质 |
DE102017219307B4 (de) * | 2017-10-27 | 2019-07-11 | Siemens Healthcare Gmbh | Verfahren und System zur Kompensation von Bewegungsartefakten mittels maschinellen Lernens |
DE102017221830A1 (de) * | 2017-12-04 | 2019-06-06 | Siemens Healthcare Gmbh | Charakterisierung eines Störkörpers innerhalb eines Untersuchungsobjektes anhand eines medizinischen Bilddatensatzes |
US11100632B2 (en) | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
AU2019256304A1 (en) * | 2018-04-19 | 2020-11-26 | Subtle Medical, Inc. | Systems and methods for improving magnetic resonance imaging using deep learning |
US11501438B2 (en) | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
US10832383B2 (en) * | 2018-04-30 | 2020-11-10 | Disney Enterprises, Inc. | Systems and methods for distortion removal at multiple quality levels |
KR102106694B1 (ko) * | 2018-05-17 | 2020-05-04 | 한국과학기술원 | 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법 |
CN112868020A (zh) * | 2018-08-02 | 2021-05-28 | 艾美迪斯人工智能有限公司 | 用于医学成像报告的改进的分析和生成的系统和方法 |
US11836597B2 (en) * | 2018-08-09 | 2023-12-05 | Nvidia Corporation | Detecting visual artifacts in image sequences using a neural network model |
US10991092B2 (en) * | 2018-08-13 | 2021-04-27 | Siemens Healthcare Gmbh | Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data |
WO2020075345A1 (ja) * | 2018-10-10 | 2020-04-16 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
US11042778B2 (en) * | 2018-11-29 | 2021-06-22 | International Business Machines Corporation | Generating realistic organ x-ray angiography (XA) images for deep learning consumption |
US10311570B1 (en) * | 2018-12-07 | 2019-06-04 | Sonavista, Inc. | Medical image based distortion correction mechanism |
US10888713B2 (en) * | 2018-12-28 | 2021-01-12 | Varian Medical Systems, Inc. | Multileaf collimator with alternating trapezoidal leaf geometry design |
CN109782339A (zh) * | 2019-01-14 | 2019-05-21 | 西安交通大学 | 一种基于3D-DnCNN网络的叠后三维地震资料随机噪声压制方法 |
US11710034B2 (en) * | 2019-02-27 | 2023-07-25 | Intel Corporation | Misuse index for explainable artificial intelligence in computing environments |
JP7516074B2 (ja) * | 2019-03-05 | 2024-07-16 | キヤノンメディカルシステムズ株式会社 | 医用処理装置 |
US11026642B2 (en) | 2019-03-29 | 2021-06-08 | Canon Medical Systems Corporation | Apparatuses and a method for artifact reduction in medical images using a neural network |
EP3719750A1 (en) * | 2019-04-03 | 2020-10-07 | Siemens Healthcare GmbH | Medical imaging artifact correction |
EP3725229A1 (en) * | 2019-04-18 | 2020-10-21 | DENTSPLY SIRONA Inc. | Method of metal artefact reduction in x-ray dental volume tomography |
US11954578B2 (en) * | 2019-04-24 | 2024-04-09 | University Of Virginia Patent Foundation | Denoising magnetic resonance images using unsupervised deep convolutional neural networks |
EP3745153A1 (en) * | 2019-05-28 | 2020-12-02 | Koninklijke Philips N.V. | A method for motion artifact detection |
EP3980972A1 (en) * | 2019-06-06 | 2022-04-13 | Elekta, Inc. | Sct image generation using cyclegan with deformable layers |
CN110264421B (zh) * | 2019-06-13 | 2022-07-12 | 明峰医疗系统股份有限公司 | 一种ct坏通道校正方法 |
CN110287965A (zh) * | 2019-06-18 | 2019-09-27 | 成都玻尔兹曼智贝科技有限公司 | 多层神经网络自动分离cbct图像中牙根和牙槽骨的方法 |
US11224399B2 (en) * | 2019-07-12 | 2022-01-18 | Canon Medical Systems Corporation | Apparatus and method using deep learning (DL) to compensate for large focal spot size in x-ray projection imaging |
CN110390361B (zh) * | 2019-07-25 | 2021-04-09 | 安徽工程大学 | 一种基于运动补偿学习的4d-cbct成像方法 |
CA3148657A1 (en) * | 2019-08-23 | 2021-03-04 | Tao Zhang | Systems and methods for accurate and rapid positron emission tomography using deep learning |
CN110742635B (zh) * | 2019-10-08 | 2021-10-08 | 南京安科医疗科技有限公司 | 一种复合能谱ct成像方法 |
US11735306B2 (en) * | 2019-11-25 | 2023-08-22 | Dentsply Sirona Inc. | Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches |
CN111080615B (zh) * | 2019-12-12 | 2023-06-16 | 创新奇智(重庆)科技有限公司 | 基于卷积神经网络的pcb缺陷检测系统及检测方法 |
US11386592B2 (en) | 2019-12-20 | 2022-07-12 | Varian Medical Systems International Ag | Tomographic image analysis using artificial intelligence (AI) engines |
US11436766B2 (en) * | 2019-12-20 | 2022-09-06 | Varian Medical Systems International Ag | Tomographic image reconstruction using artificial intelligence (AI) engines |
CN111091516B (zh) * | 2019-12-24 | 2021-06-04 | 广州柏视医疗科技有限公司 | 一种基于人工智能的抗散射光栅方法及装置 |
CN111053568B (zh) * | 2019-12-30 | 2021-10-08 | 苏州瑞派宁科技有限公司 | Ct图像中环形伪影的校正方法、装置及计算机存储介质 |
US11348243B2 (en) * | 2020-01-24 | 2022-05-31 | GE Precision Healthcare LLC | Systems and methods for medical image style transfer using deep neural networks |
CN111915733B (zh) * | 2020-08-11 | 2022-10-25 | 天津大学 | 基于LeNet网络的三维锥束X射线发光断层成像方法 |
CN111951346B (zh) * | 2020-08-18 | 2023-06-23 | 安徽工程大学 | 一种联合运动估计与时空张量增强表示的4d-cbct重建方法 |
CN112435307B (zh) * | 2020-11-26 | 2022-05-10 | 浙江大学 | 一种深度神经网络辅助的四维锥束ct影像重建方法 |
US20220208377A1 (en) * | 2020-12-30 | 2022-06-30 | Universal Research Solutions, Llc | Patient Post-Operation Improvement Prediction Using Machine Learning |
CN112396042A (zh) * | 2021-01-20 | 2021-02-23 | 鹏城实验室 | 实时更新的目标检测方法及系统、计算机可读存储介质 |
US11890124B2 (en) | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
CN113438451B (zh) * | 2021-06-21 | 2022-04-19 | 易成功(厦门)信息科技有限公司 | 用于多终端多源数据的统一标准化处理平台与方法 |
US20230048231A1 (en) * | 2021-08-11 | 2023-02-16 | GE Precision Healthcare LLC | Method and systems for aliasing artifact reduction in computed tomography imaging |
CN113657580B (zh) * | 2021-08-17 | 2023-11-21 | 重庆邮电大学 | 基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器 |
US20230145523A1 (en) * | 2021-11-10 | 2023-05-11 | Canon Medical Systems Corporation | Medical image processing apparatus, x-ray ct apparatus, medical image processing method and non-volatile storage medium storing program |
CN114820730B (zh) * | 2022-03-08 | 2023-04-07 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
CN116977471B (zh) * | 2023-08-04 | 2024-06-07 | 广州柏视医疗科技有限公司 | 一种生成合成计算机断层扫描图像的方法和设备 |
CN116740218B (zh) * | 2023-08-11 | 2023-10-27 | 南京安科医疗科技有限公司 | 一种心脏ct成像图像质量优化方法、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153194A (ja) * | 1994-11-29 | 1996-06-11 | Hitachi Medical Corp | 画像処理装置 |
US20130051519A1 (en) * | 2011-08-31 | 2013-02-28 | Dong Yang | Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction |
US20150201895A1 (en) * | 2012-08-31 | 2015-07-23 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
US20160048972A1 (en) * | 2014-08-14 | 2016-02-18 | Samsung Electronics Co., Ltd. | Computer-aided diagnosis apparatus and method |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101842807B (zh) * | 2007-05-31 | 2013-07-31 | 伊利克塔股份有限公司 | Ct扫描中运动伪影的减少 |
US9730663B2 (en) * | 2007-08-31 | 2017-08-15 | Koninklijke Philips N.V. | Uncertainty maps for segmentation in the presence of metal artifacts |
RU2013129865A (ru) * | 2010-12-01 | 2015-01-10 | Конинклейке Филипс Электроникс Н.В. | Особенности диагностического изображения рядом с источниками артефактов |
US20150213633A1 (en) * | 2011-04-06 | 2015-07-30 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for providing a panoramic cone beam computed tomography (cbct) |
US8705827B2 (en) * | 2011-04-15 | 2014-04-22 | Georgia Tech Research Corporation | Scatter correction methods |
US9202296B2 (en) * | 2011-09-16 | 2015-12-01 | Caresteam Health, Inc. | Metal artifacts reduction for cone beam CT |
US10331852B2 (en) * | 2014-01-17 | 2019-06-25 | Arterys Inc. | Medical imaging and efficient sharing of medical imaging information |
US9974977B2 (en) | 2014-10-27 | 2018-05-22 | Elekta, Inc. | Image guidance for radiation therapy |
CN105447866A (zh) * | 2015-11-22 | 2016-03-30 | 南方医科大学 | 基于卷积神经网络的x线胸片骨抑制处理方法 |
US10034648B2 (en) * | 2016-01-13 | 2018-07-31 | Carestream Health, Inc. | System and method for motion artifacts reduction |
US20180070902A1 (en) * | 2016-09-14 | 2018-03-15 | Carestream Health, Inc. | Apparatus and method for 4d x-ray imaging |
JP6887030B2 (ja) | 2017-06-26 | 2021-06-16 | エレクタ、インク.Elekta, Inc. | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 |
US10910099B2 (en) | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
US11210836B2 (en) | 2018-04-03 | 2021-12-28 | Sri International | Applying artificial intelligence to generate motion information |
US11100632B2 (en) | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
US11501438B2 (en) | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2017
- 2017-07-24 JP JP2019572231A patent/JP6887030B2/ja active Active
- 2017-07-24 CN CN201780093896.4A patent/CN111684492B/zh active Active
- 2017-07-24 WO PCT/US2017/043479 patent/WO2019005180A1/en unknown
- 2017-07-24 EP EP17746342.9A patent/EP3646288B1/en active Active
- 2017-07-24 AU AU2017420781A patent/AU2017420781B2/en active Active
-
2018
- 2018-04-27 US US15/964,983 patent/US10573032B2/en active Active
-
2020
- 2020-01-10 US US16/739,951 patent/US11080901B2/en active Active
-
2021
- 2021-05-17 JP JP2021082929A patent/JP2021142326A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153194A (ja) * | 1994-11-29 | 1996-06-11 | Hitachi Medical Corp | 画像処理装置 |
US20130051519A1 (en) * | 2011-08-31 | 2013-02-28 | Dong Yang | Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction |
US20150201895A1 (en) * | 2012-08-31 | 2015-07-23 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
US20160048972A1 (en) * | 2014-08-14 | 2016-02-18 | Samsung Electronics Co., Ltd. | Computer-aided diagnosis apparatus and method |
Non-Patent Citations (1)
Title |
---|
QINGSONG YANG ET AL.: "CT Image Denoising with Perceptive Deep Neural Networks", [ONLINE], vol. arXiv:1702.07019v1, JPN6021004332, 22 February 2017 (2017-02-22), ISSN: 0004442715 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022063257A (ja) * | 2020-10-09 | 2022-04-21 | ベイカー ヒューズ オイルフィールド オペレーションズ エルエルシー | コンピュータ断層撮影撮像のための散乱補正 |
JP2022063256A (ja) * | 2020-10-09 | 2022-04-21 | ベイカー ヒューズ オイルフィールド オペレーションズ エルエルシー | コンピュータ断層撮影撮像のための散乱補正 |
JP7314228B2 (ja) | 2020-10-09 | 2023-07-25 | ベイカー ヒューズ オイルフィールド オペレーションズ エルエルシー | コンピュータ断層撮影撮像のための散乱補正 |
Also Published As
Publication number | Publication date |
---|---|
CN111684492B (zh) | 2024-03-15 |
AU2017420781A1 (en) | 2020-02-06 |
JP2021142326A (ja) | 2021-09-24 |
US20180374245A1 (en) | 2018-12-27 |
EP3646288B1 (en) | 2022-09-07 |
US11080901B2 (en) | 2021-08-03 |
AU2017420781B2 (en) | 2020-12-17 |
EP3646288A1 (en) | 2020-05-06 |
WO2019005180A1 (en) | 2019-01-03 |
JP6887030B2 (ja) | 2021-06-16 |
US20200151922A1 (en) | 2020-05-14 |
CN111684492A (zh) | 2020-09-18 |
US10573032B2 (en) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6887030B2 (ja) | ディープ畳み込みニューラルネットワークを使用してコーンビームコンピュータ断層撮影画像を改善する方法 | |
JP6934559B2 (ja) | ディープ畳み込みニューラルネットワークを使用する放射線治療計画 | |
JP6895019B2 (ja) | ディープ畳み込みニューラルネットワークを用いたビームモデルパラメータの決定 | |
JP7307822B2 (ja) | 投影画像を用いた放射線治療の制御点の予測 | |
CN110831664B (zh) | 放射疗法期间考虑形状变化的系统和方法 | |
US20230302297A1 (en) | Patient imaging for dynamic online adaptive radiotherapy | |
EP4101502A1 (en) | Feature-space clustering for physiological cycle classification | |
CN117957574A (zh) | 迭代图像重建 | |
US20220245757A1 (en) | Deformable image registration using deep learning | |
WO2023279188A1 (en) | Quality factor using reconstructed images | |
US20230218926A1 (en) | Bed calculation with isotoxic planning | |
US20240242813A1 (en) | Image quality relative to machine learning data | |
US20230377721A1 (en) | Jointly trained machine learning models for automatic contouring in radiotherapy applications | |
CN118414194A (zh) | 连续性放射治疗计划 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6887030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |