JP2022188750A - 画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体 - Google Patents
画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2022188750A JP2022188750A JP2022081054A JP2022081054A JP2022188750A JP 2022188750 A JP2022188750 A JP 2022188750A JP 2022081054 A JP2022081054 A JP 2022081054A JP 2022081054 A JP2022081054 A JP 2022081054A JP 2022188750 A JP2022188750 A JP 2022188750A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- medical image
- image
- neural network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title description 3
- 238000013528 artificial neural network Methods 0.000 claims abstract description 136
- 230000006870 function Effects 0.000 claims description 75
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000000704 physical effect Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 159
- 238000012549 training Methods 0.000 description 63
- 230000008569 process Effects 0.000 description 48
- 238000002591 computed tomography Methods 0.000 description 42
- 230000004913 activation Effects 0.000 description 21
- 238000001994 activation Methods 0.000 description 21
- 238000005457 optimization Methods 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 17
- 238000010606 normalization Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 12
- 238000011176 pooling Methods 0.000 description 12
- 230000015556 catabolic process Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002939 conjugate gradient method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】画質を向上させること。【解決手段】実施形態に係る画像処理装置は、処理回路を備える。処理回路は、第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する。【選択図】図１
Description
本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体に関する。
医用イメージングにおける一貫した目標として、データ収集時間を短縮しつつ画質を高めることがある。このことは、放射線に基づく画像モダリティを用いる場合には緊急ともいえる課題である。被検体への放射線照射量を減らす簡単な（ただしデメリットのある）解決手段は画質の閾値を下げることである。このため、多くの手法によって、低解像度の医用画像を高解像度の医用画像に変換することにより、画像（または一連の画像）の取得に必要な放射線量を低下しつつ、画質の低下を伴う診断品質の低下を回避する、多くの方法が試みられている。
しかし、このような「超解像」法はあらゆる画像状況に適用できるわけではない。例えば、放射線に基づく手法には、画像解像度の空間的変動によって性能が落ちていくものがある。見落とされがちであるが、高画質を得るためにはこの空間的変動に対処する必要がある。また、この見落としによって、従来の超解像法が、画像解像度延いては画質を向上する一般的手法として適用されにくいものになっている。したがって、画像解像度を高める新たな手法が必要とされている。
本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、画質を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る画像処理装置は、処理回路を備える。処理回路は、第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する。
以下、図面を参照しながら、画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体の実施形態について詳細に説明する。
本明細書で用いる用語「ある１つの」は１つ以上を意味するものとする。本明細書で用いる用語「複数」は２以上を指すものとする。本明細書で用いる用語「別の」は２番目以降を指すものとする。本明細書で用いる用語「含む」および／または「有する」は「備える」）と同義とする（すなわちオープンランゲージである）。本明細書全体を通して「一実施形態」、「所定の実施形態」、「ある実施形態」、「一実施態様」、「一実施例」、またはこれらと類似の用語が意味するのは、当該実施形態（実施態様、実施例）に関連して述べた特定の特徴、構造、または特性は本開示の少なくとも１つの実施形態に含まれるということである。したがって、本明細書全体を通して様々な箇所でこれらの表現が出現しても必ずしも全てが同じ実施形態を指すとは限らない。さらに、前記特定の特徴、構造、または特性は、制限されることなく任意の適当な方法で１つ以上の実施形態と組み合わせることができる。
コンピュータ断層撮影（Computed Tomography：ＣＴ）に係る場合、高空間解像度を有する医用画像が臨床治療従事者にとって好適である。空間解像度は、ＣＴスキャナの形状、ＣＴ検出器の画素サイズ、回転ビューサンプリングレート、焦点、再構成アルゴリズムなどに基づいて決定される。画像収集時間と被検体への放射線露光とを低減するために、臨床治療従事者は、低解像度の医用画像を高解像度の医用画像に変換することによって診断品質の画像を形成する技術を探求してきた。
このために、いくつかの従来法では、サイノグラムドメインと画像ドメインとの両方で実行可能なプロセスである、「超解像」法がＣＴデータに適用されている。しかし、この超解像法を実施することは簡単ではなく、低情報画像から高解像度情報を得ることは未だきわめて困難である。このため、超解像はコンピュータビジョンの分野において何年にもわたって継続されている研究テーマとなっている。これまでの取組みは４つのカテゴリの超解像アルゴリズムに分類される。すなわち、予測モデルに基づくモデル、エッジに基づくモデル、画像統計に基づくモデル、および用例に基づくモデルである。最近、超解像が画像ドメインに関連していることから、畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）が異なるコンピュータビジョンの領域での超解像の問題に適用されるようになっている。ＣＮＮを用いて、異なるニューラルネットワークのフレームワークの下で低解像度画像を高解像度画像にマッピングすることができる。
一般に、高解像度画像が利用可能である場合、低解像度画像Iｘは以下の式（１）で表される劣化Ｄの出力値としてモデル化される。
式中、Ｄは劣化マッピング関数を表し、Ｉｙは対応する高解像度画像であり、δは劣化プロセスのパラメータ（例えば、スケーリング係数やノイズなど）である。しかし、一般に、劣化プロセス（すなわち、Ｄおよびδ）は未知であり、（診断用医用画像の場合に想像できるような）低解像度画像のみが得られる。この場合、グラウンドトルースの高解像度画像Ｉyの高解像度近似Ｉy（ハット記号）を、以下の式（２）で示されるように低解像度画像Ｉxから得る必要がある（ブラインド超解像ともいわれる）。
式（２）中、Ｆは超解像モデルで、θはＦのパラメータを表す。
劣化のプロセスは不明で、様々な因子（例えば、圧縮アーチファクト、異方性劣化、センサノイズ、およびスペックルノイズなど）の影響を受けるが、劣化マッピングをモデル化する取組みは依然として行われている。ほとんどの取組みでは、以下の式（３）で示されるとおり劣化Ｄは単一のダウンサンプリング処理として直接モデル化される。
式（３）中、↓ｓはスケーリング係数ｓを用いたダウンサンプリング処理である。実際に、一般的な超解像用のほとんどのデータセットはこのパターンに基づいて構成され、もっともよく用いられるダウンサンプリング処理はアンチエイリアシングを伴う双三次補間である。しかし、他の取組みでは、劣化を数種の操作の組み合わせとしてモデル化している。すなわち、以下の式（４）が成り立つ。
式（４）中、Ｉy(直積記号)ｋは、ブラーカーネルｋと高解像度画像Ｉyとの畳み込みを表し、ｎσは標準偏差σを有する加算性白色ガウス雑音である。式（３）の単純な定義と比べて、式（４）の結合性劣化パターンは実際のケースに近く、超解像に対してメリットがより高いことが表されている。
このために、超解像の対象は以下の式（５）のように表される。
式（５）中、Ｌ（Ｉy(ハット記号),Ｉy）は形成された高解像度画像Ｉy（ハット記号）とグラウンドトルース画像Ｉyとの間の損失関数を表し、Φ（θ）は正規化項で、λはトレードオフパラメータである。
深層学習に基づく超解像法はＣＴとの関連においても探求されてきた。これらの取組みにおいて、ＣＴ画像は自然画像として扱われ、深層学習に基づくニューラルネットワークはエンドツーエンドのマッピングアーキテクチャになっている。ある事例におけるデータによれば、深層畳み込みニューラルネットワークに基づく超解像法は、優れた画質を生成する（例えば、画像の解像度を高める）と共に、従来の方法と比べて処理速度が速く、結果として診断価値の高い高グレードの画像が形成される。
しかし、ほとんどのＣＴシステムでは、「ファンビーム」形状のために、低解像度画像と高解像度画像との内在的な空間解像度は正確には同じでない。例えば、「アイソセンタ」領域は周辺領域よりも多くサンプリングされるために情報量が多い。
したがって、前述の戦略のいずれが選択されるかに係らず、上記のような手法は、ハードウェアの制約によって導入される解像度の空間的変動を無視しがちであると理解できる。例えば、前述の式（４）は固定のブラーカーネルｋを含んでいる。このような手法では、画像中の異なる領域でのぼけの違いを説明できない。言い換えると、この手法では、システムの点広がり関数の空間的変動を考慮に入れることができない。
多くの場合、あるシステムの点広がり関数の空間的変動を処理するもっとも簡単な方法はその変動を無視することである。シャープな中心部の形が画像全体にわたって変動しているが、ブロードな周辺部はおおよそ同一のままの回折限界のシステムを想像することができる。別の手法として、画像を分割して、各分割画像の点広がり関数（Point Spread Function：ＰＳＦ）を局所的に処理することがある。これにより、各セグメントのＰＳＦを一定とみなすことができる。この手順は好意的に表現しても冗長であり、かつそれらセグメントを結合したときに不連続性が生じる。このため依然として全ての必要な位置で満足のいくように点広がり関数を表す方法を見出す必要がある。
したがって、本開示は、点広がり関数の空間的変動を考慮しつつ、低解像度画像から高解像度画像を作成する方法を提供する。空間的に変動する点広がり関数を導入することによって、内在的な物理的性質情報を用いてニューラルネットワーク内で従来の手法を拡張することができる。
システムの点広がり関数を考慮して説明することができないことから、一般に従来のニューラルネットワークは空間的に変動する画像の解像度の向上には適用されない。言い換えると、そのようなニューラルネットワークは未だ効率が悪くて実施困難である場合があり、上記のような設定で適用できるニューラルネットワークを形成するには大量のトレーニングデータが必要になる。
本開示では、超解像フレームワークを、高解像度ＣＴ画像と低解像度ＣＴ画像との内在的な物理的関係を説明する方法と結合する。これにより、ニューラルネットワークの超解像フレームワークが、そのままではトレーニングデータベース内の低解像度画像によって制限される特徴依存性を減少しつつ、システムの点広がり関数（ＰＳＦ）モデルを用いて所望の解像度の向上を学習する。さらに、超解像を１つのニューラルネットワークの内部の空間変動ＰＳＦと結合させることによって、計算負荷が減少し、処理速度が高まる。例えば、結合された１つのニューラルネットワークが、画像処理システムまたは他の計算システムのグラフィックスプロセッシングユニット（Graphics Processing Unit：ＧＰＵ）上で実行されてもよい。
低空間解像度の画像と高空間解像度の画像との内在的なＰＳＦ関係は近似的にＰ(ＸＨ)=ＸＬで表される。Ｐは（式（１）で概示されたとおり）高解像度画像と低解像度画像との変換処理として扱われる。ここでＰはＰＳＦの空間変動モデルとしてもよいと理解することができる。逆に、本実施態様などにおいては、ＸＨは未知である。したがって、低解像度画像と高解像度画像との関係はＸＨ=Ｍ(ＸＬ)で表される。Ｍは低解像度画像と高解像度画像との間のマッピング処理である。いずれの場合も、処理ＰとＭとは空間変動する。
一実施形態において、エンドツーエンドのネットワークトレーニングと対照的に、本開示のニューラルネットワークは、低解像度画像と高解像度画像との関係を決定する内在的な物理的性質を含んでいる。また、ＰとＭとが空間変動することは明らかであるため、本提案のネットワーク構造は、異なるシステムにわたって一般化するためには特に有用である。本開示では、一般に適用できるニューラルネットワークを形成するために、未だ制御の難しい場合のある、計算負荷の高いトレーニングを必要とせず、マッピング処理ＭまたはＰを介してニューラルネットワーク内に直接統合可能な、物理的性質に基づく内在的な解像度相違情報が与えられる。
以下、図面を参照する。図１は、ＣＴ画像の解像度を高める方法の例示的フローチャートである。図１の方法１００はＣＴを参照して説明されるが、この技術は、空間変動ＰＳＦを有する、あらゆるイメージングモダリティや、診察などに適用できると理解することができる。
図１に、本開示の方法の高いレベル（抽象化されたレベル）での実施態様を示す。方法１００のステップ１０５で、第１解像度を有する第１医用画像（本明細書では低解像度医用画像と呼ぶ）がイメージングモダリティから取得される。この低解像度医用画像は、被検体の身体の任意の領域かつ任意の視点からの２Ｄスライスまたは３Ｄ画像ボリュームであってもよい。一例では、低解像度医用画像は、イメージングモダリティとしてのＣＴスキャナから取得された低解像度ＣＴ画像である。
ステップ１０５で取得された低解像度ＣＴ画像は次に、方法１００のサブプロセス１１０から始まるニューラルネットワーク１３０に送られる。低解像度ＣＴ画像（すなわち劣化画像）はニューラルネットワーク１３０の層の第１サブセット（以下、第１層サブセット）に送られ、ＣＴスキャナのインスタンスのＰＳＦの空間変動モデルに基づいて、第２解像度を有する第２医用画像（本明細書では中間画像または「粗」高解像度画像と呼ぶ）に変換される。すなわち、第１層サブネットは、固定値のパラメータにより構成される。
サブプロセス１１０については図２および図３を参照してより詳細に説明する。一実施形態において、第２医用画像の第２解像度は第１医用画像の第１解像度よりも高い。
サブプロセス１１０については図２および図３を参照してより詳細に説明する。一実施形態において、第２医用画像の第２解像度は第１医用画像の第１解像度よりも高い。
方法１００のサブプロセス１１０でニューラルネットワーク１３０の第１層サブセットによって形成された「粗」高解像度画像は、次に方法１００のサブプロセス１１５でニューラルネットワーク１３０の層の第２サブセット（以下、第２層サブセット）に送られる。ニューラルネットワーク１３０の第２層サブセットは超解像法を含んでもよい。超解像法は、多層パーセプトロン手法またはＵ－ｎｅｔ手法（多くの場合、これらの手法は医用画像の分割と分類とに用いられる）の構造を有していてもよい。すなわち、第２層サブネットは、例えば畳み込みニューラルネットワークに基づき、学習により更新されるパラメータにより更新される。ニューラルネットワーク１３０の第２層サブセットによって処理された後、第３解像度を有する第３医用画像（本明細書では「精細」高解像度画像とも呼ぶ）が形成される。すなわち、後述の図１０に示される再構成装置１０６４に含まれる処理回路は、第１解像度を有する第１医用画像から第２医用画像を生成する第１層サブセットと、第２医用画像から第３解像度を有する第３医用画像を生成する第２層サブセットを含むニューラルネットワークを第１医用画像に適用し第３医用画像を出力する。一実施形態において、第３医用画像の第３解像度は第２医用画像の第２解像度より高い。
方法１００のステップ１２０で、作成された方法１００のサブプロセス１１５の「精細」解像度画像が医用観察および診断機能向けに出力される。
以下、図２を参照して方法１００を方法２００として説明する。方法２００のステップ２０５で、劣化医用画像（例えば、ＣＴ画像）が取得される。本開示のニューラルネットワークが劣化画像に適用され、方法２００がサブプロセス２１０から始まる。方法２００のサブプロセス２１０で、ニューラルネットワークの第１層サブセットが劣化画像に適用される。この第１層サブセットは、ニューラルネットワーク中の１つ以上の層からなってもよい。第１層サブセットは、システムＰＳＦの内在的かつ空間変動するモデルを用いて、低解像度画像（すなわちＸＬＲ）から「粗」高解像度画像（すなわちＸ*
ＨＲ）を作成してもよい。すなわち、ニューラルネットワークの第１層サブネットは、点広がり関数の内在的物理的性質に基づくモデル、例えばガウス分布に基づくモデルなどの空間変動モデルに基づいて前記第２医用画像を作成する。「粗」高解像度画像は中間画像である。変換された「粗」高解像度画像は、イメージングシステムから導入された空間的変動を無くすための処理を受けているが、診断品質の高解像度画像とみなされるようにはアップサンプリングされていない。このアップサンプリングについては方法２００のサブプロセス２１５を参照して説明する。言い換えると、「粗」高解像度画像によって、ＣＴスキャナの所定の解像度限界を超えた画像が得られる。
一実施形態において、低解像度画像と「粗」高解像度画像との関係は明確であってもよい。例えば、この関係はＸ＊
ＨＲ=Ｍ（ＸＬＲ）で定義されてもよい。Ｍは低解像度画像と「粗」高解像度画像との間のマッピング処理である。この状況では、ニューラルネットワークの１つ以上の層における少なくとも１回の行列演算によって、低解像度画像は「粗」高解像度画像に直接変換される。
別の実施形態（図３を参照）では、低解像度画像と「粗」高解像度画像との関係は明確でなくてもよい。例えば、この関係はＰ(Ｘ*
ＨＲ)=ＸＬＲで定義される。Ｐは低解像度画像と「粗」高解像度画像との間のマッピング処理であってもよい。この状況では、ＸＨＲ
*は反復的に解かれる。
例えば、ＰＳＦが既知であるので、Ｐは一組の線形方程式として表現され、「粗」高解像度画像は反復プロセスにより取得される。次にＸHＲ
*が、例えばヤコビ法によって解かれる。言い換えると、反復アルゴリズムは真のオブジェクトを推定すると共に、ＰＳＦモデルを用いて、観察データと直接比較可能な画像がどのように現れるかをシミュレートする。誤差のメトリックを用いて再びぼやけたデータの精度を判定する。また差分を用いて真のオブジェクトについてより正確な推定を行う。このプロセスは、適切な結果になるまで複数回繰り返される。当業者に自明のとおり、過剰な回数の反復は、アルゴリズムを観察データに過剰適合させることになると共に、疑似構造として現れる雑音を生じさせる。
これを解決するために、サブプロセス２１０のステップ３１１でのニューラルネットワークの第１層サブセットの入力層に入力された劣化医用画像の受け取りに続いて、システムＰＳＦ（Ｐ）の空間変動モデルに基づいて、サブプロセス２１０のステップ３１２で反復計算が行われて「粗」高解像度画像が形成されてもよい。この反復計算は加算と乗算とからなり、ニューラルネットワークの１つ以上の層内の一連の行列演算として実行されてもよく、以下の式（６）の計算を含んでいる。
式（６）中、ｔは経験的に与えられる数で、ｋは反復回数である。実際には、計算速度を速めるように、限定された数の反復（例えば、５－６回の反復）が行われてもよい。あるいは、満足のいく結果を確認するために停止基準を定めてもよい。
一実施形態において、システムＰＳＦであるＰの空間変動モデルはガウス分布に基づくモデルまたは類似のモデルである。
一実施形態において、前述のとおり、上述の反復法は、ニューラルネットワークの第１層サブセット内の１つ以上のネットワーク層として実施される。例えば、この反復法は、畳み込み層、加算／減算層などの組み合わせで構成される。これらの方法（特に、内在的な物理的性質のＰＳＦ）をニューラルネットワーク内で統合することによって、ＧＰＵに利用可能な計算能力を用いつつ、ニューラルネットワークをより普遍的に用いることができる。
この他に、「精細」高解像度画像をぼかすことによって「粗」高解像度画像を得ることで推定「粗」高解像度画像を得ることもできる。ぼかした画像をＸＬＲと比較して、両者間の補正更新を規定した後その補正更新を用いて以降の画像のためのより良好に推定されたＸ＊
ＨＲを作成する。
次いで「粗」高解像度画像がサブプロセス２１０のステップ３１３で出力されて、方法２００のサブプロセス２１５でニューラルネットワークの第２層サブセットに送られてもよい。
図２に戻る。方法２００のサブプロセス２１５で、ニューラルネットワークの第２層サブセットが作成された「粗」高解像度画像に適用されてもよい。一実施形態において、前記第２層サブセットは畳み込みニューラルネットワークに基づいてもよく、方法２００のサブプロセス２１０で作成された「粗」高解像度画像から「精細」高解像度画像の推定像を作成するようにトレーニングされてもよい。ニューラルネットワークの第２層サブセットのトレーニングについては図５を参照して後に述べる。一実施形態において、前記第２層サブセットは超解像法に基づいて設計されてもよい。
例えば、図４に示すとおり、超解像法はＵ－ｎｅｔアーキテクチャに基づいていてもよい。別の例では、超解像法は、限定はしないが、超解像畳み込みニューラルネットワーク（Super-Resolution Convolutional Neural Network：ＳＲＣＮＮ）と、高速超解像畳み込みニューラルネットワーク（Fast Super-Resolution Convolutional Neural Network：ＦＳＲＣＮＮ）と、超超解像（Very Deep Super Resolution：ＶＤＳＲ）とを含むグループから選択された、畳み込みニューラルネットワーク超解像法に基づいていてもよい。別の例では、超解像法は、特には超解像敵対的生成ネットワーク（Super-Resolution Generative Adversarial Network：ＳＲＧＡＮ）などの、敵対的生成ネットワーク超解像法に基づいていてもよい。また別の例では、超解像法は、効率的サブピクセル畳み込みニューラルネットワーク超解像法（Efficient Sub-Pixel Convolutional Neural Network Super-Resolution Method：ＥＳＰＣＮ）に基づいている。
方法２００のサブプロセス２１５で作成された「精細」高解像度画像は方法２００のステップ２２０に送られて、観察用および（適切であれば）診断用画像として出力される。
図４を参照して方法２００の実施態様例を以下に述べる。最初に、劣化医用画像４０５がニューラルネットワーク４３０に受け取られる。劣化医用画像４０５は、ニューラルネットワーク４３０の第１層サブセット４１０に与えられ、システムＰＳＦのモデルの空間変動の原因となる「粗」高解像度医用画像が上述の方法にしたがって形成される。「粗」高解像度医用画像は、ニューラルネットワーク４３０の第２層サブセット４１５に与えられる。第２層サブセット４１５は、超解像法を「粗」高解像度医用画像に適用して、診断観察に適した「精細」高解像度医用画像４２０を形成する。
一実施形態において、ニューラルネットワーク４３０の第２層サブセット４１５はＵ－ｎｅｔアーキテクチャ４１６に基づいている。
一例において、Ｕーｎｅｔアーキテクチャ４１６は、ダウンサンプリング経路（左側）とアップサンプリング経路（右側）とを有していてもよい。図４のイラスト化されたＵ－ｎｅｔアーキテクチャ４１６はニューラルネットワーク層、深さ、および特徴などに関するものであるため縮尺通りではない場合があると理解すべきであり、ニューラルネットワーク４３０の第２層サブセット４１５内で用いられる超解像法の種類を表しているに過ぎないと考えるべきものである。ダウンサンプリング経路は、典型的な畳み込みネットワークのアーキテクチャに倣ったものである。ダウンサンプリング経路は、２つの３×３の畳み込みであって、それぞれの後に正規化線形ユニット（Rectified Linear Unit：ＲｅＬＵ）と２×２のプーリング処理とが続く畳み込みからなる。畳み込みはパディングなしの畳み込みであってもよく、プーリング処理はｓｔｒｉｄｅ＝２の最大プーリング処理であってもよい。各ダウンサンプリングステップにおいて、特徴チャネルの数は２倍になっている。アップサンプリング経路の各ステップは、特徴チャネルの数を半分にする２×２の畳み込みが続く特徴マップのアップサンプリングと、収束経路から相応にトリミングされた特徴マップを有する連結操作と、それぞれの後にＲｅＬＵが続く２つの３×３の畳み込みとからなる。トリミングが必要なのは、畳み込みの度に境界画素のロスが生じるためである。Ｕ－ｎｅｔアーキテクチャ４１６の最終層で、１×１の畳み込みを用いて各６４成分の特徴ベクトルが所望の数のクラスにマッピングされる。合計して、本例のネットワークは２３の畳み込み層を有している。
図５に、本開示の一実施形態例に係るニューラルネットワークとしての、畳み込みニューラルネットワークに基づくニューラルネットワークのトレーニングと最適化とを表すプロセス５２５のフローチャートを示す。使用されたニューラルネットワーク、すなわち人工ニューラルネットワークの種類はアプリケーションに応じて変化し得るが、特には残差ネットワークと、畳み込みニューラルネットワークと、エンコーダ／デコーダネットワークとである。
トレーニングの間に、ニューラルネットワーク５３０は、トレーニングデータ５３１から取得された劣化医用画像を入力データとして受け取り、「精細」高解像度医用画像５３２の推定像を出力データとして作成する。「精細」高解像度医用画像５３２の推定像は、基準すなわち目標高解像度医用画像５３３に対して最小にされてもよい。
一実施形態において、トレーニングデータ５３１は、被検体から取得された医用画像であってもよい。プロセス５２５は反復性であるため、トレーニングデータ５３１のある所定のインスタンスは被検体から取得されたある所定の医用画像を参照して記述されると理解できる。１つ以上の劣化医用画像と目標高解像度画像とが複数の被検体から取得される。あるトレーニングシナリオでは、マッチング用劣化医用画像と目標高解像度画像とが所定の被検体に対して利用可能かつ取得される。別のトレーニングシナリオでは、劣化医用画像だけが利用可能である。また別のトレーニングシナリオでは、目標高解像度医用画像が利用可能で、劣化医用画像はその目標高解像度医用画像から作成する必要がある。例えば、劣化医用画像を作成するために、目標高解像度医用画像をぼやかすか、またはノイズが目標高解像度医用画像に加えられる。ジェイペグ（Joint Photographic Experts Group：ＪＰＥＧ）および量子化アーチファクトを導入して劣化医用画像を作成することもできる。ＰＳＦの空間変動が考慮されていないと、合成劣化医用画像を作成するためにさらなる修正は必要でない。しかし、ＰＳＦの空間変動があらかじめ考慮されている場合は、一般化されたＰＳＦを有する目標高解像度医用画像の畳み込みによって空間変動画像の解像度が与えられる。場合によっては、双一次補間または双三次補間などのアップサンプリング法を導入することができる。
ニューラルネットワーク５３０のトレーニング（特に、超解像法）は、トレーニングデータをニューラルネットワーク５３０の（入力層である）第１層サブセット５１０に与えることから始まる。一例において、第１層サブセット５１０と第２層サブセット５１５とを含む、ニューラルネットワーク５３０の１つ以上の層は隠れ層であってもよい。図３を参照して前述したとおり、第１層サブセット５１０は劣化医用画像を処理して「粗」高解像度医用画像を作成する。例えば、劣化医用画像と「粗」高解像度医用画像との関係は明確でなくてもよい。この関係はＰ（Ｘ＊
ＨＲ）＝ＸＬＲで定義されてもよい。Ｐは劣化医用画像と「粗」高解像度医用画像との間のマッピング処理である。したがって、Ｘ*
ＨＲは反復的に解かれる。この反復計算は、前述したとおり、システムＰＳＦ（Ｐ）の空間変動モデル（例えば、固有ＰＳＦモデル５１１）に基づいて実行されて「粗」高解像度医用画像が作成されてもよい。この反復計算は加算と乗算とからなり、以下の式（７）を計算することを含んでもよい。
ｔは経験的に定められた数で、ｋは反復回数である。実際には、速度を速めるように、限定された数の反復だけが行われる。あるいは、満足のいく結果を確認するために停止基準を定めてもよい。
次に「粗」高解像度医用画像がニューラルネットワーク５３０の第２層サブセット５１５の「入力層」に与えられる。この「入力層」は、所定のサイズのフィルタによる畳み込みと活性化とを受ける。一実施形態例において、活性化はＲｅＬＵである。次に、「入力層」の出力データすなわち特徴マップが、ｎ層中の次の層（すなわち、次の隠れ層）の入力データとなる。第１後続層において、特徴マップが、例えば、畳み込み、バッチ正規化、およびＲｅＬＵによる活性化を通じてさらに修正される。一実施形態において、次に第１後続層の出力特徴マップが第２後続層の入力特徴マップになる。第２後続層は、例えばプーリング層であって、前記特徴マップをダウンサンプリングして計算速度を高めるプーリング層である。第１後続層、第２後続層、および任意の数ａの後続層がダウンサンプリングを表してもよいが、ニューラルネットワーク５３０の第２層サブセット５１５はさらに、ダウンサンプリング層は２層のみ存在するとの仮定の下で、「精細」高解像度医用画像を推定するために特徴マップをアップサンプリングする一連の層を備えてもよい。例えば、第２後続層がアップサンプリング処理を含み、第３後続層がコンカチネーションと畳み込みとを含み、さらに第４後続層がコンカチネーションと畳み込みとを含み得る。この場合、第４後続層の出力データが出力層の入力データになる。例えば、出力層は完全結合層であってもよく、所定のトレーニングデータについての推定「精細」高解像度医用画像５３２を表現してもよい。
一実施形態において、次に出力層からの推定「精細」高解像度医用画像５３２が、同時に取得されたおよび／または作成された目標高解像度医用画像５３３と比較されて、両者間の損失関数が最小になるようにされる。損失関数により、推定「精細」高解像度医用画像５３２と目標高解像度医用画像５３３との差異が評価されてもよい。ステップ５３４での損失関数の評価と得られた値の基準値との比較結果に応じて、基準が満たされて損失関数が最小にされた場合（すなわち、推定「精細」高解像度医用画像と目標高解像度医用画像との相違が許容できるものである場合）、ニューラルネットワーク５３０の第２層サブセット５１５は十分にトレーニングされて、未知の劣化データを用いて実行できる状態と判定される。あるいは、ステップ５３４で基準が満たされずかつ損失関数が最小にされていないと判定されると、プロセスはニューラルネットワーク５３０の第２層サブセット５１５に戻り、各層の重み／係数の更新が行われる。
一実施形態において、図５のステップ５３４が実行されると、損失関数は、目標高解像度医用画像５３３と推定「精細」高解像度医用画像５３２との相違によって単純に定義される。言い換えると、最適化関数は次の式（８）で定義される。
この目的関数において、ｆθはニューラルネットワーク５３０の第２層サブセット５１５を定義し、Lは損失関数を定義し、ＸLR|Ｐ,ＭはＰまたはＭのいずれかによって処理された後の「粗」高解像度画像を表し、Θ（ハット）は損失関数Ｌを最小にするために最適化されるパラメータセットを定義している。
一例において、損失関数は、特に確率的勾配降下法などの、古典的深層学習最適化法を用いて最小化される。上述の損失関数については後節で詳細に述べる。
以下、図５のニューラルネットワークの第２層サブセットの反復トレーニングについて図６を参照してより詳細に説明する。当業者に自明のとおり、この説明は一般化され得るものである。
図６に、「精細」高解像度医用画像の推定の間に行われたニューラルネットワークの第２層サブセットのトレーニングプロセス６２５の一実施態様のフローチャートを示す。トレーニングプロセス６２５において、トレーニングデータデータベースからの代表データをトレーニングデータとして用いてニューラルネットワークの第２層サブセットをトレーニングする。ここで用語「データ」はトレーニング画像データベース中の１画像を指す。一例において、データとしてのトレーニング画像を用いて、オフラインのトレーニングプロセスにより多数のトレーニング画像であって、多種多様な被検体、条件、および身体領域を全体的に反映したＣＴ医用画像、または特定の被検体、条件、および身体領域に特化して適合させたＣＴ医用画像であってもよいトレーニング画像を用いてニューラルネットワークの第２層サブセットがトレーニングされる。ＣＴ医用画像は、低解像度医用画像と高解像度医用画像とに整合した画像であってもよい。
トレーニングプロセス６２５において、トレーニングデータベースがアクセスされて複数のデータセットが取得され、ニューラルネットワークの第２層サブセットが反復的に更新されて推定画像と目標画像との誤差（例えば、損失関数によって得られる値）が減少される。ここでニューラルネットワークの第２層サブセットを更新することは、ニューラルネットワークの第２層サブセットによって処理されたデータが、トレーニングデータから得た目標高解像度医用画像に次第に一致するように、ニューラルネットワークの第２層サブセットの各層で例えばネットワーク係数の値を反復的に更新することを含む。言い換えると、ニューラルネットワークの第２層サブセットによってトレーニングデータに示されたマッピングが推測され、コスト関数によって、グランドトルースデータから得たデータと、ニューラルネットワークの第２層サブセットの現在の反復の推定医用画像出力との不一致に関する誤差値が得られる。例えば、ある実施態様では、コスト関数が平均二乗誤差を用いて平均平方誤差を最小にする。多層パーセプトロン（Multilayer Perceptron：ＭＬＰ）ニューラルネットワークの場合は、誤差逆伝播法アルゴリズムを用いて、（確率的）勾配降下法により平均二乗誤差に基づくコスト関数を最小にすることによって、ネットワークをトレーニングする。以下、図７を参照してネットワーク係数の更新をより詳細に説明する。
ニューラルネットワークのモデルのトレーニングは、基本的に、コスト基準（すなわち、コスト関数を用いて算出された誤差値）を最小にする、許容モデルのセットから１つのモデルを選択すること（または、ベイジアンフレームワークでは、許容モデルのセットにわたる分散を決定すること）を意味する。一般に、ニューラルネットワークの第２層サブセットは、ニューラルネットワークのモデルを（例えば、最適化理論と統計的推定とを適用することによって）トレーニングする厖大なアルゴリズムのいずれかを用いてトレーニングされる。
例えば、最適化関数を最小にするためのニューラルネットワークの第２層サブセットのトレーニングに用いた最適化法は、誤差逆伝播法を含むある種の勾配降下法を用いて実際の勾配を計算する。この計算は、ネットワークパラメータに関する損失関数の導関数を取り上げ、次いで当該ネットワークパラメータを勾配関連方向に変化させることによって行われる。誤差逆伝播法トレーニングアルゴリズムとして、最急降下法（例えば、可変学習レートを用いた方法、可変学習レートおよびモメンタムを用いた方法、および弾力的誤差逆伝播法など）、準ニュートン法（例えば、ブロイデンフレッチャーゴールドファーブシャンノ法、ワンステップ割線、およびレーベンバーグマーカート法など）、または共役勾配法（例えば、Ｆｌｅｔｃｈｅｒ－Ｒｅｅｖｅｓアップデート、Ｐｏｌａｋ－Ｒｉｂｉｅｒｅアップデート、Ｐｏｗｅｌｌ－Ｂｅａｌｅリスタート、およびスケール共役勾配法など）がある。さらに、遺伝子発現プログラミング、焼きなまし法、期待値最大化法、ノンパラメトリック法、および粒子群最適化法などの発展的方法もまた、ニューラルネットワークの第２層サブセットのトレーニングに使用される。
再び図６を参照する。このフローチャートは、トレーニングデータを用いてニューラルネットワークの第２層サブセットをトレーニングするトレーニングプロセス６２５の一実施態様の非限定的例である。トレーニングデータのデータは、トレーニングデータベース内のトレーニングデータセットのいずれかから得られたデータである。
トレーニングプロセス６２５のステップ６８０で、ニューラルネットワークの第２層サブセットの係数の初期推定が行われる。例えば、初期推定は、イメージングされる領域についての先験的知識、または１つ以上の例示的ノイズ除去法、エッジ検出法、および／またはブロッブ検出法に基づくものである。さらに、初期推定は、ルカン初期化、ザビエル初期化、およびＫａｉｍｉｎｇ初期化のいずれかに基づくものである。
ステップ６８１～６８５は、ニューラルネットワークの第２層サブセットをトレーニングする最適化方法の非限定的例を示している。トレーニングプロセス６２５のステップ６８１で、目標高解像度医用画像と高解像度医用画像の推定をインスタンス化した画像との間の相違の測度（例えば、距離測度）を表す誤差が（例えば、損失関数またはコスト関数を用いて）計算される。この誤差は、任意の既知の損失関数、または前述のコスト関数を含む、画像データ間の距離測度を用いて計算される。さらに、ある実施態様では、誤差関数および／または損失関数を、ヒンジ損失と交差エントロピ損失とのいずれかまたは両方を用いて計算される。一例では、損失関数は、ニューラルネットワークの第２層サブセットの出力と目標高解像度医用画像との平均二乗誤差、すなわち次の式（９）で定義される。
式（９）中、ＨＲtargetは目標高解像度医用画像のトレーニングデータ、ＨＲestはニューラルネットワークの第２層サブセットによって作成された高解像度医用画像の推定、ｎはトレーニングされる被検体の数である。前述したとおり、この損失は、特に確率的勾配降下法などの、最適化法を用いて最小にされる。
さらに、損失関数を正規化手法と組み合わせて、ネットワークがトレーニングデータ中に表れた特定のインスタンスに過剰適合することを避けることができる（式（５）と同様）。また、正規化により、機械学習問題における過剰適合を防ぐことができる。過剰に長くトレーニングされて、モデルが十分な表現力を有するようになると、ネットワークは当該データセットに特有の特徴を学習するようになる。これを過剰適合と呼ぶ。過剰適合の場合、ニューラルネットワークの第２層サブセットは一般化されにくくなり、データセット間での特徴の変化のために変動が大きくなる。バイアスと変動との合計が最小になると、合計誤差は最小になる。したがって、トレーニングデータ中の特徴に特有の解ではなく、トレーニングされたネットワークが一般解を表す尤度を最大にする、可能なもっとも簡単な方法でデータを説明する極小値に達することが望ましい。この目標は、例えば、早期停止、重みの正規化、ｌａｓｓｏ正規化、リッジ正規化、またはエラスティックネット正規化によって達成される。
ある実施態様では、ニューラルネットワークの第２層サブセットが誤差逆伝播法を用いてトレーニングされる。誤差逆伝播法はニューラルネットワークのトレーニングに使用可能な方法で、勾配降下最適化法と併せて用いられる。フォワードパスの間に、このアルゴリズムは、例えば重み／係数などの、現在のパラメータに基づいてネットワークの予測行列を計算する。次に推定高解像度医用画像が損失関数に入力されて、対応するグラウンドトルースデータ（すなわち、目標高解像度医用画像）と比較される。バックワードパスの間に、このモデルは、現在のパラメータに対する損失関数の勾配を計算し、その後所定サイズのステップサイズを損失を最小にする方向にとることによって、パラメータ（すなわち、Θ）を更新する（例えば、ネステロフの加速勾配法および様々な適応的手法などの加速手法においては、ステップサイズはより迅速に収束して損失関数を最適にするように選択される）。
誤差逆伝播法が実行される最適化法では、勾配降下法、バッチ勾配降下法、確率的勾配降下法、およびミニバッチ確率的勾配降下法の内の１つ以上が用いられる。さらに、この最適化法は、深層ネットワークにおいて確率的勾配降下法のより高速な収束率が得られる、最適化法における１つ以上のモメンタムアップデート手法を用いて加速される。該モメンタムアップデート手法として、例えば、ネステロフのモメンタム手法、または適応型劣勾配法、適応型劣勾配法のＡｄａｄｅｌｔａまたはＲＭＳＰｒｏｐパラメータのアップデートバリエーション、およびＡｄａｍ適応型最適化手法などの適応的手法がある。この最適化法では、ヤコビ行列をアップデートステップに組込むことによって二次手法を適用することもある。
フォワードパスとバックワードパスとが、ニューラルネットワークの第２層サブセットの各層を介して累進的に実行される。フォワードパスでは、この実行は、第１層を介して入力データを送り、それにより次層のための出力活性化を作成することで始まる。このプロセスは、最終層の損失関数に到達するまで繰り返される。バックワードパスの間、最終層は、それ自身の学習可能なパラメータがある場合はそのパラメータに対する勾配と、前の層の上流導関数として機能する、それ自身の入力データとに対する勾配とを計算する。このプロセスは、入力層に到達するまで繰り返される。
図６に示した非限定的例に戻る。トレーニングプロセス６２５のステップ６８２では、誤差の変化が、ニューラルネットワークの第２層サブセットのパラメータの変化の関数と決定される。デルタ誤差（例えば、誤差勾配）が計算され、この誤差の変化を用いて、ニューラルネットワークの第２層サブセットの重み／係数の次の変化の方向とステップサイズとが選択される。このような誤差の勾配の計算は、ある実施態様での勾配降下最適化法に一致する。他の実施態様では、当業者に自明のとおり、このステップは、省略される、かつ／または他の最適化アルゴリズム（例えば、焼きなまし法や遺伝的アルゴリズムのような非勾配降下最適化アルゴリズム）による他のステップに置換される。
トレーニングプロセス６２５のステップ６８３で、新しい係数のセットがニューラルネットワークの第２層サブセットに対して決定される。例えば、勾配降下最適化法または過剰緩和加速法と同様に、ステップ６８２で算出された変化を用いて重み／係数が更新される。
トレーニングプロセス６２５のステップ６８４で、ニューラルネットワークの第２層サブセットの更新された重み／係数を用いて新しい誤差値が算出される。
トレーニングプロセス６２５のステップ６８５で、所定の停止基準を用いて、ニューラルネットワークの第２層サブセットのトレーニングが完了したかどうかが判定される。例えば、所定の停止基準は、新たな誤差および／または実行された反復の総数が所定の値を越えているかどうかを評価することである。例えば、この停止基準は、新たな誤差が所定の閾値を下回る場合、または最大反復数に達した場合のいずれかの場合に満たされる。停止基準が満たされない場合、トレーニングプロセス６２５で実行されるトレーニングプロセスは、ステップ６８２に戻って新しい重みと係数とを用いてステップ６８２を繰り返すことにより反復ループを再開する（反復ループはステップ６８２と、６８３と、６８４と、６８５とを含む）。停止基準が満たされると、トレーニングプロセス６２５で実行されるトレーニングプロセスは完了する。
図７と図８とはそれぞれ、トレーニングプロセス６２５に従うニューラルネットワークの第２層サブセットの一部の実施態様のフローチャートである。図７は、フィードフォワード人工ニューラルネットワーク（Artificial Neural Network：ＡＮＮ）の、例えば、完全結合層を含む、あらゆる種類の層に対して一般化された図である。これに対し、図８は、ＣＮＮと本記載のニューラルネットワークの第２層サブセットとに見られるような、畳み込み層と、プーリング層と、バッチ正規化層と、ＲｅＬｕ層とに特化された図である。図８は、本記載のニューラルネットワークの第２層サブセットの一部のみを表したもので、ニューラルネットワークの第２層サブセットのアップサンプリング経路は別途実施されるべきであることを理解されたい。
ステップ７８７で、ニューロン（すなわちノード）間の接続に対応する重み／係数が、例えばトレーニング画像の画素に対応する各入力データに与えられる。
ステップ７８８で、重み付け入力データが合算される。次層の所定のニューロンに接続している非ゼロの重み／係数だけが前の層に表れた画像中に局在している場合、ステップ７８７とステップ７８８との組み合わせは本質的に畳み込み処理を行うことに等しい。
ステップ７８９で、閾値がそれぞれのニューロンの加重和に与えられる。
プロセス７９０で、重み付け、加算、および閾値処理の諸ステップが後続の層毎に繰り返される。
図８は、トレーニングプロセス６２５に従うニューラルネットワークの第２層サブセットの一部の別の実施態様のフローチャートである。図８に示したトレーニングプロセス６２５の実施態様は、ニューラルネットワークの第２層サブセットの非限定的実施態様を用いて隠れ層でトレーニング画像を処理することに対応している。
ステップ８９１で、当業者の畳み込み層についての理解に基づいて、前述したとおりに畳み込み層についての計算が行われる。
ステップ８９２で、当業者に自明のとおり、前の層の出力の変動を考慮に入れるために、次の畳み込みである、バッチ正規化が行われる。
ステップ８９３で、当業者が理解するところのものである活性化に従って、前述の活性化の説明のとおりに次のバッチ正規化である活性化が行われる。一例では、活性化関数は正規化活性関数、すなわち、例えば、前述のＲｅＬＵである。
別の実施態様では、ステップ８９３のＲｅＬＵ層がステップ８９２のバッチ正規化層の前に実行されてもよい。
ステップ８９４で、バッチ正規化と活性化とに続いて、畳み込み層からの出力データがプーリング層への入力データになり、プーリング層は、当業者のプーリング層についての理解に基づいて前述のプーリング層の説明のとおりに実施される。
プロセス８９５で、畳み込み層、プーリング層、バッチ正規化層、およびＲｅＬＵ層についての諸ステップの全部または一部（所定数の層）が繰り返される。上述の諸層に続いて（または入り交じって）、ＲｅＬＵ層からの出力データが、「アップサンプリング経路」内の所定数の層に送られる。
図９Ａと図９Ｂとはそれぞれ、ニューラルネットワーク内で、特にニューラルネットワークの第２層サブセット内の層間の相互接続の例を示した図である。ニューラルネットワークの第２層サブセットは、前述および後述の、完全結合層、畳み込み層、プーリング層、バッチ正規化層、活性化層、コンカチネーション層、およびアップサンプリング層を含む。ニューラルネットワークの第２層サブセットの好適な実施態様において、畳み込み層は入力層に近接して置かれ、アップサンプリング層と高度な推論を行う完全結合層とは損失関数に向かってアーキテクチャの下流側に置かれる。プーリング層は畳み込み層の後に挿入されており、ダウンサンプリング経路上に位置するときにフィルタの空間範囲を狭める縮小を行って学習パラメータの量を減少させる。バッチ正規化層は、外れ値に対する勾配の乱れを調整して学習プロセスを加速する。さらに活性化関数を様々な層中に組込んで非線形性を導入することでネットワークに複雑な予測関係を学習させることができる。活性化関数として、飽和活性化関数（例えば、シグモイド活性化関数または双曲線正接活性化関数）または正規化活性化関数（例えば、前述のＲｅＬＵ）がある。コンカチネーション層およびアップサンプリング層もまたアップサンプリング経路に含まれる。
図９Ａは、Ｎ個の入力層と、Ｋ個の隠れ層と、３つの出力層とを有する一般的な人工ニューラルネットワーク（ＡＮＮ）であって、その構成要素が本明細書に包含される場合がある人工ニューラルネットワークの一例を示す図である。各層は複数のノード（ニューロンとも呼ばれる）で構成され、各ノードは入力データの加重和を求め、その加重和の結果を閾値と比べて出力データを作成する。ＡＮＮは、関数のクラスであって、該クラスのメンバーは、閾値、結合重み、またはノードの数および／または連結度などのアーキテクチャの特徴を変化させることによって取得される、関数のクラスを構成する。ＡＮＮ内のノードはニューロン（またはニューロンノード）とも呼ばれる。ニューロンはＡＮＮシステムの異なる層間の相互連結部を有している。もっとも単純なＡＮＮは３つの層を有するものでオートエンコーダと呼ばれる。本開示のニューラルネットワーク（特にニューラルネットワークの第２層サブセット）は４層以上のニューロンを有すると共に、入力ニューロンと同数の出力ニューロンｘN（チルダー）を有している（Ｎは、例えばトレーニング画像中の画素数である）。シナプス（すなわち、ニューロン間の連結部）は、計算においてデータを処理する、「重み」（「係数」または「重み付き係数」とも呼ぶ）と呼ばれる値を保存する。ＡＮＮの出力データは、３種類のパラメータすなわち、（１）異なるニューロン層間の相互連結パターン、（２）相互連結の重みを更新する学習プロセス、（３）ニューロンの重み付き入力をその出力活性化に変換する活性化関数、に依存するデータである。
数学的には、ニューロンのネットワーク関数ｍ（ｘ）は複数の他の関数ｎi(ｘ)の合成として定義される。該他の関数がさらに他の関数の合成としても定義されることもある。このことは、図９Ａおよび図９Ｂに示すとおり、変数間の依存性を表す矢印を用いて、ネットワーク構造として好便に表現できる。例えば、ＡＮＮは、ｍ（ｘ）＝K（Σiwini(x)）である、非線形加重和を用いる。Ｋ（一般に活性化関数と呼ぶ）は、双曲線正接などの、ある所定の関数である。
図９Ａにおいて（同様に図９Ｂにおいて）、ニューロン（すなわちノード）は、閾値関数の周囲の円で描かれている。図９Ａに示した非限定的例では、入力層は線形関数の周囲の円で描かれ、矢印はニューロン間の有向通信を表す。ある実施態様では、ニューラルネットワークの第２層サブセットはフィードフォワードネットワークである。
本開示のニューラルネットワークの第２層サブセットは、特定のタスクであって、一連の観察結果を用いて、学習する関数Ｆのクラス内をサーチすることによって高解像度医用画像を推定して、何らかの意味で（例えば、前述の停止基準で）最適に前記特定のタスクを解決する、ｍ*∈Fを見出すことなどの、タスクを行うように動作する。例えば、ある実施態様では、このことは、最適解ｍ*の場合、すべてのｍ∈Fに対して、C（ｍ*）≦C（ｍ）（すなわち、最適解のコストより少ないコストの解はない）であるように、損失関数Ｃ：Ｆ→ｍを定義することによって達成される。コスト関数Ｃは、解決すべき問題（例えば、誤差）に対する、ある特定の解が最適解からどれだけ離れているかの基準になる。学習アルゴリズムは、解空間中を反復的にサーチして、可能な最小のコストを有する関数を見出す。ある実施態様では、コストはデータ（すなわちトレーニングデータ）のサンプルによって最小にされる。
図９ＢはＣＮＮの非限定的例を示している。ＣＮＮは、画像処理に対して好便な性質を有するＡＮＮの一種であるため、画像処理のアプリケーションに特に適している。ＣＮＮは、フィードフォワードＡＮＮであって、ニューロン間の連結性パターンが画像処理における畳み込みを表しているフィードフォワードＡＮＮを用いている。例えば、ＣＮＮは、受容野と呼ばれる、入力画像の部分を処理する、複数層の細かいニューロンの集合体を用いることによって、画像処理の最適化に使用される。次いでこれらニューロン集合体の出力データがオーバラップするようにタイル状に配置されて、元の画像がより良好に表示されるようにされる。この処理パターンは、図示のように、畳み込み層９９１とプーリング層９９４とを有する複数の層にわたって繰り返され、バッチ正規化層と活性化層とを含む。
以上概括したとおり、ＣＮＮは、畳み込み層９９１の後に、畳み込み層中のニューロンクラスタの出力データを結合する、局所的および／または包括的なプーリング層９９４を含む。さらに、ある実施態様では、ＣＮＮは、各層の終端または後に点別の非線形性を付与された、畳み込み層と全結合層との様々な組み合わせを含む。
本開示の一実施形態によれば、前述の被検体固有のイメージングプロトコルでの方法は、ＣＴ装置またはＣＴスキャナからのデータに適用されつつ実行される。図１０に、ＣＴ装置またはＣＴスキャナに設けられたラジオグラフィガントリの一実施態様を示す。図１０に示すとおり、ラジオグラフィガントリ１０５０（側面視で表されている）は、Ｘ線管１０５１と、環状フレーム１０５２と、多列すなわち２次元アレイ方式のＸ線検出器１０５３とを備えている。Ｘ線管１０５１とＸ線検出器１０５３とは、回転軸ＲＡの周囲で回転可能に支持された、環状フレーム１０５２上の被検体ＯＢＪを挟んで反対位置に搭載されている。被検体ＯＢＪが軸ＲＡに沿って（図示の頁に対して垂直方向に）移動させられる間に、回転ユニット１０５７が環状フレーム１０５２を０．４秒／回転といった高速で回転させる。
本発明に係るＸ線ＣＴ装置の一実施形態を添付図面を参照して以下に述べる。なお、Ｘ線ＣＴ装置として様々な種類の装置があり、例えば、回転／回転型装置であって、Ｘ線管とＸ線検出器とが検査対象の被検体の周囲を同時に回転する装置、および固定／回転型装置であって、多数の検出素子がリング状または平面状に並んで、Ｘ線管だけが検査対象の被検体の周囲を回転する装置がある。本発明はいずれの種類にも適用可能である。ここでは、現在主流である回転／回転型装置を例に挙げて説明を行う。
このマルチスライス型Ｘ線ＣＴ装置はさらに高電圧発生器１０５９であって、Ｘ線管１０５１がＸ線を発生するようにスリップリング１０５８を介してＸ線管１０５１に印加される管電圧を発生する高電圧発生器１０５９を備えている。Ｘ線は、被検体ＯＢＪ（断面領域を円で表す）に向けて放出される。例えば、Ｘ線管１０５１が第１スキャンの間に有する平均Ｘ線エネルギは第２スキャンの間に有する平均Ｘ線エネルギより小さい。したがって、異なるＸ線エネルギに対応する２つ以上の走査像が得られる。Ｘ線検出器１０５３は被検体ＯＢＪを挟んでＸ線管１０５１の反対側に位置して被検体ＯＢＪを透過した放出Ｘ線を検出する。Ｘ線検出器１０５３はさらに個別の検出器素子またはユニットを備えており、光子計数型検出器であってもよい。第４世代の形状システムでは、Ｘ線検出器１０５３は、被検体ＯＢＪの周囲に３６０度配置で配列された複数の検出器の内の１つであってもよい。
さらにＣＴ装置はＸ線検出器１０５３からの検出信号を処理する他の装置を備えている。データ取得回路すなわちデータ取得システム（Data Acquisition System：ＤＡＳ）１０５４がチャネル毎にＸ線検出器１０５３から出力された信号を電圧信号に変換し、その電圧信号を増幅し、さらに増幅された信号をデジタル信号に変換する。Ｘ線検出器１０５３とＤＡＳ１０５４とは、所定の１回転当たりの投影総数（Total Number of Projections per Rotation：ＴＰＰＲ）を処理するように構成される。
前述のデータは、非接触データ送信器１０５５を介して、ラジオグラフィガントリ１０５０の外部のコンソールに収容された前処理装置１０５６に送られる。前処理装置１０５６は、感度補正などの補正を未処理データに施す。メモリ１０６２が、得られたデータ（再構成処理の直前の段階では投影データとも呼ばれる）を保存する。メモリ１０６２は、再構成装置１０６４、入力装置１０６５、および表示装置１０６６と共に、データ／制御バス１０６１を介してシステムコントローラ１０６０に接続されている。システムコントローラ１０６０は、電流をＣＴシステムの駆動に十分なレベルに制限する電流調整器１０６３の制御を行う。
検出器は、ＣＴスキャナシステムの様々な世代間で被検体に対して回転および／または固定されてきた。一実施態様において、前述のＣＴシステムは、第３世代形状システムと第４世代形状システムとを組み合わせたシステムの一例である。第３世代システムでは、Ｘ線管１０５１とＸ線検出器１０５３とは環状フレーム１０５２上の反対位置に搭載され、環状フレーム１０５２が回転軸ＲＡの周囲を回転するのに伴い被検体ＯＢＪの周囲を回転するようになっている。第４世代形状システムでは、検出器は被検体の周囲に固定され、Ｘ線管が被検体の周囲で回転する。別の実施形態では、ラジオグラフィガントリ１０５０が、Ｃアームとスタンドとに支えられた環状フレーム１０５２上に配列された複数の検出器を備えている。
メモリ１０６２は、Ｘ線検出器１０５３の位置のＸ線の放射強度を表す測定値を保存する。さらに、メモリ１０６２は、本記載のＣＴ画像再構成方法と「精細」高解像度医用画像推定方法とを実行するための専用プログラムを保存する。
再構成装置１０６４は、前述した本記載の方法を実行する。再構成装置１０６４は、１つ以上の最適化画像再構成パラメータに応じて再構成を行う。さらに、再構成装置１０６４は、ボリュームレンダリング処理および必要に応じて画像差分処理などの、事前再構成処理画像処理を実行してもよい。
前処理装置１０５６によって行われる投影データの事前再構成処理には、例えば、検出器のキャリブレーションと、検出器の非直線性と、極性効果とを補正することが含まれている。
再構成装置１０６４によって行われる再構成後処理には、画像のフィルタリングおよびスムージングと、ボリュームレンダリング処理と、必要に応じて画像差分処理とが含まれている。画像再構成処理は、上記導出された最適画像再構成パラメータを実施してもよい。画像再構成処理は、フィルタ逆投影法、反復画像再構成法、または確率的画像再構成法を用いて実行される。再構成装置１０６４はメモリを用いて、例えば、投影データ、順投影トレーニングデータ、トレーニング画像、無修正画像、キャリブレーションデータ並びにパラメータ、およびコンピュータプログラムを保存する。
再構成装置１０６４は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）、または他の結合プログラム可能論理回路（Complex Programmable Logic Device：ＣＰＬＤ）となる、ディスクリートのロジックゲートとして実装される中央演算処理装置（Central Processing Unit：ＣＰＵ）（処理回路）を含む。ＦＰＧＡまたはＣＰＬＤの実装は、ＶＨＤＬ、Ｖｅｒｉｌｏｇ、または他のハードウェア記述言語でコード化されてもよく、そのコードはＦＰＧＡまたはＣＰＬＤに内蔵された電子メモリ、または別体の電子メモリに保存されてもよい。さらに、メモリ１０６２は、ＲＯＭ、ＥＰＲＯＭ（登録商標）、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリ（登録商標）などの不揮発性メモリであってもよい。メモリ１０６２はスタティックＲＡＭまたはダイナミックＲＡＭなどの揮発性メモリでもよい。また、マイクロコントローラまたはマイクロプロセッサなどのプロセッサを設けて電子メモリの制御並びにＦＰＧＡまたはＣＰＬＤとメモリとの相互作用の制御を行ってもよい。一実施形態において、再構成装置１０６４は、ＣＰＵと、再構成画像を処理して形成するグラフィックスプロセッシングユニット（ＧＰＵ）とを備えている。ＧＰＵは、ＣＰＵとリソースを共有する専用グラフィックスカードまたは統合グラフィックスカードであってもよく、ＮＶＩＤＩＡ（登録商標） Ｔｅｓｌａ（登録商標）やＡＭＤ（登録商標） ＦｉｒｅＳｔｒｅａｍ（登録商標）などの、様々な人工知能に特化したタイプのＧＰＵの１つであってもよい。
あるいは、再構成装置１０６４内のＣＰＵが、本記載の機能を実行する、一組のコンピュータ可読命令を含むコンピュータプログラムであって、前述の非一時的電子メモリのいずれか、および／またはハードディスクドライブ、ＣＤ、ＤＶＤ、フラッシュドライブ、または任意の他の公知の記憶媒体に保存されたプログラムを実行する。さらに、コンピュータ可読命令はユーティリティアプリケーション、バッググラウンドデーモン、オペレーティングシステムのコンポーネント、またはそれらの組み合わせとして与えられ、米国インテル（登録商標）製のＸｅｏｎ（登録商標）プロセッサや米国ＡＭＤ（登録商標）製のＯｐｔｅｒｏｎ（登録商標）プロセッサなどのプロセッサ、並びにマイクロソフト（登録商標）Ｗｉｎｄｏｗｓ（登録商標）１０、ＵＮＩＸ（登録商標）、Ｓｏｌａｒｉｓ（登録商標）、ＬＩＮＵＸ（登録商標）、Ａｐｐｌｅ（登録商標）、ＭＡＣ－ＯＳ（登録商標）およびその他の当業者に公知のオペレーティングシステムとの協働で実行されてもよい。さらに、ＣＰＵは、並列協調動作により命令を実行する複数プロセッサとして実装されることもある。
一実施態様において、再構成画像は表示装置１０６６に表示される。表示装置１０６６は、ＬＣＤディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、ＯＬＥＤ、ＬＥＤ、または当業者に周知の任意の他の表示装置である。
メモリ１０６２は、ハードディスクドライブ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、フラッシュドライブ、ＲＡＭ、ＲＯＭ、または当業者に公知の他の各種電子記憶装置である。
上記の知見を鑑みて多くの修正と変形とがあり得ることは明らかである。したがって、添付した請求項の範囲内で、本明細書に具体的に述べた態様以外の態様で本発明を実施可能であると理解されたい。
本開示の実施形態は、以下の付記に示すように定められてもよい。
（１）コンピュータ断層撮影の画像の解像度を高める装置であって、第１解像度を有する第１医用画像を受け取り、第１層サブセットとそれに続く第２層サブセットとを含むニューラルネットワークであって、前記ニューラルネットワークの第１層サブセットは、前記第１医用画像から第２解像度を有する第２医用画像を作成するように構成され、前記ニューラルネットワークの第２層サブセットは、前記第２医用画像から第３解像度を有する第３医用画像を作成するように構成される前記ニューラルネットワークを前記第１医用画像に適用し、前記第３医用画像を出力するように構成された処理回路を備え、前記第１解像度は前記第２解像度より低く、前記第２解像度は前記第３解像度より低い、装置。
（２）（１）記載の装置において、ニューラルネットワークの第１層サブセットは、点広がり関数の内在的な物理的性質に基づくモデルに基づいて第２医用画像を作成する、装置。
（３）（１）または（２）に記載の装置において、点広がり関数の内在的な物理的性質に基づくモデルは空間変動モデルである装置。
（４）（１）－（３）のいずれかに記載の装置において、空間変動モデルはガウス分布に基づくモデルである装置。
（５）（１）－（４）のいずれかに記載の装置において、ニューラルネットワークの第２層サブセットは畳み込みニューラルネットワークに基づく、装置。
（６）コンピュータ断層撮影の画像の解像度を高める方法であって、処理回路によって第１解像度を有する第１医用画像を受け取ることと、第１層サブセットとそれに続く第２層サブセットとを含むニューラルネットワークであって、前記ニューラルネットワークの第１層サブセットは、前記第１医用画像から第２解像度を有する第２医用画像を作成し、前記ニューラルネットワークの第２層サブセットは、前記第２医用画像から第３解像度を有する第３医用画像を作成する前記ニューラルネットワークを前記処理回路によって前記第１医用画像に適用することと、前記処理回路によって前記第３医用画像を出力することと、を含み、前記第１解像度は前記第２解像度より低く、前記第２解像度は前記第３解像度より低い、方法。すなわち、第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する、画像処理方法。
（７）（６）記載の方法において、ニューラルネットワークの第１層サブセットは、点広がり関数の内在的な物理的性質に基づくモデルに基づいて第２医用画像を作成する、方法。
（８）（６）または（７）に記載の方法において、点広がり関数の内在的な物理的性質に基づくモデルは空間変動モデルである方法。
（９）（６）－（８）のいずれかに記載の方法において、空間変動モデルはガウス分布に基づくモデルである方法。
（１０）（６）－（９）のいずれかに記載の方法において、ニューラルネットワークの第２層サブセットは畳み込みニューラルネットワークに基づく、方法。
（１１）コンピュータ可読命令を保存する非一時的コンピュータ可読記憶媒体であって、コンピュータにより実行されると、該コンピュータにコンピュータ断層撮影の画像の解像度を高める方法を実行させ、前記方法は、第１解像度を有する第１医用画像を受け取ることと、第１層サブセットとそれに続く第２層サブセットとを含むニューラルネットワークであって、前記ニューラルネットワークの第１層サブセットは、前記第１医用画像から第２解像度を有する第２医用画像を作成し、前記ニューラルネットワークの第２層サブセットは、前記第２医用画像から第３解像度を有する第３医用画像を作成する前記ニューラルネットワークを前記第１医用画像に適用することと、前記第３医用画像を出力することと、を含み、前記第１解像度は前記第２解像度より低く、前記第２解像度は前記第３解像度より低い、非一時的コンピュータ可読記憶媒体。すなわち、第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する手順を、コンピュータに実行させるためのプログラムを保存する、非一時的コンピュータ可読記憶媒体。
（１２）（１１）記載の非一時的コンピュータ可読記憶媒体において、ニューラルネットワークの第１層サブセットは、点広がり関数の内在的な物理的性質に基づくモデルに基づいて第２医用画像を作成する、非一時的コンピュータ可読記憶媒体。
（１３）（１１）または（１２）に記載の非一時的コンピュータ可読記憶媒体において、点広がり関数の内在的な物理的性質に基づくモデルは空間変動モデルである非一時的コンピュータ可読記憶媒体。
（１４）（１１）－（１３）のいずれかに記載の非一時的コンピュータ可読記憶媒体において、空間変動モデルはガウス分布に基づくモデルである非一時的コンピュータ可読記憶媒体。
（１５）（１１）－（１４）のいずれかに記載の非一時的コンピュータ可読記憶媒体において、ニューラルネットワークの第２層サブセットは畳み込みニューラルネットワークに基づく、非一時的コンピュータ可読記憶媒体。
以上説明した少なくとも１つの実施形態によれば、画質を向上することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０６２ メモリ
１０６４ 再構成装置
１０６５ 入力装置
１０６６ 表示装置
１０６４ 再構成装置
１０６５ 入力装置
１０６６ 表示装置
Claims (9)
- 第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する処理回路を備える、画像処理装置。
- 前記ニューラルネットワークの前記第１層サブセットは、点広がり関数の内在的物理的性質に基づくモデルに基づいて前記第２医用画像を作成する、請求項１に記載の画像処理装置。
- 前記点広がり関数の前記内在的物理的性質に基づくモデルは、空間変動モデルである、請求項２に記載の画像処理装置。
- 前記空間変動モデルは、ガウス分布に基づくモデルである、請求項３に記載の画像処理装置。
- 前記ニューラルネットワークの前記第２層サブセットは、畳み込みニューラルネットワークに基づく、請求項１に記載の画像処理装置。
- 固定値のパラメータにより構成され、第１医用画像から第２医用画像を生成する第１層サブセットと、学習により更新されるパラメータにより構成される、前記第２医用画像から第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する処理回路を備える、画像処理装置。
- 前記ニューラルネットワークの前記第１層サブセットは、点広がり関数の内在的物理的性質に基づくモデルに基づいて前記第２医用画像を作成する、請求項６に記載の画像処理装置。
- 第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する、画像処理方法。
- 第１解像度を有する第１医用画像から、前記第１解像度より高い第２解像度を有する第２医用画像を生成する第１層サブセットと、前記第２医用画像から、前記第２解像度より高い第３解像度を有する第３医用画像を生成する第２層サブセットとを含むニューラルネットワークを前記第１医用画像に適用し前記第３医用画像を出力する手順を、コンピュータに実行させるためのプログラムを保存する、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/343,519 | 2021-06-09 | ||
| US17/343,519 US11984218B2 (en) | 2021-06-09 | 2021-06-09 | Apparatus, method, and non-transitory computer-readable storage medium for enhancing computed tomography image resolution |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022188750A true JP2022188750A (ja) | 2022-12-21 |
Family
ID=84390057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022081054A Pending JP2022188750A (ja) | 2021-06-09 | 2022-05-17 | 画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11984218B2 (ja) |
| JP (1) | JP2022188750A (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220405880A1 (en) * | 2021-06-17 | 2022-12-22 | Nvidia Corporation | Generative neural networks with reduced aliasing |
| US20220405980A1 (en) * | 2021-06-17 | 2022-12-22 | Nvidia Corporation | Fused processing of a continuous mathematical operator |
| CN118297802B (zh) * | 2024-04-09 | 2024-10-01 | 哈尔滨工业大学 | 一种基于空间变化模型的超声高分辨率成像改进方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070083114A1 (en) | 2005-08-26 | 2007-04-12 | The University Of Connecticut | Systems and methods for image resolution enhancement |
| US9058656B2 (en) | 2012-01-23 | 2015-06-16 | Eiffel Medtech Inc. | Image restoration system and method |
| JP7002213B2 (ja) | 2017-05-01 | 2022-01-20 | 日本放送協会 | 空間・階調超解像装置及びプログラム |
-
2021
- 2021-06-09 US US17/343,519 patent/US11984218B2/en active Active
-
2022
- 2022-05-17 JP JP2022081054A patent/JP2022188750A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11984218B2 (en) | 2024-05-14 |
| US20220399101A1 (en) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7433883B2 (ja) | 医用装置及びプログラム | |
| JP7337679B2 (ja) | 医用処理装置、医用処理方法及び記憶媒体 | |
| US10475214B2 (en) | Tomographic reconstruction based on deep learning | |
| US11126914B2 (en) | Image generation using machine learning | |
| EP3716214B1 (en) | Medical image processing apparatus and method for acquiring training images | |
| JP7334048B2 (ja) | Ｘ線ｃｔシステム及び方法 | |
| JP7432356B2 (ja) | 医用装置及びプログラム | |
| EP3726460B1 (en) | Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images | |
| US10925568B2 (en) | Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT) | |
| EP3608877A1 (en) | Iterative image reconstruction framework | |
| JP2022188750A (ja) | 画像処理装置、画像処理方法及び非一時的コンピュータ可読記憶媒体 | |
| US12062153B2 (en) | Apparatus, method, and non-transitory computer-readable storage medium for improving image quality of a medical image volume | |
| JP7475979B2 (ja) | Ｘ線システム及び撮像プログラム | |
| EP3869401A1 (en) | Out-of-distribution detection of input instances to a model | |
| JP2021013729A (ja) | Ｘ線システム、画像処理装置及びプログラム | |
| Cheng et al. | Learned full-sampling reconstruction from incomplete data | |
| Bazrafkan et al. | Deep neural network assisted iterative reconstruction method for low dose ct | |
| US12125198B2 (en) | Image correction using an invertable network | |
| US20240331222A1 (en) | Mri reconstruction based on reinforcement learning | |
| Tóth et al. | Controlling TV regularization with deep learning | |
| US20230079353A1 (en) | Image correction using an invertable network | |
| Jung et al. | Penalized-Likelihood Image Reconstruction for Transmission Computed Tomography Using Adaptive Median Regularization | |
| Tanveera et al. | Interior photon-counting CT data denoising via multi-agent reinforcement learning |